WO2013099644A1 - 分光画像処理方法、分光画像処理装置およびプログラム - Google Patents

分光画像処理方法、分光画像処理装置およびプログラム Download PDF

Info

Publication number
WO2013099644A1
WO2013099644A1 PCT/JP2012/082417 JP2012082417W WO2013099644A1 WO 2013099644 A1 WO2013099644 A1 WO 2013099644A1 JP 2012082417 W JP2012082417 W JP 2012082417W WO 2013099644 A1 WO2013099644 A1 WO 2013099644A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
spectral
surface reflectance
spectral distribution
spectrum
Prior art date
Application number
PCT/JP2012/082417
Other languages
English (en)
French (fr)
Inventor
瑛士 金子
塚田　正人
中野　学
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US14/369,298 priority Critical patent/US9491331B2/en
Priority to JP2013551611A priority patent/JP6015964B2/ja
Publication of WO2013099644A1 publication Critical patent/WO2013099644A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to a spectral image processing method, a spectral image processing apparatus, and a program.
  • the color information of the image photographed using the photographing apparatus is generated based on the light incident on the photographing apparatus after the ambient illumination light at the time of photographing is reflected by the surface of the object. For this reason, even if an object having the same surface reflectance is photographed, the color information of the photographed image also changes if the ambient illumination light is different.
  • the environmental illumination light is white light
  • the average value of the reflectance is gray
  • the spectral distribution of illumination and the surface reflectance of the object are linear sums of the principal component vector and the average vector that are held in advance, and the energy required to satisfy the above assumption is defined, and this energy is optimized.
  • the spectral distribution of illumination and the surface reflectance of the object are estimated.
  • FIG. 11 shows a configuration diagram of the illumination / reflectance estimation method according to the related technology.
  • the configuration diagram of FIG. 11 is a block diagram generated based on Patent Document 1 and Patent Document 2.
  • the related technology includes a color information acquisition unit 1, an illumination / reflectance principal component vector storage memory 2, and a spectral estimation unit 3.
  • the color information acquisition unit 1 acquires color information from the scene and outputs it.
  • the illumination / reflectance principal component vector storage memory 2 holds the principal component vector and the average vector in order to indicate the restriction range of the spectral distribution of illumination and the surface reflectance of the object.
  • Spectral estimation means 3 calculates the energy necessary to satisfy a preset object color or illumination color assumption while making the spectral distribution of illumination and the surface reflectance of the object a linear sum of the principal component vector and the average vector.
  • the color information is used for calculation, and the calculated energy is optimized. Furthermore, the spectral distribution of illumination and the surface reflectance of the object when the calculated energy is optimum are output as estimated values.
  • the related art restores the spectral distribution of the illumination and the surface reflectance of the object by setting assumptions regarding the object color or illumination color in the scene. Therefore, it is possible to accurately estimate the spectral distribution of illumination and the surface reflectance of objects for a limited number of scenes that satisfy the set assumptions, but for scenes that do not match the assumptions, spectral characteristics of illumination and objects There was a problem that the estimation accuracy of was deteriorated.
  • the object of the present invention was invented in view of the above problems, and the object of the present invention is to accurately restore the spectral characteristics of an object and illumination from an observation spectrum without using assumptions regarding the object color and illumination color in the scene.
  • the present invention provides a spectral image processing method, a spectral image processing apparatus, and a program.
  • the present invention selects observation spectrum information from a multispectral image of a scene, and generates a constrained range of illumination spectral distribution and a constrained range of surface reflectance of an object using the basis vector of illumination and the basis vector of surface reflectance. And using the observation spectrum information, the constraint range of the spectral distribution of the illumination, and the constraint range of the surface reflectance of the object, the weighting coefficient of the basis vector of the illumination and the weight of the basis vector of the surface reflectance.
  • this spectral image processing method an observation equation having a coefficient as a parameter is generated, and a spectral distribution of illumination of the scene and a surface reflectance of the object are calculated from the observation equation.
  • the present invention uses a spectral information selection means for selecting observation spectral information from a multispectral image of a scene, a basis vector of illumination, and a basis vector of surface reflectance.
  • a weighting coefficient of the basis vector of the illumination by using the constraint range generating means for generating the constraint range of the illumination spectrum, the constraint range of the spectral distribution of the illumination, and the constraint range of the surface reflectance of the object
  • an observation equation generating means for generating an observation equation using the weight coefficient of the basis vector of the surface reflectance as a parameter
  • a calculating means for calculating the spectral distribution of the illumination of the scene and the surface reflectance of the object from the observation equation
  • a spectral image processing apparatus A spectral image processing apparatus.
  • the present invention allows a computer to select observation spectrum information from a multispectral image of a scene, and to use a basis vector of illumination and a basis vector of surface reflectance to limit the range of illumination spectral distribution and the surface reflectance of an object.
  • a weighting coefficient of the basis vector of the illumination and the surface using the processing for generating the constraint range of the observation spectrum information, the constraint range of the spectral distribution of the illumination, and the constraint range of the surface reflectance of the object A program that executes processing for generating an observation equation using a weighting coefficient of a basis vector of reflectance as a parameter, and processing for calculating a spectral distribution of illumination of the scene and a surface reflectance of an object from the observation equation .
  • the present invention it is possible to stably and accurately estimate the spectral distribution of illumination and the surface reflectance of an object, using the obtained spectral spectrum information as a clue, regardless of the observed scene.
  • FIG. 1 is a schematic configuration diagram of a first embodiment according to the present invention.
  • FIG. 2 is a configuration diagram of the first embodiment according to the present invention.
  • FIG. 3 is a flowchart of the first embodiment according to the present invention.
  • FIG. 4 is a block diagram of a second embodiment according to the present invention.
  • FIG. 5 is a flowchart of the second embodiment according to the present invention.
  • FIG. 6 is a block diagram of a third embodiment according to the present invention.
  • FIG. 7 is a flowchart of the third embodiment according to the present invention.
  • FIG. 8 is an example of the basis vector of the illumination spectral distribution.
  • FIG. 9 is an example of the basis vector of the surface reflectance created from the DC components of the 24 colors of the Macbeth color chart and the principal component vectors.
  • FIG. 10 is a diagram showing an image of the restriction range of the illumination spectral distribution.
  • FIG. 11 is a configuration diagram of an illumination / reflectance estimation method according to a related technique
  • the present invention relates to a spectral image processing technique for estimating spectral characteristics of illumination and objects in a scene using color information observed from a scene, and in particular, using a spectral spectrum observed with a camera having a high wavelength resolution.
  • the present invention relates to a spectral image processing technique for estimating the spectral distribution of illumination and the surface reflectance of an object without making assumptions about the object color or illumination color in the scene.
  • FIG. 1 is a block diagram showing an outline of a first embodiment according to the present invention.
  • the first embodiment shown in FIG. 1 includes a multispectral information acquisition unit 11, an illumination / reflectance constraint range holding memory 12, and a spectral assumption unit 13 without color assumption.
  • the multispectral information acquisition means 11 extracts and outputs a sufficient number of spectrum information for optimization based on the multispectral information acquired from the scene.
  • the illumination / reflectance constraint range holding memory 12 holds the constraint range of the spectral distribution of illumination and the surface reflectance of the object.
  • the spectral estimation means 13 without color assumption the spectral distribution of illumination held in the illumination / reflectance constraint range holding memory 12 based on a sufficient number of spectrum information calculated by the multispectral information acquisition means 11.
  • the observation equation is generated so as to satisfy the constraint range of the surface reflectance of the object, and the spectral distribution of the illumination and the surface reflectance of the object are calculated by solving the observation equation.
  • the spectral estimation means 13 without color assumption outputs the calculated spectral distribution of illumination and the surface reflectance of the object.
  • the first embodiment according to the present invention is different in the multispectral information acquisition means 11, the illumination / reflectance constraint range holding memory 12, and the spectral estimation means 13 without color assumption, as compared with the configuration of the related art described above. . Details of the configurations of the multispectral information acquisition means 11, the illumination / reflectance constraint range holding memory 12, and the spectral estimation means 13 without color assumption will be described below.
  • the multispectral information acquisition unit 11 acquires the multispectral information from the scene in the same manner as the color information acquisition unit 1 in FIG. However, the color information acquisition unit 1 does not consider the number of color information to be output, whereas the multispectral information acquisition unit 11 considers the processing in the spectral estimation unit 13 without color assumption in the subsequent stage and is necessary for optimization. The difference is that a large number of spectrum information is output.
  • N is the number of bands of the spectral spectrum observed, M number of spectrum is to be observed, P all the total number of parameters to estimate, the number of parameters needed to recreate the spectral distribution of P I is one lighting , P R is When indicating the number of parameters needed to reproduce a surface reflectance of one object, for example, outputs a sufficient number linearly independent spectral information satisfying equation (1).
  • FIG. 2 is a block diagram showing a first embodiment according to the present invention.
  • the internal configuration of the multispectral information acquisition unit 11 will be described.
  • the multispectral information acquisition unit 11 illustrated in FIG. 2 includes a multispectral image capturing unit 111 and a spectrum selection unit 112.
  • the multispectral image capturing means 111 outputs a multispectral image in which multispectral information of the scene is recorded.
  • the spectrum selection unit 112 selects and outputs a plurality of pieces of spectral information having a linearly independent relationship that satisfies the condition of the expression (1), for example, from the data of the multispectral image obtained by the multispectral image capturing unit 111. .
  • the spectral estimation means 3 in FIG. 11 estimates the spectral distribution of illumination in the scene and the surface reflectance of the object based on a preset assumption regarding the object color or illumination color. Specifically, the energy necessary to satisfy the assumptions regarding the set object color or illumination color is defined and optimized to estimate the spectral distribution of illumination in the scene and the surface reflectance of the object. For example, “average object color is gray” (gray world hypothesis), “the brightest object in the image is white”, “the skin color is included in the image”, “lighting is white” The energy required to satisfy such assumptions is calculated, and the spectral distribution of illumination and the surface reflectance of the object when the calculated energy is optimal are output as estimated values.
  • the spectral estimation means 13 without color assumption in the first embodiment calculates the spectral distribution of illumination and the surface reflectance of the object without using assumptions regarding the object color or illumination color.
  • the spectral distribution of illumination and the surface reflectance of the object are estimated with high accuracy using the restriction range of the spectral distribution of illumination and the surface reflectance of the object.
  • an observation equation is generated from a sufficient number of linearly independent spectral information satisfying Equation (1), a spectral distribution of illumination, and a model formula of the surface reflectance of the object, and this observation equation is solved.
  • the spectral distribution of illumination and the surface reflectance of the object are output as estimated values.
  • the internal structure of the spectral estimation means 13 without color assumption will be described.
  • the spectral estimation unit 13 without color assumption shown in FIG. 2 includes an observation equation generation unit 131 and an equation calculation unit 132.
  • a model of the illumination spectral distribution I and the surface reflectance R of the illumination which is an N-dimensional vector, is obtained from the basis vector I pI basis of the illumination spectral distribution and the basis vector R of the surface reflectance of the object.
  • the equation calculation means 132 solves the observation equation shown in Equation (3).
  • the illumination / reflectance constraint range storage memory 12 of the first embodiment holds basis vectors of illumination spectral distribution and object surface reflectance, and uses these basis vectors to limit the range constrained by various constraint methods. Outputs distributed illumination spectral distribution and object surface reflectance. For example, in the case of a spectral distribution of illumination, as shown in FIG. 8, it is considered that the directly achieved component I 1 basis and the scattered component I 2 basis , which are components of the solar radiation spectrum calculated from the solar radiation model, are used as the basis vectors. It is done. In this solar radiation model, the distribution range of the spectral distribution of illumination can be restricted by easily obtainable illumination conditions such as date and place.
  • the mean vector and principal component vector of the relative spectral distribution of natural daylight in CIE daylight shown in Non-Patent Document 1 are used as the basis vector of the spectral distribution of illumination. It is possible.
  • the distribution range of the illumination spectral distribution can be restricted by limiting the number of principal component vectors or calculating the principal component vector coefficients based on the correlated color temperature using the method disclosed in Non-Patent Document 1. .
  • the surface reflectance of an object it is conceivable to use the average vector and principal component vector of the reflectance database of the object measured as the subject as basis vectors, and by limiting the number of principal component vectors,
  • the range of reflectance distribution can be restricted. For example, it is conceivable to use the average vector and the principal component vector generated from the Macbeth color chart shown in FIG. 9 as the basis vectors.
  • the illumination / reflectance constraint range storage memory 12 shown in FIG. 2 includes a solar radiation spectrum component calculation means 121, a surface reflectance basis vector storage memory 122, and a finite-dimensional linear sum generation means 123.
  • the finite-dimensional linear sum generation means 123 generates variable weight coefficients a pI and b pR for the solar radiation spectrum component I pI basis and the object surface reflectance basis vector R pR basis held as the basis vectors of the illumination spectral distribution. As shown in the equation (2), by taking a linear sum, the spectral distribution I of illumination and the surface reflectance R of the object are generated as an N-dimensional vector.
  • FIG. 10 is a diagram showing an image of the restriction range of the illumination spectral distribution.
  • N 3
  • P I 2
  • the spectral distribution of illumination represented as a linear sum of basis vectors is a plane.
  • the range that the spectral distribution of illumination can take is restricted.
  • the spectral distribution I of the illumination and the surface reflectance R of the object R are generated by the method of Expression (2), so that the spectral distribution I of the illumination and the surface reflectance R of the object can be taken in an N-dimensional space.
  • the range is also limited. In this way, the constraint range of the illumination spectral distribution I and the surface reflectance R of the object is calculated.
  • FIG. 3 is a flowchart showing the operation of the spectral image processing method according to the first embodiment for carrying out the present invention.
  • the multispectral image capturing means 111 acquires multispectral information from the scene and outputs a multispectral image (step S101).
  • the spectrum selection unit 112 selects a spectrum from the multispectral image and outputs a sufficient number of linearly independent spectrum information (step S102).
  • the solar radiation spectrum component calculating means 121 automatically acquires illumination conditions that can be automatically acquired (step S103).
  • the solar radiation spectrum component calculation means 121 calculates and outputs the solar radiation spectrum component (step S104).
  • the limited-dimensional linear sum generation means 123 is based on the solar spectral component and the surface reflectance basis vector stored in the surface reflectance basis vector storage memory 122, and restricts the spectral distribution of illumination and the surface reflectance of the object. Each range is generated (step S105).
  • the observation equation generating means 131 generates an observation equation that can obtain an optimal solution using a sufficient number of linearly independent spectral information, illumination spectral distribution, and object surface reflectance constraints (step S106).
  • the equation calculation means 132 solves the observation equation that obtains the optimum solution, and outputs the surface reflectance of the object and the spectral distribution of illumination (step S107).
  • a sufficient number of linearly independent spectral information is acquired from the scene by the multispectral information acquisition means 11, and the illumination spectral distribution and object distribution held in the illumination / reflectance constraint range storage memory 12 are acquired.
  • the constraint range of the surface reflectance it is possible to estimate the spectral distribution of the illumination and the surface reflectance of the object using the spectral estimation means 13 without color assumption without using the assumption of the object color or illumination color. Yes. Therefore, even if the scene does not satisfy a specific assumption, it is possible to accurately estimate the spectral distribution of illumination and the surface reflectance of the object with high accuracy.
  • the spectral image processing method calculates a solar spectrum component using the solar spectrum component calculation means 121, thereby enabling a narrow restricted range in illumination to be output.
  • the observation equation generating unit 131 can generate an observation equation that can be easily calculated by reducing the number of parameters to be estimated.
  • the equation calculating unit 132 performs estimation with high accuracy. It is possible to output the measured object surface reflectance and illumination spectral distribution.
  • FIG. 4 is a block diagram showing a second embodiment for carrying out the present invention.
  • the spectral estimation means 23 without color assumption is the spectral estimation means without color assumption in the first embodiment.
  • the other components are the same as in the first embodiment. Constituent elements similar to those in the first embodiment are denoted by the same reference numerals as those in FIG. 2, and detailed description thereof is omitted.
  • the spectral estimation unit 23 without color assumption includes an illumination / reflectance estimation value calculation unit 231, an observation spectrum estimation value calculation unit 232, an error calculation unit 233, and an error optimization unit 234.
  • the illumination / reflectance estimated value calculation means 231 is a spectral distribution of illumination under the constraint range of the illumination spectral distribution I ( ⁇ n ) and the surface reflectance R ( ⁇ n ) of the object as shown in Equation (2). Then, by giving an initial parameter to the weight coefficient of the surface reflectance of the object, the spectral characteristics of illumination and the estimated value of the surface reflectance of the object are calculated.
  • the estimated observation spectrum estimation value calculation means 232 substitutes the estimated values of the illumination spectral characteristics and the object surface reflectance calculated by the illumination / reflectance estimation value calculation means 231 into the right side of the equation (3) to estimate the observation spectrum. Calculate the value.
  • the error calculation means 233 considers the error of the observation equation (3), and the observation spectrum estimation value (right side of the expression (3)) calculated by the estimated observation spectrum estimation value calculation means 232 and a sufficient number for optimization.
  • An error is calculated using the observed value E m ( ⁇ n ) obtained from a plurality of multispectrums given as color information. Assuming that the spectral distribution of illumination, the surface reflectance of the object, and the measurement error of the observation spectrum are ⁇ I ( ⁇ n ), ⁇ R ( ⁇ n ), and ⁇ L ( ⁇ n ), the observation equation (3) is It can be expressed as 4).
  • a method of approximating optimization of these measurement errors for example, there is a method of defining a least square error energy as shown in Expression (5) and minimizing this energy.
  • the error optimizing means 234 optimizes the error calculated by the error calculating means 233 using a nonlinear optimization method such as Levenberg-Marquardt method or a coarse / fine search method. Specifically, the parameter given to the illumination / reflectance estimated value calculation means 231 is repeatedly updated so that the error is minimized, and finally the surface reflectance of the object and the spectral distribution of illumination calculated from the optimum parameters Is output as the optimal solution.
  • a nonlinear optimization method such as Levenberg-Marquardt method or a coarse / fine search method.
  • the spectral estimation means 13 without color assumption outputs the spectral distribution of the illumination calculated by the error optimization means 234 and the estimated value of the surface reflectance of the object.
  • FIG. 5 is a flowchart showing an example of the operation of the spectral image processing method in the second embodiment for carrying out the present invention.
  • symbol same as FIG. 3 is attached
  • subjected and detailed description is abbreviate
  • the second embodiment differs from the first embodiment in the following points.
  • the illumination / reflectance estimated value calculation means 231 calculates an estimated value of the illumination spectral distribution and the object surface reflectance based on the initial parameter, the restriction range of the illumination spectral distribution and the object surface reflectance (step S206). ).
  • the observed spectrum estimated value calculating means 232 calculates an estimated value of the observed spectrum based on the spectral distribution of illumination and the estimated value of the surface reflectance of the object (step S207).
  • the error calculation means 233 calculates an error between the observed spectrum estimation value and a sufficient number of observed linearly independent spectrum information (step S208).
  • the error optimizing means 234 uses the error to calculate a value set for each error optimizing means, and if the calculated value is smaller than a predetermined value, the operation proceeds to step S108, and if not smaller, the operation proceeds to step S210. Move (step S209).
  • the error optimizing unit 234 updates the parameter given to the illumination / reflectance estimated value calculating unit 231 so as to minimize the error, and returns to the operation of S206 (step S210).
  • FIG. 6 is a block diagram showing a third embodiment for carrying out the present invention.
  • the multispectral information acquisition means 21 is connected to the multispectral information acquisition means 11 of the first embodiment.
  • the other components are the same as those in the first embodiment.
  • Constituent elements similar to those in the first embodiment are denoted by the same reference numerals as those in FIG. 2, and detailed description thereof is omitted.
  • the multispectral information acquisition means 21 includes multispectral multiple times measurement means 211.
  • the multispectral multi-times measuring means 211 is shown in the formula (1) within a range in which the illumination colors can be regarded as the same so as to cope with a case where a sufficient number of linearly independent spectral information is not included in the observed scene. Different scenes are photographed until a sufficient number of linearly independent spectral information satisfying the above condition is reached, and a plurality of pieces of spectral information having a sufficient number of linearly independent relationships sufficient for optimization in the subsequent stage are output.
  • the multiple times measurement unit 211 repeats the scene shooting until a sufficiently linearly independent observation spectrum is obtained (moving image shooting). Can also be used).
  • FIG. 7 is a flowchart showing an example of operation of the spectral image processing method according to the third embodiment for carrying out the present invention.
  • symbol same as FIG. 3 is attached
  • subjected and detailed description is abbreviate
  • the third embodiment is different from the first embodiment in the following points.
  • the multispectral multiple times measurement means 211 measures multispectral information from the scene (step S301).
  • the multispectral multiple-number measuring unit 211 moves to step S106 if the multispectral information measured from the scene is a sufficient number of linearly independent multispectral information, and otherwise moves to step S301 (step S302). .
  • the spectral image processing method includes the multispectral multiple measurement means 211, and photographs different scenes until a sufficient number of linearly independent spectral information satisfying the condition shown in Expression (1) is reached.
  • a sufficient number of linearly independent spectral information is not included in the observed scene, an effect of obtaining a sufficient number of linearly independent spectral information can be obtained.
  • each unit can be configured by hardware, but can also be realized by a computer program.
  • functions and operations similar to those of the above-described embodiments are realized by a processor that operates according to a program stored in the program memory.
  • (Appendix 1) Select observation spectrum information from the multispectral image of the scene, Using the illumination basis vector and the surface reflectance basis vector, generate a constraint range for the spectral distribution of the illumination and a constraint range for the surface reflectance of the object, Using the observation spectrum information, the constraint range of the spectral distribution of the illumination, and the constraint range of the surface reflectance of the object, a weighting factor of the basis vector of the illumination and a weighting factor of the basis vector of the surface reflectance, Generate an observation equation with A spectral image processing method for calculating a spectral distribution of illumination of the scene and a surface reflectance of an object from the observation equation.
  • Supplementary Note 1 calculates the spectral distribution of illumination and the surface reflectance of an object that constitute the estimated value of the observed spectrum when the error falls within a predetermined range as the spectral distribution of illumination and the surface reflectance of the object in the scene.
  • Spectral information selection means for selecting observation spectral information from a multispectral image of a scene; Using a basis vector of illumination and a basis vector of surface reflectance, a constraint range generating means for generating a constraint range of a spectral distribution of illumination and a constraint range of surface reflectance of an object; Using the observation spectrum information, the constraint range of the spectral distribution of the illumination, and the constraint range of the surface reflectance of the object, a weighting factor of the basis vector of the illumination and a weighting factor of the basis vector of the surface reflectance, An observation equation generating means for generating an observation equation having as a parameter; A spectral image processing apparatus comprising: calculation means for calculating a spectral distribution of illumination of the scene and a surface reflectance of an object from the observation equation.
  • the calculation means includes: Under the constraint range of the spectral distribution of the illumination and the constraint range of the surface reflectance of the object, a means for calculating an estimated value of the observation spectrum by giving an initial parameter to the weighting coefficient of the observation equation; Means for updating the weighting factor based on an error between the observed spectrum information and the estimated value of the observed spectrum; Means for calculating the spectral distribution of illumination and the surface reflectance of the object that constitute the estimated value of the observed spectrum when the error falls within a predetermined range as the spectral distribution of illumination and the surface reflectance of the object in the scene;
  • the spectral image processing apparatus according to appendix 6.
  • the spectral information selecting means may observe the linearly independent spectral information equal to or greater than the sum of the number of weighting coefficients of the basis vectors of the illumination and the number of weighting coefficients of the basis vectors of the surface reflectance.
  • the spectral image processing apparatus according to appendix 8 or appendix 9, which measures a plurality of times until possible.
  • Appendix 11 A process of selecting observed spectral information from a multispectral image of the scene; Using the basis vector of illumination and the basis vector of surface reflectance to generate a constraint range of the spectral distribution of illumination and a constraint range of the surface reflectance of the object, Using the observation spectrum information, the constraint range of the spectral distribution of the illumination, and the constraint range of the surface reflectance of the object, a weighting factor of the basis vector of the illumination and a weighting factor of the basis vector of the surface reflectance, A process for generating an observation equation with a parameter as A program for executing a process of calculating a spectral distribution of illumination of the scene and a surface reflectance of an object from the observation equation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本発明は、シーンのマルチスペクトル画像から観測スペクトル情報を選択し、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、観測スペクトル情報と、照明の分光分布の制約範囲と、物体の表面反射率の制約範囲とを用いて、照明の基底ベクトルの重み係数と表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、観測方程式からシーンの照明の分光分布と物体の表面反射率を算出する分光画像処理方法である。

Description

分光画像処理方法、分光画像処理装置およびプログラム
　本発明は、分光画像処理方法、分光画像処理装置およびプログラムに関する。
　撮影装置を用いて撮影された画像の色情報は、撮影時の環境照明光が物体の表面で反射され、撮影装置に入射した光をもとに生成される。そのため、表面反射率が同一である物体を撮影しても、環境照明光が異なると撮影画像の色情報も変化する。多数の波長の光が記録されたマルチスペクトル画像を用いて、撮影シーン中の物体を観測スペクトルの形状を手掛かりに認識する技術において、同一の物体であるにも関わらず、環境照明光の変化によって観測スペクトルが異なると、物体の識別が困難になる。この問題を解決するには、観測スペクトルから、環境照明光の影響を除去し、物体の表面反射率を得る必要がある。すなわち、観測スペクトルから照明と物体の分光特性を分離、復元する必要がある。
　画像などの、シーンから観測される色情報を手掛かりに、撮影シーン中の照明の分光分布や物体の表面反射率を、自動で推定する方法として、シーン中の物体色または照明色に関する仮定を置き、その仮定を手掛かりとして、照明と物体の分光特性を推定する方法が、既に提案されている。
　例えば、特許文献１に記載されている方法では、環境照明光が白色光であることと、反射率の平均値が灰色となることと、人の視覚特性としてエッジ領域の情報をもとに色を充填することを仮定している。この方法では、照明の分光分布と物体の表面反射率が予め保持されたそれぞれの主成分ベクトルと平均ベクトルの線型和となり、かつ上記仮定を満たすために必要なエネルギーを定義し、このエネルギーを最適化することで、照明の分光分布と物体の表面反射率を推定する。
　また、特許文献２に記載されている方法では、撮影画像中において肌色もしくは、または、グレーの物体の占める面積が広いことを仮定し、照明の範囲を黒体軌跡上の点に対応付け、色温度を変化させながら、仮定を満たすのに必要なエネルギーを算出、最適化することで色温度を推定する。この方法で推定された色温度をもとに照明を推定することが可能となる。
　上記関連技術による照明・反射率推定方法の構成図を図１１に示す。図１１の構成図は、特許文献１および特許文献２をもとに生成したブロック図である。上記関連技術は、色情報取得手段１と照明・反射率主成分ベクトル保存メモリ２、分光推定手段３とを備える。
　色情報取得手段１は、シーンから色情報を取得し出力する。照明・反射率主成分ベクトル保存メモリ２は、照明の分光分布および物体の表面反射率の制約範囲を示すため、主成分ベクトルと平均ベクトルを保持する。分光推定手段３は、照明の分光分布や物体の表面反射率をそれぞれの主成分ベクトルと平均ベクトルの線型和としつつ、予め設定された物体色もしくは照明色の仮定を満たすために必要なエネルギーを、色情報を用いて算出し、算出されたエネルギーを最適化する。更に、算出されたエネルギーが最適となるときの照明の分光分布と物体の表面反射率を推定値として出力する。
特開平０７－０６６９８６号公報 特開２００３－２０９８５６号公報
　画像として観測された色情報からシーン中の照明色と物体色を分離し、それぞれの分光特性を復元することは不良設定問題となる。この問題を解決するために従来技術では、シーン中の物体色または照明色に関する仮定を設定することで、照明の分光分布と物体の表面反射率を復元する。そのため、設定した仮定を満たすような限られたシーンについては、精度よく照明の分光分布と物体の表面反射率を推定することができるが、仮定と一致しないシーンについては、照明および物体の分光特性の推定精度が悪化するという課題があった。
　本発明の目的は、上記課題に鑑みて発明されたものであって、その目的は、シーン中の物体色および照明色に関する仮定を用いることなく観測スペクトルから物体および照明の分光特性を精度よく復元する分光画像処理方法、分光画像処理装置およびプログラムを提供することにある。
　本発明は、シーンのマルチスペクトル画像から観測スペクトル情報を選択し、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する分光画像処理方法である。
　本発明は、シーンのマルチスペクトル画像から観測スペクトル情報を選択するスペクトル情報選択手段と、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する制約範囲生成手段と、前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する観測方程式生成手段と、前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する算出手段とを有する分光画像処理装置である。
　本発明は、コンピュータに、シーンのマルチスペクトル画像から観測スペクトル情報を選択する処理と、照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する処理と、前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する処理と、前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する処理とを実行させるプログラムである。
　本発明によれば、観測されたシーンに依らず、得られた分光スペクトル情報を手掛かりに、照明の分光分布および物体の表面反射率を安定して精度よく推定することができる。
図１は本発明による第１の実施の形態の概要の構成図である。 図２は本発明による第１の実施の形態の構成図である。 図３は本発明による第１の実施の形態のフローチャートである。 図４は本発明による第２の実施の形態の構成図である。 図５は本発明による第２の実施の形態のフローチャートである。 図６は本発明による第３の実施の形態の構成図である。 図７は本発明による第３の実施の形態のフローチャートである。 図８は照明分光分布の基底ベクトルの例である。 図９はマクベスカラーチャート２４色の直流成分および主成分ベクトルから作られる表面反射率の基底ベクトルの例である。 図１０は照明分光分布の制約範囲のイメージを表した図である。 図１１は関連する技術の照明・反射率推定方法の構成図である。
　本発明は、シーンから観測された色情報を手掛かりに、シーン中の照明と物体の分光特性を推定する分光画像処理技術に関し、特に、高い波長分解能を持つカメラで観測された分光スペクトルを用いて、シーン中の物体色または照明色に関する仮定を置くことなく、照明の分光分布と物体の表面反射率を推定する分光画像処理技術に関する。
　以下、本発明の実施の形態について図面を参照して詳細に説明する。
　[第１の実施の形態]
　図１は、本発明による第１の実施の形態の概要を示すブロック図である。図１に示す第１の実施の形態は、マルチスペクトル情報取得手段１１と、照明・反射率制約範囲保持メモリ１２と、色仮定なし分光推定手段１３を備える。
　本発明による第１の実施の形態を構成する各手段の概要を説明する。
　マルチスペクトル情報取得手段１１は、シーンから取得したマルチスペクトル情報をもとに、最適化に十分な数のスペクトル情報を抽出し、出力する。
　照明・反射率制約範囲保持メモリ１２は、照明の分光分布と物体の表面反射率の制約範囲を保持する。
　色仮定なし分光推定手段１３では、マルチスペクトル情報取得手段１１で算出された最適化に十分な数のスペクトル情報をもとに、照明・反射率制約範囲保持メモリ１２に保持された照明の分光分布と物体の表面反射率の制約範囲を満たすように、観測方程式を生成し、この観測方程式を解くことで、照明の分光分布と物体の表面反射率とを算出する。そして、色仮定なし分光推定手段１３は、算出した照明の分光分布と物体の表面反射率とを出力する。
　本発明による第１の実施の形態は、上述した関連技術の構成と比較して、マルチスペクトル情報取得手段１１と、照明・反射率制約範囲保持メモリ１２と、色仮定なし分光推定手段１３が異なる。以下、マルチスペクトル情報取得手段１１と、照明・反射率制約範囲保持メモリ１２と、色仮定なし分光推定手段１３の構成の詳細を説明する。
　マルチスペクトル情報取得手段１１は、図１１における色情報取得手段１と同様に、シーンからマルチスペクトル情報を得る。ただし、色情報取得手段１では、出力する色情報の数を考慮しないのに対し、マルチスペクトル情報取得手段１１は、後段の色仮定なし分光推定手段１３での処理を考慮し、最適化に必要な数のスペクトル情報を出力する点で異なる。ここでNは観測される分光スペクトルのバンド数、Mは観測される分光スペクトルの数、Pallは推定する全パラメタ数、PIは一つの照明の分光分布を再現するのに必要なパラメタ数、PRは一つの物体の表面反射率を再現するのに必要なパラメタ数を示すとすると、例えば、式（１）を満たす十分な数の線形独立なスペクトル情報を出力する。
Figure JPOXMLDOC01-appb-M000001
 　図２は、本発明による第１の実施の形態を示すブロック図である。マルチスペクトル情報取得手段１１の内部の構成を説明する。図２に示すマルチスペクトル情報取得手段１１は、マルチスペクトル画像撮影手段１１１とスペクトル選択手段１１２とを備える。
　マルチスペクトル画像撮影手段１１１は、シーンのマルチスペクトル情報が記録されたマルチスペクトル画像を出力する。
　スペクトル選択手段１１２は、マルチスペクトル画像撮影手段１１１によって得たマルチスペクトル画像のデータの中から、例えば、式（１）の条件を満たす、線形独立な関係にある複数のスペクトル情報を選択し出力する。
　図１１における分光推定手段３では、予め設定した物体色または照明色に関する仮定に基づいて、シーン中の照明の分光分布および物体の表面反射率を推定する。具体的には、設定した物体色または照明色に関する仮定を満たすのに必要なエネルギーを定義し、これを最適化することにより、シーン中の照明の分光分布および物体の表面反射率を推定する。例えば、「物体色の平均が灰色である」（グレイワールド仮説）、「画像中の最も明るい物体は白色である」、「画像中に肌の色が含まれる」、「照明は白色である」などの仮定を満たすために必要なエネルギーを算出し、算出されたエネルギーが最適となるときの照明の分光分布および物体の表面反射率を推定値として出力する。
　一方、第１の実施の形態における色仮定なし分光推定手段１３は、物体色または照明色に関する仮定を用いることなく、照明の分光分布および物体の表面反射率を算出する。ここで、照明の分光分布と物体の表面反射率の制約範囲を用いて照明の分光分布および物体の表面反射率を高精度に推定する。これら分光特性の推定には、式（１）を満たす十分な数の線形独立なスペクトル情報と、照明の分光分布および物体の表面反射率のモデル式から観測方程式を生成し、この観測方程式を解くことで照明の分光分布および物体の表面反射率を推定値として出力する。
　色仮定なし分光推定手段１３の内部の構成を説明する。図２に示す色仮定なし分光推定手段１３は、観測方程式生成手段１３１と方程式計算手段１３２とを備える。
　観測方程式生成手段１３１では、N次元のベクトルである、照明の分光分布Iおよび物体の表面反射率R のモデルを、照明の分光分布の基底ベクトルIpI basisと物体の表面反射率の基底ベクトルRpR basisそれぞれに対し、可変な重み係数apI,bpRを用いて式（２）のように生成し、モデル式（２）における基底ベクトルの各波長成分IpI basis (λn)、RpR basis (λn)と、式（１）を満たす最適化に十分な数の線型独立なスペクトル情報Em(λn)（m=1,…,M, n=1,…,N）が与えられるとき、式（３）のような観測方程式を生成する。式（１）の条件から方程式の数が未知数の数以上となり、かつ、線形独立なスペクトル情報で構成されるため、照明の分光分布I(λn)と物体の表面反射率R(λn)の最適解が得られることになる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　方程式計算手段１３２は、式（３）に示す観測方程式を解く。
　第１の実施の形態の照明・反射率制約範囲保存メモリ１２は、照明分光分布や物体表面反射率の基底ベクトルを保持し、これら基底ベクトルを用いて、様々な制約方法によって制約された範囲に分布する照明分光分布および物体表面反射率を出力する。例えば、照明の分光分布の場合には、図８に示すように、日射モデルから計算される日射スペクトルの成分である、直達成分I1 basis、散乱成分I2 basisを基底ベクトルに用いることが考えられる。この日射モデルでは日時や場所などの容易に取得可能な照明条件によって、照明の分光分布の分布範囲が制約することが可能である。また、非特許文献１（新編色彩科学ハンドブック第2版 p69-72）に示すCIE昼光における、自然昼光の相対分光分布の平均ベクトルおよび主成分ベクトルを、照明の分光分布の基底ベクトルに用いることが考えられる。この主成分ベクトルの数を制限することや、非特許文献１に示される方法を用いて、主成分ベクトルの係数を相関色温度に基づいて計算することで、照明分光分布の分布範囲を制約できる。物体の表面反射率の場合には、被写体として計測される物体の反射率データベースの平均ベクトルおよび主成分ベクトルを基底ベクトルとして用いることが考えられ、この主成分ベクトルの数を制限することで物体の反射率の分布範囲を制約できる。例えば、図９に示すマクベスカラーチャートから生成した、平均ベクトルおよび主成分ベクトルを基底ベクトルとして用いることが考えられる。
　照明・反射率制約範囲保存メモリ１２の内部の構成を説明する。図２に示す照明・反射率制約範囲保存メモリ１２は、日射スペクトル成分計算手段１２１と表面反射率基底ベクトル保存メモリ１２２と有限次元線型和生成手段１２３とを備える。
　日射スペクトル成分計算手段１２１は、日射モデルなどを用いて算出される日射スペクトル成分などを算出し、各成分を、PI（< N）個の基底ベクトルIpI basis ( pI =1,…, PI)として保持する。
　表面反射率基底ベクトル保存メモリ１２２は、PR（<N）個の、物体表面反射率の基底ベクトルRpR basis  ( pR =1,…, PR)を保持する。
　有限次元線型和生成手段１２３では、照明分光分布の基底ベクトルとして保持された日射スペクトル成分IpI basisと物体表面反射率の基底ベクトルRpR basisそれぞれに対し、可変な重み係数apI,bpRを用いて、式（２）に示すように、線型和をとることで、照明の分光分布I、物体の表面反射率RをN次元のベクトルとして生成する。
　図１０は照明分光分布の制約範囲のイメージを表した図である。例えば、Nが３、PIが２のとき、図１０に示すように、照明の分光分布の波長毎の強度を各次元の座標の値とし、一つの照明の分光分布が座標上の一点として表わされる照明の分光分布が取り得る分布空間では、基底ベクトルの線型和として表わされる照明の分光分布は平面となる。
　すなわち、これは、照明の分光分布の取り得る範囲が制約されることを意味する。同様にして、式（２）の方法で、照明の分光分布I、物体の表面反射率Rを生成することで、照明の分光分布I、物体の表面反射率R がN次元の空間において取り得る範囲についても制約される。このようにして照明の分光分布Iと物体の表面反射率Rの制約範囲を算出する。
　図３は、本発明を実施するための第１の実施の形態における分光画像処理方法の動作を示すフローチャートである。
　マルチスペクトル画像撮影手段１１１は、シーンからマルチスペクトル情報を獲得し、マルチスペクトル画像を出力する（ステップＳ１０１）。
　スペクトル選択手段１１２は、マルチスペクトル画像からスペクトルを選択し、十分な数の線型独立なスペクトル情報を出力する（ステップＳ１０２）。
　日射スペクトル成分計算手段１２１は、自動で取得可能な照明条件を自動で取得する（ステップＳ１０３）。
　日射スペクトル成分計算手段１２１は、日射スペクトル成分を計算し、出力する（ステップＳ１０４）。
　限次元線型和生成手段１２３は、日射スペクトル成分と表面反射率基底ベクトル保存メモリ１２２に保持してある表面反射率の基底ベクトルをもとに、有照明の分光分布と物体の表面反射率の制約範囲をそれぞれ生成する（ステップＳ１０５）。
　観測方程式生成手段１３１は、十分な数の線型独立なスペクトル情報と照明分光分布と物体表面反射率の制約を用いて、最適解の得られる観測方程式を生成する（ステップＳ１０６）。
　方程式計算手段１３２は、最適解の得られる観測方程式を解き、物体の表面反射率および照明の分光分布を出力する（ステップＳ１０７）。
　第１の実施の形態は、マルチスペクトル情報取得手段１１によってシーンから十分な数の線型独立なスペクトル情報を獲得し、照明・反射率制約範囲保存メモリ１２に保持される照明の分光分布および物体の表面反射率の制約範囲を得ることで、色仮定なし分光推定手段１３を用いて物体色や照明色の仮定を用いずに、照明の分光分布と物体の表面反射率を推定することを可能としている。そのため、特定の仮定を満たすようなシーンでなくとも、安定して照明の分光分布および物体の表面反射率を精度よく推定することが可能となる。
　第１の実施の形態における分光画像処理方法は、日射スペクトル成分計算手段１２１を用いて日射スペクトル成分を計算することで、照明において狭い制約範囲を出力することを可能とする。照明において狭い範囲の制約を得ることで、観測方程式生成手段１３１は、推定するパラメタの数が減り計算の容易な観測方程式の生成が可能となり、その結果、方程式計算手段１３２は、高精度に推定された物体表面反射率および照明分光分布を出力することが可能となる。
　[第２の実施の形態]
　図４は、本発明を実施するための第２の実施の形態を示すブロック図である。図４にも示されるように、本発明を実施するための第２の実施の形態における分光画像処理方法では、色仮定なし分光推定手段２３が第１の実施の形態における色仮定なし分光推定手段１３と異なり、その他の構成要素については第１の実施の形態と同様である。第１の実施の形態と同様の構成要素については、図２と同一の符号を付し、詳細な説明を省略する。
　第２の実施の形態では、色仮定なし分光推定手段２３は、照明・反射率推定値算出手段２３１と観測スペクトル推定値算出手段２３２と誤差算出手段２３３と誤差最適化手段２３４を備える。
　照明・反射率推定値算出手段２３１は、式（２）のような照明の分光分布I(λn)と、物体の表面反射率R(λn)の制約範囲のもと、照明の分光分布および物体の表面反射率の重み係数に初期パラメタを与えることで、照明の分光特性および物体の表面反射率の推定値を算出する。
　推定観測スペクトル推定値算出手段２３２は、照明・反射率推定値算出手段２３１で算出された照明の分光特性および物体の表面反射率の推定値を式（３）の右辺に代入し観測スペクトルの推定値を算出する。
　誤差算出手段２３３は、観測方程式（３）の誤差を考慮し、推定観測スペクトル推定値算出手段２３２で算出された観測スペクトル推定値（式（３）の右辺）と、最適化に十分な数の色情報として与えられた複数のマルチスペクトルから得られる観測値Em(λn)を用いて、誤差を算出する。照明の分光分布、物体の表面反射率、観測スペクトルの計測誤差をそれぞれ、εI(λn), εR(λn), εL(λn)とすると、観測方程式（３）は式（４）のように表せる。これらの計測誤差の最適化を近似する方法として、例えば、式（５）に示すような最小二乗誤差エネルギーを定義し、このエネルギーを最小化する方法がある。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　誤差最適化手段２３４は、例えばLevenberg-Marquardt法などの非線型最適化方法や、粗密探索法を用いて、誤差算出手段２３３で算出される誤差を最適化する。具体的には、誤差が最小となるように、照明・反射率推定値算出手段２３１に与えるパラメタの更新を繰り返し、最終的に最適なパラメタから算出される物体の表面反射率および照明の分光分布を最適解として出力する。
　色仮定なし分光推定手段１３では、誤差最適化手段２３４で算出された照明の分光分布と物体の表面反射率の推定値を出力する。
　図５は、本発明を実施するための第２の実施の形態における分光画像処理方法動作の一例を示すフローチャートである。第１の実施の形態と同様の動作については図３と同一の符号を付し、詳細な説明を省略する。
　第２の実施の形態は、以下の点で第１の実施の形態と異なる。
　照明・反射率推定値算出手段２３１は初期パラメタと照明の分光分布と物体の表面反射率の制約範囲をもとに、照明の分光分布と物体の表面反射率の推定値を算出する（ステップＳ２０６）。
　観測スペクトル推定値算出手段２３２は照明の分光分布と物体の表面反射率の推定値をもとに、観測スペクトルの推定値を算出する（ステップＳ２０７）。
　誤差算出手段２３３は、観測スペクトルの推定値と、観測された十分な数の線型独立なスペクトル情報の誤差を算出する（ステップＳ２０８）。
　誤差最適化手段２３４は、誤差を用いて、誤差最適化手段ごとに設定された値を算出し、算出した値が予め規定された値より小さければステップＳ１０８に、小さくなければステップＳ２１０の動作に移動する（ステップＳ２０９）。
　誤差最適化手段２３４は、誤差を最小化するように照明・反射率推定値算出手段２３１に与えるパラメタを更新して、Ｓ２０６の動作に戻る（ステップＳ２１０）。
　[第３の実施の形態]
　図６は、本発明を実施するための第３の実施の形態を示すブロック図である。図６にも示されるように、本発明を実施するための第３の実施の形態における分光画像処理方法では、マルチスペクトル情報取得手段２１が第１の実施の形態のマルチスペクトル情報取得手段１１と異なり、その他の構成要素については第１の実施の形態と同様である。第１の実施の形態と同様の構成要素については、図２と同一の符号を付し、詳細な説明を省略する。
　第３の実施の形態では、マルチスペクトル情報取得手段２１は、マルチスペクトル複数回数計測手段２１１を備える。
　マルチスペクトル複数回数計測手段２１１は、観測されたシーン中に十分な数の線形独立なスペクトル情報が含まれない場合に対応できるように、照明色が同一とみなせる範囲で、式（１）に示される条件を満たす十分な数の線形独立なスペクトル情報に達するまで異なるシーンを撮影し、後段の最適化に十分な数の線形独立な関係にある複数のスペクトル情報を出力する。
　即ち、複数回数計測手段２１１は、例えば、シーン中に十分な線形独立な観測スペクトルが存在しないような均一シーンの撮影において、十分な線形独立な観測スペクトルが得られるまでシーン撮影を繰り返す（動画撮影も含む）際に使用することができる。
　図７は、本発明を実施するための第３の実施の形態における分光画像処理方法動作の一例を示すフローチャートである。第１の実施の形態と同様の動作については図３と同一の符号を付し、詳細な説明を省略する。
　第３の実施の形態は、以下の点で第１の実施の形態と異なる。
　マルチスペクトル複数回数計測手段２１１は、シーンからマルチスペクトル情報を計測する（ステップＳ３０１）。
　マルチスペクトル複数回数計測手段２１１は、シーンから計測されたマルチスペクトル情報が、十分な数の線型独立なマルチスペクトル情報である場合はステップＳ１０６に、そうでない場合はステップＳ３０１に移動する（ステップＳ３０２）。
　第３の実施の形態における分光画像処理方法は、マルチスペクトル複数回計測手段２１１を備え、式（１）に示される条件を満たす十分な数の線形独立なスペクトル情報に達するまで異なるシーンを撮影することで、観測されたシーン中に十分な数の線形独立なスペクトル情報が含まれない場合でも、十分な数の線形独立なスペクトル情報を得るといった効果が得られる。
　尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）　シーンのマルチスペクトル画像から観測スペクトル情報を選択し、
　照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、
　前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、
　前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する
分光画像処理方法。
　（付記２）　前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、前記観測スペクトルの推定値を算出し、
　前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新し、
　前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを、前記シーンにおける照明の分光分布と物体の表面反射率として算出する
付記１に記載の分光画像処理方法。
　（付記３）　前記観測スペクトル情報として、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
付記１又は付記２に記載の分光画像処理方法。
　（付記４）　前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
特徴とする付記１から付記３のいずれかに記載の分光画像処理方法。
　（付記５）　前記線形独立なスペクトル情報が前記照明の基底ベクトルの重み係数の個数と前記表面反射率の基底ベクトルの重み係数の個数の総和と同数かそれより多く観測できるまで複数回計測する
付記３又は付記４に記載の分光画像処理方法。
　（付記６）　シーンのマルチスペクトル画像から観測スペクトル情報を選択するスペクトル情報選択手段と、
　照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する制約範囲生成手段と、
　前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する観測方程式生成手段と、
　前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する算出手段と
を有する分光画像処理装置。
　（付記７）　前記算出手段は、
　前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、前記観測スペクトルの推定値を算出する手段と、
　前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新する手段と、
　前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを前記シーンにおける照明の分光分布と物体の表面反射率として算出する手段と
を有する付記６に記載の分光画像処理装置。
　（付記８）　前記スペクトル情報選択手段は、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
付記６又は付記７に記載の分光画像処理装置。
　（付記９）　前記スペクトル情報選択手段は、前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
特徴とする付記６から付記８のいずれかに記載の分光画像処理装置。
　（付記１０）　前記スペクトル情報選択手段は、前記線形独立なスペクトル情報が前記照明の基底ベクトルの重み係数の個数と前記表面反射率の基底ベクトルの重み係数の個数の総和と同数かそれより多く観測できるまで複数回計測する
付記８又は付記９に記載の分光画像処理装置。
　（付記１１）　コンピュータに、
　シーンのマルチスペクトル画像から観測スペクトル情報を選択する処理と、
　照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する処理と、
　前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する処理と、
　前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する処理と
を実行させるプログラム。
　以上、これまで述べてきた各実施の形態は、本発明の好的な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲に置いて種々の変更を施した形態での実施が可能である。
　本出願は、２０１１年１２月２８日に出願された日本出願特願２０１１－２８８８８６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　　　　色情報取得手段
２　　　　　分光推定手段
３　　　　　照明・反射率主成分ベクトル保存メモリ
１１　　　　マルチスペクトル情報取得手段
１２　　　　色仮定なし分光推定手段
１３　　　　照明・反射率制約範囲保存メモリ
２１　　　　マルチスペクトル情報取得手段
２３　　　　色仮定なし分光推定手段
１１１　　　マルチスペクトル画像撮影手段
１１２　　　スペクトル選択手段
１２１　　　日射スペクトル成分計算手段
１２２　　　表面反射率基底ベクトル保存メモリ
１２３　　　有限次元線型和生成手段
１３１　　　観測方程式生成手段
１３２　　　方程式計算手段
２１１　　　マルチスペクトル複数回計測手段
２３１　　　照明・反射率推定値算出手段
２３２　　　観測スペクトル推定値算出手段
２３３　　　誤差算出手段
２３４　　　誤差最適化手段

Claims (10)

  1. 　シーンのマルチスペクトル画像から観測スペクトル情報を選択し、
    　照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成し、
    　前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成し、
    　前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する
    分光画像処理方法。
  2. 　前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、前記観測スペクトルの推定値を算出し、
    　前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新し、
    　前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを、前記シーンにおける照明の分光分布と物体の表面反射率として算出する
    請求項１に記載の分光画像処理方法。
  3. 　前記観測スペクトル情報として、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
    請求項１又は請求項２に記載の分光画像処理方法。
  4. 　前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
    特徴とする請求項１から請求項３のいずれかに記載の分光画像処理方法。
  5. 　前記線形独立なスペクトル情報が前記照明の基底ベクトルの重み係数の個数と前記表面反射率の基底ベクトルの重み係数の個数の総和と同数かそれより多く観測できるまで複数回計測する
    請求項３又は請求項４に記載の分光画像処理方法。
  6. 　シーンのマルチスペクトル画像から観測スペクトル情報を選択するスペクトル情報選択手段と、
    　照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する制約範囲生成手段と、
    　前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する観測方程式生成手段と、
    　前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する算出手段と
    を有する分光画像処理装置。
  7. 　前記算出手段は、
    　前記照明の分光分布の制約範囲と前記物体の表面反射率の制約範囲のもと、前記観測方程式の重み係数に初期パラメタを与えて、前記観測スペクトルの推定値を算出する手段と、
    　前記観測スペクトル情報と前記観測スペクトルの推定値の誤差に基づき、前記重み係数を更新する手段と、
    　前記誤差が所定内となったときの前記観測スペクトルの推定値を構成する照明の分光分布と物体の表面反射率とを前記シーンにおける照明の分光分布と物体の表面反射率として算出する手段と
    を有する請求項６に記載の分光画像処理装置。
  8. 　前記スペクトル情報選択手段は、前記マルチスペクトル画像から線形独立なスペクトル情報を選択する
    請求項６又は請求項７に記載の分光画像処理装置。
  9. 　前記スペクトル情報選択手段は、前記照明の基底ベクトルとして、日射スペクトルの直達成分ベクトルと散乱成分ベクトルとを用いる
    特徴とする請求項６から請求項８のいずれかに記載の分光画像処理装置。
  10. 　コンピュータに、
    　シーンのマルチスペクトル画像から観測スペクトル情報を選択する処理と、
    　照明の基底ベクトルと表面反射率の基底ベクトルを用いて、照明の分光分布の制約範囲と物体の表面反射率の制約範囲を生成する処理と、
    　前記観測スペクトル情報と、前記照明の分光分布の制約範囲と、前記物体の表面反射率の制約範囲とを用いて、前記照明の基底ベクトルの重み係数と前記表面反射率の基底ベクトルの重み係数とをパラメタとする観測方程式を生成する処理と、
    　前記観測方程式から前記シーンの照明の分光分布と物体の表面反射率とを算出する処理と
    を実行させるプログラム。
PCT/JP2012/082417 2011-12-28 2012-12-13 分光画像処理方法、分光画像処理装置およびプログラム WO2013099644A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/369,298 US9491331B2 (en) 2011-12-28 2012-12-13 Image processing method, image processing device, and program for restoring spectral characteristics of an object and an illumination, respectively
JP2013551611A JP6015964B2 (ja) 2011-12-28 2012-12-13 分光画像処理方法、分光画像処理装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011288886 2011-12-28
JP2011-288886 2011-12-28

Publications (1)

Publication Number Publication Date
WO2013099644A1 true WO2013099644A1 (ja) 2013-07-04

Family

ID=48697136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082417 WO2013099644A1 (ja) 2011-12-28 2012-12-13 分光画像処理方法、分光画像処理装置およびプログラム

Country Status (3)

Country Link
US (1) US9491331B2 (ja)
JP (1) JP6015964B2 (ja)
WO (1) WO2013099644A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036850A (ja) * 2013-08-12 2015-02-23 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2015102517A (ja) * 2013-11-27 2015-06-04 株式会社リコー 撮像装置、撮像システムおよび当該撮像装置による撮像方法
WO2018016555A1 (ja) * 2016-07-22 2018-01-25 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
JP2023048996A (ja) * 2021-09-28 2023-04-07 三星電子株式会社 ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103566A1 (ja) * 2014-12-25 2016-06-30 日本電気株式会社 画像処理方法及び画像処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007007788A1 (ja) * 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
WO2007007786A1 (ja) * 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
JP2009175926A (ja) * 2008-01-23 2009-08-06 Toppan Printing Co Ltd 分光反射率近似装置、分光反射率推定装置及びその方法並びにそのプログラム
WO2009104787A1 (ja) * 2008-02-22 2009-08-27 日本電気株式会社 カラー画像処理方法、装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4648051A (en) * 1984-10-15 1987-03-03 The Board Of Trustees Of The Leland Stanford Junior University Color imaging process
JP3149297B2 (ja) 1993-08-25 2001-03-26 東洋インキ製造株式会社 カラーバランス調整装置および調整方法
US6304294B1 (en) * 1999-10-15 2001-10-16 Sony Corporation Apparatus for and method of estimating the illumination of an image
JP3853224B2 (ja) 2001-11-08 2006-12-06 富士写真フイルム株式会社 ホワイトバランス補正方法
CN102597744B (zh) * 2009-09-03 2016-09-07 澳大利亚国家Ict有限公司 照明谱恢复

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007007788A1 (ja) * 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
WO2007007786A1 (ja) * 2005-07-13 2007-01-18 Nec Corporation 色補正方法および色補正装置
JP2009175926A (ja) * 2008-01-23 2009-08-06 Toppan Printing Co Ltd 分光反射率近似装置、分光反射率推定装置及びその方法並びにそのプログラム
WO2009104787A1 (ja) * 2008-02-22 2009-08-27 日本電気株式会社 カラー画像処理方法、装置およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036850A (ja) * 2013-08-12 2015-02-23 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2015102517A (ja) * 2013-11-27 2015-06-04 株式会社リコー 撮像装置、撮像システムおよび当該撮像装置による撮像方法
WO2018016555A1 (ja) * 2016-07-22 2018-01-25 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
US11519781B2 (en) 2016-07-22 2022-12-06 Nec Corporation Image processing device, image processing method, and recording medium
JP2023048996A (ja) * 2021-09-28 2023-04-07 三星電子株式会社 ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法
JP7504170B2 (ja) 2021-09-28 2024-06-21 三星電子株式会社 ホワイトバランスを遂行する映像獲得装置、及びそれを含む電子装置、ならびに映像獲得装置の制御方法

Also Published As

Publication number Publication date
US9491331B2 (en) 2016-11-08
JP6015964B2 (ja) 2016-10-26
US20150207959A1 (en) 2015-07-23
JPWO2013099644A1 (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
JP6015964B2 (ja) 分光画像処理方法、分光画像処理装置およびプログラム
KR20050074590A (ko) 광원 추정 장치, 광원 추정 방법, 촬상 장치 및 화상 처리방법
JP5988093B2 (ja) 画像処理装置、物体識別装置、及びプログラム
JP6943251B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体
JPWO2016114148A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP6201507B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6376128B2 (ja) 照明推定装置、照明推定方法および照明推定プログラム
CN109389646B (zh) 一种利用多光谱图像进行彩色相机辐射定标的方法
JP6443230B2 (ja) 処理プログラム、処理方法、及び処理装置
JP2013124990A (ja) 画像処理装置および画像処理方法
JP4174707B2 (ja) 分光測定システム、色再現システム
JP6023653B2 (ja) 照明光色推定装置、照明光色推定方法及びプログラム
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Lam et al. Spectral Imaging Using Basis Lights.
CN108430302B (zh) 图像处理装置、图像处理方法和存储介质
JP6478492B2 (ja) 画像処理装置およびその方法
WO2016208142A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体
JP2011022044A (ja) 光源推定装置および光源推定方法
KR101630856B1 (ko) 다분광 포토메트릭 스테레오 시스템 그리고 이의 동작 방법
JP2011095110A (ja) 光源推定装置および光源推定方法
JP6230504B2 (ja) 画像処理装置、方法、及びプログラム
JP2007221624A (ja) 照度取得装置、照度取得方法および照度取得プログラム
JP2020091256A (ja) 処理装置、撮像装置、処理方法、およびプログラム
JP7309092B1 (ja) 情報処理装置、判定方法、及び判定プログラム
JP2018036177A (ja) 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861164

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551611

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14369298

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12861164

Country of ref document: EP

Kind code of ref document: A1