WO2022059342A1 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2022059342A1
WO2022059342A1 PCT/JP2021/027291 JP2021027291W WO2022059342A1 WO 2022059342 A1 WO2022059342 A1 WO 2022059342A1 JP 2021027291 W JP2021027291 W JP 2021027291W WO 2022059342 A1 WO2022059342 A1 WO 2022059342A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
image
signal
measurement sheet
external energy
Prior art date
Application number
PCT/JP2021/027291
Other languages
English (en)
French (fr)
Inventor
善朗 山崎
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21869029.5A priority Critical patent/EP4215887A4/en
Priority to CN202180063018.4A priority patent/CN116113811A/zh
Priority to JP2022550390A priority patent/JPWO2022059342A1/ja
Publication of WO2022059342A1 publication Critical patent/WO2022059342A1/ja
Priority to US18/181,327 priority patent/US20230206506A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/24Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/241Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01KMEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K11/00Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00
    • G01K11/12Measuring temperature based upon physical or chemical changes not covered by groups G01K3/00, G01K5/00, G01K7/00 or G01K9/00 using changes in colour, translucency or reflectance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium for deriving the amount of external energy applied to the measuring sheet based on the color density of the measuring sheet.
  • a measurement sheet that develops color to a predetermined density according to the amount of external energy due to the addition of external energy is imaged by an image pickup device such as a camera, and the image signal (density value) of the image captured on the measurement sheet is used.
  • an image pickup device such as a camera
  • the image signal (density value) of the image captured on the measurement sheet is used.
  • shading correction for example, an image for shading correction, for example, a white reference image is captured, and based on the image signal of the captured image, the unevenness of the surface distribution of the density of the captured image of the measurement sheet is eliminated. Shading correction parameters are created. Then, the shading correction of the image signal of the captured image of the measurement sheet is performed by using the shading correction parameter.
  • an image for shading correction for example, a white reference image is captured, and based on the image signal of the captured image, the unevenness of the surface distribution of the density of the captured image of the measurement sheet is eliminated. Shading correction parameters are created. Then, the shading correction of the image signal of the captured image of the measurement sheet is performed by using the shading correction parameter.
  • the lighting condition (lighting condition) is kept constant as in a high-performance scanner
  • the user holds an image pickup device such as a camera in his hand to take an image of a measurement sheet, or performs. It is difficult to keep the lighting condition constant, especially when reading a measurement sheet with a low-level scanner. Therefore, it is necessary to capture the image of the measurement sheet by restricting the lighting state from changing from the time of capturing the image for shading correction.
  • Patent Documents 1 and 2 Prior art documents that serve as a reference for the present invention include, for example, Patent Documents 1 and 2.
  • Patent Document 1 a pressure paper that develops light and shade by the applied pressure is photographed by a camera, and the relationship between the relative density value and the absolute density value of the gray scale image is obtained as an approximate expression by the minimum square method and photographed.
  • the relative density value of the pressure paper is converted into an absolute density value by an approximate formula, and the area representing the shade belonging to the absolute density value in the pressure paper is obtained, and the unit area for developing the shade indicating the absolute density value in the pressure paper.
  • a pressure measuring device for obtaining the pressure applied to the pressure paper by multiplying the hit pressure by the area and obtaining the sum for all the gradations is described.
  • Patent Document 2 describes an RGB vector because the RGB signal becomes equal to (kR, kG, kB) when the RGB signal changes its magnitude under various intensities of light and the intensity increases by a factor of k. It is described that, for example, by dividing by (R + G + B) and normalizing with respect to the intensity, the dependency for the intensity (k) is removed and the variation in the image resulting from the high and low intensity of the illumination is removed.
  • Patent Document 1 only discloses a technique for correcting a change in the color development density of the pressure paper due to a change in the intensity of the illumination light in order to accurately obtain the color development density of the pressure paper. No particular disclosure is made regarding the correction of the unevenness of the surface distribution of the color density of the pressure paper caused by the unevenness of the surface distribution.
  • Patent Document 2 discloses a technique of taking a color signal ratio and normalizing the illumination light intensity as a signal processing that is not affected by a change in the illumination light intensity. It does not disclose the technique of deriving the pressure value from the ratio of the color signal based on the relationship with the pressure value.
  • An object of the present invention is to solve the above-mentioned problems of the prior art and accurately derive the amount of external energy applied to the measurement sheet from the color development density of the measurement sheet without using an image for shading correction. It is an object of the present invention to provide an image processing apparatus, an image processing method, a program, and a recording medium capable of the present invention.
  • the present invention has an image in which a measurement sheet whose color is developed to a concentration corresponding to the amount of external energy due to the application of external energy is imaged by sensors having a plurality of spectral sensitivities different from each other.
  • Get the image signal of the image From the image signal of the captured image, one or two or more first image signals corresponding to one or more spectral sensitivities are acquired.
  • From the image signal of the captured image one or two or more second image signals corresponding to one or more spectral sensitivities and having at least one spectral sensitivity different from the first image signal are acquired.
  • One first image signal is used as a third image signal, or two or more first image signals are summed for each pixel to generate a third image signal.
  • a fourth image signal is generated by using one second image signal as a fourth image signal or by summing two or more second image signals for each pixel.
  • a fifth image signal is generated by calculating the ratio of the third image signal to the fourth image signal for each pixel.
  • an image processing method for deriving a surface distribution of an amount of external energy applied to a measurement sheet based on a fifth image signal.
  • the plurality of spectral sensitivities are preferably R sensitivity, G sensitivity and B sensitivity.
  • the fifth image signal and the amount of external energy have a mapping relationship in which the amount of external energy is uniquely determined based on the fifth image signal, and it is preferable to create a calibration curve in advance based on the mapping relationship.
  • a calibration curve is created on the measurement sheet, and the patch is colored by applying external energy to the measurement sheet under different conditions, or on a sheet different from the measurement sheet for measurement.
  • a patch created using the same color material as the sheet and colored to the same density as the patch created on the measurement sheet is the fifth image signal generated from the image signal of the captured image captured by the sensor. It is preferable to make it based on the relationship with the amount of external energy applied to the measuring sheet.
  • the conditions in which the amount of external energy is different include the condition that the external energy is not applied to the measuring sheet.
  • the graphic distortion of the captured image of the measurement sheet is corrected. It is preferable to generate the fifth image signal from the image signal of the captured image of the measurement sheet after correcting the graphic distortion.
  • the image signal of the captured image of the measurement sheet has a gamma curve from the image signal having a linear luminance. Without performing gradation conversion to convert to image signals It is preferable to generate the fifth image signal from the image signal of the captured image of the measurement sheet on which the gradation conversion is not performed.
  • the present invention comprises a processor, wherein the processor Due to the addition of external energy, the measurement sheet, which develops color at a concentration corresponding to the amount of external energy, acquires the image signal of the captured image captured by sensors having multiple spectral sensitivities different from each other. From the image signal of the captured image, one or two or more first image signals corresponding to one or more spectral sensitivities are acquired. From the image signal of the captured image, one or two or more second image signals corresponding to one or more spectral sensitivities and having at least one spectral sensitivity different from the first image signal are acquired. One first image signal is used as a third image signal, or two or more first image signals are summed for each pixel to generate a third image signal.
  • a fourth image signal is generated by using one second image signal as a fourth image signal or by summing two or more second image signals for each pixel.
  • a fifth image signal is generated by calculating the ratio of the third image signal to the fourth image signal for each pixel.
  • an image processing apparatus that derives a surface distribution of the amount of external energy applied to a measurement sheet based on a fifth image signal.
  • the present invention provides a program for causing a computer to execute each step of the above-mentioned image processing method.
  • the present invention also provides a computer-readable recording medium in which a program for causing a computer to execute each step of the above-mentioned image processing method is recorded.
  • the shading correction is performed based on the image for shading correction without performing the shading correction, as in the case where the shading correction is performed. It is possible to eliminate the unevenness of the surface distribution of the density of the captured image of the measurement sheet caused by the unevenness of the surface distribution of the intensity of the illumination light. Further, the user can accurately derive the amount of external energy applied to the measurement sheet from the color development density of the measurement sheet without considering the unevenness of the surface distribution of the intensity of the illumination light.
  • FIG. 6 is a graph of a calibration curve showing the relationship between the ratio R'of the R signal of the captured image of the measurement sheet 1 and the amount of external energy applied to the measurement sheet 1.
  • 6 is a graph of a calibration curve showing the relationship between the ratio G'of the G signal of the captured image of the measurement sheet 2 and the amount of external energy applied to the measurement sheet 2.
  • FIG. 1 is a block diagram of an embodiment showing the configuration of the image processing apparatus of the present invention.
  • the image processing apparatus 10 shown in FIG. 1 derives the surface distribution of the amount of external energy applied to the measurement sheet based on the color development density of the measurement sheet.
  • the image processing device 10 of the present embodiment is a smartphone having a camera function, and as shown in FIG. 1, an image pickup unit 12, a display unit 14, an operation unit 16, a storage unit 18, a processor 20, and the like. It is equipped with.
  • the display unit 14, the operation unit 16, the image pickup unit 12, the storage unit 18, and the processor 20 are bidirectionally connected via the internal bus 34, and data can be transmitted to and received from each other.
  • the image pickup unit 12 has sensors having a plurality of spectral sensitivities different from each other, and under the control of the processor 20, the subject is imaged by the sensor under arbitrary illumination light, and the image signal of the captured image is output.
  • the sensor has three spectral sensitivities consisting of R (red) sensitivity, G (green) sensitivity and B (blue) sensitivity.
  • the image pickup unit 12 corresponds to a camera function of a smartphone, and images a measurement sheet and a chart by a sensor, and an image signal (R signal) of R sensitivity, an image signal (G signal) of G sensitivity, and an image signal of G sensitivity of these captured images.
  • a color image signal composed of a B-sensitivity image signal (B signal) is output.
  • the image pickup unit 12 may output a color image signal including an R signal, a G signal, and a B signal of the captured image by imaging the subject using the color sensor.
  • the imaging unit 12 sequentially captures the subject by using the monochrome sensor and the optical filters of R, G, and B, thereby sequentially capturing the R signal of the R image, the G signal of the G image, and the B signal of the B image. It may be output.
  • sensors having spectral sensitivities of other colors may be used.
  • the measuring sheet is in the form of a sheet such as paper, sheet, film, etc., and when external energy is applied, it develops a color in a predetermined shape and a predetermined density (color) according to the amount of external energy.
  • the colored portion is formed on at least one of the surfaces thereof.
  • the measuring sheet is not particularly limited, and examples thereof include a pressure-sensitive sheet, a heat-sensitive sheet, and an ultraviolet (or near-infrared ray, mid-infrared ray) sheet.
  • the pressure-sensitive sheet, the heat-sensitive sheet, the ultraviolet sheet, etc. have a predetermined shape according to the amount of external energy applied due to the application of external energy such as pressure, temperature, and ultraviolet rays (or near-infrared rays and mid-infrared rays), respectively. And develops color to a predetermined density.
  • the measuring sheet can measure the surface distribution of the amount of external energy applied to the measuring sheet based on the shape and density of the color-developing portion formed on the surface of the measuring sheet.
  • the instantaneous pressure is the magnitude of the external energy instantaneously applied to the measuring sheet.
  • Sustained pressure is a time integral of the magnitude of external energy continuously applied to the measuring sheet.
  • the amount of external energy includes both the time integral of the magnitude of external energy due to instantaneous pressure and the magnitude of external energy due to sustained pressure.
  • the color development concentration when it is in contact with a heat source changes depending on the temperature of the heat source and the contact time (time-integrated energy amount of temperature).
  • the color development density when receiving ultraviolet rays corresponds to the amount of light of the received ultraviolet rays and the light receiving time (time-integrated energy amount of the amount of light).
  • the chart contains two or more patches that are colored in different densities. Although the details will be described later, the patch included in the chart correlates the ratio of the image signal (color signal) of the captured image of the measurement sheet with the amount of external energy applied to the measurement sheet to obtain the image signal. It is used to create a calibration curve that derives the surface distribution of the amount of external energy applied to the measuring sheet from the ratio.
  • the chart for creating the calibration curve can be created using the measurement sheet.
  • the chart comprises two or more patches created on the measuring sheet and colored by applying external energy amounts to the measuring sheet under different conditions.
  • the patch can be arranged, for example, along the peripheral portion on the measurement sheet so as not to interfere with the color-developing portion formed on the measurement sheet.
  • the conditions in which the amount of external energy is different may include the condition in which no external energy is applied.
  • a patch created under the condition that no external energy is applied is, for example, a white patch.
  • This white patch may be similar to the other patches included in the chart, but may utilize the white area of the background other than the area of the other patches. In this case, the chart contains substantially only one patch at a defined concentration.
  • the chart can be created on a sheet different from the measurement sheet using the same color material as the measurement sheet.
  • the chart is created on a sheet different from the measurement sheet using the same coloring material as the measurement sheet, and two or more colors are developed at the same density as the patch created on the measurement sheet described above. Includes patches.
  • the patch can be placed at any position on the sheet different from the measurement sheet, as shown in FIG.
  • the number, arrangement, size, shape, etc. of the patches included in the chart are not particularly limited.
  • the rectangular patch shown in FIGS. 4 and 5 can also be used to correct graphic distortion in the captured image of the measurement sheet.
  • the display unit 14 displays various images, information, and the like under the control of the processor 20.
  • the display unit 14 is composed of, for example, an LCD (Liquid Crystal Display), an organic EL (Organic Electroluminescence) display, an LED (Light Emitting Diode) display, a display such as electronic paper, or the like.
  • the display unit 14 of the present embodiment is provided with a touch panel that receives a touch operation by the user of the image processing device 10.
  • the operation unit 16 receives the user's operation under the control of the processor 20.
  • the operation unit 16 includes a plurality of buttons provided on the outer surface of the housing of the image processing device 10, a graphical user interface of the touch panel provided on the display unit 14, and the like. When the user takes an image of a subject or sets various setting items, the user performs a corresponding operation through the operation unit 16.
  • the storage unit 18 stores an image of the subject captured by the image pickup unit 12, that is, an image signal thereof, etc., under the control of the processor 20.
  • the storage unit 18 is a memory device or the like that stores the captured image of the measurement sheet and the captured image of the chart captured by the imaging unit 12. Further, the storage unit 18 stores a program executed by the processor 20 and various data and the like.
  • the processor 20 controls each part of the image processing device 10 and executes various processes including image pickup of a subject, storage of an image, display of an image, and the like.
  • the processor 20 includes an image signal acquisition unit 22, a ratio calculation unit 24, a calibration curve creation unit 28, a surface distribution derivation unit 30, and a display processing unit 32.
  • the processor 20 functions as each processing unit.
  • the image signal acquisition unit 22, the ratio calculation unit 24, the calibration curve creation unit 28, and the surface distribution derivation unit 30 are bidirectionally connected via the internal bus 34, and data can be transmitted and received to each other.
  • the image signal acquisition unit 22 controls the operation of the image pickup unit 12 in response to the user's operation (imaging instruction) through the operation unit 16, and acquires the captured image of the subject captured by the sensor, that is, the image signal. do.
  • the image signal acquisition unit 22 acquires a color image signal including an R signal, a G signal, and a B signal of the captured image of the measurement sheet. Further, the image signal acquisition unit 22 extracts captured images of two or more patches corresponding to the regions of two or more patches from the captured images of the chart, and R signals and G signals of the captured images of the two or more patches. And a color image signal consisting of a B signal is acquired.
  • the image signal acquisition unit 22 acquires one or two or more first image signals corresponding to one or two or more spectral sensitivities from the image signal of the captured image of the measurement sheet. Further, the image signal acquisition unit 22 corresponds to one or two or more spectral sensitivities from the image signal of the captured image of the measurement sheet, and has one or two or more spectral sensitivities different from those of the first image signal.
  • the second image signal of is acquired. In the case of the present embodiment, the image signal acquisition unit 22 acquires the R signal as the first image signal of the captured image of the measurement sheet, and acquires the R signal, the G signal, and the B signal as the second image signal.
  • the image signal acquisition unit 22 acquires one or two or more first image signals corresponding to one or two or more spectral sensitivities from each of the image signals of the captured images of the two or more patches. Further, the image signal acquisition unit 22 corresponds to one or more spectral sensitivities from each of the image signals of the captured images of the two or more patches, and at least one spectral sensitivity is different from the first image signal. Or acquire two or more second image signals. In the case of the present embodiment, the image signal acquisition unit 22 acquires the R signal as the first image signal of the captured image of the patch, and acquires the R signal, the G signal, and the B signal as the second image signal.
  • the ratio calculation unit 24 calculates the ratio of the image signal (color signal) of the captured image of the measurement sheet. Similarly, the ratio calculation unit 24 calculates the ratio of the image signal (color signal) of the captured image of the patch.
  • the ratio calculation unit 24 uses one first image signal as the third image signal.
  • the ratio calculation unit 24 uses one first image signal as the third image signal.
  • the ratio calculation unit 24 uses two or more first image signals as the third image signal. That is, the total value of the pixel values of the corresponding pixels of the two or more first image signals is set as the pixel value of the corresponding pixel of the third image signal.
  • the ratio calculation unit 24 uses one second image signal as the fourth image signal.
  • the ratio calculation unit 24 when two or more second image signals are acquired, the ratio calculation unit 24 generates a fourth image signal by summing the two or more second image signals for each pixel. That is, the total value of the pixel values of the corresponding pixels of the two or more second image signals is set as the pixel value of the corresponding pixel of the fourth image signal. Then, the ratio calculation unit 24 generates the fifth image signal by calculating the ratio between the third image signal and the fourth image signal for each pixel. That is, the ratio of the pixel value of the pixel of the third image signal to the pixel value of the corresponding pixel of the fourth image signal is taken as the pixel value of the corresponding pixel of the fifth image signal.
  • the method for totaling the pixel values is not limited to arithmetic addition, and may be another total method such as arithmetic mean.
  • the image signal acquisition unit 22 acquires the first image signal and the second image signal based on the predetermined calculation formula of the color signal ratio, and the ratio calculation unit obtains the first image signal. And based on the second image signal, a third image signal and a fourth image signal are generated, and based on the third image signal and the fourth image signal, a fifth image signal, that is, a third image signal and a fourth image. Calculate the ratio with the signal.
  • calculation formulas 1 to 4 are shown as examples of the calculation formulas of the ratio R'of the R signal, the ratio G'of the G signal, and the ratio B'of the B signal.
  • the numerator of the calculation formula is not limited to the above calculation formulas 1 to 4, and is generated by summing one first image signal or two or more first image signals as the third image signal for each pixel. It suffices if the third image signal is included.
  • the fourth image signal one second image signal having at least one spectral sensitivity different from that of the first image signal or two or more second image signals are summed for each pixel. It suffices if the generated fourth image signal is included.
  • the method for determining the calculation formula is not particularly limited, but for example, the above ratios R', G', B'are calculated using calculation formulas 1 to 4, and the ratios R', G', B'and the measurement sheet are used. From the calculation formulas 1 to 4, one calculation formula most suitable for the color development characteristics of the measurement sheet, the spectral sensitivity characteristics of the sensor, and the like is selected from the calculation formulas 1 to 4 based on the relationship with the amount of external energy added to. For example, a calculation formula in which the relationship between the ratio and the amount of external energy monotonically increases or decreases may be selected, or a calculation formula having strong linearity may be selected.
  • the monotonous increase or decrease in the relationship between the ratio and the amount of external energy means that the change in the amount of external energy with respect to the change in the ratio increases or decreases monotonically without repeating increasing and decreasing.
  • the strength of linearity is the correlation between a straight line that is linearly approximated and each point that represents the relationship between the ratio and the amount of external energy, for example, when a line graph showing the relationship between the ratio and the amount of external energy is linearly approximated. Determined by size.
  • the magnitude of the correlation represents the magnitude of the deviation amount between the linearly approximated straight line and each point representing the relationship between the ratio and the amount of external energy. The stronger the linearity, the smaller the deviation amount and the larger the correlation. Further, the higher the accuracy required when deriving the surface distribution of the amount of external energy from the ratio, the larger the correlation is required.
  • the image signal acquisition unit 22 acquires the R signal as the first image signal, and acquires the R signal, the G signal, and the B signal as the second image signal.
  • the ratio calculation unit uses the R signal as the third image signal, generates the fourth image signal by summing the R signal, the G signal, and the B signal for each pixel, and uses the calculation formula 1 to generate the third image.
  • the fifth image signal is generated by calculating the ratio R'of the signal to the fourth image signal.
  • the calibration curve creation unit 28 creates a calibration curve based on the relationship between the fifth image signal generated from the image signal of the captured image of the patch and the amount of external energy applied to the measurement sheet.
  • the fifth image signal and the amount of external energy have a mapping relationship in which the amount of external energy is uniquely determined based on the fifth image signal, and this mapping relationship is known.
  • the calibration curve creation unit 28 creates a calibration curve in advance based on this mapping relationship.
  • the calibration curve can be configured by, for example, a LUT (Look Up Table).
  • FIG. 6 is a graph of a calibration curve showing the relationship between the ratio R'of the R signal of the captured image of the measurement sheet 1 and the amount of external energy applied to the measurement sheet 1.
  • the horizontal axis of the graph represents the ratio R'of the R signal of the captured image of the measurement sheet 1
  • the vertical axis represents the amount of external energy applied to the measurement sheet 1.
  • the ratio R'increases in the range of about 0.7 to 2.3 the amount of external energy increases accordingly in the range of 0 to 7. That is, the calibration curve of the ratio R'of the R signal of the captured image of the measurement sheet 1 changes to the right.
  • FIG. 7 is a graph of a calibration curve showing the relationship between the ratio G'of the G signal of the captured image of the measurement sheet 2 and the amount of external energy applied to the measurement sheet 2.
  • the horizontal axis of the graph represents the ratio G'of the G signal of the captured image of the measurement sheet 2
  • the vertical axis represents the amount of external energy applied to the measurement sheet 2.
  • the ratio G'increases in the range 0.1-0.5 the amount of external energy decreases accordingly in the range 6-0. That is, the calibration curve of the ratio G'of the G signal of the captured image of the measurement sheet 2 changes to the lower right.
  • the calibration curve creating unit 28 creates a calibration curve in advance corresponding to the measurement sheet to be measured by using a predetermined calculation formula.
  • the surface distribution derivation unit 30 has a surface distribution of the amount of external energy applied to the measurement sheet based on the fifth image signal, that is, the ratio of the third image signal and the fourth image signal of the captured image of the measurement sheet. Is derived. In the case of the present embodiment, the surface distribution deriving unit 30 derives the surface distribution of the amount of external energy applied to the measurement sheet from the fifth image signal using the calibration curve created by the calibration curve creating unit 28.
  • the display processing unit 32 causes the display unit 14 to display various images, information, and the like. In the case of the present embodiment, the display processing unit 32 causes the display unit 14 to display these images when the measurement sheet and the chart are imaged according to the user's operation (imaging instruction).
  • a calibration curve is created from eight patches colored at different densities using the calculation formula 1 for calculating the ratio R', and the calibration curve is used to capture an image of the measurement sheet to be measured. It is assumed that the amount of external energy applied to the measurement sheet is derived from the ratio R'(fifth image signal) of the R signal of.
  • the selection formula for creating the calibration curve is determined in advance (step S1).
  • the user takes an image of a measurement sheet that develops a color at a predetermined density according to the amount of external energy due to the application of external energy under arbitrary illumination light L1.
  • the user holds the image processing device 10 which is a smartphone in his / her hand, and while viewing the image of the measurement sheet displayed on the display unit 14, instructs the user to take an image of the measurement sheet by the user's operation through the operation unit 16. ..
  • the measurement sheet is imaged by the sensor of the image pickup unit 12.
  • the image signal acquisition unit 22 acquires a color image signal including an R signal, a G signal, and a B signal of the captured image of the measurement sheet.
  • the ratio calculation unit 24 calculates the ratios R', G', and B'of the captured image of the measurement sheet using the above-mentioned calculation formulas 1 to 4, and the ratios are R', G', and B'. Based on the relationship with the amount of external energy applied to the measurement sheet, for example, the calculation formula 1 of the ratio R'of the R signal is selected from the calculation formulas 1 to 4. As a result, one calculation formula most suitable for the color development characteristics of the measurement sheet to be measured and the spectral sensitivity characteristics of the sensor is determined.
  • a calibration curve corresponding to the measurement sheet to be measured is prepared in advance (step S2).
  • the user images a chart containing eight patches colored at different densities under the same illumination light L1. Accordingly, the chart is similarly imaged by the sensor of the image pickup unit 12.
  • the image signal acquisition unit 22 extracts the captured images of the eight patches corresponding to the regions of the eight patches from the captured images of the chart, and the R signal, G signal, and B of each of the captured images of the eight patches. A color image signal consisting of signals is acquired. Then, the R signal is acquired as the first image signal from each of the image signals of the captured images of the eight patches, and the R signal, the G signal, and the B signal are acquired as the second image signal.
  • the calibration curve creation unit 28 creates a calibration curve with a ratio R'based on the relationship between the eight ratios R'and the eight external energy quantities added to the corresponding measurement sheet. To.
  • the eight ratio R'and the corresponding amount of eight external energies added to the measurement sheet are determined.
  • a calibration curve having a ratio R' is created by interpolating eight discrete points using a known interpolation technique.
  • the range of eight points is interpolated by using a cubic spline interpolation technique or the like, and the outside of the range of eight points is interpolated by using an extrapolation technique or the like.
  • the amount of external energy is derived from the ratio of the image signals of the measurement sheet to be measured (step S3).
  • the user takes an image of a measurement sheet that develops a color at a predetermined density according to the amount of external energy due to the application of external energy under the same illumination light L1.
  • the measurement sheet is similarly imaged by the sensor of the image pickup unit 12 (step S3-1).
  • the image signal acquisition unit 22 acquires a color image signal including an R signal, a G signal, and a B signal of the captured image of the measurement sheet (step S3-2).
  • the R signal is acquired as the first image signal (step S3-3) from the image signal of the captured image of the measurement sheet, and the R signal, the G signal, and the B signal are acquired as the second image signal (step). S3-4).
  • the ratio calculation unit 24 sets the R signal as the third image signal (step S3-5), and the R signal, the G signal, and the B signal are summed for each pixel, so that the Y signal is used as the fourth image signal.
  • Step S3-7 the fifth image signal of the captured image of the measurement sheet, that is, the ratio R'is calculated.
  • the surface distribution deriving unit 30 derives the surface distribution of the amount of external energy applied to the measurement sheet from the fifth image signal using the calibration curve (step S3-8). Similarly, for other measurement sheets to be measured, the amount of external energy should be derived from the ratio of the image signals of the measurement sheet to be measured by using the same R'calculation formula 1 and the same calibration curve. Can be done.
  • R rr * Yr * SD (x, y)
  • G gg * Yg * SD (x, y)
  • B bb * Yb * SD (x, y)
  • rr, gg and bb are the reflectances (color components) of the R signal
  • Yr, Yg and Yb are the light amounts (luminance components) of the R signal
  • SD ( x, y) is an uneven component of the R signal, the G signal, and the B signal caused by the unevenness of the surface distribution of the intensity of the illumination light at the coordinates (x, y).
  • the ratio R' is expressed by the following equation.
  • the measurement sheet develops color to a predetermined density according to the amount of external energy due to the addition of external energy, but as the density value increases, the color component and the luminance component increase in tandem. Therefore, even when the external energy amount is derived from the ratio R'which has no brightness component and uneven component and contains only the color component, the external energy amount can be obtained as accurately as when the external energy amount is derived from the concentration value. It can be derived.
  • the illumination is performed in the same manner as when the shading correction is performed, even if the shading correction is not performed based on the image for shading correction. It is possible to eliminate the unevenness of the surface distribution of the density of the captured image of the measurement sheet caused by the unevenness of the surface distribution of the light intensity. Further, the user can accurately derive the amount of external energy applied to the measurement sheet from the color development density of the measurement sheet without considering the unevenness of the surface distribution of the intensity of the illumination light.
  • the illumination light has two attributes, a surface distribution of its intensity and a spectral distribution (spectrum), but in steps S1 to S3, the surface distribution of the intensity of the illumination light does not have to be the same. That is, the measurement sheet can be imaged without considering the unevenness of the surface distribution of the intensity of the illumination light.
  • the spectral distributions of the illumination light need to be the same. The reason is that when the spectral distribution of the illumination light changes in steps S1 to S3, the density (color tint) corresponding to the spectral reflectance of the color material of the measurement sheet looks different.
  • the calibration curve is substantially drawn using a chart containing only one patch having a predetermined density. You may create it.
  • the calibration curve creation unit 28 provides one patch included in the chart and a white patch using a white area in the background other than the area of one patch included in this chart. A calibration curve is created based on this.
  • the point showing the relationship between the ratio R'and the amount of external energy and the white color.
  • a calibration curve is created by connecting a point representing the relationship between the ratio R'of the image signal of the captured image of the patch and the corresponding amount of external energy with a straight line.
  • the number of patches included in the chart may be small, but conversely, if the non-linearity is strong, it is preferable to increase the number of patches. .. That is, it is preferable to increase the number of patches as the non-linearity is stronger. As a result, the amount of external energy can be derived from the fifth image signal with high accuracy even when the non-linearity is strong.
  • the strength of the non-linearity varies depending on the range of the mapping relationship in the calibration curve, it is preferable to increase the number of patches in the range where the non-linearity is strong and decrease the number of patches in the range where the non-linearity is weak. That is, it is preferable to increase the number of patches in the range where the non-linearity is strong rather than the range where the linearity is strong. As a result, the amount of external energy can be derived from the ratio with high accuracy even in the range where the non-linearity is strong.
  • the measurement sheet and the chart may be imaged at the same time.
  • both the measurement sheet and the chart can be imaged by one imaging.
  • the measurement sheet and the chart may be separately imaged by imaging the chart shown in FIG. 5 before or after the measurement sheet is imaged.
  • the fifth image signal of the captured image of the patch and the amount of external energy may be directly associated with each other.
  • a normalization unit is provided, and the normalization unit standardizes the fifth image signal of the captured image of the patch according to the standard status of the density, for example, and sets the standardized fifth image signal and the amount of external energy. It may be associated. That is, the fifth image signal of the captured image of the patch and the amount of external energy may be indirectly associated with each other.
  • the captured image of the measurement sheet includes graphic distortion due to lens aberration and graphic distortion such as graphic distortion due to tilting at the time of imaging. Therefore, after the graphic distortion correction unit is provided and the image signal of the captured image of the measurement sheet is acquired, and before the first image signal is acquired, the graphic distortion correction unit provides the graphic of the captured image of the measurement sheet. The distortion may be corrected, and the ratio calculation unit 24 may generate a fifth image signal from the image signal of the captured image of the measurement sheet after the correction of the graphic distortion.
  • the shape distortion due to the aberration of the lens is not particularly limited, but the known Zhang method (Zhengyou Zhang, “A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998. ) Can be used for correction. Further, the graphic distortion due to tilting at the time of imaging can be corrected by using a known tilting correction (perspective graphic correction) based on the four vertices of the captured image of the rectangular patch included in the captured image of the chart.
  • a gradation conversion unit is provided, and the image of the captured image of the measurement sheet is provided after the gradation conversion unit acquires the image signal of the captured image of the measurement sheet and before the first image signal is acquired.
  • Gradation conversion may be performed to convert the signal from an image signal having a linear luminance to an image signal having a gamma curve. It should be noted that the gradation conversion may be performed after the graphic distortion is corrected, or the graphic distortion may be corrected after the gradation conversion is performed.
  • FIG. 8 is a conceptual diagram showing the configuration of the measurement sheet of the first embodiment.
  • a plurality of circular, red, colored portions colored to a predetermined concentration according to the amount of external energy are formed on one surface of the measurement sheet of the first embodiment.
  • the measurement sheet of the first embodiment is illuminated by the illumination light so that the left side is relatively bright and the right side is relatively dark.
  • FIG. 9 is a graph showing an image signal of the captured image of the measurement sheet of the first embodiment.
  • the horizontal axis of the graph represents the distance from the left side to the right side of the measurement sheet shown in FIG. 8, and the vertical axis represents the R signal of the portion surrounded by the square frame of the captured image of the measurement sheet shown in FIG.
  • the waveform shown by the solid line on the upper side is the R signal
  • the waveform shown by the broken line in the middle is the B signal
  • the waveform shown by the dotted line on the lower side is the G signal.
  • the R signal, the G signal, and the B signal in the color-developing portion become larger toward the relatively bright left side and decrease toward the relatively dark right side.
  • FIG. 10 is a conceptual diagram showing the configuration of the captured image of the measurement sheet of the first embodiment based on the ratio of image signals. More specifically, FIG. 10 shows the measurement sheet created based on the ratio R'of the image signal calculated by using the calculation formula 1 after the gradation conversion of the image signal is performed. Represents a captured image. In the captured image of the measurement sheet created based on the ratio R', the luminance component and the unevenness component are canceled and only the color component is left. However, in FIG. 10, the luminance component is shown so that the color-developing portion can be visually confirmed. Is shown with an offset.
  • FIG. 11 is a graph showing the image signal of the captured image of the measurement sheet of the first embodiment based on the ratio of the image signal.
  • the horizontal axis of the graph represents the distance from the left side to the right side of the measurement sheet shown in FIG. 10, and the vertical axis is the ratio R'of the portion surrounded by the square frame of the captured image of the measurement sheet shown in FIG. Represents the original R signal, G signal, and B signal (concentration value) included in the calculation formula 1 used for calculating.
  • the waveform shown by the solid line on the upper side is the R signal
  • the waveform shown by the broken line in the middle is the B signal
  • the waveform shown by the dotted line on the lower side is the G signal.
  • the R signal, the G signal, and the B signal in the color-developing portion have similar values over the entire region in the left-right direction of the captured image of the measurement sheet.
  • FIGS. 12 to 15 show the measurement sheet of the second embodiment and correspond to the measurement sheet of the first embodiment of FIGS. 8 to 11, but the measurement sheet of the second embodiment is lit by illumination light.
  • the upper side is relatively bright and the lower side is relatively dark.
  • FIGS. 16 to 19 similarly correspond to the measurement sheet of the first embodiment of FIGS. 8 to 11 with respect to the measurement sheet of the third embodiment, but the measurement sheet of the third embodiment is the same.
  • the right side is relatively bright and the left side is relatively dark due to the illumination light.
  • the R signal, the G signal, and the B signal included in the ratio R'in the color-developing portion are all in the left-right direction of the captured image of the measurement sheet. The values are similar over the area of.
  • the image processing device of the present invention is not limited to a smartphone, but may be a digital camera, a digital video camera, a scanner, or the like, and can be realized as an application program that operates in these devices.
  • the processor is a processor whose circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various processing units. It includes a dedicated electric circuit which is a processor having a circuit configuration specially designed for performing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit).
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types, for example, a combination of a plurality of FPGAs, or a combination of an FPGA and a CPU. It may be configured by such as. Further, a plurality of processing units may be configured by one of various processors, or two or more of the plurality of processing units may be collectively configured by using one processor.
  • processors are configured by a combination of one or more CPUs and software, and this processor functions as a plurality of processing units.
  • SoC system on chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • circuitry that combines circuit elements such as semiconductor elements.
  • the method of the present invention can be carried out, for example, by a program for causing a computer (processor) to execute each step. It is also possible to provide a computer-readable recording medium on which this program is recorded.
  • Image processing device 10 Image processing device 12 Image processing unit 14 Display unit 16 Operation unit 18 Storage unit 20 Processor 22 Image signal acquisition unit 24 Ratio calculation unit 28 Calibration curve creation unit 30 Surface distribution derivation unit 32 Display processing unit 34 Internal bus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

画像処理装置、画像処理方法、プログラムおよび記録媒体においては、測定用シートの撮像画像の画像信号から、分光感度に対応した第1画像信号、および、分光感度に対応し、第1画像信号とは少なくとも1つの分光感度が異なる第2画像信号を取得する。第1画像信号を第3画像信号とするか、2以上の第1画像信号を画素毎に合計することにより第3画像信号を生成し、第2画像信号を第4画像信号とするか、2以上の第2画像信号を画素毎に合計することにより第4画像信号を生成する。そして、第3画像信号と第4画像信号との比率を画素毎に算出することにより第5画像信号を生成し、第5画像信号に基づいて、測定用シートに加えられた外部エネルギー量の面分布を導出する。

Description

画像処理装置、画像処理方法、プログラムおよび記録媒体
 本発明は、測定用シートの発色濃度に基づいて、測定用シートに加えられた外部エネルギー量を導出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
 外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の濃度に発色した測定用シートを、カメラ等の撮像装置により撮像し、測定用シートの撮像画像の画像信号(濃度値)から、測定用シートに加えられた外部エネルギー量を導出する場合、照明光の強度の面分布のムラによって生じる、測定用シートの撮像画像の濃度の面分布のムラを解消するためのシェーディング補正を行う必要があった。
 シェーディング補正を行う場合、例えばシェーディング補正用の画像、例えば白色の基準画像を撮像し、その撮像画像の画像信号に基づいて、測定用シートの撮像画像の濃度の面分布のムラを解消するためのシェーディング補正パラメータが作成される。そして、シェーディング補正パラメータを用いて、測定用シートの撮像画像の画像信号のシェーディング補正が行われる。
 しかし、高性能なスキャナ等のように、照明状態(照明条件)が一定に保たれる場合と違って、ユーザが、カメラ等の撮像装置を手に持って測定用シートを撮像したり、性能の低いスキャナにより測定用シートを読み取ったりする場合は特に、照明状態を一定に保つことが困難である。そのため、シェーディング補正用の画像の撮像時から照明状態が変化しないように制約して、測定用シートの画像を撮像する必要があった。
 本発明の参考となる先行技術文献として、例えば特許文献1および2等がある。
 特許文献1には、加わる圧力によって濃淡に発色する圧力紙をカメラにより撮影し、グレイスケールの画像の相対濃度値と絶対濃度値との関係を最小二乗法により近似式として求めておき、撮影された圧力紙の相対濃度値を近似式により絶対濃度値に換算すると共に、圧力紙における絶対濃度値に属する濃淡を表す面積を求め、圧力紙における絶対濃度値を示す濃淡を発色させるための単位面積当たりの圧力を面積に掛け合わせて、全ての階調について和を求めることにより圧力紙に加わった圧力を求める圧力測定装置が記載されている。
 特許文献2には、光のさまざまな強度の下で、RGB信号が大きさを変え、強度が係数k分高くなると、RGB信号が(kR、kG、kB)に等しくなることから、RGBベクターを、例えば(R+G+B)で除算し、強度に関して正規化することによって、強度(k)のための依存性を取り除き、照明の強度の高下から生じる画像中の変動を取り除くことが記載されている。
実用新案登録第2516263号公報 特表2003-520515号公報
 しかし、特許文献1は、圧力紙の発色濃度を正確に求めるために、照明光の強度の変化による圧力紙の発色濃度の変動を補正する技術を開示しているだけで、照明光の強度の面分布のムラによって生じる、圧力紙の発色濃度の面分布のムラの補正については特段の開示をしていない。
 一方、特許文献2は、照明光の強度の変化に影響を受けない信号処理として、色信号の比率をとって照明光の強度に関して正規化する技術を開示しているが、色信号の比率と圧力値との間の関係に基づいて、色信号の比率から圧力値を導出する技術を開示していない。
 本発明の目的は、上記従来技術の問題点を解消し、シェーディング補正用の画像を用いることなく、測定用シートの発色濃度から、測定用シートに加えられた外部エネルギー量を正確に導出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
 上記目的を達成するために、本発明は、外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シートが、互いに異なる複数の分光感度を有するセンサーにより撮像された撮像画像の画像信号を取得し、
 撮像画像の画像信号から、1つまたは2以上の分光感度に対応した1つまたは2以上の第1画像信号を取得し、
 撮像画像の画像信号から、1つまたは2以上の分光感度に対応し、第1画像信号とは少なくとも1つの分光感度が異なる1つまたは2以上の第2画像信号を取得し、
 1つの第1画像信号を第3画像信号とする、または、2以上の第1画像信号を画素毎に合計することにより第3画像信号を生成し、
 1つの第2画像信号を第4画像信号とする、または、2以上の第2画像信号を画素毎に合計することにより第4画像信号を生成し、
 第3画像信号と第4画像信号との比率を画素毎に算出することにより第5画像信号を生成し、
 第5画像信号に基づいて、測定用シートに加えられた外部エネルギー量の面分布を導出する、画像処理方法を提供する。
 ここで、複数の分光感度は、R感度、G感度およびB感度であるのが好ましい。
 また、第5画像信号と外部エネルギー量とは、第5画像信号に基づいて外部エネルギー量が一意に定まる写像関係にあり、写像関係に基づいて予め検量線を作成しておくのが好ましい。
 また、検量線を用いて、第5画像信号から測定用シートに加えられた外部エネルギー量の面分布を導出するのが好ましい。
 また、検量線を、測定用シート上に作成され、測定用シートに外部エネルギー量が各々異なる条件で加えられたことにより発色されたパッチ、もしくは、測定用シートとは異なるシート上に、測定用シートと同じ色材を用いて作成され、測定用シート上に作成されたパッチと同じ濃度に発色されたパッチが、センサーにより撮像された撮像画像の画像信号から生成された第5画像信号と、測定用シートに加えられた外部エネルギー量と、の関係に基づいて作成するのが好ましい。
 また、外部エネルギー量が各々異なる条件は、測定用シートに外部エネルギーが加えられていない条件を含むのが好ましい。
 また、検量線における写像関係の非線形性が強いほど、パッチの数を多くするのが好ましい。
 また、検量線における写像関係の線形性が強い範囲よりも、検量線における写像関係の非線形性が強い範囲において、パッチの数を多くするのが好ましい。
 また、測定用シートの撮像画像の画像信号を取得した後、かつ第1画像信号を取得するよりも前に、測定用シートの撮像画像の図形歪みを補正し、
 図形歪みの補正後の測定用シートの撮像画像の画像信号から第5画像信号を生成するのが好ましい。
 また、測定用シートの撮像画像の画像信号を取得した後、かつ第1画像信号を取得するよりも前に、測定用シートの撮像画像の画像信号を、輝度リニアな画像信号からガンマカーブを有する画像信号に変換する階調変換を行わず、
 階調変換が行われていない測定用シートの撮像画像の画像信号から第5画像信号を生成するのが好ましい。
 また、本発明は、プロセッサを備え、プロセッサが、
 外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シートが、互いに異なる複数の分光感度を有するセンサーにより撮像された撮像画像の画像信号を取得し、
 撮像画像の画像信号から、1つまたは2以上の分光感度に対応した1つまたは2以上の第1画像信号を取得し、
 撮像画像の画像信号から、1つまたは2以上の分光感度に対応し、第1画像信号とは少なくとも1つの分光感度が異なる1つまたは2以上の第2画像信号を取得し、
 1つの第1画像信号を第3画像信号とする、または、2以上の第1画像信号を画素毎に合計することにより第3画像信号を生成し、
 1つの第2画像信号を第4画像信号とする、または、2以上の第2画像信号を画素毎に合計することにより第4画像信号を生成し、
 第3画像信号と第4画像信号との比率を画素毎に算出することにより第5画像信号を生成し、
 第5画像信号に基づいて、測定用シートに加えられた外部エネルギー量の面分布を導出する、画像処理装置を提供する。
 また、本発明は、前述の画像処理方法の各々の工程をコンピュータに実行させるためのプログラムを提供する。
 また、本発明は、前述の画像処理方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
 本発明によれば、画像信号の比率を算出することにより、ムラ成分が打ち消されるため、シェーディング補正用の画像に基づいて、シェーディング補正を行わなくても、シェーディング補正が行われた場合と同様に、照明光の強度の面分布のムラによって生じる、測定用シートの撮像画像の濃度の面分布のムラを解消することができる。また、ユーザは、照明光の強度の面分布のムラを考慮することなく、測定用シートの発色濃度から、測定用シートに加えられた外部エネルギー量を正確に導出することができる。
本発明の画像処理装置の構成を表す一実施形態のブロック図である。 プロセッサの内部構成を表す一実施形態のブロック図である。 画像処理装置の動作を表すフローチャートである。 チャートの構成を表す一実施形態の概念図である。 チャートの構成を表す別の実施形態の概念図である。 測定用シート1の撮像画像のR信号の比率R’と、測定用シート1に加えられた外部エネルギー量と、の関係を表す検量線のグラフである。 測定用シート2の撮像画像のG信号の比率G’と、測定用シート2に加えられた外部エネルギー量と、の関係を表す検量線のグラフである。 第1実施例の測定用シートの構成を表す概念図である 第1実施例の測定用シートの撮像画像の画像信号を表すグラフである。 画像信号の比率に基づく第1実施例の測定用シートの撮像画像の構成を表す概念図である。 画像信号の比率に基づく第1実施例の測定用シートの撮像画像の画像信号を表すグラフである。 第2実施例の測定用シートの構成を表す概念図である 第2実施例の測定用シートの撮像画像の画像信号を表すグラフである。 画像信号の比率に基づく第2実施例の測定用シートの撮像画像の構成を表す概念図である。 画像信号の比率に基づく第2実施例の測定用シートの撮像画像の画像信号を表すグラフである。 第3実施例の測定用シートの構成を表す概念図である 第3実施例の測定用シートの撮像画像の画像信号を表すグラフである。 画像信号の比率に基づく第3実施例の測定用シートの撮像画像の構成を表す概念図である。 画像信号の比率に基づく第3実施例の測定用シートの撮像画像の画像信号を表すグラフである。
 以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
 図1は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。図1に示す画像処理装置10は、測定用シートの発色濃度に基づいて、測定用シートに加えられた外部エネルギー量の面分布を導出する。本実施形態の画像処理装置10は、カメラ機能を有するスマートフォンであって、図1に示すように、撮像部12と、表示部14と、操作部16と、記憶部18と、プロセッサ20と、を備えている。表示部14、操作部16、撮像部12、記憶部18およびプロセッサ20は、内部バス34を介して双方向に接続されており、互いにデータの送受信が可能である。
 撮像部12は、互いに異なる複数の分光感度を有するセンサーを有し、プロセッサ20の制御により、任意の照明光の下で、センサーにより被写体を撮像して、その撮像画像の画像信号を出力する。本実施形態の場合、センサーは、R(赤)感度、G(緑)感度およびB(青)感度からなる3つの分光感度を有する。撮像部12は、スマートフォンのカメラ機能に相当し、センサーにより測定用シートおよびチャートを撮像して、これらの撮像画像のR感度の画像信号(R信号)、G感度の画像信号(G信号)およびB感度の画像信号(B信号)からなるカラー画像信号を出力する。
 撮像部12は、カラーセンサーを用いて被写体を撮像することにより、その撮像画像のR信号、G信号およびB信号からなるカラー画像信号を出力してもよい。あるいは、撮像部12は、モノクロセンサーおよびR,G,Bの光学フィルタを用いて被写体を順次撮像することにより、そのR画像のR信号、G画像のG信号、およびB画像のB信号を順次出力してもよい。また、R感度、G感度およびB感度に限らず、他の色の分光感度を有するセンサーを使用してもよい。
 測定用シートは、紙、シートおよびフィルム等のようなシート状のものであって、外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の形状および所定の濃度(色味)に発色した発色部が、その少なくとも一方の表面に形成されている。測定用シートは、特に限定されないが、例えば感圧シート、感熱シート、および紫外線(あるいは近赤外線、中赤外線)シート等を例示することができる。
 感圧シート、感熱シートおよび紫外線シート等は、それぞれ、圧力、温度および紫外線(あるいは近赤外線、中赤外線)等の外部エネルギーが加えられたことにより、加えられた外部エネルギー量に応じた所定の形状および所定の濃度に発色する。測定用シートは、その表面に形成された発色部の形状および濃度に基づいて、その測定用シートに加えられた外部エネルギー量の面分布を計測することができる。
 なお、感圧シートに加えられた圧力には、瞬間圧力および持続圧力の2種類がある。瞬間圧力は、測定用シートに瞬間的に加えられた外部エネルギーの大きさである。一方、持続圧力は、測定用シートに持続的に加えられた外部エネルギーの大きさの時間積分である。外部エネルギー量とは、瞬間圧力による外部エネルギーの大きさおよび持続圧力による外部エネルギーの大きさの時間積分の両方を含む。感熱シートおよび紫外線シート等についても同様である。感熱シートの場合、熱源に接触させたときの発色濃度は熱源の温度と接触時間とによって変わる(温度の時間積分エネルギー量)。紫外線シートの場合、紫外線を受けたときの発色濃度は受けた紫外線の光量と受光時間とに対応する(光量の時間積分エネルギー量)。
 チャートは、互いに異なる濃度に発色された2以上のパッチを含む。詳細は後述するが、チャートに含まれるパッチは、測定用シートの撮像画像の画像信号(色信号)の比率と、測定用シートに加えられた外部エネルギー量と、を対応付けて、画像信号の比率から、測定用シートに加えられた外部エネルギー量の面分布を導出する検量線を作成するために使用される。
 検量線を作成するためのチャートは、測定用シートを用いて作成することができる。この場合、チャートは、測定用シート上に作成され、測定用シートに外部エネルギー量が各々異なる条件で加えられたことにより発色された2以上のパッチを含む。この場合、パッチは、図4に示すように、測定用シート上に形成された発色部の妨げとならないように、例えば測定用シート上の周辺部に沿って配置することができる。
 なお、外部エネルギー量が各々異なる条件は、外部エネルギーが加えられていない条件を含んでいてもよい。外部エネルギーが加えられていない条件で作成されたパッチは、例えば白色のパッチである。この白色のパッチは、チャートに含まれる他のパッチと同様のものでもよいが、他のパッチの領域以外の背景の白色の領域を利用してもよい。この場合、チャートは、実質的に、定められた濃度の1つのパッチのみを含む。
 また、チャートは、測定用シートとは異なるシート上に、測定用シートと同じ色材を用いて作成することができる。この場合、チャートは、測定用シートとは異なるシート上に、測定用シートと同じ色材を用いて作成され、前述の測定用シート上に作成されたパッチと同じ濃度に発色された2以上のパッチを含む。この場合、パッチは、図5に示すように、測定用シートとは異なるシート上の任意の位置に配置することができる。
 なお、チャートに含まれるパッチの個数、配置、大きさおよび形状等は、特に限定されない。また、図4,5に示す矩形のパッチは、測定用シートの撮像画像における図形歪みの補正にも利用可能である。
 表示部14は、プロセッサ20の制御により、各種の画像および情報等を表示する。表示部14は、例えばLCD(Liquid Crystal Display)、有機EL(Organic Electroluminescence)ディスプレイ、LED(Light Emitting Diode)ディスプレイ又は電子ペーパー等のディスプレイ等によって構成される。本実施形態の表示部14には、画像処理装置10のユーザによるタッチ操作を受け付けるタッチパネルが設けられている。
 操作部16は、プロセッサ20の制御により、ユーザの操作を受け付ける。操作部16は、画像処理装置10の筐体の外表面に設けられた複数のボタン、および、表示部14に設けられているタッチパネルのグラフィカルユーザインタフェイス等を含む。ユーザは、被写体を撮像したり、各種の設定項目を設定したりする場合に、操作部16を通じて、対応する操作を行う。
 記憶部18は、プロセッサ20の制御により、撮像部12によって撮像された被写体の撮像画像、すなわち、その画像信号等を記憶する。記憶部18は、本実施形態の場合、撮像部12によって撮像された測定用シートの撮像画像およびチャートの撮像画像を記憶するメモリ装置等である。また、記憶部18には、プロセッサ20によって実行されるプログラム及び各種のデータ等が格納されている。
 プロセッサ20は、画像処理装置10の各部を制御し、被写体の撮像、画像の記憶、画像の表示等を含む各種の処理を実行する。プロセッサ20は、図2に示すように、画像信号取得部22と、比率算出部24と、検量線作成部28と、面分布導出部30と、表示処理部32と、を備えている。記憶部18に記憶されたプログラムがプロセッサ20によって実行されることによって、プロセッサ20は、各々の処理部として機能する。画像信号取得部22、比率算出部24、検量線作成部28および面分布導出部30は、内部バス34を介して双方向に接続されており、互いにデータの送受信が可能である。
 画像信号取得部22は、操作部16を通じたユーザの操作(撮像の指示)に応じて、撮像部12の動作を制御し、センサーにより撮像された被写体の撮像画像、すなわち、その画像信号を取得する。本実施形態の場合、画像信号取得部22は、測定用シートの撮像画像のR信号、G信号およびB信号からなるカラー画像信号を取得する。また、画像信号取得部22は、チャートの撮像画像から、2以上のパッチの領域に対応する2以上のパッチの撮像画像を抽出し、2以上のパッチの撮像画像の各々のR信号、G信号およびB信号からなるカラー画像信号を取得する。
 また、画像信号取得部22は、測定用シートの撮像画像の画像信号から、1つまたは2以上の分光感度に対応した1つまたは2以上の第1画像信号を取得する。さらに、画像信号取得部22は、測定用シートの撮像画像の画像信号から、1つまたは2以上の分光感度に対応し、第1画像信号とは少なくとも1つの分光感度が異なる1つまたは2以上の第2画像信号を取得する。本実施形態の場合、画像信号取得部22は、測定用シートの撮像画像の第1画像信号としてR信号を取得し、第2画像信号として、R信号、G信号およびB信号を取得する。
 同様に、画像信号取得部22は、2以上のパッチの撮像画像の画像信号の各々から、1つまたは2以上の分光感度に対応した1つまたは2以上の第1画像信号を取得する。さらに、画像信号取得部22は、2以上のパッチの撮像画像の画像信号の各々から、1つまたは2以上の分光感度に対応し、第1画像信号とは少なくとも1つの分光感度が異なる1つまたは2以上の第2画像信号を取得する。本実施形態の場合、画像信号取得部22は、パッチの撮像画像の第1画像信号としてR信号を取得し、第2画像信号として、R信号、G信号およびB信号を取得する。
 比率算出部24は、測定用シートの撮像画像の画像信号(色信号)の比率を算出する。同様に、比率算出部24は、パッチの撮像画像の画像信号(色信号)の比率を算出する。
 より詳しくは、比率算出部24は、画像信号取得部22により、1つの第1画像信号が取得された場合、1つの第1画像信号を第3画像信号とする。一方、比率算出部24は、2以上の第1画像信号が取得された場合、2以上の第1画像信号を画素毎に合計することにより第3画像信号を生成する。つまり、2以上の第1画像信号の対応する画素の画素値の合計値を、第3画像信号の対応する画素の画素値とする。
 同様に、比率算出部24は、画像信号取得部22により、1つの第2画像信号が取得された場合、1つの第2画像信号を第4画像信号とする。一方、比率算出部24は、2以上の第2画像信号が取得された場合、2以上の第2画像信号を画素毎に合計することにより第4画像信号を生成する。つまり、2以上の第2画像信号の対応する画素の画素値の合計値を、第4画像信号の対応する画素の画素値とする。
 そして、比率算出部24は、第3画像信号と第4画像信号との比率を画素毎に算出することにより第5画像信号を生成する。つまり、第3画像信号の画素の画素値と第4画像信号の対応する画素の画素値との比率を、第5画像信号の対応する画素の画素値とする。
 なお、画素値の合計方法は、算術加算に限らず、算術平均等の他の合計方法であってもよい。
 本実施形態の場合、予め決定された色信号の比率の算出式に基づいて、画像信号取得部22が、第1画像信号および第2画像信号を取得し、比率算出部が、第1画像信号および第2画像信号に基づいて、第3画像信号および第4画像信号を生成し、第3画像信号および第4画像信号に基づいて、第5画像信号、つまり、第3画像信号と第4画像信号との比率を算出する。
 ここで、R信号の比率R’、G信号の比率G’およびB信号の比率B’の算出式の一例として、下記算出式1~4を示す。
算出式1:R’=R/Y,G’=G/Y,B’=B/Y,Y=R+G+B
算出式2:R’=R/(G+B),G’=G/(R+B)、B’=B/(R+G)
算出式3:R’=R/G,G’=G/R,B’=B/G
算出式4:R’=R/B,G’=G/B,B’=B/R
 なお、上記の算出式1~4に限定されず、算出式の分子には、第3画像信号として1つの第1画像信号または2以上の第1画像信号を画素毎に合計することにより生成された第3画像信号が含まれていればよい。一方、算出式の分母には、第4画像信号として、第1画像信号とは少なくとも1つの分光感度が異なる1つの第2画像信号または2以上の第2画像信号を画素毎に合計することにより生成された第4画像信号が含まれていればよい。
 算出式の決定方法は、特に限定されないが、例えば算出式1~4を用いて、上記の比率R’,G’,B’を算出し、比率R’、G’,B’と測定用シートに加えられた外部エネルギー量との関係に基づいて、算出式1~4の中から、測定用シートの発色特性およびセンサーの分光感度特性等に最も適した1つの算出式を選択する。例えば、比率と外部エネルギー量との関係が単調増加するまたは単調減少する算出式を選択してもよいし、線形性が強い算出式を選択してもよい。
 比率と外部エネルギー量との関係が単調増加するまたは単調減少するとは、比率の変化に対する、外部エネルギー量の変化が、増加したり減少したりを繰り返すことなく、単調に増加するまたは単調に減少することを意味する。
 線形性の強弱は、例えば比率と外部エネルギー量との関係を表す折れ線グラフを直線近似した場合に、線形近似した直線と、比率と外部エネルギー量との関係を表す各々の点と、の相関の大小によって決定される。相関の大小は、線形近似した直線と、比率と外部エネルギー量との関係を表す各々の点と、のずれ量の大小を表し、線形性が強いほど、ずれ量が小さく、相関は大きくなる。また、比率から外部エネルギー量の面分布を導出する際に要求される精度が高いほど、より大きい相関が要求される。
 本実施形態の場合、算出式として、算出式1のR信号の比率R’=R/Y,Y=R+G+Bが選択される。この場合、画像信号取得部22は、第1画像信号としてR信号を取得し、第2画像信号として、R信号、G信号およびB信号を取得する。そして、比率算出部は、R信号を第3画像信号とし、R信号、G信号およびB信号を画素毎に合計することにより第4画像信号を生成し、算出式1を用いて、第3画像信号と第4画像信号との比率R’を算出することにより第5画像信号を生成する。
 検量線作成部28は、パッチの撮像画像の画像信号から生成された第5画像信号と、測定用シートに加えられた外部エネルギー量と、の関係に基づいて検量線を作成する。第5画像信号と外部エネルギー量とは、第5画像信号に基づいて外部エネルギー量が一意に定まる写像関係にあり、この写像関係は既知である。検量線作成部28は、この写像関係に基づいて予め検量線を作成しておく。検量線は、例えばLUT(Look Up Table:ルックアップテーブル)によって構成することができる。
 図6は、測定用シート1の撮像画像のR信号の比率R’と、測定用シート1に加えられた外部エネルギー量と、の関係を表す検量線のグラフである。グラフの横軸は、測定用シート1の撮像画像のR信号の比率R’を表し、縦軸は、測定用シート1に加えられた外部エネルギー量を表す。このグラフにおいて、比率R’が、約0.7~2.3の範囲で増加すると、これに応じて、外部エネルギー量は、0~7の範囲で増加する。つまり、測定用シート1の撮像画像のR信号の比率R’の検量線は右上がりに変化する。
 図7は、測定用シート2の撮像画像のG信号の比率G’と、測定用シート2に加えられた外部エネルギー量と、の関係を表す検量線のグラフである。グラフの横軸は、測定用シート2の撮像画像のG信号の比率G’を表し、縦軸は、測定用シート2に加えられた外部エネルギー量を表す。このグラフにおいて、比率G’が、0.1~0.5の範囲で増加すると、これに応じて、外部エネルギー量は、6~0の範囲で減少する。つまり、測定用シート2の撮像画像のG信号の比率G’の検量線は右下がりに変化する。
 このように、測定用シート1,2は、その発色特性に応じて、検量線における比率と外部エネルギー量との関係が異なる。これに応じて、検量線作成部28は、予め決定された算出式を用いて、測定対象の測定用シートに対応する検量線を予め作成しておく。
 面分布導出部30は、第5画像信号、つまり、測定用シートの撮像画像の第3画像信号と第4画像信号との比率に基づいて、測定用シートに加えられた外部エネルギー量の面分布を導出する。面分布導出部30は、本実施形態の場合、検量線作成部28によって作成された検量線を用いて、第5画像信号から測定用シートに加えられた外部エネルギー量の面分布を導出する。
 表示処理部32は、各種の画像および情報等を表示部14に表示させる。表示処理部32は、本実施形態の場合、ユーザの操作(撮像の指示)に応じて、測定用シートおよびチャートが撮像される場合等に、これらの画像を表示部14に表示させる。
 次に、図3に示すフローチャートを参照しながら画像処理装置10の動作を説明する。
 以下の説明では、比率R’を算出する算出式1を用いて、互いに異なる濃度に発色された8つのパッチから検量線を作成し、検量線を用いて、測定対象の測定用シートの撮像画像のR信号の比率R’(第5画像信号)から、測定用シートに加えられた外部エネルギー量を導出するものとする。
 まず、測定対象の測定用シートの画像信号の比率から外部エネルギー量を導出する前の事前準備として、検量線を作成するための選択式を予め決定しておく(ステップS1)。
 この場合、ユーザは、任意の照明光L1の下で、外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の濃度に発色した測定用シートを撮像する。例えば、ユーザは、スマートフォンである画像処理装置10を手に持ち、表示部14に表示された測定用シートの画像を見ながら、操作部16を通じたユーザの操作によって測定用シートの撮像を指示する。
 これに応じて、撮像部12のセンサーにより測定用シートが撮像される。そして、画像信号取得部22により、測定用シートの撮像画像のR信号、G信号およびB信号からなるカラー画像信号が取得される。
 続いて、比率算出部24により、前述の算出式1~4を用いて、測定用シートの撮像画像の比率R’,G’,B’が算出され、比率R’、G’,B’と測定用シートに加えられた外部エネルギー量との関係に基づいて、算出式1~4の中から、例えばR信号の比率R’の算出式1が選択される。これにより、測定対象の測定用シートの発色特性およびセンサーの分光感度特性に最も適した1つの算出式が決定される。
 続いて、同じく事前準備として、測定対象の測定用シートに対応する検量線を予め作成しておく(ステップS2)。
 この場合、ユーザは、同じ照明光L1の下で、互いに異なる濃度に発色された8つのパッチを含むチャートを撮像する。
 これに応じて、同様に、撮像部12のセンサーによりチャートが撮像される。続いて、画像信号取得部22により、チャートの撮像画像から、8つのパッチの領域に対応する8つのパッチの撮像画像が抽出され、8つのパッチの撮像画像の各々のR信号、G信号およびB信号からなるカラー画像信号が取得される。そして、8つのパッチの撮像画像の画像信号の各々から、第1画像信号としてR信号が取得され、第2画像信号として、R信号、G信号およびB信号が取得される。
 続いて、比率算出部24により、R信号が第3画像信号とされ、R信号、G信号およびB信号を画素毎に合計することにより、第4画像信号として、Y信号(Y=R+G+B)が生成される。そして、比率R’の算出式1を用いて、R信号とY信号との比率R’=R/Yを画素毎に算出することにより、8つのパッチの撮像画像の各々の第5画像信号が生成される。これにより、8つのパッチの撮像画像の8つの第5画像信号、すなわち、8つの比率R’が算出される。
 続いて、検量線作成部28により、8つの比率R’と、これに対応する測定用シートに加えられた8つの外部エネルギー量と、の関係に基づいて、比率R’の検量線が作成される。
 より詳しくは、図6に示すように、比率R’と外部エネルギー量との関係を表すグラフにおいて、8つの比率R’と、これに対応する測定用シートに加えられた8つの外部エネルギー量と、の関係を表す8つの離散的な点が決定される。そして、公知の補間技術を用いて、離散的な8つの点を補間することにより、比率R’の検量線が作成される。例えば、8つの点の範囲内は、3次スプライン補間技術等を用いて補間され、8つの点の範囲外は、補外補間技術等を用いて補間される。
 続いて、測定対象の測定用シートの画像信号の比率から外部エネルギー量を導出する(ステップS3)。
 この場合、ユーザは、同じ照明光L1の下で、外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の濃度に発色した測定用シートを撮像する。
 これに応じて、同様に、撮像部12のセンサーにより測定用シートが撮像される(ステップS3-1)。続いて、画像信号取得部22により、測定用シートの撮像画像のR信号、G信号およびB信号からなるカラー画像信号が取得される(ステップS3-2)。そして、測定用シートの撮像画像の画像信号から、第1画像信号としてR信号が取得され(ステップS3-3)、第2画像信号として、R信号、G信号およびB信号が取得される(ステップS3-4)。
 続いて、比率算出部24により、R信号が第3画像信号とされ(ステップS3-5)、R信号、G信号およびB信号を画素毎に合計することにより、第4画像信号として、Y信号(Y=R+G+B)が生成される(ステップS3-6)。そして、比率R’の算出式1を用いて、R信号とY信号との比率R’=R/Yを画素毎に算出することにより、測定用シートの撮像画像の第5画像信号が生成される(ステップS3-7)。これにより、測定用シートの撮像画像の第5画像信号、すなわち、比率R’が算出される。
 そして、面分布導出部30により、検量線を用いて、第5画像信号から、測定用シートに加えられた外部エネルギー量の面分布が導出される(ステップS3-8)。
 また、他の測定対象の測定用シートについても、同様に、同じR’の算出式1および同じ検量線を用いて、測定対象の測定用シートの画像信号の比率から外部エネルギー量を導出することができる。
 カラー画像信号のR信号、G信号およびB信号は、下記式により表される。
R=rr*Yr*SD(x、y)
G=gg*Yg*SD(x、y)
B=bb*Yb*SD(x、y)
 ここで、rr、ggおよびbbは、R信号、G信号およびB信号の反射率(色成分)、Yr、YgおよびYbは、R信号、G信号およびB信号の光量(輝度成分)、SD(x、y)は、座標(x、y)において、照明光の強度の面分布のムラによって生じる、R信号、G信号およびB信号のムラ成分である。
 R信号の比率R’は、例えば下記式により表される。
R’=R/(R+G+B)
  =rr*Yr*SD(x、y)/(rr*Yr*SD(x、y)+gg*Yg*SD(x、y)+bb*Yb*SD(x、y))
  =rr*Yr*SD(x、y)/(rr*Yr+gg*Yg+bb*Yb)*SD(x、y)
  =rr*Yr/(rr*Yr+gg*Yg+bb*Yb)
 光量Yr,Yg,Ybが同じYsである、つまり、Yr=Yg=Yb=Ysであるとすると、比率R’は、下記式により表される。
R’=rr*Ys/(rr*Ys+gg*Ys+bb*Ys)
  =rr*Ys/(rr+gg+bb)*Ys
  =rr/(rr+gg+bb)
 このように、比率R’においては、輝度成分およびムラ成分が打ち消され、色成分のみが残される。
 測定用シートは、外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の濃度に発色するが、濃度値が大きくなると、色成分および輝度成分が連動して大きくなる。従って、輝度成分およびムラ成分がなく、色成分のみを含む比率R’から外部エネルギー量を導出した場合であっても、濃度値から外部エネルギー量を導出した場合と同等に正確に外部エネルギー量を導出することができる。
 また、画像信号の比率R’を算出することにより、ムラ成分が打ち消されるため、シェーディング補正用の画像に基づいて、シェーディング補正を行わなくても、シェーディング補正が行われた場合と同様に、照明光の強度の面分布のムラによって生じる、測定用シートの撮像画像の濃度の面分布のムラを解消することができる。また、ユーザは、照明光の強度の面分布のムラを考慮することなく、測定用シートの発色濃度から、測定用シートに加えられた外部エネルギー量を正確に導出することができる。
 なお、ステップS1~S3において、同じ照明光L1を使用する必要はない。より詳しくは、照明光には、その強度の面分布および分光分布(スペクトル)の2属性があるが、ステップS1~S3において、照明光の強度の面分布が同一である必要はない。すなわち、照明光の強度の面分布のムラを考慮することなく、測定用シートを撮像することができる。その一方で、ステップS1~S3において、照明光の分光分布は一致している必要がある。その理由は、ステップS1~S3において、照明光の分光分布が変わると、測定用シートの色材の分光反射率に対応する濃度(色味)が異なって見えるからである。
 また、検量線における写像関係、すなわち、第5画像信号と外部エネルギー量との関係の線形性が強い場合、実質的に、定められた濃度の1つのパッチのみを含むチャートを用いて検量線を作成してもよい。この場合、前述のように、検量線作成部28により、チャートに含まれる1つのパッチと、このチャートに含まれる1つのパッチの領域以外の背景の白色の領域を利用した白色のパッチと、に基づいて検量線が作成される。
 より詳しくは、比率R’と外部エネルギー量との関係を表すグラフにおいて、1つのパッチの撮像画像の画像信号の比率R’とこれに対応する外部エネルギー量との関係を表す点と、白色のパッチの撮像画像の画像信号の比率R’とこれに対応する外部エネルギー量との関係を表す点と、を直線で接続することにより、検量線が作成される。比率R’の算出式1の場合、白色のパッチの撮像画像の画像信号の比率R’は、白色のパッチの撮像画像のR信号、G信号およびB信号が、R=G=B=1であるとすると、比率R’=R/Y(Y=R+G+B)=1/3≒0.3となる。従って、白色のパッチの撮像画像の画像信号の比率R’とこれに対応する外部エネルギー量との関係を表す点は、比率R’と外部エネルギー量との関係を表すグラフにおいて、比率R’≒0.3と、例えば白色のパッチの撮像画像の画像信号の比率R’に対応する外部エネルギー量=0と、によって決定される。
 上記のように、検量線における写像関係の線形性が強い場合、チャートに含まれるパッチの数を少なくしてもよいが、逆に、非線形性が強い場合、パッチの数を多くするのが好ましい。つまり、非線形性が強いほど、パッチの数を多くするのが好ましい。これにより、非線形性が強い場合であっても、高精度に第5画像信号から外部エネルギー量を導出することができる。
 また、検量線における写像関係の範囲によって非線形性の強弱がある場合、非線形性が強い範囲においてパッチの数を多くし、非線形性が弱い範囲においてパッチの数を少なくするのが好ましい。つまり、線形性が強い範囲よりも、非線形性が強い範囲において、パッチの数を多くするのが好ましい。これにより、非線形性が強い範囲であっても、高精度に比率から外部エネルギー量を導出することができる。
 また、図4に示す、チャートを含む測定用シートを撮像することにより、測定用シートおよびチャートを同時に撮像してもよい。この場合、1回の撮像により測定用シートおよびチャートの両方を撮像することができる。あるいは、測定用シートを撮像する前または測定用シートを撮像した後において、図5に示すチャートを撮像することにより、測定用シートとチャートとを別々に撮像してもよい。
 また、パッチの撮像画像の第5画像信号と外部エネルギー量とを直接的に対応付けてもよい。あるいは、規格化部を設け、規格化部が、例えば濃度の標準的なステータスに合わせてパッチの撮像画像の第5画像信号を規格化し、規格化後の第5画像信号と外部エネルギー量とを対応付けてもよい。すなわち、パッチの撮像画像の第5画像信号と外部エネルギー量とを間接的に対応付けてもよい。
 また、測定用シートの撮像画像には、レンズの収差による図形歪み、および、撮像時のアオリによる図形歪み等の図形歪みが含まれる。従って、図形歪み補正部を設け、測定用シートの撮像画像の画像信号を取得した後、かつ第1画像信号を取得するよりも前に、図形歪み補正部が、測定用シートの撮像画像の図形歪みを補正し、比率算出部24が、図形歪みの補正後の測定用シートの撮像画像の画像信号から第5画像信号を生成してもよい。
 レンズの収差による図形歪みは、特に限定されないが、公知のZhangの手法(Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report, MSR-TR-98-71, December 2, 1998.)を用いて補正することができる。また、撮像時のアオリによる図形歪みは、チャートの撮像画像に含まれる矩形のパッチの撮像画像の4つの頂点に基づいて、公知のアオリ補正(透視図形補正)を用いて補正することができる。
 また、階調変換部を設け、階調変換部が、測定用シートの撮像画像の画像信号を取得した後、かつ第1画像信号を取得するよりも前に、測定用シートの撮像画像の画像信号を、輝度リニアな画像信号からガンマカーブを有する画像信号に変換する階調変換を行ってもよい。なお、図形歪みの補正を行った後に階調変換を行ってもよいし、あるいは階調変換を行った後に図形歪みの補正を行ってもよい。
 ガンマカーブを有する画像信号の比率を算出した場合、厳密には、ムラ成分が完全には打ち消されなくなるが、輝度リニアな画像信号の比率を算出した場合と同様に、シェーディング補正の効果を得ることができる。ただし、階調変換が行われていない輝度リニアな測定用シートの撮像画像の画像信号から第5画像信号を生成する方が、より高精度にシェーディング補正の効果を得ることができるため好ましい。
 次に、画像信号の比率に基づいて作成された測定用シートの撮像画像の具体例を挙げて説明する。
 図8は、第1実施例の測定用シートの構成を表す概念図である。第1実施例の測定用シートの一方の表面には、外部エネルギーが加えられたことにより、外部エネルギー量に応じた所定の濃度に発色された、円形の、赤色の、複数の発色部が形成されている。第1実施例の測定用シートは、照明光によって、左側が比較的明るく、右側へ向かうほど比較的暗くなるように照明されている。
 図9は、第1実施例の測定用シートの撮像画像の画像信号を表すグラフである。グラフの横軸は、図8に示す測定用シートの左側から右側へ向かう距離を表し、縦軸は、図8に示す測定用シートの撮像画像の四角の枠で囲まれた部分のR信号、G信号およびB信号(濃度値)を表す。図9のグラフにおいて、上側の実線で示す波形がR信号、真ん中の破線で示す波形がB信号、下側の点線で示す波形がG信号である。このグラフに示すように、発色部におけるR信号、G信号およびB信号は、比較的明るい左側へ向かうほど大きくなり、比較的暗い右側へ向かうほど小さくなっている。
 一方、図10は、画像信号の比率に基づく第1実施例の測定用シートの撮像画像の構成を表す概念図である。より詳しくは、図10は、画像信号の階調変換を行った後に、算出式1を用いて、画像信号の比率R’を算出し、この比率R’に基づいて作成された測定用シートの撮像画像を表す。比率R’に基づいて作成された測定用シートの撮像画像は、輝度成分およびムラ成分が打ち消され、色成分のみが残されるが、図10は、発色部を目視で確認できるように、輝度成分にオフセットをかけて示されている。
 図11は、画像信号の比率に基づく第1実施例の測定用シートの撮像画像の画像信号を表すグラフである。グラフの横軸は、図10に示す測定用シートの左側から右側へ向かう距離を表し、縦軸は、図10に示す測定用シートの撮像画像の四角の枠で囲まれた部分の比率R’を算出するために用いられた算出式1に含まれる元のR信号、G信号およびB信号(濃度値)を表す。図10のグラフにおいて、上側の実線で示す波形がR信号、真ん中の破線で示す波形がB信号、下側の点線で示す波形がG信号である。このグラフに示すように、発色部におけるR信号、G信号およびB信号は、測定用シートの撮像画像の左右方向の全ての領域にわたって、同じような値になっている。
 図12~図15は、第2実施例の測定用シートに関し、図8~図11の第1実施例の測定用シートに対応するが、第2実施例の測定用シートは、照明光によって、上側が比較的明るく、下側が比較的暗くなるように照明されている。
 また、図16~図19は、第3実施例の測定用シートに関し、同様に、図8~図11の第1実施例の測定用シートに対応するが、第3実施例の測定用シートは、照明光によって、右側が比較的明るく、左側が比較的暗くなるように照明されている。
 第2実施例および第3実施例においても、第1実施例と同様に、発色部における比率R’に含まれるR信号、G信号およびB信号は、測定用シートの撮像画像の左右方向の全ての領域にわたって、同じような値になっている。
 このように、実施例1~3から、比率を算出することにより、輝度成分およびムラ成分が打ち消されて、色成分のみが残され、照明光の強度の面分布のムラに係わらず、測定用シートの撮像画像の濃度値の面分布のムラを解消することができることを確認することができた。また、前述のように、階調変換後の測定用シートの撮像画像の画像信号から比率R’を生成した場合であっても、シェーディング補正の効果を得ることができることを確認することができた。
 なお、本発明の画像処理装置は、スマートフォンに限定されず、デジタルカメラ、デジタルビデオカメラまたはスキャナ等であってもよく、これらの装置において動作するアプリケーションプログラムとして実現することができる。
 プロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
 1つの処理部を、これら各種のプロセッサのうちの1つで構成してもよいし、同種または異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、または、FPGAおよびCPUの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの1つで構成してもよいし、複数の処理部のうちの2以上をまとめて1つのプロセッサを用いて構成してもよい。
 例えば、サーバおよびクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。
 さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(Circuitry)である。
 また、本発明の方法は、例えば、その各々のステップをコンピュータ(プロセッサ)に実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
 以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
 10 画像処理装置
 12 撮像部
 14 表示部
 16 操作部
 18 記憶部
 20 プロセッサ
 22 画像信号取得部
 24 比率算出部
 28 検量線作成部
 30 面分布導出部
 32 表示処理部
 34 内部バス

Claims (13)

  1.  外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シートが、互いに異なる複数の分光感度を有するセンサーにより撮像された撮像画像の画像信号を取得し、
     前記撮像画像の画像信号から、1つまたは2以上の分光感度に対応した1つまたは2以上の第1画像信号を取得し、
     前記撮像画像の画像信号から、1つまたは2以上の分光感度に対応し、前記第1画像信号とは少なくとも1つの分光感度が異なる1つまたは2以上の第2画像信号を取得し、
     前記1つの第1画像信号を第3画像信号とする、または、前記2以上の第1画像信号を画素毎に合計することにより前記第3画像信号を生成し、
     前記1つの第2画像信号を第4画像信号とする、または、前記2以上の第2画像信号を画素毎に合計することにより前記第4画像信号を生成し、
     前記第3画像信号と前記第4画像信号との比率を画素毎に算出することにより第5画像信号を生成し、
     前記第5画像信号に基づいて、前記測定用シートに加えられた前記外部エネルギー量の面分布を導出する、画像処理方法。
  2.  前記複数の分光感度は、R感度、G感度およびB感度である、請求項1に記載の画像処理方法。
  3.  前記第5画像信号と前記外部エネルギー量とは、前記第5画像信号に基づいて前記外部エネルギー量が一意に定まる写像関係にあり、前記写像関係に基づいて予め検量線を作成しておく、請求項1または2に記載の画像処理方法。
  4.  前記検量線を用いて、前記第5画像信号から前記測定用シートに加えられた前記外部エネルギー量の面分布を導出する、請求項3に記載の画像処理方法。
  5.  前記検量線を、前記測定用シート上に作成され、前記測定用シートに前記外部エネルギー量が各々異なる条件で加えられたことにより発色されたパッチ、もしくは、前記測定用シートとは異なるシート上に、前記測定用シートと同じ色材を用いて作成され、前記測定用シート上に作成されたパッチと同じ濃度に発色されたパッチが、前記センサーにより撮像された撮像画像の画像信号から生成された前記第5画像信号と、前記測定用シートに加えられた前記外部エネルギー量と、の関係に基づいて作成する、請求項3または4に記載の画像処理方法。
  6.  前記外部エネルギー量が各々異なる条件は、前記測定用シートに前記外部エネルギーが加えられていない条件を含む、請求項5に記載の画像処理方法。
  7.  前記検量線における前記写像関係の非線形性が強いほど、前記パッチの数を多くする、請求項5または6に記載の画像処理方法。
  8.  前記検量線における前記写像関係の線形性が強い範囲よりも、前記検量線における前記写像関係の非線形性が強い範囲において、前記パッチの数を多くする、請求項5ないし7のいずれか一項に記載の画像処理方法。
  9.  前記測定用シートの撮像画像の画像信号を取得した後、かつ前記第1画像信号を取得するよりも前に、前記測定用シートの撮像画像の図形歪みを補正し、
     前記図形歪みの補正後の前記測定用シートの撮像画像の画像信号から前記第5画像信号を生成する、請求項1ないし8のいずれか一項に記載の画像処理方法。
  10.  前記測定用シートの撮像画像の画像信号を取得した後、かつ前記第1画像信号を取得するよりも前に、前記測定用シートの撮像画像の画像信号を、輝度リニアな画像信号からガンマカーブを有する画像信号に変換する階調変換を行わず、
     前記階調変換が行われていない前記測定用シートの撮像画像の画像信号から前記第5画像信号を生成する、請求項1ないし8のいずれか一項に記載の画像処理方法。
  11.  プロセッサを備え、前記プロセッサが、
     外部エネルギーが加えられたことにより、外部エネルギー量に応じた濃度に発色した測定用シートが、互いに異なる複数の分光感度を有するセンサーにより撮像された撮像画像の画像信号を取得し、
     前記撮像画像の画像信号から、1つまたは2以上の分光感度に対応した1つまたは2以上の第1画像信号を取得し、
     前記撮像画像の画像信号から、1つまたは2以上の分光感度に対応し、前記第1画像信号とは少なくとも1つの分光感度が異なる1つまたは2以上の第2画像信号を取得し、
     前記1つの第1画像信号を第3画像信号とする、または、前記2以上の第1画像信号を画素毎に合計することにより前記第3画像信号を生成し、
     前記1つの第2画像信号を第4画像信号とする、または、前記2以上の第2画像信号を画素毎に合計することにより前記第4画像信号を生成し、
     前記第3画像信号と前記第4画像信号との比率を画素毎に算出することにより第5画像信号を生成し、
     前記第5画像信号に基づいて、前記測定用シートに加えられた前記外部エネルギー量の面分布を導出する、画像処理装置。
  12.  請求項1ないし10のいずれか一項に記載の画像処理方法の各々の工程をコンピュータに実行させるためのプログラム。
  13.  請求項1ないし10のいずれか一項に記載の画像処理方法の各々の工程をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
PCT/JP2021/027291 2020-09-17 2021-07-21 画像処理装置、画像処理方法、プログラムおよび記録媒体 WO2022059342A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21869029.5A EP4215887A4 (en) 2020-09-17 2021-07-21 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND RECORDING MEDIUM
CN202180063018.4A CN116113811A (zh) 2020-09-17 2021-07-21 图像处理装置、图像处理方法、程序及记录介质
JP2022550390A JPWO2022059342A1 (ja) 2020-09-17 2021-07-21
US18/181,327 US20230206506A1 (en) 2020-09-17 2023-03-09 Image processing apparatus, image processing method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020156195 2020-09-17
JP2020-156195 2020-09-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/181,327 Continuation US20230206506A1 (en) 2020-09-17 2023-03-09 Image processing apparatus, image processing method, program, and recording medium

Publications (1)

Publication Number Publication Date
WO2022059342A1 true WO2022059342A1 (ja) 2022-03-24

Family

ID=80776123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027291 WO2022059342A1 (ja) 2020-09-17 2021-07-21 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US20230206506A1 (ja)
EP (1) EP4215887A4 (ja)
JP (1) JPWO2022059342A1 (ja)
CN (1) CN116113811A (ja)
TW (1) TW202213274A (ja)
WO (1) WO2022059342A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2516263Y2 (ja) 1986-09-24 1996-11-06 株式会社明電舎 圧力測定装置
US6047964A (en) * 1997-04-18 2000-04-11 Spectra Science Corporation Scratch card, and method and apparatus for validation of the same
JP2002304625A (ja) * 2001-04-05 2002-10-18 Sharp Corp 画質評価装置、画質評価方法および記録媒体
JP2003520515A (ja) 2000-01-12 2003-07-02 ユニバーシティ オブ イースト アングリア カラー信号処理
JP2016003960A (ja) * 2014-06-17 2016-01-12 地方独立行政法人東京都立産業技術研究センター 圧力測定用材料とその製造方法並びに圧力測定方法
JP2017203653A (ja) * 2016-05-10 2017-11-16 株式会社Msテクノロジー 色彩測定装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4885633A (en) * 1988-06-13 1989-12-05 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Quantitative surface temperature measurement using two-color thermographic phosphors and video equipment
JPH06251807A (ja) * 1993-02-24 1994-09-09 Meidensha Corp 積層体の締付け方法
US5580172A (en) * 1994-10-11 1996-12-03 Solar Turbines Incorporated Method and apparatus for producing a surface temperature map
JP2008232665A (ja) * 2007-03-16 2008-10-02 Fujifilm Corp 圧力解析システム
JP5004228B2 (ja) * 2007-10-12 2012-08-22 独立行政法人 宇宙航空研究開発機構 3層構造の感圧塗料薄膜センサー
JP2015057586A (ja) * 2013-09-16 2015-03-26 株式会社テクノメデイカ 呈色反応を用いた定性分析における尿中ビリルビンの偽陽性反応判定方法及び同判定方法を用いた定性分析装置
JP6210393B1 (ja) * 2016-05-10 2017-10-11 株式会社Msテクノロジー 色彩測定装置および色彩測定方法
CN107917767B (zh) * 2017-11-10 2020-06-30 南昌航空大学 一种通过荧光成像测量面温度场的方法
JP7132041B2 (ja) * 2018-09-03 2022-09-06 株式会社日立製作所 色評価装置、および、色評価方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2516263Y2 (ja) 1986-09-24 1996-11-06 株式会社明電舎 圧力測定装置
US6047964A (en) * 1997-04-18 2000-04-11 Spectra Science Corporation Scratch card, and method and apparatus for validation of the same
JP2003520515A (ja) 2000-01-12 2003-07-02 ユニバーシティ オブ イースト アングリア カラー信号処理
JP2002304625A (ja) * 2001-04-05 2002-10-18 Sharp Corp 画質評価装置、画質評価方法および記録媒体
JP2016003960A (ja) * 2014-06-17 2016-01-12 地方独立行政法人東京都立産業技術研究センター 圧力測定用材料とその製造方法並びに圧力測定方法
JP2017203653A (ja) * 2016-05-10 2017-11-16 株式会社Msテクノロジー 色彩測定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP4215887A4
ZHENGYOU ZHANG: "A Flexible New Technique for Camera Calibration", MICROSOFT RESEARCH TECHNICAL REPORT, 2 December 1998 (1998-12-02)

Also Published As

Publication number Publication date
EP4215887A1 (en) 2023-07-26
JPWO2022059342A1 (ja) 2022-03-24
TW202213274A (zh) 2022-04-01
CN116113811A (zh) 2023-05-12
US20230206506A1 (en) 2023-06-29
EP4215887A4 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US10798373B2 (en) Display correction apparatus, program, and display correction system
JP3129502B2 (ja) 測色方法及びその装置
JP3514776B2 (ja) マルチビジョンシステム
KR100918749B1 (ko) 색온도 점을 획득하는 방법 및 장치
KR20140054326A (ko) 스펙트럼에 기반한 측색적으로 교정된 다색 카메라를 이용한 디스플레이의 빠른 교정
RU2011111681A (ru) Способы и системы регулировки баланса белого светодиодной подсветки
JP2010239610A (ja) 画像処理装置および画像処理方法
JPH08297054A (ja) 色感測定装置
US20210158574A1 (en) Color evaluation device, color evaluation method, and indication object used in color evaluation method
JP2010139324A (ja) 色ムラ測定方法、および色ムラ測定装置
WO2022059342A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN112666731A (zh) 显示屏幕的可视角评估方法
JP2009157219A (ja) ディスプレイの評価方法およびそれに用いる評価装置
US8290258B1 (en) Method, device and computer program product for performing a color based white balance of a digital image
Zhu et al. Color calibration for colorized vision system with digital sensor and LED array illuminator
JP2013098900A (ja) 表示装置の評価方法
JP7309415B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6897291B2 (ja) 画像評価装置及び画像評価方法
JP7402992B2 (ja) 画像補正装置、画像補正方法、プログラムおよび記録媒体
TW202018693A (zh) 影像色調之均勻度的調整方法及其系統
JP4598501B2 (ja) 温度測定表示装置
JP6813749B1 (ja) 対象物の色を数値化する方法、信号処理装置、および撮像システム
Vander Haeghen et al. Consistent digital color image acquisition of the skin
US8213714B1 (en) Method, device and computer program product for performing a gamut based white balance of a digital image
JP2020120206A (ja) 色変換方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869029

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550390

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021869029

Country of ref document: EP

Effective date: 20230417