WO2020241111A1 - 画像処理方法、画像処理装置、撮像システム、および、プログラム - Google Patents

画像処理方法、画像処理装置、撮像システム、および、プログラム Download PDF

Info

Publication number
WO2020241111A1
WO2020241111A1 PCT/JP2020/016789 JP2020016789W WO2020241111A1 WO 2020241111 A1 WO2020241111 A1 WO 2020241111A1 JP 2020016789 W JP2020016789 W JP 2020016789W WO 2020241111 A1 WO2020241111 A1 WO 2020241111A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
characteristic data
ambient light
image
light component
Prior art date
Application number
PCT/JP2020/016789
Other languages
English (en)
French (fr)
Inventor
悠修 古賀
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202080038049.XA priority Critical patent/CN113874710B/zh
Priority to EP20812894.2A priority patent/EP3971553A4/en
Publication of WO2020241111A1 publication Critical patent/WO2020241111A1/ja
Priority to US17/532,206 priority patent/US20220082499A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/0616—Ambient light is used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/124—Sensitivity
    • G01N2201/1244—Ambient light detector, e.g. for invalidating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing method for estimating the concentration of a substance contained in a subject from a spectroscopic image.
  • Patent Document 1 discloses a method of estimating a SPAD (Soil & Plant Analyzer Development) value from a spectroscopic measurement result of light reflected by a plant.
  • SPAD Soil & Plant Analyzer Development
  • the only light that reaches the light receiving portion is the light reflected by the plant.
  • the leaves of a plant are translucent objects, in reality, in addition to the reflected light reflected by the leaves of the plant, the transmitted light transmitted through the leaves of the plant also reaches the light receiving portion.
  • the mixing ratio of reflected light and transmitted light changes according to the weather (sunny weather, cloudy weather, etc.) and the position of the sun (altitude, direction). Therefore, in the method disclosed in Patent Document 1, the mixing ratio of the reflected light and the transmitted light changes when the weather or the sun position changes, so that the concentration of the substance (leaf color, that is, the SPAD value) is estimated with high accuracy. It's difficult to do.
  • an object of the present invention is to provide an image processing method, an image processing device, an imaging system, and a program capable of estimating the concentration of a substance contained in a subject from a spectroscopic image with high accuracy.
  • the image processing method as one aspect of the present invention includes an image obtained by imaging a subject, ambient light data at the time of imaging, and reflection characteristic data and transmission characteristic data depending on the concentration of a substance contained in the subject. It has an acquisition step of acquiring the above, and a separation step of separating the reflected light component and the transmitted light component in the image by using the ambient light data, the reflection characteristic data, and the transmission characteristic data.
  • the image processing apparatus includes an image obtained by imaging a subject, ambient light data at the time of imaging, reflection characteristic data and transmission characteristics depending on the concentration of a substance contained in the subject. It has an acquisition means for acquiring data, and a separation means for separating the reflected light component and the transmitted light component in the image by using the ambient light data, the reflection characteristic data, and the transmission characteristic data.
  • the imaging system as another aspect of the present invention includes an imaging unit that images a subject, a detection unit that detects ambient light data when the subject is imaged by the imaging unit, and the image processing device.
  • the program as another aspect of the present invention causes a computer to execute the image processing method.
  • an image processing method it is possible to provide an image processing method, an image processing device, an imaging system, and a program capable of estimating the concentration of a substance contained in a subject from a spectroscopic image with high accuracy.
  • Example 1 It is a block diagram of the image processing system in Example 1. It is explanatory drawing of the camera photography model in Example 1.
  • FIG. It is a flowchart of the image processing method in Example 1. It is a flowchart of the separation process in Example 1. It is explanatory drawing of the reflection characteristic data and transmission characteristic data in Example 1.
  • FIG. It is explanatory drawing of another reflection characteristic data and transmission characteristic data in Example 1.
  • FIG. This is the result of the separation process in Example 1.
  • Example 2 It is explanatory drawing of the acquisition method of the ambient light information using the standard reflector in Example 2. It is a flowchart of the image processing method in Example 2. It is explanatory drawing of the difference in the estimation accuracy of the substance concentration by the threshold value in Example 2. It is explanatory drawing of the SPAD value estimation result in Example 2.
  • FIG. 2 is an explanatory diagram of a camera photographing model in this embodiment.
  • FIG. 2 shows a state in which the subject 140 is photographed by the camera (imaging device) 200.
  • the subject 140 is illuminated by ambient light incident on the subject 140 from each position on the hemispherical space in which the subject 140 is placed.
  • this ambient light is divided into an ambient light 120 that illuminates the back surface of the subject 140 and an ambient light 130 that illuminates the front surface of the subject 140.
  • the subject 140 is a translucent object, the ambient light 120 is diffused and absorbed inside the subject 140, and a part of the transmitted light (transmitted light 121) reaches the camera 200.
  • the ambient light 130 is diffused and absorbed inside the subject 140, and a part of the reflected light (reflected light 131) reaches the camera 200.
  • the so-called diffuse reflected light reflected by such a process is simply called reflected light, and is distinguished from the specularly reflected light reflected on the surface of the subject 140.
  • the image of the subject 140 taken by the camera 200 is formed by a mixture of transmitted light (transmitted light component) 121 and reflected light (reflected light component) 131 at a specific ratio.
  • the mixing ratio of the transmitted light 121 and the reflected light 131 changes as the ambient light 120 and 130 fluctuate.
  • the mixing ratio of the transmitted light 121 and the reflected light 131 changes depending on the weather (sunny weather, cloudy weather, etc.) and the sun position (altitude, direction).
  • the mixing ratio of the transmitted light 121 and the reflected light 131 is unknown, and the mixing ratio changes depending on the lighting environment at the time of shooting. Therefore, it is difficult to quantitatively estimate the concentration of a substance (chlorophyll or the like) contained in the subject from the image taken in such a state.
  • the transmitted light 121 and the reflected light 131 are separated (separation processing is performed) from the spectroscopic image taken under such ambient light to quantitatively determine the concentration of the substance contained in the subject. Can be estimated. The separation process will be described in detail below.
  • the camera photographing model shown in FIG. 2 is formulated as, for example, the equation (1).
  • I n denotes the luminance values of the image taken by the camera 200 (spectral image), the subscript n indicates the wavelength number of spectral images.
  • the camera 200 is an RGB camera
  • n ⁇ 1 , 2 , 3 ⁇
  • I 1 , I 2 , and I 3 indicate RGB luminance values, respectively.
  • IR , n , IT, and n indicate the luminance values when the reflected light 131 and the transmitted light 121 are acquired independently.
  • IR0 , n and IT0 , n indicate the illuminances of the ambient lights 130 and 120 that illuminate the subject 140, respectively.
  • R n (c) and T n (c) show spectral reflection characteristics (reflection characteristic data) and spectral transmission characteristics (transmission characteristic data) depending on the concentration c of the substance contained in the subject 140, respectively.
  • the spectral reflection characteristic R n (c) and the spectral transmission characteristic T n (c) are each stored in advance as known library data in a storage device such as a memory.
  • k R is the ratio of the ambient light 130 to reach the camera 200 is reflected by the object 140
  • k T denotes the ratio of the ambient light 120 to reach the camera 200 is transmitted through the object 140, respectively.
  • Illumination information I R0, n of the ambient light 130, 120 at the time of shooting, I T0, n is known, is acquired by the ambient light information acquisition unit (detection unit) 110 shown in FIG. 2, for example.
  • the ambient light information acquisition unit 110 has an ambient light sensor (first ambient light sensor) 111 and an ambient light sensor (second ambient light sensor) 112 installed in two different directions.
  • the ambient light sensor 111 acquires the illuminance information IT0, n of the ambient light 120.
  • the ambient light sensor 112 acquires the illuminance information IR0, n of the ambient light 130.
  • the ratio k of the reflected light (reflected light component) is performed by performing the optimization (optimization calculation) represented by the following equation (2) using the camera shooting model formulated in this way.
  • R the ratio of transmitted light (transmitted light component) k T , and the concentration c of the substance contained in the subject 140 are determined.
  • equation (2) here, "
  • the separation process of the present embodiment indicates that the optimization calculation of the equation (2) is executed, but the present invention is not limited thereto. Further, when k R , k T , and c obtained by optimization are used, the reflected light (reflected light component) and the transmitted light (transmitted light component) are as shown in the following equations (3) and (4), respectively. It can be expressed separately.
  • the transmitted light 121 and the reflected light 131 can be separated from the spectroscopic image in which the transmitted light 121 and the reflected light 131 are mixed at an unknown mixing ratio. Further, according to this embodiment, the concentration of the substance contained in the subject 140 can be quantitatively estimated.
  • This embodiment relates to an image processing system (imaging system) that estimates the density of a subject (paddy rice leaf) 140 from an image (spectral image) acquired by a camera (RGB camera) 200.
  • the concentration c in the formula (2) corresponds to the SPAD value.
  • FIG. 1 is a block diagram of the image processing system 100.
  • the image processing system 100 includes an imaging unit 101, an image processing unit (image processing device) 102, a control unit 103, a storage unit 104, a communication unit 105, a display unit 106, and an ambient light information acquisition unit 110.
  • the image pickup unit 101 includes an image pickup optical system 101a and an image pickup element 101b.
  • the image sensor 101b photoelectrically converts an optical image (subject image) formed via the image pickup optical system 101a and outputs an image (image data) to the image processing unit 102.
  • the image processing unit 102 has an acquisition unit 102a and a separation unit 102b.
  • the image processing system 100 can be provided inside the camera 200.
  • some functions such as the image processing unit 102 of the image processing system 100 may be configured to be realized on a computer (user PC) away from the camera 200 or on cloud computing.
  • the camera 200 has only a part of the image processing system 100 including the imaging unit 101.
  • FIG. 2 shows a state in which the subject 140 is imaged under outdoor ambient light using the image processing system 100.
  • the ambient light information acquisition unit 110 of the image processing system 100 acquires the ambient light sensor 111 that acquires the illuminance incident on the back surface of the subject 140 and the environment that acquires the illuminance incident on the surface of the subject 140. It is configured to include an optical sensor 112.
  • FIG. 3 is a flowchart of the image processing method in this embodiment. Each step of FIG. 3 is mainly executed by the acquisition means 102a or the separation means 102b of the image processing unit 102.
  • step S201 the image pickup unit 101 of the image processing system 100 takes an image of the subject 140 by the signal from the control unit 103 and acquires an RGB image (spectral image). Then, the acquisition unit 102a of the image processing unit 102 acquires the image captured by the image pickup unit 101. Further, at the same time as step S201, in step S202, the ambient light information acquisition unit 110 (ambient light sensors 111, 112) receives the ambient light information (ambient light data) IR0 when the image is captured by the signal from the control unit 103. , N , IT0, n are acquired (detected). In this embodiment, the ambient light information is information on color. The acquisition unit 102a is ambient light information detected by the ambient light information acquisition unit 110 I R0, n, obtains the I T0, n.
  • the ambient light sensors 111 and 112 have a configuration in which a diffuser is arranged on a sensor having the same spectral sensitivity characteristics as the imaging unit 101, and acquire ambient light information having the same spectral wavelength number as the imaging unit 101.
  • the ambient light sensor 111 and 112 constituted by spectral irradiance meter acquired spectral irradiance E (lambda), the spectral transmittance characteristics L of the imaging optical system (lambda), the spectral sensitivity of the imaging element characteristics S n (lambda ) using the following formula (5) may be determined ambient light information I R0, n, I T0, n (6).
  • Equation (5), (6) the illuminance of E T (lambda) is the ambient light 120, E R (lambda) is the illuminance of the ambient light 130, ⁇ n, 1, ⁇ n, 2 , respectively, the spectral sensitivity characteristic S The shortest wavelength and the longest wavelength in the wavelength band in which the image sensor 101b of n ( ⁇ ) has sensitivity.
  • step S210 the separation means 102b of the image processing unit 102 performs the separation process based on the equation (2).
  • the separation process in this embodiment will be described in detail with reference to FIG.
  • FIG. 4 is a flowchart of the separation process in this embodiment. Each step of FIG. 4 is mainly executed by the separation means 102b of the image processing unit 102.
  • step S211 the separation means 102b performs an optimization calculation based on the equation (2).
  • step S212 the separation means 102b calculates the reflected light component / transmitted light component of the formulas (3) and (4).
  • steps S211 and S212 the separation means 102b utilizes the reflection characteristic data and the transmission characteristic data of the subject held in advance.
  • FIG. 5 is an explanatory diagram of reflection characteristic data and transmission characteristic data.
  • FIG. 5A is data showing the SPAD value dependence of the RGB reflectance and the RGB transmittance acquired in advance.
  • the points plotted with circles indicate RGB reflectance, the points plotted with triangles indicate RGB transmittance, and the filled color corresponds to the value of the SPAD value.
  • the reflected light and the transmitted light are separated by utilizing the fact that the spectral reflection characteristic and the spectral transmission characteristic have different characteristics from each other.
  • FIG. 5B plots the results of fitting the RGB reflectance and RGB transmittance of FIG. 5A into the following equations (7) and (8) by the least squares method using the SPAD value c as a parameter. It is a figure.
  • an , i , b n, and i are constants determined by the least squares method.
  • the points plotted in circles indicate the RGB reflectance
  • the points plotted in triangles indicate the RGB transmittance.
  • the information related to the equations (7) and (8) is held as the reflection characteristic data and the transmission characteristic data of the subject, respectively.
  • the reflection characteristic data and the transmission characteristic data are not limited to the above-mentioned data.
  • the reflectance characteristic Rfl (c, ⁇ ) and the transmittance characteristic Trs (c, ⁇ ) of the subject may be used.
  • FIG. 6 is an explanatory diagram of another reflection characteristic data and transmission characteristic data in this embodiment.
  • FIG. 6A shows the spectral reflectance characteristics of the leaves of paddy rice, and the horizontal axis shows the wavelength and the vertical axis shows the reflectance. The color of each line corresponds to the value of the SPAD value shown on the color bar.
  • FIG. 6B shows the transmittance characteristics of paddy rice, where the horizontal axis shows the wavelength and the vertical axis shows the transmittance.
  • ⁇ n, 1 , ⁇ n, and 2 are the shortest wavelength and the longest wavelength of the wavelength band in which the image sensor 101b having the spectral sensitivity characteristic S n ( ⁇ ) has sensitivity, respectively.
  • step S211 the separation means 102b performs the optimization calculation of the equation (2) using the spectroscopic image, the ambient light information, and the reflection characteristic data and the transmission characteristic data of the subject 140 stored in the storage unit 104.
  • a known optimization method can be applied, and for example, a gradient method can be used.
  • equations (7) and (8) when R n (c) and T n (c) are differentiable functions, equation (2) is also a differentiable function.
  • Faster optimization calculation methods such as the method and the trust region method can be used.
  • FIG. 7 is a diagram showing the result of the separation process in this embodiment, and shows the result of performing the optimization calculation using the trust region method in step S211 of FIG.
  • FIG. 7A is an image obtained by converting an RGB image of paddy rice taken by an RGB camera into a grayscale image.
  • 7 (b) to 7 (d) are diagrams showing the results of optimization calculations of the reflected light ratio k R , the transmitted light ratio k T , and the substance concentration c for each pixel of the paddy rice leaf.
  • FIG. 7 (e) is a diagram showing the value f of the optimization evaluation function of the equation (2) on a logarithmic scale.
  • the separating means 102b has the formulas (3), (4), (7), and (7) from the ratio k R of the reflected light, the ratio k T of the transmitted light, and the substance concentration c obtained in step S211. Based on 8), the reflected light component and the transmitted light component are calculated. As described above, according to this embodiment, the reflected light component and the transmitted light component can be separated from the spectroscopic image of the subject. Further, in the process of calculating the equation (2), the substance concentration c of the subject 140 can be estimated.
  • Example 2 of the present invention will be described.
  • the SPAD value of the rice leaf is estimated from the spectroscopic image acquired by the RGB camera in the same manner as in Example 1.
  • FIG. 8 is a block diagram of the image processing system 300.
  • FIG. 9 is an explanatory diagram of a camera shooting model, and shows a state in which the subject 140 is imaged under outdoor ambient light using the image processing system 300.
  • the image processing system 300 of this embodiment is different from the image processing system 100 of Example 1 having an ambient light information acquisition unit 110 in that it has an ambient light information acquisition unit (detection unit) 310. As shown in FIGS. 8 and 9, the ambient light information acquisition unit 310 has only one ambient light sensor 113. Since the other configurations of the image processing system 300 are the same as those of the image processing system 100, the description thereof will be omitted.
  • FIG. 10 is an explanatory diagram of the ambient light information acquisition model in this embodiment, and shows the arrangement of the ambient light sensor 111 arranged facing west and the ambient light sensor 112 arranged facing east.
  • the ambient light sensors 111 and 112 have a configuration in which a diffuser plate is attached to an RGB color sensor.
  • FIG. 11 is an explanatory diagram of the time change of the ambient light information, and shows a diagram in which the ambient light information acquired by the ambient light sensors 111 and 112 is plotted.
  • WB R, b, WB R, r, WB T, b, WB T, r is the illuminance information acquired by the illuminance information I R0, n and the ambient light sensor 111 acquired by the ambient light sensor 112 I T0 , N are the white balance correction coefficients calculated by the following equations (11) to (14).
  • n ⁇ 1, 2, 3 ⁇ , indicating that the values are acquired by the color sensors of R, G, and B in that order.
  • FIG. 11A is a diagram plotting the time change of the white balance correction coefficient in cloudy weather.
  • Black circles are WBR , b
  • white circles are WBT , b
  • black squares are WBR , r , white.
  • the squares represent WB T, r .
  • WB R, b and WB T, b , WB R, r and WB T, r are equal regardless of the arrangement orientation of the ambient light sensor.
  • FIG. 11B is a diagram in which the time change of the white balance correction coefficient in fine weather is plotted in the same manner as in FIG. 11A. In fine weather, WB R, b , and WB T, b , and WB R, r and WB T, r are equal only near noon when the sun is in the south.
  • the spectroscopic image is taken at a time when the white balance correction coefficient does not depend on the orientation of the ambient light sensor (for example, within 2 hours before and after the south-central time of the sun).
  • the white balance correction coefficient does not depend on the orientation of the ambient light sensor (for example, within 2 hours before and after the south-central time of the sun).
  • the ambient light sensor 113 of this embodiment can be installed upward as shown in FIG. 9, for example, to acquire ambient light information.
  • IT0 the ambient light information acquired by the ambient light sensor 113
  • c m ⁇ IR0
  • c (m is a proportional constant).
  • a k 'T m ⁇ k T , R n (c), the T n (c) has the formula (7), using the data of (8).
  • the method of acquiring the ambient light information IR0, n is not limited to the above-mentioned method, and as shown in FIG. 12, the standard reflector 114 is photographed by the camera 200, and the photographed image of the standard reflector is obtained. Ambient light information IR0, n may be acquired from the pixel value.
  • FIG. 12 is an explanatory diagram of a method of acquiring ambient light information using the standard reflector 114.
  • FIG. 13 is a flowchart of the image processing method (SPAD value estimation method) in this embodiment.
  • Each step of FIG. 13 is mainly executed by the acquisition means 102a or the separation means 102b of the image processing unit 102.
  • step S401 the image pickup unit 101 of the image processing system 300 takes an image of the subject 140 by the signal from the control unit 103 and acquires an RGB image (spectral image). Then, the acquisition unit 102a of the image processing unit 102 acquires the image captured by the image pickup unit 101. Further, at the same time as step S401, in step S402, the ambient light information acquisition unit 310 (ambient light sensor 113) receives the ambient light information (ambient light data) IR0, n when the image is captured by the signal from the control unit 103. Is acquired (detected). Then, the acquisition means 102a acquires the ambient light information IR0, n detected by the ambient light information acquisition unit 310.
  • the ambient light information acquisition unit 310 ambient light sensor 113
  • the image processing unit 102 extracts the photographing area (subject area) of the paddy rice which is the subject 140.
  • a method for extracting the paddy rice region for example, an image obtained by converting an RGB image into an HSV color space may be generated, and pixels within the range of the hue angle that the leaves of the paddy rice can take may be extracted as the paddy rice region.
  • step S404 the separation means 102b performs an optimization calculation based on the equation (15) for each pixel of the paddy rice region extracted in step S403.
  • step S405 the separation unit 102b, the proportion of reflected light which is calculated in step S404 k R, using the density c, based on the following equation (16), the reflected light component environmental light component has been corrected Calculate I'R, n .
  • step S406 the image processing unit 102 calculates NGRDI (Normalized Green Red Difference Index) as an index (growth index) that correlates with the SPAD value.
  • NGRDI Normalized Green Red Difference Index
  • the NGRDI is calculated based on the following formula (17) using the reflected light component calculated in step S405.
  • step S407 the image processing unit 102 converts the NGRDI into a SPAD value using the following equation (18), which is a correlation equation between the NGRDI and the SPAD value.
  • d i is a constant representing the correlation between the NGRDI and SPAD values.
  • the optimization calculation by substance concentration c of the formula (15) (corresponding to SPAD value) is calculated, the calculated substance concentration c, the ratio k R of the reflected light includes an error. Therefore, in this embodiment, the processes of steps S405 to S407 are performed in order to estimate the substance concentration with more redundancy.
  • the estimation accuracy of the SPAD value is improved by using the optimization calculation result of only the pixels whose value f of the optimization evaluation function of the equation (15) is equal to or less than the threshold value th for the estimation of the SPAD value.
  • Figure 14 is an explanatory view of the differences in the estimation accuracy of the SPAD value with the threshold value f th (substance concentration).
  • the horizontal axis shows the threshold value fth
  • the vertical axis shows the mean square error RMSE between the mean value and the correct answer value of the SPAD value estimation results of the pixels having the threshold value fth or less.
  • FIG. 14 by appropriately setting the threshold value f th, it is possible to improve the estimation accuracy of the SPAD value.
  • FIG. 15 is an explanatory diagram of the SPAD value estimation result, and shows the result of estimating the daily change of the SPAD value from the RGB image taken by the fixed point camera.
  • the horizontal axis represents the date and the vertical axis represents the SPAD value.
  • the points plotted in squares are the estimation results when the separation processing of this embodiment is performed in steps S404 and S405, and the points plotted in circles are the estimation results when the separation processing is performed. Shown.
  • the points plotted by the stars indicate the correct answer values, and here, the average value of the results measured by the SPAD meter is adopted as the correct answer value for 10 strains of paddy rice in the image estimation area.
  • the error bar represents the standard deviation. Therefore, as shown in FIG. 15, by performing the separation process of this example, it is possible to quantitatively estimate the substance concentration.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC
  • the image processing apparatus has the acquisition means 102a and the separation means 102b.
  • the acquisition means is a reflection characteristic that depends on the image of the subject (spectral image), the ambient light data (information on the tint) when the subject is imaged, and the concentration (SPAD value) of the substance (chlorophyll, etc.) contained in the subject.
  • Data (R n (c)) and transmission characteristic data (T n (c)) are acquired.
  • the separation means separates the reflected light component (IR , n ) and the transmitted light component ( IT, n ) from the image by using the image, the ambient light data, the reflection characteristic data, and the transmission characteristic data.
  • the image processing apparatus of each embodiment can separate the reflected light component and the transmitted light component from the spectroscopic image obtained by capturing the translucent subject. Therefore, according to each embodiment, it is possible to provide an image processing method, an image processing device, an imaging system, and a program capable of estimating the concentration of a substance contained in a subject from a spectroscopic image with high accuracy.
  • the leaf of paddy rice was taken as an example as a subject, but it can also be applied to other subjects.
  • the RGB spectroscopic image is taken as an example, but it can also be applied to a multi-band image and a hyperspectral image having a spectral wavelength number of 4 or more.
  • the imaging unit and the ambient light information acquisition unit are separated from each other, but the imaging unit and the ambient light information acquisition unit may be integrated.
  • the evaluation function for optimization is not limited to the equations (2) and (15), and for example, the L1 norm may be used instead of the L2 norm.
  • an example of executing the optimization calculation in the image processing device is given, but the optimization calculation with heavy processing may be executed on the cloud computing.

Abstract

【課題】分光画像から被写体に含まれる物質の濃度を高精度に推定可能 【解決手段】画像処理方法は、被写体の撮像により得られた画像と、該撮像の際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得ステップと、前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像における反射光成分と透過光成分とを分離する分離ステップとを有する。

Description

画像処理方法、画像処理装置、撮像システム、および、プログラム
　本発明は、分光画像から被写体に含まれる物質の濃度を推定する画像処理方法に関する。
　近年、農作業の効率化、省力化を目的として、リモートセンシング技術を用いた葉色指標の推定手法が提案されている。例えば、特許文献１には、植物により反射された光の分光計測結果からＳＰＡＤ（Ｓｏｉｌ　＆　Ｐｌａｎｔ　Ａｎａｌｙｚｅｒ　Ｄｅｖｅｌｏｐｍｅｎｔ）値を推定する手法が開示されている。
特開２００２－１６８７７１号公報
　特許文献１に開示された手法において、受光部に到達する光は、植物により反射された光のみであると想定されている。しかしながら、植物の葉は半透明物体であるため、実際には、植物の葉で反射された反射光に加えて、植物の葉を透過した透過光も受光部に到達する。また、反射光と透過光の混合比率は、天候（晴天、曇天など）や太陽位置（高度、方位）に応じて変化する。このため、特許文献１に開示された手法では、天候や太陽位置が変化した場合に反射光と透過光の混合比率が変化するため、高精度に物質の濃度（葉色、すなわちＳＰＡＤ値）を推定することは困難である。
　そこで本発明は、分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法、画像処理装置、撮像システム、および、プログラムを提供することを目的とする。
　本発明の一側面としての画像処理方法は、被写体の撮像により得られた画像と、該撮像の際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得ステップと、前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像における反射光成分と透過光成分とを分離する分離ステップとを有する。
　本発明の他の側面としての画像処理装置は、被写体の撮像により得られた画像と、該撮像の際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得手段と、前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像における反射光成分と透過光成分とを分離する分離手段とを有する。
　本発明の他の側面としての撮像システムは、被写体を撮像する撮像部と、前記撮像部により前記被写体を撮像した際の環境光データを検出する検出部と、前記画像処理装置とを有する。
　本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
　本発明の他の目的及び特徴は、以下の実施例において説明される。
　本発明によれば、分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法、画像処理装置、撮像システム、および、プログラムを提供することができる。
実施例１における画像処理システムのブロック図である。 実施例１におけるカメラ撮影モデルの説明図である。 実施例１における画像処理方法のフローチャートである。 実施例１における分離処理のフローチャートである。 実施例１における反射特性データおよび透過特性データの説明図である。 実施例１における別の反射特性データおよび透過特性データの説明図である。 実施例１における分離処理の結果である。 実施例２における画像処理システムのブロック図である。 実施例２におけるカメラ撮影モデルの説明図である。 実施例２における環境光情報の取得モデルの説明図である。 実施例２における環境光情報の時間変化の説明図である。 実施例２における標準反射板を用いた環境光情報の取得方法の説明図である。 実施例２における画像処理方法のフローチャートである。 実施例２における閾値による物質濃度の推定精度の違いの説明図である。 実施例２におけるＳＰＡＤ値推定結果の説明図である。
　以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
　まず、図２を参照して、本発明の実施例１におけるカメラ撮影モデルについて説明する。図２は、本実施例におけるカメラ撮影モデルの説明図である。図２では、被写体１４０をカメラ（撮像装置）２００で撮影する様子を示している。被写体１４０は、被写体１４０が置かれた半球空間上の各位置から被写体１４０に向かって入射する環境光により照明されている。図２では、この環境光を被写体１４０の裏面を照明する環境光１２０と、被写体１４０の表面を照明する環境光１３０とに分けて示している。
　被写体１４０は半透明物体であり、環境光１２０は被写体１４０の内部で拡散、吸収され、透過した一部の光（透過光１２１）がカメラ２００に到達する。一方、環境光１３０は被写体１４０の内部で拡散、吸収され、反射した一部の光（反射光１３１）がカメラ２００に到達する。本実施例では、このような過程により反射された、所謂、拡散反射光を単に反射光と呼び、被写体１４０の表面で反射された正反射光とは区別している。
　従って、カメラ２００で撮影された被写体１４０の像は、透過光（透過光成分）１２１と反射光（反射光成分）１３１とが特定の割合で混合した光により形成される。透過光１２１と反射光１３１との混合割合は、環境光１２０、１３０の変動に伴い変化する。特に、屋外環境光下で撮影する場合、天候（晴天、曇天など）や太陽位置（高度、方位）の変化により、透過光１２１と反射光１３１との混合割合は変化する。
　このように屋外環境光下で画像を撮影する場合、透過光１２１と反射光１３１との混合割合は未知であり、かつ、その混合割合は撮影時の照明環境により変化する。このため、そのような状態で撮影された画像から、定量的に被写体に含まれる物質（葉緑素など）の濃度を推定することは困難である。本実施例では、このような環境光下で撮影された分光画像から、透過光１２１と反射光１３１とを分離する（分離処理を行う）ことにより、被写体に含まれる物質の濃度を定量的に推定することができる。以下、その分離処理について詳述する。
　まず本実施例では、図２に示されるカメラ撮影モデルを、例えば、式（１）のように定式化する。
Figure JPOXMLDOC01-appb-M000005
　式（１）において、Ｉｎはカメラ２００で撮影した画像（分光画像）の輝度値を示し、添え字ｎは分光画像の波長番号を示す。例えば、カメラ２００がＲＧＢカメラである場合、ｎ＝｛１、２、３｝であり、Ｉ１、Ｉ２、Ｉ３はそれぞれＲＧＢの輝度値を示す。ＩＲ，ｎ、ＩＴ，ｎは、反射光１３１および透過光１２１をそれぞれ単独で取得した場合の輝度値を示す。ＩＲ０，ｎ、ＩＴ０，ｎはそれぞれ、被写体１４０を照明する環境光１３０、１２０の照度を示す。また、Ｒｎ（ｃ）、Ｔｎ（ｃ）はそれぞれ、被写体１４０に含まれる物質の濃度ｃに依存する分光反射特性（反射特性データ）および分光透過特性（透過特性データ）をそれぞれ示す。本実施例において、分光反射特性Ｒｎ（ｃ）および分光透過特性Ｔｎ（ｃ）はそれぞれ、メモリなどの記憶装置に、既知のライブラリデータとして予め保持されている。ｋＲは環境光１３０が被写体１４０で反射されてカメラ２００に到達する比率、ｋＴは環境光１２０が被写体１４０を透過してカメラ２００に到達する比率をそれぞれ示している。
　撮影時の環境光１３０、１２０の照度情報ＩＲ０，ｎ、ＩＴ０，ｎは、既知であり、例えば図２に示される環境光情報取得部（検出部）１１０により取得される。本実施例において、環境光情報取得部１１０は、異なる二つの方向に設置された環境光センサ（第１の環境光センサ）１１１および環境光センサ（第２の環境光センサ）１１２を有する。環境光センサ１１１は環境光１２０の照度情報ＩＴ０，ｎを取得する。環境光センサ１１２は環境光１３０の照度情報ＩＲ０，ｎを取得する。
　本実施例では、このように定式化したカメラ撮影モデルを用いて、以下の式（２）で表される最適化（最適化計算）を行うことにより、反射光（反射光成分）の割合ｋＲ、透過光（透過光成分）の割合ｋＴ、および、被写体１４０に含まれる物質の濃度ｃを求める。
Figure JPOXMLDOC01-appb-M000006
　式（２）において、ここで、「|| ||２」はＬ２ノルムを表す。本実施例の分離処理とは、式（２）の最適化計算を実行することを示すが、本発明はこれに限定されるものではない。また、最適化により求められたｋＲ、ｋＴ、ｃを用いると、反射光（反射光成分）と透過光（透過光成分）はそれぞれ、以下の式（３）、（４）のように分離して表現することができる。
Figure JPOXMLDOC01-appb-M000007
　従って、本実施例によれば、透過光１２１および反射光１３１が未知の混合割合で混ざった分光画像から、透過光１２１と反射光１３１とを分離することができる。また本実施例によれば、被写体１４０に含まれる物質の濃度を定量的に推定することができる。
　本実施例は、カメラ（ＲＧＢカメラ）２００により取得された画像（分光画像）から、被写体（水稲の葉）１４０の濃度を推定する画像処理システム（撮像システム）に関する。本実施例において、式（２）の濃度ｃはＳＰＡＤ値に相当する。
　次に、図１を参照して、本実施例の画像処理システム１００の構成について説明する。図１は、画像処理システム１００のブロック図である。画像処理システム１００は、撮像部１０１、画像処理部（画像処理装置）１０２、制御部１０３、記憶部１０４、通信部１０５、表示部１０６、および、環境光情報取得部１１０を有する。撮像部１０１は、撮像光学系１０１ａおよび撮像素子１０１ｂを有する。撮像素子１０１ｂは、撮像光学系１０１ａを介して形成された光学像（被写体像）を光電変換して、画像処理部１０２へ画像（画像データ）を出力する。画像処理部１０２は、取得手段１０２ａおよび分離手段１０２ｂを有する。
　画像処理システム１００は、カメラ２００の内部に設けることができる。または、画像処理システム１００の画像処理部１０２などの一部の機能を、カメラ２００から離れたコンピュータ（ユーザＰＣ）やクラウドコンピューティング上で実現するように構成してもよい。この場合、カメラ２００は、画像処理システム１００のうち撮像部１０１を含む一部のみの機能を有する。
　図２は、画像処理システム１００を用いて、屋外環境光下にて被写体１４０を撮像する様子を示している。画像処理システム１００の環境光情報取得部１１０は、図２に示されるように、被写体１４０の裏面に入射する照度を取得する環境光センサ１１１と、被写体１４０の表面に入射する照度を取得する環境光センサ１１２とを備えて構成されている。
　次に、図３を参照して、本実施例における画像処理方法について説明する。図３は、本実施例における画像処理方法のフローチャートである。図３の各ステップは、主に、画像処理部１０２の取得手段１０２ａまたは分離手段１０２ｂにより実行される。
　まずステップＳ２０１において、画像処理システム１００の撮像部１０１は、制御部１０３からの信号により、被写体１４０を撮像してＲＧＢ画像（分光画像）を取得する。そして画像処理部１０２の取得手段１０２ａは、撮像部１０１により撮像された画像を取得する。またステップＳ２０１と同時に、ステップＳ２０２において、環境光情報取得部１１０（環境光センサ１１１、１１２）は、制御部１０３からの信号により、画像を撮像した際の環境光情報（環境光データ）ＩＲ０，ｎ、ＩＴ０，ｎを取得（検出）する。本実施例において、環境光情報は、色味に関する情報である。そして取得手段１０２ａは、環境光情報取得部１１０により検出された環境光情報ＩＲ０，ｎ、ＩＴ０，ｎを取得する。
　環境光センサ１１１、１１２は、撮像部１０１と同じ分光感度特性を有するセンサ上に拡散板を配置した構成を有し、撮像部１０１と同じ分光波長数の環境光情報を取得する。なお、環境光センサ１１１、１１２を分光放射照度計で構成し、取得した分光放射照度Ｅ（λ）、撮像光学系の分光透過率特性Ｌ（λ）、撮像素子の分光感度特性Ｓｎ（λ）を用いて、以下の式（５）、（６）により環境光情報ＩＲ０，ｎ、ＩＴ０，ｎを求めてもよい。
Figure JPOXMLDOC01-appb-M000008
　式（５）、（６）において、ＥＴ（λ）は環境光１２０の照度、ＥＲ（λ）は環境光１３０の照度、λｎ，１、λｎ，２はそれぞれ、分光感度特性Ｓｎ（λ）の撮像素子１０１ｂが感度を有する波長帯域の最短波長と最長波長である。
　続いてステップＳ２１０において、画像処理部１０２の分離手段１０２ｂは、式（２）に基づいて、分離処理を行う。ここで、図４を参照して、本実施例における分離処理について詳述する。図４は、本実施例における分離処理のフローチャートである。図４の各ステップは、主に、画像処理部１０２の分離手段１０２ｂにより実行される。
　まずステップＳ２１１において、分離手段１０２ｂは、式（２）に基づいて最適化計算を行う。続いてステップＳ２１２において、分離手段１０２ｂは、式（３）、（４）の反射光成分／透過光成分を算出する。ステップＳ２１１、Ｓ２１２において、分離手段１０２ｂは、予め保持された被写体の反射特性データおよび透過特性データを利用する。
　次に、図５を参照して、本実施例における反射特性データおよび透過特性データについて説明する。図５は、反射特性データおよび透過特性データの説明図である。図５（ａ）は、予め取得されたＲＧＢ反射率、ＲＧＢ透過率のＳＰＡＤ値依存性を示すデータである。丸でプロットした点はＲＧＢ反射率、三角でプロットした点はＲＧＢ透過率を示し、塗り潰された色はＳＰＡＤ値の値に対応している。本実施例では、図５（ａ）に示されるように、分光反射特性と分光透過特性とが互いに異なる特徴を有することを利用して反射光と透過光とを分離する。
　図５（ｂ）は、図５（ａ）のＲＧＢ反射率、ＲＧＢ透過率を、ＳＰＡＤ値ｃを媒介変数として、最小二乗法により以下の式（７）、（８）にフィッティングした結果をプロットした図である。
Figure JPOXMLDOC01-appb-M000009
　式（７）、（８）において、ａｎ，ｉ、ｂｎ，ｉは最小二乗法により決定される定数である。図５（ｂ）では、図５（ａ）と同様に、丸でプロットした点はＲＧＢ反射率、三角でプロットした点はＲＧＢ透過率を示している。
　本実施例では、式（７）、（８）に関する情報を、被写体の反射特性データおよび透過特性データとしてそれぞれ保持している。なお、反射特性データおよび透過特性データは、前述のデータに限定されるものではない。例えば、図６に示されるように、被写体の反射率特性Ｒｆｌ（ｃ、λ）、透過率特性Ｔｒｓ（ｃ、λ）でもよい。図６は、本実施例における別の反射特性データおよび透過特性データの説明図である。図６（ａ）は水稲の葉の分光反射率特性であり、横軸が波長、縦軸が反射率をそれぞれ示す。各線の色は、カラーバーに示すＳＰＡＤ値の値に対応している。同様に、図６（ｂ）は、水稲の透過率特性であり、横軸が波長、縦軸が透過率をそれぞれ示す。
　図６に示されるような反射特性データおよび透過特性データを用いる場合、撮像光学系１０１ａの分光透過率特性Ｌ（λ）、撮像素子１０１ｂの分光感度特性Ｓｎ（λ）を用いて、以下の式（９）、（１０）によりＲｎ（ｃ）、Ｔｎ（ｃ）を求めることが好ましい。
Figure JPOXMLDOC01-appb-M000010
　式（９）、（１０）において、λｎ，１、λｎ，２はそれぞれ、分光感度特性Ｓｎ（λ）の撮像素子１０１ｂが感度を有する波長帯域の最短波長および最長波長である。
　ステップＳ２１１において、分離手段１０２ｂは、分光画像、環境光情報、および、記憶部１０４に保存された被写体１４０の反射特性データおよび透過特性データを用いて、式（２）の最適化計算を行う。最適化計算は、公知の最適化手法を適用可能であり、例えば勾配法を用いることができる。また、式（７）、（８）に示されるように、Ｒｎ（ｃ）、Ｔｎ（ｃ）が微分可能な関数である場合、式（２）も微分可能な関数となるため、ニュートン法や信頼領域法などのより高速な最適化計算手法を用いることができる。
　次に、図７を参照して、最適化計算による分離処理の結果について説明する。図７は、本実施例における分離処理の結果であり、図４のステップＳ２１１にて信頼領域法を用いて最適化計算を行った結果を示す図である。図７（ａ）は、ＲＧＢカメラで撮影した水稲のＲＧＢ画像をグレースケール画像に変換した画像である。図７（ｂ）～（ｄ）は、水稲の葉の各画素について、反射光の割合ｋＲ、透過光の割合ｋＴ、物質濃度ｃの最適化計算を行った結果をそれぞれ示す図である。図７（ｅ）は、式（２）の最適化評価関数の値ｆを対数スケールで示す図である。
　図４のステップＳ２１２において、分離手段１０２ｂは、ステップＳ２１１で求めた反射光の割合ｋＲ、透過光の割合ｋＴ、物質濃度ｃから、式（３）、（４）、（７）、（８）に基づき、反射光成分と透過光成分とを計算する。このように本実施例によれば、被写体の分光画像から、反射光成分と透過光成分とを分離することができる。また、式（２）を算出する過程で、被写体１４０の物質濃度ｃを推定することができる。
　次に、本発明の実施例２について説明する。本実施例は、実施例１と同様に、ＲＧＢカメラにより取得された分光画像から、水稲の葉のＳＰＡＤ値を推定する。
　まず、図８および図９を参照して、本実施例の画像処理システム３００の構成およびカメラ撮影モデルについて説明する。図８は、画像処理システム３００のブロック図である。図９は、カメラ撮影モデルの説明図であり、画像処理システム３００を用いて屋外環境光下にて被写体１４０を撮像する様子を示している。本実施例の画像処理システム３００は、環境光情報取得部（検出部）３１０を有する点で、環境光情報取得部１１０を有する実施例１の画像処理システム１００と異なる。図８および図９に示されるように、環境光情報取得部３１０は、一つの環境光センサ１１３のみを有する。なお、画像処理システム３００の他の構成は、画像処理システム１００と同様であるため、その説明を省略する。
　次に、本実施例において、一つの環境光センサ１１３のみを用いる理由について説明する。図１０は、本実施例における環境光情報の取得モデルの説明図であり、西向きに配置された環境光センサ１１１、および、東向きに配置された環境光センサ１１２の配置を示している。環境光センサ１１１、１１２は、ＲＧＢカラーセンサに拡散板を取り付けた構成を有する。
　図１１は、環境光情報の時間変化の説明図であり、環境光センサ１１１、１１２で取得された環境光情報をプロットした図を示す。図１１において、ＷＢＲ，ｂ、ＷＢＲ，ｒ、ＷＢＴ，ｂ、ＷＢＴ，ｒは、環境光センサ１１２で取得した照度情報ＩＲ０，ｎと環境光センサ１１１で取得した照度情報ＩＴ０，ｎを用いて、以下の式（１１）～（１４）で算出されるホワイトバランス補正係数である。ただし、ｎ＝｛１、２、３｝であり、順にＲ、Ｇ、Ｂのカラーセンサで取得された値であることを表す。
Figure JPOXMLDOC01-appb-M000011
　図１１（ａ）は、曇天時のホワイトバランス補正係数の時間変化をプロットした図であり、黒丸はＷＢＲ，ｂ、白丸はＷＢＴ，ｂ、黒塗りの四角はＷＢＲ，ｒ、白塗りの四角はＷＢＴ，ｒを表している。図１１（ａ）に示されるように、曇天時は、環境光センサの配置向きによらず、ＷＢＲ，ｂとＷＢＴ，ｂ、ＷＢＲ，ｒとＷＢＴ，ｒは等しい。また、図１１（ｂ）は晴天時のホワイトバランス補正係数の時間変化を図１１（ａ）と同様にプロットした図である。晴天時は、太陽が南中する正午付近においてのみ、ＷＢＲ，ｂ、とＷＢＴ，ｂ、および、ＷＢＲ，ｒとＷＢＴ，ｒは等しい。
　そこで本実施例では、ホワイトバランス補正係数が環境光センサの配置向きに依存しない時刻（例えば、太陽の南中時刻の前後２時間以内）に分光画像の撮影を行う。これにより、一つの環境光センサ１１３でも、反射光と透過光との分離処理を実行することができる。
　このような時刻（例えば、太陽の南中時刻の前後２時間以内）であれば、ホワイトバランス補正係数は環境光センサの配置向きに依存しない。このため、本実施例の環境光センサ１１３は、例えば、図９に示されるように上向きに設置して、環境光情報を取得することができる。環境光センサ１１３で取得される環境光情報をＩＲ０，ｎとする場合、最適化計算を行うための式（２）は、ＩＴ０，ｃ＝ｍ・ＩＲ０，ｃ（ｍは比例定数）として、以下の式（１５）のように変形することができる。
Figure JPOXMLDOC01-appb-M000012
　式（１５）において、ｋ’Ｔ＝ｍ・ｋＴであり、Ｒｎ（ｃ）、Ｔｎ（ｃ）には、式（７）、（８）のデータを使用している。なお、環境光情報ＩＲ０，ｎの取得方法は前述の方法に限定されるものではなく、図１２に示されるように標準反射板１１４をカメラ２００により撮影し、撮影した標準反射板の画像の画素値から環境光情報ＩＲ０，ｎを取得してもよい。図１２は、標準反射板１１４を用いた環境光情報の取得方法の説明図である。
　次に、図１３を参照して、本実施例における画像処理方法について説明する。図１３は、本実施例における画像処理方法（ＳＰＡＤ値の推定方法）のフローチャートである。図１３の各ステップは、主に、画像処理部１０２の取得手段１０２ａまたは分離手段１０２ｂにより実行される。
　まずステップＳ４０１において、画像処理システム３００の撮像部１０１は、制御部１０３からの信号により、被写体１４０を撮像してＲＧＢ画像（分光画像）を取得する。そして画像処理部１０２の取得手段１０２ａは、撮像部１０１により撮像された画像を取得する。またステップＳ４０１と同時に、ステップＳ４０２において、環境光情報取得部３１０（環境光センサ１１３）は、制御部１０３からの信号により、画像を撮像した際の環境光情報（環境光データ）ＩＲ０，ｎを取得（検出）する。そして取得手段１０２ａは、環境光情報取得部３１０により検出された環境光情報ＩＲ０，ｎを取得する。
　続いてステップＳ４０３において、画像処理部１０２は、被写体１４０である水稲の撮影領域（被写体領域）を抽出する。水稲領域の抽出方法としては、例えば、ＲＧＢ画像をＨＳＶ色空間に変換した画像を生成し、水稲の葉が取りうる色相角の範囲内にある画素を水稲領域として抽出すればよい。
　続いてステップＳ４０５、Ｓ４０６において、画像処理部１０２の分離手段１０２ｂは、分離処理を行う。まずステップＳ４０４において、分離手段１０２ｂは、ステップＳ４０３にて抽出された水稲領域の各画素について、式（１５）に基づき最適化計算を行う。続いてステップＳ４０５において、分離手段１０２ｂは、ステップＳ４０４にて計算された反射光の割合ｋＲ、濃度ｃを用いて、以下の式（１６）に基づき、環境光成分が補正された反射光成分Ｉ’Ｒ，ｎを算出する。
Figure JPOXMLDOC01-appb-M000013
　続いてステップＳ４０６において、画像処理部１０２は、ＳＰＡＤ値と相関がある指標（生育指標）として、ＮＧＲＤＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｇｒｅｅｎ　Ｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｉｎｄｅｘ）を算出する。ＮＧＲＤＩは、ステップＳ４０５にて算出された反射光成分を用いて、以下の式（１７）に基づき算出される。
Figure JPOXMLDOC01-appb-M000014
　最後に、ステップＳ４０７において、画像処理部１０２は、ＮＧＲＤＩとＳＰＡＤ値との相関関係式である以下の式（１８）を用いて、ＮＧＲＤＩをＳＰＡＤ値へ変換する。
Figure JPOXMLDOC01-appb-M000015
　式（１８）において、ｄｉは、ＮＧＲＤＩとＳＰＡＤ値との相関関係を表す定数である。
　本実施例の分離処理では、式（１５）の最適化計算により物質濃度ｃ（ＳＰＡＤ値に相当）が算出されるが、算出された物質濃度ｃ、反射光の割合ｋＲは誤差を含む。このため本実施例では、より冗長性を持たせた物質濃度の推定を行うため、ステップＳ４０５～Ｓ４０７の処理を行っている。
　また、本実施例の手法では、式（１５）の最適化評価関数の値ｆが閾値ｆｔｈ以下の画素のみの最適化計算結果をＳＰＡＤ値の推定に用いることで、ＳＰＡＤ値の推定精度を向上させることができる。図１４は、閾値ｆｔｈによるＳＰＡＤ値（物質濃度）の推定精度の違いの説明図である。図１４において、横軸は閾値ｆｔｈ、縦軸は閾値ｆｔｈ以下の画素のＳＰＡＤ値推定結果の平均値と正解値との平均平方二乗誤差ＲＭＳＥをそれぞれ示している。図１４に示されるように、閾値ｆｔｈを適切に設定することにより、ＳＰＡＤ値の推定精度を向上させることができる。
　図１５は、ＳＰＡＤ値推定結果の説明図であり、定点カメラにより撮影したＲＧＢ画像から、ＳＰＡＤ値の日毎の変化を推定した結果を示す。図１５において、横軸は日付、縦軸はＳＰＡＤ値をそれぞれ示す。図１５において、四角でプロットした点は、本実施例の分離処理を行うステップＳ４０４、Ｓ４０５を実施しなかった場合の推定結果、丸でプロットした点は分離処理を実施した場合の推定結果をそれぞれ示す。また、星印でプロットした点は正解値を示し、ここでは、画像推定領域内の水稲１０株について、ＳＰＡＤ計で計測した結果の平均値を正解値として採用している。また、エラーバーは、標準偏差を表している。従って、図１５に示されるように、本実施例の分離処理を行うことにより、定量的に物質濃度の推定を行うことが可能となる。
　（その他の実施例）
　本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　このように各実施例において、画像処理装置（画像処理部１０２）は、取得手段１０２ａおよび分離手段１０２ｂを有する。取得手段は、被写体の画像（分光画像）と、被写体を撮像した際の環境光データ（色味に関する情報）と、被写体に含まれる物質（葉緑素など）の濃度（ＳＰＡＤ値）に依存する反射特性データ（Ｒｎ（ｃ））および透過特性データ（Ｔｎ（ｃ））とを取得する。分離手段は、画像と環境光データと反射特性データおよび透過特性データとを用いて、画像から反射光成分（ＩＲ，ｎ）と透過光成分（ＩＴ，ｎ）とを分離する。これにより、各実施例の画像処理装置は、半透明な被写体を撮像した分光画像から反射光成分と透過光成分とを分離することができる。このため各実施例によれば、分光画像から被写体に含まれる物質の濃度を高精度に推定可能な画像処理方法、画像処理装置、撮像システム、および、プログラムを提供することができる。
　以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
　特に、各実施例では被写体として水稲の葉を例に挙げたが、その他の被写体にも適用可能である。また、各実施例ではＲＧＢの分光画像を例に挙げたが、分光波長数が４以上のマルチバンド画像、ハイパースペクトラル画像にも適用可能である。また、各実施例では、撮像部と環境光情報取得部とが分離された例を挙げたが、撮像部と環境光情報取得部とが一体となっていてもよい。また、最適化の評価関数は式（２）、（１５）に限定されるものではなく、例えば、Ｌ２ノルムではなく、Ｌ１ノルムを用いても良い。また、各実施例では画像処理装置内で最適化計算を実行する例を挙げたが、処理の重い最適化計算をクラウドコンピューティング上で実行してもよい。
 

Claims (19)

  1. 　被写体の撮像により得られた画像と、該撮像の際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得ステップと、
    　前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像における反射光成分と透過光成分とを分離する分離ステップと、を有することを特徴とする画像処理方法。
  2. 　前記分離ステップは、前記画像の輝度値に対する前記反射光成分および前記透過光成分のそれぞれの割合を最適化により求める最適化ステップを含むことを特徴とする請求項１に記載の画像処理方法。
  3. 　前記環境光データは、第１の環境光センサにより取得された第１の照度情報、および、第２の環境光センサにより取得された第２の照度情報を含み、
    　前記画像の輝度値をＩｎ、前記第１の照度情報をＩＴ０，ｎ、前記第２の照度情報をＩＲ０，ｎ、前記物質の前記濃度をｃ、前記反射特性データをＲｎ（ｃ）、前記透過特性データをＴｎ（ｃ）、前記反射光成分の割合をｋＲ、前記透過光成分の割合をｋＴとするとき、
    　前記最適化ステップは、
    Figure JPOXMLDOC01-appb-M000001
    なる式の最適化を行うことを特徴とする請求項２に記載の画像処理方法。
  4. 　前記環境光データは、環境光センサにより取得された照度情報であり、前記画像の輝度値をＩｎ、前記照度情報をＩＴR０，ｎ、前記物質の前記濃度をｃ、前記反射特性データをＲｎ（ｃ）、前記透過特性データをＴｎ（ｃ）、前記反射光成分の割合をｋＲ、前記透過光成分の割合をｋＴとするとき、
    　前記最適化ステップは、
    Figure JPOXMLDOC01-appb-M000002
    なる式の最適化計算を行うことを特徴とする請求項２に記載の画像処理方法。
  5. 　前記分離ステップは、前記反射光成分の割合、前記透過光の割合、および、前記物質の前記濃度を用いて、前記反射光成分または前記透過光成分の少なくとも一つを算出するステップを含むことを特徴とする請求項２乃至４のいずれか一項に記載の画像処理方法。
  6. 　前記反射特性データおよび前記透過特性データは、前記物質の前記濃度の関数であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
  7. 　前記反射特性データおよび前記透過特性データは、前記物質の前記濃度について微分可能であることを特徴とする請求項６に記載の画像処理方法。
  8. 　前記被写体は植物の葉であり、前記物質は葉緑素であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
  9. 　被写体の撮像により得られた画像と、該撮像の際の環境光データと、前記被写体に含まれる物質の濃度に依存する反射特性データおよび透過特性データとを取得する取得手段と、
    　前記環境光データと前記反射特性データおよび前記透過特性データとを用いて、前記画像における反射光成分と透過光成分とを分離する分離手段と、を有することを特徴とする画像処理装置。
  10. 　前記分離手段は、前記画像の輝度値に対する前記反射光成分および前記透過光成分のそれぞれの割合を最適化により求めることを特徴とする請求項９に記載の画像処理装置。
  11. 　前記環境光データは、第１の環境光センサにより取得された第１の照度情報、および、第２の環境光センサにより取得された第２の照度情報を含み、
    　前記画像の輝度値をＩｎ、前記第１の照度情報をＩＴ０，ｎ、前記第２の照度情報をＩＲ０，ｎ、前記物質の前記濃度をｃ、前記反射特性データをＲｎ（ｃ）、前記透過特性データをＴｎ（ｃ）、前記反射光成分の割合をｋＲ、前記透過光成分の割合をｋＴとするとき、
    　前記分離手段は、
    Figure JPOXMLDOC01-appb-M000003
    なる式の最適化を行うことを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記環境光データは、環境光センサにより取得された照度情報であり、前記画像の輝度値をＩｎ、前記照度情報をＩＴR０，ｎ、前記物質の前記濃度をｃ、前記反射特性データをＲｎ（ｃ）、前記透過特性データをＴｎ（ｃ）、前記反射光成分の割合をｋＲ、前記透過光成分の割合をｋＴとするとき、
    　前記分離手段は、
    Figure JPOXMLDOC01-appb-M000004
    なる式の最適化計算を行うことを特徴とする請求項１０に記載の画像処理装置。
  13. 　前記分離手段は、前記反射光成分の割合、前記透過光の割合、および、前記物質の前記濃度を用いて、前記反射光成分または前記透過光成分の少なくとも一つを算出することを特徴とする請求項１０乃至１２に記載の画像処理装置。
  14. 　前記反射特性データおよび前記透過特性データは、前記物質の前記濃度の関数であることを特徴とする請求項９乃至１３のいずれか一項に記載の画像処理装置。
  15. 　前記反射特性データおよび前記透過特性データは、前記物質の前記濃度について微分可能であることを特徴とする請求項１４に記載の画像処理装置。
  16. 　前記被写体は植物の葉であり、前記物質は葉緑素であることを特徴とする請求項９乃至１５のいずれか一項に記載の画像処理装置。
  17. 　被写体を撮像する撮像部と、
    　前記撮像部により前記被写体を撮像した際の環境光データを検出する検出部と、
    　請求項９乃至１５のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像システム。
  18. 　前記検出部は、一つの環境光センサのみを有し、
    　前記環境光データは、前記一つの環境光センサにより検出された照度情報を有することを特徴とする請求項１７に記載の撮像システム。
  19. 　請求項１乃至８のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/016789 2019-05-28 2020-04-16 画像処理方法、画像処理装置、撮像システム、および、プログラム WO2020241111A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080038049.XA CN113874710B (zh) 2019-05-28 2020-04-16 图像处理方法、图像处理装置、成像系统和程序
EP20812894.2A EP3971553A4 (en) 2019-05-28 2020-04-16 IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, IMAGING SYSTEM, AND PROGRAM
US17/532,206 US20220082499A1 (en) 2019-05-28 2021-11-22 Image processing method, image processing apparatus, imaging system, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019099129A JP7313906B2 (ja) 2019-05-28 2019-05-28 画像処理方法、画像処理装置、撮像システム、および、プログラム
JP2019-099129 2019-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/532,206 Continuation US20220082499A1 (en) 2019-05-28 2021-11-22 Image processing method, image processing apparatus, imaging system, and storage medium

Publications (1)

Publication Number Publication Date
WO2020241111A1 true WO2020241111A1 (ja) 2020-12-03

Family

ID=73548647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016789 WO2020241111A1 (ja) 2019-05-28 2020-04-16 画像処理方法、画像処理装置、撮像システム、および、プログラム

Country Status (5)

Country Link
US (1) US20220082499A1 (ja)
EP (1) EP3971553A4 (ja)
JP (1) JP7313906B2 (ja)
CN (1) CN113874710B (ja)
WO (1) WO2020241111A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168771A (ja) 2000-12-01 2002-06-14 Ebara Corp 植物の生育度測定装置
JP2004301810A (ja) * 2003-04-01 2004-10-28 Ebara Corp 植物の生育度測定装置
US20080239293A1 (en) * 2005-11-21 2008-10-02 Fuchigami Leslie H Portable Meter to Measure Chlorophyll, Nitrogen and Water and Methods
WO2016181743A1 (ja) * 2015-05-12 2016-11-17 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
US20180018537A1 (en) * 2016-07-07 2018-01-18 Purdue Research Foundation Non-spectroscopic imaging of plants
JP2018151832A (ja) * 2017-03-13 2018-09-27 キヤノン株式会社 情報処理装置、情報処理方法、および、プログラム
WO2018180954A1 (ja) * 2017-03-28 2018-10-04 コニカミノルタ株式会社 画像処理装置、生育調査画像作成システム及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353561B2 (ja) * 1995-09-07 2002-12-03 株式会社日立製作所 溶液の質量分析に関する方法と装置
US6114683A (en) 1998-03-02 2000-09-05 The United States Of Ameria As Represented By The Administrator Of The National Aeronautics And Space Administration Plant chlorophyll content imager with reference detection signals
ID26384A (id) * 1999-06-17 2000-12-21 Satake Eng Co Ltd Metode diagnosa kondisi nutrisi dari panenan pada ladang tanaman
WO2011093024A1 (ja) * 2010-02-01 2011-08-04 コニカミノルタセンシング株式会社 反射特性測定装置および反射特性測定システム
WO2016111376A1 (ja) * 2015-01-09 2016-07-14 日立マクセル株式会社 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168771A (ja) 2000-12-01 2002-06-14 Ebara Corp 植物の生育度測定装置
JP2004301810A (ja) * 2003-04-01 2004-10-28 Ebara Corp 植物の生育度測定装置
US20080239293A1 (en) * 2005-11-21 2008-10-02 Fuchigami Leslie H Portable Meter to Measure Chlorophyll, Nitrogen and Water and Methods
WO2016181743A1 (ja) * 2015-05-12 2016-11-17 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
US20180018537A1 (en) * 2016-07-07 2018-01-18 Purdue Research Foundation Non-spectroscopic imaging of plants
JP2018151832A (ja) * 2017-03-13 2018-09-27 キヤノン株式会社 情報処理装置、情報処理方法、および、プログラム
WO2018180954A1 (ja) * 2017-03-28 2018-10-04 コニカミノルタ株式会社 画像処理装置、生育調査画像作成システム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3971553A4

Also Published As

Publication number Publication date
CN113874710B (zh) 2024-03-12
EP3971553A1 (en) 2022-03-23
JP2020193856A (ja) 2020-12-03
EP3971553A4 (en) 2023-01-18
JP7313906B2 (ja) 2023-07-25
CN113874710A (zh) 2021-12-31
US20220082499A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US8073279B2 (en) Automated atmospheric characterization of remotely sensed multi-spectral imagery
CN110166704B (zh) 多光谱相机的校准方法及装置
Berra et al. Estimation of the spectral sensitivity functions of un-modified and modified commercial off-the-shelf digital cameras to enable their use as a multispectral imaging system for UAVs
US20130202214A1 (en) Shape and photometric invariants recovery from polarisation images
WO2022262692A1 (zh) 光谱反射率检测方法及系统
US11422026B2 (en) Information processing device, information processing method, and program to perform calibration with respect to environment light
EP2171639A1 (en) Image acquisition and processing engine for computer vision
US20220366668A1 (en) Image processing apparatus, image processing method, and image processing program
CN114445330A (zh) 一种元器件外观缺陷的检测方法及系统
JP2018151832A (ja) 情報処理装置、情報処理方法、および、プログラム
CN111413279B (zh) 多光谱探测的视频处理方法、装置及多光谱探测终端
JP2010509666A (ja) 画像の照明検出
JP6964834B2 (ja) 画像処理装置および画像処理方法
EP3112827B1 (en) Sample target for improved accuracy of color measurements and color measurements using the same
WO2020241111A1 (ja) 画像処理方法、画像処理装置、撮像システム、および、プログラム
JP6862229B2 (ja) 解析装置、撮像装置、解析方法、および、プログラム
JP4904377B2 (ja) ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
JPH11304589A (ja) 環境光測定システム
Javoršek et al. Comparison of two digital cameras based on spectral data estimation obtained with two methods
CN114503097A (zh) 使用移动设备进行颜色查找的方法和装置
Soszyńska et al. Feasibility study of hyperspectral line-scanning camera imagery for remote sensing purposes
Potůková Image matching and its applications in photogrammetry
Porto et al. Radiometric Calibration Performance of a Multispectral Camera with a Single Sensor and Multiple Heads
Duggin et al. Information enhancement, metrics, and data fusion in spectral and polarimetric images of natural scenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20812894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020812894

Country of ref document: EP

Effective date: 20220103