WO2024070120A1 - 測定装置、測定方法、およびプログラム - Google Patents
測定装置、測定方法、およびプログラム Download PDFInfo
- Publication number
- WO2024070120A1 WO2024070120A1 PCT/JP2023/025088 JP2023025088W WO2024070120A1 WO 2024070120 A1 WO2024070120 A1 WO 2024070120A1 JP 2023025088 W JP2023025088 W JP 2023025088W WO 2024070120 A1 WO2024070120 A1 WO 2024070120A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- plant
- information
- distribution information
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000012010 growth Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims description 72
- 238000001514 detection method Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 17
- 230000008635 plant growth Effects 0.000 claims description 16
- 238000000691 measurement method Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000002834 transmittance Methods 0.000 claims description 2
- 241000196324 Embryophyta Species 0.000 description 20
- 230000014509 gene expression Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 241000209094 Oryza Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000010791 quenching Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Definitions
- the present invention relates to a measurement device, a measurement method, and a program.
- Patent Document 1 discloses a measuring device that measures a plant growth index from the results of spectroscopic measurement of light reflected by the plant.
- the measuring device disclosed in Patent Document 1 uses daytime sunlight as a light source, so the measurement results change depending on the altitude and position of the sun. For this reason, the measurement accuracy of the plant growth index depends on the error in the correction value of the incident light intensity of the sunlight. Also, in actual measurements, the sun's reflection causes the captured image to be blown out (a phenomenon in which the exposure exceeds a threshold, causing a loss of gradation and making it impossible to obtain data). As a result, the plant growth index cannot be measured with high accuracy.
- the present invention aims to provide a measuring device that can measure plant growth indexes with high accuracy.
- a measuring device is a measuring device for measuring a growth index of a plant, and includes a light detection unit having an imaging optical system and an imaging element in which multiple photoelectric conversion units are arranged two-dimensionally, and a calculation processing unit that calculates the growth index of the plant based on information acquired by the light detection unit, and each of the multiple photoelectric conversion units has an avalanche diode, and the light detection unit acquires reflected light from the plant as a first subject and reference light from a second subject, and disperses the reflected light from the plant to acquire first light intensity distribution information with a first wavelength as a peak wavelength and second light intensity distribution information with a second wavelength as a peak wavelength, and acquires light intensity distribution reference information from the reference light, and the calculation processing unit calculates the growth index based on the first light intensity distribution information, the second light intensity distribution information, and the light intensity distribution reference information.
- the present invention provides a measuring device that can measure plant growth indexes with high accuracy.
- FIG. 2 is an explanatory diagram of a measurement system in each embodiment.
- FIG. 2 is an explanatory diagram of a measurement system in each embodiment.
- FIG. 1 is a block diagram of a measurement system according to a first embodiment.
- 3 is a configuration diagram of a pixel region of a light detection unit in the first embodiment.
- FIG. 4 is a flowchart showing the operation of the measurement system in the first embodiment.
- FIG. 11 is a block diagram of a measurement system according to a second embodiment. 10 is a flowchart showing the operation of a measurement system in a second embodiment.
- Figures 1 and 2 are explanatory diagrams of the measurement system, and show how a subject 100, such as a plant, is photographed using a light detection unit (imaging device) 300.
- the light detection unit 300 is fixed to the ground (fixed unit) 105, and acquires an image of the subject 100 at a fixed position.
- the light detection unit 300 is attached to a flying object 106, such as a drone, and is controlled to acquire an image of the subject 100 at a fixed position.
- the subject 100 is illuminated by ambient light (outdoor ambient light) 111.
- the subject (first subject) 101 is a translucent object such as a plant.
- the plant is, for example, a rice plant having multiple leaves, but is not limited to this.
- the ambient light 111 is diffused and absorbed inside the subject 101, and a portion of the reflected light (reflected light 121) reaches the light detection unit 300.
- the so-called diffuse reflected light reflected by such a process is simply called reflected light, and is distinguished from the specular reflected light reflected by the surface of the subject 100.
- the measurement system quantitatively estimates (measures) the concentration of a substance (such as chlorophyll) contained in the subject 101 based on the image (light quantity distribution information) obtained by the light detection unit 300, and calculates the growth index of the subject 101.
- the growth index here is, for example, the Soil & Plant Analyzer Development (SPAD) value or the Normalized Difference Vegetation Index (NDVI). Details of the method for calculating the growth index will be described later.
- the subject (second subject) 102 is a device for acquiring the reference light, for example a reflector.
- the reference light may be acquired using a color sensor or the like as the subject 102.
- a portion of the light reflected by the subject 102 (specularly reflected light 122) reaches the light detection unit 300.
- the ambient light acquisition unit 200 is a device that acquires the illuminance of the subject 101 (reflected light 131) and the illuminance of the subject 102 (specularly reflected light 132).
- Fig. 3 is a block diagram of a measurement system (plant growth index measurement system) 1000 in this embodiment.
- the measurement system 1000 has a subject 100, an ambient light acquisition unit 200, a light detection unit 300, a control unit 400, a calculation processing unit 500, a storage unit 600, a display unit 700, and a GPS (Global Positioning System) unit 800.
- At least the light detection unit 300 and the calculation processing unit 500 constitute a measurement device that measures the growth status of a plant.
- the light detection unit 300 has an optical system (imaging optical system) 301, multiple color filters (bandpass filters) 302, and an image sensor 303.
- the light detection unit 300 is connected to the control unit 400, and according to the control of the control unit 400, disperses the reflected light of the measurement object into at least two wavelengths (a first wavelength and a second wavelength), detects the light, and obtains a measurement result.
- the measurement result obtained by the light detection unit 300 is output to the control unit 400 and the calculation processing unit 500.
- the spectral reflectance characteristics of the subject 101 are such that the reflectance is maximum near a wavelength of 550 nm, the reflectance is minimum near a wavelength of 670 nm, and the reflectance is constant in the range of wavelengths from 750 nm to 900 nm.
- the measurement is preferably performed using light in at least two wavelength bands out of four wavelength bands (four wavelength bands with different peak wavelengths) that have characteristic changes in reflectance. More preferably, the measurement is performed using light in four wavelength bands.
- the multiple color filters 302 include at least two types of color filters (a first color filter and a second color filter) and are arranged between the optical system 301 and the image sensor 303.
- the first color filter transmits only red light
- the second color filter transmits only near-infrared light.
- the light detection unit 300 separates the reflected light from the subject 101 using the first and second color filters, and obtains light quantity distribution information (first light quantity distribution information) R1 and light quantity distribution information (second light quantity distribution information) R2, respectively.
- the light detection unit 300 also separates the reflected light from the subject 102 using the first and second color filters, and obtains light quantity distribution reference information W1 and light quantity distribution reference information W2, respectively.
- the colors of light transmitted by the multiple color filters 302 are not limited to the above-mentioned examples. Furthermore, the colors of light transmitted by the multiple color filters 302 do not need to be different from each other. In other words, it is sufficient that the multiple color filters 302 include at least two or more types of color filters that transmit light with different peak wavelengths (center wavelengths).
- the control unit 400 is a circuit for controlling each part of the measurement system 1000 according to its function and measuring the growth index.
- the control unit 400 is configured with, for example, a CPU (Central Processing Unit) and peripheral circuits.
- the control unit 400 has a light detection control unit 401, an ambient light acquisition control unit 402, and a position acquisition control unit 403.
- the calculation processing unit 500 has a correction value calculation unit 501, a pixel information calculation unit 502, and a growth index calculation unit 503.
- the correction value calculation method by the correction value calculation unit 501, the pixel information calculation method by the pixel information calculation unit 502, and the growth index calculation method by the growth index calculation unit 503 will each be described later.
- the storage unit 600 has a growth information storage unit 601, a correction information storage unit 602, an ambient light storage unit 603, and a position information storage unit 604.
- the growth information storage unit 601 and the correction information storage unit 602 respectively store the growth information and correction values calculated by the calculation processing unit 500.
- the ambient light storage unit 603 stores the light intensity data of the ambient light acquired by the ambient light acquisition unit 200.
- the position information storage unit 604 stores the position (latitude X, longitude Y, altitude Z) of the subject 102 in advance.
- the display unit 700 displays the information output from the calculation processing unit 500.
- the GPS 800 is connected to the control unit 400, and measures the position of the measurement system 1000 using a satellite positioning system for measuring the current position on Earth according to the control of the control unit 400.
- the positioning results of the GPS 800 (latitude X, longitude Y, altitude Z) are output to the control unit 400.
- the measurement position is controlled using the positioning results so that measurements can be made continuously at the same position.
- the clock unit 900 is connected to the control unit 400, and according to the control of the control unit 400, acquires the time such as the year, month, day, hour, minute, etc., and outputs the time to the control unit 400.
- FIG. 4 is an example of an equivalent circuit diagram of the image sensor 303.
- FIG. 4 shows four pixel units T103 and five signal generation units T104 arranged from the 0th row to the 2nd row and the 0th column to the 2nd column.
- Each of the multiple pixel units T103 includes an avalanche photodiode (hereinafter, APD) T201, which is a photoelectric conversion unit, a quench element T202, a signal processing circuit T211, and a selection circuit T212.
- APD avalanche photodiode
- a voltage VL is supplied to the anode of the APD T201.
- a voltage VH higher than the voltage VL supplied to the anode is supplied to the cathode of the APD T201.
- a reverse bias voltage is supplied to the anode and cathode of the APD T201 so that the APD T201 performs avalanche multiplication. With this voltage supplied, the charges generated by the incident light undergo avalanche multiplication, generating an avalanche current.
- Geiger mode in which the anode and cathode are operated with a potential difference greater than the breakdown voltage
- linear mode in which the anode and cathode are operated with a potential difference close to or less than the breakdown voltage.
- An APD operated in Geiger mode is called a SPAD.
- the quench element T202 is connected between the power supply that supplies the voltage VH and the cathode of the APD T201.
- the quench element T202 has the function of converting the change in avalanche current that occurs in the APD T201 into a voltage signal.
- the quench element T202 functions as a load circuit (quench circuit) during signal multiplication by avalanche multiplication, and suppresses the voltage supplied to the APD T201, thereby suppressing avalanche multiplication.
- the signal processing circuit T211 has the function of counting the potential change of the cathode of the APD T201 obtained when a photon is detected. This function can be realized, for example, by the signal processing circuit T211 being equipped with a counter circuit that counts pulses generated by the potential change of the cathode. This allows the signal processing circuit T211 to output a count value (first digital signal) corresponding to the number of photons incident on the APD T201.
- the signal processing circuit T211 initializes the counter circuit according to a control signal input via the control line T213.
- the selection circuit T212 includes, for example, a switch that controls electrical connection/disconnection in response to a control signal input via a control line T214, a buffer circuit for outputting a signal to the line T113, etc.
- the pixel unit T103 has a function of outputting the count value of photons incident on the APD T201 as a digital signal, but is not limited to this.
- the signal processing circuit T211 may include a time-to-digital conversion circuit and a memory.
- the pixel unit T103 may be a pixel for measuring the time when light arrives and the amount of light.
- Each of the multiple signal generation units T104 includes a signal generation circuit T215 and a selection circuit T212.
- the signal generation circuit T215 (second signal generation unit) is configured to output a digital signal (second digital signal) having a digital value of a predetermined n bits (n is a natural number).
- the signal generation circuit T215 performs processes related to signal generation such as initialization in response to a control signal input via the control line T213. These signals are output to the outside via the signal output circuit.
- FIG. 5 is a flowchart showing the operation of the measurement system 1000.
- step S101 the control unit 400 acquires the time, such as the year, month, day, hour, and minute, from the clock unit 900.
- step S102 the ambient light acquisition unit 200 acquires ambient light information (illuminance or subject illuminance) based on the light reflected from the subject 102. Note that when acquiring the ambient light information, the ambient light acquisition unit 200 may also acquire the ambient light information (illuminance or subject illuminance) based on the light reflected from the subject 101.
- step S103 the control unit 400 determines whether or not the ambient light information (subject illuminance) acquired by the ambient light acquisition unit 200 is equal to or less than a threshold value. If it is determined that the subject illuminance is greater than the threshold value, this flow ends. On the other hand, if it is determined that the subject illuminance is equal to or lower than the threshold, the process proceeds to step S104.
- the ambient light information (illuminance) obtained based on the reflected light from the subject 102 is Le (lux)
- the ambient light information (illuminance) obtained based on the reflected light from the subject 101 is Lp (lux).
- at least one of the following conditional expressions (1) and (2) is preferably satisfied (i.e., the threshold is 1.00).
- Conditional expression (1) specifies the subject illuminance of the subject 102 measured using reflected light from the subject 102. If the upper limit of conditional expression (1) is exceeded, the estimation accuracy of the growth index decreases due to reflection of the light source or the generation of a shadow by the light source.
- conditional expressions (1) and (2) are set as shown in the following conditional expressions (1a) and (2a), respectively.
- the ambient light information Le and Lp may be a value that is infinitesimally close to 0.
- step S104 the light detection unit 300 captures an image of the subject 100 (obtains an image of the subject 100) using light of two or more specific wavelengths (first and second wavelengths).
- step S105 the control unit 400 extracts the shooting area (sensor imaging position) of the subject 102 from the image acquired in step S104.
- the shooting area of the subject 102 is calculated by the position information storage unit 604 and the GPS unit 800.
- step S106 the light detection unit 300 acquires light quantity distribution reference information W1 and light quantity distribution reference information W2 for the shooting area obtained in step S105.
- step S107 the control unit 400 determines whether or not there is linearity in the relationship between the amount of light incident on the light detection unit 300 and the amount of light detected by the light detection unit 300. If it is determined that there is no linearity, the process proceeds to step S108. In step S108, the settings of the light detection unit 300 are changed, and the determination in step S107 is performed again.
- step S107 if it is determined in step S107 that linearity exists, the process proceeds to step S109.
- conditional expression (3) m is the average number of incident photons per pixel of the image sensor 303, and f is the clock count of the image sensor 300.
- Conditional expression (3) defines the average number of incident photons m per pixel with respect to the clock count f.
- the count value n per pixel is defined by the following formula (4) using the average number of incident photons m and the clock count fT.
- n fT ⁇ (1 - Exp (-m / fT)) ... (4)
- the average number m of incident photons per pixel is defined by the following equation (5).
- conditional formula (3) If the upper limit of conditional formula (3) is exceeded, the relationship between the number of incident photons and the counted value will no longer be linear, which is undesirable. On the other hand, if the lower limit of conditional formula (3) is exceeded, the measurement error will increase due to the influence of noise components, which is also undesirable. Note that the determination of linearity is not limited to counting the number of photons, and the determination criteria may be set based on the illuminance of the subject and the luminance value of the image.
- conditional formula (3) is set as shown in the following conditional formula (3a).
- conditional expression (3) is set as in the following conditional expression (3b).
- Conditional formula (6) specifies the illuminance Le of the subject 102 measured using reflected light from the subject 102 and the average number m of incident photons per pixel. Even if the illuminance Le of the subject 102 measured using reflected light from the subject 102 is low, the amount of detectable light satisfies conditional formula (6), so that the growth index can be measured with higher accuracy. Exceeding the upper limit of conditional formula (6) is undesirable because long-term exposure is required. On the other hand, exceeding the lower limit of conditional formula (6) is undesirable because the influence of noise components becomes large.
- conditional formula (6) is set as shown in the following conditional formula (6a).
- conditional expression (6) Le ⁇ 0.25 and 10 ⁇ m ⁇ 300 ... (6a) More preferably, the numerical range of conditional expression (6) is set as in the following conditional expression (6b).
- step S109 the calculation processing unit 500 calculates a correction coefficient k of the spectral characteristics of the ambient light based on the light intensity distribution reference information W1 and the light intensity distribution reference information W2. More specifically, as expressed by the following formula (7), for each pixel at the same pixel position (x, y), the ratio between the pixel value W1(x, y) of the light intensity distribution reference information W1 and the light intensity distribution reference information W2(x, y) is calculated as the correction coefficient k of the spectral characteristics of the ambient light.
- the calculation processing unit 500 extracts the photographed area (subject area) of the rice plant, which is the subject 102.
- the rice plant area may be extracted by recognizing the shape of the rice plant leaves from the light intensity distribution information R1 and the light intensity distribution information R2.
- the light intensity distribution information R3 and the light intensity distribution reference information W3 may be obtained using a third color filter that transmits only green light, and the rice plant area may be extracted using the light intensity distribution information R1 and the light intensity distribution reference information W1.
- the following formula (8) may be used to extract the area where the light intensity ratio IGR of green light to red light at pixel position (x, y) is higher than a threshold value as the rice plant area.
- IGR(x,y) [R3'(x,y)-R1(x,y)]/[R3'(x,y)+R1(x,y)]...(8)
- j and R3' are calculated by the following formulas (9) and (10), respectively.
- step S111 the calculation processing unit 500 acquires light quantity distribution information R1 and light quantity distribution information R2 for the photographed area (the area of the plant) obtained in step S110.
- step S112 the calculation processing unit 500 normalizes the ratio of the light intensity (light intensity distribution information R1, R2) of the reflected light of each evaluation wavelength to a predetermined value using the spectral characteristic correction coefficient k calculated in step S109 (corrects the light intensity distribution information).
- step S113 the calculation processing unit 500 calculates a plant growth index, for example, an NDVI value, for each pixel based on the corrected light intensity distribution information R1, R2.
- step S114 the control unit 400 stores the obtained data on the plant growth index in the growth information storage unit 601.
- the control unit 400 may also store the data in a storage unit provided in an external device such as a cloud computing device via communication.
- the first wavelength of the light dispersed by the light detection unit 300 is ⁇ 1 (nm) and the second wavelength is ⁇ 2 (nm)
- the following conditional expressions (12) and (13) are satisfied.
- the influence of the incident light intensity of sunlight is small, and the calculation accuracy of the plant growth index can be improved.
- Fig. 6 is a block diagram of a measurement system (plant growth index measurement system) 1000a in this embodiment.
- the measurement system 1000a of this embodiment is different from the measurement system 1000 of the first embodiment having a light detection unit 300 and a control unit 300 in that the measurement system 1000a of this embodiment has a light detection unit 300a and a control unit 400a.
- Note that other configurations of the measurement system 1000a of this embodiment are similar to those of the measurement system 1000 of the first embodiment, so that the description thereof will be omitted.
- the light detection unit 300a has multiple color filters (bandpass filters) 305 on the subject side (between the subject 100 and the optical system 301) of the optical system 301.
- the control unit 400a has a filter control unit 404 that switches between the multiple color filters 305.
- the multiple color filters 305 have at least two types of color filters (a first color filter and a second color filter).
- the first color filter transmits only red light
- the second color filter transmits only near-infrared light.
- the reflected light from the subject 101 is split by the first color filter and the second color filter, and light quantity distribution information R1 and light quantity distribution information R2 are obtained, respectively.
- the reflected light from the subject 102 is split by the first color filter and the second color filter, and light quantity distribution reference information W1 and light quantity distribution reference information W2 are obtained, respectively.
- the color of light transmitted by the multiple color filters 305 is not limited to the above example.
- the colors of light transmitted by the multiple color filters 305 do not need to be different from each other.
- the multiple color filters 300 need only include at least two types of color filters that transmit light with different peak wavelengths.
- the multiple color filters 305 may have a third color filter in addition to the first and second color filters.
- the third color filter transmits, for example, only green light. This makes it easier to extract the rice leaf area with high accuracy.
- FIG. 7 is a flowchart showing the operation of the measurement system 1000a.
- step S301 the measurement system 1000a acquires the time. Then, in step S302, the measurement system 1000a acquires ambient light information. Then, in step S303, the measurement system 1000a determines whether the ambient light information (subject illuminance) is equal to or less than a threshold. If it is determined that the subject illuminance is greater than the threshold, this flow ends. On the other hand, if it is determined that the subject illuminance is equal to or less than the threshold, the process proceeds to step S304.
- the ambient light information subject illuminance
- step S304 the measurement system 1000a sets the first color filter.
- step S305 the measurement system 1000a simultaneously acquires an image of the plant and an image of the subject for calculating the reference light.
- step S306 the measurement system 1000a extracts the area of the subject for calculating the reference light.
- step S307 the measurement system 1000a acquires light intensity distribution information (A1) of the subject for calculating the reference light.
- step S308 the measurement system 1000a determines whether or not there is linearity. If it is determined that there is no linearity, the process proceeds to step S309.
- step S309 the measurement system 1000a changes the settings of the light detection unit 300a and performs the determination of step S308 again. On the other hand, if it is determined that there is linearity, the process proceeds to step S310.
- step S310 the measurement system 1000a extracts the plant area from the acquired image.
- step S311 the measurement system 1000a acquires light intensity distribution information (B1) based on the reflected light of the plant.
- step S312 the measurement system 1000a sets the second color filter.
- step S313 the measurement system 1000a simultaneously acquires an image of the plant and an image of the subject for calculating the reference light.
- step S314 the measurement system 1000a extracts the area of the subject for calculating the reference light.
- step S315 the measurement system 1000a acquires light intensity distribution information (A2) of the subject for calculating the reference light.
- step S316 the measurement system 1000a extracts the plant area from the acquired image.
- step S317 the measurement system 1000a acquires light intensity distribution information (B2) based on the reflected light of the plant.
- step S3108 the measurement system 1000a calculates a correction value (correction coefficient) using the light intensity distribution information (A1) acquired in step S307 and the light intensity distribution information (A2) acquired in step S315.
- step S319 the measurement system 1000a calculates a plant growth index (growth information) using the correction value calculated in step S318, the light intensity distribution information (B2) acquired in step S311, and the light intensity distribution information (B2) acquired in step S317.
- step S320 the measurement system 1000a stores data related to the growth index in the growth information storage unit 601.
- the measurement system 1000a may also store data in a storage unit provided in an external device such as cloud computing via communication.
- Table 1 shows the numerical values for each conditional expression in each embodiment.
- the present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program.
- the present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
- each embodiment it is possible to provide a measurement device, a measurement method, and a program that can measure plant growth indexes with high accuracy.
- the NDVI value is calculated as a growth index, but this is not limited to this.
- d is a constant that represents the correlation between the NDVI value and the SPAD value.
- each embodiment is preferably performed at night. By measuring at night, it is possible to suppress blown-out highlights in the captured image due to the reflection of the sun, and it becomes easier to extract the rice leaf area with high accuracy. Note that each embodiment can be applied not only under outdoor environmental light, which is easily affected by the sun, but also under indoor environmental light.
- rice leaves are given as an example of a subject, but the present invention can be applied to other subjects.
- a spectral image of red and near-infrared light is given as an example, but the present invention can be applied to images with four or more spectral wavelengths.
- an example is given in which the imaging unit and the ambient light acquisition unit are separated, but the imaging unit and the ambient light acquisition unit may be integrated.
- image processing is performed within the plant growth index measurement system, but the calculation process may be performed on cloud computing.
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Botany (AREA)
- Forests & Forestry (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【課題】植物の生育指数を高精度に測定可能な測定装置を提供する。 【解決手段】植物の生育指数を測定する測定装置(1000)であって、撮像光学系(301)と複数の光電変換部(311)が2次元状に配置された撮像素子(303)とを有する光検出部(300)と、光検出部で取得された情報に基づいて、植物の前記生育指数を演算する演算処理部(500)とを有し、複数の光電変換部はそれぞれ、アバランシェダイオードを有し、光検出部は、第1被写体(101)としての植物からの反射光と、第2被写体(102)からの基準光を取得し、植物からの反射光を分光して、第1波長をピーク波長とした第1光量分布情報と、第2波長をピーク波長とした第2光量分布情報とを取得し、基準光から光量分布基準情報を取得し、演算処理部は、第1光量分布情報と第2光量分布情報と光量分布基準情報とに基づいて、生育指数を演算する。
Description
本発明は、測定装置、測定方法、およびプログラムに関する。
近年、農業の効率化や高品質化のため、植物の状態を把握し施肥管理を適切に行うといった取り組みが行われている。また、植物の状態を定量的に評価するため、葉色指標を推定する方法が提案されている。特許文献1には、植物により反射された光の分光測定結果から植物の生育指数を測定する測定装置が開示されている。
特許文献1に開示された測定装置は、日中の太陽光を光源としているため、太陽の高度や位置に応じて測定結果が変化する。このため、植物の生育指数の測定精度は、太陽光の入射光強度の補正値の誤差に依存する。また実際の測定では、太陽の映り込みによる撮影画像の白飛び(露出が閾値を超えて諧調がなくなり、データの取得が不可能となる現象)が発生してしまう。その結果、植物の生育指数を高精度に測定することができない。
そこで本発明は、植物の生育指数を高精度に測定可能な測定装置を提供することを目的とする。
本発明の一側面としての測定装置は、植物の生育指数を測定する測定装置であって、撮像光学系と複数の光電変換部が2次元状に配置された撮像素子とを有する光検出部と、前記光検出部で取得された情報に基づいて、前記植物の前記生育指数を演算する演算処理部とを有し、前記複数の光電変換部はそれぞれ、アバランシェダイオードを有し、前記光検出部は、第1被写体としての前記植物からの反射光と、第2被写体からの基準光を取得し、前記植物からの前記反射光を分光して、第1波長をピーク波長とした第1光量分布情報と、第2波長をピーク波長とした第2光量分布情報とを取得し、前記基準光から光量分布基準情報を取得し、前記演算処理部は、前記第1光量分布情報と前記第2光量分布情報と前記光量分布基準情報とに基づいて、前記生育指数を演算する。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、植物の生育指数を高精度に測定可能な測定装置を提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
まず、図1および図2を参照して、本実施形態における測定システム(植物生育指標測定システム)について説明する。図1および図2は、測定システムの説明図であり、光検出部(撮像装置)300を用いて、植物などの被写体100を撮影する様子を示している。図1に示される測定システムにおいて、光検出部300は、地面(固定部)105に固定され、一定位置において被写体100の画像を取得する。図2に示される測定システムにおいて、光検出部300は、ドローン等の飛行物体106に取り付けられ、一定位置において被写体100の画像を取得するように制御される。
図1および図2に示されるように、被写体100は、環境光(屋外環境光)111により照明されている。被写体(第1被写体)101は、植物などの半透明物体である。ここで植物とは、例えば複数の葉を有する水稲であるが、これに限定されるものではない。環境光111は、被写体101の内部で拡散および吸収され、反射した一部の光(反射光121)が光検出部300に到達する。本実施形態では、このような過程により反射された、所謂、拡散反射光を単に反射光と呼び、被写体100の表面で反射された正反射光とは区別する。測定システムは、光検出部300で得られた画像(光量分布情報)に基づいて、定量的に被写体101に含まれる物質(葉緑素など)の濃度を推定(測定)し、被写体101の生育指数を算出する。ここで生育指数とは、例えば、SPAD(Soil&Plant Analyzer Development)値または正規化植生指数(Normalized Difference Vegetation Index:NDVI)である。なお、生育指数の算出方法の詳細については後述する。
被写体(第2被写体)102は、基準光を取得するための装置であり、例えば反射板である。ただし本実施形態は、これに限定されるものではなく、被写体102としてカラーセンサ等を用いて基準光を取得してもよい。被写体102で反射された一部の光(正反射光122)は、光検出部300に到達する。
環境光取得部200は、被写体101の照度(反射光131)および被写体102の照度(正反射光132)を取得する装置である。
(第1実施形態)
まず、本発明の第1実施形態について説明する。図3は、本実施形態における測定システム(植物生育指標測定システム)1000のブロック図である。測定システム1000は、被写体100、環境光取得部200、光検出部300、制御部400、演算処理部500、記憶部600、表示部700、および、GPS(Global Positioning System:全地球測位網)部800を有する。少なくとも光検出部300および演算処理部500により、植物の生育状況を測定する測定装置が構成される。
まず、本発明の第1実施形態について説明する。図3は、本実施形態における測定システム(植物生育指標測定システム)1000のブロック図である。測定システム1000は、被写体100、環境光取得部200、光検出部300、制御部400、演算処理部500、記憶部600、表示部700、および、GPS(Global Positioning System:全地球測位網)部800を有する。少なくとも光検出部300および演算処理部500により、植物の生育状況を測定する測定装置が構成される。
光検出部300は、光学系(撮像光学系)301、複数のカラーフィルタ(バンドパスフィルタ)302、および撮像素子303を有する。光検出部300は、制御部400に接続され、制御部400の制御に従って、測定対象の反射光を少なくとも2つの波長(第1波長および第2波長)に分光して光を検出して測定結果を取得する。光検出部300により取得された測定結果は、制御部400および演算処理部500へ出力される。
植物などの被写体101の分光反射率特性は、波長550nm付近で反射率が最大となり、波長670nn付近で反射率が最小となり、波長750nm~900nm付近の範囲においては反射率が一定となる。このため本実施形態において、好ましくは、反射率の変化に特徴がある4つの波長帯域(互いに異なるピーク波長を有する4つの波長帯域)の中から少なくとも2つの波長帯域の光を用いて測定を行う。より好ましくは、4つの波長帯域の光を用いて測定を行う。2つの波長帯域(測定波長)の光を用いて生育指数を算出することで、測定システム1000の小型化が可能である。
複数のカラーフィルタ302は、少なくとも2種類のカラーフィルタ(第1カラーフィルタおよび第2カラーフィルタ)を含み、光学系301と撮像素子303との間に配置されている。第1カラーフィルタは、赤色光のみを透過させ、第2カラーフィルタは近赤外光のみを透過させる。光検出部300は、被写体101からの反射光を第1カラーフィルタと第2カラーフィルタとで分光し、それぞれ光量分布情報(第1光量分布情報)R1と光量分布情報(第2光量分布情報)R2とを取得する。また光検出部300は、被写体102からの反射光を第1カラーフィルタと第2カラーフィルタとで分光し、それぞれ光量分布基準情報W1と光量分布基準情報W2とを取得する。
なお、複数のカラーフィルタ302が透過させる光の色は、前述の例に限定されるものではない。また、複数のカラーフィルタ302において、透過させる光の色が互いに異なっている必要はない。すなわち、複数のカラーフィルタ302は、透過させる光のピーク波長(中心波長)が互いに異なる少なくとも2種類以上のカラーフィルタを含んでいればよい。
制御部400は、測定システム1000の各部を機能に応じて制御し、生育指数を測定するための回路である。制御部400は、例えば、CPU(Central Processing Unit)および周辺回路を備えて構成される。制御部400は、光検出制御部401、環境光取得制御部402、および位置取得制御部403を有する。
演算処理部500は、補正値算出部501、画素情報算出部502、および生育指数算出部503を有する。なお、補正値算出部501による補正値算出方法、画素情報算出部502による画素情報算出方法、および生育指数算出部503による生育指数算出方法はそれぞれ、後述する。
記憶部600は、生育情報記憶部601、補正情報記憶部602、環境光記憶部603、および位置情報記憶部604を有する。生育情報記憶部601および補正情報記憶部602は、演算処理部500で算出された生育情報および補正値をそれぞれ記憶する。環境光記憶部603は、環境光取得部200で取得した環境光の光強度データを記憶する。位置情報記憶部604は、被写体102の位置(緯度X、経度Y、高度Z)を事前に記憶する。
表示部700は、演算処理部500から出力された情報を表示する。GPS800は、制御部400に接続され、制御部400の制御に従って、地球上の現在位置を測定するための衛星測位システムによって、測定システム1000の位置を測定する。GPS800の測位結果(緯度X、経度Y、高度Z)は、制御部400へ出力される。図2に示されるように測定システム1000を飛行物体106に搭載する際、連続して同じ位置で測定できるように、測位結果を用いて測定位置を制御する。時計部900は、制御部400に接続され、制御部400の制御に従って、年月日時分などの時刻を取得し、時刻を制御部400へ出力する。
次に、図4を参照して、光検出部300における撮像素子303の画素領域について説明する。図4は、撮像素子303の等価回路図の一例である。図4には、簡略化のため、第0行から第2行及び第0列から第2列に配された4個の画素部T103及び5個の信号生成部T104が示されている。複数の画素部T103の各々は、光電変換部であるアバランシェフォトダイオード(以下、APD)T201と、クエンチ素子T202と、信号処理回路T211と、選択回路T212とを含む。
APD T201に光が入射されると、光電変換により入射光に応じた電荷対が生成される。APD T201のアノードには、電圧VLが供給される。また、APD T201のカソードには、アノードに供給される電圧VLよりも高い電圧VHが供給される。APD T201のアノードとカソードには、APD T201がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。逆バイアス電圧が供給される場合の動作モードには、アノード及びカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードと、アノード及びカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるAPDをSPADと呼ぶ。
クエンチ素子T202は、電圧VHを供給する電源とAPD T201のカソードの間に接続される。クエンチ素子T202は、APD T201で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子T202は、アバランシェ増倍による信号増倍時に負荷回路(クエンチ回路)として機能し、APD T201に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ。
信号処理回路T211は、光子検出時に得られるAPD T201のカソードの電位変化をカウントする機能を有する。この機能は、例えば、信号処理回路T211が、カソードの電位変化により生じたパルスをカウントするカウンタ回路を備えることにより実現され得る。これにより、信号処理回路T211は、APD T201に入射した光子の数に応じたカウント値(第1デジタル信号)を出力することができる。信号処理回路T211は、制御線T213を介して入力される制御信号に応じてカウンタ回路の初期化等を行う。
選択回路T212は、例えば、制御線T214を介して入力される制御信号に応じて電気的な接続、非接続を制御するスイッチ、信号を線T113へ出力するためのバッファ回路等を含む。本実施形態において、画素部T103は、APD T201に入射する光子のカウント値をデジタル信号として出力する機能を有しているものとするが、これに限るものではない。信号処理回路T211は、時間-デジタル変換回路及びメモリを含んでもよい。画素部T103は、光が到達した時刻と光量を測定するための画素であってもよい。複数の信号生成部T104の各々は、信号生成回路T215及び選択回路T212を含む。
信号生成回路T215(第2信号生成部)は、所定のnビット(nは自然数)のデジタル値を有するデジタル信号(第2デジタル信号)を出力するように構成されている。信号生成回路T215は、制御線T213を介して入力される制御信号に応じて初期化等の信号生成に関する処理を行う。これらの信号は、信号出力回路を介して外部に出力される。
次に、図5を参照して、本実施形態における測定システム1000の動作(測定方法)について説明する。図5は、測定システム1000の動作を示すフローチャートである。
まずステップS101において、制御部400は、時計部900から年月日時分などの時刻を取得する。続いてステップS102において、環境光取得部200は、被写体102からの反射光に基づいて、環境光情報(照度または被写体照度)を取得する。なお環境光取得部200は、環境光情報を取得する際、被写体101からの反射光に基づいて、環境光情報(照度または被写体照度)を取得してもよい。
続いてステップS103において、制御部400は、環境光取得部200により取得された環境光情報(被写体照度)が閾値以下であるか否かを判定する。被写体照度が閾値よりも大きいと判定された場合、本フローを終了する。
一方、被写体照度が閾値以下であると判定された場合、ステップS104に進む。被写体102からの反射光に基づいて得られた環境光情報(照度)をLe(lux)、被写体101からの反射光に基づいて得られた環境光情報(照度)をLp(lux)とする。このとき本実施形態において、好ましくは、以下の条件式(1)、(2)の少なくとも1つを満足する(すなわち、閾値は1.00である)。
一方、被写体照度が閾値以下であると判定された場合、ステップS104に進む。被写体102からの反射光に基づいて得られた環境光情報(照度)をLe(lux)、被写体101からの反射光に基づいて得られた環境光情報(照度)をLp(lux)とする。このとき本実施形態において、好ましくは、以下の条件式(1)、(2)の少なくとも1つを満足する(すなわち、閾値は1.00である)。
Le<1.00 …(1)
Lp<1.00 …(2)
条件式(1)は、被写体102からの反射光を用いて測定した被写体102の被写体照度を規定している。条件式(1)の上限を超えると、光源の映り込みや光源による影の発生により、生育指数の推定精度が低減する。
Lp<1.00 …(2)
条件式(1)は、被写体102からの反射光を用いて測定した被写体102の被写体照度を規定している。条件式(1)の上限を超えると、光源の映り込みや光源による影の発生により、生育指数の推定精度が低減する。
より好ましくは、条件式(1)、(2)の数値範囲は、以下の条件式(1a)、(2a)のようにそれぞれ設定される。
Le<0.25 …(1a)
Lp<0.25 …(2a)
更に好ましくは、条件式(1)、(2)の数値範囲は、以下の条件式(1b)、(2b)のようにそれぞれ設定される。
Lp<0.25 …(2a)
更に好ましくは、条件式(1)、(2)の数値範囲は、以下の条件式(1b)、(2b)のようにそれぞれ設定される。
Le<0.10 …(1b)
Lp<0.10 …(2b)
なお、条件式(1)、(1a)、(1b)、(2)、(2a)、(2b)では下限値を特定していないが、光子が1つでも発生して測定することが可能であれば、環境光情報Le、Lpは0に限りなく近い値でもよい。
Lp<0.10 …(2b)
なお、条件式(1)、(1a)、(1b)、(2)、(2a)、(2b)では下限値を特定していないが、光子が1つでも発生して測定することが可能であれば、環境光情報Le、Lpは0に限りなく近い値でもよい。
続いてステップS104において、光検出部300は、2種以上の特定波長(第1波長および第2波長)の光を用いて、被写体100を撮影する(被写体100の画像を取得する)。続いてステップS105において、制御部400は、ステップS104にて取得された画像から、被写体102の撮影領域(センサ結像位置)を抽出する。ここで、被写体102の撮影領域は、位置情報記憶部604およびGPS部800により算出される。続いてステップS106において、光検出部300は、ステップS105にて得られた撮影領域に関して、光量分布基準情報W1および光量分布基準情報W2を取得する。
続いてステップS107において、制御部400は、光検出部300に入射する光量と光検出部300で検出される光量との関係性に関して線形性があるか否かを判定する。線形性がないと判定された場合、ステップS108に進む。ステップS108において、光検出部300の設定を変更し、再度、ステップS107の判定を行う。
一方、ステップS107にて線形性があると判定された場合、ステップS109に進む。本実施形態において、好ましくは、以下の条件式(3)を満足する場合に線形性があると判定される。
0.00<m/fT<1.00 …(3)
条件式(3)において、mは撮像素子303の1画素あたりの平均入射光子数、fTは撮像素子300のクロック数である。条件式(3)は、クロック数fTに対する1画素あたりの平均入射光子数mを規定している。
条件式(3)において、mは撮像素子303の1画素あたりの平均入射光子数、fTは撮像素子300のクロック数である。条件式(3)は、クロック数fTに対する1画素あたりの平均入射光子数mを規定している。
ここで、1画素あたりのカウント値nと1画素あたりの平均入射光子数mとの関係について説明する。1画素あたりのカウント値nは、平均入射光子数m、クロック数fTを用いて、以下の式(4)で定義される。
n=fT×(1-Exp(-m/fT)) …(4)
ここで、1画素あたりの平均入射光子数mは、以下の式(5)で定義される。
ここで、1画素あたりの平均入射光子数mは、以下の式(5)で定義される。
m=S×Lf×t …(5)
(Lf=(R×T/4F^2)×Le)
式(5)において、Sはセンサ感度、Lfはセンサ面照度、tは露光時間、Rは被写体の反射率、Tはレンズ透過率、FはレンズFno(F値)である。条件式(3)より、クロック数fTに対する1画素あたりの平均入射光子数mの値が小さいほど線形性を満足することができる。
(Lf=(R×T/4F^2)×Le)
式(5)において、Sはセンサ感度、Lfはセンサ面照度、tは露光時間、Rは被写体の反射率、Tはレンズ透過率、FはレンズFno(F値)である。条件式(3)より、クロック数fTに対する1画素あたりの平均入射光子数mの値が小さいほど線形性を満足することができる。
条件式(3)の上限を超えると、入射光子数に対してカウントされる値の関係が線形ではなくなるため、好ましくない。一方、条件式(3)の下限を超えると、ノイズ成分の影響により測定誤差が大きくなるため、好ましくない。なお、線形性の判定に関しては、光子数のカウントに限定されるものではなく、被写体照度と画像の輝度値から判定基準を設けてもよい。
より好ましくは、条件式(3)の数値範囲は、以下の条件式(3a)のように設定される。
0.01<m/fT<0.80 …(3a)
更に好ましくは、条件式(3)の数値範囲は、以下の条件式(3b)のように設定される。
更に好ましくは、条件式(3)の数値範囲は、以下の条件式(3b)のように設定される。
0.05<m/fT<0.50 …(3b)
また本実施形態において、好ましくは、以下の条件式(6)を満足する。
また本実施形態において、好ましくは、以下の条件式(6)を満足する。
Le<0.50 かつ 3<m<500 …(6)
条件式(6)は、被写体102からの反射光を用いて測定した被写体102の照度Leと、1画素あたりの平均入射光子数mを規定している。被写体102からの反射光を用いて測定した被写体102の照度Leが低照度であっても、検知できる光量が条件式(6)を満足することで、より高精度に生育指標を測定することができる。条件式(6)の上限を超えると、長時間露光が必要となるため好ましくない。一方、条件式(6)の下限を超えると、ノイズ成分の影響が大きくなるため好ましくない。
条件式(6)は、被写体102からの反射光を用いて測定した被写体102の照度Leと、1画素あたりの平均入射光子数mを規定している。被写体102からの反射光を用いて測定した被写体102の照度Leが低照度であっても、検知できる光量が条件式(6)を満足することで、より高精度に生育指標を測定することができる。条件式(6)の上限を超えると、長時間露光が必要となるため好ましくない。一方、条件式(6)の下限を超えると、ノイズ成分の影響が大きくなるため好ましくない。
より好ましくは、条件式(6)の数値範囲は、以下の条件式(6a)のように設定される。
Le<0.25 かつ 10<m<300 …(6a)
更に好ましくは、条件式(6)の数値範囲は、以下の条件式(6b)のように設定される。
更に好ましくは、条件式(6)の数値範囲は、以下の条件式(6b)のように設定される。
Le<0.10 かつ 100<m<250 …(6b)
ステップS109において、演算処理部500は、光量分布基準情報W1および光量分布基準情報W2に基づいて、環境光の分光特性補正係数kを求める。より具体的には、以下の式(7)で表されるように、互いに同じ画素位置(x, y)の画素ごとに、光量分布基準情報W1の画素値W1(x, y)と光量分布基準情報W2(x, y)との比を環境光の分光特性補正係数kとして求める。
ステップS109において、演算処理部500は、光量分布基準情報W1および光量分布基準情報W2に基づいて、環境光の分光特性補正係数kを求める。より具体的には、以下の式(7)で表されるように、互いに同じ画素位置(x, y)の画素ごとに、光量分布基準情報W1の画素値W1(x, y)と光量分布基準情報W2(x, y)との比を環境光の分光特性補正係数kとして求める。
これにより、光量分布情報R1と光量分布情報R2との比率が所定値になるように正規化処理が可能となる。
続いてステップS110において、演算処理部500は、被写体102である水稲の撮影領域(被写体領域)を抽出する。水稲領域の抽出方法としては、光量分布情報R1および光量分布情報R2より水稲の葉の形状を認識して、水稲領域を抽出してもよい。また、緑色光のみを透過させる第3カラーフィルタを用いて光量分布情報R3および光量分布基準情報W3を取得し、光量分布情報R1および光量分布基準情報W1を用いて水稲領域を抽出してもよい。具体的には、以下の式(8)を用いて、画素位置(x, y)での緑色光と赤色光の光量比IGRが閾値より高い領域を水稲領域として抽出すればよい。
IGR(x, y)= [R3’(x, y)-R1(x, y)]/[R3’(x, y)+R1(x, y)] …(8)
ここで、jおよびR3’は、以下の式(9)、(10)によりそれぞれ求められる。
ここで、jおよびR3’は、以下の式(9)、(10)によりそれぞれ求められる。
R3’=j×R3(x, y) …(10)
続いてステップS111において、演算処理部500は、ステップS110にて得られた撮影領域(植物の領域)に関して、光量分布情報R1および光量分布情報R2を取得する。
続いてステップS111において、演算処理部500は、ステップS110にて得られた撮影領域(植物の領域)に関して、光量分布情報R1および光量分布情報R2を取得する。
続いてステップS112において、演算処理部500は、ステップS109にて求められた分光特性補正係数kを用いて、各評価波長の反射光の光強度(光量分布情報R1、R2)の比率が所定値となるように正規化する(光量分布情報を補正する)。続いてステップS113において、演算処理部500は、補正された光量分布情報R1、R2に基づいて、各画素で植物の生育指数、例えばNDVI値を算出する。より具体的には、画素位置(x, y)での、光量分布情報R2(x, y)に、ステップS109て算出された環境光の分光特性補正係数kを乗算することで、正規化した光量分布情報R2の画素値R2’(x, y)(=k×R2(x, y))を求める。そして、以下の式(11)を用いて、互いに同じ画素位置(x, y)ごとにNDVI値を求める。
NDVI(x, y)=[R1’(x, y)-R2(x, y)]/[R1’(x, y)+R2(x, y)] …(11)
続いてステップS114において、制御部400は、得られた植物生育指標に関するデータを生育情報記憶部601に保存する。また制御部400は、通信によりクラウドコンピューティングなどの外部装置に設けられた記憶部にデータを保存してもよい。
続いてステップS114において、制御部400は、得られた植物生育指標に関するデータを生育情報記憶部601に保存する。また制御部400は、通信によりクラウドコンピューティングなどの外部装置に設けられた記憶部にデータを保存してもよい。
本実施形態において、好ましくは、光検出部300により分光された光のうち第1波長をλ1(nm)、第2波長をλ2(nm)とするとき、以下の条件式(12)、(13)を満足する。
600<λ1<750 …(12)
750<λ2<1200 …(13)
本実施形態によれば、太陽光の入射光強度による影響が少なく、植物の生育指数の算出精度を高めることができる。
750<λ2<1200 …(13)
本実施形態によれば、太陽光の入射光強度による影響が少なく、植物の生育指数の算出精度を高めることができる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。図6は、本実施形態における測定システム(植物生育指標測定システム)1000aのブロック図である。本実施形態の測定システム1000aは、光検出部300aおよび制御部400aを有する点で、光検出部300および制御部300を有する第1実施形態の測定システム1000と異なる。なお、本実施形態の測定システム1000aの他の構成は、第1実施形態の測定システム1000と同様であるため、その説明を省略する。
次に、本発明の第2実施形態について説明する。図6は、本実施形態における測定システム(植物生育指標測定システム)1000aのブロック図である。本実施形態の測定システム1000aは、光検出部300aおよび制御部400aを有する点で、光検出部300および制御部300を有する第1実施形態の測定システム1000と異なる。なお、本実施形態の測定システム1000aの他の構成は、第1実施形態の測定システム1000と同様であるため、その説明を省略する。
光検出部300aは、光学系301よりも被写体側(被写体100と光学系301との間)に複数のカラーフィルタ(バンドパスフィルタ)305を有する。制御部400aは、制御部400の各部に加えて、複数のカラーフィルタ305を切り替えるフィルタ制御部404を有する。複数のカラーフィルタ305は、少なくとも2種類のカラーフィルタ(第1カラーフィルタおよび第2カラーフィルタ)を有する。第1カラーフィルタは赤色光のみを透過させ、第2カラーフィルタは近赤外光のみを透過させる。被写体101からの反射光を第1カラーフィルタと第2カラーフィルタとで分光し、それぞれ光量分布情報R1と光量分布情報R2とを取得する。また、被写体102からの反射光を第1カラーフィルタと第2カラーフィルタとで分光し、それぞれ光量分布基準情報W1と光量分布基準情報W2とを取得する。
なお、複数のカラーフィルタ305が透過させる光の色は、前述の例に限定されるものではない。また、複数のカラーフィルタ305において、透過させる光の色が互いに異なっている必要はない。すなわち、複数のカラーフィルタ300は透過させる光のピーク波長が互いに異なる少なくとも2種類以上のカラーフィルタを含んでいればよい。なお複数のカラーフィルタ305は、第1カラーフィルタおよび第2カラーフィルタに加えて、第3カラーフィルタを有していてもよい。第3カラーフィルタは、例えば緑色光のみを透過させる。これにより、水稲の葉の領域を高精度で抽出することが容易となる。
次に、図7を参照して、本実施形態における測定システム1000aの動作(測定方法)について説明する。図7は、測定システム1000aの動作を示すフローチャートである。
まずステップS301において、測定システム1000aは時刻を取得する。続いてステップS302において、測定システム1000aは、環境光情報を取得する。続いてステップS303において、測定システム1000aは、環境光情報(被写体照度)が閾値以下であるか否かを判定する。被写体照度が閾値よりも大きいと判定された場合、本フローを終了する。一方、被写体照度が閾値以下であると判定された場合、ステップS304に進む。
ステップS304において、測定システム1000aは、第1カラーフィルタをセットする。続いてステップS305において、測定システム1000aは、植物の画像と基準光算出用被写体の画像とを同時に取得する。続いてステップS306において、測定システム1000aは、基準光算出用被写体の領域を抽出する。続いてステップS307において、測定システム1000aは、基準光算出用被写体の光量分布情報(A1)を取得する。続いてステップS308において、測定システム1000aは、線形性があるか否かを判定する。線形性がないと判定された場合、ステップS309に進む。ステップS309において、測定システム1000aは、光検出部300aの設定を変更し、再度、ステップS308の判定を行う。一方、線形性があると判定された場合、ステップS310に進む。
ステップS310において、測定システム1000aは、取得画像から植物の領域を抽出する。続いてステップS311において、測定システム1000aは、植物の反射光に基づく光量分布情報(B1)を取得する。続いてステップS312において、測定システム1000aは、第2カラーフィルタをセットする。続いてステップS313において、測定システム1000aは、植物の画像と基準光算出用被写体の画像とを同時に取得する。続いてステップS314において、測定システム1000aは、基準光算出用被写体の領域を抽出する。続いてステップS315において、測定システム1000aは、基準光算出用被写体の光量分布情報(A2)を取得する。続いてステップS316において、測定システム1000aは、取得画像から植物の領域を抽出する。続いてステップS317において、測定システム1000aは、植物の反射光に基づく光量分布情報(B2)を取得する。
続いてステップS318において、測定システム1000aは、ステップS307にて取得した光量分布情報(A1)と、ステップS315にて取得した光量分布情報(A2)とを用いて、補正値(補正係数)を算出する。続いてステップS319において、測定システム1000aは、ステップS318にて算出された補正値、ステップS311にて取得した光量分布情報(B2)、および、ステップS317にて取得した光量分布情報(B2)を用いて、植物の生育指数(生育情報)を算出する。続いてステップS320において、測定システム1000aは、生育指数に関するデータを生育情報記憶部601に保存する。また測定システム1000aは、通信によりクラウドコンピューティングなどの外部装置に設けられた記憶部にデータを保存してもよい。
表1は、各実施形態における各条件式に関する数値を示す。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施形態によれば、植物の生育指数を高精度に測定可能な測定装置、測定方法、およびプログラムを提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で様々な変形及び変更が可能である。
例えば、各実施形態では、生育指標としてNDVI値を求めたが、これに限定されるものではない。例えば、SPAD値(=d×NDVI(x, y))から求めてもよい。ここでdはNDVI値とSPAD値との相関関係を表す定数である。また各実施形態は夜間に実施されることが好ましい。夜間に測定することで、太陽の映り込みによる撮影画像の白飛びを抑制し、水稲の葉の領域を高精度で抽出することが容易となる。なお各実施形態は、太陽の影響を受けやすい屋外環境光下だけでなく、屋内環境光下でも適用可能である。
また、各実施形態では被写体として水稲の葉を例に挙げたが、その他の被写体にも適用可能である。また、各実施形態では赤色色と近赤外光の分光画像を例に挙げたが、分光波長数は4以上の画像にも適用可能である。また、各実施形態では、撮像部と環境光取得部とが分離された例を挙げたが、撮像部と環境光取得部とが一体となっていてもよい。また各実施形態では画像処理を植物生育指数測定システム内で実行する例を挙げたが、算出処理をクラウドコンピューティング上で実行してもよい。
Claims (18)
- 植物の生育指数を測定する測定装置であって、
撮像光学系と複数の光電変換部が2次元状に配置された撮像素子とを有する光検出部と、
前記光検出部で取得された情報に基づいて、前記植物の前記生育指数を演算する演算処理部と、を有し、
前記複数の光電変換部はそれぞれ、アバランシェダイオードを有し、
前記光検出部は、
第1被写体としての前記植物からの反射光と、第2被写体からの基準光を取得し、
前記植物からの前記反射光を分光して、第1波長をピーク波長とした第1光量分布情報と、第2波長をピーク波長とした第2光量分布情報とを取得し、
前記基準光から光量分布基準情報を取得し、
前記演算処理部は、前記第1光量分布情報と前記第2光量分布情報と前記光量分布基準情報とに基づいて、前記生育指数を演算することを特徴とする測定装置。 - 前記演算処理部は、
前記光量分布基準情報に基づいて、前記第1光量分布情報と前記第2光量分布情報とを補正して補正値を算出する補正値算出部と、
前記補正値に基づいて、前記植物の葉の領域に対応する画素情報を算出する画素情報算出部と、
前記画素情報に基づいて、前記撮像素子の画素ごとに前記生育指数を演算する生育指数算出部とを有することを特徴とする請求項1に記載の測定装置。 - 前記第1光量分布情報と前記第2光量分布情報はそれぞれ、前記撮像素子の画素ごとの輝度値を含むことを特徴とする請求項1または2に記載の測定装置。
- 前記第2被写体の照度を取得する環境光取得部を更に有し、
前記第2被写体の照度をLe(lux)とするとき、
Le<1.00
なる条件式を満足することを特徴とする請求項1乃至3のいずれか一項に記載の測定装置。 - 前記植物の照度を取得する環境光取得部を更に有し、
前記植物の照度をLp(lux)とするとき、
Lp<1.00
なる条件式を満足することを特徴とする請求項1乃至4のいずれか一項に記載の測定装置。 - 前記第2被写体は、反射板であることを特徴とする請求項1乃至5のいずれか一項に記載の測定装置。
- 前記撮像素子は、
前記光電変換部に入射する光子の数をカウントするカウンタと、
前記光電変換部による光検出の開始を制御する制御部とを有し、
前記制御部は、前記光電変換部と前記カウントとの間に設けられているスイッチまたは論理回路であることを特徴とする請求項1乃至6のいずれか一項に記載の測定装置。 - 前記撮像素子の1画素あたりの平均入射光子数をm、クロック数をfTとするとき、
0.00<m/fT<1.00
なる条件式を満足することを特徴とする請求項1乃至7のいずれか一項に記載の測定装置。 - 前記植物の照度を取得する環境光取得部を更に有し、
前記植物の照度をLp(lux)、前記撮像素子の1画素あたりの平均入射光子数をmとするとき、
Lp<0.5
3<m<500
なる条件式を満足することを特徴とする請求項1乃至8のいずれか一項に記載の測定装置。 - 前記光検出部は、透過率がピークとなる波長が互いに異なる第1カラーフィルタと第2カラーフィルタとを有し、
前記第1カラーフィルタを透過した光により前記第1光量分布情報が取得され、
前記第2カラーフィルタを透過した光により前記第2光量分布情報が取得されることを特徴とする請求項1乃至9のいずれか一項に記載の測定装置。 - 前記第1カラーフィルタと前記第2カラーフィルタは、前記撮像光学系と前記撮像素子との間に配置されていることを特徴とする請求項10に記載の測定装置。
- 前記第1カラーフィルタと前記第2カラーフィルタは、前記植物と前記撮像光学系との間に配置されていることを特徴とする請求項10に記載の測定装置。
- 前記第1カラーフィルタと前記第2カラーフィルタとを切り替えるフィルタ制御部を更に有することを特徴とする請求項12に記載の測定装置。
- 前記第1波長をλ1(nm)、前記第2波長をλ2(nm)とするとき、
600<λ1<750
750<λ2<1200
なる条件式を満足することを特徴とする請求項1乃至13のいずれか一項に記載の測定装置。 - 前記光検出部は、屋外環境光下で前記植物からの前記反射光を取得することを特徴とする請求項1乃至14のいずれか一項に記載の測定装置。
- 前記光検出部は、夜間に前記植物からの前記反射光を取得することを特徴とする請求項1乃至15のいずれか一項に記載の測定装置。
- 植物の生育指数を測定する測定方法であって、
撮像光学系と、アバランシェフォトダイオードをそれぞれ有する複数の光電変換部が2次元状に配置された撮像素子とを有する光検出部を用いて、第1被写体としての前記植物からの反射光と、第2被写体からの基準光を取得するステップと、
前記光検出部を用いて、前記植物からの前記反射光を分光して、第1波長をピーク波長とした第1光量分布情報と、第2波長をピーク波長とした第2光量分布情報とを取得するステップと、
前記光検出部を用いて、前記基準光から光量分布基準情報を取得するステップと、
前記第1光量分布情報と前記第2光量分布情報と前記光量分布基準情報とに基づいて、前記生育指数を演算するステップと、を有することを特徴とする測定方法。 - 請求項17に記載の測定方法をコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-152565 | 2022-09-26 | ||
JP2022152565A JP2024047123A (ja) | 2022-09-26 | 2022-09-26 | 測定装置、測定方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024070120A1 true WO2024070120A1 (ja) | 2024-04-04 |
Family
ID=90476955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/025088 WO2024070120A1 (ja) | 2022-09-26 | 2023-07-06 | 測定装置、測定方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024047123A (ja) |
WO (1) | WO2024070120A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317195A (ja) * | 2005-05-10 | 2006-11-24 | National Agriculture & Food Research Organization | 植物の生育度測定装置 |
JP2017011459A (ja) * | 2015-06-19 | 2017-01-12 | パナソニックIpマネジメント株式会社 | 撮像装置及び画像処理方法 |
JP2020027033A (ja) * | 2018-08-10 | 2020-02-20 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2020198601A (ja) * | 2019-06-05 | 2020-12-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2022021296A (ja) * | 2020-07-21 | 2022-02-02 | キヤノン株式会社 | 光検出システム |
-
2022
- 2022-09-26 JP JP2022152565A patent/JP2024047123A/ja active Pending
-
2023
- 2023-07-06 WO PCT/JP2023/025088 patent/WO2024070120A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006317195A (ja) * | 2005-05-10 | 2006-11-24 | National Agriculture & Food Research Organization | 植物の生育度測定装置 |
JP2017011459A (ja) * | 2015-06-19 | 2017-01-12 | パナソニックIpマネジメント株式会社 | 撮像装置及び画像処理方法 |
JP2020027033A (ja) * | 2018-08-10 | 2020-02-20 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2020198601A (ja) * | 2019-06-05 | 2020-12-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2022021296A (ja) * | 2020-07-21 | 2022-02-02 | キヤノン株式会社 | 光検出システム |
Also Published As
Publication number | Publication date |
---|---|
JP2024047123A (ja) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kornilov et al. | Combined MASS–DIMM instruments for atmospheric turbulence studies | |
Fitzgerald | Characterizing vegetation indices derived from active and passive sensors | |
US8391565B2 (en) | System and method of determining nitrogen levels from a digital image | |
US20060290933A1 (en) | System and method for monitoring plant conditions | |
JP6764577B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6662570B2 (ja) | 植物情報取得システム、植物情報取得装置および植物情報取得方法 | |
US20180188160A1 (en) | Inspection apparatus, inspection method, and program | |
Lin et al. | Fluorescence Scheimpflug LiDAR developed for the three-dimension profiling of plants | |
CN113175956A (zh) | 一种作物长势监测的多光谱及光学相机传感器装置 | |
CN108061600B (zh) | 一种小型化光谱成像系统及成像方法 | |
CN102997995B (zh) | 一种波长和光谱能量自动校准的便携式分光色彩照度计 | |
JP2008076346A (ja) | 植物の生育度測定装置及び生育度測定方法 | |
US10969275B2 (en) | On-chip spectrometer employing pixel-count-modulated spectral channels and method of manufacturing the same | |
WO2024070120A1 (ja) | 測定装置、測定方法、およびプログラム | |
CN201611279U (zh) | 一种亮度测量装置 | |
JP2001045868A (ja) | 作物の診断方法 | |
CN103968943B (zh) | 一种光纤光谱仪信噪比的精确测量方法 | |
JP2001045867A (ja) | 作物の診断方法 | |
US5149182A (en) | Optical filter for an optical measurement instrument | |
Zhang et al. | Analysis of vegetation indices derived from aerial multispectral and ground hyperspectral data | |
US10768097B2 (en) | Analyzer, image capturing apparatus that acquires color information, analyzing method, and storage medium | |
Davis et al. | Calibration, characterization, and first results with the Ocean PHILLS hyperspectral imager | |
Liu | The development of a portable spectrophotometer for noncontact color measurement | |
WO2016065856A1 (zh) | 一种基于滤光单元的光辐射测量方法及其装置 | |
US6713764B2 (en) | Field based spectral radiometer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23871364 Country of ref document: EP Kind code of ref document: A1 |