WO2024070120A1 - 測定装置、測定方法、およびプログラム - Google Patents

測定装置、測定方法、およびプログラム Download PDF

Info

Publication number
WO2024070120A1
WO2024070120A1 PCT/JP2023/025088 JP2023025088W WO2024070120A1 WO 2024070120 A1 WO2024070120 A1 WO 2024070120A1 JP 2023025088 W JP2023025088 W JP 2023025088W WO 2024070120 A1 WO2024070120 A1 WO 2024070120A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
plant
information
distribution information
unit
Prior art date
Application number
PCT/JP2023/025088
Other languages
English (en)
French (fr)
Inventor
加奈 小林
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2024070120A1 publication Critical patent/WO2024070120A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light

Definitions

  • the present invention relates to a measurement device, a measurement method, and a program.
  • Patent Document 1 discloses a measuring device that measures a plant growth index from the results of spectroscopic measurement of light reflected by the plant.
  • the measuring device disclosed in Patent Document 1 uses daytime sunlight as a light source, so the measurement results change depending on the altitude and position of the sun. For this reason, the measurement accuracy of the plant growth index depends on the error in the correction value of the incident light intensity of the sunlight. Also, in actual measurements, the sun's reflection causes the captured image to be blown out (a phenomenon in which the exposure exceeds a threshold, causing a loss of gradation and making it impossible to obtain data). As a result, the plant growth index cannot be measured with high accuracy.
  • the present invention aims to provide a measuring device that can measure plant growth indexes with high accuracy.
  • a measuring device is a measuring device for measuring a growth index of a plant, and includes a light detection unit having an imaging optical system and an imaging element in which multiple photoelectric conversion units are arranged two-dimensionally, and a calculation processing unit that calculates the growth index of the plant based on information acquired by the light detection unit, and each of the multiple photoelectric conversion units has an avalanche diode, and the light detection unit acquires reflected light from the plant as a first subject and reference light from a second subject, and disperses the reflected light from the plant to acquire first light intensity distribution information with a first wavelength as a peak wavelength and second light intensity distribution information with a second wavelength as a peak wavelength, and acquires light intensity distribution reference information from the reference light, and the calculation processing unit calculates the growth index based on the first light intensity distribution information, the second light intensity distribution information, and the light intensity distribution reference information.
  • the present invention provides a measuring device that can measure plant growth indexes with high accuracy.
  • FIG. 2 is an explanatory diagram of a measurement system in each embodiment.
  • FIG. 2 is an explanatory diagram of a measurement system in each embodiment.
  • FIG. 1 is a block diagram of a measurement system according to a first embodiment.
  • 3 is a configuration diagram of a pixel region of a light detection unit in the first embodiment.
  • FIG. 4 is a flowchart showing the operation of the measurement system in the first embodiment.
  • FIG. 11 is a block diagram of a measurement system according to a second embodiment. 10 is a flowchart showing the operation of a measurement system in a second embodiment.
  • Figures 1 and 2 are explanatory diagrams of the measurement system, and show how a subject 100, such as a plant, is photographed using a light detection unit (imaging device) 300.
  • the light detection unit 300 is fixed to the ground (fixed unit) 105, and acquires an image of the subject 100 at a fixed position.
  • the light detection unit 300 is attached to a flying object 106, such as a drone, and is controlled to acquire an image of the subject 100 at a fixed position.
  • the subject 100 is illuminated by ambient light (outdoor ambient light) 111.
  • the subject (first subject) 101 is a translucent object such as a plant.
  • the plant is, for example, a rice plant having multiple leaves, but is not limited to this.
  • the ambient light 111 is diffused and absorbed inside the subject 101, and a portion of the reflected light (reflected light 121) reaches the light detection unit 300.
  • the so-called diffuse reflected light reflected by such a process is simply called reflected light, and is distinguished from the specular reflected light reflected by the surface of the subject 100.
  • the measurement system quantitatively estimates (measures) the concentration of a substance (such as chlorophyll) contained in the subject 101 based on the image (light quantity distribution information) obtained by the light detection unit 300, and calculates the growth index of the subject 101.
  • the growth index here is, for example, the Soil & Plant Analyzer Development (SPAD) value or the Normalized Difference Vegetation Index (NDVI). Details of the method for calculating the growth index will be described later.
  • the subject (second subject) 102 is a device for acquiring the reference light, for example a reflector.
  • the reference light may be acquired using a color sensor or the like as the subject 102.
  • a portion of the light reflected by the subject 102 (specularly reflected light 122) reaches the light detection unit 300.
  • the ambient light acquisition unit 200 is a device that acquires the illuminance of the subject 101 (reflected light 131) and the illuminance of the subject 102 (specularly reflected light 132).
  • Fig. 3 is a block diagram of a measurement system (plant growth index measurement system) 1000 in this embodiment.
  • the measurement system 1000 has a subject 100, an ambient light acquisition unit 200, a light detection unit 300, a control unit 400, a calculation processing unit 500, a storage unit 600, a display unit 700, and a GPS (Global Positioning System) unit 800.
  • At least the light detection unit 300 and the calculation processing unit 500 constitute a measurement device that measures the growth status of a plant.
  • the light detection unit 300 has an optical system (imaging optical system) 301, multiple color filters (bandpass filters) 302, and an image sensor 303.
  • the light detection unit 300 is connected to the control unit 400, and according to the control of the control unit 400, disperses the reflected light of the measurement object into at least two wavelengths (a first wavelength and a second wavelength), detects the light, and obtains a measurement result.
  • the measurement result obtained by the light detection unit 300 is output to the control unit 400 and the calculation processing unit 500.
  • the spectral reflectance characteristics of the subject 101 are such that the reflectance is maximum near a wavelength of 550 nm, the reflectance is minimum near a wavelength of 670 nm, and the reflectance is constant in the range of wavelengths from 750 nm to 900 nm.
  • the measurement is preferably performed using light in at least two wavelength bands out of four wavelength bands (four wavelength bands with different peak wavelengths) that have characteristic changes in reflectance. More preferably, the measurement is performed using light in four wavelength bands.
  • the multiple color filters 302 include at least two types of color filters (a first color filter and a second color filter) and are arranged between the optical system 301 and the image sensor 303.
  • the first color filter transmits only red light
  • the second color filter transmits only near-infrared light.
  • the light detection unit 300 separates the reflected light from the subject 101 using the first and second color filters, and obtains light quantity distribution information (first light quantity distribution information) R1 and light quantity distribution information (second light quantity distribution information) R2, respectively.
  • the light detection unit 300 also separates the reflected light from the subject 102 using the first and second color filters, and obtains light quantity distribution reference information W1 and light quantity distribution reference information W2, respectively.
  • the colors of light transmitted by the multiple color filters 302 are not limited to the above-mentioned examples. Furthermore, the colors of light transmitted by the multiple color filters 302 do not need to be different from each other. In other words, it is sufficient that the multiple color filters 302 include at least two or more types of color filters that transmit light with different peak wavelengths (center wavelengths).
  • the control unit 400 is a circuit for controlling each part of the measurement system 1000 according to its function and measuring the growth index.
  • the control unit 400 is configured with, for example, a CPU (Central Processing Unit) and peripheral circuits.
  • the control unit 400 has a light detection control unit 401, an ambient light acquisition control unit 402, and a position acquisition control unit 403.
  • the calculation processing unit 500 has a correction value calculation unit 501, a pixel information calculation unit 502, and a growth index calculation unit 503.
  • the correction value calculation method by the correction value calculation unit 501, the pixel information calculation method by the pixel information calculation unit 502, and the growth index calculation method by the growth index calculation unit 503 will each be described later.
  • the storage unit 600 has a growth information storage unit 601, a correction information storage unit 602, an ambient light storage unit 603, and a position information storage unit 604.
  • the growth information storage unit 601 and the correction information storage unit 602 respectively store the growth information and correction values calculated by the calculation processing unit 500.
  • the ambient light storage unit 603 stores the light intensity data of the ambient light acquired by the ambient light acquisition unit 200.
  • the position information storage unit 604 stores the position (latitude X, longitude Y, altitude Z) of the subject 102 in advance.
  • the display unit 700 displays the information output from the calculation processing unit 500.
  • the GPS 800 is connected to the control unit 400, and measures the position of the measurement system 1000 using a satellite positioning system for measuring the current position on Earth according to the control of the control unit 400.
  • the positioning results of the GPS 800 (latitude X, longitude Y, altitude Z) are output to the control unit 400.
  • the measurement position is controlled using the positioning results so that measurements can be made continuously at the same position.
  • the clock unit 900 is connected to the control unit 400, and according to the control of the control unit 400, acquires the time such as the year, month, day, hour, minute, etc., and outputs the time to the control unit 400.
  • FIG. 4 is an example of an equivalent circuit diagram of the image sensor 303.
  • FIG. 4 shows four pixel units T103 and five signal generation units T104 arranged from the 0th row to the 2nd row and the 0th column to the 2nd column.
  • Each of the multiple pixel units T103 includes an avalanche photodiode (hereinafter, APD) T201, which is a photoelectric conversion unit, a quench element T202, a signal processing circuit T211, and a selection circuit T212.
  • APD avalanche photodiode
  • a voltage VL is supplied to the anode of the APD T201.
  • a voltage VH higher than the voltage VL supplied to the anode is supplied to the cathode of the APD T201.
  • a reverse bias voltage is supplied to the anode and cathode of the APD T201 so that the APD T201 performs avalanche multiplication. With this voltage supplied, the charges generated by the incident light undergo avalanche multiplication, generating an avalanche current.
  • Geiger mode in which the anode and cathode are operated with a potential difference greater than the breakdown voltage
  • linear mode in which the anode and cathode are operated with a potential difference close to or less than the breakdown voltage.
  • An APD operated in Geiger mode is called a SPAD.
  • the quench element T202 is connected between the power supply that supplies the voltage VH and the cathode of the APD T201.
  • the quench element T202 has the function of converting the change in avalanche current that occurs in the APD T201 into a voltage signal.
  • the quench element T202 functions as a load circuit (quench circuit) during signal multiplication by avalanche multiplication, and suppresses the voltage supplied to the APD T201, thereby suppressing avalanche multiplication.
  • the signal processing circuit T211 has the function of counting the potential change of the cathode of the APD T201 obtained when a photon is detected. This function can be realized, for example, by the signal processing circuit T211 being equipped with a counter circuit that counts pulses generated by the potential change of the cathode. This allows the signal processing circuit T211 to output a count value (first digital signal) corresponding to the number of photons incident on the APD T201.
  • the signal processing circuit T211 initializes the counter circuit according to a control signal input via the control line T213.
  • the selection circuit T212 includes, for example, a switch that controls electrical connection/disconnection in response to a control signal input via a control line T214, a buffer circuit for outputting a signal to the line T113, etc.
  • the pixel unit T103 has a function of outputting the count value of photons incident on the APD T201 as a digital signal, but is not limited to this.
  • the signal processing circuit T211 may include a time-to-digital conversion circuit and a memory.
  • the pixel unit T103 may be a pixel for measuring the time when light arrives and the amount of light.
  • Each of the multiple signal generation units T104 includes a signal generation circuit T215 and a selection circuit T212.
  • the signal generation circuit T215 (second signal generation unit) is configured to output a digital signal (second digital signal) having a digital value of a predetermined n bits (n is a natural number).
  • the signal generation circuit T215 performs processes related to signal generation such as initialization in response to a control signal input via the control line T213. These signals are output to the outside via the signal output circuit.
  • FIG. 5 is a flowchart showing the operation of the measurement system 1000.
  • step S101 the control unit 400 acquires the time, such as the year, month, day, hour, and minute, from the clock unit 900.
  • step S102 the ambient light acquisition unit 200 acquires ambient light information (illuminance or subject illuminance) based on the light reflected from the subject 102. Note that when acquiring the ambient light information, the ambient light acquisition unit 200 may also acquire the ambient light information (illuminance or subject illuminance) based on the light reflected from the subject 101.
  • step S103 the control unit 400 determines whether or not the ambient light information (subject illuminance) acquired by the ambient light acquisition unit 200 is equal to or less than a threshold value. If it is determined that the subject illuminance is greater than the threshold value, this flow ends. On the other hand, if it is determined that the subject illuminance is equal to or lower than the threshold, the process proceeds to step S104.
  • the ambient light information (illuminance) obtained based on the reflected light from the subject 102 is Le (lux)
  • the ambient light information (illuminance) obtained based on the reflected light from the subject 101 is Lp (lux).
  • at least one of the following conditional expressions (1) and (2) is preferably satisfied (i.e., the threshold is 1.00).
  • Conditional expression (1) specifies the subject illuminance of the subject 102 measured using reflected light from the subject 102. If the upper limit of conditional expression (1) is exceeded, the estimation accuracy of the growth index decreases due to reflection of the light source or the generation of a shadow by the light source.
  • conditional expressions (1) and (2) are set as shown in the following conditional expressions (1a) and (2a), respectively.
  • the ambient light information Le and Lp may be a value that is infinitesimally close to 0.
  • step S104 the light detection unit 300 captures an image of the subject 100 (obtains an image of the subject 100) using light of two or more specific wavelengths (first and second wavelengths).
  • step S105 the control unit 400 extracts the shooting area (sensor imaging position) of the subject 102 from the image acquired in step S104.
  • the shooting area of the subject 102 is calculated by the position information storage unit 604 and the GPS unit 800.
  • step S106 the light detection unit 300 acquires light quantity distribution reference information W1 and light quantity distribution reference information W2 for the shooting area obtained in step S105.
  • step S107 the control unit 400 determines whether or not there is linearity in the relationship between the amount of light incident on the light detection unit 300 and the amount of light detected by the light detection unit 300. If it is determined that there is no linearity, the process proceeds to step S108. In step S108, the settings of the light detection unit 300 are changed, and the determination in step S107 is performed again.
  • step S107 if it is determined in step S107 that linearity exists, the process proceeds to step S109.
  • conditional expression (3) m is the average number of incident photons per pixel of the image sensor 303, and f is the clock count of the image sensor 300.
  • Conditional expression (3) defines the average number of incident photons m per pixel with respect to the clock count f.
  • the count value n per pixel is defined by the following formula (4) using the average number of incident photons m and the clock count fT.
  • n fT ⁇ (1 - Exp (-m / fT)) ... (4)
  • the average number m of incident photons per pixel is defined by the following equation (5).
  • conditional formula (3) If the upper limit of conditional formula (3) is exceeded, the relationship between the number of incident photons and the counted value will no longer be linear, which is undesirable. On the other hand, if the lower limit of conditional formula (3) is exceeded, the measurement error will increase due to the influence of noise components, which is also undesirable. Note that the determination of linearity is not limited to counting the number of photons, and the determination criteria may be set based on the illuminance of the subject and the luminance value of the image.
  • conditional formula (3) is set as shown in the following conditional formula (3a).
  • conditional expression (3) is set as in the following conditional expression (3b).
  • Conditional formula (6) specifies the illuminance Le of the subject 102 measured using reflected light from the subject 102 and the average number m of incident photons per pixel. Even if the illuminance Le of the subject 102 measured using reflected light from the subject 102 is low, the amount of detectable light satisfies conditional formula (6), so that the growth index can be measured with higher accuracy. Exceeding the upper limit of conditional formula (6) is undesirable because long-term exposure is required. On the other hand, exceeding the lower limit of conditional formula (6) is undesirable because the influence of noise components becomes large.
  • conditional formula (6) is set as shown in the following conditional formula (6a).
  • conditional expression (6) Le ⁇ 0.25 and 10 ⁇ m ⁇ 300 ... (6a) More preferably, the numerical range of conditional expression (6) is set as in the following conditional expression (6b).
  • step S109 the calculation processing unit 500 calculates a correction coefficient k of the spectral characteristics of the ambient light based on the light intensity distribution reference information W1 and the light intensity distribution reference information W2. More specifically, as expressed by the following formula (7), for each pixel at the same pixel position (x, y), the ratio between the pixel value W1(x, y) of the light intensity distribution reference information W1 and the light intensity distribution reference information W2(x, y) is calculated as the correction coefficient k of the spectral characteristics of the ambient light.
  • the calculation processing unit 500 extracts the photographed area (subject area) of the rice plant, which is the subject 102.
  • the rice plant area may be extracted by recognizing the shape of the rice plant leaves from the light intensity distribution information R1 and the light intensity distribution information R2.
  • the light intensity distribution information R3 and the light intensity distribution reference information W3 may be obtained using a third color filter that transmits only green light, and the rice plant area may be extracted using the light intensity distribution information R1 and the light intensity distribution reference information W1.
  • the following formula (8) may be used to extract the area where the light intensity ratio IGR of green light to red light at pixel position (x, y) is higher than a threshold value as the rice plant area.
  • IGR(x,y) [R3'(x,y)-R1(x,y)]/[R3'(x,y)+R1(x,y)]...(8)
  • j and R3' are calculated by the following formulas (9) and (10), respectively.
  • step S111 the calculation processing unit 500 acquires light quantity distribution information R1 and light quantity distribution information R2 for the photographed area (the area of the plant) obtained in step S110.
  • step S112 the calculation processing unit 500 normalizes the ratio of the light intensity (light intensity distribution information R1, R2) of the reflected light of each evaluation wavelength to a predetermined value using the spectral characteristic correction coefficient k calculated in step S109 (corrects the light intensity distribution information).
  • step S113 the calculation processing unit 500 calculates a plant growth index, for example, an NDVI value, for each pixel based on the corrected light intensity distribution information R1, R2.
  • step S114 the control unit 400 stores the obtained data on the plant growth index in the growth information storage unit 601.
  • the control unit 400 may also store the data in a storage unit provided in an external device such as a cloud computing device via communication.
  • the first wavelength of the light dispersed by the light detection unit 300 is ⁇ 1 (nm) and the second wavelength is ⁇ 2 (nm)
  • the following conditional expressions (12) and (13) are satisfied.
  • the influence of the incident light intensity of sunlight is small, and the calculation accuracy of the plant growth index can be improved.
  • Fig. 6 is a block diagram of a measurement system (plant growth index measurement system) 1000a in this embodiment.
  • the measurement system 1000a of this embodiment is different from the measurement system 1000 of the first embodiment having a light detection unit 300 and a control unit 300 in that the measurement system 1000a of this embodiment has a light detection unit 300a and a control unit 400a.
  • Note that other configurations of the measurement system 1000a of this embodiment are similar to those of the measurement system 1000 of the first embodiment, so that the description thereof will be omitted.
  • the light detection unit 300a has multiple color filters (bandpass filters) 305 on the subject side (between the subject 100 and the optical system 301) of the optical system 301.
  • the control unit 400a has a filter control unit 404 that switches between the multiple color filters 305.
  • the multiple color filters 305 have at least two types of color filters (a first color filter and a second color filter).
  • the first color filter transmits only red light
  • the second color filter transmits only near-infrared light.
  • the reflected light from the subject 101 is split by the first color filter and the second color filter, and light quantity distribution information R1 and light quantity distribution information R2 are obtained, respectively.
  • the reflected light from the subject 102 is split by the first color filter and the second color filter, and light quantity distribution reference information W1 and light quantity distribution reference information W2 are obtained, respectively.
  • the color of light transmitted by the multiple color filters 305 is not limited to the above example.
  • the colors of light transmitted by the multiple color filters 305 do not need to be different from each other.
  • the multiple color filters 300 need only include at least two types of color filters that transmit light with different peak wavelengths.
  • the multiple color filters 305 may have a third color filter in addition to the first and second color filters.
  • the third color filter transmits, for example, only green light. This makes it easier to extract the rice leaf area with high accuracy.
  • FIG. 7 is a flowchart showing the operation of the measurement system 1000a.
  • step S301 the measurement system 1000a acquires the time. Then, in step S302, the measurement system 1000a acquires ambient light information. Then, in step S303, the measurement system 1000a determines whether the ambient light information (subject illuminance) is equal to or less than a threshold. If it is determined that the subject illuminance is greater than the threshold, this flow ends. On the other hand, if it is determined that the subject illuminance is equal to or less than the threshold, the process proceeds to step S304.
  • the ambient light information subject illuminance
  • step S304 the measurement system 1000a sets the first color filter.
  • step S305 the measurement system 1000a simultaneously acquires an image of the plant and an image of the subject for calculating the reference light.
  • step S306 the measurement system 1000a extracts the area of the subject for calculating the reference light.
  • step S307 the measurement system 1000a acquires light intensity distribution information (A1) of the subject for calculating the reference light.
  • step S308 the measurement system 1000a determines whether or not there is linearity. If it is determined that there is no linearity, the process proceeds to step S309.
  • step S309 the measurement system 1000a changes the settings of the light detection unit 300a and performs the determination of step S308 again. On the other hand, if it is determined that there is linearity, the process proceeds to step S310.
  • step S310 the measurement system 1000a extracts the plant area from the acquired image.
  • step S311 the measurement system 1000a acquires light intensity distribution information (B1) based on the reflected light of the plant.
  • step S312 the measurement system 1000a sets the second color filter.
  • step S313 the measurement system 1000a simultaneously acquires an image of the plant and an image of the subject for calculating the reference light.
  • step S314 the measurement system 1000a extracts the area of the subject for calculating the reference light.
  • step S315 the measurement system 1000a acquires light intensity distribution information (A2) of the subject for calculating the reference light.
  • step S316 the measurement system 1000a extracts the plant area from the acquired image.
  • step S317 the measurement system 1000a acquires light intensity distribution information (B2) based on the reflected light of the plant.
  • step S3108 the measurement system 1000a calculates a correction value (correction coefficient) using the light intensity distribution information (A1) acquired in step S307 and the light intensity distribution information (A2) acquired in step S315.
  • step S319 the measurement system 1000a calculates a plant growth index (growth information) using the correction value calculated in step S318, the light intensity distribution information (B2) acquired in step S311, and the light intensity distribution information (B2) acquired in step S317.
  • step S320 the measurement system 1000a stores data related to the growth index in the growth information storage unit 601.
  • the measurement system 1000a may also store data in a storage unit provided in an external device such as cloud computing via communication.
  • Table 1 shows the numerical values for each conditional expression in each embodiment.
  • the present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program.
  • the present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
  • each embodiment it is possible to provide a measurement device, a measurement method, and a program that can measure plant growth indexes with high accuracy.
  • the NDVI value is calculated as a growth index, but this is not limited to this.
  • d is a constant that represents the correlation between the NDVI value and the SPAD value.
  • each embodiment is preferably performed at night. By measuring at night, it is possible to suppress blown-out highlights in the captured image due to the reflection of the sun, and it becomes easier to extract the rice leaf area with high accuracy. Note that each embodiment can be applied not only under outdoor environmental light, which is easily affected by the sun, but also under indoor environmental light.
  • rice leaves are given as an example of a subject, but the present invention can be applied to other subjects.
  • a spectral image of red and near-infrared light is given as an example, but the present invention can be applied to images with four or more spectral wavelengths.
  • an example is given in which the imaging unit and the ambient light acquisition unit are separated, but the imaging unit and the ambient light acquisition unit may be integrated.
  • image processing is performed within the plant growth index measurement system, but the calculation process may be performed on cloud computing.

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Botany (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】植物の生育指数を高精度に測定可能な測定装置を提供する。 【解決手段】植物の生育指数を測定する測定装置（１０００）であって、撮像光学系（３０１）と複数の光電変換部（３１１）が２次元状に配置された撮像素子（３０３）とを有する光検出部（３００）と、光検出部で取得された情報に基づいて、植物の前記生育指数を演算する演算処理部（５００）とを有し、複数の光電変換部はそれぞれ、アバランシェダイオードを有し、光検出部は、第１被写体（１０１）としての植物からの反射光と、第２被写体（１０２）からの基準光を取得し、植物からの反射光を分光して、第１波長をピーク波長とした第１光量分布情報と、第２波長をピーク波長とした第２光量分布情報とを取得し、基準光から光量分布基準情報を取得し、演算処理部は、第１光量分布情報と第２光量分布情報と光量分布基準情報とに基づいて、生育指数を演算する。

Description

測定装置、測定方法、およびプログラム
　本発明は、測定装置、測定方法、およびプログラムに関する。
　近年、農業の効率化や高品質化のため、植物の状態を把握し施肥管理を適切に行うといった取り組みが行われている。また、植物の状態を定量的に評価するため、葉色指標を推定する方法が提案されている。特許文献１には、植物により反射された光の分光測定結果から植物の生育指数を測定する測定装置が開示されている。
特開２００２－１６８７７１号公報
　特許文献１に開示された測定装置は、日中の太陽光を光源としているため、太陽の高度や位置に応じて測定結果が変化する。このため、植物の生育指数の測定精度は、太陽光の入射光強度の補正値の誤差に依存する。また実際の測定では、太陽の映り込みによる撮影画像の白飛び（露出が閾値を超えて諧調がなくなり、データの取得が不可能となる現象）が発生してしまう。その結果、植物の生育指数を高精度に測定することができない。
　そこで本発明は、植物の生育指数を高精度に測定可能な測定装置を提供することを目的とする。
　本発明の一側面としての測定装置は、植物の生育指数を測定する測定装置であって、撮像光学系と複数の光電変換部が２次元状に配置された撮像素子とを有する光検出部と、前記光検出部で取得された情報に基づいて、前記植物の前記生育指数を演算する演算処理部とを有し、前記複数の光電変換部はそれぞれ、アバランシェダイオードを有し、前記光検出部は、第１被写体としての前記植物からの反射光と、第２被写体からの基準光を取得し、前記植物からの前記反射光を分光して、第１波長をピーク波長とした第１光量分布情報と、第２波長をピーク波長とした第２光量分布情報とを取得し、前記基準光から光量分布基準情報を取得し、前記演算処理部は、前記第１光量分布情報と前記第２光量分布情報と前記光量分布基準情報とに基づいて、前記生育指数を演算する。
　本発明の他の目的及び特徴は、以下の実施形態において説明される。
　本発明によれば、植物の生育指数を高精度に測定可能な測定装置を提供することができる。
各実施形態における測定システムの説明図である。 各実施形態における測定システムの説明図である。 第１実施形態における測定システムのブロック図である。 第１実施形態における光検出部の画素領域の構成図である。 第１実施形態における測定システムの動作を示すフローチャートである。 第２実施形態における測定システムのブロック図である。 第２実施形態における測定システムの動作を示すフローチャートである。
　以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
　まず、図１および図２を参照して、本実施形態における測定システム（植物生育指標測定システム）について説明する。図１および図２は、測定システムの説明図であり、光検出部（撮像装置）３００を用いて、植物などの被写体１００を撮影する様子を示している。図１に示される測定システムにおいて、光検出部３００は、地面（固定部）１０５に固定され、一定位置において被写体１００の画像を取得する。図２に示される測定システムにおいて、光検出部３００は、ドローン等の飛行物体１０６に取り付けられ、一定位置において被写体１００の画像を取得するように制御される。
　図１および図２に示されるように、被写体１００は、環境光（屋外環境光）１１１により照明されている。被写体（第１被写体）１０１は、植物などの半透明物体である。ここで植物とは、例えば複数の葉を有する水稲であるが、これに限定されるものではない。環境光１１１は、被写体１０１の内部で拡散および吸収され、反射した一部の光（反射光１２１）が光検出部３００に到達する。本実施形態では、このような過程により反射された、所謂、拡散反射光を単に反射光と呼び、被写体１００の表面で反射された正反射光とは区別する。測定システムは、光検出部３００で得られた画像（光量分布情報）に基づいて、定量的に被写体１０１に含まれる物質（葉緑素など）の濃度を推定（測定）し、被写体１０１の生育指数を算出する。ここで生育指数とは、例えば、ＳＰＡＤ（Ｓｏｉｌ＆Ｐｌａｎｔ　Ａｎａｌｙｚｅｒ　Ｄｅｖｅｌｏｐｍｅｎｔ）値または正規化植生指数（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ：ＮＤＶＩ）である。なお、生育指数の算出方法の詳細については後述する。
　被写体（第２被写体）１０２は、基準光を取得するための装置であり、例えば反射板である。ただし本実施形態は、これに限定されるものではなく、被写体１０２としてカラーセンサ等を用いて基準光を取得してもよい。被写体１０２で反射された一部の光（正反射光１２２）は、光検出部３００に到達する。
　環境光取得部２００は、被写体１０１の照度（反射光１３１）および被写体１０２の照度（正反射光１３２）を取得する装置である。
　（第１実施形態）
　まず、本発明の第１実施形態について説明する。図３は、本実施形態における測定システム（植物生育指標測定システム）１０００のブロック図である。測定システム１０００は、被写体１００、環境光取得部２００、光検出部３００、制御部４００、演算処理部５００、記憶部６００、表示部７００、および、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ：全地球測位網）部８００を有する。少なくとも光検出部３００および演算処理部５００により、植物の生育状況を測定する測定装置が構成される。
　光検出部３００は、光学系（撮像光学系）３０１、複数のカラーフィルタ（バンドパスフィルタ）３０２、および撮像素子３０３を有する。光検出部３００は、制御部４００に接続され、制御部４００の制御に従って、測定対象の反射光を少なくとも２つの波長（第１波長および第２波長）に分光して光を検出して測定結果を取得する。光検出部３００により取得された測定結果は、制御部４００および演算処理部５００へ出力される。
　植物などの被写体１０１の分光反射率特性は、波長５５０ｎｍ付近で反射率が最大となり、波長６７０ｎｎ付近で反射率が最小となり、波長７５０ｎｍ～９００ｎｍ付近の範囲においては反射率が一定となる。このため本実施形態において、好ましくは、反射率の変化に特徴がある４つの波長帯域（互いに異なるピーク波長を有する４つの波長帯域）の中から少なくとも２つの波長帯域の光を用いて測定を行う。より好ましくは、４つの波長帯域の光を用いて測定を行う。２つの波長帯域（測定波長）の光を用いて生育指数を算出することで、測定システム１０００の小型化が可能である。
　複数のカラーフィルタ３０２は、少なくとも２種類のカラーフィルタ（第１カラーフィルタおよび第２カラーフィルタ）を含み、光学系３０１と撮像素子３０３との間に配置されている。第１カラーフィルタは、赤色光のみを透過させ、第２カラーフィルタは近赤外光のみを透過させる。光検出部３００は、被写体１０１からの反射光を第１カラーフィルタと第２カラーフィルタとで分光し、それぞれ光量分布情報（第１光量分布情報）Ｒ１と光量分布情報（第２光量分布情報）Ｒ２とを取得する。また光検出部３００は、被写体１０２からの反射光を第１カラーフィルタと第２カラーフィルタとで分光し、それぞれ光量分布基準情報Ｗ１と光量分布基準情報Ｗ２とを取得する。
　なお、複数のカラーフィルタ３０２が透過させる光の色は、前述の例に限定されるものではない。また、複数のカラーフィルタ３０２において、透過させる光の色が互いに異なっている必要はない。すなわち、複数のカラーフィルタ３０２は、透過させる光のピーク波長（中心波長）が互いに異なる少なくとも２種類以上のカラーフィルタを含んでいればよい。
　制御部４００は、測定システム１０００の各部を機能に応じて制御し、生育指数を測定するための回路である。制御部４００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および周辺回路を備えて構成される。制御部４００は、光検出制御部４０１、環境光取得制御部４０２、および位置取得制御部４０３を有する。
　演算処理部５００は、補正値算出部５０１、画素情報算出部５０２、および生育指数算出部５０３を有する。なお、補正値算出部５０１による補正値算出方法、画素情報算出部５０２による画素情報算出方法、および生育指数算出部５０３による生育指数算出方法はそれぞれ、後述する。
　記憶部６００は、生育情報記憶部６０１、補正情報記憶部６０２、環境光記憶部６０３、および位置情報記憶部６０４を有する。生育情報記憶部６０１および補正情報記憶部６０２は、演算処理部５００で算出された生育情報および補正値をそれぞれ記憶する。環境光記憶部６０３は、環境光取得部２００で取得した環境光の光強度データを記憶する。位置情報記憶部６０４は、被写体１０２の位置（緯度Ｘ、経度Ｙ、高度Ｚ）を事前に記憶する。
　表示部７００は、演算処理部５００から出力された情報を表示する。ＧＰＳ８００は、制御部４００に接続され、制御部４００の制御に従って、地球上の現在位置を測定するための衛星測位システムによって、測定システム１０００の位置を測定する。ＧＰＳ８００の測位結果（緯度Ｘ、経度Ｙ、高度Ｚ）は、制御部４００へ出力される。図２に示されるように測定システム１０００を飛行物体１０６に搭載する際、連続して同じ位置で測定できるように、測位結果を用いて測定位置を制御する。時計部９００は、制御部４００に接続され、制御部４００の制御に従って、年月日時分などの時刻を取得し、時刻を制御部４００へ出力する。
　次に、図４を参照して、光検出部３００における撮像素子３０３の画素領域について説明する。図４は、撮像素子３０３の等価回路図の一例である。図４には、簡略化のため、第０行から第２行及び第０列から第２列に配された４個の画素部Ｔ１０３及び５個の信号生成部Ｔ１０４が示されている。複数の画素部Ｔ１０３の各々は、光電変換部であるアバランシェフォトダイオード（以下、ＡＰＤ）Ｔ２０１と、クエンチ素子Ｔ２０２と、信号処理回路Ｔ２１１と、選択回路Ｔ２１２とを含む。
　ＡＰＤ Ｔ２０１に光が入射されると、光電変換により入射光に応じた電荷対が生成される。ＡＰＤ Ｔ２０１のアノードには、電圧ＶＬが供給される。また、ＡＰＤ Ｔ２０１のカソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨが供給される。ＡＰＤ Ｔ２０１のアノードとカソードには、ＡＰＤ Ｔ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。逆バイアス電圧が供給される場合の動作モードには、アノード及びカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードと、アノード及びカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。
　クエンチ素子Ｔ２０２は、電圧ＶＨを供給する電源とＡＰＤ Ｔ２０１のカソードの間に接続される。クエンチ素子Ｔ２０２は、ＡＰＤ Ｔ２０１で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子Ｔ２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ Ｔ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ。
　信号処理回路Ｔ２１１は、光子検出時に得られるＡＰＤ Ｔ２０１のカソードの電位変化をカウントする機能を有する。この機能は、例えば、信号処理回路Ｔ２１１が、カソードの電位変化により生じたパルスをカウントするカウンタ回路を備えることにより実現され得る。これにより、信号処理回路Ｔ２１１は、ＡＰＤ Ｔ２０１に入射した光子の数に応じたカウント値（第１デジタル信号）を出力することができる。信号処理回路Ｔ２１１は、制御線Ｔ２１３を介して入力される制御信号に応じてカウンタ回路の初期化等を行う。
　選択回路Ｔ２１２は、例えば、制御線Ｔ２１４を介して入力される制御信号に応じて電気的な接続、非接続を制御するスイッチ、信号を線Ｔ１１３へ出力するためのバッファ回路等を含む。本実施形態において、画素部Ｔ１０３は、ＡＰＤ Ｔ２０１に入射する光子のカウント値をデジタル信号として出力する機能を有しているものとするが、これに限るものではない。信号処理回路Ｔ２１１は、時間－デジタル変換回路及びメモリを含んでもよい。画素部Ｔ１０３は、光が到達した時刻と光量を測定するための画素であってもよい。複数の信号生成部Ｔ１０４の各々は、信号生成回路Ｔ２１５及び選択回路Ｔ２１２を含む。
　信号生成回路Ｔ２１５（第２信号生成部）は、所定のｎビット（ｎは自然数）のデジタル値を有するデジタル信号（第２デジタル信号）を出力するように構成されている。信号生成回路Ｔ２１５は、制御線Ｔ２１３を介して入力される制御信号に応じて初期化等の信号生成に関する処理を行う。これらの信号は、信号出力回路を介して外部に出力される。
　次に、図５を参照して、本実施形態における測定システム１０００の動作（測定方法）について説明する。図５は、測定システム１０００の動作を示すフローチャートである。
　まずステップＳ１０１において、制御部４００は、時計部９００から年月日時分などの時刻を取得する。続いてステップＳ１０２において、環境光取得部２００は、被写体１０２からの反射光に基づいて、環境光情報（照度または被写体照度）を取得する。なお環境光取得部２００は、環境光情報を取得する際、被写体１０１からの反射光に基づいて、環境光情報（照度または被写体照度）を取得してもよい。
　続いてステップＳ１０３において、制御部４００は、環境光取得部２００により取得された環境光情報（被写体照度）が閾値以下であるか否かを判定する。被写体照度が閾値よりも大きいと判定された場合、本フローを終了する。
一方、被写体照度が閾値以下であると判定された場合、ステップＳ１０４に進む。被写体１０２からの反射光に基づいて得られた環境光情報（照度）をＬｅ（ｌｕｘ）、被写体１０１からの反射光に基づいて得られた環境光情報（照度）をＬｐ（ｌｕｘ）とする。このとき本実施形態において、好ましくは、以下の条件式（１）、（２）の少なくとも１つを満足する（すなわち、閾値は１．００である）。
　Ｌｅ＜１．００　…（１）
　Ｌｐ＜１．００　…（２）
　条件式（１）は、被写体１０２からの反射光を用いて測定した被写体１０２の被写体照度を規定している。条件式（１）の上限を超えると、光源の映り込みや光源による影の発生により、生育指数の推定精度が低減する。
　より好ましくは、条件式（１）、（２）の数値範囲は、以下の条件式（１ａ）、（２ａ）のようにそれぞれ設定される。
　Ｌｅ＜０．２５　…（１ａ）
　Ｌｐ＜０．２５　…（２ａ）
　更に好ましくは、条件式（１）、（２）の数値範囲は、以下の条件式（１ｂ）、（２ｂ）のようにそれぞれ設定される。
　Ｌｅ＜０．１０　…（１ｂ）
　Ｌｐ＜０．１０　…（２ｂ）
　なお、条件式（１）、（１ａ）、（１ｂ）、（２）、（２ａ）、（２ｂ）では下限値を特定していないが、光子が１つでも発生して測定することが可能であれば、環境光情報Ｌｅ、Ｌｐは０に限りなく近い値でもよい。
　続いてステップＳ１０４において、光検出部３００は、２種以上の特定波長（第１波長および第２波長）の光を用いて、被写体１００を撮影する（被写体１００の画像を取得する）。続いてステップＳ１０５において、制御部４００は、ステップＳ１０４にて取得された画像から、被写体１０２の撮影領域（センサ結像位置）を抽出する。ここで、被写体１０２の撮影領域は、位置情報記憶部６０４およびＧＰＳ部８００により算出される。続いてステップＳ１０６において、光検出部３００は、ステップＳ１０５にて得られた撮影領域に関して、光量分布基準情報Ｗ１および光量分布基準情報Ｗ２を取得する。
　続いてステップＳ１０７において、制御部４００は、光検出部３００に入射する光量と光検出部３００で検出される光量との関係性に関して線形性があるか否かを判定する。線形性がないと判定された場合、ステップＳ１０８に進む。ステップＳ１０８において、光検出部３００の設定を変更し、再度、ステップＳ１０７の判定を行う。
　一方、ステップＳ１０７にて線形性があると判定された場合、ステップＳ１０９に進む。本実施形態において、好ましくは、以下の条件式（３）を満足する場合に線形性があると判定される。
　０．００＜ｍ／ｆＴ＜１．００　…（３）
　条件式（３）において、ｍは撮像素子３０３の１画素あたりの平均入射光子数、ｆＴは撮像素子３００のクロック数である。条件式（３）は、クロック数ｆＴに対する１画素あたりの平均入射光子数ｍを規定している。
　ここで、１画素あたりのカウント値ｎと１画素あたりの平均入射光子数ｍとの関係について説明する。１画素あたりのカウント値ｎは、平均入射光子数ｍ、クロック数ｆＴを用いて、以下の式（４）で定義される。
　ｎ＝ｆＴ×（１－Ｅｘｐ（－ｍ／ｆＴ））　…（４）
　ここで、１画素あたりの平均入射光子数ｍは、以下の式（５）で定義される。
　ｍ＝Ｓ×Ｌｆ×ｔ　…（５）
　（Ｌｆ＝（Ｒ×Ｔ／４Ｆ＾２）×Ｌｅ）
　式（５）において、Ｓはセンサ感度、Ｌｆはセンサ面照度、ｔは露光時間、Ｒは被写体の反射率、Ｔはレンズ透過率、ＦはレンズＦｎｏ（Ｆ値）である。条件式（３）より、クロック数ｆＴに対する１画素あたりの平均入射光子数ｍの値が小さいほど線形性を満足することができる。
　条件式（３）の上限を超えると、入射光子数に対してカウントされる値の関係が線形ではなくなるため、好ましくない。一方、条件式（３）の下限を超えると、ノイズ成分の影響により測定誤差が大きくなるため、好ましくない。なお、線形性の判定に関しては、光子数のカウントに限定されるものではなく、被写体照度と画像の輝度値から判定基準を設けてもよい。
　より好ましくは、条件式（３）の数値範囲は、以下の条件式（３ａ）のように設定される。
　０．０１＜ｍ／ｆＴ＜０．８０　…（３ａ）
　更に好ましくは、条件式（３）の数値範囲は、以下の条件式（３ｂ）のように設定される。
　０．０５＜ｍ／ｆＴ＜０．５０　…（３ｂ）
　また本実施形態において、好ましくは、以下の条件式（６）を満足する。
　Ｌｅ＜０．５０　かつ　３＜ｍ＜５００　…（６）
　条件式（６）は、被写体１０２からの反射光を用いて測定した被写体１０２の照度Ｌｅと、１画素あたりの平均入射光子数ｍを規定している。被写体１０２からの反射光を用いて測定した被写体１０２の照度Ｌｅが低照度であっても、検知できる光量が条件式（６）を満足することで、より高精度に生育指標を測定することができる。条件式（６）の上限を超えると、長時間露光が必要となるため好ましくない。一方、条件式（６）の下限を超えると、ノイズ成分の影響が大きくなるため好ましくない。
　より好ましくは、条件式（６）の数値範囲は、以下の条件式（６ａ）のように設定される。
　Ｌｅ＜０．２５　かつ　１０＜ｍ＜３００　…（６ａ）
　更に好ましくは、条件式（６）の数値範囲は、以下の条件式（６ｂ）のように設定される。
　Ｌｅ＜０．１０　かつ　１００＜ｍ＜２５０　…（６ｂ）
　ステップＳ１０９において、演算処理部５００は、光量分布基準情報Ｗ１および光量分布基準情報Ｗ２に基づいて、環境光の分光特性補正係数ｋを求める。より具体的には、以下の式（７）で表されるように、互いに同じ画素位置（ｘ, ｙ）の画素ごとに、光量分布基準情報Ｗ１の画素値Ｗ１（ｘ, ｙ）と光量分布基準情報Ｗ２（ｘ, ｙ）との比を環境光の分光特性補正係数ｋとして求める。
Figure JPOXMLDOC01-appb-M000001
　これにより、光量分布情報Ｒ１と光量分布情報Ｒ２との比率が所定値になるように正規化処理が可能となる。
　続いてステップＳ１１０において、演算処理部５００は、被写体１０２である水稲の撮影領域（被写体領域）を抽出する。水稲領域の抽出方法としては、光量分布情報Ｒ１および光量分布情報Ｒ２より水稲の葉の形状を認識して、水稲領域を抽出してもよい。また、緑色光のみを透過させる第３カラーフィルタを用いて光量分布情報Ｒ３および光量分布基準情報Ｗ３を取得し、光量分布情報Ｒ１および光量分布基準情報Ｗ１を用いて水稲領域を抽出してもよい。具体的には、以下の式（８）を用いて、画素位置（ｘ, ｙ）での緑色光と赤色光の光量比ＩＧＲが閾値より高い領域を水稲領域として抽出すればよい。
　ＩＧＲ（ｘ, ｙ）＝ ［Ｒ３’（ｘ, ｙ）-Ｒ１（ｘ, ｙ）]／［Ｒ３’（ｘ, ｙ）＋Ｒ１（ｘ, ｙ）]　…（８）
　ここで、ｊおよびＲ３’は、以下の式（９）、（１０）によりそれぞれ求められる。
Figure JPOXMLDOC01-appb-M000002
Ｒ３’＝ｊ×Ｒ３（ｘ, ｙ）　…（１０）
　続いてステップＳ１１１において、演算処理部５００は、ステップＳ１１０にて得られた撮影領域（植物の領域）に関して、光量分布情報Ｒ１および光量分布情報Ｒ２を取得する。
　続いてステップＳ１１２において、演算処理部５００は、ステップＳ１０９にて求められた分光特性補正係数ｋを用いて、各評価波長の反射光の光強度（光量分布情報Ｒ１、Ｒ２）の比率が所定値となるように正規化する（光量分布情報を補正する）。続いてステップＳ１１３において、演算処理部５００は、補正された光量分布情報Ｒ１、Ｒ２に基づいて、各画素で植物の生育指数、例えばＮＤＶＩ値を算出する。より具体的には、画素位置（ｘ, ｙ）での、光量分布情報Ｒ２（ｘ, ｙ）に、ステップＳ１０９て算出された環境光の分光特性補正係数ｋを乗算することで、正規化した光量分布情報Ｒ２の画素値Ｒ２’（ｘ, ｙ）（＝ｋ×Ｒ２（ｘ, ｙ））を求める。そして、以下の式（１１）を用いて、互いに同じ画素位置（ｘ, ｙ）ごとにＮＤＶＩ値を求める。
　　ＮＤＶＩ（ｘ, ｙ）＝［Ｒ１’（ｘ, ｙ）-Ｒ２（ｘ, ｙ）]／［Ｒ１’（ｘ, ｙ）＋Ｒ２（ｘ, ｙ）]　…（１１）
　続いてステップＳ１１４において、制御部４００は、得られた植物生育指標に関するデータを生育情報記憶部６０１に保存する。また制御部４００は、通信によりクラウドコンピューティングなどの外部装置に設けられた記憶部にデータを保存してもよい。
　本実施形態において、好ましくは、光検出部３００により分光された光のうち第１波長をλ１（ｎｍ）、第２波長をλ２（ｎｍ）とするとき、以下の条件式（１２）、（１３）を満足する。
　６００＜λ１＜７５０　…（１２）
　７５０＜λ２＜１２００　…（１３）
　本実施形態によれば、太陽光の入射光強度による影響が少なく、植物の生育指数の算出精度を高めることができる。
　（第２実施形態）
　次に、本発明の第２実施形態について説明する。図６は、本実施形態における測定システム（植物生育指標測定システム）１０００ａのブロック図である。本実施形態の測定システム１０００ａは、光検出部３００ａおよび制御部４００ａを有する点で、光検出部３００および制御部３００を有する第１実施形態の測定システム１０００と異なる。なお、本実施形態の測定システム１０００ａの他の構成は、第１実施形態の測定システム１０００と同様であるため、その説明を省略する。
　光検出部３００ａは、光学系３０１よりも被写体側（被写体１００と光学系３０１との間）に複数のカラーフィルタ（バンドパスフィルタ）３０５を有する。制御部４００ａは、制御部４００の各部に加えて、複数のカラーフィルタ３０５を切り替えるフィルタ制御部４０４を有する。複数のカラーフィルタ３０５は、少なくとも２種類のカラーフィルタ（第１カラーフィルタおよび第２カラーフィルタ）を有する。第１カラーフィルタは赤色光のみを透過させ、第２カラーフィルタは近赤外光のみを透過させる。被写体１０１からの反射光を第１カラーフィルタと第２カラーフィルタとで分光し、それぞれ光量分布情報Ｒ１と光量分布情報Ｒ２とを取得する。また、被写体１０２からの反射光を第１カラーフィルタと第２カラーフィルタとで分光し、それぞれ光量分布基準情報Ｗ１と光量分布基準情報Ｗ２とを取得する。
　なお、複数のカラーフィルタ３０５が透過させる光の色は、前述の例に限定されるものではない。また、複数のカラーフィルタ３０５において、透過させる光の色が互いに異なっている必要はない。すなわち、複数のカラーフィルタ３００は透過させる光のピーク波長が互いに異なる少なくとも２種類以上のカラーフィルタを含んでいればよい。なお複数のカラーフィルタ３０５は、第１カラーフィルタおよび第２カラーフィルタに加えて、第３カラーフィルタを有していてもよい。第３カラーフィルタは、例えば緑色光のみを透過させる。これにより、水稲の葉の領域を高精度で抽出することが容易となる。
　次に、図７を参照して、本実施形態における測定システム１０００ａの動作（測定方法）について説明する。図７は、測定システム１０００ａの動作を示すフローチャートである。
　まずステップＳ３０１において、測定システム１０００ａは時刻を取得する。続いてステップＳ３０２において、測定システム１０００ａは、環境光情報を取得する。続いてステップＳ３０３において、測定システム１０００ａは、環境光情報（被写体照度）が閾値以下であるか否かを判定する。被写体照度が閾値よりも大きいと判定された場合、本フローを終了する。一方、被写体照度が閾値以下であると判定された場合、ステップＳ３０４に進む。
　ステップＳ３０４において、測定システム１０００ａは、第１カラーフィルタをセットする。続いてステップＳ３０５において、測定システム１０００ａは、植物の画像と基準光算出用被写体の画像とを同時に取得する。続いてステップＳ３０６において、測定システム１０００ａは、基準光算出用被写体の領域を抽出する。続いてステップＳ３０７において、測定システム１０００ａは、基準光算出用被写体の光量分布情報（Ａ１）を取得する。続いてステップＳ３０８において、測定システム１０００ａは、線形性があるか否かを判定する。線形性がないと判定された場合、ステップＳ３０９に進む。ステップＳ３０９において、測定システム１０００ａは、光検出部３００ａの設定を変更し、再度、ステップＳ３０８の判定を行う。一方、線形性があると判定された場合、ステップＳ３１０に進む。
　ステップＳ３１０において、測定システム１０００ａは、取得画像から植物の領域を抽出する。続いてステップＳ３１１において、測定システム１０００ａは、植物の反射光に基づく光量分布情報（Ｂ１）を取得する。続いてステップＳ３１２において、測定システム１０００ａは、第２カラーフィルタをセットする。続いてステップＳ３１３において、測定システム１０００ａは、植物の画像と基準光算出用被写体の画像とを同時に取得する。続いてステップＳ３１４において、測定システム１０００ａは、基準光算出用被写体の領域を抽出する。続いてステップＳ３１５において、測定システム１０００ａは、基準光算出用被写体の光量分布情報（Ａ２）を取得する。続いてステップＳ３１６において、測定システム１０００ａは、取得画像から植物の領域を抽出する。続いてステップＳ３１７において、測定システム１０００ａは、植物の反射光に基づく光量分布情報（Ｂ２）を取得する。
　続いてステップＳ３１８において、測定システム１０００ａは、ステップＳ３０７にて取得した光量分布情報（Ａ１）と、ステップＳ３１５にて取得した光量分布情報（Ａ２）とを用いて、補正値（補正係数）を算出する。続いてステップＳ３１９において、測定システム１０００ａは、ステップＳ３１８にて算出された補正値、ステップＳ３１１にて取得した光量分布情報（Ｂ２）、および、ステップＳ３１７にて取得した光量分布情報（Ｂ２）を用いて、植物の生育指数（生育情報）を算出する。続いてステップＳ３２０において、測定システム１０００ａは、生育指数に関するデータを生育情報記憶部６０１に保存する。また測定システム１０００ａは、通信によりクラウドコンピューティングなどの外部装置に設けられた記憶部にデータを保存してもよい。
　表１は、各実施形態における各条件式に関する数値を示す。
Figure JPOXMLDOC01-appb-T000003
（その他の実施例）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　各実施形態によれば、植物の生育指数を高精度に測定可能な測定装置、測定方法、およびプログラムを提供することができる。
　以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で様々な変形及び変更が可能である。
　例えば、各実施形態では、生育指標としてＮＤＶＩ値を求めたが、これに限定されるものではない。例えば、ＳＰＡＤ値（＝ｄ×ＮＤＶＩ（ｘ, ｙ））から求めてもよい。ここでｄはＮＤＶＩ値とＳＰＡＤ値との相関関係を表す定数である。また各実施形態は夜間に実施されることが好ましい。夜間に測定することで、太陽の映り込みによる撮影画像の白飛びを抑制し、水稲の葉の領域を高精度で抽出することが容易となる。なお各実施形態は、太陽の影響を受けやすい屋外環境光下だけでなく、屋内環境光下でも適用可能である。
　また、各実施形態では被写体として水稲の葉を例に挙げたが、その他の被写体にも適用可能である。また、各実施形態では赤色色と近赤外光の分光画像を例に挙げたが、分光波長数は４以上の画像にも適用可能である。また、各実施形態では、撮像部と環境光取得部とが分離された例を挙げたが、撮像部と環境光取得部とが一体となっていてもよい。また各実施形態では画像処理を植物生育指数測定システム内で実行する例を挙げたが、算出処理をクラウドコンピューティング上で実行してもよい。

Claims (18)

  1. 　植物の生育指数を測定する測定装置であって、
    　撮像光学系と複数の光電変換部が２次元状に配置された撮像素子とを有する光検出部と、
    　前記光検出部で取得された情報に基づいて、前記植物の前記生育指数を演算する演算処理部と、を有し、
    　前記複数の光電変換部はそれぞれ、アバランシェダイオードを有し、
    　前記光検出部は、
    　第１被写体としての前記植物からの反射光と、第２被写体からの基準光を取得し、
    　前記植物からの前記反射光を分光して、第１波長をピーク波長とした第１光量分布情報と、第２波長をピーク波長とした第２光量分布情報とを取得し、
    　前記基準光から光量分布基準情報を取得し、
    　前記演算処理部は、前記第１光量分布情報と前記第２光量分布情報と前記光量分布基準情報とに基づいて、前記生育指数を演算することを特徴とする測定装置。
  2. 　前記演算処理部は、
    　前記光量分布基準情報に基づいて、前記第１光量分布情報と前記第２光量分布情報とを補正して補正値を算出する補正値算出部と、
    　前記補正値に基づいて、前記植物の葉の領域に対応する画素情報を算出する画素情報算出部と、
    　前記画素情報に基づいて、前記撮像素子の画素ごとに前記生育指数を演算する生育指数算出部とを有することを特徴とする請求項１に記載の測定装置。
  3. 　前記第１光量分布情報と前記第２光量分布情報はそれぞれ、前記撮像素子の画素ごとの輝度値を含むことを特徴とする請求項１または２に記載の測定装置。
  4. 　前記第２被写体の照度を取得する環境光取得部を更に有し、
    　前記第２被写体の照度をＬｅ（ｌｕｘ）とするとき、
    Ｌｅ＜１．００
    なる条件式を満足することを特徴とする請求項１乃至３のいずれか一項に記載の測定装置。
  5. 　前記植物の照度を取得する環境光取得部を更に有し、
    　前記植物の照度をＬｐ（ｌｕｘ）とするとき、
    Ｌｐ＜１．００
    なる条件式を満足することを特徴とする請求項１乃至４のいずれか一項に記載の測定装置。
  6. 　前記第２被写体は、反射板であることを特徴とする請求項１乃至５のいずれか一項に記載の測定装置。
  7. 　前記撮像素子は、
    　前記光電変換部に入射する光子の数をカウントするカウンタと、
    　前記光電変換部による光検出の開始を制御する制御部とを有し、
    　前記制御部は、前記光電変換部と前記カウントとの間に設けられているスイッチまたは論理回路であることを特徴とする請求項１乃至６のいずれか一項に記載の測定装置。
  8. 　前記撮像素子の１画素あたりの平均入射光子数をｍ、クロック数をｆＴとするとき、
    　０．００＜ｍ／ｆＴ＜１．００
    なる条件式を満足することを特徴とする請求項１乃至７のいずれか一項に記載の測定装置。
  9. 　前記植物の照度を取得する環境光取得部を更に有し、
    　前記植物の照度をＬｐ（ｌｕｘ）、前記撮像素子の１画素あたりの平均入射光子数をｍとするとき、
    　Ｌｐ＜０．５
    　３＜ｍ＜５００
    なる条件式を満足することを特徴とする請求項１乃至８のいずれか一項に記載の測定装置。
  10. 　前記光検出部は、透過率がピークとなる波長が互いに異なる第１カラーフィルタと第２カラーフィルタとを有し、
    　前記第１カラーフィルタを透過した光により前記第１光量分布情報が取得され、
    　前記第２カラーフィルタを透過した光により前記第２光量分布情報が取得されることを特徴とする請求項１乃至９のいずれか一項に記載の測定装置。
  11. 　前記第１カラーフィルタと前記第２カラーフィルタは、前記撮像光学系と前記撮像素子との間に配置されていることを特徴とする請求項１０に記載の測定装置。
  12. 　前記第１カラーフィルタと前記第２カラーフィルタは、前記植物と前記撮像光学系との間に配置されていることを特徴とする請求項１０に記載の測定装置。
  13. 　前記第１カラーフィルタと前記第２カラーフィルタとを切り替えるフィルタ制御部を更に有することを特徴とする請求項１２に記載の測定装置。
  14. 　前記第１波長をλ１（ｎｍ）、前記第２波長をλ２（ｎｍ）とするとき、
    　６００＜λ１＜７５０
    　７５０＜λ２＜１２００
    なる条件式を満足することを特徴とする請求項１乃至１３のいずれか一項に記載の測定装置。
  15. 　前記光検出部は、屋外環境光下で前記植物からの前記反射光を取得することを特徴とする請求項１乃至１４のいずれか一項に記載の測定装置。
  16. 　前記光検出部は、夜間に前記植物からの前記反射光を取得することを特徴とする請求項１乃至１５のいずれか一項に記載の測定装置。
  17. 　植物の生育指数を測定する測定方法であって、
    　撮像光学系と、アバランシェフォトダイオードをそれぞれ有する複数の光電変換部が２次元状に配置された撮像素子とを有する光検出部を用いて、第１被写体としての前記植物からの反射光と、第２被写体からの基準光を取得するステップと、
    　前記光検出部を用いて、前記植物からの前記反射光を分光して、第１波長をピーク波長とした第１光量分布情報と、第２波長をピーク波長とした第２光量分布情報とを取得するステップと、
    　前記光検出部を用いて、前記基準光から光量分布基準情報を取得するステップと、
    　前記第１光量分布情報と前記第２光量分布情報と前記光量分布基準情報とに基づいて、前記生育指数を演算するステップと、を有することを特徴とする測定方法。
  18. 　請求項１７に記載の測定方法をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2023/025088 2022-09-26 2023-07-06 測定装置、測定方法、およびプログラム WO2024070120A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-152565 2022-09-26
JP2022152565A JP2024047123A (ja) 2022-09-26 2022-09-26 測定装置、測定方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024070120A1 true WO2024070120A1 (ja) 2024-04-04

Family

ID=90476955

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025088 WO2024070120A1 (ja) 2022-09-26 2023-07-06 測定装置、測定方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2024047123A (ja)
WO (1) WO2024070120A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317195A (ja) * 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 植物の生育度測定装置
JP2017011459A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
JP2020027033A (ja) * 2018-08-10 2020-02-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2020198601A (ja) * 2019-06-05 2020-12-10 キヤノン株式会社 撮像装置及びその制御方法
JP2022021296A (ja) * 2020-07-21 2022-02-02 キヤノン株式会社 光検出システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317195A (ja) * 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 植物の生育度測定装置
JP2017011459A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置及び画像処理方法
JP2020027033A (ja) * 2018-08-10 2020-02-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2020198601A (ja) * 2019-06-05 2020-12-10 キヤノン株式会社 撮像装置及びその制御方法
JP2022021296A (ja) * 2020-07-21 2022-02-02 キヤノン株式会社 光検出システム

Also Published As

Publication number Publication date
JP2024047123A (ja) 2024-04-05

Similar Documents

Publication Publication Date Title
Kornilov et al. Combined MASS–DIMM instruments for atmospheric turbulence studies
Fitzgerald Characterizing vegetation indices derived from active and passive sensors
US8391565B2 (en) System and method of determining nitrogen levels from a digital image
US20060290933A1 (en) System and method for monitoring plant conditions
JP6764577B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6662570B2 (ja) 植物情報取得システム、植物情報取得装置および植物情報取得方法
US20180188160A1 (en) Inspection apparatus, inspection method, and program
Lin et al. Fluorescence Scheimpflug LiDAR developed for the three-dimension profiling of plants
CN113175956A (zh) 一种作物长势监测的多光谱及光学相机传感器装置
CN108061600B (zh) 一种小型化光谱成像系统及成像方法
CN102997995B (zh) 一种波长和光谱能量自动校准的便携式分光色彩照度计
JP2008076346A (ja) 植物の生育度測定装置及び生育度測定方法
US10969275B2 (en) On-chip spectrometer employing pixel-count-modulated spectral channels and method of manufacturing the same
WO2024070120A1 (ja) 測定装置、測定方法、およびプログラム
CN201611279U (zh) 一种亮度测量装置
JP2001045868A (ja) 作物の診断方法
CN103968943B (zh) 一种光纤光谱仪信噪比的精确测量方法
JP2001045867A (ja) 作物の診断方法
US5149182A (en) Optical filter for an optical measurement instrument
Zhang et al. Analysis of vegetation indices derived from aerial multispectral and ground hyperspectral data
US10768097B2 (en) Analyzer, image capturing apparatus that acquires color information, analyzing method, and storage medium
Davis et al. Calibration, characterization, and first results with the Ocean PHILLS hyperspectral imager
Liu The development of a portable spectrophotometer for noncontact color measurement
WO2016065856A1 (zh) 一种基于滤光单元的光辐射测量方法及其装置
US6713764B2 (en) Field based spectral radiometer

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871364

Country of ref document: EP

Kind code of ref document: A1