WO2018038052A1 - 物体状態検出伝送システム - Google Patents

物体状態検出伝送システム Download PDF

Info

Publication number
WO2018038052A1
WO2018038052A1 PCT/JP2017/029791 JP2017029791W WO2018038052A1 WO 2018038052 A1 WO2018038052 A1 WO 2018038052A1 JP 2017029791 W JP2017029791 W JP 2017029791W WO 2018038052 A1 WO2018038052 A1 WO 2018038052A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
reflection spectrum
angle
measurement
time
Prior art date
Application number
PCT/JP2017/029791
Other languages
English (en)
French (fr)
Inventor
高橋 幸弘
延康 成瀬
Original Assignee
国立大学法人北海道大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人北海道大学 filed Critical 国立大学法人北海道大学
Priority to JP2017561784A priority Critical patent/JP6342594B1/ja
Priority to AU2017317412A priority patent/AU2017317412B2/en
Priority to MYPI2018703723A priority patent/MY196980A/en
Priority to CN201780026775.8A priority patent/CN109073538B/zh
Priority to EP21197143.7A priority patent/EP3943916B1/en
Priority to US16/087,940 priority patent/US11131583B2/en
Priority to EP17843532.7A priority patent/EP3502664B1/en
Priority to KR1020187030578A priority patent/KR102321554B1/ko
Priority to CA3019100A priority patent/CA3019100A1/en
Publication of WO2018038052A1 publication Critical patent/WO2018038052A1/ja
Priority to PH12018502003A priority patent/PH12018502003A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0256Compact construction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0272Handheld
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0278Control or determination of height or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0289Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0118Apparatus with remote processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0214Airborne
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/022Casings
    • G01N2201/0221Portable; cableless; compact; hand-held
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/0616Ambient light is used

Definitions

  • the present invention relates to an object state detection and transmission system for detecting and transmitting an object state such as a plant state, a spectroscopic terminal device for the object state detection and transmission system, a control method thereof, a control program, a recording medium, and
  • the present invention relates to a server device for the object state detection transmission system.
  • a small-sized infrared light source is mounted on the spectroscope, and a small-scale spectroscope (hereinafter referred to as a second conventional example) that acquires information on the freshness and quality of a target crop or food using reflected light from the light source. )
  • a small-scale spectroscope hereinafter referred to as a second conventional example
  • Hokkaido Satellite Co., Ltd. “Lawn and ground, subject of photography”, Internet, [Search date: August 16, 2016], URL: http://www.hokkaido-sat.co.jp/casestudy-data/ plant / plant-ground.html
  • Hokkaido Satellite Co., Ltd. “Freshness research, What is freshness of leafy vegetables”, Internet, [Search date: August 16, 2016], URL: http://hokkaido-sat.co.jp/study- archives / 36-fundamental-research-fresh.html
  • the measurement wavelength is limited to the wavelength of the light source mounted on the device, and is usually limited to infrared light. Therefore, the wavelength information that can be acquired and used is limited to infrared light.
  • the type of plant can be determined based on the reflection spectrum of sunlight reflected by the plant, the health state of the plant can be determined, or the growing state of the plant can be determined.
  • incidental information such as an image showing the state of a plant, a position, and time cannot be collected in association with each other.
  • the object of the present invention is to solve the above problems, for example, automatically and easily discriminate the type and state of an object in association with the incidental information based on the reflection spectrum of sunlight reflected by an object such as a plant.
  • the object is to provide an object state detection and transmission system.
  • Another object of the present invention is to provide a spectroscopic terminal device for the object state detection and transmission system, a control method thereof, a control program thereof, a recording medium, and a server device for the object state detection and transmission system. is there.
  • An object state detection and transmission system according to a first invention
  • a spectroscopic terminal device that integrally includes a spectroscope that measures a reflection spectrum based on reflected light reflected by a target object, and an electronic device that receives the measured reflection spectrum
  • An object state detection and transmission system comprising a server device connected to the spectroscopic terminal device via a communication line,
  • the electronic device is Photographing means for photographing a target object and obtaining a photographed image; GPS means for measuring the position of the target object; Sensor means for measuring the orientation and angle of the target object; Clocking means for clocking the time of photographing and measurement; Communication means for transmitting the captured image, the position of the target object, the azimuth and angle of the target object, and the time of the imaging and measurement together with the received reflection spectrum to a server device;
  • the electronic device is (1) Acquire direction and angle information specifying the incident direction of the sun by the sensor means; (2) Position information necessary for deriving the sun angle by the GPS means and time information by the time measuring means
  • the target object is a plant, an animal, a farm product, a medical product, a mineral, or a food.
  • the electronic device is a smartphone.
  • the photographing unit is mounted on a satellite instead of the electronic device, and the satellite wirelessly transmits the photographed image to the server device.
  • a spectroscopic terminal device is a spectroscopic device that integrally includes a spectroscope that measures a reflection spectrum based on reflected light reflected by a target object, and an electronic device that receives the measured reflection spectrum.
  • the electronic device is Photographing means for photographing a target object and obtaining a photographed image; GPS means for measuring the position of the target object; Sensor means for measuring the orientation and angle of the target object; Clocking means for clocking the time of photographing and measurement; Communication for transmitting the captured image, the position of the target object, the azimuth and angle of the target object, and the time of shooting and measurement together with the received reflection spectrum to a server device connected to the spectroscopic terminal device via a communication line Means and
  • the electronic device is (1) Acquire direction and angle information specifying the incident direction of the sun by the sensor means; (2) Position information necessary for deriving the sun angle by the GPS means and time information by the time measuring means are acquired, (3)
  • the captured image data acquired by the imaging unit is associated with the time acquired by the timing unit, (4) Collecting reflection spectrum data from a plurality of azimuths and angles with respect to the target object by simultaneously measuring the sun angle at the time of measurement and the incident direction of the sun, (5) Obtaining the collected reflection spectrum data as
  • the target object is a plant, animal, agricultural product, medical product, mineral, or food.
  • the electronic device is a smartphone.
  • the photographing unit is mounted on a satellite instead of the electronic device, and the satellite wirelessly transmits the photographed image to the server device.
  • a method for controlling an electronic device comprising: a spectroscope that measures a reflection spectrum based on reflected light reflected by a target object; and an electronic device that receives the measured reflection spectrum.
  • An electronic device control method for a spectroscopic terminal device is Photographing means for photographing a target object and obtaining a photographed image; GPS means for measuring the position of the target object; Sensor means for measuring the orientation and angle of the target object; Clocking means for clocking the time of photographing and measurement; Communication for transmitting the captured image, the position of the target object, the azimuth and angle of the target object, and the time of shooting and measurement together with the received reflection spectrum to a server device connected to the spectroscopic terminal device via a communication line Means and
  • the control method is: Controlling the photographing means to photograph a target object and obtain a photographed image; Controlling the GPS means to measure the position of the target object; Controlling the sensor means to measure the orientation and angle of the target object; A server in which the communication means is connected to the spectroscopic terminal device via a communication line together with the received reflection spectrum, the captured image, the position of the target object, the azimuth and angle of the target object, and the time of the imaging and measurement.
  • the control method further includes: (1) Acquire direction and angle information specifying the incident direction of the sun by the sensor means; (2) Position information necessary for deriving the sun angle by the GPS means and time information by the time measuring means are acquired, (3) The captured image data acquired by the imaging unit is associated with the time acquired by the timing unit, (4) Collecting reflection spectrum data from a plurality of azimuths and angles with respect to the target object by simultaneously measuring the sun angle at the time of measurement and the incident direction of the sun, (5) Obtaining the collected reflection spectrum data as measurement data of a predetermined bidirectional reflectance distribution function, (6) The collected reflection spectrum data is converted into reflection spectrum data to a desired azimuth and angle by using the bidirectional reflectance distribution function, thereby performing classification processing of the type and state of the target object. It is characterized by including.
  • a control program according to a fourth invention includes the steps of the control method executed by the electronic device.
  • a computer-readable recording medium stores the control program.
  • a server device is a server device for the object state detection transmission system, After receiving the captured image, the position of the target object, the orientation and angle of the target object, the time of the shooting and measurement, and the reflection spectrum transmitted from the electronic device, the type and determination processing of the target object It is characterized by performing.
  • the server device is a terminal device connected to the communication line.
  • the type and state of the target object are automatically and easily determined in association with the incidental information based on the reflection spectrum of sunlight reflected by the target object. can do.
  • FIG. 2 is a longitudinal sectional view showing an arrangement relationship between the spectroscopic terminal device 1 and a white reflecting plate 4 when an incident spectrum and a reflection spectrum are measured in the spectroscopic terminal device 1 of FIG.
  • FIG. 2 is a longitudinal sectional view showing an arrangement relationship between the spectroscopic terminal device 1 and a white reflecting plate 4 when an incident spectrum and a reflection spectrum are measured in the spectroscopic terminal device 1 of FIG.
  • It is a flowchart which shows the plant state detection transmission process performed with the smart phone 10 of FIG.
  • It is an external appearance perspective view which shows the example of a measurement which measures direction (theta) of the spectral terminal device 1 of FIG.
  • It is an external appearance perspective view which shows the example of a measurement which measures angle (phi) of the spectral terminal device 1 of FIG. 6 is a graph showing a measurement example of a reflection spectrum when the direction ⁇ in FIG. 5 is used as a parameter. It is an external appearance perspective view which shows the example of a reflection spectrum measurement with respect to a time change using the spectral terminal device 1 of FIG. 1 when the sun 6 moves. It is a graph which shows the example of a measurement of a reflection spectrum when the time of FIG. 8 is made into a parameter. It is a photographic image which shows the picked-up image of the object plant which shows an example of the plant growth under lead contamination.
  • FIG. 4 is an external perspective view showing an example of organic coupling and complementary use of an image photographed by a satellite 8, data obtained by the spectroscopic terminal device 1, and data obtained by the spectroscopic terminal device 1 mounted on the drone 7.
  • FIG. . It is a perspective view for demonstrating the difference between the measurement example of a prior art example, and the measurement example concerning embodiment. It is a perspective view which shows the example of a measurement which moves spectroscopic terminal device 1 using straight rail LL1, and measures azimuth ⁇ . It is a perspective view which shows the example of a measurement which moves spectroscopic terminal device 1 using curve rail LL2, and measures azimuth ⁇ .
  • FIG. 1 is a block diagram showing a configuration example of a plant state detection transmission system according to an embodiment of the present invention.
  • the plant state detection and transmission system includes a spectroscopic terminal device 1 and a server device 3 that are connected to and integrated with each other via a mobile communication network 2.
  • the spectroscopic terminal device 1 is provided with the smart phone 10 and the spectroscope 20 which are provided in the device casing 1A and connected by the USB cable 18C.
  • the spectroscope 20 measures the incident spectrum, which is a reference spectrum, by receiving sunlight directly from the sun (however, actually reflected by the white reflector 4 as shown in FIG. 3) through the slit 1S.
  • the reflection spectrum which is a measurement spectrum, is transmitted to the smart phone 10 by receiving the reflected light reflected from the sun through the slit 1S through the slit 1S.
  • the smart phone 10 executes the plant state detection transmission process of FIG. 4 to appropriately set the S / N ratio and the exposure value based on the incident spectrum, and then receives the reflection spectrum and captures the captured image of the target plant 5.
  • Photographed through the opening 1H Photographed through the opening 1H, these captured image data and reflection spectrum, the current position, the direction ⁇ based on geomagnetism (geomagnetic direction based on true north using a geomagnetic sensor), the tilt angle ⁇ with respect to the horizontal plane, After being stored in association with incidental information including the measurement time, it is transmitted to the server device 3 via the mobile communication network 2.
  • the server device 3 receives these data, and executes a process for determining the type and state of the target plant 5 as will be described in detail later.
  • the spectroscopic terminal device 1 includes a rotation holding unit 40 that rotatably holds the spectroscopic terminal device 1, and a moving unit that moves the spectroscopic terminal device 1 and the rotation holding unit 40 in a straight line or a curve. 30.
  • FIG. 16 is a perspective view showing a measurement example in which the spectral terminal device 1 is moved using the straight rail LL1 to measure the azimuth ⁇ .
  • FIG. 16 illustrates an example of a moving unit 30A that can change the azimuth ⁇ by moving the spectroscopic terminal device 1 along a straight rail LL1 provided on the ground, for example.
  • FIG. 17 is a perspective view showing a measurement example in which the spectral terminal device 1 is moved using the curved rail LL2 to measure the azimuth ⁇ .
  • FIG. 16 shows an example of a moving unit 30B that can change the azimuth ⁇ by moving the spectroscopic terminal device 1 along a curved rail LL2 provided so that the ground or both ends are fixed on the ground, for example.
  • FIG. 2 is a block diagram showing a detailed configuration example of the smart phone 10 and the spectroscope 20 of FIG.
  • the spectrometer 20 includes the following components connected via a bus 20B.
  • CPU 21 Controls the operation of the spectroscope 20.
  • ROM 22 Stores an operating program (OS) executed by the CPU 21, application programs, and data necessary for executing them.
  • RAM 23 Temporarily stores data to be calculated and measured when the program is executed.
  • Operation unit 24 includes a keyboard and the like for the measurer to set the operation of the spectrometer 20.
  • Display unit 25 Displays measurement data such as a spectrum measured when the spectrometer 20 is operated.
  • Spectrometer function unit 26 Controlled by the CPU 21, measures an incident spectrum based on incident light, measures a reflection spectrum based on reflected light, and outputs measurement result data.
  • USB interface (USB I / F) 27 Transmits the incident spectrum and reflection spectrum data measured by the spectroscope function unit 26 to the smartphone 10 via the USB cable 18C and the USB interface 18.
  • the smart phone 10 is provided with the following components connected via the bus 10B.
  • CPU 11 includes a clock circuit that controls the operation of the smart phone 10 and counts the current time.
  • ROM 12 Stores an operating program (OS) executed by the CPU 11, application programs, and data necessary to execute them.
  • RAM 13 Temporarily stores data to be calculated and measured when the program is executed.
  • SSD 14 Temporarily stores application programs executed by the CPU 11, data necessary to execute them, and data to be calculated and measured.
  • Operation unit 15 includes a keyboard or the like for the measurer to set the operation of the smartphone 10.
  • Display unit 16 Displays measurement data such as a spectrum measured when the smart phone 10 operates, imaging data, operation buttons, and the like.
  • the operation button is, for example, a touch panel on the display unit 16 and includes a state detection button (turned on when the white reflector 4 is placed) used in the plant state detection transmission process of FIG. And operates as the operation unit 15.
  • Shooting camera 17A Shoots the target plant 5 and outputs captured image data.
  • GPS communication unit 17B The local position of the smart phone 10 is measured and output using a known GPS system.
  • Magnetic and acceleration sensor 17C The azimuth ⁇ is measured by the magnetic sensor, the inclination angle ⁇ is measured by the acceleration sensor, and data of the measurement result is output.
  • USB interface (USB I / F) 18 The incident spectrum and reflection spectrum data measured by the spectroscope function unit 26 are received via the USB cable 18C and output to the CPU 112.
  • Wireless communication unit 19 Modulates a radio signal from captured image data and reflection spectrum according to data associated with current position, azimuth ⁇ based on geomagnetism, tilt angle ⁇ with respect to a horizontal plane, and incidental information including measurement time Then, the modulated radio signal is wirelessly transmitted to the server device 3 via the mobile communication network 2 using the antenna 19A.
  • FIG. 3 is a longitudinal sectional view showing an arrangement relationship between the spectral terminal device 1 and the white reflector 4 when the incident spectrum and the reflection spectrum are measured in the spectral terminal device 1 of FIG. .
  • the smart phone 10 and the spectroscope 20 are integrated and accommodated in the apparatus housing 1 ⁇ / b> A to constitute the spectroscopic terminal apparatus 1.
  • a slit 1S and an opening 1H are formed on the side surface of the device casing 1A of the spectroscopic terminal device 1, a slit 1S and an opening 1H are formed.
  • an opening 1C is formed in the apparatus housing 1A between the spectroscope 20 and the smart phone 10, and a reflector 1m that reflects photographing light through the opening 1H is provided directly below the opening 1C.
  • the measurer places the white reflector 4 as shown in FIG. 3 so that the sunlight is reflected by the reflective surface 4m of the white reflector 4 and then passes through the slit 1S. The light is incident on the light receiving unit of the spectroscope function unit 26, and the incident spectrum is measured.
  • the measurer When measuring the reflection spectrum, the measurer removes the white reflector 4 and the reflected sunlight (photographing light) reflected by the target plant 5 passes through the slit 1S through the slit 1S. The light is incident on the light receiving unit and the reflection spectrum is measured. The reflected sunlight (photographing light) is reflected by the reflecting plate 1m through the opening 1H and then received by the photographing camera 17A through the opening 1C, and a photographed image of the target plant 5 is photographed.
  • the reflected sunlight photographing light
  • FIG. 4 is a flowchart showing a plant state detection transmission process executed by the smart phone 10 of FIG.
  • the following plant state detection and transmission processing program can be formed as an application program of the smart phone 10, for example, and can be read by a computer such as a CD-ROM or DVD-ROM via a communication line. It can be provided by being stored in a recording medium.
  • step S1 of FIG. 4 the measurer places the white reflector 4 and in step S2, it is determined whether or not the state detection button is turned on.
  • step S3 the process proceeds to step S3, and when NO, the process returns to step S2.
  • step S3 the spectroscope 20 detects the sunlight reflected by the white reflector 4, and sets the exposure time and the exposure gain based on the detected sunlight.
  • step S4 the smartphone 10 captures the target plant 5 using the capturing camera 17A, captures a captured image (including a spectroscope measurement range frame), and displays the captured image on the display unit 16 in real time.
  • step S5 the measurer fixes the smartphone 10 so that the target plant 5 is included in the spectroscope measurement range frame, and in step S6, it is determined whether or not the spectrum measurement button is turned on.
  • step S7 the process proceeds to step S7, and when NO, the process returns to step S6.
  • step S7 the spectroscope 20 receives sunlight, measures the incident spectrum based on the sunlight, and sends it to the smartphone 10. Based on the measured incident spectrum, an S / N ratio and exposure saturation are calculated by a known method.
  • the smart phone 10 temporarily stores the incident spectrum in the SSD 14 in association with the incidental information of the position, angle, direction, and time at this time.
  • step S8 it is determined whether or not the S / N ratio measured in step S8 is larger than a predetermined S / N ratio threshold value. If YES, the process proceeds to step S9. If NO, the process proceeds to step S10. . Further, it is determined whether or not the exposure saturation measured in step S9 is larger than a predetermined exposure saturation limit value. If YES, the process proceeds to step S11. If NO, the process proceeds to step S10. In step S10, the exposure time and the exposure gain are changed and reset, and then the process returns to step S4.
  • step S11 the measurer removes the white reflector 4, and in step S12, it is determined whether or not the photographing button is turned on. If YES, the process proceeds to step S13. If NO, the process returns to step S12.
  • step S13 the spectroscope 20 detects the reflection spectrum and sends it to the smart phone 10, and the smart phone 10 images the target plant 5, and the plant state information (including the captured image, the reflection spectrum, and its accompanying information) ( Hereinafter, the plant state information is stored in the SSD 14. Furthermore, in step S15, the smart phone 10 transmits the plant state information to the server device 3 via the mobile communication network 2, and ends the plant state detection transmission process.
  • the server device 3 executes the following “plant type and state determination process” using a known method based on the received plant state information, and stores the result in the storage device in the server device 3. And is returned to the smart phone 10 and displayed on the display unit 16.
  • Plant type discrimination processing see, for example, Patent Documents 3 and 6 and Non-Patent Documents 3, 5, 8, and 9
  • Plant health condition discrimination processing see, for example, Patent Documents 1, 2, 4, and 5 and Non-Patent Documents 5, 6, 8, and 9
  • Plant pathogen discrimination processing see, for example, non-patent documents 5, 8, and 9
  • Plant growth stage discrimination processing see, for example, Patent Documents 1, 2, 4, and 5 and Non-Patent Documents 5, 7, 8, and 9)
  • Plant contamination state determination processing see, for example, non-patent documents 5, 8, and 9) (for example, Pb contamination amount)
  • Discrimination processing of CO 2 absorption amount of plants for example, see Non-Patent Documents 5, 8, 9, 10.
  • FIG. 5 is an external perspective view showing a measurement example for measuring the orientation ⁇ of the spectral terminal device 1 of FIG.
  • the azimuth ⁇ (geomagnetic direction based on true north using a geomagnetic sensor) at each position around the target plant 5 can be measured by the geomagnetic sensor in the magnetism and acceleration sensor 17C. .
  • FIG. 6 is an external perspective view showing a measurement example for measuring the tilt angle ⁇ of the spectral terminal device 1 of FIG. As shown in FIG. 6, the inclination angle ⁇ with respect to the horizontal plane around the target plant 5 can be measured.
  • FIG. 7 is a graph showing a measurement example of a reflection spectrum when the direction ⁇ in FIG. 5 is used as a parameter. As shown in FIG. 7, it can be seen that the reflection spectrum of the plant changes depending on the orientation ⁇ . In particular, the reflection spectrum can identify the azimuth ⁇ particularly in the wavelength range of 500 to 650 nm and 700 to 820 nm.
  • FIG. 8 is an external perspective view showing a reflection spectrum measurement example with respect to time change using the spectral terminal device 1 of FIG. 1 when the sun 6 moves
  • FIG. 9 is a time when the time of FIG. 8 is used as a parameter. It is a graph which shows the example of a measurement of a reflection spectrum.
  • the reflection spectrum identifies azimuths of sunlight in the wavelength range of 500 to 650 nm and 750 to 850 nm, for example, at the position of 2 pm and 4 pm of the sun. be able to.
  • FIG. 10A is a photographic image showing a photographed image of a target plant showing an example of plant growth under lead contamination
  • FIG. 10B is an example of plant growth under lead contamination
  • FIG. 10C is a graph showing a measurement example of a reflection spectrum when the lead content in FIG. 10B is used as a parameter.
  • the amount of lead contamination can be identified in the reflection spectrum particularly in the wavelength range of 500 to 650 nm and 730 to 1000 nm.
  • FIG. 11 is a diagram showing a usage image of the camera function of the smart phone 10 in the plant state detection transmission system of FIG.
  • the spectral terminal device 1 including the smartphone 10 transmits captured image data with supplementary information to the server device 3, while the reflection spectrum measured by the spectroscope 20 is transmitted to the server via the smartphone 10.
  • the server device 3 can execute a “plant type and state determination process”.
  • FIG. 12A is an external perspective view showing a measurement example of measuring the azimuth ⁇ of the spectral terminal device 1 of FIG. 1, and FIG. 12B is a graph showing a measurement example of the reflection spectrum when the azimuth ⁇ of FIG. 12A is used as a parameter.
  • the reflection spectrum can be distinguished by changing in the range of 500 to 650 nm and 670 to 850 nm depending on the orientation ⁇ .
  • FIG. 13 is a schematic diagram showing an application example when the spectral terminal device 1 is mounted on the drone 7.
  • the incident angle Ai from the sun 6 to the target plant 5 is constant, but the emission angles Ao1 and Ao2 are changed by moving the spectral terminal device 1 using the drone 7 provided with the spectral terminal device 1.
  • the reflection spectrum can be measured.
  • FIG. 14 is an external perspective view showing an example of organic coupling and complementary use of an image taken by the satellite 8, data obtained by the spectral terminal device 1, and data obtained by the spectral terminal device 1 mounted on the drone 7.
  • FIG. 14 a captured image of the target plant 5 is captured by the satellite 8, the plant state information of the target plant 5 is measured by the spectral terminal device 1 of the drone 7 and the other spectral terminal device 1, and the server device 3 is measured. By transmitting, all plant state information can be collected and the “plant type and state determination process” can be executed.
  • the azimuth ⁇ and the angle ⁇ recorded in association with the reflection spectrum are acquired by the magnetic and acceleration sensor 17C mounted on the smartphone 10, and the position is determined by GPS communication mounted on the smartphone 10. Obtained by the unit 17B.
  • the photographing camera function and time which are standard on the smartphone 10, are also associated.
  • BDRF bidirectional reflectance distribution function
  • BRDF Bidirectional Reflectance Distribution Function
  • the incident light is reflected on the object surface, and it is not considered that the incident light is incident on the inside of the object.
  • the position x is ignored and the BRDF is f r ( ⁇ i , ⁇ r ).
  • the satellite image since the satellite image is originally measured near the ground from directly above, it can be converted and compared to the reflection spectrum obtained from the satellite image.
  • the photographing camera 17A mounted on the smart phone 10 is indispensable for confirming the spectrum measurement region. By photographing and tagging in association with the spectrum, information such as type discrimination and color is known in real space. be able to. Further, since the spectroscope 20 and the smart phone 10 are integrated, the simultaneous measurement can be performed, and it is meaningless if the smart phone 10 and the spectroscope 20 are separated.
  • FIG. 15 is a perspective view for explaining the difference between the measurement example of the conventional example and the measurement example according to the embodiment.
  • an orbiting satellite S1 orbiting the orbit L1 is used to measure the state of an object such as a plant state in a strip-shaped region A1 having a predetermined width.
  • the number of times of measurement and the measurement area are enormous because it is necessary to execute a plurality of times in units of the area A1 within a desired area on the earth surface.
  • an object such as a state of a plant is sequentially formed in the regions A2, A3, and A4 having a predetermined area by using the orbiting satellite S2 that orbits the orbit L2 and has the rotation holding unit 40.
  • the desired state can be obtained. Data can be measured with significantly reduced time costs and processing costs compared to conventional examples.
  • an electronic device such as a smartphone 1, (1) Acquire direction and angle information for specifying the incident direction of the sun by sensor means such as a magnetic and acceleration sensor, (2) Position information necessary for deriving the sun angle by GPS means such as the GPS communication unit 17B and time information by the time measuring means, (3) Associating the captured image data acquired by the imaging means such as the imaging camera 17A with the time acquired by the time measuring means, (4) Collecting reflection spectrum data from a plurality of azimuths and angles with respect to the target object by simultaneously measuring the sun angle at the time of measurement and the incident direction of the sun, (5) Obtaining the collected reflection spectrum data as measurement data of the above-described bidirectional reflectance distribution function, (6) The collected reflection spectrum data is converted into reflection spectrum data to a desired azimuth and angle by using the bidirectional reflectance distribution function, thereby performing classification processing of the type and state of the target object.
  • the type and state of the target object are automatically associated with the incidental information based on the reflection spectrum of sunlight reflected by the target object such as a plant. And easily discriminating.
  • the plant state detection and transmission system according to the present embodiment is the same as the prior art in that it is a small spectroscope 20, but has the following features of the invention.
  • the acquired spectrum information is tagged with both the photograph of the object photographed using the photographing camera 17A attached to the smartphone 10 and the position information of the GPS communication unit 17B.
  • the small spectroscope 20 can measure the entire wavelength range of 380 to 1050 nm, it can inevitably be multifunctional.
  • the reflection spectra of all objects on the earth such as animals and plants, agricultural products, medical products, minerals, foods, etc. can be uploaded to an external database such as the server device 3 with the above-mentioned angle orientation information being tagged.
  • the smartphone 10 can grasp information limited to the reflection spectral spectrum measurement from one place on the ground from the sky.
  • the measurement angle and azimuth information using the magnetic and acceleration sensor 17C, and the linkage between the position information by the GPS communication unit 17B and the normal photographing camera 17A are used to interpret the reflection spectrum using sunlight outdoors. This is unique measurement data.
  • the plant type and state are automatically associated with the incidental information based on the reflection spectrum of sunlight reflected by the plant, and It can be easily distinguished.
  • the plant state data is transmitted using the mobile communication network 2, but the present invention is not limited to this and is transmitted using a communication line such as another wireless communication network or a wired communication network. May be.
  • the smart phone 10 is used.
  • the present invention is not limited to this, and an electronic device such as a personal computer or a mobile phone may be used.
  • the smart phone 10 and the spectroscope 20 are connected using the USB interfaces 18 and 27.
  • the present invention is not limited to this, and may be connected using another communication interface. .
  • the processing for discriminating the type and state of the plant is executed by the server device 3, but the present invention is not limited to this, and may be performed by another terminal device such as the smart phone 10 or a personal computer. Good.
  • the server device 3 collects various data and executes the type and state determination processing of the target plant 5.
  • the present invention is not limited to this, and the server device 3 is connected to the mobile communication network 2. It may be executed by a terminal device such as an electronic device (including the smart phone 10).
  • the classification processing of the type and state of the target plant 5 is executed, but the present invention is not limited to this, and the target is not limited to plants, but animals, crops, medical products, minerals Or any object on the earth, such as food.
  • the type and state determination process of the target object can be performed based on the reflection spectrum.
  • the type and state of the target object are associated with the incidental information based on the reflection spectrum of sunlight reflected by the target object such as a plant.
  • the target object such as a plant.
  • it can be automatically and easily determined.
  • 1 Spectroscopic terminal device 1A ... device housing, 1C, 1H ... opening, 1S ... Slit, 2 Mobile communication network 3 ... Server device, 4 ... White reflector, 4m ... reflective surface, 5 ... Target plant, 6 ... the sun, 7... Drone, 8 ... Satellite, 10 ... Smartphone, 10B ... Bus 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... SSD, 15 ... operation part, 16 ... display part, 17A ... Photography camera, 17B ... GPS communication unit, 17C: Magnetic and acceleration sensor, 18 ... USB interface (USB I / F), 18C USB cable, 19 ... wireless communication part, 19A ... Antenna, 20 ... Spectroscope, 20B ...
  • Bus 21 ... CPU, 22 ... ROM, 23 ... RAM, 24 ... operation unit, 25 ... display section, 26.
  • Spectrometer function section, 27 ... USB interface (USB I / F), 30, 30A, 30B ... moving part, 40 ... rotation holding part, 100 ... Horizon, A1 to A4 ... measurement area, L1, L2 orbit, LL1, LL2 ... Rail, S1, S2 ... Orbiting satellites.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置と、前記分光端末装置に通信回線を介して接続されたサーバ装置とを備えた物体状態検出伝送システムであって、前記電子機器は、対象物体を撮影して撮影画像を得る撮影手段と、前記対象物体の位置を測定するGPS手段と、前記対象物体の方位及び角度を測定するセンサ手段と、前記撮影及び測定の時刻を計時する計時手段と、前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともにサーバ装置に送信する通信手段とを備える。

Description

物体状態検出伝送システム
 本発明は、例えば植物の状態などの物体の状態を検出して伝送する物体状態検出伝送システム、前記物体状態検出伝送システムのための分光端末装置とその制御方法、その制御プログラム、記録媒体、並びに、前記物体状態検出伝送システムのためのサーバ装置に関する。
 従来、環境光や光源管理などを計測するための小型分光器やカラーメータ(以下、第1の従来例という。)は既に市販されており、測定波長範囲が380~780nmながら数十万円で購入できる(例えば、非特許文献1参照)。
 また、分光器に小型の赤外線光源を搭載し、測定対象の農作物や食品などの鮮度や品質に関する情報をその光源からの反射光を用いて取得する小型分光器(以下、第2の従来例という。)も既に開発されている(例えば、非特許文献2参照)。
 さらに、植物で反射された太陽光のスペクトルに基づいて、植物の種類を判別し、植物の健康状態を判定し、もしくは植物の育成状態を判定すること(以下、第3の従来例という。)が例えば特許文献1~6において開示されている。
特開2006-314215号公報 特開2006-317195号公報 特開2015-077113号公報 特開2015-223101号公報 特開2008-076346号公報 特開2012-196167号公報
株式会社セコニック,「分光式カラーメータ スペクトロマスター C-700」,インターネット,[検索日:平成28年8月16日],URL: http://www.sekonic.com/united-states/products/c-700/overview.aspx SiCO, "Spectrometer", インターネット,[検索日:平成28年8月16日],URL: https://www.consumerphysics.com/myscio/scio 沖一雄ほか,「ハイパースペクトルデータによる都市域における植生分類手法の検討」,Eco-Engineering, 17(1), pp.67-72, 2005. 北海道衛星株式会社,「芝生と地面、撮影対象について」,インターネット,[検索日:平成28年8月16日],URL: http://www.hokkaido-sat.co.jp/casestudy-data/plant/plant-ground.html 北海道衛星株式会社,「鮮度の研究、葉もの野菜の鮮度とは」,インターネット,[検索日:平成28年8月16日],URL: http://hokkaido-sat.co.jp/study-archives/36-fundamental-research-fresh.html シーシーエス株式会社,「光と色の話、草や木の葉はなぜ緑色なの否かが判断される。」、インターネット,[検索日:平成28年8月16日],URL: http://www.ccs-inc.co.jp/s2_ps/s1/s_04/column/light_color/vol13.html 伊藤健吾ほか,「分光反射特性を用いた植生の植被率と活性度の分離」,日本リモートセンシング学会誌,Vol.16, No. 4, pp.41-49, 1996 青柳賢英,「ハイパースペクトルカメラの開発とデータ利用」,超小型衛星利用開拓信州ワークショップ,2010年10月25日,インターネット,[検索日:平成28年8月16日],URL: http://www.nano-sat.org/shinshu/files/2010shinshu/07_aoyanagi.pdf 佐鳥新,「北海道における超小型衛星の研究開発」,宇宙政策セミナー,札幌,2013年9月30日,インターネット,[検索日:平成28年8月16日],URL: http://www8.cao.go.jp/space/seminar/fy25-dai3/satori-1.pdf 遠藤貴宏,「ハイパースペクトル計測による植物の二酸化炭素吸収量推定手法に関する研究」,東京大学 博士論文,2003年3月28日
 ところが、第1の従来例の方式では、スペクトルを知ることが出来るのみであり、他の情報との有機的な結びつきをつけることができておらず汎用性に欠ける。また、スペクトルをそのまま導出するに過ぎず、解釈には専門的な知識が必須となる。
 一方、第2の従来例の方式では、測定波長が機器に搭載する光源の波長に限定されており、通常、赤外光に限られている。そのため、取得し利用出来る波長情報は、赤外光に限定されている。
 さらに、第3の従来例では、植物で反射された太陽光の反射スペクトルに基づいて、植物の種類を判別し、植物の健康状態を判定し、もしくは植物の育成状態を判定することができるが、植物の状態を示す画像や位置、時刻などの付帯情報を対応づけて収集することができないという問題点があった。
 本発明の目的は以上の問題点を解決し、例えば植物などの物体で反射された太陽光の反射スペクトルに基づいて物体の種類及び状態を前記付帯情報に対応づけて自動的にかつ容易に判別することができる物体状態検出伝送システムを提供することにある。
 本発明の別の目的は、前記物体状態検出伝送システムのための分光端末装置とその制御方法、その制御プログラム、記録媒体、並びに、前記物体状態検出伝送システムのためのサーバ装置を提供することにある。
 第1の発明に係る物体状態検出伝送システムは、
 対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置と、
 前記分光端末装置に通信回線を介して接続されたサーバ装置とを備えた物体状態検出伝送システムであって、
 前記電子機器は、
 対象物体を撮影して撮影画像を得る撮影手段と、
 前記対象物体の位置を測定するGPS手段と、
 前記対象物体の方位及び角度を測定するセンサ手段と、
 前記撮影及び測定の時刻を計時する計時手段と、
 前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともにサーバ装置に送信する通信手段とを備え、
 前記電子機器は、
(1)前記センサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
(2)前記GPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
(3)前記撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
(4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
(5)当該収集した反射スペクトルデータを、所定の双方向反射率分布関数の測定データとして取得して、
(6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを特徴とする。
 前記物体状態検出伝送システムにおいて、前記対象物体は、植物、動物、農作物、医療物、鉱物又は食品であることを特徴とする。
 また、前記物体状態検出伝送システムにおいて、前記電子機器はスマートホンである。
 さらに、前記物体状態検出伝送システムにおいて、前記撮影手段は前記電子機器に代えて衛星に搭載され、前記衛星は前記撮影画像を前記サーバ装置に無線送信することを特徴とする。
 第2の発明に係る分光端末装置は、対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置であって、
 前記電子機器は、
 対象物体を撮影して撮影画像を得る撮影手段と、
 前記対象物体の位置を測定するGPS手段と、
 前記対象物体の方位及び角度を測定するセンサ手段と、
 前記撮影及び測定の時刻を計時する計時手段と、
 前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともに前記分光端末装置に通信回線を介して接続されたサーバ装置に送信する通信手段とを備え、
 前記電子機器は、
(1)前記センサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
(2)前記GPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
(3)前記撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
(4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
(5)当該収集した反射スペクトルデータを、所定の双方向反射率分布関数の測定データとして取得して、
(6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを特徴とする。
 前記分光端末装置において、前記対象物体は、植物、動物、農作物、医療物、鉱物又は食品であることを特徴とする。
 また、前記分光端末装置において、前記電子機器はスマートホンである。
 さらに、前記分光端末装置において、前記撮影手段は前記電子機器に代えて衛星に搭載され、前記衛星は前記撮影画像を前記サーバ装置に無線送信することを特徴とする。
 第3の発明に係る電子機器の制御方法は、対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置のための電子機器の制御方法であって、
 前記電子機器は、
 対象物体を撮影して撮影画像を得る撮影手段と、
 前記対象物体の位置を測定するGPS手段と、
 前記対象物体の方位及び角度を測定するセンサ手段と、
 前記撮影及び測定の時刻を計時する計時手段と、
 前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともに前記分光端末装置に通信回線を介して接続されたサーバ装置に送信する通信手段とを備え、
 前記制御方法は、
 前記撮影手段が、対象物体を撮影して撮影画像を得るように制御することと、
 前記GPS手段が、前記対象物体の位置を測定するように制御することと、
 前記センサ手段が、前記対象物体の方位及び角度を測定するように制御することと、
 前記通信手段が、前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともに前記分光端末装置に通信回線を介して接続されたサーバ装置に送信するように制御することとを含み、
 前記制御方法はさらに、
(1)前記センサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
(2)前記GPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
(3)前記撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
(4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
(5)当該収集した反射スペクトルデータを、所定の双方向反射率分布関数の測定データとして取得して、
(6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを含むことを特徴とする。
 第4の発明に係る制御プログラムは、前記電子機器により実行される、前記制御方法の各ステップを含むことを特徴とする。
 第5の発明に係るコンピュータにより読取可能な記録媒体は、前記制御プログラムを格納したことを特徴とする。
 第6の発明に係るサーバ装置は、前記物体状態検出伝送システムのためのサーバ装置であって、
 前記電子機器から送信された、前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻、並びに前記反射スペクトルを受信した後、前記対象物体の種別及び判定処理を実行することを特徴とする。
 前記サーバ装置において、前記サーバ装置は前記通信回線に接続された端末装置であることを特徴とする。
 従って、本発明に係る物体状態検出伝送システムによれば、対象物体で反射された太陽光の反射スペクトルに基づいて対象物体の種類及び状態を前記付帯情報に対応づけて自動的にかつ容易に判別することができる。
本発明の一実施形態に係る植物状態検出伝送システムの構成例を示すブロック図である。 図1のスマートホン10及び分光器20の詳細構成例を示すブロック図である。 図1の分光端末装置1において入射スペクトル及び反射スペクトルを測定するときの分光端末装置1と白色反射板4との配置関係及び、分光端末装置1の構成例を示す縦断面図である。 図1のスマートホン10により実行される植物状態検出伝送処理を示すフローチャートである。 図1の分光端末装置1の方位θを測定する測定例を示す外観斜視図である。 図1の分光端末装置1の角度φを測定する測定例を示す外観斜視図である。 図5の方位θをパラメータとしたときの反射スペクトルの測定例を示すグラフである。 太陽6が移動したときに、図1の分光端末装置1を用いて時刻変化に対する反射スペクトルの測定例を示す外観斜視図である。 図8の時刻をパラメータとしたときの反射スペクトルの測定例を示すグラフである。 鉛汚染下での植物育成の一例を示す対象植物の撮影画像を示す写真画像である。 鉛汚染下での植物育成の一例であって、鉛含有量の変化に対する植物育成の変化を示す対象植物の撮影画像を示す写真画像である。 図10Bの鉛含有量をパラメータとしたときの反射スペクトルの測定例を示すグラフである。 図1の植物状態検出伝送システムにおいてスマートホン10のカメラ機能の利用イメージを示す図である。 図1の分光端末装置1の方位θを測定する測定例を示す外観斜視図である。 図12Aの方位θをパラメータとしたときの反射スペクトルの測定例を示すグラフである。 分光端末装置1をドローン7に搭載したときの適用例を示す模式図である。 衛星8により撮影された画像、分光端末装置1により得られたデータ及びドローン7に搭載された分光端末装置1により得られたデータの有機的結合及び相補的利用の一例を示す外観斜視図である。 従来例の測定例と、実施形態にかかる測定例との相違点を説明するための斜視図である。 直線レールLL1を用いて分光端末装置1を移動させて方位θを測定する測定例を示す斜視図である。 曲線レールLL2を用いて分光端末装置1を移動させて方位θを測定する測定例を示す斜視図である。
 以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の実施形態において、同様の構成要素については同一の符号を付している。
 図1は本発明の一実施形態に係る植物状態検出伝送システムの構成例を示すブロック図である。図1において、植物状態検出伝送システムは、移動体通信ネットワーク2を介して互いに接続されかつ一体化された分光端末装置1及びサーバ装置3を備えて構成される。ここで、分光端末装置1は、装置筐体1Aに設けられ、USBケーブル18Cで接続されたスマートホン10及び分光器20とを備えて構成される。
 分光器20は、太陽から直接の太陽光(ただし、実際は図3のごとく白色反射板4で反射される太陽光)をスリット1Sを介して受光することで基準スペクトルである入射スペクトルを測定してUSBケーブル18Cを介してスマートホン10に送り、太陽から対象植物5で反射された反射光をスリット1Sを介して受光することで測定スペクトルである反射スペクトルを測定してスマートホン10に送る。スマートホン10は図4の植物状態検出伝送処理を実行することで、入射スペクトルに基づいてS/N比及び露光値を適正に設定した後、反射スペクトルを受信しかつ対象植物5の撮影画像を開孔1Hを介して撮影し、これらの撮影画像データ及び反射スペクトルを、現在位置、地磁気に基づく方位θ(地磁気センサを用いた真北を基準とする地磁気方位)、水平面に対する傾斜角度φと、測定時刻を含む付帯情報と対応づけて格納した後、移動体通信ネットワーク2を介してサーバ装置3に送信する。サーバ装置3はこれらのデータを受信して、詳細後述するように、対象植物5の種別や状態の判別処理を実行する。
 ここで、分光端末装置1は、図1に示すように、分光端末装置1を回転可能に保持する回転保持部40と、分光端末装置1及び回転保持部40を直線又は曲線で移動させる移動部30とを備える。
 図16は直線レールLL1を用いて分光端末装置1を移動させて方位θを測定する測定例を示す斜視図である。図16においては、例えば地上に設けられた直線レールLL1に沿って分光端末装置1を移動させて方位θを変化できる移動部30Aの一例を示している。
 図17は曲線レールLL2を用いて分光端末装置1を移動させて方位θを測定する測定例を示す斜視図である。図16においては、例えば地上又は両端が地上で固定されるように設けられた曲線レールLL2に沿って分光端末装置1を移動させて方位θを変化できる移動部30Bの一例を示している。
 図2は図1のスマートホン10及び分光器20の詳細構成例を示すブロック図である。
 図2において、分光器20は、バス20Bを介して接続された以下の構成要素を備える。
(1)CPU21:分光器20の動作を制御する。
(2)ROM22:CPU21が実行するオペレーティングプログラム(OS)、アプリケーションプログラム及びそれらを実行するために必要なデータを格納する。
(3)RAM23:前記プログラムを実行するときに演算、測定等されるデータを一時的に格納する。
(4)操作部24:測定者が分光器20の動作を設定するためのキーボード等を含む。
(5)表示部25:分光器20が動作したときに測定されるスペクトル等の測定データ等を表示する。
(6)分光器機能部26:CPU21により制御され、入射光に基づいて入射スペクトルを測定し、反射光に基づいて反射スペクトルを測定して測定結果のデータを出力する。
(7)USBインターフェース(USB I/F)27:分光器機能部26により測定された入射スペクトル及び反射スペクトルのデータをUSBケーブル18C及びUSBインターフェース18を介してスマートホン10に送信する。
 また、スマートホン10は、バス10Bを介して接続された以下の構成要素を備える。
(1)CPU11:スマートホン10の動作を制御し、現在時刻を計時するクロック回路を含む。
(2)ROM12:CPU11が実行するオペレーティングプログラム(OS)、アプリケーションプログラム及びそれらを実行するために必要なデータを格納する。
(3)RAM13:前記プログラムを実行するときに演算、測定等されるデータを一時的に格納する。
(4)SSD14:CPU11が実行するアプリケーションプログラム及びそれらを実行するために必要なデータ、また演算、測定等されるデータを一時的に格納する。
(5)操作部15:測定者がスマートホン10の動作を設定するためのキーボード等を含む。
(6)表示部16:スマートホン10が動作したときに測定されるスペクトル等の測定データ、撮影データ、操作ボタン等を表示する。当該操作ボタンは例えば表示部16上のタッチパネルであって、図4の植物状態検出伝送処理で用いる状態検出ボタン(白色反射板4を載置したときにオンする)、スペクトル測定ボタン、撮影ボタンなどを含み、操作部15として動作する。
(7)撮影カメラ17A:対象植物5を撮影して撮影画像のデータを出力する。
(8)GPS通信部17B:スマートホン10の現地位置を公知のGPSシステムを用いて測定して出力する。
(9)磁気及び加速度センサ17C:磁気センサにより方位θを測定し、加速度センサにより傾斜角度φを測定して、測定結果のデータを出力する。
(10)USBインターフェース(USB I/F)18:分光器機能部26により測定された入射スペクトル及び反射スペクトルのデータをUSBケーブル18Cを介して受信してCPU112出力する。
(11)無線通信部19:撮影画像データ及び反射スペクトルを、現在位置、地磁気に基づく方位θ、水平面に対する傾斜角度φと、測定時刻を含む付帯情報と対応づけたデータに従って無線信号を変調して、変調された無線信号をアンテナ19Aを用いて、移動体通信ネットワーク2を介してサーバ装置3に無線送信する。
 図3は図1の分光端末装置1において入射スペクトル及び反射スペクトルを測定するときの分光端末装置1と白色反射板4との配置関係及び、分光端末装置1の構成例を示す縦断面図である。図3において、スマートホン10と分光器20とは装置筐体1A内に一体化されて収容されて、分光端末装置1を構成する。
 分光端末装置1の装置筐体1Aの側面において、スリット1Sと、開孔1Hとが形成される。また、分光器20とスマートホン10との間の装置筐体1Aに開孔1Cが形成され、開孔1Cの直下に開孔1Hを介して撮影光を反射する反射板1mが設けられる。
(1)入射スペクトルを測定するとき、測定者は白色反射板4を図3のごとく載置することで、太陽光は白色反射板4の反射面4mで反射された後、スリット1Sを介して分光器機能部26の受光部に入射され、入射スペクトルが測定される。
(2)反射スペクトルを測定するとき、測定者は白色反射板4を除去して、対象植物5で反射された太陽光の反射光(撮影光)はスリット1Sを介して分光器機能部26の受光部に入射され、反射スペクトルが測定される。また、太陽光の反射光(撮影光)は開孔1Hを介して、反射板1mで反射された後、開孔1Cを介して撮影カメラ17Aに受光され、対象植物5の撮影画像が撮影される。
 図4は図1のスマートホン10により実行される植物状態検出伝送処理を示すフローチャートである。以下の植物状態検出伝送処理のプログラムは例えばスマートホン10のアプリケーションプログラムとして形成することができ、当該アプリケーションプログラムを通信回線を介して、もしくはCD-ROM又はDVD―ROMなどの、コンピュータにより読取可能な記録媒体に格納して提供できる。
 図4のステップS1において測定者が白色反射板4を載置し、ステップS2において状態検出ボタンがオンされたか否かが判断される。YESのときはステップS3に進む一方、NOのときはステップS2に戻る。ステップS3において分光器20が白色反射板4で反射された太陽光を検出し、検出された太陽光に基づいて露光時間及び露光ゲインを設定する。次いで、ステップS4においてスマートホン10が撮影カメラ17Aを用いて対象植物5を撮影して撮影画像(分光器測定範囲枠を含む)を撮影して表示部16にリアルタイムに表示する。ステップS5において測定者は分光器測定範囲枠内に対象植物5が含まれるようにスマートホン10を固定し、ステップS6において、スペクトル測定ボタンがオンされたか否かが判断される。YESのときはステップS7に進む一方、NOのときはステップS6に戻る。
 ステップS7において、分光器20が太陽光を受光して、太陽光に基づいて入射スペクトルを測定し、スマートホン10に送る。測定された入射スペクトルに基づいて、公知の方法でS/N比及び露光飽和度を計算する。スマートホン10は入射スペクトルを、このときの位置、角度、方位、時刻の付帯情報と対応づけてSSD14に一時的に格納する。次いで、ステップS8において測定されたS/N比が所定のS/N比しきい値よりも大きいか否かが判断され、YESのときはステップS9に進む一方、NOのときはステップS10に進む。また、ステップS9において測定された露光飽和度が所定の露光飽和限界値よりも大きいか否かが判断され、YESのときはステップS11に進む一方、NOのときはステップS10に進む。ステップS10では、露光時間及び露光ゲインを変更して再設定した後、ステップS4に戻る。
 ステップS11において測定者が白色反射板4を撤去し、ステップS12において撮影ボタンがオンされたか否かが判断され、YESのときはステップS13に進む一方、NOのときはステップS12に戻る。ステップS13において分光器20は反射スペクトルを検出してスマートホン10に送り、スマートホン10は対象植物5を撮影して、撮影画像と、前記反射スペクトルと、その付帯情報とを含む植物状態情報(以下、植物状態情報という。)をSSD14に格納する。さらに、ステップS15においてスマートホン10は前記植物状態情報を移動体通信ネットワーク2を介してサーバ装置3に送信して当該植物状態検出伝送処理を終了する。
 さらに、サーバ装置3は、受信される前記植物状態情報に基づいて、公知の方法を用いて以下の「植物の種別及び状態の判定処理」を実行してその結果をサーバ装置3内の記憶装置に格納するとともに、スマートホン10に返信して表示部16に表示させる。
(1)植物の種類の判別処理(例えば、特許文献3,6及び非特許文献3,5,8,9参照)
(2)植物の健康状態の判別処理(例えば、特許文献1,2,4,5及び非特許文献5,6,8,9参照)
(3)植物の病原虫の判別処理(例えば、非特許文献5,8,9参照)
(4)植物の育成段階の判別処理(例えば、特許文献1,2,4,5及び非特許文献5,7,8,9参照)
(5)植物の汚染状態の判別処理(例えば、非特許文献5,8,9参照)(例えばPb汚染量など)
(6)植物のCO吸収量の判別処理(例えば、非特許文献5,8,9,10参照)
 さらに、スマートホン10における付帯情報及び植物の種別及び状態の判定処理の例について以下に説明する。
 図5は図1の分光端末装置1の方位θを測定する測定例を示す外観斜視図である。図5に示すように、対象植物5を中心として各位置での方位θ(地磁気センサを用いた真北を基準とする地磁気方位)を磁気及び加速度センサ17C内の地磁気センサで測定することができる。
 図6は図1の分光端末装置1の傾斜角度φを測定する測定例を示す外観斜視図である。図6に示すように、対象植物5を中心としての水平面に対する傾斜角度φを測定することができる。
 図7は図5の方位θをパラメータとしたときの反射スペクトルの測定例を示すグラフである。図7に示すように、植物の反射スペクトルが方位θに依存して変化することがわかる。特に、反射スペクトルは特に500~650nm、700~820nmの波長範囲で方位θを識別することができる。
 図8は太陽6が移動したときに、図1の分光端末装置1を用いて時刻変化に対する反射スペクトルの測定例を示す外観斜視図であり、図9は図8の時刻をパラメータとしたときの反射スペクトルの測定例を示すグラフである。図8及び図9に示すように、例えば太陽の午後2時の位置と、午後4時の位置とでは、反射スペクトルは特に500~650nm、750~850nmの波長範囲で太陽光のアジマスを識別することができる。
 図10Aは鉛汚染下での植物育成の一例を示す対象植物の撮影画像を示す写真画像であり、図10Bは鉛汚染下での植物育成の一例であって、鉛含有量の変化に対する植物育成の変化を示す対象植物の撮影画像を示す写真画像であり、図10Cは図10Bの鉛含有量をパラメータとしたときの反射スペクトルの測定例を示すグラフである。図10Bに示すように、鉛含有量が大きくなるにつれて植物の生育状態が悪く(小さく)なり、その色も緑から薄い緑色に変化する。また、図10Cに示すように、反射スペクトルは特に500~650nm、730~1000nmの波長範囲で鉛汚染量を識別することができる。
 図11は図1の植物状態検出伝送システムにおいてスマートホン10のカメラ機能の利用イメージを示す図である。図11に示すように、スマートホン10を備える分光端末装置1は付帯情報付き撮影画像のデータをサーバ装置3に送信する一方、分光器20で測定された反射スペクトルはスマートホン10を介してサーバ装置3に送信された後、これらのデータが対応づけてサーバ装置3に統合的に格納された後、サーバ装置3は「植物の種別及び状態の判定処理」を実行することができる。
 図12Aは図1の分光端末装置1の方位θを測定する測定例を示す外観斜視図であり、図12Bは図12Aの方位θをパラメータとしたときの反射スペクトルの測定例を示すグラフである。図12A及び図12Bに示すように、反射スペクトルは方位θに依存して特に500~650nm、670~850nmの範囲で変化して識別できる。
 図13は分光端末装置1をドローン7に搭載したときの適用例を示す模式図である。図13において、太陽6から対象植物5への入射角Aiは一定であるが、分光端末装置1を備えるドローン7を用いて分光端末装置1を移動させることで出射角Ao1,Ao2を変化させて前記の反射スペクトルの測定を行うことができる。
 図14は衛星8により撮影された画像、分光端末装置1により得られたデータ及びドローン7に搭載された分光端末装置1により得られたデータの有機的結合及び相補的利用の一例を示す外観斜視図である。図14に示すように、衛星8により対象植物5の撮影画像を撮影し、ドローン7の分光端末装置1及び他の分光端末装置1により対象植物5の植物状態情報を測定してサーバ装置3に送信することで、すべての植物状態情報を収集して「植物の種別及び状態の判定処理」を実行することができる。
 以上説明したように、本実施形態では、反射スペクトルに関連づけて記録する、方位θ、角度φに関してはスマートホン10に搭載の磁気及び加速度センサ17Cにより取得し、位置をスマートホン10搭載のGPS通信部17Bで取得する。また、スマートホン10に標準搭載されている、撮影カメラ機能や時刻も関連づける。対象植物に対してあらゆる方位θ、角度φからの反射スペクトルデータを収集することで、次式の双方向反射率分布関数(BDRF)を実際の測定データとして取得できる。
 双方向反射率分布関数(Bidirectional Reflectance Distribution Function:以下、BRDFという。)はある位置xにおいて、ある方向ωから光が入射してきたときに、方向ωにどれだけ光が反射するかの割合を表した関数であって、次式で表される。
Figure JPOXMLDOC01-appb-M000001
 ここで、入射光が物体表面で反射すると仮定し、入射光が物体内部に入射することは考えず、また、均一な材質での反射の場合は、位置xを無視してBRDFはf(ω,ω)とかける。
 時刻がわかると、測定時の太陽角度がわかり、磁気及び加速度センサ17Cから、反射スペクトルを測定した植物、果物などに当たる太陽光の入射方位がわかる。ここで、太陽角度の導出には、時刻とともに、位置(観測地の緯度、経度)情報が使われ、どちらもスマートホン10のGPS通信部17Bによって取得される。上記の測定時の太陽角度と太陽光の入射方位を同時に測定することで、望みの方位θ及び角度φへの反射スペクトルの変換が可能となり、本来知られている植物の種類や健康状態判別、病害虫判別、汚染状態判定、育成段階判定を含む「植物の種別及び状態の判定処理」を実行できる。
 また、衛星画像は本来地上付近を真上から測定するので、衛星画像で得た反射スペクトルへの変換や比較ができるようになる。スマートホン10に搭載の撮影カメラ17Aは、スペクトル計測領域を確認するためにも不可欠であり、写真撮影してスペクトルと関連づけてタグづけることで、種類判別や色などの情報を実空間的に知ることができる。また、分光器20とスマートホン10が一体化する仕組みになっていることで、前記の同時測定が可能となるのであり、スマートホン10と分光器20が分離していては意味がない。
 図15は従来例の測定例と、実施形態にかかる測定例との相違点を説明するための斜視図である。図15において、従来例では、周回軌道L1を周回する周回衛星S1を用いて、例えば所定幅のストリップ形状の領域A1における、例えば植物の状態等の物体の状態を測定する。この場合、所望される地球面上の所定領域の範囲で、領域A1を単位として複数回実行する必要があるので、測定回数及び測定領域が膨大になるという問題点があった。
 これに対して、本実施形態では、周回軌道L2を周回しかつ回転保持部40を有する周回衛星S2を用いて、例えば所定面積の領域A2,A3,A4において順次、例えば植物の状態等の物体の状態を測定するときに、上述のように予め収集してサーバ装置3に格納することで、サーバ装置3の情報を用いて上述の双方向反射率分布関数を用いて変換することで所望のデータを、従来例に比較して時間コスト、処理コストを大幅に削減して測定することができる。
 具体的には、スマートホン1などの電子機器を用いて、
(1)磁気及び加速度センサなどのセンサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
(2)GPS通信部17BなどのGPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
(3)撮影カメラ17A等の撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
(4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
(5)当該収集した反射スペクトルデータを、上述の双方向反射率分布関数の測定データとして取得して、
(6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを特徴としている。
 これにより、本発明に係る物体状態検出伝送システムによれば、例えば植物などの対象物体で反射された太陽光の反射スペクトルに基づいて対象物体の種類及び状態を前記付帯情報に対応づけて自動的にかつ容易に判別することができる。
実施形態のまとめ.
 本実施形態に係る植物状態検出伝送システムは、小型分光器20である点は従来技術と変わらないが以下の発明の特徴を有する。
(1)380-1050nmの多波長でスペクトル測定することで可視光から近赤外光までの波長範囲をカバーしつつ、かつ、スマートホン10に付属の磁気及び加速度センサ17Cを利用した測定角度、方位情報、GPS通信部17Bの位置情報を有機的に紐付けされたスペクトル情報を取得することができる。
(2)取得されたスペクトル情報は、前記の角度方位情報に加えて、スマートホン10に付属の撮影カメラ17Aを利用して撮影された対象物の写真とGPS通信部17Bの位置情報ともにタグ付けをされて、サーバ装置3などの外部データベースに保存される。
(3)本実施形態に係る小型分光器20では、380~1050nmの波長範囲をすべて測定できることから、必然的に多機能となりうる。動植物、農作物、医療物、鉱物、食品など、地球上のすべての物体の反射スペクトルを前記の角度方位情報をタグを付けて、サーバ装置3などの外部データベースにアップロードできる。これは、特に屋外で日光の入射角と物体の向きの関係を特定できる点において不可欠な情報であり、この情報を記録できる点は極めて大きな効果を奏する。測定者の希望に応じて測定スペクトルを加工し、農作物の成長度、収穫時期のみならず、屋外での動植物の健康度を簡易的に把握できるサービスをも展開できる。
(4)さらに上述のシステムをドローン7と連携させることで、スマートホン10では地上1カ所からの反射分光スペクトル測定に限られていた情報を上空から把握することが可能となる。その際、磁気及び加速度センサ17Cを利用した測定角度、方位情報、さらにGPS通信部17Bによる位置情報と通常の撮影カメラ17Aとの連携は、屋外で太陽光を利用した反射スペクトルの解釈には、唯一無二の測定データとなる。
 以上説明したように、本実施形態に係る植物状態検出伝送システムによれば、植物で反射された太陽光の反射スペクトルに基づいて植物の種類及び状態を前記付帯情報に対応づけて自動的にかつ容易に判別することができる。
変形例.
 以上の実施形態においては、移動体通信ネットワーク2を用いて植物状態データを伝送しているが、本発明はこれに限らず、その他の無線通信ネットワーク又は有線通信ネットワークなどの通信回線を用いて伝送してもよい。
 以上の実施形態においては、スマートホン10を用いているが、本発明はこれに限らず、パーソナルコンピュータ、携帯電話機などの電子機器を用いてもよい。
 以上の実施形態においては、USBインターフェース18,27を用いてスマートホン10と分光器20とを接続しているが、本発明はこれに限らず、他の通信インターフェースを用いて接続してもよい。
 以上の実施形態においては、植物の種別及び状態の判別処理をサーバ装置3により実行しているが、本発明はこれに限らず、スマートホン10、パーソナルコンピュータなどの別の端末装置で行ってもよい。
 以上の実施形態においては、サーバ装置3が種々のデータを収集して対象植物5の種別及び状態の判別処理を実行しているが、本発明はこれに限らず、移動体通信ネットワーク2に接続された、電子機器(スマートホン10を含む)などの端末装置で実行してもよい。
 以上の実施形態においては、対象植物5の種別及び状態の判別処理を実行しているが、本発明はこれに限らず、対象物は、植物に限定されず、動物、農作物、医療物、鉱物、食品など、地球上のすべての物体であってもよい。この場合において、対象物体の種別及び状態の判別処理を反射スペクトルに基づいて行うことができる。
 以上詳述したように、本発明に係る物体状態検出伝送システムによれば、例えば植物などの対象物体で反射された太陽光の反射スペクトルに基づいて対象物体の種類及び状態を前記付帯情報に対応づけて自動的にかつ容易に判別することができる。
1…分光端末装置、
1A…装置筐体、
1C,1H…開孔、
1S…スリット、
2…移動体通信ネットワーク、
3…サーバ装置、
4…白色反射板、
4m…反射面、
5…対象植物、
6…太陽、
7…ドローン、
8…衛星、
10…スマートホン、
10B…バス、
11…CPU、
12…ROM、
13…RAM、
14…SSD、
15…操作部、
16…表示部、
17A…撮影カメラ、
17B…GPS通信部、
17C…磁気及び加速度センサ、
18…USBインターフェース(USB I/F)、
18C…USBケーブル、
19…無線通信部、
19A…アンテナ、
20…分光器、
20B…バス、
21…CPU、
22…ROM、
23…RAM、
24…操作部、
25…表示部、
26…分光器機能部、
27…USBインターフェース(USB I/F)、
30,30A,30B…移動部、
40…回転保持部、
100…地平線、
A1~A4…測定領域、
L1,L2 周回軌道、
LL1,LL2…レール、
S1,S2…周回衛星。

Claims (13)

  1.  対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置と、
     前記分光端末装置に通信回線を介して接続されたサーバ装置とを備えた物体状態検出伝送システムであって、
     前記電子機器は、
     対象物体を撮影して撮影画像を得る撮影手段と、
     前記対象物体の位置を測定するGPS手段と、
     前記対象物体の方位及び角度を測定するセンサ手段と、
     前記撮影及び測定の時刻を計時する計時手段と、
     前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともにサーバ装置に送信する通信手段とを備え、
     前記電子機器は、
    (1)前記センサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
    (2)前記GPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
    (3)前記撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
    (4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
    (5)当該収集した反射スペクトルデータを、所定の双方向反射率分布関数の測定データとして取得して、
    (6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを特徴とする物体状態検出伝送システム。
  2.  前記対象物体は、植物、動物、農作物、医療物、鉱物又は食品であることを特徴とする請求項1記載の物体状態検出伝送システム。
  3.  前記電子機器はスマートホンである請求項1又は2記載の物体状態検出伝送システム。
  4.  前記撮影手段は前記電子機器に代えて衛星に搭載され、前記衛星は前記撮影画像を前記サーバ装置に無線送信することを特徴とする請求項1~3のうちのいずれか1つに記載の物体状態検出伝送システム。
  5.  対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置であって、
     前記電子機器は、
     対象物体を撮影して撮影画像を得る撮影手段と、
     前記対象物体の位置を測定するGPS手段と、
     前記対象物体の方位及び角度を測定するセンサ手段と、
     前記撮影及び測定の時刻を計時する計時手段と、
     前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともに前記分光端末装置に通信回線を介して接続されたサーバ装置に送信する通信手段とを備え、
     前記電子機器は、
    (1)前記センサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
    (2)前記GPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
    (3)前記撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
    (4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
    (5)当該収集した反射スペクトルデータを、所定の双方向反射率分布関数の測定データとして取得して、
    (6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを特徴とする分光端末装置。
  6.  前記対象物体は、植物、動物、農作物、医療物、鉱物又は食品であることを特徴とする請求項5記載の分光端末装置。
  7.  前記電子機器はスマートホンである請求項5又は6記載の分光端末装置。
  8.  前記撮影手段は前記電子機器に代えて衛星に搭載され、前記衛星は前記撮影画像を前記サーバ装置に無線送信することを特徴とする請求項5~7のうちのいずれか1つに記載の分光端末装置。
  9.  対象物体で反射された反射光に基づいて反射スペクトルを測定する分光器と、前記測定された反射スペクトルを受信する電子機器とを一体的に備えた分光端末装置のための電子機器の制御方法であって、
     前記電子機器は、
     対象物体を撮影して撮影画像を得る撮影手段と、
     前記対象物体の位置を測定するGPS手段と、
     前記対象物体の方位及び角度を測定するセンサ手段と、
     前記撮影及び測定の時刻を計時する計時手段と、
     前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともに前記分光端末装置に通信回線を介して接続されたサーバ装置に送信する通信手段とを備え、
     前記制御方法は、
     前記撮影手段が、対象物体を撮影して撮影画像を得るように制御することと、
     前記GPS手段が、前記対象物体の位置を測定するように制御することと、
     前記センサ手段が、前記対象物体の方位及び角度を測定するように制御することと、
     前記通信手段が、前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻を前記受信した反射スペクトルとともに前記分光端末装置に通信回線を介して接続されたサーバ装置に送信するように制御することとを含み、
     前記制御方法はさらに、
    (1)前記センサ手段により太陽の入射方位を特定する方位及び角度の情報を取得し、
    (2)前記GPS手段により太陽角度の導出に必要な位置情報と前記計時手段により時刻情報を取得し、
    (3)前記撮影手段で取得した撮影画像データを前記計時手段で取得した時刻に関連づけ、
    (4)測定時の前記太陽角度と前記太陽の入射方位を同時に測定することで、対象物体に対して複数の方位及び角度からの反射スペクトルデータを収集し、
    (5)当該収集した反射スペクトルデータを、所定の双方向反射率分布関数の測定データとして取得して、
    (6)当該収集した反射スペクトルデータを、前記双方向反射率分布関数を用いて、所望の方位及び角度への反射スペクトルデータに変換することで、対象物体の種別及び状態の判別処理を行うことを含むことを特徴とする電子機器の制御方法。
  10.  前記電子機器により実行される、請求項9記載の制御方法の各ステップを含むことを特徴とする制御プログラム。
  11.  請求項10記載の制御プログラムを格納したことを特徴とする、コンピュータにより読取可能な記録媒体。
  12.  請求項1~4のうちのいずれか1つに記載の物体状態検出伝送システムのためのサーバ装置であって、
     前記電子機器から送信された、前記撮影画像、前記対象物体の位置、前記対象物体の方位及び角度及び前記撮影及び測定の時刻、並びに前記反射スペクトルを受信した後、前記対象物体の種別及び判定処理を実行することを特徴とするサーバ装置。
  13.  前記サーバ装置は前記通信回線に接続された端末装置であることを特徴とする請求項12記載のサーバ装置。
PCT/JP2017/029791 2016-08-22 2017-08-21 物体状態検出伝送システム WO2018038052A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2017561784A JP6342594B1 (ja) 2016-08-22 2017-08-21 物体状態検出伝送システム
AU2017317412A AU2017317412B2 (en) 2016-08-22 2017-08-21 Object state detection and transmission system
MYPI2018703723A MY196980A (en) 2016-08-22 2017-08-21 Object state detection and transmission system
CN201780026775.8A CN109073538B (zh) 2016-08-22 2017-08-21 物体状态检测传送系统
EP21197143.7A EP3943916B1 (en) 2016-08-22 2017-08-21 Object state detection and transmission system
US16/087,940 US11131583B2 (en) 2016-08-22 2017-08-21 Object state detection and transmission system
EP17843532.7A EP3502664B1 (en) 2016-08-22 2017-08-21 Object state detection and transmission system
KR1020187030578A KR102321554B1 (ko) 2016-08-22 2017-08-21 물체 상태 검출 전송 시스템
CA3019100A CA3019100A1 (en) 2016-08-22 2017-08-21 Object state detection and transmission system
PH12018502003A PH12018502003A1 (en) 2016-08-22 2018-09-18 Object state detection and transmission system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-162160 2016-08-22
JP2016162160 2016-08-22

Publications (1)

Publication Number Publication Date
WO2018038052A1 true WO2018038052A1 (ja) 2018-03-01

Family

ID=61244928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029791 WO2018038052A1 (ja) 2016-08-22 2017-08-21 物体状態検出伝送システム

Country Status (10)

Country Link
US (1) US11131583B2 (ja)
EP (2) EP3943916B1 (ja)
JP (1) JP6342594B1 (ja)
KR (1) KR102321554B1 (ja)
CN (1) CN109073538B (ja)
AU (1) AU2017317412B2 (ja)
CA (1) CA3019100A1 (ja)
MY (1) MY196980A (ja)
PH (1) PH12018502003A1 (ja)
WO (1) WO2018038052A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080284A1 (ja) * 2020-10-13 2022-04-21 国立研究開発法人理化学研究所 携帯機器、食品特性判断装置、食品特性判断方法及びプログラム
JP7189585B1 (ja) 2022-02-07 2022-12-14 国立大学法人北海道大学 情報処理システムおよび分光計測器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296216B1 (ko) * 2020-03-31 2021-09-01 주식회사 쎄슬프라이머스 식물 생육 모니터링 제어 시스템 및 식물 생육 모니터링 제어 방법
AU2021246276A1 (en) * 2020-04-02 2022-10-27 Grace And Kowloon Holdings Limited Tree image data acquisition
US11582398B2 (en) * 2021-01-11 2023-02-14 Datacolor Inc. Calibrating color measurement devices
KR102324228B1 (ko) * 2021-01-15 2021-11-11 서울대학교산학협력단 드론을 활용한 양방향반사율분포함수 관측 방법 및 시스템
CN113799984B (zh) * 2021-08-27 2022-02-22 南京航空航天大学 多机协同搭建任务执行终端、系统及一种附着板材
JP7228860B1 (ja) * 2022-02-07 2023-02-27 国立大学法人北海道大学 分光計測器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500754A (ja) * 1997-03-10 2002-01-08 ドイッチェス ツェントルム フュア ルフト ウント ラウムファールト アインゲトラーゲナー フェライン 双方向性の反射率分布の決定のための装置と方法
JP2007124932A (ja) * 2005-11-02 2007-05-24 National Agriculture & Food Research Organization 植物生育情報処理システム
JP2012159375A (ja) * 2011-01-31 2012-08-23 Fujitsu Ltd 反射率算出装置、反射率算出方法およびプログラム
WO2015195746A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2016127806A (ja) * 2015-01-09 2016-07-14 日立マクセル株式会社 植物情報取得システム、植物情報取得装置および植物情報取得方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000018982A (ja) * 1998-07-02 2000-01-21 Toshiba Corp 土石移動検知方式、土石移動検知センサー、座標測位機器投下制御装置、及び投下型座標測位機器
KR100433263B1 (ko) * 2001-07-25 2004-05-31 대한민국 근적외선 흡수스펙트럼을 이용한 곡물 1립 비파괴 분석방법
JP2006314215A (ja) 2005-05-10 2006-11-24 National Agriculture & Food Research Organization 移動体搭載用の生育度測定装置
JP4599590B2 (ja) 2005-05-10 2010-12-15 独立行政法人農業・食品産業技術総合研究機構 植物の生育度測定装置
US7166825B1 (en) * 2005-05-17 2007-01-23 Itt Manufacturing Enterprises, Inc. Solar calibration device and method
US20080078865A1 (en) * 2006-09-21 2008-04-03 Honeywell International Inc. Unmanned Sensor Placement In A Cluttered Terrain
JP2008076346A (ja) 2006-09-25 2008-04-03 Ebara Corp 植物の生育度測定装置及び生育度測定方法
EP2294121B1 (en) 2008-06-30 2018-10-17 Daikin Industries, Ltd. Curable composition and molded article made of same
JP2012196167A (ja) 2011-03-20 2012-10-18 Fujitsu Ltd 植物種識別方法
DE102011117713B4 (de) * 2011-07-28 2014-02-27 Alfred-Wegener-Institut Helmholtz-Zentrum für Polar- und Meeresforschung Transportables Goniospektrometer mit konstantem Observationszentrum
US9593982B2 (en) * 2012-05-21 2017-03-14 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
CA2829914C (en) 2012-12-07 2016-07-05 The Boeing Company Forest sensor deployment and monitoring system
US9947128B2 (en) * 2013-01-29 2018-04-17 Andrew Robert Korb Methods for improving accuracy, analyzing change detection, and performing data compression for multiple images
JP2015077113A (ja) 2013-10-18 2015-04-23 富士通株式会社 植物判定装置、植物判定方法、及びプログラム
JP2015223101A (ja) 2014-05-27 2015-12-14 日本電気株式会社 植物状態判定装置、植物状態判定方法及び植物状態判定プログラム
CN105300519A (zh) * 2014-07-30 2016-02-03 西安司坤电子科技有限公司 一种用于地物波谱特性的测量装置和方法
CN106954385B (zh) 2015-01-09 2020-07-28 麦克赛尔控股株式会社 植物信息取得系统、植物信息取得装置和植物信息取得方法
US9921105B2 (en) 2015-02-05 2018-03-20 International Business Machines Corporation Mobile cellular spectroscopy
JPWO2016181743A1 (ja) * 2015-05-12 2018-03-01 コニカミノルタ株式会社 植物生育指標測定装置および該方法ならびに植物生育指標測定システム
CN104897616B (zh) * 2015-05-26 2017-09-01 北京理工大学 任意形状样品多光谱双向反射分布函数的测量方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002500754A (ja) * 1997-03-10 2002-01-08 ドイッチェス ツェントルム フュア ルフト ウント ラウムファールト アインゲトラーゲナー フェライン 双方向性の反射率分布の決定のための装置と方法
JP2007124932A (ja) * 2005-11-02 2007-05-24 National Agriculture & Food Research Organization 植物生育情報処理システム
JP2012159375A (ja) * 2011-01-31 2012-08-23 Fujitsu Ltd 反射率算出装置、反射率算出方法およびプログラム
WO2015195746A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2016127806A (ja) * 2015-01-09 2016-07-14 日立マクセル株式会社 植物情報取得システム、植物情報取得装置および植物情報取得方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080284A1 (ja) * 2020-10-13 2022-04-21 国立研究開発法人理化学研究所 携帯機器、食品特性判断装置、食品特性判断方法及びプログラム
JP7189585B1 (ja) 2022-02-07 2022-12-14 国立大学法人北海道大学 情報処理システムおよび分光計測器
JP2023114709A (ja) * 2022-02-07 2023-08-18 国立大学法人北海道大学 情報処理システムおよび分光計測器

Also Published As

Publication number Publication date
EP3943916A1 (en) 2022-01-26
EP3502664A4 (en) 2020-04-01
EP3943916B1 (en) 2023-05-24
EP3502664A1 (en) 2019-06-26
MY196980A (en) 2023-05-16
KR102321554B1 (ko) 2021-11-04
AU2017317412B2 (en) 2022-02-17
CA3019100A1 (en) 2018-03-01
EP3502664B1 (en) 2021-10-27
CN109073538B (zh) 2021-12-10
JPWO2018038052A1 (ja) 2018-08-30
PH12018502003A1 (en) 2019-07-01
AU2017317412A1 (en) 2018-10-25
KR20190039879A (ko) 2019-04-16
US20200319024A1 (en) 2020-10-08
CN109073538A (zh) 2018-12-21
JP6342594B1 (ja) 2018-06-13
US11131583B2 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
JP6342594B1 (ja) 物体状態検出伝送システム
Lussem et al. Estimating biomass in temperate grassland with high resolution canopy surface models from UAV-based RGB images and vegetation indices
Honkavaara et al. Remote sensing of 3-D geometry and surface moisture of a peat production area using hyperspectral frame cameras in visible to short-wave infrared spectral ranges onboard a small unmanned airborne vehicle (UAV)
Caturegli et al. Normalized Difference Vegetation Index versus Dark Green Colour Index to estimate nitrogen status on bermudagrass hybrid and tall fescue
Li et al. Estimating the nitrogen status of crops using a digital camera
Coops et al. Prediction of eucalypt foliage nitrogen content from satellite-derived hyperspectral data
Bannari et al. Characterization of slightly and moderately saline and sodic soils in irrigated agricultural land using simulated data of advanced land imaging (EO‐1) sensor
Miyoshi et al. Radiometric block adjustment of hyperspectral image blocks in the Brazilian environment
Suomalainen et al. Direct reflectance transformation methodology for drone-based hyperspectral imaging
Clevers et al. MERIS and the red-edge position
Cho et al. Hyperspectral predictors for monitoring biomass production in Mediterranean mountain grasslands: Majella National Park, Italy
Ritchie et al. Sensitivities of normalized difference vegetation index and a green/red ratio index to cotton ground cover fraction
Coburn et al. Radiometric and spectral comparison of inexpensive camera systems used for remote sensing
Pu et al. EO‐1 Hyperion, ALI and Landsat 7 ETM+ data comparison for estimating forest crown closure and leaf area index
Sha et al. Comparison of leaf area index inversion for grassland vegetation through remotely sensed spectra by unmanned aerial vehicle and field-based spectroradiometer
Minu et al. The role of atmospheric correction algorithms in the prediction of soil organic carbon from Hyperion data
Bhandari et al. Ground-truthing of UAV-based remote sensing data of citrus plants
Moncholi-Estornell et al. FluoCat: A cable-suspended multi-sensor system for the vegetation SIF Cal/Val monitoring and estimation of effective sunlit surface fluorescence
Bhandari et al. Comparing the effectiveness of hyperspectral and multispectral data in detecting citrus nitrogen and water stresses
Jiao et al. Atmospherically resistant vegetation water indices using the 970-nm water absorption feature
Friell et al. Comparing ground‐based and aerial data at field scale during dry down on golf course fairways
Hamidisepehr et al. A low-cost method for collecting hyperspectral measurements from a small unmanned aircraft system
Song Evaluation of the UAV-based multispectral imagery and its application for crop intra-field nitrogen monitoring and yield prediction in Ontario
Gupta et al. BUILDING SPECTRAL LIBRARY OF SOIL SAMPLES USING SPECTROSCOPIC DEVICE AND ENVI SOFTWARE
Porto et al. Comparison between two radiometric calibration methods applied to UAV multispectral images

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017561784

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 3019100

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20187030578

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017317412

Country of ref document: AU

Date of ref document: 20170821

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843532

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017843532

Country of ref document: EP