WO2022091697A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2022091697A1
WO2022091697A1 PCT/JP2021/036500 JP2021036500W WO2022091697A1 WO 2022091697 A1 WO2022091697 A1 WO 2022091697A1 JP 2021036500 W JP2021036500 W JP 2021036500W WO 2022091697 A1 WO2022091697 A1 WO 2022091697A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
information
band
calculated
envelope
Prior art date
Application number
PCT/JP2021/036500
Other languages
English (en)
French (fr)
Inventor
浩史 森
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21885816.5A priority Critical patent/EP4235122A4/en
Priority to US18/249,504 priority patent/US20230384158A1/en
Priority to CN202180071662.6A priority patent/CN116322304A/zh
Publication of WO2022091697A1 publication Critical patent/WO2022091697A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/2806Array and filter array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0214Airborne
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing

Definitions

  • This technique relates to an information processing device, an information processing method, and a program, and particularly to a technique suitable for generating information about a field.
  • Patent Document 1 discloses a technique for imaging a field and performing remote sensing.
  • a multispectral camera may be used as an image pickup device.
  • Commonly used multispectral cameras include, for example, a monocular sensor equipped with a multi-bandpass filter that transmits two to three types of wavelength bands, or a single wavelength band that is different for each of the compound eye sensors. Some have a bandpass filter that allows them to pass through.
  • the wavelength band detected by such a multispectral camera is often limited to 2 to 5 types due to its physical restrictions. Also, the acquired spectral data is limited to the wavelength characteristics of the pre-designed filter. For this reason, it was difficult to perform sensing according to various types and conditions of plants in the field.
  • this disclosure proposes a technique that enables sensing suitable for various types and conditions of plants.
  • the information processing apparatus generates multi-band data having a plurality of band data including the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data. It is provided with a signal processing unit for generating information and a calculation unit for generating envelope information of spectral data represented by the multi-band data. By reconstructing the band data, envelope information about the multi-band data including the band data of more kinds of wavelength bands than the detected wavelength band is generated.
  • the arithmetic unit generates the first derivative information of the envelope information.
  • the first derivative information of the envelope information is obtained by obtaining the difference in intensity of the same pixel between the band data of the adjacent wavelength band in the multi-band data.
  • the arithmetic unit detects the zero cross point of the primary differential information, and the wavelength of the zero cross point in the middle of the transition of the primary differential information from positive to negative is the envelope information. It is conceivable to specify as the peak wavelength of the envelope, and to specify the wavelength of the zero cross point in the middle of the transition of the first derivative information from negative to positive as the bottom wavelength of the envelope information.
  • the peak wavelength and the bottom wavelength are wavelengths corresponding to the peak and the bottom in the envelope information, respectively.
  • the arithmetic unit calculates an evaluation index using at least one of the peak wavelength and the bottom wavelength. That is, an evaluation index based on the peak wavelength and the bottom wavelength is calculated.
  • the arithmetic unit has a value corresponding to the peak wavelength obtained from the envelope information as a first vertex, and corresponds to the bottom wavelength obtained from the envelope information.
  • the value to be used is set as the second vertex, and the value corresponding to the peak wavelength obtained from the envelope information and the predetermined wavelength located on the long wavelength side of the bottom wavelength is set as the first reference point, and from the envelope information.
  • the value corresponding to the obtained peak wavelength and the predetermined wavelength located on the short wavelength side of the bottom wavelength is set as the second reference point, and the first vertex, the second vertex, and the first reference point are used as the second reference point. It is conceivable to identify a first triangle, and a second triangle consisting of the first vertex, the second vertex, and the second reference point.
  • the first triangle and the second triangle are figures that represent the characteristics of the envelope information.
  • the calculation unit may calculate the area of at least one of the first triangle and the second triangle, and calculate the evaluation index using the calculated area. Conceivable. That is, an evaluation index based on the area of the first triangle or the second triangle is calculated.
  • the calculation unit calculates the angle of at least one internal angle in at least one of the first triangle and the second triangle, and uses the calculated angle as an evaluation index. Can be calculated. That is, an evaluation index based on the angle of the internal angle of the first triangle or the second triangle is calculated.
  • the arithmetic unit calculates the length of at least one side of at least one of the first triangle and the second triangle, and evaluates using the calculated length. It is conceivable to calculate the index. That is, an evaluation index based on the length of the sides of the first triangle and the second triangle is calculated.
  • the arithmetic unit calculates a combined product of the first derivative information from the peak wavelength to the bottom wavelength, and calculates an evaluation index using the calculated combined product. Can be considered. That is, an evaluation index based on the characteristics expressed in the first derivative information is calculated.
  • the arithmetic unit has a combined product of the first derivative information from the peak wavelength to the first wavelength and the first derivative information from the bottom wavelength to the second wavelength. It is conceivable to calculate at least one of the combined product of and to calculate the evaluation index using the calculated combined product. That is, an evaluation index based on the characteristics expressed in the first derivative information is calculated.
  • the arithmetic unit calculates the combined product of the primary differential information from at least one of the peak wavelength and the bottom wavelength to the wavelength corresponding to the inflection point of the primary differential information. It is conceivable to calculate and calculate the evaluation index using the calculated combined product. That is, an evaluation index based on the characteristics expressed in the first derivative information is calculated.
  • the arithmetic unit stores intensity information of a specific wavelength band, and stores difference information from an adjacent wavelength band of a wavelength band other than the specific wavelength band. Can be considered. As information that can reproduce the characteristics of the envelope information, intensity information of a specific wavelength band and difference information between adjacent wavelength bands of wavelength bands other than the specific wavelength band are stored.
  • the calculation unit calculates the difference information of the envelope information between the specific wavelength band and the wavelength band other than the specific wavelength band, and the intensity information of the specific wavelength band. It is conceivable to store the difference information in a wavelength band other than the specific wavelength band. As information that can reproduce the characteristics of the envelope information, intensity information of a specific wavelength band and difference information calculated for a wavelength band other than the specific wavelength band are stored.
  • the detected band data is data obtained by imaging a field.
  • the field broadly includes farmland where crops are cultivated, such as crop cultivated land, cultivated land, hydroponic cultivated land, and house cultivated land.
  • the evaluation index is a vegetation evaluation index.
  • Vegetation metrics include a wide range of indicators that can be used to identify plant types and conditions.
  • the information processing method generates multi-band data having a plurality of band data including the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data. Then, the envelope information of the spectral data represented by the multi-band data is generated. That is, by reconstructing the band data, envelope information about the multi-band data including the band data of more kinds of wavelength bands than the detected wavelength band is generated.
  • the program according to the present technology is a program that causes an information processing apparatus to execute the processing of the above information processing method.
  • a case where the vegetation state of the field is sensed will be described as an example.
  • the image pickup device 250 mounted on the flying object 200 is used to perform remote sensing regarding the vegetation of the field 210.
  • a mapping image showing vegetation data (for example, vegetation evaluation index data) is generated using a large number of image data (hereinafter, also referred to as “image”) obtained by this imaging.
  • FIG. 1 shows the state of the field 210.
  • the small flying object 200 can move over the field 210 by, for example, wireless control by an operator or automatic wireless control.
  • the image pickup device 250 is set in the flying object 200 so as to take an image of, for example, the lower part.
  • the image pickup apparatus 250 can obtain an image of the range AW of the image pickup field of view at each time point by, for example, periodically taking a still image image.
  • the flying object 200 flies over the field 210 from the start position ST shown in FIG. 2A to the end position ED while turning back.
  • the image pickup apparatus 250 images the range AW shown in FIG. 2B at each time point.
  • the image pickup device 250 mounted on the flying object 200 includes a visible light image sensor (an image sensor that captures visible light of R (red), G (green), and B (blue)), NIR (Near Infra Red: near infrared region). ) Cameras for image imaging, Multi Spectrum Cameras that capture images in multiple wavelength bands, hyperspectral cameras, Fourier Transform Infrared Spectroscopy (FTIR), infrared sensors, etc. are assumed. Will be done. Of course, a plurality of types of cameras (sensors) may be mounted on the flying object 200.
  • FTIR Fourier Transform Infrared Spectroscopy
  • the multispectral camera for example, one that captures an NIR image and an R (red) image, and one that can calculate an NDVI (Normalized Difference Vegetation Index) from the obtained images is also assumed to be used.
  • the NDVI is a vegetation index showing the peculiarity of a plant, and can be used as an index showing the distribution status and activity of vegetation.
  • Tag information is added to the image obtained by being imaged by the image pickup apparatus 250.
  • the tag information includes imaging date and time information, position information (latitude / longitude information) as GPS (Global Positioning System) data, flight altitude information of the flying object 200 at the time of imaging, and imaging device information (individual identification information and model of the camera). Information, etc.), information on each image data (information on image size, wavelength, imaging parameters, etc.), etc. are included.
  • the image data and tag information obtained by the image pickup apparatus 250 mounted on the flying object 200 as described above are acquired by the information processing apparatus 1.
  • image data and tag information are transferred by wireless communication or network communication between the image pickup device 250 and the information processing device 1.
  • the network for example, the Internet, a home network, a LAN (Local Area Network), a satellite communication network, and various other networks are assumed.
  • image data and tag information are passed to the information processing device 1 in such a manner that the storage medium (for example, a memory card) mounted on the image pickup device 250 is read by the information processing device 1.
  • the information processing device 1 performs various processes using the acquired image data and tag information. Specifically, the information processing apparatus 1 generates information for evaluating the state and type of vegetation in the field 210 using image data and tag information. In addition, processing is performed to present the generated information as an index or an image. Further, the information processing apparatus 1 can perform a mapping image generation process and a mapping image display process. For example, FIG. 2C shows the range AW of the subject of a plurality of images captured by the image pickup apparatus 250, but by arranging and stitching these according to the position information of the images, for example, as shown in FIG. 2D. Generate a mapping image MP. This makes it possible to generate, for example, an image showing an evaluation index of vegetation for the entire field 210.
  • the information processing device 1 is realized as, for example, a PC (personal computer), an FPGA (field-programmable gate array), or a terminal device such as a smartphone or tablet. Although the information processing device 1 is separate from the image pickup device 250 in FIG. 1, for example, an arithmetic unit (microcomputer or the like) to be the information processing device 1 may be provided in the unit including the image pickup device 250. ..
  • FIG. 3 shows the hardware configuration of the information processing apparatus 1.
  • the information processing device 1 includes a CPU (Central Processing Unit) 51, a ROM (Read Only Memory) 52, and a RAM (Random Access Memory) 53.
  • the CPU 51 executes various processes according to the program stored in the ROM 52 or the program loaded from the storage unit 59 into the RAM 53.
  • the RAM 53 also appropriately stores data and the like necessary for the CPU 51 to execute various processes.
  • the CPU 51, ROM 52, and RAM 53 are connected to each other via the bus 54.
  • An input / output interface 55 is also connected to the bus 54.
  • a display unit 56 composed of a liquid crystal panel or an organic EL (Electroluminescence) panel, an input unit 57 composed of a keyboard, a mouse, etc., an audio output unit 58, a storage unit 59, a communication unit 60, and the like can be connected to the input / output interface 55. be.
  • the display unit 56 may be integrated with the information processing device 1 or may be a separate device.
  • the display unit 56 displays captured images, various calculation results, and the like on the display screen based on the instructions of the CPU 51. Further, the display unit 56 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on the instruction of the CPU 51.
  • GUI Graphic User Interface
  • the input unit 57 means an input device used by a user who uses the information processing device 1.
  • various controls and operation devices such as a keyboard, a mouse, a key, a dial, a touch panel, a touch pad, and a remote controller are assumed.
  • the user's operation is detected by the input unit 57, and the signal corresponding to the input operation is interpreted by the CPU 51.
  • the audio output unit 58 is composed of a speaker, a power amplifier unit for driving the speaker, and the like, and performs necessary audio output.
  • the storage unit 59 is composed of a storage medium such as an HDD (Hard Disk Drive) or a solid-state memory. In the storage unit 59, for example, a program for realizing various functions of the CPU 51 is stored. The storage unit 59 is also used to store image data obtained by the image pickup apparatus 250, various additional data, and various data generated by the CPU 51.
  • HDD Hard Disk Drive
  • solid-state memory for example, a program for realizing various functions of the CPU 51 is stored.
  • the storage unit 59 is also used to store image data obtained by the image pickup apparatus 250, various additional data, and various data generated by the CPU 51.
  • the communication unit 60 performs communication processing via a network including the Internet and communication with devices in various peripheral parts.
  • the communication unit 60 may be, for example, a communication device that communicates with the flying object 200 or the image pickup device 250.
  • a drive 61 is also connected to the input / output interface 55 as needed, and a storage device 62 such as a memory card is attached to the input / output interface 55 to write or read data.
  • a storage device 62 such as a memory card is attached to the input / output interface 55 to write or read data.
  • a computer program read from the storage device 62 may be installed in the storage unit 59 as needed, or data processed by the CPU 51 may be stored.
  • the drive 61 may be a recording / playback drive for a removable storage medium such as a magnetic disk, an optical disk, or a magneto-optical disk. These magnetic disks, optical disks, magneto-optical disks, and the like are also aspects of the storage device 62.
  • the information processing device 1 of the embodiment is not limited to a single information processing device (computer device) 1 having a hardware configuration as shown in FIG. 3, and a plurality of computer devices are systematized. It may be configured.
  • the plurality of computer devices may be systematized by a LAN or the like, or may be arranged in a remote place by a VPN (Virtual Private Network) or the like using the Internet or the like.
  • the plurality of computer devices may include computer devices available by cloud computing services.
  • the information processing device 1 of FIG. 3 can be realized as a stationary type, a notebook type or the like personal computer, or a mobile terminal such as a tablet terminal or a smartphone.
  • an electronic device such as a measuring device, a television device, a monitoring device, an imaging device, and an equipment management device having a function as an information processing device 1 can also be equipped with the information processing device 1 of the present embodiment.
  • the information processing device 1 having such a hardware configuration has a calculation function by the CPU 51, a storage function by the ROM 52, the RAM 53, and the storage unit 59, a data acquisition function by the communication unit 60 and the drive 61, and an output function by the display unit 56 and the like.
  • a calculation function by the CPU 51 a storage function by the ROM 52, the RAM 53, and the storage unit 59
  • a data acquisition function by the communication unit 60 and the drive 61 a data acquisition function by the communication unit 60 and the drive 61
  • an output function by the display unit 56 and the like By having and installed software functioning, it is possible to have various functional configurations.
  • the information processing apparatus 1 of the embodiment is provided with a signal processing unit 2 and a calculation unit 3 shown in FIG.
  • These processing functions are realized by software started by the CPU 51.
  • the program constituting the software is downloaded from the network or read from the storage device 62 (for example, a removable storage medium) and installed in the information processing apparatus 1 of FIG.
  • the program may be stored in advance in the storage unit 59 or the like. Then, when the program is started in the CPU 51, the functions of the above-mentioned parts are exhibited. Further, the calculation progress and the storage of the result of each function are realized by using, for example, the storage area of the RAM 53 or the storage area of the storage unit 59.
  • the signal processing unit 2 is a function of acquiring image data as a processing target and tag information associated with the image data, and performing various signal processing on the image data.
  • the image data captured by the image pickup apparatus 250 is stored in a storage unit 59 or the like, but the CPU 51 reads out the specific image data and targets it for signal processing.
  • the signal processing unit 2 uses the acquired image data to generate multi-band data having a plurality of band data, as will be described later.
  • the calculation unit 3 is a function of performing various calculations using the data generated by the signal processing unit 2. For example, the arithmetic unit 3 generates envelope information, which will be described later, with respect to the spectral data represented by the multi-band data generated by the signal processing unit 2. In addition, an arithmetic process for calculating an evaluation index based on the generated envelope information and an arithmetic process for compressing and storing the generated envelope information are performed.
  • FIG. 4 shows an example of a work procedure for farm management.
  • step S1 the flight of the flying object 200 on the field 210 is performed, and image imaging by the image pickup apparatus 250 is performed, for example, at regular time intervals during the flight. As a result, a large amount of image data can be obtained.
  • the information processing apparatus 1 acquires image data and performs signal processing on the acquired image data.
  • the information processing device 1 captures image data captured during flight by wired or wireless communication from the image pickup device 250 or delivery of a storage device 62 such as a memory card.
  • the information processing device 1 stores image data in, for example, a storage unit 59.
  • the information processing apparatus 1 performs various signal processing described later on the acquired image data, and stores the data generated by the signal processing in, for example, a storage unit 59.
  • step S3 the information processing apparatus 1 performs arithmetic processing using the data generated by the signal processing. For example, calculation of vegetation evaluation index and processing of compressed storage of generated data are performed. A specific processing example will be described later as an arithmetic processing.
  • the information processing apparatus 1 presents the status of the field 210 and various information to the user (for example, the staff of the farm) on the UI screen, and responds to the user's operation. Specifically, the information processing apparatus 1 provides information for considering, for example, whether or not the user performs actions such as replanting, watering, fertilization, pesticides, and herbicide spraying, or which area is the target of the action. Performs processing such as presenting and accepting the designation of the area where the action is expected.
  • step S6 When an action such as a replant is performed as a result of input / output on the UI screen, the process proceeds from step S5 to step S6, and the information processing apparatus 1 displays an instruction file including a ROI (Region of Interest) for the action. Perform the process of generation.
  • This instruction file is provided to the tractor, for example, and the ROI is information indicating the area to be acted on.
  • step S7 the information processing apparatus 1 exports the instruction file.
  • the tractor receives the instruction file, for example, the actual action such as replanting is performed thereafter.
  • the information processing apparatus 1 of the present embodiment particularly performs various processes in the image data acquisition / signal processing in step S2 and the arithmetic processing in step S3.
  • the multispectral camera is provided with a multispectral filter that separates the incident light into more wavelength bands than RGB, so that the image sensor has more than three types of RGB wavelength bands. Some can detect (band) light intensity information.
  • a multispectral filter for example, there is a multispectral filter that utilizes plasmon resonance induced by incident light.
  • a plasmon filter having a hole array structure which is composed of a plasmon resonator in which a plurality of holes are arranged in a honeycomb shape on a thin metal film, can be used.
  • the band data detected by such a multispectral camera can generate band data in a desired wavelength band by calculation between pixels. For example, it is possible to acquire band data in a desired wavelength band by performing demosaic processing on Raw data acquired from an image sensor and then performing an inverse matrix operation. By performing such a wavelength reconstruction (Spectrum Reconstruction) process, it is possible to obtain multi-band data having not only the band data of the detected wavelength band but also the band data of other wavelength bands.
  • Spectrum Reconstruction Spectrum Reconstruction
  • the information processing apparatus 1 of the present embodiment acquires band data of a plurality of wavelength bands detected by a multispectral camera, and performs signal processing on the acquired band data to detect a plurality of wavelength bands.
  • Multi-band data having a plurality of band data (hereinafter, also referred to as a multi-band image) including the band data of the above band data and the band data of the wavelength band reconstructed from the detected band data is generated.
  • the image pickup apparatus 250 acquires the image data of the field 210 during the flight of the flying object 200, and the image data of a large number of range AWs covering a part of the field 210 is acquired at this time.
  • the image data of each range AW includes band data of a predetermined number of wavelength bands detected according to the characteristics of the multispectral filter used as the image pickup apparatus 250. In the example of FIG. 5, it is assumed that the acquired image data includes band data of a number of wavelength bands less than 41.
  • a multi-band individual image Mi for the range AW is generated.
  • the multi-band individual image Mi generated as described above is a partial image covering a part (range AW) of the field 210, but the mapping process is performed using the individual image Mi of a plurality of range AWs.
  • a multi-band mapping image Mm that covers the entire field 210 is generated.
  • the ROI can be set for the multi-band individual image Mi and the mapping image Mm, and various arithmetic processes can be performed on the ROI. For example, statistical processing of pixel values of each layer in the ROI to be processed (calculation processing of total value, mean value, median value, minimum value, maximum value, standard deviation, etc.) is possible.
  • envelope information described later is generated for the ROI set in the multi-band individual image Mi and the mapping image Mm.
  • the envelope information of each ROI in the individual image Mi and the mapping image Mm is shown as the envelope En.
  • FIG. 6 shows a series of signal processing from the acquisition of the image data to be processed by the CPU 51 to the generation of the multi-band mapping image. These processes are realized by the CPU 51 having the function of the signal processing unit 2 shown in FIG.
  • step S51 the CPU 51 acquires the image data to be processed. Specifically, the CPU 51 acquires band data of a plurality of wavelength bands detected by the image pickup apparatus 250.
  • the CPU 51 performs preprocessing on the acquired image data to generate a multi-band image (multi-band individual image Mi).
  • preprocessing in addition to wavelength reconstruction that reconstructs the band data from the acquired band data of the wavelength band, various signal processing is performed according to the characteristics of the acquired image data. For example, spatiotemporal correction, demosaic correction, simultaneous shooting time, spatial coordinate adjustment, spatial resolution interpolation, matrix calculation between pixels, and the like are performed. It should be noted that these processes may be omitted as appropriate depending on the acquired image data.
  • the multi-band image generated by the preprocessing includes the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data, and includes the specifications of the image pickup device and the wavelength reconstruction. It has a wavelength range and the number of layers according to the settings.
  • Such a multi-band image may be an independent file for each band, or may be generated as one file in which information on a plurality of bands is stored.
  • step S53 the CPU 51 performs a mapping process using the individual image Mi generated in step S52.
  • the CPU 51 generates a multi-band mapping image Mm overlooking the field 210 by, for example, stitching or ortho-mosaic processing.
  • the above processing example is an example, and other processing examples can be considered. Further, the above processing does not have to be performed as a series of processing, and for example, the data generated in each step may be temporarily stored in the storage unit 59 and then the processing of the subsequent steps may be performed. Further, it is not necessary to process all the steps shown in FIG. For example, it is not necessary to perform the mapping process in step S53. In this case, the multi-band mapping image Mm is not generated. Furthermore, it is conceivable that a part of the processing of the steps shown in FIG. 6 is performed by the image pickup apparatus 250. For example, the preprocessing of step S52 may be performed in advance by the image pickup apparatus 250, and the information processing apparatus may acquire the image data after the preprocessing.
  • the image pickup apparatus 250 is a multispectral camera capable of acquiring band data in a plurality of wavelength bands, and the information processing apparatus 1 acquires and detects the band data detected by the multispectral camera.
  • the information processing apparatus 1 acquires and detects the band data detected by the multispectral camera.
  • a multi-band image including the detected band data and the reconstructed band data is generated by reconstructing the band data from the collected band data has been described.
  • a detection means such as a hyperspectral camera capable of acquiring band data of the wavelength band is used
  • a multi-band image may be generated without performing wavelength reconstruction in the preprocessing.
  • Arithmetic processing is performed using the multi-band image generated by the processing of the signal processing unit 2. Specifically, the envelope information of the spectral data represented by the multi-band image is generated. In addition, processing for evaluation index calculation and compression storage is performed using the envelope information.
  • FIG. 7 shows spectral data (reflection spectra) of leaves of three types of plants.
  • FIG. 7A is an example of the reflection spectra of leaves of a plant in a good growing state, and the reflection spectra of leaves of corn, cotton, and soybean are represented as envelopes En10, En20, and En30, respectively.
  • FIG. 7A is an example of the reflection spectra of leaves of a plant in a good growing state, and the reflection spectra of leaves of corn, cotton, and soybean are represented as envelopes En10, En20, and En30, respectively.
  • 7B is an example of the reflection spectra of leaves of plants in which the activity of photosynthesis has declined due to ripening, and the reflection spectra of leaves of corn, cotton, and soybean are shown in envelopes En10', En20', and En30', respectively. It is expressed as.
  • the reflection spectrum of FIG. 7 is represented by a 41-layer multi-band image acquired in 10 nm increments with a constant half-width value in the wavelength range from visible light to near-infrared light of 450 nm to 850 nm, and the horizontal axis is from 450 nm.
  • the wavelength in the wavelength range over 850 nm (unit [nm]) the vertical axis represents the output value (intensity information).
  • the envelope of the reflection spectrum is obtained by connecting the plots of the output values of each layer (wavelength band) constituting the reflection spectrum multi-band image on the graph.
  • the output value is, for example, a representative value (mean value, etc.) of statistical data in a certain ROI.
  • the information representing the envelope is also referred to as the envelope information.
  • the shape of the envelope information expressed by such a reflection spectrum shows a feature that can be used to identify the state and type of the plant as the subject.
  • the envelope of the reflection spectrum of a plant has a peak that is convex upward in the green wavelength band and a peak that is convex downward in the red wavelength band according to the reflection / absorption characteristics of chlorophyll and other pigment substances possessed by the plant. That is, it exhibits a bottom that is concave on the top.
  • FIG. 7A shows an example of the reflection spectrum of the leaves of a plant in a good growing state, but the leaves of a plant in a healthy state contain a sufficient concentration of chlorophyll.
  • Chlorophyll absorbs light of blue and red wavelengths that are effective for photosynthesis well, transmits and scatters green wavelengths that are not used for photosynthesis well, and has the characteristic of transmitting and scattering near-infrared light very well. are doing. Therefore, the envelope of the reflection spectrum of the leaf of a healthy plant has a steep amplitude between the inflection points, as seen in the envelopes En10, En20, and En30 of FIG. 7A. On the other hand, since the concentration of chlorophyll is low in the leaves of plants in a declining state, the strong absorption characteristics seen at the wavelengths of blue and red and the transmission / scattering characteristics seen at the wavelengths of green and near infrared are weakened.
  • FIG. 7B shows the tendency of envelopes.
  • FIGS. 7A and 7B show examples of reflection spectra of three different types of plants, but the wavelength values corresponding to the upward convex peak and the concave bottom in each envelope are slightly different. In particular, the difference is remarkable in FIG. 7B.
  • the envelope information of the reflection spectrum contains information that can be used to identify the type and state of the plant.
  • the information expressed as an envelope can provide the user with an overall picture of the reflection spectrum in a visually comprehensible form, by itself, for example, comparative analysis and indexing with accumulated model data. It is difficult to handle as possible data (for example, universal numerical data).
  • the envelope information of the reflection spectrum is analyzed and the features represented by the shape of the envelope are quantitatively expressed. Furthermore, the evaluation index is calculated using the analysis result.
  • FIG. 8 With reference to FIG. 8, the flow of the first arithmetic processing for calculating the evaluation index will be described.
  • the process shown in FIG. 8 is realized by the CPU 51 having the function of the arithmetic unit 3 shown in FIG.
  • the CPU 51 acquires the multi-band image to be processed and sets the ROI.
  • the CPU 51 may acquire a multi-band individual image Mi as a processing target, or may acquire a multi-band mapping image Mm that has been subjected to mapping processing. That is, the CPU 51 may set the ROI for the multi-band individual image Mi, or may set the ROI for the multi-band mapping image Mm. Further, the ROI may be set by the user selecting a desired area, or by automatically selecting a specific area based on various analyzes.
  • step S102 the CPU 51 generates envelope information in the ROI. That is, the CPU 51 generates the envelope information of the ROI set in the multi-band individual image Mi and the mapping image Mm.
  • step S103 the CPU 51 analyzes the envelope information.
  • a specific processing example of the analysis processing will be described later.
  • step S104 the CPU 51 calculates an evaluation index using the result of the analysis process.
  • the evaluation index By performing the above processing, the evaluation index will be calculated.
  • the evaluation index for example, it is conceivable that the evaluation index of vegetation is calculated.
  • the above processing example is an example, and other processing examples can be considered.
  • FIG. 9 shows a schematic diagram of a multi-band image obtained by photographing a field including a cone in a good growing state and a cone damaged by a herbicide from the sky.
  • This multi-band image is a 41-layer multi-band image obtained by acquiring a wavelength range from visible light of 450 nm to 850 nm in the near-infrared region with a constant half-width value in increments of 10 nm.
  • the region R50 in the figure is the ROI that captures the leaves of a healthy plant, and the region R60 is the ROI that captures the leaves of a damaged plant.
  • FIG. 10 shows the envelope information generated for each ROI of FIG.
  • the envelope En1 shown by a solid line in FIG. 10 represents the envelope information of the reflection spectrum connecting the plots of the average values in the region R50.
  • the envelope En2 shown by the broken line represents the envelope information of the reflection spectrum connecting the plots of the average values in the region R60.
  • the region R50 that captures the leaves of a healthy plant exhibits a steep envelope En1
  • the region R60 that captures the leaves of a damaged plant is a relatively less undulating envelope. It presents En2.
  • the first derivative information of the envelope information is generated, and the wavelength corresponding to each of the peak and the bottom of the envelope information is specified.
  • FIG. 11 shows a differential curve obtained by plotting the values obtained by linearly differentiating the envelope information of FIG. 10.
  • the differential curve Cr1 shown by the solid line represents the first-order differential information of the envelope En1
  • the differential curve Cr2 shown by the broken line represents the first-order differential information of the envelope En2.
  • the first derivative information of the envelope information is obtained by obtaining the difference in intensity of the same pixel between adjacent layers in a multi-band image.
  • the value obtained by such a first derivative is referred to as the first derivative information.
  • the differential curves Cr1 and Cr2 have zero cross points where the value of the first derivative information becomes 0 (zero). Specifically, in the differential curve Cr1, the sign of the first derivative information changes before and after the zero cross points Pz1 and Pz2 corresponding to the wavelength ⁇ g and the wavelength ⁇ r. Further, the sign of the differential curve Cr2 changes before and after the zero cross points Pz1'and Pz2' corresponding to the wavelength ⁇ g'and the wavelength ⁇ r'.
  • the wavelengths ⁇ g and ⁇ g'corresponding to the zero point that is, the point where the linear differential information transitions from positive to negative and crosses 0
  • the middle of the transition from positive to negative such as the zero cross points Pz1 and Pz1', are enveloped.
  • the peak wavelength corresponding to the peak (maximum) of the line information It is specified as the peak wavelength corresponding to the peak (maximum) of the line information. Further, the wavelengths ⁇ r and ⁇ r'corresponding to the zero point (that is, the point where the linear differential information changes from negative to positive and crosses 0) in the middle of the transition from negative to positive, such as the zero cross points Pz2 and Pz2', are It is specified to be the bottom wavelength corresponding to the bottom (minimum) of the envelope information.
  • the characteristics of the undulating shape of the envelope information can be quantitatively expressed as numerical information. For example, it is possible to easily quantify the wavelength corresponding to the zero cross point and the difference in peak wavelength and bottom wavelength between healthy leaves and declined leaves.
  • FIG. 12 A processing example of FIG. 12 will be described as a specific example of the first example of the analysis processing for specifying the peak wavelength and the bottom wavelength described with reference to FIGS. 10 and 11. This shows a detailed example of the analysis process of step S103 of FIG.
  • step S201 the CPU 51 generates the first derivative information of the envelope information.
  • step S202 the CPU 51 detects the zero crossing point of the first derivative information.
  • step S203 the CPU 51 specifies the peak wavelength and the bottom wavelength based on the detection result of step S202. That is, among the detected zero cross points, the wavelength of the zero cross point in the middle of the transition of the primary differential information from positive to negative is specified as the peak wavelength, and the wavelength of the zero cross point in the middle of the transition of the primary differential information from negative to positive is specified as the bottom. Specify as wavelength.
  • the peak wavelength and the bottom wavelength of the envelope information are specified by the first example of the analysis process of FIG.
  • the evaluation index is calculated using the information of the specified peak wavelength and bottom wavelength.
  • the CPU 51 may calculate the evaluation index using both the specified peak wavelength and the bottom wavelength, or may calculate the evaluation index using one of them. Further, for example, the evaluation index may be calculated using the calculation results such as the sum, difference, and ratio of the wavelength values of the specified peak wavelength and the bottom wavelength.
  • Second example of analysis processing> A second example of the analysis process will be described with reference to FIGS. 13 to 15.
  • the triangle is specified in the envelope information by using the information of the peak wavelength and the bottom wavelength of the envelope information described in the first example of the analysis process, and the shape of the specified triangle is analyzed.
  • FIG. 13A is an example of analysis of the envelope En1 (that is, envelope information of a healthy plant leaf) in FIG. 10A
  • FIG. 13B is an analysis of the envelope En2 (that is, envelope information of a damaged plant leaf) of FIG. 10A.
  • the first triangle ⁇ RE and the second triangle ⁇ VIS consisting of three points existing on the envelope En1 are specified.
  • the first triangle ⁇ RE'and the second triangle ⁇ VIS' consisting of three points existing on the envelope En2 are specified.
  • the first vertices Pg and Pg'shown in FIGS. 13A and 13B are points (values of envelope information) on the envelopes En1 and En2 corresponding to the peak wavelengths ⁇ g and ⁇ g', respectively. It corresponds to the peak of En1 and En2.
  • the triangle defined by the three points on the envelope can be specified.
  • the first reference point Tri is added to the first vertex Pg and the second vertex Pr, and the first vertex Pg, the second vertex Pr, and the first reference point Tri are three points.
  • a first triangle ⁇ RE consisting of is defined.
  • the first reference point Pir'is added to the first vertex Pg'and the second vertex Pr', and the first vertex Pg', the second vertex Pr', and the first vertex are added.
  • a first triangle ⁇ RE'consisting of three points of the reference point Pil'is defined.
  • the first predetermined wavelength ⁇ ir is a wavelength on the longer wavelength side than the peak wavelengths ⁇ g and ⁇ g'and the bottom wavelengths ⁇ r and ⁇ r'. Is set to.
  • the first predetermined wavelength ⁇ ir can be set to a desired wavelength according to the purpose of analysis. For example, the wavelength corresponding to the inflection point of the envelope or the longest wavelength in the envelope information to be processed.
  • the wavelength on the side may be set to the first predetermined wavelength ⁇ ir.
  • the envelope information of FIG. 13A when the second reference point Pb is added to the first vertex Pg and the second vertex Pr, the first vertex Pg, the second vertex Pr, and the second reference point Pb A second triangle ⁇ VIS consisting of three points is identified.
  • the envelope information of FIG. 13B by adding the second reference point Pb'to the first vertex Pg'and the second vertex Pr', the first vertex Pg'and the second vertex Pr'are obtained.
  • a second triangle ⁇ VIS' consisting of three points of the second reference point Pb'is identified.
  • the second predetermined wavelength ⁇ b is a wavelength on the shorter wavelength side than the peak wavelengths ⁇ g and ⁇ g'and the bottom wavelengths ⁇ r and ⁇ r', and in the analysis example of FIG. 13, the wavelength corresponding to blue 450 nm is set as the second predetermined wavelength ⁇ b. are doing.
  • the second predetermined wavelength ⁇ b can be set to a desired wavelength according to the purpose of analysis. For example, in the wavelength corresponding to the inflection point of the envelope or in the envelope information as in this analysis example.
  • the wavelength on the shortest wavelength side may be set to the second predetermined wavelength ⁇ b.
  • T ⁇ RE and T ⁇ RE' which are the areas of the first triangles ⁇ RE and ⁇ RE', are defined by the following (Equation 2) and (Equation 4), respectively.
  • T ⁇ VIS and T ⁇ VIS' which are the areas of the second triangles ⁇ VIS and ⁇ VIS', are defined by the following (Equation 3) and (Equation 5), respectively.
  • the areas T ⁇ RE and T ⁇ RE'of the first triangle and the areas T ⁇ VIS and T ⁇ VIS' of the second triangle calculated as described above represent the shape of the envelope of the reflection spectrum shown by the plants in different states. Can be regarded. Therefore, for example, it is conceivable to use the calculation results such as the area of the first triangle ⁇ RE and the second triangle ⁇ VIS and the sum, difference, and ratio of these areas to specify the type and state of the plant. That is, the area of the triangle specified in the envelope information can be calculated, and the vegetation evaluation index can be calculated using the calculated area.
  • first triangle ⁇ RE and the second triangle ⁇ VIS specified in the envelope information as described above, it is possible to express the characteristics of the envelope information in a more diverse manner by analyzing the shapes thereof. ..
  • an analysis example of the triangle specified with reference to FIG. 14 will be described.
  • FIG. 14 shows an analysis example of the first triangle ⁇ RE shown in FIG. 13A.
  • the first triangle ⁇ RE is decomposed into three triangles ⁇ RE1, ⁇ RE2, and ⁇ RE3.
  • the areas T ⁇ RE1, T ⁇ RE2, and T ⁇ RE3 of the triangles ⁇ RE1, ⁇ RE2, and ⁇ RE3 constituting the first triangle ⁇ RE are defined by the following (Equation 6), (Equation 7), and (Equation 8).
  • the area of each of the three triangles constituting the first triangle ⁇ RE obtained by such analysis, the areas of T ⁇ RE1, T ⁇ RE2, and T ⁇ RE3, and the calculation results such as the sum, difference, and ratio of these areas are obtained from the plant type. It can be used to identify the condition. That is, the area of the figure constituting the triangle can be calculated, and the vegetation evaluation index can be calculated using the calculated area.
  • the angles of the internal angles A1, A2, and A3 of the first triangle ⁇ RE obtained by such analysis, and the calculation results such as the sum, difference, and ratio of these angles are used to specify the type and state of the plant. Can be considered. That is, the angle of the internal angle of the triangle can be calculated, and the vegetation evaluation index can be calculated using the calculated angle.
  • the internal angle A2 becomes obtuse in the first triangle ⁇ RE'of a generally declining plant compared to the first triangle ⁇ RE of a healthy plant.
  • the internal angle A1 and the internal angle A3 become sharper.
  • the angle of the internal angle A1 is affected by which wavelength the peak wavelength becomes. Therefore, it can be said that the angles of the three vertices of the first triangles ⁇ RE and ⁇ RE'and their ratios are meaningful as means for expressing the type and state of the plant.
  • each side L1, L2, L3 obtained by such analysis can be used, and the calculation results such as the sum, difference, and ratio of these lengths to specify the type and state of the plant. .. That is, the length of the side of the triangle can be calculated, and the vegetation evaluation index can be calculated using the calculated length.
  • the amplitude difference between the peak and the bottom in the envelope information becomes small, so that the sides L2 and the sides are particularly small.
  • L3 is relatively longer.
  • the side L2 is affected not only by the amplitude of the output values of the peak wavelength and the bottom wavelength but also by how the distance between the peak wavelength and the bottom wavelength changes. Therefore, it can be said that the lengths of the sides of the first triangles ⁇ RE and ⁇ RE'and their ratios are meaningful as means for expressing the type and state of the plant.
  • FIG. 15 shows a detailed example of the analysis process of step S103 of FIG.
  • the CPU 51 performs each process of steps S201, S202, and S203 to specify the peak wavelength and the bottom wavelength in the envelope information.
  • step S204 the CPU 51 identifies the triangle.
  • the CPU 51 uses the peak wavelength and the bottom wavelength specified in step S203, the peak wavelength value obtained from the envelope information is set as the first vertex, and the bottom wavelength value obtained from the envelope information is set as the second vertex.
  • the CPU 51 uses the value of the first predetermined wavelength obtained from the envelope information as the first reference point, and identifies the first triangle consisting of the first vertex, the second vertex, and the first reference point.
  • the CPU 51 uses the value of the second predetermined wavelength obtained from the envelope information as the second reference point, and identifies the second triangle composed of the first vertex, the second vertex, and the second reference point.
  • both the first triangle and the second triangle may be specified, or only one of them may be specified.
  • step S205 the CPU 51 calculates various information of the specified triangle.
  • the CPU 51 calculates the areas of the first triangle and the second triangle specified in step S204.
  • the CPU 51 may calculate the area of both the first triangle and the second triangle, or may specify only one area.
  • the various information of the triangle calculated in step S205 is not limited to the area of the first triangle and the second triangle, and may be other information representing the characteristics of the triangle.
  • the angle of the internal angle of the triangle and the length of the side may be calculated.
  • the area of the figures constituting the first triangle or the second triangle may be calculated.
  • the various types of information to be calculated are not limited to one type, and a plurality of different types of various types of information may be calculated.
  • the evaluation index is calculated using various information calculated in the analysis process. For example, it is conceivable to obtain an evaluation index using calculation results such as sums, differences, and ratios of various calculated information. Further, in the analysis examples of FIGS. 13 and 14, the areas of the two triangles, the first triangle and the second triangle, the angles of the vertices, and the lengths of each side are treated independently, but they are essentially correlated. It is also effective to improve the detection accuracy by combining them. Therefore, the evaluation index may be calculated using various types of information.
  • FIG. 16 shows an analysis example of the first derivative information of FIG. 11 obtained by the first derivative of the envelope information of FIG. Specifically, FIG. 16A shows an analysis example of the differential curve Cr1 which is the first derivative information of the envelope En1 of a healthy plant leaf, and FIG. 16B shows the first derivative information of the envelope En2 of the damaged plant leaf. An analysis example of the differential curve Cr2 is shown.
  • the combined product of the first derivative information from the peak wavelength to the bottom wavelength is calculated.
  • the combined product AOCg-r of the first derivative information in the range from the peak wavelength ⁇ g to the bottom wavelength ⁇ r can be approximated by the following (Equation 15).
  • the differential curve Cr2 shown in FIG. 16B the combined product AOCg'-r' of the first derivative information in the range from the peak wavelength ⁇ g'to the bottom wavelength ⁇ r' can be approximated by (Equation 16).
  • the synthetic product AOCg-r and the synthetic product AOCg'-r' calculated by the above formulas represent the shape of the envelope from the green peak to the red bottom of the reflection spectrum shown by plants in different states. Can be regarded as being. Therefore, for example, it is conceivable to use the combined product of the first derivative information from the peak wavelength to the bottom wavelength and the calculation results such as the difference, distribution, and ratio of the combined product to specify the type and state of the plant. That is, the combined product of the first-order differential information from the peak wavelength to the bottom wavelength can be calculated, and the calculated combined product can be used to calculate the vegetation evaluation index.
  • the characteristic of the shape of the envelope is expressed as a composite product of the first-order differential information over the entire reflection spectrum. It is also possible to do.
  • an example of calculating the combined product of another range will be described with reference to FIGS. 17 and 18.
  • FIG. 17A shows an analysis example of the differential curve Cr1 which is the first derivative information of the envelope En1 of the leaves of a healthy plant.
  • FIG. 17B shows an analysis example of the differential curve Cr2 which is the first derivative information of the envelope En2 of the leaf of the damaged plant.
  • the first specific wavelength and the second specific wavelength are selected, and the selected specific wavelength, the peak wavelength, and the bottom wavelength are used to divide the primary differential information into three regions.
  • the first specific wavelength is, for example, a wavelength on the short wavelength side, and 450 nm is selected in this example.
  • the second specific wavelength is, for example, a wavelength on the long wavelength side, and 800 nm is selected in this example.
  • the differential curves Cr1 and Cr2 have a region in the range from 450 nm to the peak wavelengths ⁇ g and ⁇ g'and a region in the range from the peak wavelengths ⁇ g and ⁇ g' to the bottom wavelengths ⁇ r and ⁇ r'. And the region in the range from the bottom wavelengths ⁇ r and ⁇ r'to 800 nm.
  • the combined product of the first derivative information in each region can be obtained.
  • the combined products AUC450-g and AUC450-g'in the region from 450 nm to the peak wavelengths ⁇ g and ⁇ g'in the first derivative information of FIGS. 17A and 17B are (Equation 17) and (Equation 17), respectively. It can be approximated by 18).
  • the combined products AUCr-800 and AUCr'-800 in the region from the bottom wavelengths ⁇ r and ⁇ r'to 800 nm in the first derivative information of FIGS. 17A and 17B are approximated by (Equation 19) and (Equation 20), respectively. can do.
  • each of the envelope En1 and the envelope En2 can be expressed as a combination of the combined product of three types of first-order differential information. Generally, in damaged plants, the amplitude between the peak and bottom of the envelope of the reflection spectrum tends to be small.
  • the sum of the three-region synthetic product AUC450-g', AOCg'-r', and AUCr'-800 in the first derivative information of the declined plant is the sum of the three regions synthetic product in the first derivative information of the healthy plant. It becomes smaller. It can also be said that the distribution and ratio of the synthetic product of the three regions in the first derivative information are also meaningful as a means of expressing the type and state of the plant. Furthermore, for two different species or states of plants, a comparison of the combined product in the region from the peak wavelength to the bottom wavelength, a comparison of the combined product in the region from 450 nm to the peak wavelength, from the bottom wavelength to 800 nm. It is also possible to compare the combined products of all regions and analyze the tendency of the difference. That is, at least one of the combined product of the primary differential information from the peak wavelength to the first specific wavelength and the combined product of the primary differential information from the bottom wavelength to the second specific wavelength is calculated, and the calculated combined product is calculated. It can be used to calculate an evaluation index.
  • the region of the first derivative information can be subdivided and the combined product of more regions can be analyzed.
  • a specific analysis example will be described with reference to FIG.
  • FIG. 18 shows an analysis example of the differential curve Cr1 of the first derivative information of the envelope En1 of a healthy plant.
  • the wavelength ⁇ f0 corresponding to the inflection located between the peak wavelength ⁇ g and the bottom wavelength ⁇ r is selected as an additional specific wavelength.
  • the additional specific wavelength ⁇ f0 divides the region from the peak wavelength ⁇ g to the bottom wavelength ⁇ r into regions before and after it.
  • the wavelength ⁇ f1 corresponding to the inflection located between the bottom wavelength ⁇ r and 800 nm is selected as an additional specific wavelength.
  • the additional specific wavelength ⁇ f1 divides the region from the bottom wavelength ⁇ r to 800 nm into regions before and after it.
  • FIG. 19 shows a detailed example of the analysis process of step S103 of FIG.
  • the CPU 51 performs each process of steps S201, S202, and S203 to specify the peak wavelength and the bottom wavelength in the envelope information.
  • the CPU 51 sets a predetermined range for calculating the combined product. For example, the CPU 51 sets a range from the peak wavelength to the bottom wavelength in a predetermined range. Further, the CPU 51 may select a specific wavelength and set a predetermined range using the selected specific wavelength. For example, the CPU 51 selects a specific wavelength as the first specific wavelength and the second specific wavelength, and sets a range from the first specific wavelength to the peak wavelength and a range from the bottom wavelength to the second specific wavelength, respectively. It may be set in a predetermined range.
  • the predetermined range is not limited to one, and a plurality of wavelengths may be selected as specific wavelengths to set a plurality of predetermined ranges.
  • step S207 the CPU 51 calculates the combined product in a predetermined range in the first derivative information. For example, when the range from the peak wavelength to the bottom wavelength is set to a predetermined range in step S206, the CPU 51 calculates the combined product of the first derivative information from the peak wavelength to the bottom wavelength. When a plurality of predetermined ranges are set in step S206, the CPU 51 calculates the combined product of the plurality of predetermined ranges in the first derivative information.
  • the combined product of the first derivative information in a predetermined range is calculated by the third example of the analysis process of FIG.
  • the evaluation index is calculated using the calculated synthetic product. For example, it is conceivable to calculate the evaluation index using the calculated synthetic product and the calculation results such as the sum, difference, ratio, and distribution of the calculated synthetic product.
  • the analysis process of the present embodiment makes it possible to quantify and express the characteristics of the envelope information in which the reflection characteristics of the subject are developed.
  • the envelope information of a complicated reflection spectrum can be converted into a polygon by a simple mathematical formula using its representative feature points, and quantitatively expressed by its area, the size of the internal angle, and the length of each side. It can be converted into first-order differential information, divided into a plurality of regions using its zero cross point, specific wavelength and inflection point, and quantitatively expressed by the combined product. This makes it possible to visualize the sensory empirical knowledge about the color of the subject as explicit knowledge.
  • the evaluation index calculated based on the above analysis process may be presented as map information.
  • map information it is conceivable to present the situation of the target range as the envelope information of the reflection spectrum and the vegetation index map obtained by converting it into a simple formula.
  • the area T ⁇ RE of the first triangle, the sum of the areas T ⁇ VIS of the second triangle, the difference and its ratio, the angles and ratios of the internal angles A1, A2, and A3, or the lengths and ratios of the sides L1, L2, and L3 are visualized.
  • the mode of presenting the evaluation index described above is an example, and the evaluation index may be presented in another mode.
  • Second arithmetic processing compression save>
  • the arithmetic processing for compressing and storing the multi-band image will be described.
  • the data size of a multi-band image increases according to the number of bands constituting the image.
  • the spatial information of the imaging range can be expressed by the two axes of x and y, and the spectral data can be expressed as three-dimensional information in the shape of an image cube expanded on the z axis.
  • the data size (hereinafter, also referred to as the amount of data) increases in proportion to the increase in the number of bands. Therefore, a large amount of storage is required to store a multi-band image having a large number of bands, which may lead to an increase in cost. Therefore, in the present embodiment, arithmetic processing is performed on the multi-band image, and information that can reproduce the envelope information is stored while reducing the amount of data.
  • FIG. 20 shows envelope information of a 41-layer multiband image acquired in increments of 10 nm with a constant half-width value in the wavelength range from visible light to near-infrared light of 450 nm to 850 nm.
  • Envelope lines En50, En60, and En70 in FIG. 20 represent ROI envelope information for plants, dry soil, and moist soil, respectively.
  • the word length is set to 10 bits (0 to 1023) as an example, and the intensity information of the reflection spectrum of each subject is expressed as the absolute value of the amplitude from 0. Therefore, regardless of the characteristics of the subject, the amount of data contained in one multi-band image is 10 bits ⁇ 41 layers ⁇ the number of pixels.
  • FIG. 21 shows the first derivative information obtained by first derivativeizing the envelope information of FIG. 20.
  • the differential curves Cr50, Cr60, and Cr70 in FIG. 21 represent the first-order differential information of the envelopes En50, En60, and En70 in FIG. 20, respectively.
  • the wavelength band of 450 nm is selected as the reference band, and the first derivative information between adjacent bands calculated from the reference band, that is, the difference information between 40 sets of adjacent bands (460 nm-450 nm).
  • 470 nm-460 nm, 480 nm-470 nm, ... 840 nm-830 nm, 850 nm-840 nm) have been calculated.
  • the strength information of the reference band and the difference information between the adjacent bands of the bands other than the reference band are stored. Since the amount of change between adjacent bands in the envelope information is limited, the numerical value representing the difference information between adjacent bands is smaller than the numerical value representing the intensity information of each band as an absolute value. Therefore, the amplitude in the difference information between adjacent bands is significantly compressed. Further, since the wavelength dependence of the reflection spectrum is weak depending on the subject to be photographed such as soil, the difference information between the bands becomes smaller. Therefore, when storing the difference information obtained by the first derivative, the number of bits required for storing the amplitude value can be reduced.
  • the amount of data can be significantly reduced as compared with the case where the envelope information shown in FIG. 20 is stored while storing the information expressing the characteristics of the envelope information. Further, by reapplying the first derivative to the information stored in this way, the original envelope information can be easily reproduced. Furthermore, by recalculating all the first derivative from the envelope information of the reference band to the specific band, the image data of the specific band can be reproduced.
  • FIG. 22 shows the difference information between the reference band and each of the other bands calculated from the envelope information of FIG. 20.
  • the difference information of the intensity between the reference band and each of the other bands is calculated with the wavelength band of 450 nm as the reference band.
  • the difference lines Ln50, Ln60, and Ln70 in the figure are curves obtained by plotting the values of the difference information calculated using the envelope lines En50, En60, and En70 in FIG. 20, respectively.
  • the strength information of the reference band and the difference information between the reference bands of the bands other than the reference band are stored.
  • the numerical value representing the difference information from the reference band is smaller than the numerical value representing the intensity information of each band as an absolute value
  • the amplitude in the difference information is significantly compressed. Therefore, the number of bits required to store the amplitude value can be reduced. Therefore, although the amount of data to be reduced is smaller than that of the compression example of FIG. 21, the amount of data can be reduced as compared with the amount of data of the envelope information shown in FIG. By performing an operation using the information saved in this way, the original envelope information can be easily reproduced.
  • the intensity information of all bands other than the reference band is uniquely defined as the difference information from the reference band
  • only the envelope information of the reference band and the difference information between the specific band are used.
  • the image data of a specific band can be reproduced by the calculation used. That is, it is possible to reproduce the image data of a specific band by a simpler operation as compared with FIG. 21.
  • the wavelength-to-wavelength calculation between a specific plurality of bands can be expressed as a direct difference of the difference information from each reference band.
  • FIG. 23 the flow of the arithmetic processing for compressing and storing the envelope information in the second arithmetic processing of the present embodiment will be described.
  • the process shown in FIG. 23 is realized by the CPU 51 having the function of the arithmetic unit 3 shown in FIG. It should be noted that the same step number processing as the processing described in the first arithmetic processing of FIG. 8 avoids duplicate explanations.
  • the CPU 51 performs each process of steps S101 and S102, acquires a multi-band image to be processed, sets an ROI, and generates envelope information in the ROI.
  • step S105 the CPU 51 selects a specific wavelength band as a reference wavelength band.
  • step S106 the CPU 51 generates the difference information.
  • the CPU 51 obtains difference information between adjacent wavelength bands starting from a selected specific wavelength band by first-order differentiation.
  • the CPU 51 may obtain difference information from a reference wavelength band for a wavelength band other than the specific wavelength band.
  • step S107 the CPU 51 performs a saving process using the generated difference information.
  • the CPU 51 stores intensity information in the envelope information of a specific wavelength band and difference information between adjacent wavelength bands of wavelength bands other than the specific wavelength band. Further, the CPU 51 stores the difference information between the intensity information of the specific wavelength band and the reference wavelength band of the other wavelength bands.
  • the multi-band image is compressed and saved.
  • the above processing is an example, and other processing examples are also conceivable.
  • the information processing apparatus 1 of the embodiment is a multi-band data (multi) having a plurality of band data including the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data. It includes a signal processing unit 2 that generates individual band image Mi and mapping image Mm), and a calculation unit 3 that generates envelope information (enclosed line En and the like) of spectral data expressed by multi-band data. By reconstructing the band data from the detected band data of a plurality of wavelength bands, multi-band data having more kinds of wavelength band band data than the wavelength band acquired by the detection can be obtained.
  • the envelope information of the spectral data expressed by such multi-band data enables sensing according to various types and states of the subject.
  • the NDVI which is a vegetation index that has been used historically, shows only the contrast between the near-infrared and red reflection / absorption characteristics, whereas the information processing of the embodiment is performed.
  • the multi-band data generated by the apparatus 1 can represent spectral data that reflects various types and states of plants as subjects.
  • the envelope information of such spectral data can be utilized for field management such as extraction of specific problems such as poor growth, diseases, pests, and weed detection.
  • the band data of the detected wavelength band and other undetected wavelength bands may be reconstructed, and the band data is not detected. You may reconstruct only the band data of the wavelength band of.
  • the arithmetic unit 3 gives an example of generating the first derivative information of the envelope information (see FIG. 11 and the like).
  • the first derivative information of the envelope information By generating the first derivative information of the envelope information, it is possible to obtain information expressing the characteristics of the envelope information.
  • the first derivative which is a difference operation between neighboring wavelength bands with strong correlation, features such as inflection points excluding the influence are excluded except in the case of a light source with a emission line spectrum. Point extraction can be realized.
  • the first derivative information of the envelope information it is possible to obtain information expressing the characteristics of the envelope information with a smaller amplitude than the envelope information.
  • the arithmetic unit 3 detects the zero cross points Pz1 and Pz2 of the primary differential information, and the zero cross point in the middle of the transition of the primary differential information from positive to negative.
  • An example was given in which the wavelength ⁇ g of Pz1 is specified as the peak wavelength of the envelope information, and the wavelength ⁇ r of the zero crossing point Pz2 in the middle of the transition of the first derivative information from negative to positive is specified as the bottom wavelength of the envelope information (FIG. 10). See FIG. 12).
  • the peak wavelength and the bottom wavelength in this way, the characteristics of the envelope information can be quantitatively expressed. Specifically, it is possible to obtain the wavelength values corresponding to the peaks and bottoms in the envelope information.
  • the arithmetic unit 3 calculates the evaluation index using at least one of the peak wavelength and the bottom wavelength (see FIGS. 10 to 12). By calculating the evaluation index based on the peak wavelength and the bottom wavelength, it is possible to specify the type and state of the subject by using the features represented by the peak wavelength and the bottom wavelength. For example, it is conceivable to identify the type and state of vegetation.
  • the arithmetic unit 3 sets the value corresponding to the peak wavelength obtained from the envelope information as the first vertex Pg, and the value obtained from the envelope information is described above.
  • the value corresponding to the bottom wavelength is defined as the second vertex Pr, and the value corresponding to the peak wavelength obtained from the envelope information and the predetermined wavelength (first predetermined wavelength ⁇ ir) located on the long wavelength side of the bottom wavelength is the first value.
  • the second reference point Pb is a value corresponding to a predetermined wavelength (second predetermined wavelength ⁇ b) located on the short wavelength side of the peak wavelength and the bottom wavelength obtained from the envelope information.
  • the first triangle ⁇ RE consisting of the vertex Pg, the second vertex Pr and the first reference point Pil
  • the second triangle ⁇ VIS consisting of the first vertex Pg, the second vertex Pr and the second reference point Pb.
  • the arithmetic unit 3 calculates the area of at least one of the first triangle ⁇ RE and the second triangle ⁇ VIS, and evaluates using the calculated area.
  • An example of calculating the index is given (see FIGS. 13 and 15). By calculating the evaluation index based on the area of the first triangle and the second triangle, it is possible to specify the type and state of the subject by using the features represented by the area of each triangle.
  • the arithmetic unit 3 has at least one internal angle (internal angles A1, A2, A3) in at least one of the first triangle ⁇ RE and the second triangle ⁇ VIS.
  • An example was given in which the angle of No. 1 was calculated and the evaluation index was calculated using the calculated angle (see FIGS. 14 and 15).
  • the evaluation index was calculated based on the angle of the internal angle of the first triangle or the second triangle, it is possible to specify the type and state of the subject by using the feature represented by the angle.
  • the arithmetic unit 3 has at least one side (sides L1, L2, L3) of at least one of the first triangle ⁇ RE and the second triangle ⁇ VIS.
  • An example of calculating the length and calculating the evaluation index using the calculated length is given (see FIGS. 14 and 15). By calculating the evaluation index based on the length of the sides of the first triangle and the second triangle, it is possible to specify the type and state of the subject using the features represented by the length of the sides.
  • the arithmetic unit 3 calculates the combined product of the first-order differential information from the peak wavelength to the bottom wavelength, and uses the calculated combined product to generate an evaluation index.
  • An example of calculation is given (see FIGS. 16 to 19).
  • the arithmetic unit 3 uses the combined product of the first derivative information from the peak wavelength to the first wavelength (the first specific wavelength) and the bottom wavelength.
  • An example is given in which at least one of the combined product of the first derivative information up to the second wavelength (the second specific wavelength) is calculated and the evaluation index is calculated using the calculated combined product (FIGS. 17 and 19). reference).
  • the features expressed in the first derivative information are analyzed in more detail by calculating the combined product of the range defined by the first wavelength and the second wavelength in addition to the peak wavelength and the bottom wavelength. Then, the type and state of the subject can be specified.
  • the arithmetic unit 3 has a wavelength (specific wavelength ⁇ f0 or specific wavelength) corresponding to the inflection point of the first derivative information from at least one of the peak wavelength and the bottom wavelength.
  • a wavelength specific wavelength ⁇ f0 or specific wavelength
  • the combined product of the first-order differential information up to ⁇ f1 is calculated and the evaluation index is calculated using the calculated combined product (see FIGS. 18 and 19).
  • the first derivative information by calculating the combined product of the range defined by the wavelength corresponding to the inflection point in addition to the peak wavelength and the bottom wavelength, the features expressed in the first derivative information can be analyzed in more detail. , It is possible to specify the type and state of the subject.
  • the arithmetic unit 3 stores the intensity information of the specific wavelength band (reference band), and the wavelength band other than the specific wavelength band (other than the reference band).
  • An example of storing the difference information of the band) from the adjacent wavelength band is given (see FIGS. 21 and 23).
  • the arithmetic unit 3 has envelope information of a specific wavelength band (reference band) and a wavelength band other than the specific wavelength band (band other than the reference band).
  • the difference information is calculated, the intensity information of a specific wavelength band is stored, and the difference information of a wavelength band other than the specific wavelength band is stored (see FIGS. 22 and 23).
  • the detected band data is the data obtained by imaging the field (field 210).
  • multi-band data is generated using the band data obtained by imaging the field, and the envelope information of the multi-band data in the field can be obtained. That is, it is possible to perform sensing that can be utilized for field management.
  • the field is not limited to the cultivated land of the field farmland, and may be a land for hydroponics or house cultivation. Further, in the embodiment, an example of aerial photography using the image pickup apparatus 250 mounted on the flying object 200 has been described, but the scope of application of the present disclosure is not limited to this.
  • field sensor cameras installed in fields and houses, movable sensor cameras mounted on agricultural machines such as tractors and irrigation pivots, remote sensing cameras mounted on manned airplanes, and multi-band sensors mounted on satellites. It can be widely applied to the sensing that was used.
  • the evaluation index is a vegetation evaluation index. This makes it possible to calculate evaluation indexes according to various types and conditions of plants.
  • an example of identifying the type of plant and the state of the plant has been described, but the scope of application of the present disclosure is not limited to this, and for example, in the agricultural field, identification of soil and crop, type of soil. It can also be applied to the identification of states. It can also be applied to discriminate between fruits and leaves / stems, and to discriminate the maturity of fruits.
  • the present disclosure can be applied to fields other than the agricultural field.
  • the location of the information processing devices and programs disclosed in this disclosure such as actions that humans normally identify by relying on vision, such as sorting by color inspection at factories and identifying good products at the time of purchase at the fresh food department.
  • the ROI is set in the multi-band image and the evaluation index is calculated and the compression storage calculation process is performed for the envelope information in the ROI has been described (see FIGS. 8 and 23).
  • the calculation between layers in a multi-band image requires powerful processing power, but the processing power required for the calculation can be reduced by performing the calculation processing only for the envelope information in the set ROI.
  • some ROIs are set in advance from the multi-band image, envelope information and first derivative information are generated only for the set ROIs, and in calculating the evaluation index, the vicinity of the variation point obtained from the first derivative information is generated. It is conceivable to selectively use the envelope information of the band and to use the difference information obtained by reapplying the first derivative to the envelope information for compression storage.
  • map information based on the evaluation index can be quickly reduced. Presentation is possible. It is also conceivable to store map information based on the generated evaluation index instead of the multi-band image. Since the map information is compressed information while including the main information of the envelope information, the required storage amount and storage cost can be reduced.
  • the program of the embodiment is a process of generating multi-band data having a plurality of band data including the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data.
  • the above-mentioned information processing apparatus 1 can be widely provided. For example, it is expected to be provided as an update program for the information processing device 1.
  • HDD Compact Disc Read Only Memory
  • MO Magnetic Optical
  • DVDs Digital Versatile Discs
  • Blu-ray discs Blu-ray Disc (registered trademark)
  • magnetic discs semiconductor memories
  • a removable storage medium such as a memory card.
  • Such removable storage media can be provided as so-called packaged software.
  • a program In addition to installing such a program from a removable storage medium on a personal computer or the like, it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet. Furthermore, such a program is suitable for a wide range of provision of the information processing apparatus 1 of the embodiment. For example, by downloading the program to a server that provides a cloud computing service, the function of the information processing apparatus 1 of the present disclosure can be realized on a cloud network.
  • LAN Local Area Network
  • the present technology can also adopt the following configurations.
  • a signal processing unit that generates multi-band data having a plurality of band data including the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data.
  • An information processing device including an arithmetic unit that generates envelope information of spectral data represented by the multi-band data.
  • the arithmetic unit Detecting the zero crossing point of the first derivative information, The wavelength of the zero cross point in the middle of the transition of the first derivative information from positive to negative is specified as the peak wavelength of the envelope information.
  • the information processing apparatus wherein the wavelength of the zero cross point in the middle of the transition of the first derivative information from negative to positive is specified as the bottom wavelength of the envelope information.
  • the arithmetic unit The information processing apparatus according to (3) above, which calculates an evaluation index using at least one of the peak wavelength and the bottom wavelength.
  • the arithmetic unit The value corresponding to the peak wavelength obtained from the envelope information is set as the first vertex.
  • the value corresponding to the bottom wavelength obtained from the envelope information is set as the second vertex.
  • the value corresponding to the predetermined wavelength located on the long wavelength side of the peak wavelength and the bottom wavelength obtained from the envelope information is set as the first reference point.
  • the value corresponding to the predetermined wavelength located on the short wavelength side of the peak wavelength and the bottom wavelength obtained from the envelope information is set as the second reference point.
  • a first triangle consisting of the first vertex, the second vertex, and the first reference point, and a second triangle consisting of the first vertex, the second vertex, and the second reference point.
  • the arithmetic unit Calculate the area of at least one of the first triangle and the second triangle, The information processing apparatus according to (5) above, which calculates an evaluation index using the calculated area.
  • the arithmetic unit The angle of at least one internal angle in at least one of the first triangle and the second triangle is calculated.
  • the information processing apparatus according to (5) or (6) above, which calculates an evaluation index using the calculated angle.
  • the arithmetic unit The length of at least one side of at least one of the first triangle and the second triangle is calculated.
  • the information processing apparatus according to any one of (5) to (7) above, which calculates an evaluation index using the calculated length.
  • the arithmetic unit The combined product of the first derivative information from the peak wavelength to the bottom wavelength is calculated.
  • the information processing apparatus according to any one of (3) to (8) above, wherein an evaluation index is calculated using the calculated synthetic product.
  • the arithmetic unit At least one of the combined product of the primary differential information from the peak wavelength to the first wavelength and the combined product of the primary differential information from the bottom wavelength to the second wavelength is calculated.
  • the information processing apparatus according to any one of (3) to (9) above, wherein an evaluation index is calculated using the calculated synthetic product.
  • the arithmetic unit The combined product of the first derivative information from at least one of the peak wavelength and the bottom wavelength to the wavelength corresponding to the inflection point of the first derivative information is calculated.
  • the information processing apparatus according to any one of (3) to (10) above, wherein an evaluation index is calculated using the calculated synthetic product.
  • the arithmetic unit Stores intensity information for a specific wavelength band, The information processing apparatus according to any one of (1) to (11) above, which stores difference information from an adjacent wavelength band having a wavelength band other than the specific wavelength band.
  • the arithmetic unit The difference information of the envelope information of the specific wavelength band and the wavelength band other than the specific wavelength band is calculated.
  • the intensity information of the specific wavelength band is stored, and the intensity information is stored.
  • the information processing apparatus according to any one of (1) to (11) above, which stores the difference information in a wavelength band other than the specific wavelength band.
  • the detected band data is data obtained by imaging a field.
  • the information processing apparatus according to any one of (4), (6) to (11) above, which is a vegetation evaluation index.
  • An information processing method for generating envelope information of spectral data represented by the multi-band data (17) A process of generating multi-band data having a plurality of band data including the detected band data of a plurality of wavelength bands and the band data of the wavelength band reconstructed from the detected band data. The process of generating the envelope information of the spectral data represented by the multi-band data, and Is a program that causes the information processing device to execute.
  • Information processing device 2 Signal processing unit 3 Calculation unit Mi Individual image Mm Mapping image En1 Envelope Cr1 Differential curve ⁇ g Peak wavelength ⁇ r Bottom wavelength ⁇ ir First predetermined wavelength ⁇ b Second predetermined wavelength Pg First vertex Pr Second vertex Pil First reference point Pb Second Reference point ⁇ RE 1st triangle ⁇ VIS 2nd triangle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Remote Sensing (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Environmental Sciences (AREA)
  • Forests & Forestry (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Ecology (AREA)
  • Game Theory and Decision Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Quality & Reliability (AREA)
  • Botany (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

検出された複数の波長帯域の帯域データと、検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成し、マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する。

Description

情報処理装置、情報処理方法、プログラム
 本技術は、情報処理装置、情報処理方法、プログラムに関し、特に圃場に関する情報の生成に好適な技術に関する。
 例えば小型の飛行体に撮像装置(カメラ)を搭載し、圃場の上空を移動しながら植物の植生状態を撮像していくことで、植生状態をリモートセンシングする取り組みがある。
 特許文献1には、圃場を撮像し、リモートセンシングを行う技術に関して開示されている。
特許第5162890号公報
 リモートセンシングでは撮像装置としてマルチスペクトルカメラを用いることがある。
 一般的によく利用されているマルチスペクトルカメラとしては、例えば単眼センサに2から3種類の波長帯域を透過するマルチバンドパスフィルタを配したものや、複眼センサ群の各々に異なる単一の波長帯域を透過するバンドパスフィルタを配したものがある。
 このようなマルチスペクトルカメラによって検出される波長帯域は、その物理制約から2から5種類にとどまることが多い。また、取得されるスペクトルデータも予め設計されたフィルタの波長特性に制限される。このため、圃場における植物の多様な種類や状態に応じたセンシングを行うことが困難だった。
 そこで本開示では、植物の多様な種類や状態に適したセンシングを行うことを可能にする技術を提案する。
 本技術に係る情報処理装置は、検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成する信号処理部と、前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する演算部とを備える。
 帯域データの再構成を行うことで、検出された波長帯域より多い種類の波長帯域の帯域データを含むマルチバンドデータについての包絡線情報が生成される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記包絡線情報の一次微分情報を生成することが考えられる。
 包絡線情報の一次微分情報は、マルチバンドデータにおいて隣接する波長帯域の帯域データ間で同一画素の強度の差分を求めることにより得られる。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記一次微分情報のゼロクロス点を検出し、前記一次微分情報が正から負へ推移する途中のゼロクロス点の波長を前記包絡線情報のピーク波長として特定し、前記一次微分情報が負から正へ推移する途中のゼロクロス点の波長を前記包絡線情報のボトム波長として特定することが考えられる。
 ピーク波長とボトム波長はそれぞれ包絡線情報におけるピークとボトムに対応する波長である。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記ピーク波長と前記ボトム波長の少なくとも一方を用いて評価指標を算出することが考えられる。
 即ちピーク波長やボトム波長に基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記包絡線情報から得られる前記ピーク波長に対応する値を第1の頂点とし、前記包絡線情報から得られる前記ボトム波長に対応する値を第2の頂点とし、前記包絡線情報から得られる前記ピーク波長及び前記ボトム波長より長波長側に位置する所定の波長に対応する値を第1の基準点とし、前記包絡線情報から得られる前記ピーク波長及び前記ボトム波長より短波長側に位置する所定の波長に対応する値を第2の基準点とし、前記第1の頂点と前記第2の頂点と前記第1の基準点からなる第1の三角形と、前記第1の頂点と前記第2の頂点と前記第2の基準点からなる第2の三角形を特定することが考えられる。
 第1の三角形と第2の三角形は、包絡線情報の特徴を表現する図形である。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記第1の三角形と前記第2の三角形の少なくとも一方の面積を算出し、算出した面積を用いて評価指標を算出することが考えられる。
 即ち第1の三角形や第2の三角形の面積に基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記第1の三角形と前記第2の三角形の少なくとも一方における少なくとも1つの内角の角度を算出し、算出した角度を用いて評価指標を算出することが考えられる。
 即ち第1の三角形や第2の三角形の内角の角度に基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記第1の三角形と前記第2の三角形の少なくとも一方における少なくとも1辺の長さを算出し、算出した長さを用いて評価指標を算出することが考えられる。
 即ち第1の三角形や第2の三角形の辺の長さに基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記ピーク波長から前記ボトム波長に至る前記一次微分情報の合成積を算出し、算出した合成積を用いて評価指標を算出することが考えられる。
 即ち一次微分情報に表現された特徴に基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記ピーク波長から第1の波長に至る前記一次微分情報の合成積と、前記ボトム波長から第2の波長に至る前記一次微分情報の合成積と、の少なくとも一方を算出し、算出した合成積を用いて評価指標を算出することが考えられる。
 即ち一次微分情報に表現された特徴に基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、前記ピーク波長と前記ボトム波長の少なくとも一方から前記一次微分情報の変曲点に対応する波長に至る前記一次微分情報の合成積を算出し、算出した合成積を用いて評価指標を算出することが考えられる。
 即ち一次微分情報に表現された特徴に基づく評価指標が算出される。
 上記した本技術に係る情報処理装置においては、前記演算部は、特定の波長帯域の強度情報を保存し、前記特定の波長帯域以外の波長帯域の隣接する波長帯域との差分情報を保存することが考えられる。
 包絡線情報の特徴を再現可能な情報として、特定の波長帯域の強度情報と、特定の波長帯域以外の波長帯域の隣接する波長帯域との差分情報とが保存される。
 上記した本技術に係る情報処理装置においては、前記演算部は、特定の波長帯域と前記特定の波長帯域以外の波長帯域の包絡線情報の差分情報を算出し、前記特定の波長帯域の強度情報を保存し、前記特定の波長帯域以外の波長帯域の前記差分情報を保存することが考えられる。
 包絡線情報の特徴を再現可能な情報として、特定の波長帯域の強度情報と、特定の波長帯域以外の波長帯域について算出された差分情報とが保存される。
 上記した本技術に係る情報処理装置においては、前記検出された帯域データは、圃場を撮像して得られたデータであることが考えられる。
 圃場とは、作物の栽培地、耕作地、水耕栽培地、ハウス栽培地等の農作物の栽培を行う農地を広く含む。
 上記した本技術に係る情報処理装置においては、前記評価指標は、植生評価指標であることが考えられる。
 植生評価指標は、植物の種類や状態を特定するために利用できる指標を広く含む。
 本技術に係る情報処理方法は、検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成し、前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成するものである。
 つまり帯域データの再構成を行うことで、検出された波長帯域より多い種類の波長帯域の帯域データを含むマルチバンドデータについての包絡線情報が生成される。
 本技術に係るプログラムは、上記情報処理方法の処理を情報処理装置に実行させるプログラムである。
本技術の実施の形態の圃場の撮像の様子の説明図である。 実施の形態のリモートセンシング動作及び画像マッピングの説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の圃場管理のための作業手順を示すフローチャートである。 実施の形態におけるマルチバンド画像生成の説明図である。 実施の形態の信号処理のフローチャートである。 実施の形態のスペクトルデータにより表現される包絡線情報の説明図である。 実施の形態の第1の演算処理のフローチャートである。 実施の形態のマルチバンド画像の模式図である。 実施の形態の包絡線情報の説明図である。 実施の形態の一次微分情報の説明図である。 実施の形態の解析処理の第1例のフローチャートである。 実施の形態の包絡線情報の解析例の説明図である。 実施の形態の包絡線情報の別の解析例の説明図である。 実施の形態の解析処理の第2例のフローチャートである。 実施の形態の一次微分情報の解析例の説明図である。 実施の形態の一次微分情報の別の解析例の説明図である。 実施の形態の一次微分情報のさらに別の解析例の説明図である。 実施の形態の解析処理の第3例のフローチャートである。 実施の形態のマルチバンド画像のデータ量の説明図である。 実施の形態のマルチバンド画像のデータ量の削減例の説明図である。 実施の形態のマルチバンド画像のデータ量の別の削減例の説明図である。 実施の形態の第2の演算処理のフローチャートである。
 以下、実施の形態を次の順序で説明する。
<1.センシングシステムの概要>
<2.情報処理装置の構成>
<3.作業手順>
<4.画像データの取得と信号処理>
<5.演算処理>
<5.1.第1の演算処理:評価指標算出>
<5.2.解析処理の第1例>
<5.3.解析処理の第2例>
<5.4.解析処理の第3例>
<5.5.第2の演算処理:圧縮保存>
<6.まとめ及び変形例>
<1.センシングシステムの概要>
 実施の形態では圃場の植生状態のセンシングを行う場合を例に挙げて説明する。
 例えば図1に示すように飛行体200に搭載された撮像装置250を用いて圃場210の植生に関するリモートセンシングを行う。そして、この撮像で得られた多数の画像データ(以降「画像」ともいう)を用いて植生データ(例えば植生の評価指標のデータ)を示すマッピング画像を生成する場合とする。
 図1は圃場210の様子を示している。
 小型の飛行体200は、例えば操作者の無線操縦、或いは無線自動操縦等により、圃場210の上空を移動することができる。
 飛行体200には撮像装置250が例えば下方を撮像するようにセットされている。飛行体200が所定の経路で圃場210の上空を移動する際に、撮像装置250は例えば定期的に静止画撮像を行うことで、各時点において撮像視野の範囲AWの画像を得ることができる。
 例えば飛行体200は圃場210の上空を、図2Aに示すスタート位置STから折り返しながらエンド位置EDまで飛行する。その飛行中に撮像装置250が各時点で、図2Bに示す範囲AWを撮像していく。
 飛行体200に搭載される撮像装置250は、可視光イメージセンサ(R(赤)、G(緑)、B(青)の可視光を撮像するイメージセンサ)、NIR(Near Infra Red:近赤外域)画像撮像用のカメラ、複数の波長帯域の画像撮像を行うマルチスペクトルカメラ(Multi Spectrum Camera)、ハイパースペクトルカメラ、フーリエ変換赤外分光光度計(FTIR:Fourier Transform Infrared Spectroscopy)、赤外線センサなどが想定される。もちろん複数種類のカメラ(センサ)が飛行体200に搭載されてもよい。
 マルチスペクトルカメラとしては、例えばNIR画像とR(赤)画像の撮像を行うもので、得られる画像からNDVI(Normalized Difference Vegetation Index)が算出できるものが用いられることも想定される。NDVIとは植物らしさを表す植生指標であり、植生の分布状況や活性度を示す指標とすることができる。
 NDVIはR画像とNIR画像から求めることができる。即ちNDVIの値は、
 NDVI=(NIR-R)/(NIR+R)
として求められる。
 なお、後述する実施の形態では、撮像装置250として、複数の波長帯域の帯域データを検出可能なマルチスペクトルカメラが用いられる例を説明する。
 撮像装置250で撮像されて得られる画像には、タグ情報が付加されている。タグ情報には撮像日時情報や、GPS(Global Positioning System)データとしての位置情報(緯度/経度情報)、撮像時の飛行体200の飛行高度の情報、撮像装置情報(カメラの個体識別情報や機種情報等)、各画像データの情報(画サイズ、波長、撮像パラメータ等の情報)などが含まれている。
 以上のように飛行体200に装着された撮像装置250により得られた画像データやタグ情報は、情報処理装置1に取得される。
 例えば撮像装置250と情報処理装置1の無線通信やネットワーク通信などにより画像データやタグ情報が受け渡される。ネットワークとしては例えばインターネット、ホームネットワーク、LAN(Local Area Network)等、衛星通信網、その他の各種のネットワークが想定される。
 或いは撮像装置250に装着されていた記憶媒体(例えばメモリカードなど)が情報処理装置1側で読み取られるなどの態様で画像データやタグ情報が情報処理装置1に受け渡される。
 情報処理装置1は、取得した画像データやタグ情報を用いて各種処理を行う。
 具体的には、情報処理装置1は、画像データやタグ情報を用いて圃場210における植生の状態や種類を評価する情報を生成する。また、生成した情報を指標や画像として提示する処理を行う。
 また情報処理装置1は、マッピング画像の生成処理やそのマッピング画像の表示処理を行うことができる。例えば図2Cは、撮像装置250で撮像した複数の画像の被写体の範囲AWを示しているが、これらを撮像した位置情報に応じて配置し、スティッチしていくことで、例えば図2Dのようなマッピング画像MPを生成する。これにより、例えば圃場210の全体についての植生の評価指標を表す画像を生成することができる。
 情報処理装置1は、例えばPC(personal computer)やFPGA(field-programmable gate array)、或いはスマートフォンやタブレットなどの端末装置などとして実現される。
 なお、図1では情報処理装置1は撮像装置250とは別体のものとしているが、例えば撮像装置250を含むユニット内に情報処理装置1となる演算装置(マイクロコンピュータ等)を設けてもよい。
<2.情報処理装置の構成>
 以上のセンシングシステムにおいて、撮像装置250から画像データを取得して各種処理を行う情報処理装置1について説明する。
 図3は情報処理装置1のハードウェア構成を示している。情報処理装置1は、CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53を有して構成される。
 CPU51は、ROM52に記憶されているプログラム、または記憶部59からRAM53にロードされたプログラムに従って各種の処理を実行する。RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU51、ROM52、及びRAM53は、バス54を介して相互に接続されている。このバス54にはまた、入出力インタフェース55も接続されている。
 入出力インタフェース55には、液晶パネル或いは有機EL(Electroluminescence)パネルなどよりなる表示部56、キーボード、マウスなどよりなる入力部57、音声出力部58、記憶部59、通信部60などが接続可能である。
 表示部56は情報処理装置1と一体でも良いし別体の機器でもよい。
 表示部56では、CPU51の指示に基づいて表示画面上に撮像画像や各種の計算結果等の表示が行われる。また表示部56はCPU51の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
 入力部57は、情報処理装置1を使用するユーザが用いる入力デバイスを意味する。
 例えば入力部57としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
 入力部57によりユーザの操作が検知され、入力された操作に応じた信号はCPU51によって解釈される。
 音声出力部58は、スピーカやスピーカを駆動するパワーアンプユニットなどより構成され、必要な音声出力を行う。
 記憶部59は例えばHDD(Hard Disk Drive)や固体メモリなどの記憶媒体より構成される。記憶部59には、例えばCPU51の各種機能を実現するためのプログラムが記憶される。また撮像装置250で得られた画像データや各種付加データ、CPU51により生成された各種データの格納にも記憶部59は用いられる。
 通信部60は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。
 この通信部60は例えば飛行体200や撮像装置250との通信を行う通信デバイスとされる場合もある。
 入出力インタフェース55にはまた、必要に応じてドライブ61が接続され、メモリカード等のストレージデバイス62が装着され、データの書込や読出が行われる。
 例えばストレージデバイス62から読み出されたコンピュータプログラムが、必要に応じて記憶部59にインストールされたり、CPU51で処理したデータが記憶されたりする。もちろんドライブ61は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。これら磁気ディスク、光ディスク、光磁気ディスク等もストレージデバイス62の一態様である。
 なお、実施の形態の情報処理装置1は、図3のようなハードウェア構成の情報処理装置(コンピュータ装置)1が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
 またこの図3の情報処理装置1は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置1としての機能を有する測定装置、テレビジョン装置、モニタ装置、撮像装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置1を搭載することができる。
 例えばこのようなハードウェア構成の情報処理装置1は、CPU51による演算機能や、ROM52、RAM53、記憶部59による記憶機能、通信部60やドライブ61によるデータ取得機能、表示部56などによる出力機能を有し、インストールされたソフトウェアが機能することで、各種機能構成を備えるようにされる。
 実施の形態の情報処理装置1には、図3に示す信号処理部2と演算部3が設けられる。
 これらの処理機能は、CPU51で起動されるソフトウェアにより実現される。
 そのソフトウェアを構成するプログラムは、ネットワークからダウンロードされたり、ストレージデバイス62(例えばリムーバブル記憶媒体)から読み出されたりして図3の情報処理装置1にインストールされる。或いはそのプログラムが記憶部59等に予め記憶されていてもよい。そしてCPU51において当該プログラムが起動されることで、上記各部の機能が発現する。
 また各機能の演算経過や結果の記憶は、例えばRAM53の記憶領域や記憶部59の記憶領域を用いて実現される。
 信号処理部2は、処理対象としての画像データ及び画像データに付随するタグ情報を取得し、画像データに対して各種信号処理を行う機能である。例えば撮像装置250により撮像された画像データは、記憶部59などに保存されるが、CPU51が特定の画像データを読み出して信号処理の対象とする。
 例えば信号処理部2は、後述するように、取得した画像データを用いて、複数の帯域データを有するマルチバンドデータを生成する。
 演算部3は、信号処理部2が生成したデータを用いて各種演算を行う機能である。
 例えば演算部3は、信号処理部2が生成したマルチバンドデータにより表現されるスペクトルデータについて、後述する包絡線情報を生成する。また、生成した包絡線情報に基づいて評価指標を算出する演算処理や、生成した包絡線情報を圧縮保存するための演算処理を行う。
<3.作業手順>
 図4は圃場の管理のための作業手順の例を示している。
 ステップS1として、圃場210上での飛行体200のフライトが行われ、飛行中に撮像装置250による画像撮像が例えば一定時間間隔で行われる。これにより多数の画像データが得られる。
 ステップS2として、情報処理装置1は画像データを取得し、取得した画像データに対して信号処理を行う。
 例えば撮像装置250からの有線または無線の通信、或いはメモリカードなどのストレージデバイス62の受け渡しにより、フライト時に撮像した画像データを情報処理装置1が取り込む。情報処理装置1は画像データを例えば記憶部59に格納する。
 情報処理装置1は取得した画像データに対して後述する各種の信号処理を行い、信号処理により生成されたデータを例えば記憶部59に格納する。
 ステップS3として、情報処理装置1は信号処理により生成されたデータを用いた演算処理を行う。例えば植生の評価指標の算出や生成されたデータの圧縮保存の処理などが行われる。具体的な処理例は演算処理として後述する。
 ステップS4として、情報処理装置1はUI画面でユーザ(例えば農場のスタッフ)に対して圃場210の状況や各種情報を提示するとともにユーザの操作に対応する。具体的には、情報処理装置1は例えばユーザがリプラント、散水、施肥、農薬、除草剤散布等のアクションを行うか否か、或いはどのエリアをアクションの対象にするか、などを考えるための情報提示を行ったり、アクションを想定するエリアの指定を受け付けたりする処理を行う。
 UI画面での入出力の結果としてリプラント等のアクションが行われる場合は、ステップS5からステップS6に進み、情報処理装置1はアクションのためのROI(Region of Interest:関心領域)を含む指示ファイルを生成する処理を行う。この指示ファイルは例えばトラクターに提供するもので、ROIはアクションの対象となるエリアを示す情報である。
 そしてステップS7で情報処理装置1は指示ファイルをエクスポートする。
 指示ファイルを例えばトラクターが受け取ることで、その後、リプラント等の実際のアクションが行われる。
 以上の手順のうちで、本実施の形態の情報処理装置1は、特にステップS2の画像データ取得/信号処理とステップS3の演算処理における各種処理を行う。
<4.画像データの取得と信号処理>
 以下、図5及び図6を参照して、情報処理装置1が取得する画像データと、情報処理装置1が取得した画像データに対して行う信号処理について説明する。
 本実施の形態では、撮像装置250としてマルチスペクトルカメラが用いられる場合を説明する。
 マルチスペクトルカメラには、RGBカメラにおけるカラーフィルタの代わりに、入射した光をRGBよりも多くの波長帯域に分離するマルチスペクトルフィルタを備えることで、イメージセンサでRGBの3種類より多い複数の波長帯域(バンド)の光の強度情報を検出することができるものがある。
 こうしたマルチスペクトルフィルタとしては、例えば入射光によって誘導されるプラズモン共鳴を利用するマルチスペクトルフィルタがある。例えば金属製の薄膜に複数のホールがハニカム状に配置されたプラズモン共鳴体により構成された、ホールアレイ構造のプラズモンフィルタが用いられ得る。
 このようなマルチスペクトルカメラにより検出された帯域データは、画素間の演算により、所望の波長帯域の帯域データを生成することができる。例えば、イメージセンサから取得されたRawデータに対してデモザイク処理を施した上で逆マトリクス演算を行うことで所望の波長帯域の帯域データを取得することができる。
 こうした波長再構成(Spectrum Reconstruction)の処理を行うことで、検出された波長帯域の帯域データだけでなく、それ以外の波長帯域の帯域データを有するマルチバンドデータを得ることができる。
 本実施の形態の情報処理装置1は、マルチスペクトルカメラにより検出された複数の波長帯域の帯域データを取得し、取得した帯域データに対して信号処理を行うことで、検出された複数の波長帯域の帯域データと、検出された帯域データから再構成した波長帯域の帯域データとを含む、複数の帯域データを有するマルチバンドデータ(以降、マルチバンド画像とも称する)を生成する。
 図5を参照して、マルチスペクトルカメラである撮像装置250で圃場210を撮像して得られた画像データからマルチバンド画像を生成する例を説明する。
 撮像装置250は、飛行体200のフライト中に圃場210の画像データを取得するが、この際に取得されるのは、圃場210の一部をカバーする多数の範囲AWの画像データである。各範囲AWの画像データは、撮像装置250として用いられるマルチスペクトルフィルタの特性に応じて検出された所定数の波長帯域の帯域データを含む。図5の例では、取得された画像データは41より少ない数の波長帯域の帯域データを含むものとする。
 撮像装置250から取得された範囲AWの画像データに前処理を施すと、範囲AWについてのマルチバンドの個別画像Miが生成される。図5の例で生成されるマルチバンドの個別画像Miは、450nmから850nmの可視光から近赤外域の波長範囲に亘って、一定の半幅値を持って10nm刻みで取得した41レイヤ(波長帯域)のマルチバンド画像である。即ち、検出された複数の波長帯域の帯域データだけでなく、検出された帯域データから再構成した波長帯域の帯域データを含む、41の波長帯域の帯域データを有するマルチバンドデータである。
 上記のように生成されたマルチバンドの個別画像Miは圃場210の一部(範囲AW)をカバーする部分画像であるが、複数の範囲AWの個別画像Miを用いてマップ化処理が行われることで、圃場210の全体をカバーするマルチバンドのマッピング画像Mmが生成される。
 このように生成されたマルチバンドの個別画像Miやマッピング画像Mmにおいては、レイヤ間の演算処理が可能であり、NDVI等の植生指標を算出することができる。
 また、マルチバンドの個別画像Miやマッピング画像Mmに対してROIを設定して、ROIに対して各種演算処理を行うことができる。例えば、処理対象のROI内の各レイヤの画素値の統計処理(合計値、平均値、中央値、最小値、最大値、標準偏差などの算出処理)が可能である。本実施の形態では、マルチバンドの個別画像Miやマッピング画像Mmに設定されたROIについて後述する包絡線情報を生成する。図5では、個別画像Miとマッピング画像Mmにおける各ROIの包絡線情報を包絡線Enとして示している。
 図6は、CPU51が処理対象の画像データを取得し、マルチバンドのマッピング画像を生成するまでの一連の信号処理を示している。これらの処理は、CPU51が図3に示した信号処理部2の機能を備えることで実現される。
 ステップS51でCPU51は処理対象の画像データを取得する。
 具体的には、CPU51は撮像装置250により検出された複数の波長帯域の帯域データを取得する。
 ステップS52でCPU51は取得した画像データに対して前処理を行い、マルチバンド画像(マルチバンドの個別画像Mi)を生成する。
 前処理では、取得した波長帯域の帯域データから帯域データを再構成する波長再構成のほか、取得した画像データの特性に応じて各種の信号処理が行われる。例えば、時空間補正、デモザイク補正、撮影時刻の同時化、空間座標合わせ、空間解像度補間、画素間のマトリクス演算などが行われる。なお、これらの処理は取得した画像データに応じて適宜省略され得る。
 前処理により生成されたマルチバンド画像は、検出された複数の波長帯域の帯域データと、検出された帯域データから再構成した波長帯域の帯域データとを含み、撮像装置の仕様や波長再構成の設定に応じた波長範囲及びレイヤ数を備えている。このようなマルチバンド画像は、バンドごとに独立したファイルとなることもあれば、複数のバンドの情報が格納された一つのファイルとして生成されることもある。
 ステップS53でCPU51は、ステップS52で生成された個別画像Miを用いてマップ化処理を行う。CPU51は、例えばスティッチングまたはオルソモザイク処理により、圃場210を俯瞰するマルチバンドのマッピング画像Mmを生成する。
 以上の処理が行われることで、後述する演算処理の処理対象となるマルチバンド画像が生成される。
 以上の処理例は一例であり、他の処理例も考えられる。
 また以上の処理は一連の処理として行われる必要はなく、例えば各ステップで生成されたデータを記憶部59に一旦格納してから後続するステップの処理を行ってもよい。
 また図6に示す全てのステップの処理を行う必要はない。例えばステップS53のマップ化処理を行わなくてもよい。この場合には、マルチバンドのマッピング画像Mmは生成されない。
 さらにまた、図6に示すステップの処理の一部の処理が撮像装置250で行われる場合も考えられる。例えばステップS52の前処理が撮像装置250で予め行われ、情報処理装置が前処理後の画像データを取得してもよい。
 なお本実施の形態では、撮像装置250が複数の波長帯域の帯域データを取得することができるマルチスペクトルカメラであり、情報処理装置1がマルチスペクトルカメラにより検出された帯域データを取得し、検出された帯域データから帯域データを再構成することで、検出された帯域データと再構成した帯域データを含むマルチバンド画像を生成する場合を述べたが、撮像装置250として例えば一定間隔で連続する複数の波長帯域の帯域データを取得することができるハイパースペクトルカメラ等の検出手段を用いる場合には、前処理において波長再構成を行うことなくマルチバンド画像を生成してもよい。
<5.演算処理>
 本実施の形態では、信号処理部2の処理により生成されたマルチバンド画像を用いて演算処理を行う。具体的には、マルチバンド画像により表現されるスペクトルデータの包絡線情報を生成する。また、包絡線情報を用いて評価指標算出や圧縮保存のための処理を行う。
<5.1.第1の演算処理:評価指標算出>
 まず、図7を用いて、マルチバンド画像により表現されるスペクトルデータの具体例を説明する。
 図7は、3種類の植物の葉のスペクトルデータ(反射スペクトル)を示している。
 図7Aは優良な生育状態にある植物の葉の反射スペクトル例であり、コーン、コットン、大豆の葉の反射スペクトルをそれぞれ包絡線En10、En20、En30として表している。図7Bは、例えば登熟により光合成の活性度が衰退した状態にある植物の葉の反射スペクトル例であり、コーン、コットン、大豆の葉の反射スペクトルをそれぞれ包絡線En10’、En20’、En30’として表している。
 図7の反射スペクトルは、450nmから850nmの可視光から近赤外域の波長範囲において一定の半幅値を持って10nm刻みで取得した41レイヤのマルチバンド画像により表現されており、横軸は450nmから850nmに亘る波長範囲の波長(単位[nm])、縦軸は出力値(強度情報)を表している。
 反射スペクトルの包絡線は、反射スペクトルマルチバンド画像を構成する各レイヤ(波長帯域)の出力値のプロットをグラフ上でつなげることにより得られる。出力値は、例えばあるROIにおける統計データの代表値(平均値など)である。なお、本開示では、包絡線を表す情報を包絡線情報とも称する。
 このような反射スペクトルにより表現される包絡線情報の形状には、被写体である植物の状態や種類の特定に利用できる特徴が表れている。
 まず、植物の反射スペクトルの包絡線は、植物の保有するクロロフィル及びその他の色素物質の反射・吸収特性に従い、緑の波長帯域で上に凸となるピークを、赤の波長帯域で下に凸(即ち上に凹)となるボトムを呈する。
 図7Aは優良な生育状態にある植物の葉の反射スペクトル例を示しているが、健康状態にある植物の葉には十分な濃度のクロロフィルが含有されている。クロロフィルは光合成に有効な青と赤の波長の光をよく吸収し、光合成に使われない緑の波長をよく透過・散乱し、さらに近赤外の光は非常によく透過・散乱する特徴を有している。このため、健康状態にある植物の葉の反射スペクトルの包絡線は、図7Aの包絡線En10、En20、En30にみられるように、変曲点間の振幅が大きな急峻なものとなる。
 これに対して、衰退状態にある植物の葉ではクロロフィルの濃度が希薄なため、青、赤の波長で見られる強い吸収特性、緑、近赤外で見られる透過・散乱特性が弱まる。このため、衰退した植物の葉の反射スペクトルの包絡線は、図7Bの包絡線En10’、En20’、En30’にみられるように、変曲点間のコントラストが弱まり、比較的起伏が抑えられた包絡線の傾向を示している。
 さらに、図7Aと図7Bは異なる3種類の植物の反射スペクトル例を示しているが、それぞれの包絡線において上に凸となるピーク、凹となるボトムに相当する波長の値は少しずつ違っており、特に図7Bにおいてはその違いが顕著になっている。
 このように、反射スペクトルの包絡線情報は、植物の種類及び状態の特定に利用できる情報を含んでいる。ただし、包絡線として表現された情報は反射スペクトルの全体像を視覚的に理解しやすい形でユーザに提供することができる一方、それ自体では、例えば蓄積されたモデルデータとの比較分析や指標化が可能なデータ(例えば、普遍的な数値データ)として扱い難い。
 そこで、第1の演算処理では、反射スペクトルの包絡線情報を解析し、包絡線の形状に表される特徴を定量表現する。さらに、解析結果を用いて評価指標を算出する。
 図8を参照して、評価指標を算出する第1の演算処理の流れを説明する。図8に示す処理はCPU51が図3に示した演算部3の機能を備えることで実現される。
 ステップS101でCPU51は処理対象のマルチバンド画像を取得し、ROIを設定する。
 CPU51は、処理対象としてマルチバンドの個別画像Miを取得してもよく、マップ化処理が施されたマルチバンドのマッピング画像Mmを取得してもよい。即ちCPU51は、マルチバンドの個別画像Miに対してROIを設定してもよく、マルチバンドのマッピング画像Mmに対してROIを設定してもよい。
 また、ROIの設定は、ユーザが所望の領域を選択することにより行われてもよく、各種解析に基づき自動的に特定の領域が選択されることで行われてもよい。
 ステップS102でCPU51はROIにおける包絡線情報を生成する。
 即ちCPU51は、マルチバンドの個別画像Miやマッピング画像Mmに設定されたROIの包絡線情報を生成する。
 ステップS103でCPU51は包絡線情報の解析処理を行う。解析処理の具体的な処理例は後述する。
 ステップS104でCPU51は解析処理の結果を用いて評価指標を算出する。
 以上の処理を行うことで、評価指標の算出が行われることになる。評価指標としては、例えば植生の評価指標の算出が行われることが考えられる。
 なお、以上の処理例は一例であり、他の処理例も考えられる。
<5.2.解析処理の第1例>
 図8のステップS103で示した解析処理の具体例を、第1から第3の処理例として以下説明していく。各処理例の説明では、記述の処理と同様の処理は同一のステップ番号を付し、重複した説明を避ける。
 まず、解析処理の第1例を図9から図12を用いて説明する。解析処理の第1例では、包絡線情報におけるピーク波長とボトム波長を特定する。
 図9に優良な生育状態にあるコーンと除草剤によって傷んだ状態にあるコーンを含む圃場を上空から撮影して得られたマルチバンド画像の模式図を示す。
 このマルチバンド画像は450nmから850nmの可視光から近赤外域の波長範囲を一定の半幅値を持って10nm刻みで取得した41レイヤのマルチバンド画像である。図中の領域R50は健康な植物の葉を捉えたROIであり、領域R60は傷んだ植物の葉を捉えたROIである。
 図10に、図9の各ROIについて生成された包絡線情報を示す。
 図10において実線で示す包絡線En1は、領域R50内の平均値のプロットを繋げた反射スペクトルの包絡線情報を表している。また、破線で示す包絡線En2は領域R60内の平均値のプロットを繋げた反射スペクトルの包絡線情報を表している。図7を参照して説明したように、健康な植物の葉を捉えた領域R50は急峻な包絡線En1を呈し、傷んだ植物の葉を捉えた領域R60は比較的起伏が抑えられた包絡線En2を呈している。
 解析処理の第1例では、包絡線情報の一次微分情報を生成して、包絡線情報のピークとボトムのそれぞれに対応する波長を特定する。
 図11に、図10の包絡線情報を一次微分して得られた値をプロットして得られた微分曲線を示す。図11において実線で示す微分曲線Cr1は包絡線En1の一次微分情報を表し、破線で示す微分曲線Cr2は包絡線En2の一次微分情報を表している。
 包絡線情報の一次微分情報は、マルチバンド画像において隣接するレイヤ間で同一画素の強度の差分を求めることにより得られる。例えば450nmから850nmの波長範囲を10nm刻みで取得した41レイヤのマルチバンド画像における包絡線情報の一次微分情報は、P(λ+10)-P(λ); λ=450~840で表現される。本開示では、このような一次微分により得られた値を一次微分情報と称する。
 微分曲線Cr1、Cr2には、一次微分情報の値が0(ゼロ)になるゼロクロス点が存在する。
 具体的には、微分曲線Cr1は、波長λg及び波長λrに対応するゼロクロス点Pz1、Pz2の前後で一次微分情報の符号が変化する。また、微分曲線Cr2は、波長λg’及び波長λr’に対応するゼロクロス点Pz1’、Pz2’の前後で符号が変化する。
 ゼロクロス点Pz1、Pz1’のように、一次微分情報が正から負に推移する途中のゼロ地点(即ち、正から負に遷移して0を跨ぐ地点)に対応する波長λg、λg’は、包絡線情報のピーク(極大)に対応するピーク波長であると特定される。
 またゼロクロス点Pz2、Pz2’のように、一次微分情報が負から正に推移する途中のゼロ地点(即ち、負から正に遷移して0を跨ぐ地点)に対応する波長λr、λr’は、包絡線情報のボトム(極小)に対応するボトム波長であると特定される。
 上記のように一次微分情報を生成してピーク波長とボトム波長を特定することで、包絡線情報の起伏形状の特徴を数値情報として定量的に表現することができる。例えば、ゼロクロス点に相当する波長が何nmであるのか、ピーク波長やボトム波長について健康な葉と衰退した葉で何nmの違いが生じているのかを容易に定量化することができる。
 なお、各レイヤの間隔が10nm刻みである場合でも、(式1)の演算を施すことでより分解能の高い定量化が可能である。
 λ0=λx+10×(|P(λx)|/(|P(λx)+|P(λx+10)|) …(式1)
 (式1)におけるλxは10nm刻みの一次微分情報の符合が変化する直前の波長、λx+10は符合が変化した直後の波長であり、P(λx)、P(λx+10)はそれぞれの波長における包絡線の振幅値を示している。例えばλx=650nm、P(λx)=-0.01772、P(λx+10)=0.02179の場合、λ0=658.9049nmとなる。この時、P(λ0)はP(x)、P(x+10)及びその近傍のP(x-10)、P(x+20)から外挿して求めることができる。
 図10及び図11を参照して説明したピーク波長とボトム波長を特定する解析処理の第1例の具体的な例として、図12の処理例を説明する。これは、図8のステップS103の解析処理の詳細な例を示すものである。
 ステップS201でCPU51は包絡線情報の一次微分情報を生成する。
 ステップS202でCPU51は一次微分情報のゼロクロス点を検出する。
 ステップS203でCPU51はステップS202の検出結果に基づいてピーク波長とボトム波長を特定する。即ち、検出したゼロクロス点のうち、一次微分情報が正から負へ推移する途中のゼロクロス点の波長をピーク波長として特定し、一次微分情報が負から正へ推移する途中のゼロクロス点の波長をボトム波長として特定する。
 以上の図12の解析処理の第1例により包絡線情報のピーク波長とボトム波長が特定される。
 解析処理の第1例(図8の第1の演算処理におけるステップS103)に続く評価指標算出の処理(ステップS104)では、特定されたピーク波長とボトム波長の情報を用いて評価指標が算出される。なおCPU51は、特定したピーク波長とボトム波長の双方を用いて評価指標を算出してもよく、一方を用いて評価指標を算出してもよい。また例えば特定したピーク波長とボトム波長の波長値の和、差分、比率などの計算結果を用いて評価指標を算出してもよい。
<5.3.解析処理の第2例>
 解析処理の第2例を図13から図15を用いて説明する。解析処理の第2例では、解析処理の第1例で説明した包絡線情報のピーク波長とボトム波長の情報を用いて、包絡線情報において三角形を特定し、特定した三角形の形状を解析する。
 まず図13を参照して包絡線情報における三角形の特定を説明する。
 図13Aは図10Aにおける包絡線En1(即ち健康な植物の葉の包絡線情報)の解析例であり、図13Bは図10Aの包絡線En2(即ち傷んだ植物の葉の包絡線情報)の解析例である。図13Aの解析例では、包絡線En1上に存在する3点から成る第1の三角形ΔRE及び第2の三角形ΔVISが特定されている。図13Bの解析例では、包絡線En2上に存在する3点から成る第1の三角形ΔRE’及び第2の三角形ΔVIS’が特定されている。
 図13A、図13Bの各図に示す第1の頂点Pg、Pg’は、ピーク波長λg、λg’に対応する包絡線En1,En2上の点(包絡線情報の値)であり、それぞれ包絡線En1,En2のピークに相当する。
 第2の頂点Pr、Pr’は、ボトム波長λr、λr’に対応する包絡線En1,En2上の点(包絡線情報の値)であり、それぞれ包絡線En1,En2のボトムに相当する。
 このような第1の頂点と第2の頂点に包絡線上の他の点を加えることで、包絡線上の3点により定義される三角形を特定することができる。
 図13Aの解析例では、第1の頂点Pgと第2の頂点Prに第1の基準点Pirを加えて、第1の頂点Pgと第2の頂点Prと第1の基準点Pirの3点から成る第1の三角形ΔREが定義される。同様に図13Bの解析例では、第1の頂点Pg’と第2の頂点Pr’に第1の基準点Pir’を加えて、第1の頂点Pg’と第2の頂点Pr’と第1の基準点Pir’の3点から成る第1の三角形ΔRE’が定義される。
 第1の基準点Pir、Pir’は、第1の所定波長λirに対応する包絡線上の点(包絡線情報の値)である。第1の所定波長λirはピーク波長λg、λg’及びボトム波長λr、λr’より長波長側の波長であり、図13の解析例では近赤外の780nm相当の波長を第1の所定波長λirに設定している。なお第1の所定波長λirは、解析の目的に応じて所望の波長を設定することが可能であり、例えば、包絡線の変曲点に対応する波長や処理対象の包絡線情報において最も長波長側の波長を第1の所定波長λirに設定してもよい。
 また図13Aの包絡線情報において、第1の頂点Pgと第2の頂点Prに第2の基準点Pbを加えると、第1の頂点Pgと第2の頂点Prと第2の基準点Pbの3点により成る第2の三角形ΔVISが特定される。同様に図13Bの包絡線情報において、第1の頂点Pg’と第2の頂点Pr’に第2の基準点Pb’を加えることで、第1の頂点Pg’と第2の頂点Pr’と第2の基準点Pb’の3点により成る第2の三角形ΔVIS’が特定される。
 第2の基準点Pb、Pb’は、第2の所定波長λbに対応する包絡線上の点(包絡線情報の値)である。第2の所定波長λbはピーク波長λg、λg’及びボトム波長λr、λr’より短波長側の波長であり、図13の解析例では青の450nm相当の波長を第2の所定波長λbに設定している。なお第2の所定波長λbは、解析の目的に応じて所望の波長を設定することが可能であり、例えば、包絡線の変曲点に対応する波長や本解析例のように包絡線情報において最も短波長側の波長を第2の所定波長λbに設定してもよい。
 このような第1の三角形ΔRE、ΔRE’の面積であるTΔRE、TΔRE’は、それぞれ以下の(式2)、(式4)により定義される。また、第2の三角形ΔVIS、ΔVIS’の面積であるTΔVIS、TΔVIS’は、それぞれ以下の(式3)、(式5)により定義される。
Figure JPOXMLDOC01-appb-M000001
 上記のように算出された第1の三角形の面積TΔRE、TΔRE’、第2の三角形の面積TΔVIS、TΔVIS’は、それぞれ状態の異なる植物が示す反射スペクトルの包絡線の形状を表現していると見なせる。そこで、例えば第1の三角形ΔRE、第2の三角形ΔVISの面積やこれらの面積の和、差分、比率などの計算結果を、植物の種類や状態を特定するために用いることが考えられる。即ち、包絡線情報において特定された三角形の面積を算出し、算出した面積を用いて植生の評価指標を算出することができる。
 さらに上記のように包絡線情報において特定された第1の三角形ΔREや第2の三角形ΔVISについては、その形状を解析することで、包絡線情報の特徴をさらに多様に表現することが可能である。以下、図14を参照して特定した三角形の解析例を説明する。
 図14は、図13Aに示した第1の三角形ΔREの解析例を示している。
 包絡線情報において特定された三角形の解析例としては、特定された三角形を分解し、三角形を構成する各図形の面積を算出することが考えられる。
 例えば図14では、第1の三角形ΔREを3個の三角形ΔRE1、ΔRE2、ΔRE3に分解している。第1の三角形ΔREを構成する三角形ΔRE1、ΔRE2、ΔRE3のそれぞれの面積TΔRE1、TΔRE2、TΔRE3は、以下の(式6)、(式7)、(式8)により定義される。
Figure JPOXMLDOC01-appb-M000002
 このような解析により得られた第1の三角形ΔREを構成する3個の三角形のそれぞれの面積TΔRE1、TΔRE2、TΔRE3の面積やこれらの面積の和、差分、比率などの計算結果を、植物の種類や状態を特定するために用いることが考えられる。即ち、三角形を構成する図形の面積を算出し、算出した面積を用いて植生の評価指標を算出することができる。
 また、包絡線情報において特定された三角形の解析例としては、三角形の頂点の内角の角度を算出することが考えられる。
 図14に示す第1の三角形ΔREの3つの内角A1、A2、A3は、それぞれ以下の(式9)、(式10)、(式11)により定義される。
Figure JPOXMLDOC01-appb-M000003
 このような解析により得られた第1の三角形ΔREの内角A1、A2、A3の角度や、これらの角度の和、差分、比率などの計算結果を、植物の種類や状態を特定するために用いることが考えられる。即ち、三角形の内角の角度を算出し、算出した角度を用いて植生の評価指標を算出することができる。
 例えば図13A、図13Bにこの解析方法を適用すると、健康な植物の第1の三角形ΔREと比較して、一般的に衰退した植物の第1の三角形ΔRE’においては、内角A2がより鈍角になる傾向が強く、内角A1と内角A3は結果的により鋭角になる。またその中でも内角A1の角度は、ピーク波長がどの波長になるかによって影響を受ける。このため、第1の三角形ΔRE、ΔRE’の3頂点の角度及びその比率は、植物の種類や状態を表現する手段として意味を持つと言える。
 さらにまた、包絡線情報において特定された三角形の解析例では、三角形を構成する辺の長さを算出することが考えられる。
 図14に示す第1の三角形ΔREを形成する3つの辺L1、L2、L3はそれぞれ以下の(式12)、(式13)、(式14)により定義される。
Figure JPOXMLDOC01-appb-M000004
 このような解析により得られた各辺L1、L2、L3の長さや、これらの長さの和、差分、比率などの計算結果を、植物の種類や状態を特定するために用いることが考えられる。即ち、三角形の辺の長さを算出し、算出した長さを用いて植生の評価指標を算出することができる。
 例えば図13A、図13Bにこの解析方法を適用すると、一般的に衰退した植物の第1の三角形ΔRE’においては、包絡線情報におけるピークとボトムの振幅差が小さくなるため、特に辺L2と辺L3が短くなる傾向が強く、辺L1は相対的により長くなる。特に辺L2はピーク波長とボトム波長の出力値の振幅だけでなく、ピーク波長とボトム波長の距離がどの様に変化するかによっても影響を受ける。このため、第1の三角形ΔRE、ΔRE’の各辺の長さ及びその比率は、植物の種類や状態を表現する手段として意味を持つと言える。
 以上図14を参照して説明した解析例では、図13Aに示した第1の三角形ΔREの形状をさらに解析する例を説明したが、上記した解析方法は第1の三角形ΔRE’、第2の三角形ΔVIS、ΔVIS’に対しても適用することができる。
 図13及び図14を参照して説明した三角形を解析する具体的な例として、図15の処理例を説明する。これは、図8のステップS103の解析処理の詳細な例を示すものである。
 CPU51はステップS201、S202、S203の各処理を行い、包絡線情報におけるピーク波長とボトム波長を特定する。
 ステップS204でCPU51は三角形を特定する。
 例えばCPU51は、ステップS203で特定したピーク波長とボトム波長を用いて、包絡線情報から得られるピーク波長の値を第1の頂点とし、包絡線情報から得られるボトム波長の値を第2の頂点とする。CPU51は、包絡線情報から得られる第1の所定波長の値を第1の基準点とし、第1の頂点と第2の頂点と第1の基準点から成る第1の三角形を特定する。またCPU51は、包絡線情報から得られる第2の所定波長の値を第2の基準点とし、第1の頂点と第2の頂点と第2の基準点から成る第2の三角形を特定する。
 なおステップS204では、第1の三角形と第2の三角形を両方特定してもよく、どちらか一方のみを特定してもよい。
 ステップS205でCPU51は特定した三角形の各種情報を算出する。
 例えばCPU51は、ステップS204で特定した第1の三角形と第2の三角形の面積を算出する。なお、CPU51は第1の三角形と第2の三角形の両方の面積を算出してもよく、一方の面積のみを特定してもよい。
 ステップS205で算出される三角形の各種情報は、第1の三角形や第2の三角形の面積に限られず、三角形の特徴を表す他の情報であってもよい。例えば、三角形の内角の角度や辺の長さを算出してもよい。また、第1の三角形や第2の三角形を構成する図形の面積を算出してもよい。また、算出される各種情報は1種類に限られず、複数の異なる種類の各種情報が算出されてもよい。
 以上の図15の解析処理の第2例により包絡線情報において特定される三角形の各種情報が算出される。
 解析処理の第2例(図8におけるステップS103)に続く評価指標算出の処理(ステップS104)では、解析処理で算出された各種情報を用いて評価指標が算出される。例えば、算出された各種情報の和、差分、比率などの計算結果を用いて評価指標を求めることが考えられる。
 また図13及び図14の解析例では第1の三角形と第2の三角形の2つの三角形の面積、頂点の角度、各辺の長さをそれぞれ独立に扱っているが、本質的にそれらは相関をもっており、それらを組合せることによって検出精度をより高める手法も有効である。従って、異なる種類の各種情報を用いて評価指標を算出してもよい。
 なお図13から図15における解析例では、包絡線情報において特定される2つの三角形の面積、頂点の角度、各辺の長さを算出する例を説明したが、特定した2つの三角形を結合して1つの四角形として図形解析することも可能である。また一次微分のゼロクロス点だけでなく、包絡線情報の変化量に対する閾値を設ける事で、包絡線上の特徴点をさらに細かく抽出することも考えられる。これにより更に高次の多角形から、詳細な図形解析に発展させることも可能である。
<5.4.解析処理の第3例>
 解析処理の第3例を図16から図19を用いて説明する。解析処理の第3例では、包絡線情報の一次微分情報を解析する。
 図16は、図10の包絡線情報の一次微分により得られた、図11の一次微分情報の解析例を示している。具体的には、図16Aは健康な植物の葉の包絡線En1の一次微分情報である微分曲線Cr1の解析例を表し、図16Bは傷んだ植物の葉の包絡線En2の一次微分情報である微分曲線Cr2の解析例を表している。
 図16の解析例では、ピーク波長からボトム波長に至る一次微分情報の合成積を算出する。
 図16Aに示す微分曲線Cr1において、ピーク波長λgからボトム波長λrに至る範囲の一次微分情報の合成積AOCg-rは以下の(式15)で近似することができる。また図16Bに示す微分曲線Cr2においてピーク波長λg’からボトム波長λr’に至る範囲の一次微分情報の合成積AOCg’-r’は、(式16)で近似することができる。
Figure JPOXMLDOC01-appb-M000005
 以上の計算式で算出された合成積AOCg-rと合成積AOCg’-r’は、それぞれ状態の異なる植物が示す反射スペクトルの緑のピークから赤のボトムに至る包絡線の形を表現していると見なせる。そこで、例えばピーク波長からボトム波長に至る一次微分情報の合成積や、合成積の差、分布、比率などの計算結果を、植物の種類や状態の特定に用いることが考えられる。即ち、ピーク波長からボトム波長に至る一次微分情報の合成積を算出し、算出した合成積を用いて植生の評価指標を算出することができる。
 さらに、ピーク波長からボトム波長に至る範囲だけでなく、他の範囲に同様の算出手法を適用することで、反射スペクトルの全域に亘って包絡線の形状の特徴を一次微分情報の合成積として表現することも可能である。以下、図17及び図18を参照して、他の範囲の合成積を算出する例を説明する。
 図17Aは、健康な植物の葉の包絡線En1の一次微分情報である微分曲線Cr1の解析例を示す。図17Bは、傷んだ植物の葉の包絡線En2の一次微分情報である微分曲線Cr2の解析例を示す。
 図17の解析例では、第1の特定波長と第2の特定波長を選択し、選択した特定波長とピーク波長とボトム波長を用いて、一次微分情報を3つの領域に区切っている。
 第1の特定波長は、例えば短波長側の波長であり、本例では450nmを選択している。第2の特定波長は、例えば長波長側の波長であり、本例では800nmを選択している。これにより、図17の解析例では、微分曲線Cr1、Cr2が、450nmからピーク波長λg、λg’に至る範囲の領域と、ピーク波長λg、λg’からボトム波長λr、λr’に至る範囲の領域と、ボトム波長λr、λr’から800nmに至る範囲の領域とに区切られている。
 なお第1の特定波長及び第2の特定波長には、解析の目的に応じて所望の波長を選択することが考えられる。
 図17の解析例の場合も、それぞれの領域に対して図16の解析例と同様の計算を適用することで、各領域における一次微分情報の合成積を求めることが出来る。具体的には、図17A、図17Bの各一次微分情報における450nmからピーク波長λg、λg’に至る範囲の領域の合成積AUC450-g、AUC450-g’は、それぞれ(式17)、(式18)で近似することができる。また図17A、図17Bの各一次微分情報におけるボトム波長λr、λr’から800nmに至る範囲の領域の合成積AUCr-800、AUCr’-800は、それぞれ(式19)、(式20)で近似することができる。
Figure JPOXMLDOC01-appb-M000006
 上記のように算出された合成積に、図16A、図16Bを用いて説明したピーク波長λg、λg’からボトム波長λr、λr’に至る領域の合成積AOCg-r、AOCg’-r’を加えると、包絡線En1、包絡線En2のそれぞれを、3種類の一次微分情報の合成積の組合せとして表現することができる。
 一般的に傷んだ植物においては、反射スペクトルの包絡線のピークからボトムの間の振幅が小さくなる傾向となる。このため、衰退した植物の一次微分情報における3領域の合成積AUC450-g’、AOCg’-r’、AUCr’-800の和は、健康な植物の一次微分情報における3領域の合成積の和より小さくなる。
 また一次微分情報における3領域の合成積の分布や比率も、植物の種類や状態を表現する手段として意味を持つと言える。更に、2つの異なる種類または状態の植物に対して、ピーク波長からボトム波長に至る範囲の領域の合成積の比較、450nmからピーク波長に至る範囲の領域の合成積の比較、ボトム波長から800nmに至る範囲の領域の合成積の比較等を行い、その違いの傾向を分析することも可能である。即ち、ピーク波長から第1の特定波長に至る一次微分情報の合成積と、ボトム波長から第2の特定波長に至る一次微分情報の合成積と、の少なくとも一方を算出し、算出した合成積を用いて評価指標を算出することができる。
 なお、さらに多くの特定波長を設けることで、一次微分情報の領域を細分化し、より多くの領域の合成積に対する解析が可能である。図18を参照して具体的な解析例を説明する。
 図18は健康な植物の包絡線En1の一次微分情報の微分曲線Cr1の解析例を示す。
 この解析例では、ピーク波長λgとボトム波長λrの間に位置する変曲点に対応する波長λf0が追加の特定波長として選択されている。追加の特定波長λf0は、ピーク波長λgからボトム波長λrに至る領域をその前後の領域に分割している。
 さらにボトム波長λrと800nmの間に位置する変曲点に対応する波長λf1が追加の特定波長として選択されている。追加の特定波長λf1は、ボトム波長λrから800nmに至る領域をその前後の領域に分割している。
 ピーク波長λgから追加の特定波長λf0に至る範囲の領域、追加の特定波長λf0からボトム波長λrに至る範囲の領域、ボトム波長λrから特定波長λf1に至る範囲の領域、特定波長λf1から800nmに至る範囲の領域についても、合成積を算出し、合成積の差分、分布、比較等を行い、その違いの傾向を分析することが考えられる。即ち、ピーク波長とボトム波長の少なくとも一方から変曲点に対応する波長に至る一次微分情報の合成積を算出し、算出した合成積を用いて評価指標を算出することができる。
 図17及び図18を参照して説明した一次微分情報を解析する解析処理の第3例の具体的な処理例として、図19の処理例を説明する。これは、図8のステップS103の解析処理の詳細な例を示すものである。
 CPU51はステップS201、S202、S203の各処理を行い、包絡線情報におけるピーク波長とボトム波長を特定する。
 ステップS206でCPU51は合成積を算出する所定の範囲を設定する。
 例えばCPU51は、ピーク波長からボトム波長に至る範囲を所定の範囲に設定する。またCPU51は特定波長を選択して、選択した特定波長を用いて所定の範囲を設定してもよい。例えばCPU51は、第1の特定波長、第2の特定波長として特定の波長を選択し、第1の特定波長からピーク波長に至る範囲と、ボトム波長から第2の特定波長に至る範囲を、それぞれ所定の範囲に設定してもよい。
 なお所定の範囲は1つに限られず、複数の波長を特定波長に選択して、複数の所定の範囲を設定してもよい。
 ステップS207でCPU51は一次微分情報における所定の範囲の合成積を算出する。
 例えばCPU51は、ステップS206でピーク波長から前記ボトム波長に至る範囲を所定の範囲に設定した場合には、ピーク波長から前記ボトム波長に至る一次微分情報の合成積を算出する。CPU51は、ステップS206で複数の所定の範囲を設定した場合には、一次微分情報における複数の所定の範囲の合成積を算出する。
 以上の図19の解析処理の第3例により所定の範囲の一次微分情報の合成積が算出される。
 解析処理の第3例(図8におけるステップS103)に続く評価指標算出の処理(ステップS104)では、算出された合成積を用いて評価指標が算出される。例えば、算出された合成積や、算出した合成積の和、差分、比率、分布などの計算結果を用いて評価指標を算出することが考えられる。
 以上、ステップS103の解析処理について第1から第3の処理例を説明した。
 本実施の形態の解析処理により、被写体の反射特性が展開された包絡線情報の特徴を定量化して表現することが可能になる。例えば複雑な反射スペクトルの包絡線情報を、その代表的な特徴点を用いて簡便な数式によって多角形に変換し、その面積、内角の大きさ、各辺の長さによって定量表現すること、或いは一次微分情報に変換し、そのゼロクロス点や特定波長及び変曲点を用いて複数の領域に分割し、その合成積によって定量表現することができる。これにより、被写体の色味に対する感覚的な経験知を形式知として可視化することが可能にされている。
 上記の解析処理に基づいて算出された評価指標は、マップ情報として提示することが考えられる。具体的には、対象範囲の状況を、反射スペクトルの包絡線情報及びそれを簡便な式に変換した植生指標マップとして提示することが考えられる。例えば、第1の三角形の面積TΔRE、第2の三角形の面積TΔVISの和、差分及びその比率、内角A1、A2、A3の角度及び比率或いは辺L1、L2、L3の長さ及びその比率を可視化したカラーマップ、または一次微分情報の所定の範囲における合成積の面積、総和、分布及びそれらの比率を可視化したカラーマップを生成して提示することが考えられる。このようなマップ情報が提示されることで、ユーザは圃場全体を俯瞰することが可能になる。
 なお上記した評価指標の提示態様は一例であり、評価指標を他の態様で提示してもよい。
<5.5.第2の演算処理:圧縮保存>
 第2の演算処理では、マルチバンド画像の圧縮保存するにあたっての演算処理を説明する。
 マルチバンド画像は、画像を構成するバンド数に応じてデータサイズが増大する。
 例えばマルチバンド画像の構造は、撮像範囲の空間情報をxとyの2軸で表現し、スペクトルデータをz軸に展開したイメージキューブ状の3次元情報として表すことができるが、スペクトルデータを構成するバンド数の増加に比例してデータサイズ(以下、データ量ともいう)が増加する。このためバンド数の豊富なマルチバンド画像の保存には大容量のストレージが必要となり、コストの増大につながる虞がある。
 そこで本実施の形態では、マルチバンド画像に対して演算処理を行い、データ量を削減しつつその包絡線情報を再現可能な情報を保存する。
 図20から図22を参照してマルチバンド画像のデータ量削減の具体例を説明する。
 図20は、450nmから850nmの可視光から近赤外域の波長範囲において一定の半幅値を持って10nm刻みで取得した41レイヤのマルチバンド画像の包絡線情報を示す。図20における包絡線En50、En60、En70は、それぞれ植物、乾燥した土壌、湿った土壌を被写体とするROIの包絡線情報を表している。
 本例のマルチバンド画像では、例として語長を10ビット(0から1023)に設定し、各被写体が持つ反射スペクトルの強度情報を0からの振幅の絶対値として表現している。このため被写体の特性に拘らず、一枚のマルチバンド画像が有するデータ量を10ビット×41レイヤ×画素数としている。
 図21は、図20の包絡線情報を一次微分して得られた一次微分情報を示す。図21における微分曲線Cr50、Cr60、Cr70は、それぞれ図20の包絡線En50、En60、En70の一次微分情報を表している。
 包絡線情報を一次微分することで、基準の波長帯域(基準バンド)を起点として隣接する波長帯域間(隣接するバンド間)の強度の差分情報が得られる。図21の処理例では、450nmの波長帯域を基準バンドに選択し、基準バンドを起点として算出された隣接するバンド間の一次微分情報、即ち、40組の隣接バンド間の差分情報(460nm-450nm、470nm-460nm、480nm-470nm、・・・840nm-830nm、850nm-840nm)が算出されている。
 図21の処理例では、図20に示す全てのバンドについての包絡線情報を保存する代わりに、基準バンドの強度情報と、基準バンド以外のバンドの隣接するバンドとの差分情報を保存する。
 包絡線情報における隣接バンド間の変化量は限定的なため、隣接バンド間の差分情報を表す数値は各バンドの強度情報を絶対値で表した数値より小さくなる。従って、隣接バンド間の差分情報における振幅は大幅に圧縮される。また土壌など撮影される被写体によっては反射スペクトルの波長依存性が弱いため、バンド間の差分情報は更に小さくなる。このため、一次微分により得られた差分情報の保存にあたっては、振幅値を保存するために必要なビット数を削減することができる。従って、包絡線情報の特徴を表現する情報を保存しつつ、図20に示す包絡線情報を保存する場合と比較して、データ量を著しく削減することができる。
 また、このように保存した情報に対して一次微分を再適用すると、もとの包絡線情報を簡便に再現することができる。さらに基準バンドの包絡線情報から特定のバンドに至るすべての一次微分を再計算することで、特定のバンドの画像データを再現することができる。
 図22は、図20の包絡線情報から算出した、基準バンドとそれ以外の各バンドとの差分情報を示す。図22の処理例では、450nmの波長帯域を基準バンドとして、基準バンドとそれ以外の各バンドとの強度の差分情報が算出されている。図中の差分ラインLn50、Ln60、Ln70は、それぞれ図20の包絡線En50、En60、En70を用いて算出された差分情報の値をプロットして得られる曲線である。
 図22の処理例では、図20に示す全てのバンドについての包絡線情報を保存する代わりに、基準バンドの強度情報と、基準バンド以外のバンドの基準バンドとの差分情報を保存する。
 図22の圧縮例においても、基準バンドとの差分情報を表す数値は各バンドの強度情報を絶対値で表した数値より小さくなるため、差分情報における振幅は大幅に圧縮される。このため、振幅値を保存するために必要なビット数を削減することができる。従って、図21の圧縮例に比べると削減されるデータ量は少ないが、図20に示す包絡線情報のデータ量と比較してデータ量を削減することができる。
 このように保存した情報を用いて演算を行うと、もとの包絡線情報を簡便に再現することができる。また図22の処理例では基準バンド以外の全てのバンドの強度情報が基準バンドとの差分情報として一義的に定義されているため、基準バンドの包絡線情報と特定のバンドとの差分情報のみを用いた演算により特定のバンドの画像データを再現することができる。つまり、図21と比較してより簡便な演算で特定のバンドの画像データの再現が可能である。また、特定の複数バンド間の波長間演算は、それぞれの基準バンドとの差分情報の直接差分として表現することが可能である。
 図23を参照して、本実施の形態の第2の演算処理において包絡線情報を圧縮保存する演算処理の流れを説明する。図23に示す処理はCPU51が図3に示した演算部3の機能を備えることで実現される。なお、図8の第1の演算処理で説明した処理と同様のステップ番号の処理については、重複する説明を避ける。
 CPU51はステップS101、S102の各処理を行い、処理対象のマルチバンド画像を取得してROIを設定し、ROIにおける包絡線情報を生成する。
 ステップS105でCPU51は特定の波長帯域を基準の波長帯域として選択する。
 ステップS106でCPU51は差分情報を生成する。
 例えばCPU51は、図21を参照して説明したように、一次微分により、選択した特定の波長帯域を起点とした隣接する波長帯域間の差分情報を求める。またCPU51は、図22を参照して説明したように、特定の波長帯域以外の波長帯域について基準となる波長帯域との差分情報を求めてもよい。
 ステップS107でCPU51は生成した差分情報を用いて保存処理を行う。
 例えばCPU51は、特定の波長帯域の包絡線情報における強度情報と、特定の波長帯域以外の波長帯域の隣接する波長帯域との差分情報とを保存する。またCPU51は、特定の波長帯域の強度情報と、それ以外の波長帯域の基準となる波長帯域との差分情報を保存する。
 以上の処理により、マルチバンド画像の圧縮保存が行われる。
 なお上記の処理は一例であり、その他の処理例も考えられる。
<6.まとめ及び変形例>
 以上の実施の形態によれば次のような効果が得られる。
 実施の形態の情報処理装置1は、検出された複数の波長帯域の帯域データと、検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータ(マルチバンドの個別画像Miやマッピング画像Mm)を生成する信号処理部2と、マルチバンドデータにより表現されるスペクトルデータの包絡線情報(包絡線En等)を生成する演算部3とを備える。
 検出された複数の波長帯域の帯域データから帯域データを再構成することで、検出により取得された波長帯域よりも多い種類の波長帯域の帯域データを備えたマルチバンドデータが得られる。このようなマルチバンドデータにより表現されるスペクトルデータの包絡線情報は、被写体の多様な種類や状態に応じたセンシングを可能にする。
 例えば圃場の植生状態のセンシングにおいて、歴史的に使われてきた植生指標であるNDVIが近赤外と赤の反射・吸収特性のコントラストのみを示しているのに対して、実施の形態の情報処理装置1により生成されるマルチバンドデータは、被写体としての植物の多様な種類や状態を反映するスペクトルデータを表現することができる。このようなスペクトルデータの包絡線情報は、例えば生育不良、病気、害虫、雑草検出など特定の問題の抽出など、圃場の管理に活用することができる。
 なお、検出された波長帯域の帯域データから帯域データを再構成するにあたっては、検出された波長帯域および検出されていない他の波長帯域の帯域データを再構成してもよく、検出されていない他の波長帯域の帯域データのみを再構成してもよい。
 実施の形態では、第1の演算処理及び第2の演算処理で詳述したように、演算部3は、包絡線情報の一次微分情報を生成する例を挙げた(図11等参照)。
 包絡線情報の一次微分情報を生成することで、包絡線情報の特徴を表現する情報を得ることができる。さらに光源スペクトルの影響の観点で言えば、相関性の強い近隣の波長帯域間の差分演算である一次微分では、輝線スペクトルを伴う光源の場合を除き、その影響を排除した変曲点等の特徴点の抽出を実現できる。
 また、包絡線情報の一次微分情報を生成することで、包絡線情報の特徴を、包絡線情報と比較して少ない振幅で表現する情報が得られる。
 実施の形態では、解析処理の第1例で詳述したように、演算部3は、一次微分情報のゼロクロス点Pz1、Pz2を検出し、一次微分情報が正から負へ推移する途中のゼロクロス点Pz1の波長λgを包絡線情報のピーク波長として特定し、一次微分情報が負から正へ推移する途中のゼロクロス点Pz2の波長λrを包絡線情報のボトム波長として特定する例を挙げた(図10から図12参照)。
 このようにピーク波長とボトム波長を特定することで、包絡線情報の特徴を定量的に表現することができる。具体的には、包絡線情報におけるピークとボトムに対応する波長の値を得ることができる。
 実施の形態では、解析処理の第1の例で詳述したように、演算部3は、ピーク波長とボトム波長の少なくとも一方を用いて評価指標を算出する(図10から図12参照)。
 ピーク波長やボトム波長に基づく評価指標を算出することで、ピーク波長やボトム波長に表された特徴を用いて被写体の種類や状態の特定を行うことができる。例えば、植生の種類や状態の特定を行うことが考えられる。
 実施の形態では、解析処理の第2例で詳述したように、演算部3は、包絡線情報から得られるピーク波長に対応する値を第1の頂点Pgとし、包絡線情報から得られる前記ボトム波長に対応する値を第2の頂点Prとし、包絡線情報から得られるピーク波長及びボトム波長より長波長側に位置する所定の波長(第1の所定波長λir)に対応する値を第1の基準点Pirとし、包絡線情報から得られるピーク波長及びボトム波長より短波長側に位置する所定の波長(第2の所定波長λb)に対応する値を第2の基準点Pbとし、第1の頂点Pgと第2の頂点Prと第1の基準点Pirからなる第1の三角形ΔREと、第1の頂点Pgと第2の頂点Prと第2の基準点Pbからなる第2の三角形ΔVISを特定する例を挙げた(図13から図15参照)。
 第1の三角形と第2の三角形を特定することで、包絡線情報の特徴を図形を用いて表現することができる。特定された図形の形状を解析対象とすることで、図形の特性を生かした多様な観点からの解析が可能となる。例えば、図13及び図14を参照して説明したように、特定した三角形について、面積、内角の角度、辺の長さを求めることができる。また、特定した三角形を構成する図形について面積を求めることが考えられる。なお解析の観点は上記したものに限られず、他の観点から三角形の解析を行うことも考えられる。
 実施の形態では、解析処理の第2例で詳述したように、演算部3は、第1の三角形ΔREと第2の三角形ΔVISの少なくとも一方の面積を算出し、算出した面積を用いて評価指標を算出する例を挙げた(図13及び図15参照)。
 第1の三角形や第2の三角形の面積に基づく評価指標を算出することで、それぞれの三角形の面積に表された特徴を用いて被写体の種類や状態の特定を行うことができる。
 実施の形態では、解析処理の第2例で詳述したように、演算部3は、第1の三角形ΔREと第2の三角形ΔVISの少なくとも一方における少なくとも1つの内角(内角A1、A2、A3)の角度を算出し、算出した角度を用いて評価指標を算出する例を挙げた(図14及び図15参照)。
 第1の三角形や第2の三角形の内角の角度に基づく評価指標を算出することで、角度に表された特徴を用いて被写体の種類や状態の特定を行うことができる。
 実施の形態では、解析処理の第2例で詳述したように、演算部3は、第1の三角形ΔREと第2の三角形ΔVISの少なくとも一方における少なくとも1辺(辺L1、L2、L3)の長さを算出し、算出した長さを用いて評価指標を算出する例を挙げた(図14及び図15参照)。
 第1の三角形や第2の三角形の辺の長さに基づく評価指標を算出することで、辺の長さに表された特徴を用いて被写体の種類や状態の特定を行うことができる。
 実施の形態では、解析処理の第3例で詳述したように、演算部3は、ピーク波長からボトム波長に至る一次微分情報の合成積を算出し、算出した合成積を用いて評価指標を算出する例を挙げた(図16から図19参照)。
 一次微分情報におけるピーク波長からボトム波長に至る範囲の合成積を算出することで、一次微分情報に表された特徴を用いて、被写体の種類や状態の特定を行うことができる。
 実施の形態では、解析処理の第3例で詳述したように、演算部3は、ピーク波長から第1の波長(第1の特定波長)に至る一次微分情報の合成積と、ボトム波長から第2の波長(第2の特定波長)に至る一次微分情報の合成積と、の少なくとも一方を算出し、算出した合成積を用いて評価指標を算出する例を挙げた(図17及び図19参照)。
 一次微分情報において、ピーク波長とボトム波長に加えて、第1の波長と第2の波長によって定義される範囲の合成積を算出することで、一次微分情報に表された特徴をより詳細に解析して、被写体の種類や状態の特定を行うことができる。
 実施の形態では、解析処理の第3例で詳述したように、演算部3は、ピーク波長とボトム波長の少なくとも一方から一次微分情報の変曲点に対応する波長(特定波長λf0や特定波長λf1)に至る一次微分情報の合成積を算出し、算出した合成積を用いて評価指標を算出する例を挙げた(図18及び図19参照)。
 一次微分情報において、ピーク波長とボトム波長に加えて、変曲点に対応する波長によって定義される範囲の合成積を算出することで、一次微分情報に表された特徴をより詳細に解析して、被写体の種類や状態の特定を行うことができる。
 実施の形態では、第2の演算処理で詳述したように、演算部3は、特定の波長帯域(基準バンド)の強度情報を保存し、特定の波長帯域以外の波長帯域(基準バンド以外のバンド)の隣接する波長帯域との差分情報を保存する例を挙げた(図21及び図23参照)。
 特定の波長帯域の強度情報と、特定の波長帯域以外の波長帯域の隣接する波長帯域との差分情報とを保存することで、包絡線情報を再現可能な情報を、データ量を削減した状態で圧縮保存することができる。データ量の削減により、データの保存に必要なストレージ量を低減し、コストを低減することが可能になる。
 実施の形態では、第2の演算処理で詳述したように、演算部3は、特定の波長帯域(基準バンド)と特定の波長帯域以外の波長帯域(基準バンド以外のバンド)の包絡線情報の差分情報を算出し、特定の波長帯域の強度情報を保存し、特定の波長帯域以外の波長帯域の前記差分情報を保存する(図22及び図23参照)。
 特定の波長帯域の強度情報と、特定の波長帯域以外の波長帯域について算出された差分情報とを保存することで、包絡線情報を再現可能な情報を、データ量を削減した状態で圧縮保存することができる。データ量の削減により、データの保存に必要なストレージ量を低減し、コストを低減することが可能になる。
 実施の形態では、検出された帯域データは、圃場(圃場210)を撮像して得られたデータである例を挙げた。
 これにより、圃場を撮像して得られた帯域データを用いてマルチバンドデータが生成され、圃場におけるマルチバンドデータの包絡線情報を得ることができる。即ち、圃場管理に活用可能なセンシングを行うことができる。
 なお圃場は、野外農地の耕作地に限られず、水耕栽培やハウス栽培などの用地であってもよい。
 また実施の形態では、飛行体200に搭載された撮像装置250を用いた空撮の例を説明したが、本開示の適用範囲はこれに限定されない。例えば、圃場やハウス内に設置されたフィールドセンサカメラ、トラクターや灌漑ピボットなどの農業機械に搭載した可動センサカメラ、或いは有人飛行機に搭載したリモートセンシングカメラや、衛星に搭載されたマルチバンドセンサを用いたセンシングに対しても広く適用可能なものである。
 実施の形態では、評価指標が植生評価指標である例を挙げた。
 これにより、植物の多様な種類や状態に応じた評価指標を算出することができる。
 なお実施の形態では、植物の種類及び植物の状態を識別する例を説明したが、本開示の適用範囲はこれに限定されず、例えば、農業分野においては、土壌と作物の識別、土壌の種類及び状態の識別に対しても応用可能である。また果実と葉・茎の識別や、果実の成熟度の識別などにも応用することができる。さらには、被写体の波長スペクトルに対する吸収特性、透過・散乱特性を計測するという観点においては、本開示を農業分野以外の分野に応用することも可能である。具体的には、通常は人間が視覚に頼って識別している行為、例えば工場における色検査による選別や、生鮮食品売り場で購買時の良品見極めなど、本開示の情報処理装置やプログラムの所在を適材適所に最適化することで、多くの実施態様に応用することが可能である。
 実施の形態では、マルチバンド画像にROIを設定し、ROIにおける包絡線情報を対象として評価指標の算出や圧縮保存の演算処理を行う場合を説明した(図8及び図23参照)。マルチバンド画像におけるレイヤ間の演算は強力な処理能力を必要とするが、設定したROIにおける包絡線情報のみを対象として演算処理を行うことで、演算に必要な処理能力を低減することができる。
 さらに、例えばマルチバンド画像から予めいくつかのROIを設定し、設定したROIについてのみ包絡線情報及び一次微分情報を生成し、評価指標算出にあたっては一次微分情報から求められた変曲点の近傍のバンドの包絡線情報を選択的に利用し、圧縮保存にあたっては包絡線情報に一次微分を再度適用して得られた差分情報を利用することが考えられる。これにより、包絡線情報を再現可能な情報を保存しながらもデータ量を大幅に圧縮することが可能となり、限られた演算リソースの環境下であっても、評価指標に基づくマップ情報の迅速な提示が可能となる。
 またマルチバンド画像の代わりに、生成された評価指標に基づくマップ情報を保存することも考えられる。マップ情報は、包絡線情報の主要な情報を含みつつも圧縮された情報となるため、必要なストレージ量およびストレージのコストを削減することができる。
 実施の形態のプログラムは、検出された複数の波長帯域の帯域データと、検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成する処理と、マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する処理と、を例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
 このようなプログラムにより、上述した情報処理装置1の提供を広く実現できる。例えば情報処理装置1のアップデートプログラムなどとして提供することも想定される。
 これらのプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
 あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
 さらにまた、このようなプログラムは、実施の形態の情報処理装置1の広範な提供に適している。例えばクラウドコンピューティングサービスを提供するサーバに当該プログラムをダウンロードすることで、クラウドネットワーク上で本開示の情報処理装置1の機能を実現することができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
 なお本技術は以下のような構成も採ることができる。
 (1)
 検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成する信号処理部と、
 前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する演算部とを備える
 情報処理装置。
 (2)
 前記演算部は、前記包絡線情報の一次微分情報を生成する
 上記(1)に記載の情報処理装置。
 (3)
 前記演算部は、
 前記一次微分情報のゼロクロス点を検出し、
 前記一次微分情報が正から負へ推移する途中のゼロクロス点の波長を前記包絡線情報のピーク波長として特定し、
 前記一次微分情報が負から正へ推移する途中のゼロクロス点の波長を前記包絡線情報のボトム波長として特定する
 上記(2)に記載の情報処理装置。
 (4)
 前記演算部は、
 前記ピーク波長と前記ボトム波長の少なくとも一方を用いて評価指標を算出する
 上記(3)に記載の情報処理装置。
 (5)
 前記演算部は、
 前記包絡線情報から得られる前記ピーク波長に対応する値を第1の頂点とし、
 前記包絡線情報から得られる前記ボトム波長に対応する値を第2の頂点とし、
 前記包絡線情報から得られる前記ピーク波長及び前記ボトム波長より長波長側に位置する所定の波長に対応する値を第1の基準点とし、
 前記包絡線情報から得られる前記ピーク波長及び前記ボトム波長より短波長側に位置する所定の波長に対応する値を第2の基準点とし、
 前記第1の頂点と前記第2の頂点と前記第1の基準点からなる第1の三角形と、前記第1の頂点と前記第2の頂点と前記第2の基準点からなる第2の三角形を特定する
 上記(3)又は(4)に記載の情報処理装置。
 (6)
 前記演算部は、
 前記第1の三角形と前記第2の三角形の少なくとも一方の面積を算出し、
 算出した面積を用いて評価指標を算出する
 上記(5)に記載の情報処理装置。
 (7)
 前記演算部は、
 前記第1の三角形と前記第2の三角形の少なくとも一方における少なくとも1つの内角の角度を算出し、
 算出した角度を用いて評価指標を算出する
 上記(5)又は(6)に記載の情報処理装置。
 (8)
 前記演算部は、
 前記第1の三角形と前記第2の三角形の少なくとも一方における少なくとも1辺の長さを算出し、
 算出した長さを用いて評価指標を算出する
 上記(5)から(7)のいずれかに記載の情報処理装置。
 (9)
 前記演算部は、
 前記ピーク波長から前記ボトム波長に至る前記一次微分情報の合成積を算出し、
 算出した合成積を用いて評価指標を算出する
 上記(3)から(8)のいずれかに記載の情報処理装置。
 (10)
 前記演算部は、
 前記ピーク波長から第1の波長に至る前記一次微分情報の合成積と、前記ボトム波長から第2の波長に至る前記一次微分情報の合成積と、の少なくとも一方を算出し、
 算出した合成積を用いて評価指標を算出する
 上記(3)から(9)のいずれかに記載の情報処理装置。
 (11)
 前記演算部は、
 前記ピーク波長と前記ボトム波長の少なくとも一方から前記一次微分情報の変曲点に対応する波長に至る前記一次微分情報の合成積を算出し、
 算出した合成積を用いて評価指標を算出する
 上記(3)から(10)のいずれかに記載の情報処理装置。
 (12)
 前記演算部は、
 特定の波長帯域の強度情報を保存し、
 前記特定の波長帯域以外の波長帯域の隣接する波長帯域との差分情報を保存する
 上記(1)から(11)のいずれかに記載の情報処理装置。
 (13)
 前記演算部は、
 特定の波長帯域と前記特定の波長帯域以外の波長帯域の包絡線情報の差分情報を算出し、
 前記特定の波長帯域の強度情報を保存し、
 前記特定の波長帯域以外の波長帯域の前記差分情報を保存する
 上記(1)から(11)のいずれかに記載の情報処理装置。
 (14)
 前記検出された帯域データは、圃場を撮像して得られたデータである
 上記(1)から(13)のいずれかに記載の情報処理装置。
 (15)
 前記評価指標は、植生評価指標である
 上記(4)、(6)から(11)のいずれかに記載の情報処理装置。
 (16)
 検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成し、
 前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する
 情報処理方法。
 (17)
 検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成する処理と、
 前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する処理と、
 を情報処理装置に実行させるプログラム。
1 情報処理装置
2 信号処理部
3 演算部 
Mi 個別画像
Mm マッピング画像
En1 包絡線
Cr1 微分曲線
λg ピーク波長
λr ボトム波長
λir 第1の所定波長
λb 第2の所定波長
Pg 第1の頂点
Pr 第2の頂点
Pir 第1の基準点
Pb 第2の基準点
ΔRE 第1の三角形
ΔVIS 第2の三角形

Claims (17)

  1.  検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成する信号処理部と、
     前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する演算部とを備える
     情報処理装置。
  2.  前記演算部は、前記包絡線情報の一次微分情報を生成する
     請求項1に記載の情報処理装置。
  3.  前記演算部は、
     前記一次微分情報のゼロクロス点を検出し、
     前記一次微分情報が正から負へ推移する途中のゼロクロス点の波長を前記包絡線情報のピーク波長として特定し、
     前記一次微分情報が負から正へ推移する途中のゼロクロス点の波長を前記包絡線情報のボトム波長として特定する
     請求項2に記載の情報処理装置。
  4.  前記演算部は、
     前記ピーク波長と前記ボトム波長の少なくとも一方を用いて評価指標を算出する
     請求項3に記載の情報処理装置。
  5.  前記演算部は、
     前記包絡線情報から得られる前記ピーク波長に対応する値を第1の頂点とし、
     前記包絡線情報から得られる前記ボトム波長に対応する値を第2の頂点とし、
     前記包絡線情報から得られる前記ピーク波長及び前記ボトム波長より長波長側に位置する所定の波長に対応する値を第1の基準点とし、
     前記包絡線情報から得られる前記ピーク波長及び前記ボトム波長より短波長側に位置する所定の波長に対応する値を第2の基準点とし、
     前記第1の頂点と前記第2の頂点と前記第1の基準点からなる第1の三角形と、前記第1の頂点と前記第2の頂点と前記第2の基準点からなる第2の三角形を特定する
     請求項3に記載の情報処理装置。
  6.  前記演算部は、
     前記第1の三角形と前記第2の三角形の少なくとも一方の面積を算出し、
     算出した面積を用いて評価指標を算出する
     請求項5に記載の情報処理装置。
  7.  前記演算部は、
     前記第1の三角形と前記第2の三角形の少なくとも一方における少なくとも1つの内角の角度を算出し、
     算出した角度を用いて評価指標を算出する
     請求項5に記載の情報処理装置。
  8.  前記演算部は、
     前記第1の三角形と前記第2の三角形の少なくとも一方における少なくとも1辺の長さを算出し、
     算出した長さを用いて評価指標を算出する
     請求項5に記載の情報処理装置。
  9.  前記演算部は、
     前記ピーク波長から前記ボトム波長に至る前記一次微分情報の合成積を算出し、
     算出した合成積を用いて評価指標を算出する
     請求項3に記載の情報処理装置。
  10.  前記演算部は、
     前記ピーク波長から第1の波長に至る前記一次微分情報の合成積と、前記ボトム波長から第2の波長に至る前記一次微分情報の合成積と、の少なくとも一方を算出し、
     算出した合成積を用いて評価指標を算出する
     請求項3に記載の情報処理装置。
  11.  前記演算部は、
     前記ピーク波長と前記ボトム波長の少なくとも一方から前記一次微分情報の変曲点に対応する波長に至る前記一次微分情報の合成積を算出し、
     算出した合成積を用いて評価指標を算出する
     請求項3に記載の情報処理装置。
  12.  前記演算部は、
     特定の波長帯域の強度情報を保存し、
     前記特定の波長帯域以外の波長帯域の隣接する波長帯域との差分情報を保存する
     請求項1に記載の情報処理装置。
  13.  前記演算部は、
     特定の波長帯域と前記特定の波長帯域以外の波長帯域の包絡線情報の差分情報を算出し、
     前記特定の波長帯域の強度情報を保存し、
     前記特定の波長帯域以外の波長帯域の前記差分情報を保存する
     請求項1に記載の情報処理装置。
  14.  前記検出された帯域データは、圃場を撮像して得られたデータである
     請求項1に記載の情報処理装置。
  15.  前記評価指標は、植生評価指標である
     請求項4に記載の情報処理装置。
  16.  検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成し、
     前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する
     情報処理方法。
  17.  検出された複数の波長帯域の帯域データと、前記検出された帯域データから再構成した波長帯域の帯域データを含む、複数の帯域データを有するマルチバンドデータを生成する処理と、
     前記マルチバンドデータにより表現されるスペクトルデータの包絡線情報を生成する処理と、
     を情報処理装置に実行させるプログラム。
PCT/JP2021/036500 2020-10-26 2021-10-01 情報処理装置、情報処理方法、プログラム WO2022091697A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21885816.5A EP4235122A4 (en) 2020-10-26 2021-10-01 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US18/249,504 US20230384158A1 (en) 2020-10-26 2021-10-01 Information processing device, information processing method, and program
CN202180071662.6A CN116322304A (zh) 2020-10-26 2021-10-01 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020179198 2020-10-26
JP2020-179198 2020-10-26

Publications (1)

Publication Number Publication Date
WO2022091697A1 true WO2022091697A1 (ja) 2022-05-05

Family

ID=81382404

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036500 WO2022091697A1 (ja) 2020-10-26 2021-10-01 情報処理装置、情報処理方法、プログラム

Country Status (4)

Country Link
US (1) US20230384158A1 (ja)
EP (1) EP4235122A4 (ja)
CN (1) CN116322304A (ja)
WO (1) WO2022091697A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508748A (ja) * 1999-08-30 2003-03-04 ユーロ−セルティーク,エス.エイ. 投与形態から物質の放出を測定するためのイン・サイチュー方法
JP2009145145A (ja) * 2007-12-13 2009-07-02 Dkk Toa Corp 軽油識別方法及び軽油モニタ
JP5162890B2 (ja) 2006-12-01 2013-03-13 株式会社サタケ リモートセンシングにおける補正方法
JP2013050406A (ja) * 2011-08-31 2013-03-14 Fujitsu Ltd 成熟度判定プログラム、成熟度判定装置及び成熟度判定方法
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
US20190222779A1 (en) * 2018-01-12 2019-07-18 Ryan Lee Nelson Multispectral camera replaceable filter array
JP2020022121A (ja) * 2018-08-02 2020-02-06 ソニー株式会社 撮像装置、信号処理装置、信号処理方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508748A (ja) * 1999-08-30 2003-03-04 ユーロ−セルティーク,エス.エイ. 投与形態から物質の放出を測定するためのイン・サイチュー方法
JP5162890B2 (ja) 2006-12-01 2013-03-13 株式会社サタケ リモートセンシングにおける補正方法
JP2009145145A (ja) * 2007-12-13 2009-07-02 Dkk Toa Corp 軽油識別方法及び軽油モニタ
JP2013050406A (ja) * 2011-08-31 2013-03-14 Fujitsu Ltd 成熟度判定プログラム、成熟度判定装置及び成熟度判定方法
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
US20190222779A1 (en) * 2018-01-12 2019-07-18 Ryan Lee Nelson Multispectral camera replaceable filter array
JP2020022121A (ja) * 2018-08-02 2020-02-06 ソニー株式会社 撮像装置、信号処理装置、信号処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4235122A4

Also Published As

Publication number Publication date
EP4235122A1 (en) 2023-08-30
EP4235122A4 (en) 2024-06-05
US20230384158A1 (en) 2023-11-30
CN116322304A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Zhang et al. High-resolution satellite imagery applications in crop phenotyping: An overview
US10528813B2 (en) Method and system for crop yield estimation
Dixon et al. Satellite prediction of forest flowering phenology
Saberioon et al. Assessment of rice leaf chlorophyll content using visible bands at different growth stages at both the leaf and canopy scale
de Oca et al. The AgriQ: A low-cost unmanned aerial system for precision agriculture
Kim Roadmap to high throughput phenotyping for plant breeding
Delalieux et al. Unmixing-based fusion of hyperspatial and hyperspectral airborne imagery for early detection of vegetation stress
JP2006250827A (ja) 作物の生育状況分析方法
Yang et al. Airborne hyperspectral imagery and linear spectral unmixing for mapping variation in crop yield
Mengmeng et al. Multi-temporal monitoring of wheat growth by using images from satellite and unmanned aerial vehicle
Coltri et al. Coffee crop's biomass and carbon stock estimation with usage of high resolution satellites images
Moriya et al. Detection and mapping of trees infected with citrus gummosis using UAV hyperspectral data
WO2015006675A2 (en) Method for automatic phenotype measurement and selection
Diago et al. On‐the‐go assessment of vineyard canopy porosity, bunch and leaf exposure by image analysis
Wu et al. Predicting Zea mays flowering time, yield, and kernel dimensions by analyzing aerial images
dos Santos et al. Determining the leaf area index and percentage of area covered by coffee crops using UAV RGB images
Yang et al. Airborne videography to identify spatial plant growth variability for grain sorghum
Zhang et al. Phenotyping flowering in canola (brassica napus l.) and estimating seed yield using an unmanned aerial vehicle-based imagery
dos Santos et al. Surface reflectance calculation and predictive models of biophysical parameters of maize crop from RG-NIR sensor on board a UAV
JP7155681B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Santos et al. Coffee crop coefficient prediction as a function of biophysical variables identified from RGB UAS images
Yang et al. Evaluating high resolution SPOT 5 satellite imagery to estimate crop yield
Ahmad et al. Spatio-temporal analysis of chickpea crop in arid environment by comparing high-resolution UAV image and LANDSAT imagery
Tunca et al. Accurate leaf area index estimation in sorghum using high-resolution UAV data and machine learning models
WO2022091697A1 (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21885816

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18249504

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021885816

Country of ref document: EP

Effective date: 20230526

NENP Non-entry into the national phase

Ref country code: JP