WO2023234020A1 - 撮像装置、および撮像装置の作動方法、並びにプログラム - Google Patents

撮像装置、および撮像装置の作動方法、並びにプログラム Download PDF

Info

Publication number
WO2023234020A1
WO2023234020A1 PCT/JP2023/018380 JP2023018380W WO2023234020A1 WO 2023234020 A1 WO2023234020 A1 WO 2023234020A1 JP 2023018380 W JP2023018380 W JP 2023018380W WO 2023234020 A1 WO2023234020 A1 WO 2023234020A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
spectral
imaging device
state information
Prior art date
Application number
PCT/JP2023/018380
Other languages
English (en)
French (fr)
Inventor
哲 小川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023234020A1 publication Critical patent/WO2023234020A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32—Investigating bands of a spectrum in sequence by a single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration

Definitions

  • the present disclosure relates to an imaging device, an operating method of the imaging device, and a program, and particularly relates to an imaging device, an operating method of the imaging device, and a program that can visualize and present an invisible imaging target.
  • NDVI Normalized Difference Vegetation Index
  • the present disclosure has been made in view of this situation, and in particular, it is intended to make it possible to visualize and present an invisible imaging target.
  • An imaging device and a program include a spectroscopic unit that spectrally spectra incident light from a measurement target, a spectroscopic front end that generates a plurality of spectral raw data based on spectroscopic results of the spectroscopic unit, a spectral reflectance calculation unit that calculates the spectral reflectance of the measurement target based on the spectral raw data; a visualized image generation unit that generates a visualized image based on the specific spectral reflectance; and a visualized image generation unit that generates the visualized image in real time.
  • the present invention provides an imaging device including a display unit for displaying images, and a program.
  • An operating method of an imaging device spectrally spectra incident light from a measurement target, generates spectroscopic raw data based on the spectroscopic result of the incident light, and generates spectroscopic raw data based on the spectroscopic raw data.
  • a method for operating an imaging device including the steps of calculating a spectral reflectance of a target, generating a visualized image based on the specific spectral reflectance, and displaying the visualized image in real time.
  • incident light from a measurement target is spectrally divided, spectral raw data is generated based on the spectral results, and spectral reflectance of the measurement target is calculated based on the spectral raw data, A visualized image is generated based on a specific spectral reflectance, and the visualized image is displayed in real time.
  • FIG. 3 is a diagram illustrating incident light, specularly reflected light, diffused light, absorbed light, and transmitted light. It is a figure explaining irradiance, radiant emittance, radiance, radiant intensity, and radiant flux. It is a figure explaining spectral irradiance, spectral radiant emittance, spectral radiance, spectral radiant intensity, and spectral radiant flux. It is a figure explaining the measuring method of spectral reflectance. It is a figure explaining the measuring method of spectral irradiance.
  • FIG. 1 is an external configuration diagram of an imaging device according to the present disclosure.
  • FIG. 2 is a functional block diagram illustrating functions realized by the imaging device of the present disclosure.
  • FIG. 9 is a functional block diagram illustrating functions realized by the function measuring section of FIG. 8; It is a diagram explaining a 3D data cube.
  • FIG. 3 is a diagram illustrating an example of spectroscopic measurement using a multi-lens lens.
  • FIG. 3 is a diagram illustrating a display example of an RGB image.
  • FIG. 3 is a diagram illustrating a PRI color map image.
  • FIG. 3 is a diagram illustrating an example of a setting image for setting a maximum value and a minimum value in a color map image.
  • FIG. 3 is a diagram illustrating a color map image of leaf surface light intensity PAR.
  • FIG. 3 is a diagram illustrating an NDVI color map image.
  • FIG. 3 is a diagram illustrating an NDVI color map image.
  • FIG. 3 is a diagram illustrating an RGB image in which an area where NDVI is less than or equal to a predetermined value is masked.
  • FIG. 3 is a diagram illustrating an RGB image in which regions where a predetermined vegetation index, photosynthetic rate, and environmental stress response are below a predetermined value are masked.
  • FIG. 3 is a diagram illustrating an example of a composite image obtained by superimposing a PRI color map image on an RGB image.
  • FIG. 3 is a diagram illustrating a scatter diagram and regression analysis results of PAR-PRI.
  • FIG. 3 is a diagram illustrating a heat map and regression analysis results of PAR-PRI.
  • FIG. 2 is a diagram illustrating a box graph of PAR-PRI.
  • FIG. 20 is a diagram illustrating a display example when a user sets an ROI on the composite image of FIG. 19.
  • FIG. FIG. 7 is a diagram illustrating an example of highlighting in a color map image of leaf surface light intensity PAR.
  • FIG. 6 is a diagram illustrating an example in which individuals identified by individual identification units are displayed side by side for comparison. It is a flowchart explaining image pick-up display processing. It is a flowchart explaining light source spectral calculation processing. It is a flow chart explaining light source spectrum acquisition processing. It is a flowchart explaining function measurement processing. An example of the configuration of a general-purpose computer is shown.
  • diffuse reflection spectroscopy which is the principle of measuring invisible imaging targets, and also touch on the definitions of terms.
  • Examples of the invisible imaging target include vegetation indices such as NDVI (Normalized Difference Vegetation Index) and PRI (Photochemical Reflectance Index), or chlorophyll fluorescence generated from plants.
  • vegetation indices such as NDVI (Normalized Difference Vegetation Index) and PRI (Photochemical Reflectance Index), or chlorophyll fluorescence generated from plants.
  • NDVI is defined as ( ⁇ NIR- ⁇ R)/( ⁇ NIR+ ⁇ R), where ⁇ NIR and ⁇ R are the spectral reflectance of NIR (near infrared light) and R (red light), respectively.
  • PRI is defined as ( ⁇ 531- ⁇ 570)/( ⁇ 531+ ⁇ 570), where ⁇ 531 is the spectral emissivity at a wavelength of 531 nm, and ⁇ 570 is the spectral reflectance at a wavelength of 570 nm.
  • chlorophyll fluorescence is a value calculated from the spectral radiance of a specific wavelength.
  • the vegetation index which is an invisible imaging target, is calculated using spectral reflectance, and the principle of these measurements is based on the following characteristics.
  • the incident light Li that enters the sample surface Sf of the sample Sb, which constitutes a plant leaf, etc. is caused by light of a specific wavelength being absorbed by the material composition inside the sample Sb.
  • the diffused light Lo When the diffused light Lo is re-emitted from the sample surface Sf, the diffused light Lo has different spectral characteristics from the incident light Li.
  • FIG. 1 depicts how incident light Li enters from the sample surface Sf of sample Sb with thickness D, follows the optical path shown by solid lines and dotted lines, and is re-emitted as diffused light Lo.
  • the incident light Li is red light
  • the absorbed light Lab is about 84%
  • the transmitted light Lp is about 5 to 6%.
  • the total reflected light Lrm is the remainder.
  • absorbed light Lab is often absorbed by pigments such as chlorophyll and carotenoids.
  • the vegetation index etc. of sample Sb which is an invisible measurement target and is the material composition inside the plant, is measured from the change in the spectral characteristics of diffused light Lo with respect to incident light Li by diffuse reflection spectroscopy using the above-mentioned characteristics. Ru.
  • radiance is a physical quantity representing the radiant flux emitted in a predetermined direction from a point-like radiation source.
  • the radiation intensity is a physical quantity representing the radiation energy radiated per unit time in a predetermined direction from a point-like radiation source.
  • the input per unit area ⁇ s on the earth's surface S by the incident light Li from the sun as a light source is defined as the irradiance (W/m 2 ), and the output according to the reflection from the earth's surface S is calculated accordingly.
  • Radiant emittance (W/m 2 ) is a unit of radiation amount, but the corresponding photometric amount is illuminance (lux).
  • the brightness observed when the imaging device C images the light reflected from the ground surface S at the radiant emittance (W/m 2 ) is the radiance.
  • Radiance (W/sr/m 2 ) is expressed as radiant emittance (W/m 2 ) per unit solid angle (sr: steradian).
  • radiance is radiant intensity (W/sr) differentiated by area
  • radiant intensity is radiant flux (W) It is differentiated by the angle (sr).
  • the radiant intensity (W/sr) is the radiance (W/sr/m 2 ) integrated over the area
  • the radiant flux (W) is the radiant intensity (W/sr) integrated over the solid angle. It is what was done.
  • radiance (W/sr/m 2 ), radiant intensity (W/sr), and radiant flux (W) are all units of radiant amount, but the corresponding photometric quantities are each expressed as radiance (cd/m 2 ).
  • the vegetation index which is an invisible observation target, is determined by observing spectral characteristics.
  • the above-mentioned radiance and radiant intensity are respectively expressed as spectral radiance and spectral radiant intensity at a specific wavelength, and are expressed as radiance and radiant intensity per unit wavelength.
  • the units of spectral irradiance and spectral radiant emittance are each (W/m 2 /nm).
  • the unit of spectral radiance is (W/sr/m 2 /nm)
  • the unit of spectral radiant intensity is (W/sr/nm)
  • the unit of spectral radiant flux is (W/nm).
  • the spectral radiant emittance and the spectral irradiance are the same.
  • the spectral characteristics of the diffused light Lo explained with reference to FIG. 1 include the spectral reflectance and spectral radiance of the diffused light Lo regarding the sample Sb. , or both are required.
  • the spectral reflectance R( ⁇ ) is the reflectance of the spectral component of the wavelength ⁇ of the incident light Li on the leaf RR made of the sample Sb, as shown in FIG.
  • the diffused light Lo produced by I( ⁇ ) E ⁇ I ⁇ 1 ).
  • the solar spectral irradiance I ( ⁇ ) is the reflected light generated when the incident light Li is reflected by the standard diffuse reflector RB, which is a perfect diffuser (Lambertian diffuser), as shown in FIG. Lr is obtained from the observed value when observed by the imaging device C.
  • the read value Is( ⁇ ) from the image sensor of the imaging device C is calibrated to obtain the spectral radiance Ic( ⁇ ), and further, the spectral radiance Ic( ⁇ ) is calculated from the standard diffuse reflection.
  • the solar spectral irradiance I( ⁇ ) is determined by rebate based on the reflectance of the plate RB.
  • the information for identifying the object to be imaged is invisible information, the desired object to be imaged cannot be visually identified. It is not possible to take an image in a state where alignment is achieved.
  • FIG. 7 is an external perspective view of the imaging device 31 of the present disclosure
  • FIG. 8 is a functional block diagram illustrating functions realized by the imaging device 31.
  • the imaging device 31 has a general interchangeable lens camera shape, and includes a main body 40, a lens unit 41, an LCD (Liquid Crystal Display) 42, and a key 43.
  • a main body 40 includes a lens unit 41, an LCD (Liquid Crystal Display) 42, and a key 43.
  • LCD Liquid Crystal Display
  • the lens unit 41 has a built-in lens 121 (FIG. 8) and a spectroscopic unit 122 (FIG. 8), and splits the incident light into predetermined bands, condenses the light, and sends it inside the main body 40. Focusing is performed on the imaging surface of the provided image sensor (imaging device) 124 (FIG. 8).
  • the LCD 42 is provided on the back side with respect to the direction of incidence of the incident light of the imaging device 31, and displays various information, and also includes a touch panel 111 (FIG. 8) to input various operations. accept.
  • the LCD 42 displays information that is invisible unless image processing is performed, such as the vegetation index of the subject within the field of view of the lens unit 41, in real time as visualized information such as a color map image using a so-called live view display. .
  • the key 43 has a function as a shutter button that is operated when capturing a still image, and also functions as a button that is operated when instructing to start and end recording when capturing a moving image.
  • the imaging device 31 includes an optical block 101, a spectral processing unit 102, a spectral application unit 103, a visualization unit 104, a statistical analysis unit 105, a recognition processing unit 106, a system control unit 107, and a camera control unit 108. , a touch panel 111, a recording device 112, a communication device 113, an LCD 42, and keys 43.
  • the optical block 101 includes a lens unit 41, which performs spectroscopy, generates a spectral imaging result consisting of pixel signals according to the amount of focused incident light, and outputs it to the spectral processing unit 102. do.
  • the optical block 101 includes a lens 121 that constitutes the lens unit 41, a spectroscopic unit 122, a shutter 123, and an image sensor 124.
  • the lens 121 is configured to be driven in the direction of incidence of incident light by a driver 195 controlled by the AF control section 194 of the camera control unit 108, and transmits the incident light and focuses it on the imaging surface of the image sensor 124. Shine.
  • the spectroscopic unit 122 is an optical unit that spectrally separates the incident light, and spectrally separates the incident light into each predetermined wavelength band, and makes it enter the image sensor 124 via the shutter 123.
  • the spectroscopic unit 122 includes, for example, a spectroscopic method using a diffraction grating (CTIS (Computed Tomography Imaging Spectrometer) method) and a multi-lens band-pass filter method.
  • CTIS Computerputed Tomography Imaging Spectrometer
  • the spectroscopic unit 122 may have any other configuration as long as it can perform spectroscopy, for example, a surface plasmon resonance method, a Fourier spectroscopy method, a Fabry-Perot method, or the like.
  • the spectroscopic unit 122 is a CTIS type using a diffraction grating
  • information consisting of a spectral direction and a resolution direction is input to the image sensor 124.
  • the spectroscopic unit 122 is a multilens bandpass filter type
  • at least four types of visible light (RGB (red light, green light, blue light)) and NIR (near infrared light) are displayed on the image sensor 124.
  • RGB red light, green light, blue light
  • NIR near infrared light
  • the shutter 123 is provided in front of the image sensor 124 and is configured to be mechanically opened or closed by a driver 193 controlled by the AE control section 192 of the camera control unit 108.
  • the amount of light is controlled by transmitting or blocking the incident light.
  • the image sensor 124 is composed of a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor arranged in an array in pixel units, and when the shutter 123 is open, the lens unit 41 A pixel signal is output according to the amount of focused and separated incident light.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the spectral processing unit 102 generates a 3D data cube (Data Cube), which will be described later, based on the spectral imaging results, and outputs it to the spectral application unit 103.
  • Data Cube 3D data cube
  • the spectral processing unit 102 includes a spectral front end 131 and a spectral radiance calculation section 132.
  • the spectral front end 131 separates the raw data, which is the readout value of the image sensor 124, into a plurality of wavelength images (spectral images) for each wavelength, and sends the raw data, which is the readout value of the image sensor 124, to the spectral radiance calculation unit 132 as the spectral raw data. Output.
  • the spectroscopic unit 122 is of the CTIS type, the information consisting of the spectral direction and the resolution direction read out from the image sensor 124 is separated into a plurality of two-dimensional data for each wavelength. Data Cube). Note that details of the 3D data cube will be described later with reference to FIG.
  • the spectroscopic unit 122 is a multi-lens band-pass filter method, after images are cut out for each wavelength, alignment is performed and information in the same format as the 3D Data Cube is output. be done. Note that details of an example of the multi-lens band-pass filter method will be described later with reference to FIG.
  • the spectral radiance calculation unit 132 takes into account the spectral characteristics of the optical system such as the image sensor 124 and the lens 121, and measures the spectral radiance from the spectral raw data that is the read value of the image sensor 124 that has been spectrally supplied from the spectral front end 131. Calculate the spectral radiance of the target.
  • the spectral radiance calculation unit 132 calculates the spectral radiance by calculating the following equation (1), for example.
  • I is the spectral radiance
  • Si is the spectral readout value (spectral raw data) of the image sensor 124
  • F is the spectral characteristic of the optical system.
  • the spectral application unit 103 generates invisible two-dimensional data consisting of an RGB image, which is a visible image, and invisible information, based on the spectral radiance supplied in the form of a 3D data cube, and the visualization unit 104 , a statistical analysis unit 105 , and a recognition processing unit 106 .
  • the spectral application unit 103 includes a spectral reflectance calculation section 141, a light source spectral calculation section 142, an RGB development section 143, a vegetation index calculation section 144, and a function measurement section 145.
  • the spectral reflectance calculation section 141 calculates the spectral reflectance using the following equation (2) based on the spectral radiance of the measurement target supplied from the spectral processing unit 102 and the spectral radiance of the light source supplied from the light source spectral calculation section 142. The reflectance is calculated and output to the vegetation index calculation unit 144.
  • R is the spectral reflectance
  • I is the spectral radiance of the measurement target
  • L is the spectral radiance of the light source.
  • the spectral reflectance calculation unit 141 calculates the spectral reflectance based on the spectral raw data. , the spectral reflectance may be calculated and output to the vegetation index calculation unit 144. At this time, if the spectral radiance is not required (if the function measurement unit 145 is not used), the spectral radiance calculation unit 132 does not need to convert it to the spectral radiance.
  • the spectral reflectance calculation section 141 and the light source spectral calculation section 142 operate by inputting the spectral readout value (spectral raw data) of the image sensor 124. Further, the spectral reflectance calculation unit 141 outputs the calculated spectral reflectance in the form of the above-mentioned 3D data cube.
  • the light source spectral calculation unit 142 specifies the position of the standard diffuse reflector by having the user specify the position of the standard diffuse reflector on the image, or by specifying the position of the standard diffuse reflector from the image by image recognition or the like.
  • the spectral radiance of the light source is calculated based on the read value of the image sensor 124 in the area thus determined, and is output to the spectral reflectance calculation unit 141.
  • the light source spectral calculation unit 142 acquires information detected by a sensor that detects the spectral radiance of an external light source through communication. You may.
  • the light source spectral calculation unit 142 stores the spectral radiance of the immediately preceding light source, and if the standard diffuse reflector described above is not specified or cannot be detected, the immediately preceding spectral radiance is used. good.
  • the RGB developing section 143 generates an RGB image based on the spectral reflection luminance supplied from the spectral processing unit 102 and the spectral reflectance calculated by the spectral reflectance calculation section 141, and outputs it to the recognition processing unit 106.
  • the RGB image generated by the RGB developing unit 143 may be an image consisting of pixel values based on the spectral radiance of a general measurement target, but here, the spectral radiance of the measurement target is calculated based on the spectral radiance of the light source.
  • the image is made up of pixel values based on spectral reflectance divided by brightness.
  • the RGB image is an image composed of pixel values generated based on a value in which the spectral radiance of the measurement target is normalized by the spectral radiance of the light source.
  • RGB image when an image consisting of pixel values based on the spectral radiance of a general measurement target is treated as an RGB image, for example, sunlight as a light source is white light during the day, so the overall image has a whitish tinge. However, the sunlight that serves as the light source turns into red light in the evening, resulting in an image with a strong red tinge overall. As a result, an RGB image that should have the same color tone may become an RGB image with a different color tone due to changes in the sunlight that is the light source.
  • the RGB image generated by the RGB developing unit 143 of the present disclosure can have an appropriate color tone regardless of changes in the sunlight that is the light source.
  • the vegetation index calculation unit 144 calculates vegetation indices such as NDVI and PRI based on the spectral reflectance, and provides the data as invisible two-dimensional data to the functional measurement unit 145, visualization unit 104, statistical analysis unit 105, and recognition processing unit 106. Output to.
  • the functional measurement unit 145 measures chlorophyll fluorescence and leaf surface light intensity based on the spectral radiance of the measurement target supplied from the spectral processing unit 102 and various vegetation indices supplied from the vegetation index calculation unit 144. Then, the photosynthetic rate (Filtered SIF (Solar Induced Chlorophyll Fluorescence)) and environmental stress response (Filtered PRI) are calculated by processing using a specific algorithm, and the visualization unit 104, statistical analysis unit 105, and output to recognition processing unit 106.
  • the photosynthetic rate Frtered SIF (Solar Induced Chlorophyll Fluorescence)
  • environmental stress response Frtered PRI
  • the functional measurement unit 145 measures the photosynthetic rate (ETR (Electron Transport Rate): electron transfer rate of photosystem II) and environmental stress response (NPQpri (Non-photochemical quenching by PRI) with higher accuracy than Filtered SIF and Filtered PRI. A quantitative estimate of the environmental stress response generated from the PRI) may be determined. Note that the detailed configuration of the function measurement section 145 will be described later with reference to FIG.
  • the visualization unit 104 includes a color map 151 and measures various vegetation indices, chlorophyll fluorescence, leaf light intensity, and photosynthesis supplied from the vegetation index calculation unit 144 and function measurement unit 145 of the spectroscopic application unit 103.
  • color mapping such as RGB
  • a color map image consisting of an RGB image is generated and output to the system control unit 107.
  • the statistical analysis unit 105 consists of various vegetation indices, chlorophyll fluorescence, leaf surface light intensity, photosynthesis rate, and environmental stress response, which are supplied from the vegetation index calculation unit 144 and the function measurement unit 145 of the spectroscopic application unit 103. Each numerical value of the two-dimensional invisible data is statistically analyzed, a graph image is generated from the analysis result, and the statistical result and the graph image are output to the system control unit 107.
  • the statistical analysis unit 105 includes a statistical analysis section 161 and a graph generation section 162.
  • the statistical analysis unit 161 consists of various vegetation indices, chlorophyll fluorescence, leaf light intensity, photosynthesis rate, and environmental stress response, which are supplied from the vegetation index calculation unit 144 and the function measurement unit 145 of the spectroscopic application unit 103.
  • the numerical values of the two-dimensional invisible data are statistically analyzed, and the analysis results are output to the graph generation section 162 and the system control unit 107 as analysis values.
  • the statistical analysis unit 161 uses statistical analysis to determine, for example, a correlation between leaf light intensity and environmental stress response.
  • the statistical analysis unit 161 inputs information specifying an ROI (Region of Interest) area by inputting an operation input corresponding to the operation content via the input unit 185 when the touch panel 111 or the keys 43 are operated. In such a case, only the ROI region to be statistically analyzed may be extracted and the statistical analysis performed.
  • ROI Region of Interest
  • the graph generation unit 162 creates a scatter diagram, a heat map, a box graph, etc. as a graph image based on the analysis result of the statistical analysis unit 161, and outputs it to the system control unit 107. That is, when the statistical analysis of the statistical analysis unit 161 determines, for example, a correlation between leaf surface light intensity and environmental stress response, the graph generation unit 162 generates a graph expressing the determined correlation.
  • the RGB image output from the RGB developing section 143, the color map image output from the visualization unit 104, and the graph image supplied from the graph generating section 162 together constitute an RGB image group, and the system control unit 107 It is output to the image composition section 182 and the recording section 183. Further, details of the statistical analysis and generated graphs will be described later with reference to FIGS. 19 to 21.
  • the recognition processing unit 106 performs identification processing such as individual identification, state identification, and white board identification based on the RGB image and invisible two-dimensional data supplied from the spectroscopic application unit 103, and sends the identification results to the spectroscopic application unit 103, Output to system control unit 107 and camera control unit 108.
  • the recognition processing unit 106 includes an individual identification section 171, a state identification section 172, and a white board identification section 173.
  • the individual identification unit 171 identifies the measurement target unit by unit based on the RGB image and invisible two-dimensional data supplied from the spectroscopic application unit 103.
  • the individual identification unit 171 identifies each individual plant, for example, based on the RGB image and invisible two-dimensional data supplied from the spectroscopic application unit 103.
  • the individual identification unit 171 is not limited to identification based on the RGB image and invisible two-dimensional data supplied from the spectroscopic application unit 103, and may perform identification using other information. Tagging (identifier) by image recognition using images, tagging using two-dimensional barcodes, tagging by location information using GIS (Geographic Information System) information, or input by operating the touch panel 111. Individuals may be identified by tagging or the like.
  • the state identification unit 172 identifies the state of the measurement target based on the range of measurement results (traits and environmental responses) based on the RGB image and invisible two-dimensional data supplied from the spectroscopic application unit 103.
  • trait is a term that expresses shape and static characteristics. Therefore, when the term “trait” is used with respect to shape, for example, “plant leaf trait” includes “plant leaf shape” as an example. Furthermore, when the term “trait” is used for static characteristics, for example, “trait of plant leaves” includes “chlorophyll concentration of plant leaves” as an example.
  • environmental response is a term that expresses shape change and response characteristics. Therefore, when the term “environmental response” is used to refer to changes in shape, for example, “environmental response of plants” includes “changes in leaf traits due to acclimatization of plants”. Furthermore, when the term “environmental response” is used with respect to response characteristics, for example, “environmental response of plants” includes “changes in photosynthetic rate of plants due to fluctuations in light intensity” as an example.
  • the state identification unit 172 determines whether or not the plant has an environmental stress response of a certain level or more, based on the RGB image supplied from the spectroscopic application unit 103 and the environmental stress response of the invisible two-dimensional data. Identify the condition.
  • the white plate identification unit 173 recognizes the position of the white plate (standard diffuse reflector) based on the RGB image and invisible two-dimensional data supplied from the spectroscopic application unit 103, and uses the recognition result to calculate the light source spectrum of the spectroscopic application unit 103. It outputs to section 142.
  • the statistical analysis results of the statistical analysis section 161, the individual identification results of the individual identification section 171, and the state identification results of the state identification section 172 together constitute an analysis value group, and are processed by the image synthesis section 182 of the system control unit 107. and is output to the recording section 183.
  • the system control unit 107 generates an image based on the information of the RGB image group and the analysis value group supplied from the spectroscopic application unit 103, visualization unit 104, statistical analysis unit 105, and recognition processing unit 106, and displays it on the LCD 42. or output to the recording device 112 and communication device 113.
  • system control unit 107 controls the camera control unit 108 based on operation inputs input by the user operating the keys 43 and the touch panel 111 and information on the analysis value group.
  • the system control unit 107 includes an image output section 181, an image composition section 182, a recording section (Codec/compression/file management) 183, an external sensor input section 184, and an input section 185.
  • the image synthesis unit 182 synthesizes an RGB image group consisting of an RGB image, a visualization image, and a graph image, as well as information on an analysis value group such as statistical analysis results and individual identification/state identification results, into a single screen image. , is output to the image output section 181 and displayed on the LCD 43. Note that display examples of the composite image generated by the image composition unit 182 will be described in detail later with reference to FIGS. 12 to 25.
  • the recording unit 183 encodes and compresses an RGB image group consisting of an RGB image, a visualized image, and a graph image, as well as a group of analysis values such as statistical analysis results and individual identification/state identification results, and saves file information.
  • the information is recorded on a recording device 112 such as an HDD or SSD, and is also transmitted to an external device (not shown) via a communication device 113.
  • the recording unit 183 divides the RGB image group and analysis value group into individual identification results and state identification results, and tags (assigns identifiers to) image-attached data (metadata, etc.) such as Exif.
  • the data may be recorded in the recording device 112 by switching folders, or the communication device 113 may be controlled to transmit the data to a different external device (not shown).
  • the external sensor input unit 184 receives input of measurement results from an externally provided sensor (not shown), for example, a sensor that measures the spectral radiance of a light source such as sunlight, and inputs the measurement result to the light source spectral calculation unit 142 and the white board identification unit. 173.
  • an externally provided sensor for example, a sensor that measures the spectral radiance of a light source such as sunlight, and inputs the measurement result to the light source spectral calculation unit 142 and the white board identification unit. 173.
  • a sensor for measuring the spectral radiance of a light source such as sunlight which is supplied to the external sensor input unit 184, may be attached to the imaging device 31 with an attachment, or a dichroic mirror or the like may be used to measure the spectral radiance of a light source such as sunlight. It could be something that lets in light.
  • the input unit 185 receives various operation inputs from the keys 43 and the touch panel 111, and supplies information corresponding to the received operation inputs to the spectroscopic application unit 103 and camera control unit 108.
  • the input unit 185 transmits information on the input light source spectral radiance to the light source spectral calculation unit 142. and the camera control front end 191.
  • the camera control unit 108 receives operation signals supplied from the input unit 185 in response to analysis value groups (recognition results and statistical analysis results) of the statistical analysis unit 105 and the recognition processing unit 106, or operation inputs from the keys 43 and the touch panel 111. Based on this, the operations of the lens 121, shutter 123, and image sensor 124 of the optical block 101 are controlled.
  • the camera control unit 108 includes a camera control front end 191, an AE (Auto Exposure) control section 192, a Driver 193, an AF (Auto Focus) control section 194, and a Driver 195.
  • AE Auto Exposure
  • AF Automatic Focus
  • the camera control front end 191 receives the analysis values of the statistical analysis unit 105 and the recognition processing unit 106, or the input of the operation signal supplied from the input unit 185 in response to the operation input of the keys 43 and the touch panel 111. Based on the information, a control signal for controlling the operations of the lens 121, shutter 123, and image sensor 124 is output to at least one of the AE control section 192 and the AF control section 194.
  • the AE control unit 192 controls the operation of a driver 193 that opens and closes the shutter 123 based on a control signal from the camera control front end 191, and also adjusts the sensitivity of the image sensor 124 to perform imaging. Control such exposure.
  • the AF control unit 194 controls the operation of the driver 195 that drives the lens 121 based on the control signal from the camera control front end 191 to control the focal position.
  • the function measurement section 145 includes a plant filter 211, a leaf light intensity filter 212, a leaf light intensity estimation section 213, a chlorophyll fluorescence calculation section 214, a plant filter 215, and a leaf light intensity filter 216.
  • the plant filter 211 acquires the NDVI and PRI calculated by the vegetation index calculation unit 144, filters and extracts PRI for which NDVI takes a value within a predetermined range, and outputs it to the leaf light intensity filter 212.
  • the plant filter 211 extracts the PRI of the plant area by filtering only the areas where the NDVI of the corresponding area is within a predetermined range (for example, NDVI>0.5, etc.) from the distribution indicating the PRI area. By doing so, we can extract data that can be used to appropriately evaluate plant functions.
  • a predetermined range for example, NDVI>0.5, etc.
  • the leaf light intensity estimation unit 213 estimates the leaf light intensity (PAR: Photosynthetically Active Radiation) based on the spectral radiance, and outputs the estimation result to the leaf light intensity filters 212 and 216.
  • PAR Photosynthetically Active Radiation
  • the leaf light intensity filter 212 filters the PRI whose leaf light intensity (PAR) is an index corresponding to the response to the environment in a predetermined range of the extracted PRIs supplied from the plant filter 211. and output as Filtered PRI (Environmental Stress Response).
  • PAR leaf light intensity
  • the amount of stress that plants actually receive is greatly influenced by the intensity of light that plants receive. Therefore, if there are multiple plants or leaves with different foliar light intensities in the measurement range (for example, the foliar light intensity differs depending on whether the leaf faces the sun or not), the leaves in the predetermined range By extracting only the PRI of surface light intensity, it is possible to output environmental stress responses that exclude the influence of leaf light intensity.
  • the chlorophyll fluorescence calculation unit 214 calculates chlorophyll fluorescence based on the spectral radiance and outputs it to the plant filter 215.
  • the plant filter 215 acquires the chlorophyll fluorescence calculation result from the chlorophyll fluorescence calculation unit 214 and the NDVI calculated by the vegetation index calculation unit 144, and filters the chlorophyll fluorescence whose NDVI has a value within a predetermined range. It is extracted and output to the leaf light intensity filter 216.
  • the plant filter 215 filters only the areas in which the NDVI of the corresponding area is within a predetermined range out of the distribution indicating the area of chlorophyll fluorescence, thereby detecting the chlorophyll fluorescence in the plant area.
  • the plant's functions can be extracted as data that can be appropriately evaluated.
  • the leaf light intensity filter 216 filters chlorophyll fluorescence whose leaf light intensity (PAR) falls within a predetermined range among the extracted chlorophyll fluorescence supplied from the plant filter 215. and output as Filtered SIF (chlorophyll fluorescence).
  • FIG. 10 shows an example of three-dimensional data of the measurement target in the spatial direction (XY) and the wavelength direction ( ⁇ ), that is, a 3D data cube, generated by the spectroscopic front end 131.
  • the 3D data cube is data consisting of three dimensions in the spatial direction (XY) and wavelength direction ( ⁇ ) of the measurement target.
  • the coordinates of each point on the surface of the object to be measured are indicated by XY coordinates, and the data records the light intensity ( ⁇ ) of each wavelength light at each coordinate position (x, y).
  • the data cube shown in the figure is composed of 8 ⁇ 8 ⁇ 8 cubic data, and one cube is data indicating the light intensity of a specific wavelength ( ⁇ ) at a specific position (x, y).
  • the spectral radiance calculation unit 132 calculates the spectral radiance based on the light intensity ( ⁇ ) in the 3D data cube of FIG.
  • the spectral reflectance calculation unit 141 calculates the spectral reflectance based on the spectral radiance, and replaces the spectral reflectance with the calculated spectral reflectance.
  • the image is supplied to the RGB developing section 143 and the vegetation index calculating section 144 in this state.
  • the number of cubes, 8 ⁇ 8 ⁇ 8, is an example, and this number will vary depending on the spatial resolution and wavelength resolution of the spectrometer.
  • FIG. 11 is a diagram schematically showing an example of the imaging area Ri for each lens on the image sensor 124 when a multi-lens is used.
  • FIG. 11 shows an example of the imaging area Ri when the number of multi-lenses is nine.
  • the imaging area Ri for each lens is distinguished by a number from 1 to 9 added to the end of the code.
  • the wide-angle imaging region Ri5 includes images of a plurality of trees
  • the narrow-angle imaging region Ri includes images of a plurality of trees. For example, images of fewer trees, such as one tree, are included than in the wide-angle case.
  • the wide-angle imaging region Ri5 has a wavelength division of "RGB", and an RGB filter is used as a wavelength filter.
  • the RGB filter is a wavelength filter that separates R, G, and B light through each pixel of the image sensor 124.
  • the wavelength filter serving as the RGB filter is formed as a set of on-chip color filters arranged for each pixel of the image sensor 124.
  • the wavelength filter for each imaging region Ri of the imaging regions Ri1 to Ri9 excluding the imaging region Ri5
  • the wavelength filtering in a predetermined wavelength band is performed for the entire irradiation light to the imaging region Ri.
  • a filter is used.
  • FIG. 11 shows an example in which the size of each imaging region Ri (corresponding to the size of the image circle) is the same, the size of the imaging region Ri of at least one lens is different from that of other lenses. It can also be made different.
  • each imaging region Ri on the image sensor 124 may vary depending on the shape of the image sensor 124.
  • the arrangement should be geometrically appropriate.
  • the size of the imaging area Ri of at least one lens is different from that of other lenses as described above, it is possible to set an appropriate resolution and aspect ratio of the imaging area Ri for each lens. , it is possible to appropriately arrange the imaging region Ri of each lens in accordance with the shape of the image sensor 124.
  • the angle of view is made different between lenses with different wavelength bands transmitted by the wavelength filter, but it is also possible to make the angle of view different between lenses with the same wavelength band transmitted by the wavelength filter. .
  • PRI Photochemical Reflectance Index
  • ⁇ 531 represents the spectral reflectance at a wavelength of approximately 531 nm
  • ⁇ 570 represents the spectral reflectance at a wavelength of approximately 570 nm.
  • PRI optically detects the degree of epoxidation/de-epoxidation of the xanthophyll cycle, and in view of the above mechanism, PRI can be used as an index to measure the stress response of plants to various stress factors. It is hoped that this will be possible.
  • Leaf surface light intensity PAR (Photosynthetically Active Radiation) is the light intensity of energy in the vicinity of 400 nm to 700 nm that can be used for photosynthesis, and the larger the value, the greater the amount of radiation effective for photosynthesis.
  • the leaf light intensity PAR is measured using the following procedure, which is estimated based on the assumed reflectance from the measured leaf radiance. Note that the leaf light intensity PAR changes depending on the direction of each leaf with respect to sunlight, so the value varies to some extent.
  • the read values of the image sensor 124 are corrected with the calibration values, so that they become measured values A and B.
  • the ratio A/B is determined.
  • the read value of the image sensor 124 is corrected with a calibration value and measured as a measurement value C.
  • the NIR reflectance of the leaf is ⁇ NIR
  • the NIR light intensity of the leaf surface is estimated to be C/ ⁇ NIR
  • the ratio of PAR to NIR in the standard diffuse reflector is A/
  • the leaf light intensity PAR is calculated as (C/ ⁇ NIR ) ⁇ (A/B).
  • the RGB developing section 143 of the spectral application unit 103 is based on the spectral radiance supplied from the spectral radiance calculation section 132 of the spectral processing unit 102, based on the spectral radiance specified by CIE (Commission Internationale de l'eclairage).
  • An RGB image is generated by a conversion process using a standard luminous efficiency curve.
  • the RGB developing section 143 may perform conversion using the RGB sensitivity curve of a typical image sensor.
  • the RGB developing section 143 uses the spectral reflectance calculated by the spectral reflectance calculation section 141 from the spectral radiance supplied from the spectral radiance calculation section 132 of the spectral processing unit 102, for example, as shown in FIG. An RGB image Prgb in which such a leaf is imaged is generated.
  • the image composition section 182 displays the RGB image supplied from the RGB development section 143 as it is, if necessary.
  • a white plate which is a standard diffuser
  • a frame SRB is placed at the position where the standard diffuser is detected, as shown in the lower left part of FIG. are combined and displayed.
  • the visualization unit 104 uses a color map 151 to add color to the invisible two-dimensional data of various vegetation indices and leaf light intensity output by the vegetation index calculation unit 144 and the function measurement unit 145 of the spectroscopic application unit 103. By doing this, a visualized color map image is generated.
  • the visualization unit 104 uses the color map 151 to map colors using the RGB three primary colors so that they can be seen with the naked eye. Note that, of course, gray scale may be used.
  • FIG. 13 is a color map image Ppri generated by performing color mapping based on the color map 151 on invisible two-dimensional data consisting of PRI of the angle of view corresponding to the RGB image in FIG. 12.
  • a color map bar RBpri indicating colors mapped in association with the PRI values is displayed, indicating that the minimum value is -0.04 and the maximum value is 0.08.
  • the correspondence between numerical values and the minimum and maximum values of the color map can be set by the user using a setting image SP as shown in FIG. 14, for example.
  • the setting image SP is provided with setting columns corresponding to the type of invisible two-dimensional data, and in FIG. 13, the PRI setting column SPpri is shown surrounded by a thick frame, and the minimum value ( min) is set to -0.040, the maximum value (MAX) is set to 0.080, and a display example of the color map bar RBpri corresponding to this is shown.
  • the range of the numerical values of each pixel that makes up the invisible two-dimensional data changes depending on the measurement target, so the maximum and minimum values of the numerical values in one specified screen are calculated and set based on the calculation results.
  • the maximum value and minimum value in the image group may be calculated and set based on the calculation result.
  • the visualization unit 104 generates these images in real time and outputs them to the image composition section 182.
  • the image synthesis section 182 causes the color map image generated by the visualization unit 104 to be directly displayed on the LCD 42 via the image output section 181 as needed.
  • FIG. 15 is a color map image Pls in which the leaf surface light intensity PAR of the angle of view corresponding to the RGB image of FIG. 12 is subjected to color mapping based on the color map 151.
  • a color map bar RBls is displayed that shows the color mapped to the value of the leaf light intensity PAR, and it shows that the minimum value is 0 and the maximum value is 1000. .
  • the correspondence between numerical values and the minimum and maximum values of the color map can be set by the user using a setting image SP as shown in FIG. 14, for example.
  • the visualization unit 104 generates these images in real time and outputs them to the image composition section 182.
  • the image synthesis section 182 causes the color map image generated by the visualization unit 104 to be directly displayed on the LCD 42 via the image output section 181 as needed.
  • ⁇ Filtering process> Plant filter
  • RGB images which are visualized images based on invisible two-dimensional data made up of the PRI mentioned above, include soil other than plants, so unnecessary areas must be filtered out when visualizing or performing statistical analysis. It is desirable to do so. At this time, for example, by using NDVI, areas other than plants can be excluded.
  • FIG. 16 is a display example of a color map image Pndvi when NDVI is supplied as invisible two-dimensional data at an angle of view corresponding to the RGB image Prgb, which is the visualized image in FIG. 12.
  • a color map bar RBndvi indicating colors mapped in association with NDVI values is displayed at the bottom, and it shows that the minimum value is 0.6 and the maximum value is 1.0. There is.
  • the area where the NDVI is lower than the predetermined value is the area where things other than plants exist. Therefore, for example, as shown in the RGB image Prgb-ndvi in FIG. 17, the image synthesis unit 182 colors the area Z2 in which NDVI is lower than the predetermined value in the RGB image Prgb in FIG. 12 using a predetermined color. By doing this, masking is performed, and filtering is performed so that the RGB image Prgb of FIG. 12 is displayed only in the area Z1 other than the area Z2, thereby generating a composite image.
  • FIG. 18 shows a display example of an RGB image Prgb-other that is filtered based on invisible two-dimensional data other than NDVI, for example, in which the leaf surface light intensity has a certain range.
  • RGB images that are visible data and color map images that are visualized for each invisible two-dimensional data, but an image visualized based on invisible two-dimensional data is superimposed on visible data.
  • the images may be combined and displayed as shown in FIG.
  • FIG. 19 shows an RGB color map of PRI extracted from the color map image Ppri in FIG. 13 using a plant filter (NDVI is below a predetermined value) and a leaf intensity filter on the RGB image Prgb in FIG. 12.
  • NDVI plant filter
  • FIG. 12 A display example of the image Prgb-pri is shown.
  • the image synthesis unit 182 performs RGB processing from an area Z21 of the color map image Ppri in FIG.
  • the image Prgb-pri is synthesized.
  • This kind of display makes it possible to identify only the environmental stress response of leaves with a constant leaf surface light intensity on the RGB image Prgb displayed on the LCD 42, and perform appropriate exposure and focus adjustments. Accordingly, it becomes possible to appropriately image a desired imaging target.
  • the statistical analysis unit 105 statistically analyzes the invisible two-dimensional data output from the spectroscopic application unit 103 and graphs the analysis results.
  • the statistical analysis unit 105 includes a statistical analysis section 161 and a graph generation section 162.
  • the statistical analysis unit 161 statistically analyzes the invisible two-dimensional data and outputs the analysis results to the graph generation unit 162.
  • the graph generation unit 162 generates and outputs a graph based on the statistical analysis results of the invisible two-dimensional data supplied from the statistical analysis unit 161.
  • the graph generation unit 162 outputs the input (leaf light intensity PAR) on the horizontal axis based on the leaf light intensity PAR and PRI supplied from the statistical analysis unit 161. Generates a graph image consisting of a scatter plot with (PRI) as the vertical axis.
  • the statistical analysis unit 161 performs regression using an appropriate function (linear function, quadratic function, logistic function, arbitrary function), and the graph generation unit 162 generates the parameters of the function that is the result of the regression on a graph image. to be displayed.
  • an appropriate function linear function, quadratic function, logistic function, arbitrary function
  • the graph generation unit 162 generates a graph image consisting of a heat map from similar data, for example, as shown in FIG.
  • the graph generation unit 162 generates a graph image consisting of a box graph as shown in FIG. 22, for example.
  • graph images may be displayed on an independent screen, or RGB images or other color map images may be displayed on the live view screen and then superimposed as a sub screen. .
  • a predetermined area on the screen may be designated by operating the touch panel 111 or the keys 43, and the numerical value (calculated by processing) in that area may be displayed. Furthermore, the graphing based on the statistical analysis results may be updated by this designation.
  • FIG. 23 shows the calculation of the average value of predetermined invisible two-dimensional data, for example, the average value of PRI values, in a region Zroi specified by the user as an ROI (Region of Interest) region on the RGB image Prgb-pri in FIG. 19. can be displayed.
  • ROI Region of Interest
  • the statistical analysis unit 161 performs statistical analysis based on the specified region Zroi.
  • the graph generation unit 162 generates a graph image based on the statistical analysis results corresponding to the region Zroi.
  • the user may be able to specify the position and size of the area of the frame SRB, which is the position of the standard diffuse reflector.
  • the state identification unit 172 of the recognition processing unit 106 identifies areas that are in a state higher or lower than a predetermined threshold based on invisible two-dimensional data output from the spectroscopic application unit 103. may be highlighted. This allows the user to easily recognize the measurement target.
  • the image synthesis unit 182 uses the state identification unit 172 to identify, for example, an area in a state higher than a predetermined threshold value or an area in a lower state than a predetermined threshold value out of the invisible two-dimensional data, as shown in FIG. Make it highlighted as shown.
  • the image Pdm in FIG. 24 is an example of a highlighted display, and is a color map image that is color mapped according to the value of leaf light intensity PAR, which indicates the intensity of stress on plants.
  • the high region and the region lower than the predetermined value are images superimposed on the RGB image.
  • Such a display allows the user to appropriately recognize areas with high stress and areas with low stress by viewing the image Pdm. For example, when a user wants to image an area with low stress, By imaging the regions highlighted in the frames Z51-1 to Z51-3 indicated by dashed-dotted lines as the imaging target, it becomes possible to appropriately image the imaging target.
  • these highlighted regions may be specified as ROIs, and in this case, the statistical analysis unit 161 regards the highlighted regions as ROI regions and performs invisible two-dimensional analysis of only the highlighted regions. Statistical analysis may also be performed based on the data.
  • the state identification unit 172 may also perform image recognition processing on RGB images and color map images, and perform image recognition to identify characteristic regions. It is also possible to search for, identify and cluster, and perform state identification only on the clustered feature regions.
  • the state recognition unit 172 recognizes only leaves, a specific type of plant, or a specific color or shape of plants through image recognition processing, and recognizes a characteristic region where only leaves or a specific type of plant exist, or a specific type of plant.
  • the state may be identified only in characteristic areas where plants whose shape or color has changed are present.
  • the diagnostic information may also be highlighted. For example, if there is a soil moisture sensor as an external sensor, and the plant to be imaged is associated with the position of the soil moisture sensor, if the soil moisture is low as measured by the soil moisture sensor, or if the environmental stress response value determined by functional measurement is high, , areas with high environmental stress may be highlighted to indicate that the cause of the environmental stress may be water stress.
  • the individual identification unit 171 may identify each individual plant by image recognition using an RGB image or a color map image, and may also provide an identification ID and display the identification ID on the LCD screen.
  • the individual identification unit 171 may further subdivide the individual into units such as leaves and stems of each plant. Further, the individual identification unit 171 may set the ROI according to the identified area.
  • the individual identification unit 171 identifies where the imaging target is located on the GIS from the angle of view information.
  • GIS information and individual information may be recognized and tagged, for example, by associating the GIS information with the individual information.
  • Tagging may be done manually by the user, or an identification ID tag (e.g., an identification ID tag such as a two-dimensional barcode) in which identification indicators are placed near each individual in advance can be used for measurement (imaging). ) The identification may be made by entering the screen at certain times.
  • an identification ID tag e.g., an identification ID tag such as a two-dimensional barcode
  • the identification may be made by entering the screen at certain times.
  • tag information may be attached to the output image data like an Exif tag, or may be automatically classified into folders when saved in the recording device 112, or may be automatically classified into folders when the data is sent by the communication device 113. Sometimes, the destination may be changed based on tag information before transmission.
  • the individual identification unit 171 may specify an individual and display a list of the time elapsed data as a function for sorting and displaying necessary data from the stored data.
  • the individual identification unit 171 specifies two individuals, displays one as a reference sample for comparison, selects the other as a sample of interest in which some phenomenon may be occurring, and displays them side by side on one screen. By displaying the image, a comparison image that can be compared may be displayed.
  • the comparison image is, for example, as shown in FIG.
  • the comparison image CP in FIG. 25 has an image display column Pc of an individual serving as a comparison reference sample on the left side and an image display column Pt of an individual serving as a sample of interest on the right side, so that the left and right can be visually compared. It is said that the configuration is possible.
  • a display field IDc is provided above the image display field Pc of the individual that will be the comparison reference sample, in which an identification ID for identifying the individual that will be the comparison reference sample is displayed, and above the image display field Pt of the individual that will be the sample of interest.
  • a display field IDt is provided in which an identification ID for identifying an individual serving as a sample of interest is displayed.
  • the display column IDc is written as #0001
  • the display column IDt is written as #0007, indicating that the respective identification IDs are #0001 and #0007.
  • Buttons Bu and Bd for switching the identification ID are provided on the left and right sides of the display field IDt.To decrease the value of the identification ID, the button Bu is operated, and to increase the value of the identification ID, the button Bt is operated. When the button Bu or Bd is operated and the value of the identification ID changes, the image of the individual displayed in the image display field Pt changes to that of the corresponding identification ID and is displayed.
  • a display field Cg that displays graphs showing time series changes such as invisible two-dimensional data and various statistical analysis results, and the numerical value at the current time is displayed in the display field Cg. It is expressed as a circle in the graph.
  • a display column Ct in which the time is displayed is provided at the lower right of the comparison image CP, and in FIG. 25, it is written as "2022/2/2 15:19", and currently the image display columns Pc, Pt It is expressed that the image displayed is from 15:19 on February 2, 2022 in the Western calendar.
  • Buttons Br and Bp are provided on the left and right sides of the display field Ct.
  • the button Br is operated to advance the time
  • the button Bp is operated when the time is to be delayed
  • the buttons Br and Bp are operated,
  • the time in the display field Ct changes, and the images displayed in the image display fields Pc and Pt and the numerical values in the display fields Ec and Et are changed and displayed to correspond to the information at the changed time.
  • the RGB image is synthesized with state information indicating not only the vegetation index, photosynthetic rate, and environmental stress response of plants, and the state of concrete deterioration, but also the state of various measurement targets that can be measured based on spectral images.
  • a composite image may be generated and presented, or a graph image may be generated and composited through statistical processing.
  • the user can visually recognize various status information of the measurement target at each position, and can select the measurement target appropriately. After that, it becomes possible to take an image in an appropriate state.
  • the process described with reference to the flowchart in FIG. 26 is a series of steps from displaying the subject in live view to operating the shutter when capturing an image of a plant or the like to be observed using the imaging device 31. This explains the process.
  • step S31 the image sensor 124 captures an image in a state where the light is optically separated through the lens 121, the spectroscopic unit 122, and the shutter 123 of the optical block 101, and outputs the captured image to the spectral processing unit 102.
  • step S32 the spectral front end 131 of the spectral processing unit 102 generates the 3D data cube described with reference to FIG. 10 and outputs it to the spectral radiance calculation unit 132.
  • step S33 the spectral radiance calculation unit 132 calculates spectral radiance based on the 3D data cube, and creates a 3D data cube in which normal spectral pixel values in the 3D data cube are replaced with spectral radiance. It is output to the spectroscopic application unit 103.
  • step S34 the light source spectral calculation unit 142 executes a light source spectral calculation process based on the 3D data cube consisting of spectral radiance, calculates the light source spectral, and outputs it to the spectral reflectance calculation unit 141.
  • step S35 the spectral reflectance calculation unit 141 calculates the spectral reflectance based on the 3D data cube consisting of the spectral radiance and the light source spectrum supplied from the light source spectral calculation unit 142, and The 3D data cube is output to the RGB developing section 143 and the vegetation index calculating section 144.
  • step S36 the RGB developing section 143 generates an RGB image based on the 3D data cube consisting of spectral reflectance, and outputs it to the recognition processing unit 106, the image combining section 182 of the system control unit 107, and the recording section 183. do.
  • the vegetation index calculation unit 144 calculates various vegetation indices based on the spectral reflectance.
  • the vegetation index calculating unit 144 calculates a vegetation index consisting of NDVI based on the reflectance of near-infrared light and the spectral reflectance of red light, and configures invisible two-dimensional data, and the function measuring unit 145 , a visualization unit 104 , a statistical analysis unit 105 , and a recognition processing unit 106 .
  • the vegetation index calculation unit 144 calculates a vegetation index consisting of PRI based on, for example, the spectral reflectance at a wavelength of approximately 531 nm and the spectral reflectance at a wavelength of approximately 570 nm, and configures invisible two-dimensional data.
  • the functional measurement unit 145, the visualization unit 104, the statistical analysis unit 105, and the recognition processing unit 106 calculates a vegetation index consisting of PRI based on, for example, the spectral reflectance at a wavelength of approximately 531 nm and the spectral reflectance at a wavelength of approximately 570 nm.
  • step S38 the functional measurement unit 145 executes functional measurement processing, measures leaf light intensity PAR, chlorophyll fluorescence, etc. based on spectral radiance and vegetation index, and calculates photosynthesis rate and environmental stress response. , construct invisible two-dimensional data and output to visualization unit 104, statistical analysis unit 105, and recognition processing unit 106. Note that details of the function measurement process will be described later with reference to the flowchart in FIG. 29.
  • step S39 the visualization unit 104 generates a color map image by color mapping various invisible two-dimensional data using the color map 151, and outputs it to the image synthesis section 182 and the recording section 183.
  • the visualization unit 104 uses the color map 151 to generate a color map image from invisible two-dimensional data such as NDVI, PRI, photosynthetic rate, and environmental stress response.
  • step S40 the statistical analysis unit 161 of the statistical analysis unit 105 statistically processes the invisible two-dimensional data, and outputs the processing results as analysis values to the image synthesis unit 182 and the recording unit 183, as well as to the graph generation unit 162. do.
  • the graph generation section 162 generates a graph based on the statistical analysis results supplied from the statistical analysis section 161, and outputs it to the image synthesis section 182 and the recording section 183 as an RGB image group.
  • the statistical analysis unit 161 statistically analyzes the leaf light intensity PAR-PRI
  • the graph generation unit 162 uses the leaf light intensity PAR-PRI as described with reference to FIGS. 20 to 22 based on the statistical analysis results.
  • the recognition processing unit 106 controls the individual identification section 171, the state identification section 172, and the white board identification section 173 to execute individual identification processing, state identification processing, and white board identification processing, and performs each of the individual identification processing, state identification processing, and white board identification processing.
  • the identification results are output to the image synthesis section 182 and recording section 183 of the system control unit 107 and the camera control front end 191 of the camera control unit 108.
  • step S41 the image synthesis section 182 synthesizes the RGB image, the color map image, the graph image, and the analysis value of the statistical analysis section 161, generates a synthesized image, and outputs it to the image output section 181.
  • the image composition unit 182 generates a composite image by superimposing a PRI color map image or an NDVI color map image on an RGB image.
  • the image synthesis unit 182 extracts only information on areas higher or lower than a predetermined value based on a PRI or NDVI color map image, and extracts only images in the corresponding area from the RGB image. , for other areas, an image is generated that is masked with predetermined pixel values.
  • the image synthesis unit 182 further adds and synthesizes a graph image and analysis values to a synthesized image using, for example, an RGB image or a color map image.
  • the image synthesis unit 182 also displays frames on the RGB image or color map image for areas higher or lower than a predetermined value based on the values of vegetation index, photosynthesis rate, and environmental stress response. Then, a composite image including the highlighted display is generated.
  • step S42 the image output unit 181 displays the composite image on the LCD 42. That is, through the series of processes up to this point, color map images, statistical analysis results, etc. based on various vegetation indexes, photosynthetic rates, environmental stress responses, etc. are obtained in the imaging area in the direction in which the optical block 101 of the imaging device 31 is directed. A live view will be displayed on the LCD 42.
  • step S43 it is determined whether or not a shutter operation has been performed by operating the touch panel 111, keys 43, etc.
  • step S43 if it is determined that the shutter operation has been performed by operating the touch panel 111, the keys 43, etc., the process proceeds to step S44.
  • step S44 the input unit 185 notifies the camera control front end 191 that the shutter operation has been performed. Based on this notification, camera control front end 191 instructs AE control section 192 and AF control section 194 to take an image.
  • the AF control unit 194 controls the Driver 195 to drive the lens 121 and adjust the focus. Further, the AE control unit 192 controls the Driver 193 to open or close the shutter 123 and causes the image sensor 124 to capture an image.
  • the recording unit 183 records analysis value groups, RGB image groups, etc. supplied from each of the spectroscopic application unit 103, visualization unit 104, statistical analysis unit 105, and recognition processing unit 106.
  • the information is recorded in the device 112 or transmitted to an external device (not shown) via the communication device 113.
  • step S43 determines that the touch panel 111, the keys 43, etc. have not been operated and the shutter has not been operated. Note that if it is determined in step S43 that the touch panel 111, the keys 43, etc. have not been operated and the shutter has not been operated, the process of step S44 is skipped and the process proceeds to step S45.
  • step S45 it is determined whether termination of the operation has been instructed, such as by turning off the power, and if termination has not been instructed, the process returns to step S31. That is, the processes of steps S31 to S45 are repeated and the live view display continues until an instruction to end is given.
  • step S45 when an instruction to end the operation is given, such as by turning off the power, the process ends.
  • RGB images, color map images, etc. based on various vegetation indexes, photosynthetic rates, and environmental stress responses of the imaging area within the field of view directed by the optical block 101 of the imaging device 31 are created.
  • a composite image obtained by combining graph images and the like of the statistical analysis results is displayed in live view on the LCD 42.
  • step S71 the light source spectral calculation unit 142 executes a light source spectral acquisition process and acquires the light source spectral.
  • step S72 the light source spectrum calculation unit 142 determines whether or not the light source spectrum could be acquired through the light source spectrum acquisition process.
  • step S72 If it is determined in step S72 that the information has been acquired, the process proceeds to step S73.
  • step S73 the light source spectrum calculation unit 142 outputs the acquired light source spectrum to the spectral reflectance calculation unit 141, and the process proceeds to step S79.
  • step S72 If it is determined in step S72 that the light source spectrum could not be obtained, the process proceeds to step S74.
  • step S74 the light source spectrum calculation unit 142 determines whether the light source spectrum can be acquired as external sensor data via the external sensor input unit 184.
  • step S74 If it is determined in step S74 that the light source spectrum can be acquired as external sensor data, the process proceeds to step S75.
  • step S75 the light source spectrum calculation unit 142 outputs the light source spectrum acquired as external sensor data to the spectral reflectance calculation unit 141, and the process proceeds to step S79.
  • step S74 If it is determined in step S74 that the light source spectrum cannot be acquired as external sensor data, the process proceeds to step S76.
  • step S76 the light source spectral calculation unit 142 determines whether the previously acquired data of the light source spectral is stored.
  • step S76 If it is determined in step S76 that the previously acquired data of light source spectroscopy is stored, the process proceeds to step S77.
  • step S77 the light source spectrum calculation unit 142 outputs the previously acquired data of the light source spectrum to the spectral reflectance calculation unit 141 as the acquired light source spectrum, and the process proceeds to step S79.
  • step S76 If it is determined in step S76 that the previously acquired data of light source spectroscopy is not stored, the process proceeds to step S78.
  • step S78 the light source spectrum calculation unit 142 outputs the representative light source spectrum to the spectral reflectance calculation unit 141 as the acquired light source spectrum, and the process proceeds to step S79.
  • step S79 the light source spectrum calculation unit 142 stores the acquired light source spectrum as previously acquired data for the next time and thereafter, and ends the process.
  • the light source spectrum is acquired and supplied to the spectral reflectance calculation unit 141.
  • step S91 the light source spectral calculation unit 142 sets the spectral reflectance of the standard diffuse reflector.
  • the light source spectral calculation unit 142 sets the reflectance. If so, load known reflectance data.
  • step S92 the light source spectrum calculation unit 142 estimates the light source spectrum and estimates the spectral irradiation brightness of the standard diffuse reflector.
  • step S93 the white plate identification unit 173 searches the RGB image for an area close to the estimated spectral radiance of the standard diffuse reflector as the position of the standard diffuse reflector (white plate).
  • step S94 the light source spectral calculation unit 142 determines whether the white board identification unit 173 has found the position of the standard diffuse reflector (white board).
  • step S94 if the white board identification unit 173 determines that the position of the standard diffuse reflection plate (white board) has been searched, the process proceeds to step S96.
  • step S96 the light source spectral calculation unit 142 acquires the information on the position of the standard diffuse reflector (white board) searched by the white plate identification unit 173, and calculates the spectral reflectance of the set standard diffuse reflector from the spectral radiance. is used to calculate the light source spectrum and output it as the obtained result.
  • step S94 if the white board identification unit 173 determines that the position of the standard diffuse reflection plate (white board) has not been found, the process proceeds to step S95.
  • step S95 the light source spectral calculation unit 142 determines whether the touch panel 111 is operated by the user and the position of the standard diffuse reflection plate is specified as a search result and supplied via the input unit 185.
  • step S95 If it is determined in step S95 that the touch panel 111 is operated by the user and the position of the standard diffuse reflector is specified as a search result and supplied via the input unit 185, the process proceeds to step S96. .
  • the light source spectral calculation unit 142 uses the information on the position of the standard diffuse reflector inputted by the user's operation of the touch panel 111 as the standard diffuse reflector (white plate) searched by the white plate identification unit 173. It is acquired as position information, and from the spectral radiance, the light source spectrum is calculated using the spectral reflectance of the set standard diffuse reflector, and output as the acquisition result.
  • step S95 when the touch panel 111 is operated by the user and it is determined that the position of the standard diffuse reflector is not specified as a search result and is not supplied via the input unit 185, the process proceeds to step S97. move on.
  • step S97 the light source spectrum calculation unit 142 outputs information indicating that the light source spectrum cannot be obtained.
  • the process of acquiring the light source spectrum is performed, and if the light source spectrum can be acquired, the calculation result is used, and if the light source spectrum cannot be acquired, information indicating that it could not be acquired is output.
  • step S ⁇ b>111 the plant filter 211 acquires the NDVI and PRI calculated by the vegetation index calculation unit 144 , filters and extracts the PRI for which the NDVI has a value within a predetermined range, and sends it to the leaf light intensity filter 212 . Output.
  • step S112 the leaf light intensity estimation unit 213 estimates the leaf light intensity based on the spectral radiance, and outputs the estimation result to the leaf light intensity filters 212 and 216.
  • the leaf light intensity filter 212 filters and extracts a PRI having a predetermined leaf light intensity from among the extracted PRIs supplied from the plant filter 211, and extracts the PRI as an environmental stress response (filtered PRI). Output.
  • step S114 the chlorophyll fluorescence calculation unit 214 calculates chlorophyll fluorescence (SIF) based on the spectral radiance and outputs it to the plant filter 215.
  • SIF chlorophyll fluorescence
  • step S115 the plant filter 215 acquires the NDVI calculated by the vegetation index calculation unit 144 and the chlorophyll fluorescence (SIF) supplied from the chlorophyll fluorescence calculation unit 214, and the NDVI takes a value within a predetermined range. Chlorophyll fluorescence (SIF) is filtered and extracted and output to the leaf light intensity filter 216.
  • SIF chlorophyll fluorescence
  • the leaf light intensity filter 216 selects the chlorophyll fluorescence (SIF) that has a predetermined leaf light intensity from among the chlorophyll fluorescence (SIF) supplied from the plant filter 215 and whose NDVI has a value within a predetermined range. ) is filtered and extracted and output as (Filtered SIF), which is information about photosynthesis.
  • SIF chlorophyll fluorescence
  • Example of execution using software can be executed by hardware, but can also be executed by software.
  • the programs that make up the software can execute various functions by using a computer built into dedicated hardware or by installing various programs. It is installed from a recording medium onto a computer that can be used, for example, a general-purpose computer.
  • FIG. 30 shows an example of the configuration of a general-purpose computer.
  • This computer has a built-in CPU (Central Processing Unit) 1001.
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004 .
  • the input/output interface 1005 includes an input unit 1006 consisting of input devices such as a keyboard and mouse for inputting operation commands by the user, an output unit 1007 for outputting processing operation screens and images of processing results to a display device, and an output unit 1007 for outputting programs and various data.
  • a storage unit 1008 consisting of a hard disk drive for storing data
  • a communication unit 1009 consisting of a LAN (Local Area Network) adapter, etc., and executing communication processing via a network typified by the Internet are connected.
  • LAN Local Area Network
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductor
  • a drive 1010 that reads and writes data to and from a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 executes programs stored in the ROM 1002 or read from a removable storage medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Execute various processes according to the programmed program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 executes the above-described series by, for example, loading a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004 and executing it. processing is performed.
  • a program executed by the computer (CPU 1001) can be provided by being recorded on a removable storage medium 1011 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
  • a program can be installed in the storage unit 1008 via the input/output interface 1005 by attaching the removable storage medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. Other programs can be installed in the ROM 1002 or the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • the CPU 1001 in FIG. 30 realizes the functions of the spectral processing unit 102, spectral application unit 103, visualization unit 104, statistical analysis unit 105, recognition processing unit 106, and system control unit 107 in FIG.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
  • one step includes multiple processes
  • the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
  • a spectroscopy unit that spectrally spectra the incident light from the measurement target, a spectroscopic front end that generates spectroscopic raw data based on the spectroscopic results of the spectroscopic unit; a spectral reflectance calculation unit that calculates the spectral reflectance of the measurement target based on the spectral raw data; a visualized image generation unit that generates a visualized image based on the specific spectral reflectance;
  • An imaging device comprising: a display unit that displays the visualized image in real time.
  • ⁇ 2> Further including a state information calculation unit that calculates state information indicating a state of the measurement target based on the specific spectral reflectance, The imaging device according to ⁇ 1>, wherein the visualized image generation unit generates the visualized image based on the state information.
  • ⁇ 3> Further including a spectral radiance calculation unit that calculates spectral radiance from the spectral raw data, The imaging device according to ⁇ 2>, wherein the state information calculation unit calculates the state information indicating the state of the measurement target based on the spectral radiance and the spectral reflectance.
  • ⁇ 4> The imaging device according to ⁇ 3>, wherein the spectral reflectance calculation unit calculates the spectral reflectance of the measurement target based on the spectral radiance.
  • ⁇ 5> The imaging device according to any one of ⁇ 1> to ⁇ 4>, wherein the spectroscopic unit spectrally spectra the incident light into at least four types of wavelength bands including visible light and near-infrared light.
  • the spectroscopic unit is a spectroscopy method using a diffraction grating (CTIS: Computed Tomography Imaging Spectrometer), a surface plasmon resonance method, a Fourier spectroscopy method, a Fabry-Perot method, and a multi-lens bandpass filter method.
  • CTIS Computed Tomography Imaging Spectrometer
  • surface plasmon resonance method a surface plasmon resonance method
  • Fourier spectroscopy method a Fabry-Perot method
  • Fabry-Perot method a multi-lens bandpass filter method.
  • the imaging device includes at least one of NDVI (Normalized Difference Vegetation Index) and PRI (Photochemical Reflectance Index) of the plant to be measured.
  • the trait and the environmental response of the plant include at least one of information regarding photosynthesis and an environmental stress response of the plant to be measured.
  • the state information is information indicating a state of deterioration of the concrete to be measured.
  • the state information calculation unit generates the state information consisting of two-dimensional data
  • the imaging device according to ⁇ 3>, wherein the visualized image generation unit generates a color map image as the visualized image by performing color mapping according to the value of the state information made of the two-dimensional data.
  • An RGB image generation unit that generates an RGB image based on the spectral reflectance; further comprising an image compositing unit that generates a composite image by composing the RGB image and the color map image,
  • the imaging device according to ⁇ 11>, wherein the display unit displays the composite image as the visualized image.
  • the image synthesis unit combines the color map image of an area larger than a predetermined value or an area smaller than the predetermined value on the RGB image based on the state information made of the two-dimensional data.
  • the imaging device according to ⁇ 12> which generates the composite image by superimposing and compositing.
  • the image synthesis unit combines the RGB image of an area larger than a predetermined value or an area smaller than the predetermined value and an area other than the area based on the state information made of the two-dimensional data.
  • the image compositing section highlights an area larger than a predetermined value or an area smaller than the predetermined value on the RGB image based on the state information made of the two-dimensional data.
  • the imaging device according to ⁇ 12> which generates an image.
  • ⁇ 16> Further including a state identification unit that identifies the state of the plant to be measured based on the state information made of the two-dimensional data, The image synthesis unit generates the composite image that highlights an area larger than the predetermined value or an area smaller than the predetermined value on the RGB image based on the state identification result of the state identification unit.
  • the imaging device according to ⁇ 15> The imaging device according to ⁇ 15>.
  • the state identification unit may perform image recognition processing based on the RGB image or the color map image among the state information consisting of the two-dimensional data to identify the state to be measured.
  • the imaging device according to ⁇ 16>, which identifies the state of a plant.
  • the individual identification unit identifies the plant based on image recognition processing using the RGB image, a two-dimensional barcode in the RGB image, GIS (Geographic Information System) information, or manual input.
  • GIS Geographic Information System
  • the imaging device according to ⁇ 18>, wherein the individual of the plant to be measured is identified by assigning an identifier to each of the individual.
  • the state information made up of the RGB image, the color map image, and the two-dimensional data includes, as image-attached data, the identifier that identifies the individual of the plant to be measured, which is included therein.
  • the imaging device according to ⁇ 19>, wherein each identifier is classified into a different folder and recorded in a recording device, or each identifier is transferred to a different destination.
  • ⁇ 21> Further including a statistical analysis unit that statistically analyzes the state information consisting of the two-dimensional data, The imaging device according to ⁇ 12>, wherein the image synthesis section generates the synthesized image including an analysis value that is a result of statistical analysis by the statistical analysis section.
  • ⁇ 22> Further including a graph generation unit that generates a graph based on the statistical analysis result and outputs it as a graph image, The imaging device according to ⁇ 21>, wherein the image composition unit generates the composite image including the graph image.
  • ⁇ 23> Further including an input unit that receives an input of a ROI (Region of Interest) on the RGB image, the color map image, and the composite image, The imaging according to ⁇ 21>, wherein the statistical analysis unit statistically analyzes the state information consisting of the two-dimensional data of the ROI region input on the RGB image, the color map image, and the composite image.
  • Device. ⁇ 24> Spectralize the incident light from the measurement target, Generate spectral raw data based on the spectral results of the incident light, Calculating the spectral reflectance of the measurement target based on the spectral raw data, generating a visualized image based on the specific spectral reflectance; A method for operating an imaging device, including the step of displaying the visualized image in real time.
  • a spectroscopy unit that spectrally spectra the incident light from the measurement target, a spectroscopic front end that generates spectroscopic raw data based on the spectroscopic results of the spectroscopic unit; a spectral reflectance calculation unit that calculates the spectral reflectance of the measurement target based on the spectral raw data; a visualized image generation unit that generates a visualized image based on the specific spectral reflectance;
  • a program that causes a computer to operate as a display unit that displays the visualized image in real time.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本開示は、不可視な撮像対象を可視化して提示できるようにする撮像装置、および撮像装置の作動方法、並びにプログラムに関する。 測定対象からの入射光を分光し、分光結果に基づいて、分光Rawデータを生成し、分光Rawデータから測定対象の分光反射率を算出し、分光反射率に基づいて可視化画像を生成し、可視化画像をリアルタイムで表示する。分光カメラに適用することができる。

Description

撮像装置、および撮像装置の作動方法、並びにプログラム
　本開示は、撮像装置、および撮像装置の作動方法、並びにプログラムに関し、特に、不可視な撮像対象を可視化して提示できるようにした撮像装置、および撮像装置の作動方法、並びにプログラムに関する。
　昨今、農業分野において分光計測を用いたイメージセンシングにより不可視なものを可視化して観測したり確認したりする技術が一般に普及しつつある。
　例えば、近赤外波長光と赤色波長光を用いた正規化植生指数や、NDVI（Normalized Difference Vegetation Index）を用いた圃場の確認が行われている。
　また、近年の植物生理学の発展に従い、植物の内部の生理状態そのものを観測することが可能となってきており、植物の生理状態、特に光合成と環境ストレス応答の画像を用いた計測法が提案されている（特許文献１参照）。
国際公開第２０２０／０１３１０２号
　ところで、特許文献１に記載の植物の生理状態、特に光合成と環境ストレス応答を計測する場合、計測に必要な画像を撮像した後に、オフラインで撮像した画像を処理して、植物の生理状態、特に光合成と環境ストレス応答を計測する仕組みは既に存在する。
　しかしながら、オフラインでの処理がなされない限り、光合成と環境ストレス応答などの情報は不可視な情報である。
　このため、ユーザは所望とする状態の撮像対象を撮像するに当たって、撮像方向を特定することも、撮像対象にフォーカスを合わせるといったこともできないので、所望とする状態の撮像対象を選択的に適切な状態で撮像することができない。
　本開示は、このような状況に鑑みてなされたものであり、特に、不可視な撮像対象を可視化して提示できるようにするものである。
　本開示の一側面の撮像装置、およびプログラムは、測定対象からの入射光を分光する分光ユニットと、前記分光ユニットの分光結果に基づいて、複数の分光Rawデータを生成する分光フロントエンドと、前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出する分光反射率算出部と、特定の前記分光反射率に基づいて可視化画像を生成する可視化画像生成部と、前記可視化画像をリアルタイムで表示する表示部とを備える撮像装置、およびプログラムである。
　本開示の一側面の撮像装置の作動方法は、測定対象からの入射光を分光し、前記入射光の分光結果に基づいて、分光Rawデータを生成し、前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出し、特定の前記分光反射率に基づいて可視化画像を生成し、前記可視化画像をリアルタイムで表示するステップを含む撮像装置の作動方法である。
　本開示の一側面においては、測定対象からの入射光が分光され、分光結果に基づいて、分光Rawデータが生成され、前記分光Rawデータに基づいて、前記測定対象の分光反射率が算出され、特定の分光反射率に基づいて可視化画像が生成され、前記可視化画像がリアルタイムで表示される。
入射光と拡散光とを説明する図である。 入射光、鏡面反射光、拡散光、吸収光、および透過光を説明する図である。 放射照度、放射発散度、放射輝度、放射強度、および放射束を説明する図である。 分光放射照度、分光放射発散度、分光放射輝度、分光放射強度、および分光放射束を説明する図である。 分光反射率の測定方法を説明する図である。 分光放射照度の測定方法を説明する図である。 本開示の撮像装置の外観構成図である。 本開示の撮像装置により実現される機能を説明する機能ブロック図である。 図８の機能計測部により実現される機能を説明する機能ブロック図である。 ３Ｄデータキューブを説明する図である。 多眼レンズによる分光測定例を説明する図である。 RGB画像の表示例を説明する図である。 PRIのカラーマップ画像を説明する図である。 カラーマップ画像における最大値と最小値とを設定する設定画像例を説明する図である。 葉面光強度PARのカラーマップ画像を説明する図である。 NDVIのカラーマップ画像を説明する図である。 NDVIが所定値以下の領域をマスクしたRGB画像を説明する図である。 所定の植生指数や光合成速度および環境ストレス応答が所定値以下の領域をマスクしたRGB画像を説明する図である。 PRIのカラーマップ画像をRGB画像上に重畳して合成した合成画像の例を説明する図である。 PAR-PRIの散布図および回帰分析結果を説明する図である。 PAR-PRIのヒートマップおよび回帰分析結果を説明する図である。 PAR-PRIの箱ひげグラフを説明する図である。 図１９の合成画像上にユーザによりROIが設定されるときの表示例を説明する図である。 葉面光強度PARのカラーマップ画像における強調表示の例を説明する図である。 個別識別部により識別される個体を左右に並べて比較して表示する例を説明する図である。 撮像表示処理を説明するフローチャートである。 光源分光算出処理を説明するフローチャートである。 光源分光取得処理を説明するフローチャートである。 機能計測処理を説明するフローチャートである。 汎用のコンピュータの構成例を示している。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。
なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．好適な実施の形態
　３．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　＜拡散反射分光法＞
　本開示は、特に、不可視な撮像対象を可視化して提示できるようにするものである。
　そこで、まず、不可視な撮像対象の測定原理である、拡散反射分光法について説明すると共に、言葉の定義についても触れる。
　不可視な撮像対象とは、例えば、NDVI（Normalized Difference Vegetation Index）、PRI（Photochemical Reflectance Index）などの植生指数または植物から発生するクロロフィル蛍光などである。
　尚、NDVIは、（ρNIR-ρR）／（ρNIR＋ρR）と定義され、ここで、ρNIR，ρRはそれぞれNIR（近赤外光）の分光反射率、および、R（赤色光）の分光反射率である。また、PRIは、（ρ531-ρ570）／（ρ531＋ρ570）と定義され、ここで、ρ531は、波長が531nmの分光放射率であり、ρ570は、波長が570nmの分光反射率である。さらに、クロロフィル蛍光は特定の波長の分光放射輝度から算出される値である。
　これらの不可視な撮像対象である植生指数は、分光反射率を用いて算出されるものであるが、これらの測定の原理は、以下のような特性に基づくものである。
　すなわち、図１で示されるように、植物の葉などを構成する試料Ｓｂの試料表面Ｓｆに入射する入射光Ｌｉは、試料Ｓｂの内部の物質組成により特定の波長の光が吸収されることで、試料表面Ｓｆから拡散光Ｌｏとして再放出されるときには、拡散光Ｌｏは、入射光Ｌｉに対して異なる分光特性を備えた状態となる。
　尚、図１においては、厚さＤの試料Ｓｂの試料表面Ｓｆから入射光Ｌｉが入射し、実線および点線で示される光路を辿って、拡散光Ｌｏとして再放出する様子が表現されている。
　より詳細には、図２で示されるように、入射光Ｌｉは、植物の葉などを構成する試料Ｓｂに入射すると、一部が鏡面反射により全反射光Ｌｒｍとされ、他の一部が拡散光Ｌｒｄ（＝Ｌｏ）として反射され、さらに他の一部が吸収光Ｌａｂとして試料Ｓｂに吸収され、さらにまた他の一部が透過光Ｌｐとして試料Ｓｂを透過する。
　尚、入射光Ｌｉが赤色光である場合、拡散光Ｌｒｄ（＝Ｌｏ）は、約5乃至6%であり、吸収光Ｌａｂは、約84%であり、透過光Ｌｐは、約5乃至6%であり、全反射光Ｌｒｍは、その残りである。
　また、吸収光Ｌａｂは、クロロフィルやカロテノイドなどの色素による吸収が多い。
　このため、拡散光Ｌｏ（＝Ｌｒｄ）は、入射光Ｌｉのうち、吸収光Ｌａｂと透過光Ｌｐとが除外された一部の成分であるため、入射光Ｌｉとは異なる分光特性を備えることになる。
　不可視な測定対象であり、植物の内部の物質組成となる試料Ｓｂの植生指数等は、上述した特性を利用した拡散反射分光法により、入射光Ｌｉに対する拡散光Ｌｏの分光特性の変化から測定される。
　＜放射輝度、放射発散度、放射強度、放射強度、および放射束＞
　上述した分光特性の変化を測定するため、一般の撮像装置における光の輝度と強度とに代えて、放射輝度と放射強度とが測定される。
　ここで、放射輝度とは、点状の放射源から、所定の方向へと放出される放射束を表す物理量である。
　また、放射強度とは、点状の放射源から、所定の方向への単位時間あたりに放射される放射エネルギを表す物理量である。
　地球上においては、太陽を光源とする入射光Ｌｉによる、地表Ｓ上の単位面積Δｓ当たりの入力を放射照度（W/m2）とし、これに応じて地表Ｓからの反射に応じた出力が放射発散度（W/m2）となる。尚、（W/m2）は、放射量の単位であるが、対応する測光量は、照度（lux）となる。
　撮像装置Ｃが、地表Ｓから放射発散度（W/m2）で反射される光を撮像する場合に観測する輝度が放射輝度となる。
　放射輝度（W/sr/m2）は、単位立体角（sr：steradian）あたりの、放射発散度（W/m2）として表現される。
　換言すれば、放射輝度（W/sr/m2）は、放射強度（W/sr）が、面積で微分されたものであり、放射強度（W/sr）は、放射束（Ｗ）が立体角（sr）により微分されたものである。
　従って、放射強度（W/sr）は、放射輝度（W/sr/m2）が面積により積分されたものであり、放射束（Ｗ）は、放射強度（W/sr）が立体角により積分されたものである。尚、放射輝度（W/sr/m2）、放射強度（W/sr）、および放射束（Ｗ）は、いずれも放射量の単位であるが、対応する測光量は、それぞれ輝度（cd/m2）、光度（cd）、光束（lm）となる。
　＜分光放射輝度、分光放射発散度、分光放射強度、分光放射強度、および分光放射束＞　不可視の観測対象である植生指数は、上述したように、分光特性の観測により求められるものであるため、上述した放射輝度、および放射強度については、特定の波長において、それぞれ分光放射輝度、および分光放射強度で表現され、単位波長あたりの放射輝度、および放射強度として表現される。
　すなわち、分光放射照度および分光放射発散度の単位は、それぞれ（W/m2/nm）とされる。
　従って、分光放射輝度の単位は、（W/sr/m2/nm）とされ、分光放射強度の単位は、（W/sr/nm）とされ、分光放射束の単位は（Ｗ/nm）とされる。
　また、撮像装置Ｃで観測した分光放射輝度において試料が完全拡散反射すると考えられる場合、計測値にπを掛けると分光放射発散度となる。
　さらに、試料Ｓｂの反射率が100%である場合、分光放射発散度と分光放射照度とは同一になる。
　＜分光反射率の測定＞
　図１を参照して説明した拡散光Ｌｏの分光特性には、拡散光Ｌｏの試料Ｓｂに関する分光反射率と、分光放射輝度とがあり、測定しようとする植生指数の種別などにより、そのいずれか、または、その両方が必要となる。
　入射光Ｌｉのうちの波長λの分光成分が、試料Ｓｂからなる葉ＲＲにおける反射率である分光反射率Ｒ（λ）は、図５で示されるように、入射光Ｌｉが葉ＲＲで反射することで生じる拡散光Ｌｏが、撮像装置Ｃで観測される分光放射発散度Ｅ（λ）を、入射光Ｌｉにおける太陽光分光放射照度Ｉ（λ）で割り戻した値（＝Ｅ（λ）／Ｉ（λ）＝Ｅ×Ｉ-1）となる。
　この際、太陽光分光放射照度Ｉ（λ）は、図６で示されるように、完全拡散板（ランバート拡散板）である標準拡散反射板ＲＢにより入射光Ｌｉが反射されることで生じる反射光Ｌｒを、撮像装置Ｃで観測する際の観測値から求められる。
　ここで、撮像装置Ｃのイメージセンサからの読み出し値Ｉｓ（λ）が、キャリブレーションされることで分光放射輝度Ｉｃ（λ）が求められ、さらに、分光放射輝度Ｉｃ（λ）が、標準拡散反射板ＲＢの反射率で割り戻されることにより、太陽光分光放射照度Ｉ（λ）が求められる。
　尚、分光反射率のみが必要な場合については、入力光と出力光の比が求められれば、分光放射輝度を求めなくてもよく、また、キャリブレーションも不要であるため、分光放射輝度を求める処理も、キャリブレーションも省略することも可能である。
　ただし、蛍光（クロロフィル蛍光）計測や葉面光強度については、絶対値が必要となるため、キャリブレーションを反映させた分光放射輝度の計測が必要となる。
　ところで、上述した拡散反射分光法を用いた分光放射輝度や分光反射率等から得られる植生指数等の計測は、撮像された画像のオフライン処理が必要となるため、撮像装置を用いて撮像する際には可視化されていない不可視の情報となる。このため、例えば、植生指数に基づいた所定の状態の撮像対象を適切な状態で選択的に撮像することができない。
　換言すれば、撮像対象を特定するための情報が、不可視な情報であるため、所望とする撮像対象を視覚的に特定できないので、所望とする撮像対象を適切な露出で、かつ、適切なフォーカス合わせがなされた状態で撮像することができない。
　そこで、本開示においては、撮像装置を用いた植生の観測に際して、リアルタイムで植生指数等の不可視とされてきた植生の状態を示す情報を可視化してライブビュー表示により提示できるようにすることで、特定の状態の撮像対象を選択的に、適切な状態で撮像できるようにする。
　＜＜２．好適な実施の形態＞＞
　次に、図７，図８を参照して、本開示の技術を適用した撮像装置の好適な実施の形態について説明する。尚、図７は、本開示の撮像装置３１の外観斜視図であり、図８は、撮像装置３１により実現させる機能を説明する機能ブロック図である。
　図７で示されるように、撮像装置３１は、一般的なレンズ交換型カメラ形状であり、本体４０、レンズユニット４１、LCD（Liquid Crystal Display）４２、およびキー４３を備えている。
　レンズユニット４１は、レンズ１２１（図８）と分光ユニット１２２（図８）とを内蔵した構成とされており、入射光を所定の帯域毎に分光すると共に、集光して本体４０の内部に設けられたイメージセンサ（撮像素子）１２４（図８）の撮像面において合焦させる。
　LCD４２は、撮像装置３１の入射光の入射方向に対して背面側に設けられており、各種の情報を表示すると共に、タッチパネル１１１（図８）が併せて構成されており、各種の操作入力を受け付ける。また、LCD４２は、レンズユニット４１の視野内における被写体の植生指数等の画像処理がなされない限り不可視の情報についても、いわゆる、ライブビュー表示により、カラーマップ画像等の可視化情報にしてリアルタイムで提示する。
　キー４３は、静止画の撮像の際に操作される、シャッタボタンとしての機能を備えると共に、動画像を撮像する際の録画開始および録画終了を指示する際に操作されるボタンとしても機能する。
　図８で示されるように、撮像装置３１は、光学ブロック１０１、分光プロセッシングユニット１０２、分光アプリケーションユニット１０３、可視化ユニット１０４、統計分析ユニット１０５、認識プロセッシングユニット１０６、システム制御ユニット１０７、カメラ制御ユニット１０８、タッチパネル１１１，記録装置１１２、および通信装置１１３、並びに、LCD４２、およびキー４３を備えている。
　光学ブロック１０１は、レンズユニット４１を備えており、レンズユニット４１により分光されると共に、合焦された入射光の光量に応じて画素信号からなる分光撮像結果を生成して分光プロセッシングユニット１０２に出力する。
　より詳細には、光学ブロック１０１は、レンズユニット４１を構成するレンズ１２１、分光ユニット１２２、シャッタ１２３、およびイメージセンサ１２４を備えている。
　レンズ１２１は、カメラ制御ユニット１０８のAF制御部１９４により制御されるDriver１９５により入射光の入射方向に対して駆動する構成とされ、入射光を、透過させると共に、イメージセンサ１２４の撮像面上に集光する。
　分光ユニット１２２は、入射光を分光する光学ユニットであり、入射光を所定の波長帯域毎に分光してシャッタ１２３を介してイメージセンサ１２４に入射させる。分光ユニット１２２は、例えば、回折格子を用いた分光方式（CTIS（Computed Tomography Imaging Spectrometer）方式）や多眼レンズバンドパスフィルタ方式がある。分光ユニット１２２は、この他にも、分光が可能な構成であればよく、例えば、表面プラズモン共鳴方式、フーリエ分光方式、およびファブリペロー方式等の構成でもよい。
　分光ユニット１２２が、回折格子を用いたCTIS型の場合、分光方向と解像度方向とから構成される情報がイメージセンサ１２４に入力される。
　分光ユニット１２２が多眼レンズバンドパスフィルタ型の場合、イメージセンサ１２４上に、可視光（RGB（赤色光、緑色光、青色光））とNIR（近赤外光）とからなる少なくとも４種類以上の波長帯域毎の複数のレンズからなるレンズ１２１を透過した複数の分光画像が結像される。
　シャッタ１２３は、イメージセンサ１２４の前段に設けられ、カメラ制御ユニット１０８のAE制御部１９２により制御されるDriver１９３により機械的に開放または閉塞が制御される構成であり、これにより、レンズユニット４１を介して入射する入射光の透過または遮光の制御により光量が制御される。
　イメージセンサ１２４は、画素単位でアレイ状に配置されたCMOS（Complementary Metal Oxide Semiconductor）イメージセンサや、CCD（Charge Coupled Device）イメージセンサなどからなり、シャッタ１２３が開放された状態において、レンズユニット４１により合焦および分光された入射光の光量に応じた画素信号を出力する。
　分光プロセッシングユニット１０２は、分光撮像結果に基づいて、後述する３Ｄデータキューブ（Data Cube）を生成し、分光アプリケーションユニット１０３に出力する。
　より詳細には、分光プロセッシングユニット１０２は、分光フロントエンド１３１、および分光放射輝度算出部１３２を備えている。
　分光フロントエンド１３１は、複数の波長画像（分光画像）に分離し、すなわち、イメージセンサ１２４の読み出し値であるRawデータを波長毎に分離して、分光Rawデータとして、分光放射輝度算出部１３２に出力する。
　分光ユニット１２２がCTIS方式の場合、イメージセンサ１２４から読みだされる分光方向と解像度方向とからなる構成される情報が、波長ごとの複数の２次元データに分離され、例えば、３Ｄデータキューブ（3D Data Cube）とされる。尚、３Ｄデータキューブについては、図９を参照して詳細を後述する。
　また、分光ユニット１２２が多眼レンズバンドパスフィルタ方式の場合、波長ごとに画像が切り出されたのち、位置合わせが行われて、実質的に３Ｄデータキューブ3D Data Cubeと同様の形式の情報が出力される。尚、多眼レンズバンドパスフィルタ方式の例については、図１０を参照して詳細を後述する。
　分光放射輝度算出部１３２は、イメージセンサ１２４やレンズ１２１などの光学系の分光特性を加味して、分光フロントエンド１３１より供給される分光されたイメージセンサ１２４の読み出し値である分光Rawデータから測定対象の分光放射輝度を算出する。
　より具体的には、分光放射輝度算出部１３２は、例えば、以下の式（１）を演算することで、分光放射輝度を算出する。
　Ｉ＝Ｓｉ／Ｆ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ここで、Ｉは、分光放射輝度であり、Ｓｉは、分光されたイメージセンサ１２４の読み出し値（分光Rawデータ）であり、Ｆは、光学系の分光特性である。
　分光アプリケーションユニット１０３は、３Ｄデータキューブ（3D Data Cube）の形態で供給される分光放射輝度に基づいて、可視画像であるRGB画像、および不可視の情報からなる不可視２次元データを生成し、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６に出力する。
　分光アプリケーションユニット１０３は、分光反射率算出部１４１、光源分光算出部１４２、RGB現像部１４３、植生指数算出部１４４、および機能計測部１４５を備えている。
　分光反射率算出部１４１は、分光プロセッシングユニット１０２より供給される測定対象の分光放射輝度、および光源分光算出部１４２より供給される光源の分光放射輝度に基づいて、以下の式（２）により分光反射率を算出し、植生指数算出部１４４に出力する。
　Ｒ＝Ｉ／Ｌ
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ここでＲは、分光反射率であり、Ｉは、測定対象の分光放射輝度であり、Ｌは、光源の分光放射輝度である。
　尚、分光反射率算出部１４１は、分光プロセッシングユニット１０２より供給される測定対象の分光放射輝度、および光源分光算出部１４２より供給される光源の分光放射輝度に加えて、分光Rawデータに基づいて、分光反射率を算出して、植生指数算出部１４４に出力するようにしてもよい。このとき、分光放射輝度が必要でない場合（機能計測部１４５を使用しない場合）は、分光放射輝度算出部１３２は、分光放射輝度への変換を行わなくてもよい。すなわち、この場合、分光反射率算出部１４１および光源分光算出部１４２は、分光されたイメージセンサ１２４の読み出し値（分光Rawデータ）を入力として動作する。また、分光反射率算出部１４１は、算出した分光反射率を、上述した３Ｄデータキューブの形態で出力する。
　光源分光算出部１４２は、画像上においてユーザにより標準拡散反射板の位置が指定されるようにする、または、画像の中から画像認識等により標準拡散反射板の位置が特定されることにより、特定された領域のイメージセンサ１２４の読み出し値に基づいて、光源の分光放射輝度を算出し、分光反射率算出部１４１に出力する。
　また、光源分光算出部１４２は、上述した標準拡散反射板の位置が指定されない、特定されない、または、検出できない場合、外部の光源の分光放射輝度を検出するセンサにより検出された情報を通信により取得してもよい。
　さらに、光源分光算出部１４２は、直前の光源の分光放射輝度を記憶しておき、上述した標準拡散反射板が指定されない、または、検出できない場合、直前の分光放射輝度を使用するようにしてもよい。
　RGB現像部１４３は、分光プロセッシングユニット１０２より供給される分光反射輝度と、分光反射率算出部１４１により算出された分光反射率とに基づいて、RGB画像を生成し認識プロセッシングユニット１０６に出力する。
　尚、RGB現像部１４３により生成されるRGB画像は、一般的な測定対象の分光放射輝度に基づいた画素値からなる画像でもよいが、ここでは、測定対象の分光放射輝度を、光源の分光放射輝度で除した分光反射率に基づいた画素値からなる画像としている。換言すれば、ここでは、RGB画像は、測定対象の分光放射輝度が、光源の分光放射輝度により正規化された値に基づいて生成された画素値からなる画像となる。
　すなわち、一般的な測定対象の分光放射輝度に基づいた画素値からなる画像がRGB画像として扱われる場合、例えば、光源となる太陽光は、日中であれば白色光であるので全体に白味が強い画像となるが、光源となる太陽光は、夕方になると赤色光となるので全体に赤味が強い画像となる。この結果、光源である太陽光の変化により、同一の色味であるべきRGB画像が、異なる色味のRGB画像となる恐れがある。
　しかしながら、本開示のRGB現像部１４３のように、分光反射率に基づいた画素値からRGB画像が構成される場合、画素値は、光源となる太陽光の分光放射輝度で正規化された値に基づいて求められることになるため、光源である太陽光の変化による影響が打ち消される。この結果、本開示のRGB現像部１４３により生成されるRGB画像は、光源である太陽光の変化によらず、適切な色味の画像とすることが可能となる。
　植生指数算出部１４４は、分光反射率に基づいて、NDVIやPRIなどの植生指数を算出し、不可視２次元データとして、機能計測部１４５、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６に出力する。
　機能計測部１４５は、分光プロセッシングユニット１０２より供給される測定対象の分光放射輝度と、植生指数算出部１４４より供給される各種の植生指数とに基づいて、クロロフィル蛍光、および葉面光強度を計測し、特定のアルゴリズムによる処理を施すことにより光合成速度（Filtered SIF（Solar Induced Chlorophyll Fluorescence））や環境ストレス応答（Filtered PRI）を算出し、不可視２次元データとして、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６に出力する。また、機能計測部１４５は、Filtered SIFやFiltered PRIよりも高精度な光合成速度（ETR（Electron Transport Rate）：光化学系IIの電子伝達速度）や環境ストレス応答（NPQpri（Non-photochemical quenching by PRI：PRIから生成される環境ストレス応答の定量的推定値））を求めるようにしてもよい。尚、機能計測部１４５の詳細な構成については、図９を参照して後述する。
　可視化ユニット１０４は、カラーマップ１５１を備えており、分光アプリケーションユニット１０３の植生指数算出部１４４、および機能計測部１４５より供給される、各種の植生指数、クロロフィル蛍光、葉面光強度、並びに、光合成速度や環境ストレス応答からなる２次元不可視データに、RGB等のカラーマッピングを施すことによりRGB画像からなるカラーマップ画像（可視化画像）を生成し、システム制御ユニット１０７に出力する。
　統計分析ユニット１０５は、分光アプリケーションユニット１０３の植生指数算出部１４４、および機能計測部１４５より供給される、各種の植生指数、クロロフィル蛍光、葉面光強度、並びに、光合成速度や環境ストレス応答からなる２次元不可視データの各数値を統計分析すると共に、分析結果からグラフ画像を生成して、統計結果とグラフ画像とをシステム制御ユニット１０７に出力する。
　より詳細には、統計分析ユニット１０５は、統計分析部１６１、およびグラフ生成部１６２を備えている。
　統計分析部１６１は、分光アプリケーションユニット１０３の植生指数算出部１４４、および機能計測部１４５より供給される、各種の植生指数、クロロフィル蛍光、葉面光強度、並びに、光合成速度や環境ストレス応答からなる２次元不可視データの数値を統計分析し、分析結果を分析値としてグラフ生成部１６２およびシステム制御ユニット１０７に出力する。統計分析部１６１は、統計分析により、例えば、葉面光強度と環境ストレス応答との相関を求める。
　統計分析部１６１は、タッチパネル１１１やキー４３が操作され、操作内容に応じた操作入力が入力部１８５を介して入力されるようにすることで、ROI（Region of Interest）領域を指定する情報が入力されるような場合、統計分析を行うROI領域のみを抽出して統計分析を行うようにしてもよい。
　グラフ生成部１６２は、統計分析部１６１の分析結果に基づいて、散布図、ヒートマップ、および箱ひげグラフ等をグラフ画像として作成し、システム制御ユニット１０７に出力する。すなわち、統計分析部１６１の統計分析により、例えば、葉面光強度と環境ストレス応答の相関が求められた場合、グラフ生成部１６２は、求められた相関を表現するグラフを生成する。
　尚、RGB現像部１４３より出力されるRGB画像、可視化ユニット１０４より出力されるカラーマップ画像、グラフ生成部１６２より供給されるグラフ画像は、併せてRGB画像群を構成し、システム制御ユニット１０７の画像合成部１８２および記録部１８３に出力される。また、統計分析と生成されるグラフについては、図１９乃至図２１を参照して詳細を後述する。
　認識プロセッシングユニット１０６は、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データに基づいて、個体識別、状態識別、および白板識別等の識別処理を行い、識別結果を分光アプリケーションユニット１０３、システム制御ユニット１０７およびカメラ制御ユニット１０８に出力する。
　より詳細には、認識プロセッシングユニット１０６は、個体識別部１７１、状態識別部１７２、および白板識別部１７３を備えている。
　個体識別部１７１は、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データに基づいて、測定対象を単位ごとに識別する。個体識別部１７１は、例えば、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データに基づいて、植物の個体１つ１つを識別する。
　なお、個体識別部１７１は、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データに基づいた識別に限らず、他の情報を用いた識別を行うようにしてもよく、例えば、RGB画像を用いた画像認識によるタグ（識別子）付け、２次元バーコードを用いたタグ付け、GIS（Geographic Information System）情報を用いた位置情報毎のタグ付け、または、タッチパネル１１１を操作して入力されるタグ付け等により、個体を識別するようにしてもよい。
　状態識別部１７２は、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データに基づいて、測定結果（形質や環境応答）の範囲により、測定対象の状態を識別する。
　尚、形質は、形状と静特性とを表現する用語である。従って、「形質」という用語を、形状について使用する場合、例えば、「植物の葉の形質」には、一例として「植物の葉の形状」が挙げられる。また、「形質」という用語を、静特性について使用する場合、例えば、「植物の葉の形質」には、一例として「植物の葉のクロロフィル濃度」が挙げられる。
　また、環境応答は、形状変化と応答特性とを表現する用語である。従って、「環境応答」という用語を、形状変化について使用する場合、例えば、「植物の環境応答」には、一例として「植物の順化による葉の形質変化」などが挙げられる。また、「環境応答」という用語を、応答特性について使用する場合、例えば、「植物の環境応答」には、一例として「植物の光強度の変動に伴う光合成速度の変化」が挙げられる。
　状態識別部１７２は、例えば、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データのうちの環境ストレス応答に基づいて、一定以上の環境ストレス応答であるかどうか否かを示す植物の状態を識別する。
　白板識別部１７３は、分光アプリケーションユニット１０３より供給されるRGB画像、および不可視２次元データに基づいて、白板（標準拡散反射板）の位置を認識し、認識結果を分光アプリケーションユニット１０３の光源分光算出部１４２に出力する。
　尚、統計分析部１６１の統計分析結果、個体識別部１７１の個体識別結果、および状態識別部１７２による状態識別結果については、併せて分析値群を構成し、システム制御ユニット１０７の画像合成部１８２および記録部１８３に出力される。
　システム制御ユニット１０７は、分光アプリケーションユニット１０３、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６より供給されるRGB画像群、および分析値群の情報に基づいて画像を生成してLCD４２に表示する、または、記録装置１１２，および通信装置１１３に出力する。
　また、システム制御ユニット１０７は、キー４３、およびタッチパネル１１１がユーザにより操作されることで入力される操作入力や、分析値群の情報に基づいて、カメラ制御ユニット１０８を制御する。
　より詳細には、システム制御ユニット１０７は、画像出力部１８１、画像合成部１８２、記録部（Codec・圧縮・ファイル管理）１８３、外部センサ入力部１８４、および入力部１８５を備えている。
　画像合成部１８２は、RGB画像、可視化画像、およびグラフ画像からなるRGB画像群、並びに、統計分析結果、および個体識別・状態識別結果等の分析値群の情報を1画面の画像として合成して、画像出力部１８１に出力し、LCD４３において表示させる。尚、画像合成部１８２により生成される合成画像の表示例については、図１２乃至図２５を参照して詳細を後述する。
　記録部１８３は、RGB画像、可視化画像、およびグラフ画像からなるRGB画像群、並びに、統計分析結果、および個体識別・状態識別結果等の分析値群を、符号化して、圧縮し、ファイルの情報として、HDDやSSDなどからなる記録装置１１２に記録させると共に、通信装置１１３を介して、図示せぬ外部の装置に送信する。
　この際、記録部１８３は、RGB画像群や分析値群を、個体識別結果や状態識別結果毎に分けてExifなどの画像付属データ（メタデータ等）にタグ付けする（識別子を付与する）ようにしてもよいし、フォルダを切り替えて記録装置１１２に記録するようにしてもよいし、通信装置１１３を制御して、異なる図示せぬ外部の装置に送信させるようにしてもよい。
　外部センサ入力部１８４は、外部に設けられた図示せぬセンサ、例えば、太陽光などの光源分光放射輝度を計測するセンサからの計測結果の入力を受け付けて光源分光算出部１４２、および白板識別部１７３に出力する。
　また、外部センサ入力部１８４に供給される、太陽光などの光源分光放射輝度を計測するセンサは、アタッチメントで撮像装置３１に付属させてもよいし、ダイクロイックミラーなどで撮像装置３１の上部の太陽光を取り入れるようなものでもよい。
　入力部１８５は、キー４３やタッチパネル１１１から、各種の操作入力を受け付けて、受け付けた操作入力に対応する情報を分光アプリケーションユニット１０３、およびカメラ制御ユニット１０８に供給する。
　より詳細には、詳細な矢印等の図示は省略するものとするが、光源分光放射輝度が入力される場合、入力部１８５は、入力を受け付けた光源分光放射輝度の情報を光源分光算出部１４２およびカメラ制御フロントエンド１９１に供給する。
　カメラ制御ユニット１０８は、統計分析ユニット１０５および認識プロセッシングユニット１０６の分析値群（認識結果や統計分析結果）、または、キー４３およびタッチパネル１１１の操作入力に応じて入力部１８５より供給される操作信号に基づいて、光学ブロック１０１のレンズ１２１、シャッタ１２３、およびイメージセンサ１２４の動作を制御する。
　より詳細には、カメラ制御ユニット１０８は、カメラ制御フロントエンド１９１、AE（Auto Exposure）制御部１９２、Driver１９３、AF（Auto Focus）制御部１９４、およびDriver１９５を備えている。
　カメラ制御フロントエンド１９１は、統計分析ユニット１０５および認識プロセッシングユニット１０６の分析値、または、キー４３およびタッチパネル１１１の操作入力に応じて入力部１８５より供給される操作信号の入力を受け付けて、受け付けた情報に基づいて、レンズ１２１、シャッタ１２３、およびイメージセンサ１２４の動作を制御する制御信号をAE制御部１９２およびAF制御部１９４の少なくともいずれかに出力する。
　AE制御部１９２は、カメラ制御フロントエンド１９１からの制御信号に基づいて、シャッタ１２３の開放および閉塞を駆動させるDriver１９３の動作を制御すると共に、イメージセンサ１２４の感度を調整するなどして、撮像に係る露出を制御する。
　AF制御部１９４は、カメラ制御フロントエンド１９１からの制御信号に基づいて、レンズ１２１を駆動させるDriver１９５の動作を制御して、焦点位置を制御する。
　＜機能計測部＞
　次に、図９を参照して、機能計測部１４５により実現される機能について説明する。
　機能計測部１４５は、プラントフィルタ２１１、葉面光強度フィルタ２１２、葉面光強度推定部２１３、クロロフィル蛍光算出部２１４、プラントフィルタ２１５、および葉面光強度フィルタ２１６を備えている。
　プラントフィルタ２１１は、植生指数算出部１４４により算出されたNDVIおよびPRIを取得し、NDVIが所定の範囲内の値をとるPRIをフィルタリングして抽出し、葉面光強度フィルタ２１２に出力する。
　すなわち、測定した範囲（２次元データの範囲）においては、植物以外の土壌などの領域が混ざっているため、このままでは正しい（植物の）機能を評価することができない恐れがある。
　そこで、プラントフィルタ２１１は、PRIの領域を示す分布のうち、対応する領域のNDVIが所定の範囲内（例えば、NDVI＞0.5等）の領域のみをフィルタリングすることで、植物の領域のPRIを抽出することで、植物の機能を適切に評価できるデータとして抜き出す。
　葉面光強度推定部２１３は、分光放射輝度に基づいて、葉面光強度（PAR：Photosynthetically Active Radiation）を推定し、推定結果を葉面光強度フィルタ２１２，２１６に出力する。
　葉面光強度フィルタ２１２は、プラントフィルタ２１１より供給される抽出されたPRIのうち、葉面光強度（PAR）が所定の範囲の領域の環境への応答に対応する指数であるPRIをフィルタリングして抽出し、Filtered PRI（環境ストレス応答）として出力する。
　例えば、土壌の乾燥により気孔が閉塞するという環境ストレスが発生した場合、実際に植物が受けるストレスの大きさは、植物の受ける光の強度に大きく影響を受ける。従って、測定範囲に葉面光強度の異なる複数の植物や葉が存在していた場合（例えば、太陽方向を向いた葉であるか否かで葉面光強度は異なる）、所定の範囲の葉面光強度のPRIのみを抽出することで、葉面光強度の影響を除外した環境ストレス応答を出力することができる。
　クロロフィル蛍光算出部２１４は、分光放射輝度に基づいて、クロロフィル蛍光を算出し、プラントフィルタ２１５に出力する。
　プラントフィルタ２１５は、クロロフィル蛍光算出部２１４からのクロロフィル蛍光の算出結果と、植生指数算出部１４４により算出されたNDVIとを取得し、NDVIが所定の範囲内の値をとるクロロフィル蛍光をフィルタリングして抽出し、葉面光強度フィルタ２１６に出力する。
　すなわち、プラントフィルタ２１５は、プラントフィルタ２１１と同様に、クロロフィル蛍光の領域を示す分布のうち、対応する領域のNDVIが所定の範囲内の領域のみをフィルタリングすることで、植物の領域のクロロフィル蛍光を抽出することで、植物の機能を適切に評価できるデータとして抜き出す。
　葉面光強度フィルタ２１６は、葉面光強度フィルタ２１２と同様に、プラントフィルタ２１５より供給される抽出されたクロロフィル蛍光のうち、葉面光強度（PAR）が所定の範囲のクロロフィル蛍光をフィルタリングして抽出し、Filtered SIF（クロロフィル蛍光）として出力する。
　＜３Ｄデータキューブ＞
　図１０は、分光フロントエンド１３１により生成される、計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータ、すなわち、３Ｄデータキューブの例を示している。
　３Ｄデータキューブは、計測対象物の空間方向（ＸＹ）と、波長方向（λ）の３次元からなるデータである。計測対象物の表面の各点の座標がＸＹ座標で示され、各座標位置（ｘ，ｙ）の各波長光の光強度（λ）が記録されたデータである。図に示すデータキューブは８×８×８の立方体データから構成されており、１つの立方体が、特定の位置（ｘ，ｙ）の特定波長（λ）の光強度を示すデータである。尚、本開示においては、分光フロントエンド１３１により構成された図１０の３Ｄデータキューブにおける光強度（λ）に基づいて、分光放射輝度算出部１３２が、分光放射輝度を求め、各光強度（λ）が分光放射輝度に置き換えられた状態で分光アプリケーションユニット１０３に供給される。また、分光反射率算出部１４１は、分光放射輝度に置き換えられた状態の３Ｄデータキューブを取得すると、分光放射輝度に基づいて、分光反射率を算出して、算出した分光反射率に置き換えられた状態で、RGB現像部１４３および植生指数算出部１４４に供給される。
　なお、立方体の数８×８×８は一例であり、分光計測装置の空間分解能や、波長分解能に応じてこの数は変動することになる。
　＜多眼レンズを用いた場合の例＞
　図１１は、多眼レンズを用いた場合のイメージセンサ１２４上におけるレンズごとの結像領域Ｒｉの例を模式的に示した図である。
　図１１では一例として、多眼レンズの数が９個とされた場合における結像領域Ｒｉの例が示されている。レンズごとの結像領域Ｒｉは、符号の末尾に１から９の数字が付され、区別されている。
　図１１の上段では、イメージセンサ１２４上における結像領域Ｒｉ１からＲｉ９の配置例が模式的に表されており、図１１の下段では、結像領域Ｒｉごとに、すなわち、レンズ毎に光路上に設けられる波長フィルタの特性及び画角の内訳が例示されている。
　図１１の例では、結像領域Ｒｉ１からＲｉ９のうち中央に位置する結像領域Ｒｉ５のみが広角とされ、他の結像領域Ｒｉについては狭角とされる。図１１の上段において例示されるように、広角の結像領域Ｒｉ５では、計測対象が例えば樹木とされる場合において、複数本の樹木の像が含まれるものとなり、狭角の結像領域Ｒｉでは例えば１本等、広角の場合よりも少ない本数の樹木の像のみが含まれるものとなる。
　また、図１１の例において、結像領域Ｒｉ１は波長区分が「Ｂｌｕｅ（青）」であり、例えばＣＷＬ（Center Wavelength：中心波長）＝４６０ｎｍ、ＦＷＨＭ（Full Width at Half Maximum：半値全幅）＝３０ｎｍによる波長フィルタが用いられる。また、結像領域Ｒｉ２は波長区分が「Ｒｅｄ（赤）」であり、例えばＣＷＬ＝６６０ｎｍ、ＦＷＨＭ＝２０ｎｍによる波長フィルタが用いられる。
　さらに、結像領域Ｒｉ３は波長区分が「Ｒｅｄ　Ｅｄｇｈ２」であり、例えばＣＷＬ＝７１５ｎｍ、ＦＷＨＭ＝１０ｎｍによる波長フィルタが用いられ、結像領域Ｒｉ４は波長区分が「Ｇｒｅｅｎ（緑）１」であり、例えばＣＷＬ＝５３５ｎｍ、ＦＷＨＭ＝２０ｎｍによる波長フィルタが用いられる。
　広角の結像領域Ｒｉ５は、波長区分が「RGB」であり、波長フィルタとしてRGBフィルタが用いられる。
　ここで、RGBフィルタは、イメージセンサ１２４の画素単位でＲ，Ｇ，Ｂの光を透過し分ける波長フィルタである。このＲＧＢフィルタとしての波長フィルタは、イメージセンサ１２４の画素ごとに配置されたオンチップカラーフィルタの集合として形成される。
　ここでは、結像領域Ｒｉ１からＲｉ９のうち結像領域Ｒｉ５を除く各結像領域Ｒｉに対する波長フィルタについては、このように結像領域Ｒｉへの照射光全体について所定波長帯の波長フィルタリングを行う波長フィルタが用いられる。
　結像領域Ｒｉ６は波長区分が「ＮＩＲ１」であり、例えばＣＷＬ＝７５５ｎｍ、ＦＷＨＭ＝５ｎｍによる波長フィルタが用いられ、結像領域Ｒｉ７は波長区分が「Ｇｒｅｅｎ２」であり、例えばＣＷＬ＝５７０ｎｍ、ＦＷＨＭ＝２０ｎｍによる波長フィルタが用いられる。
　さらに、結像領域Ｒｉ８は波長区分が「Ｒｅｄ　Ｅｄｇｈ１」であり、例えばＣＷＬ＝６９５ｎｍ、ＦＷＨＭ＝１０ｎｍによる波長フィルタが用いられ、結像領域Ｒｉ９は波長区分が「ＮＩＲ２」であり、例えばＣＷＬ＝７６３ｎｍ、ＦＷＨＭ＝５ｎｍによる波長フィルタが用いられる。
　なお、上記の「ＮＩＲ１」についてはＣＷＬ＝７５７ｎｍ、ＦＷＨＭ＝１ｎｍによる波長フィルタを、「ＮＩＲ２」についてはＣＷＬ＝７６１ｎｍ、ＦＷＨＭ＝１ｎｍによる波長フィルタをそれぞれ用いることもできる。
　ここで、図１１では、各結像領域Ｒｉのサイズ（イメージサークルのサイズに相当）を同一とした例を示しているが、少なくとも一つのレンズによる結像領域Ｒｉのサイズを、他のレンズと異ならせることもできる。
　レンズごとに（波長ごとに）、画角のみでなく求められる解像度や縦横比率が異なることがあり、また、イメージセンサ１２４上における各結像領域Ｒｉの配置は、イメージセンサ１２４の形状に合わせて幾何学的に適切な配置とされるべきである。
　上記のように少なくとも一つのレンズの結像領域Ｒｉのサイズを他のレンズと異ならせた構成とすることで、レンズごとに適切な解像度や結像領域Ｒｉの縦横比率の設定を可能とできると共に、各レンズの結像領域Ｒｉの配置をイメージセンサ１２４の形状に合わせた適切な配置とすることを可能にできる。
　また、図１１の例では、波長フィルタによる透過波長帯が異なるレンズ間で画角を異ならせる例を挙げたが、波長フィルタによる透過波長帯が同一のレンズ間で画角を異ならせることもできる。
　尚、図１１の結像領域Ｒｉ１乃至Ｒｉ４、およびＲｉ６乃至Ｒｉ９を、位置合わせをして、重ねるようにすることで、実質的に上述した３Ｄキューブデータと同一の構成とすることができる。従って、本開示においては、分光フロントエンド１３１により３Ｄデータキューブが構成され、さらに、分光放射輝度算出部１３２により、各光強度が分光放射輝度に置き換えられたものとして説明を進めるものとする。
　（PRIについて）
　次に、機能計測部１４５により算出される植生指数のうち、PRIとPARとについて説明する。
　PRI（Photochemical Reflectance Index）は、各種ストレス要因に対する植物のストレス反応を計測するものであり、一般的に以下の式（３）によって算出される。
　PRI＝（ρ531-ρ570）／（ρ531＋ρ570）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、ρ531は、波長が約531nmの分光反射率を表し、ρ570は、波長が約570nmの分光反射率を表す。
　PRIによって、キサントフィルサイクルのエポキシ化/デエポキシ化の度合いが光学的に検出されると考えられているため、上記のメカニズムを鑑みるに、PRIは、各種ストレス要因に対する植物のストレス反応を測る指標として利用可能であることが期待される。
　（葉面光強度PARについて）
　葉面光強度PAR（Photosynthetically Active Radiation：光合成有効放射）は、光合成で利用可能な400nm乃至700nm近傍のエネルギの光強度であり、大きい程、光合成に有効な放射量が多いことを示す。
　葉の反射率はおおよその範囲で想定できるため、葉面光強度PARの測定は、計測した葉の放射輝度から、想定反射率に基づいて推定される以下のような手順によりなされる。尚、葉面光強度PARは、葉ごとの太陽光に対する向きによって変化するため、ある程度ばらつきのある値となる。
　まず、標準拡散反射板上のPARと、NIRとの強度が、イメージセンサ１２４により撮像されると、それぞれイメージセンサ１２４の読み出し値がキャリブレーション値で補正されることにより、測定値Ａ，Ｂとして測定され、さらに、比Ａ／Ｂが求められる。
　さらに、葉面のNIRの強度がイメージセンサ１２４により撮像されると、イメージセンサ１２４の読み出し値がキャリブレーション値で補正され、測定値Ｃとして測定される。
　ここで葉のNIRの反射率をρNIRと仮定するならば、葉面のNIRの光強度はC/ρNIRと推定され、これとさらに標準拡散反射板における、PARとNIRとの比Ａ／Ｂとを用いると、葉面光強度PARが、（Ｃ／ρNIR）×（Ａ／Ｂ）として算出される。
　＜表示例＞
　次に、図１２乃至図２５を参照して、分光アプリケーションユニット１０３、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６により生成されるRGB画像群と分析値群とに基づいて、画像合成部１８２により合成され、画像出力部１８１よりLCD４２に表示される合成画像の表示例について説明する。
　＜RGB画像の表示例＞
　分光アプリケーションユニット１０３のRGB現像部１４３は、分光プロセッシングユニット１０２の分光放射輝度算出部１３２より供給される分光放射輝度に基づいて、CIE（Commission Internationale de l’eclairage：国際照明委員会）により規定される標準比視感度曲線を用いた変換処理によりRGB画像を生成する。
　なお、既存のカメラの色再現に合わせるため、RGB現像部１４３は、代表的なイメージセンサのRGB感度曲線を用いて変換してもよい。
　RGB現像部１４３は、分光プロセッシングユニット１０２の分光放射輝度算出部１３２より供給される分光放射輝度から、分光反射率算出部１４１により算出された分光反射率に基づいて、例えば、図１２で示されるような葉が撮像されたRGB画像Ｐｒｇｂを生成する。画像合成部１８２は、必要に応じて、RGB現像部１４３より供給されるRGB画像そのまま表示する。
　尚、この際、白板識別部１７３により標準拡散板である白板が、RGB画像Ｐｒｇｂから検出される場合、図１２の左下部で示されるように、標準拡散板が検出された位置に、枠ＳＲＢが合成して表示される。
　＜カラーマップ画像の表示例＞
　（PRIに基づいたカラーマップ画像）
　可視化ユニット１０４は、分光アプリケーションユニット１０３の植生指数算出部１４４、および機能計測部１４５により出力される各種の植生指数や葉面光強度の不可視２次元データに、カラーマップ１５１を用いて色を付加することで、可視化したカラーマップ画像を生成する。
　例えば、算出されたPRIが供給される場合、可視化ユニット１０４は、カラーマップ１５１を用いて、肉眼でみえるようRGB三原色を用いて色をマッピングさせる。尚、当然のことながら、グレースケールが用いられてもよい。
　図１３は、図１２のRGB画像に対応する画角のPRIからなる不可視２次元データにカラーマップ１５１に基づいたカラーマッピングが施されることで生成された、カラーマップ画像Ｐｐｒｉである。
　下段には、PRIの数値に対応付けてマッピングされた色を示すカラーマップバーＲＢｐｒｉが表示されており、最小値が-0.04であり、最大値が0.08であることが示されている。
　数値とカラーマップの最小・最大値の対応は、例えば、図１４で示されるような設定画像ＳＰによりユーザにより設定することが可能である。
　設定画像ＳＰには、不可視２次元データの種別に応じた設定欄が設けられており、図１３においては、PRIの設定欄ＳＰｐｒｉが太枠で囲まれた状態で示されており、最小値（min）が-0.040とされ、最大値（MAX）が0.080とされ、これに応じたカラーマップバーＲＢｐｒｉの表示例が示されている。
　また、図中上から、PAR、NDVI、PRI、SIF、・・・NPQpri、・・・ETR、・・・の設定欄がそれぞれ設けられており、それぞれの最大値と最小値とを設定することもできる。
　不可視２次元データを構成する各画素の数値は測定対象によってその範囲が変化するので、指定された１画面における数値の最大値・最小値が算出されるようにして算出結果に基づいて設定されるようにしてもよいし、複数の画像からなる画像群が指定されるときには、画像群における最大値・最小値が算出されるようにして算出結果に基づいて設定されるようにしてもよい。可視化ユニット１０４は、これらの画像をリアルタイムで生成し、画像合成部１８２に出力する。画像合成部１８２は、必要に応じて、可視化ユニット１０４により生成されたカラーマップ画像を、そのまま画像出力部１８１を介して、LCD４２に表示させる。
　（葉面光強度PARに基づいたカラーマップ画像）
　図１５は、図１２のRGB画像に対応する画角の葉面光強度PARに、カラーマップ１５１に基づいたカラーマッピングが施されたカラーマップ画像Ｐｌｓである。
　下段には、葉面光強度PARの数値に対応付けてマッピングされた色を示すカラーマップバーＲＢｌｓが表示されており、最小値が0であり、最大値が1000であることが示されている。
　数値とカラーマップの最小・最大値の対応は、例えば、図１４で示されるような設定画像ＳＰによりユーザにより設定することが可能である。
　可視化ユニット１０４は、これらの画像をリアルタイムで生成し、画像合成部１８２に出力する。画像合成部１８２は、必要に応じて、可視化ユニット１０４により生成されたカラーマップ画像を、そのまま画像出力部１８１を介して、LCD４２に表示させる。
　＜フィルタリング処理＞
　（プラントフィルタ）
　上述したPRIからなる不可視２次元データに基づいた可視化画像であるRGB画像には、植物以外の土なども含まれるため、可視化表示する場合や、統計分析する場合においても余計な領域をフィルタで除外することが望ましい。この時、例えば、NDVIを用いれば植物以外の領域を除外することができる。
　図１６は、図１２の可視化画像であるRGB画像Ｐｒｇｂと対応する画角の、不可視２次元データとしてNDVIが供給される場合のカラーマップ画像Ｐｎｄｖｉの表示例である。
　図１６においても、下段には、NDVIの数値に対応付けてマッピングされた色を示すカラーマップバーＲＢｎｄｖｉが表示されており、最小値が0.6であり、最大値が1.0であることが示されている。
　図１６において、黒っぽく表示される範囲は、図１２との比較から植物以外が存在する領域であることが明らかである。
　すなわち、図１６において、NDVIが所定値よりも低い領域は、植物以外が存在する範囲である。そこで、画像合成部１８２は、例えば、図１７のRGB画像Ｐｒｇｂ－ｎｄｖｉで示されるように、図１２のRGB画像Ｐｒｇｂのうち、NDVIが所定値よりも低い領域Ｚ２については、所定の色で配色することによりマスキングされるようにして、領域Ｚ２以外の領域Ｚ１にのみ図１２のRGB画像Ｐｒｇｂが表示されるようにフィルタリングして合成画像を生成する。
　このようにすることで、植物が存在する領域Ｚ１のみをRGB画像として表示させることが可能になると共に、統計分析においても、植物が存在する領域Ｚ１のみを抽出して使用することが可能となる。
　（その他のフィルタ）
　以上においては、NDVIに基づいたフィルタリング処理について説明してきたが、他の不可視２次元データを用いるようにしてもよい。
　図１８は、NDVI以外の、例えば葉面光強度が一定範囲の不可視２次元データに基づいてフィルタリングされるRGB画像Ｐｒｇｂ－ｏｔｈｅｒの表示例を示している。
　図１８においては、所定の不可視２次元データのうち、所定値よりも低い、または高い領域Ｚ１２については、マスキングされるようにして、その他の領域Ｚ１１においては、図１２のRGB画像Ｐｒｇｂにおける表示がなされる。
　このようにすることで、所定の不可視２次元データのうち、所定値よりも低い、または高い領域Ｚ１１のみをRGB画像として表示させることが可能になると共に、統計分析においても、不可視２次元データのうち、所定値よりも低い、または高い領域Ｚ１のみを抽出して使用することが可能となる。
　＜可視データと不可視データとの合成＞
　以上においては、可視データとなるRGB画像と、不可視２次元データ毎に可視化されたカラーマップ画像の例について説明してきたが、可視データ上に、不可視２次元データに基づいて可視化された画像を重畳するように合成して表示するようにしてもよい。
　図１９は、図１２のRGB画像Ｐｒｇｂ上に、図１３のカラーマップ画像Ｐｐｒｉのうち、プラントフィルタ（NDVIが所定値以下）、および葉面強度フィルタを用いて抽出したPRIをカラーマップ化したRGB画像Ｐｒｇｂ－ｐｒｉの表示例を示している。
　図１９で示されるように、画像合成部１８２は、図１３のカラーマップ画像Ｐｐｒｉのうち、PRIの値が所定値よりも大きな領域Ｚ２１と、図１２のRGB画像Ｐｒｇｂからなる領域Ｚ２２とからRGB画像Ｐｒｇｂ－ｐｒｉを合成する。
　このような表示により、LCD４２に表示されるRGB画像Ｐｒｇｂ上の一定の葉面光強度の葉の環境ストレス応答のみを特定することが可能となり、適切な露光調整と、適切なフォーカス調整を行った上で、所望とする撮像対象を適切に撮像することが可能となる。
　尚、環境ストレス応答は、一般的に、水が足りないことで生じる水ストレスに起因するものの他に、葉面光強度が高すぎることにより生じるものも存在するため、例えば、葉面光強度に起因した環境ストレス応答が発生する可能性がある葉面光強度の高い領域と、他の領域とを区別せずに、環境ストレス応答の発生する領域を表示してしまうと、水ストレスに起因して環境ストレス応答が発生している領域であるのか、葉面光強度による環境ストレス応答が発生している領域なのかの判別が困難になる。
　そこで、図１９で示されるRGB画像Ｐｒｇｂ－ｐｒｉのように、葉面光強度に起因するストレスが生じ難い領域をフィルタリングした上で、ストレスが生じている領域を特定することで、水ストレスが生じている領域を明確に特定することが可能となる。
　＜統計分析ユニット＞
　統計分析ユニット１０５では、分光アプリケーションユニット１０３から出力される不可視２次元データを統計分析すると共に、分析結果をグラフ化する。
　より詳細には、統計分析ユニット１０５は、統計分析部１６１、およびグラフ生成部１６２を備えている。
　統計分析部１６１は、不可視２次元データを統計分析し、分析結果をグラフ生成部１６２に出力する。
　グラフ生成部１６２は、統計分析部１６１より供給される不可視２次元データの統計分析結果に基づいてグラフを生成して出力する。
　グラフ生成部１６２は、例えば、図２０で示されるように、統計分析部１６１より供給される葉面光強度PARとPRIとに基づいて、入力（葉面光強度PAR）を横軸に、出力（PRI）を縦軸とする散布図からなるグラフ画像を生成する。
　また、統計分析部１６１は、適切な関数（1次関数、2次関数、ロジスティック関数、任意の関数）の回帰を行い、グラフ生成部１６２は、回帰の結果となる関数のパラメータをグラフ画像上に表示する。
　さらに、グラフ生成部１６２は、例えば、図２１で示されるように、同様のデータからヒートマップからなるグラフ画像を生成する。
　また、グラフ生成部１６２は、例えば、図２２で示されるような箱ひげグラフからなるグラフ画像を生成する。
　なお、これらのグラフ画像は、独立した画面で表示してもよいし、ライブビュー画面にRGB画像や、その他のカラーマップ画像を表示した上で、さらに子画面として重畳表示するようにしてもよい。
　＜ROI領域の指定＞
　タッチパネル１１１またはキー４３等を操作して、画面の所定領域を指定して、その領域の数値（プロセッシングにより求められた）を表示するようにしてもよい。また、統計分析結果に基づいたグラフ化は、この指定により更新されるようにしてもよい。
　図２３は、図１９のRGB画像Ｐｒｇｂ－ｐｒｉ上において、ユーザによりROI（Region of Interest）領域として指定された領域Ｚｒｏｉにおける所定の不可視２次元データの平均値、例えば、PRI値の平均値が算出されて表示されるようにすることができる。
　すなわち、図２３で示されるように、ROI領域として領域Ｚｒｏｉが、タッチパネル１１１が操作されて指定された場合、統計分析部１６１は、指定された領域Ｚｒｏｉに基づいた統計分析を実行する。
　グラフ生成部１６２は、領域Ｚｒｏｉに対応する統計分析結果に基づいて、グラフ画像を生成する。
　また、同様の手法で、標準拡散反射板の位置である、枠ＳＲＢもユーザが領域の位置や大きさを指定できるようにしてもよい。
　＜強調表示＞
　以上のように、ユーザがタッチパネル１１１やキー４３を操作してROI領域を指定するのは、撮像装置３１を持って被写体を見ながら操作する必要があり、細かい位置や大きさを指定するには限界がある。
　そこで、本開示においては、認識プロセッシングユニット１０６の状態識別部１７２が、分光アプリケーションユニット１０３より出力される不可視２次元データに基づいて、所定の閾値よりも高い、または、低い状態として識別された領域が強調表示されるようにしてもよい。これにより、ユーザは、測定対象を容易に認識することが可能となる。
　より具体的には、画像合成部１８２は、例えば、不可視２次元データのうち、状態識別部１７２により、所定の閾値よりも高い状態の領域、または、低い状態の領域を、例えば、図２４で示されるように強調表示させるようにする。
　図２４の画像Ｐｄｍは、強調表示がなされた表示例であり、植物に係るストレスの強度を示す葉面光強度PARの数値に応じてカラーマッピングがなされたカラーマップ画像のうち、所定値よりも高い領域および所定値よりも低い領域が、RGB画像上に重畳された画像である。
　図２４の画像Ｐｄｍにおいては、葉面光強度PARのうち、値が小さく（ストレスが小さく）、正常と判定される所定値よりも小さい領域が、「well」との表記と共に、一点鎖線で示される枠Ｚ５１－１乃至Ｚ５１－３で強調表示され、値が大きく（ストレスが大きく）、異常と判定される領域が、「Drought Stress？」との表記と共に、点線で示されるストレス検出枠としての枠Ｚ５２で強調表示されている。
　このような表示により、ユーザは、画像Ｐｄｍを見ることにより、ストレスが大きな領域と、ストレスが小さい領域とを適切に認識することが可能となり、例えば、ストレスが小さな領域を撮像対象としたいときには、一点鎖線で示される枠Ｚ５１－１乃至Ｚ５１－３で強調表示された領域を撮像対象として撮像することで、適切に撮像対象を撮像することが可能となる。
　逆に、ストレスが大きな領域を撮像対象としたいときには、点線で示される枠Ｚ５２で強調表示された領域を撮像対象として撮像することで、適切に撮像対象を撮像することが可能となる。
　また、これらの強調表示された領域をROIとして指定できるようにしてもよく、この際、統計分析部１６１は、強調表示された領域をROI領域とみなし、強調表示された領域のみの不可視２次元データに基づいた統計分析を行うようにしてもよい。
　さらに、状態識別部１７２は、上述した葉面光強度PARの数値に基づいた判断に加えて、RGB画像やカラーマップ画像に対する画像認識処理を併せて行うようにしてもよく、画像認識で特徴領域を探し、識別してクラスタリングし、クラスタリングされた特徴領域のみに関して状態識別を行ってもよい。
　例えば、状態識別部１７２は、葉だけまたは特定の種類の植物や特定の色や形状の植物だけを画像認識処理により認識し、葉だけまたは特定の種類の植物の存在する特徴領域や、特定の形状や色に変化した植物の存在する特徴領域に関してのみ状態識別を行うようにしてもよい。
　また、統計分析部１６１による統計分析結果から何らかの診断が可能な場合、診断情報も併せて強調表示されるようにしてもよい。例えば、外部センサに土壌水分センサがあり、土壌水分センサの位置に対する撮像対象の植物を対応付けて、土壌水分センサの測定値で土壌水分が少ない場合、機能計測による環境ストレス応答の値が高いときには、環境ストレスが高い領域を強調表示して、環境ストレスの原因が水ストレスである可能性があることを提示するようにしてもよい。
　＜個体識別部について＞
　個体識別部１７１は、RGB画像やカラーマップ画像を用いた画像認識により、植物の各個体を識別するとともに、識別IDを付与し、LCD画面に表示させてもよい。
　この際、個体識別部１７１は、個体をさらに、各植物の葉や茎といった単位で細分化するようにしてもよい。また、個体識別部１７１は、識別された領域に応じてROIを設定するようにしてもよい。
　さらに、撮像装置３１に、GPSや、IMU(加速度センサ、方位センサ等)等が搭載されるような場合、個体識別部１７１は、画角情報から、撮像対象がGIS上にどこに配置されているかを認識し、GIS情報と個体情報とを対応付けて、例えば、タグ付けするようにしてもよい。
　タグ付けは、ユーザが手動で行うようにしてもよいし、個体毎に識別指標が個体の近くに予め配置される識別ID票（例えば、2次元バーコードなどの識別ID票）が測定（撮像）時に画面に入るようにすることで、識別がなされるようにしてもよい。
　これらのタグ情報はExifタグのように、出力画像データに付随させてもよいし、記録装置１１２に保存する場合に自動でフォルダごとに分類するようにしてもよいし、通信装置１１３によるデータ送信時に、送り先がタグ情報で切り替えて送信されるようにしてもよい。
　また、個体識別部１７１は、保存されたデータから必要なデータをソーティングし表示するための機能として、個体を指定してその時間経過を一覧表示してもよい。
　さらに、個体識別部１７１は、２つの個体を指定して、一方を比較参照試料として表示し、他方を何らかの現象が起こっている可能性のある着目試料として選択し、１つの画面の左右に並べて表示することで、比較できるような比較画像を表示するようにしてもよい。
　すなわち、比較画像は、例えば、図５で示されるようなものである。
　図２５の比較画像ＣＰは、左側に比較参照試料となる個体の画像表示欄Ｐｃと、右側に着目試料となる個体の画像表示欄Ｐｔとが並べて設けられており、目視により左右を対比することが可能な構成とされている。
　比較参照試料となる個体の画像表示欄Ｐｃの上には、比較参照試料となる個体を識別する識別IDが表示される表示欄ＩＤｃが設けられ、着目試料となる個体の画像表示欄Ｐｔの上には、着目試料となる個体を識別する識別IDが表示される表示欄ＩＤｔが設けられている。
　図２５においては、表示欄ＩＤｃには、＃０００１と表記され、表示欄ＩＤｔには、＃０００７と表記され、それぞれの識別IDが、＃０００１，＃０００７であることが表されている。
　表示欄ＩＤｔの左右には、識別IDを切り替えるためのボタンＢｕ，Ｂｄが設けられており、識別IDの値を小さくするとき、ボタンＢｕが操作され、識別IDの値を大きくするときボタンＢｔが操作され、ボタンＢｕ，Ｂｄが操作されて、識別IDの値が変化すると、画像表示欄Ｐｔに表示される個体の画像が、対応する識別IDのものに変化して表示される。
　画像表示欄Ｐｔの右側には、不可視２次元データや各種の統計分析結果等の時系列の変化を示すグラフ表示される表示欄Ｃｇが設けられており、現在の時刻における数値が、表示欄Ｃｇのグラフ中の丸印として表現される。
　画像表示欄Ｐｃ，Ｐｔのそれぞれの右下には、各種の数値が表示される表示欄Ｅｃ，Ｅｔが設けられており、図２５においては、それぞれ０．０１２，０．０２０と表記されている。
　比較画像ＣＰの右下には、時刻が表示される表示欄Ｃｔが設けられており、図２５においては、「2022/2/2　15:19」と表記され、現在、画像表示欄Ｐｃ，Ｐｔに表示されている画像が、西暦2022年2月2日15時19分のものであることが表現されている。
　表示欄Ｃｔの左右には、ボタンＢｒ，Ｂｐが設けられており、時刻を進めたいときボタンＢｒが操作され、時刻を遅らせたいときボタンＢｐが操作され、ボタンＢｒ，Ｂｐが操作されると、対応して、表示欄Ｃｔの時刻が変化し、画像表示欄Ｐｃ，Ｐｔに表示される画像、および表示欄Ｅｃ，Ｅｔの数値が、変化した時刻の情報に対応したものに変化して表示される。
　このような比較画像ＣＰの表示により、一方を比較参照試料として表示し、他方を何らかの現象が起こっている可能性のある着目試料として選択し、１つの画面の左右に並べて表示することで、個体を切り替えつつ、時系列に変化させながら、視覚的に比較することが可能となる。
　尚、以上においては、植物の植生指数（NDVIやPRI）、並びに、光合成速度および環境ストレス応答が測定結果と、RGB画像とを合成することで、視覚的に植物の内部の状態である状態情報を視覚的に認識できるようにする例について説明してきたが、分光画像に基づいた他の物体の内部の非破壊検査などで使用される測定結果とRGB画像とを合成して表示するようにしてもよい。
　例えば、水酸化カルシムの吸収帯1450nmの分光測定結果と、RGB画像との合成から、RGB画像上におけるコンクリートの位置とその位置における内部の劣化の状態の程度とを視覚的に認識できるようにしてもよい。
　さらに、植物の植生指数や光合成速度および環境ストレス応答、並びに、コンクリートの劣化の状態のみならず、分光画像に基づいて測定可能な様々な測定対象の状態を示す状態情報と、RGB画像とが合成されて合成画像が生成され、提示されるようにしてもよいし、統計処理がなされて、グラフ画像が生成されて合成されるようにしてもよい。
　結果として、このような合成画像が生成されて提示されることにより、ユーザは、測定対象の様々な状態情報を、その位置毎に視覚的に認識することが可能となり、測定対象を適切に選択した上で、適切な状態で撮像することが可能となる。
　＜撮像表示処理＞
　次に、図２６のフローチャートを参照して、図８の撮像装置３１による撮像表示処理について説明する。
　尚、図２６のフローチャートを参照して説明する処理は、撮像装置３１を用いて観測対象となる植物等を撮像する際に、被写体をライブビュー表示して、シャッタが操作されるまでの一連の処理を説明するものである。
　ステップＳ３１において、光学ブロック１０１のレンズ１２１、分光ユニット１２２、シャッタ１２３を介して光学的に分光された状態でイメージセンサ１２４が画像を撮像し、撮像した画像を分光プロセッシングユニット１０２に出力する。
　ステップＳ３２において、分光プロセッシングユニット１０２の分光フロントエンド１３１は、図１０を参照して説明した３Ｄデータキューブを生成して分光放射輝度算出部１３２に出力する。
　ステップＳ３３において、分光放射輝度算出部１３２は、３Ｄデータキューブに基づいて、分光放射輝度を算出して、３Ｄデータキューブにおける通常の分光画素値を、分光放射輝度に置き換えた状態の３Ｄデータキューブを分光アプリケーションユニット１０３に出力する。
　ステップＳ３４において、光源分光算出部１４２は、分光放射輝度からなる３Ｄデータキューブに基づいて、光源分光算出処理を実行して、光源分光を算出し、分光反射率算出部１４１に出力する。
　尚、光源分光算出処理については、図２７のフローチャートを参照して、詳細を後述する。
　ステップＳ３５において、分光反射率算出部１４１は、分光放射輝度からなる３Ｄデータキューブと、光源分光算出部１４２より供給される光源分光とに基づいて、分光反射率を算出し、分光反射率からなる３ＤデータキューブをRGB現像部１４３、および植生指数算出部１４４に出力する。
　ステップＳ３６において、RGB現像部１４３は、分光反射率からなる３Ｄデータキューブに基づいて、RGB画像を生成し認識プロセッシングユニット１０６、並びに、システム制御ユニット１０７の画像合成部１８２、および記録部１８３に出力する。
　ステップＳ３７において、植生指数算出部１４４は、分光反射率に基づいて、各種の植生指数を算出する。植生指数算出部１４４は、例えば、近赤外光の反射率と赤色光の分光反射率とに基づいて、NDVIからなる植生指数を算出して、不可視２次元データを構成し、機能計測部１４５、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６に出力する。
　また、植生指数算出部１４４は、例えば、波長が約531nmの分光反射率と、波長が約570nmの分光反射率とに基づいて、PRIからなる植生指数を算出し、不可視２次元データを構成し、機能計測部１４５、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６に出力する。
　ステップＳ３８において、機能計測部１４５は、機能計測処理を実行し、分光放射輝度および植生指数に基づいて、葉面光強度PARやクロロフィル蛍光等を計測し、光合成速度や環境ストレス応答を算出して、不可視２次元データを構成し、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６に出力する。尚、機能計測処理については、図２９のフローチャートを参照して、詳細を後述する。
　ステップＳ３９において、可視化ユニット１０４は、カラーマップ１５１を利用して、各種の不可視２次元データをカラーマッピングすることによりカラーマップ画像を生成して、画像合成部１８２、および記録部１８３に出力する。
　可視化ユニット１０４は、カラーマップ１５１を利用して、NDVIやPRI、および光合成速度や環境ストレス応答等の不可視２次元データよりカラーマップ画像を生成する。
　ステップＳ４０において、統計分析ユニット１０５の統計分析部１６１は、不可視２次元データを統計処理し、処理結果を分析値として画像合成部１８２、および記録部１８３に出力すると共に、グラフ生成部１６２に出力する。グラフ生成部１６２は、統計分析部１６１より供給される統計分析結果に基づいてグラフを生成して、RGB画像群として画像合成部１８２、および記録部１８３に出力する。
　例えば、統計分析部１６１は、葉面光強度PAR-PRIを統計分析し、グラフ生成部１６２が、統計分析結果に基づいて、図２０乃至図２２を参照して説明した、葉面光強度PAR-PRIの散布図、ヒートマップ、および箱ひげグラフ等を生成する。
　尚、このとき、認識プロセッシングユニット１０６は、個体識別部１７１、状態識別部１７２、および白板識別部１７３を制御して、個体識別処理、状態識別処理、および白板識別処理を実行させて、それぞれの識別結果をシステム制御ユニット１０７の画像合成部１８２、および記録部１８３、並びにカメラ制御ユニット１０８のカメラ制御フロントエンド１９１に出力する。
　ステップＳ４１において、画像合成部１８２は、RGB画像、カラーマップ画像、およびグラフ画像、並びに、統計分析部１６１の分析値を合成し、合成画像を生成して画像出力部１８１に出力する。
　例えば、画像合成部１８２は、PRIのカラーマップ画像や、NDVIのカラーマップ画像を、RGB画像上に重畳して合成画像を生成する。
　また、画像合成部１８２は、例えば、PRIやNDVIのカラーマップ画像に基づいて、所定値よりも高い領域または低い領域の情報のみを抽出して、RGB画像から対応する領域の画像のみを抽出し、その他の領域については、所定の画素値でマスキングする画像を生成する。
　さらに、画像合成部１８２は、例えば、RGB画像やカラーマップ画像を用いた合成画像に、さらに、グラフ画像や分析値を加えて合成する。
　また、画像合成部１８２は、植生指数や光合成速度および環境ストレス応答の値に基づいて、所定値よりも高い領域、または、低い領域について、RGB画像やカラーマップ画像上において、枠を表示するなどして、強調表示を含めた合成画像を生成する。
　ステップＳ４２において、画像出力部１８１は、合成画像をLCD４２に表示させる。すなわち、ここまでの一連の処理により、撮像装置３１の光学ブロック１０１が向けられた方向の撮像領域における、各種の植生指数や光合成速度および環境ストレス応答に基づいたカラーマップ画像や統計分析結果等がLCD４２上にライブビュー表示されることになる。
　ステップＳ４３において、タッチパネル１１１やキー４３等が操作されることにより、シャッタ操作がなされたか否かが判定される。
　ステップＳ４３において、タッチパネル１１１やキー４３等が操作されることにより、シャッタ操作がなされたと判定された場合、処理は、ステップＳ４４に進む。
　ステップＳ４４において、入力部１８５は、シャッタ操作がなされたことをカメラ制御フロントエンド１９１に通知する。この通知に基づいて、カメラ制御フロントエンド１９１は、AE制御部１９２、およびAF制御部１９４に対して撮像を指示する。
　この指示に基づいて、AF制御部１９４は、Driver１９５を制御することで、レンズ１２１を駆動させて焦点を調整する。また、AE制御部１９２は、Driver１９３を制御してシャッタ１２３の開放または閉塞を制御して、イメージセンサ１２４により画像を撮像させる。
　この後、上述した一連の処理により、記録部１８３は、分光アプリケーションユニット１０３、可視化ユニット１０４、統計分析ユニット１０５、および認識プロセッシングユニット１０６のそれぞれより供給される分析値群やRGB画像群等を記録装置１１２に記録させる、または、通信装置１１３を介して、図示せぬ外部装置に送信する。
　尚、ステップＳ４３において、タッチパネル１１１やキー４３等が操作されず、シャッタ操作がなされていないと判定された場合、ステップＳ４４の処理はスキップされて、処理は、ステップＳ４５に進む。
　ステップＳ４５において、電源がオフにされるなど、動作の終了が指示されたか否かが判定され、終了が指示されない場合、処理は、ステップＳ３１に戻る。すなわち、終了が指示されるまで、ステップＳ３１乃至Ｓ４５の処理が繰り返され、ライブビュー表示が継続される。
　そして、ステップＳ４５において、電源がオフにされるなど、動作の終了が指示されると処理は終了する。
　以上の一連の処理が繰り返されることにより、撮像装置３１の光学ブロック１０１が向けられた視野内における撮像領域の、各種の植生指数や光合成速度および環境ストレス応答に基づいたRGB画像、カラーマップ画像や統計分析結果のグラフ画像等が合成された合成画像がLCD４２上にライブビュー表示される。
　これにより、ユーザはLCD４２に表示される画像を視認するのみで、従来は不可視な情報とされた各種の植生指数や光合成速度および環境ストレス応答とがカラーマップ画像として可視化情報とされることにより、撮像対象を植生指数や光合成速度および環境ストレス応答に基づいて、適切に選択し、適切な露光調整と、適切なフォーカス調整をした上で撮像することが可能となる。
　＜光源分光算出処理＞
　次に、図２７のフローチャートを参照して、光源分光算出処理について説明する。
　ステップＳ７１において、光源分光算出部１４２は、光源分光取得処理を実行し、光源分光を取得する。
　尚、光源分光取得処理については、図２８のフローチャートを参照して、詳細を後述する。
　ステップＳ７２において、光源分光算出部１４２は、光源分光取得処理により光源分光を取得できたか否かを判定する。
　ステップＳ７２において、取得できたと判定された場合、処理は、ステップＳ７３に進む。
　ステップＳ７３において、光源分光算出部１４２は、取得した光源分光を分光反射率算出部１４１に出力し、処理は、ステップＳ７９に進む。
　ステップＳ７２において、光源分光が取得できなかったと判定された場合、処理は、ステップＳ７４に進む。
　ステップＳ７４において、光源分光算出部１４２は、外部センサ入力部１８４を介して、光源分光を外部センサデータとして取得することができるか否かを判定する。
　ステップＳ７４において、外部センサデータとして光源分光を取得できると判定された場合、処理は、ステップＳ７５に進む。
　ステップＳ７５において、光源分光算出部１４２は、外部センサデータとして取得した光源分光を分光反射率算出部１４１に出力し、処理は、ステップＳ７９に進む。
　ステップＳ７４において、外部センサデータとして光源分光を取得できないと判定された場合、処理は、ステップＳ７６に進む。
　ステップＳ７６において、光源分光算出部１４２は、光源分光の前回取得データを、記憶しているか否かを判定する。
　ステップＳ７６において、光源分光の前回取得データが記憶されていると判定された場合、処理は、ステップＳ７７に進む。
　ステップＳ７７において、光源分光算出部１４２は、光源分光の前回取得データを、取得した光源分光として分光反射率算出部１４１に出力し、処理は、ステップＳ７９に進む。
　ステップＳ７６において、光源分光の前回取得データが記憶されていないと判定された場合、処理は、ステップＳ７８に進む。
　ステップＳ７８において、光源分光算出部１４２は、代表的な光源分光を、取得した光源分光として分光反射率算出部１４１に出力し、処理は、ステップＳ７９に進む。
　ステップＳ７９において、光源分光算出部１４２は、取得した光源分光を、次回以降における前回取得データとして記憶し、処理を終了する。
　以上の処理により、光源分光が取得されて、分光反射率算出部１４１に供給される。
　＜光源分光取得処理＞
　次に、図２８のフローチャートを参照して、光源分光取得処理について説明する。
　ステップＳ９１において、光源分光算出部１４２は、標準拡散反射板の分光反射率を設定する。
　光源分光算出部１４２は、例えば、波長によらず反射率が一定である反射板の場合は、その反射率を設定するものとし、波長毎に反射率が異なり、反射率データが既知の反射板の場合は、既知の反射率データを読み込む。
　ステップＳ９２において、光源分光算出部１４２は、光源分光を推定し、標準拡散反射板の分光照射輝度を推定する。
　ステップＳ９３において、白板識別部１７３は、RGB画像より、推定された標準拡散反射板の分光放射輝度に近い領域を、標準拡散反射板（白板）の位置として検索する。
　ステップＳ９４において、光源分光算出部１４２は、白板識別部１７３により、標準拡散反射板（白板）の位置が検索されたか否かを判定する。
　ステップＳ９４において、白板識別部１７３により、標準拡散反射板（白板）の位置が検索されたと判定された場合、処理は、ステップＳ９６に進む。
　ステップＳ９６において、光源分光算出部１４２は、白板識別部１７３より検索された標準拡散反射板（白板）の位置の情報を取得し、分光放射輝度から、設定された標準拡散反射板の分光反射率を用いて、光源分光を算出し、取得結果として出力する。
　また、ステップＳ９４において、白板識別部１７３により、標準拡散反射板（白板）の位置が検索されなかったと判定された場合、処理は、ステップＳ９５に進む。
　ステップＳ９５において、光源分光算出部１４２は、タッチパネル１１１がユーザにより操作されて、標準拡散反射板の位置が、検索結果として指定され、入力部１８５を介して供給されているか否かを判定する。
　ステップＳ９５において、タッチパネル１１１がユーザにより操作されて、標準拡散反射板の位置が、検索結果として指定され、入力部１８５を介して供給されていると判定された場合、処理は、ステップＳ９６に進む。
　すなわち、この場合、光源分光算出部１４２は、タッチパネル１１１がユーザにより操作されて、入力された標準拡散反射板の位置の情報を、白板識別部１７３より検索された標準拡散反射板（白板）の位置の情報として取得し、分光放射輝度から、設定された標準拡散反射板の分光反射率を用いて、光源分光を算出し、取得結果として出力する。
　ステップＳ９５において、タッチパネル１１１がユーザにより操作されて、標準拡散反射板の位置が、検索結果として指定されず、入力部１８５を介して供給されていないと判定された場合、処理は、ステップＳ９７に進む。
　ステップＳ９７において、光源分光算出部１４２は、光源分光が取得できないことを示す情報を出力する。
　以上の処理により、光源分光を取得する処理がなされ、取得できる場合については算出結果が用いられ、光源分光が取得できない場合については、取得できなかったことを示す情報が出力される。
　＜機能計測処理＞
　次に、図２９のフローチャートを参照して、機能計測部１４５による機能計測処理について説明する。
　ステップＳ１１１において、プラントフィルタ２１１は、植生指数算出部１４４により算出されたNDVIおよびPRIを取得し、NDVIが所定の範囲内の値をとるPRIをフィルタリングして抽出し、葉面光強度フィルタ２１２に出力する。
　ステップＳ１１２において、葉面光強度推定部２１３は、分光放射輝度に基づいて、葉面光強度を推定し、推定結果を葉面光強度フィルタ２１２，２１６に出力する。
　ステップＳ１１３において、葉面光強度フィルタ２１２は、プラントフィルタ２１１より供給される抽出されたPRIのうち、所定の葉面光強度となるPRIをフィルタリングして抽出し、環境ストレス応答（Filtered PRI）として出力する。
　ステップＳ１１４において、クロロフィル蛍光算出部２１４は、分光放射輝度に基づいて、クロロフィル蛍光（SIF）を算出し、プラントフィルタ２１５に出力する。
　ステップＳ１１５において、プラントフィルタ２１５は、植生指数算出部１４４により算出されたNDVIと、クロロフィル蛍光算出部２１４より供給されたクロロフィル蛍光（SIF）とを取得し、NDVIが所定の範囲内の値をとるクロロフィル蛍光（SIF）をフィルタリングして抽出し、葉面光強度フィルタ２１６に出力する。
　ステップＳ１１６において、葉面光強度フィルタ２１６は、プラントフィルタ２１５より供給された、NDVIが所定の範囲内の値をとるクロロフィル蛍光（SIF）のうち、所定の葉面光強度となるクロロフィル蛍光（SIF）をフィルタリングして抽出し、光合成に関する情報である（Filtered SIF）として出力する。
　以上の処理により、分光放射輝度、PRI、およびNDVIに基づいて、光合成に関する情報（Filtered SIF）、および環境ストレス応答（Filtered PRI）が生成されて出力される。
　＜＜３．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図３０は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図３０におけるCPU１００１が、図８の分光プロセッシングユニット１０２、分光アプリケーションユニット１０３、可視化ユニット１０４、統計分析ユニット１０５、認識プロセッシングユニット１０６、およびシステム制御ユニット１０７の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　測定対象からの入射光を分光する分光ユニットと、
　前記分光ユニットの分光結果に基づいて、分光Rawデータを生成する分光フロントエンドと、
　前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出する分光反射率算出部と、
　特定の前記分光反射率に基づいて可視化画像を生成する可視化画像生成部と、
　前記可視化画像をリアルタイムで表示する表示部と
　を備える撮像装置。
＜２＞　前記特定の前記分光反射率に基づいて、前記測定対象の状態を示す状態情報を算出する状態情報算出部をさらに含み、
　前記可視化画像生成部は、前記状態情報に基づいて前記可視化画像を生成する
　＜１＞に記載の撮像装置。
＜３＞　前記分光Rawデータから分光放射輝度を算出する分光放射輝度算出部をさらに含み、
　前記状態情報算出部は、前記分光放射輝度および前記分光反射率に基づいて、前記測定対象の状態を示す前記状態情報を算出する
　＜２＞に記載の撮像装置。
＜４＞　前記分光反射率算出部は、前記分光放射輝度に基づいて、前記測定対象の前記分光反射率を算出する
　＜３＞に記載の撮像装置。
＜５＞　前記分光ユニットは、可視光および近赤外光を含む、少なくとも４種類以上の波長帯域に前記入射光を分光する
　＜１＞乃至＜４＞のいずれかに記載の撮像装置。
＜６＞　前記分光ユニットは、回折格子を用いた分光方式（CTIS：Computed Tomography Imaging Spectrometer）、表面プラズモン共鳴方式、フーリエ分光方式、ファブリペロー方式、および多眼バンドパスフィルタ方式である
　＜１＞乃至＜５＞のいずれかに記載の撮像装置。
＜７＞　前記状態情報は、前記測定対象となる植物の植生指数と、前記植物の形質および環境応答との少なくともいずれかを含む
　＜２＞に記載の撮像装置。
＜８＞　前記植生指数は、前記測定対象となる前記植物のNDVI（Normalized Difference Vegetation Index）およびPRI（Photochemical Reflectance Index）の少なくともいずれかを含む
　＜７＞に記載の撮像装置。
＜９＞　前記植物の前記形質および前記環境応答は、前記測定対象となる前記植物の光合成に関する情報および環境ストレス応答の少なくともいずれかを含む
　＜７＞に記載の撮像装置。
＜１０＞　前記状態情報は、前記測定対象となる、コンクリートの劣化の状態を示す情報である
　＜２＞に記載の撮像装置。
＜１１＞　前記状態情報算出部は、２次元データからなる前記状態情報を生成し、
　前記可視化画像生成部は、前記２次元データからなる前記状態情報の値に応じた、カラーマッピングを施すことにより前記可視化画像として、カラーマップ画像を生成する
　＜３＞に記載の撮像装置。
＜１２＞　前記分光反射率に基づいて、RGB画像を生成するRGB画像生成部と、
　前記RGB画像と、前記カラーマップ画像とを合成して合成画像を生成する画像合成部をさらに含み、
　前記表示部は、前記可視化画像として、前記合成画像を表示する
　＜１１＞に記載の撮像装置。
＜１３＞　前記画像合成部は、前記２次元データからなる前記状態情報に基づいて、所定値よりも大きい領域、または、前記所定値よりも小さい領域の前記カラーマップ画像を、前記RGB画像上に重畳して合成し、前記合成画像を生成する
　＜１２＞に記載の撮像装置。
＜１４＞　前記画像合成部は、前記２次元データからなる前記状態情報に基づいて、所定値よりも大きい領域、または、前記所定値よりも小さい領域の、前記RGB画像と、前記領域以外の領域をマスキングするマスキング画像とを合成し、前記合成画像を生成する
　＜１２＞に記載の撮像装置。
＜１５＞　前記画像合成部は、前記２次元データからなる前記状態情報に基づいて、所定値よりも大きい領域、または、前記所定値よりも小さい領域を、前記RGB画像上において強調表示する前記合成画像を生成する
　＜１２＞に記載の撮像装置。
＜１６＞　前記２次元データからなる前記状態情報に基づいて、前記測定対象となる植物の状態を識別する状態識別部をさらに含み、
　前記画像合成部は、前記状態識別部の状態識別結果に基づいて、前記所定値よりも大きい領域、または、前記所定値よりも小さい領域を、前記RGB画像上において強調表示する前記合成画像を生成する
　＜１５＞に記載の撮像装置。
＜１７＞　前記状態識別部は、前記２次元データからなる前記状態情報のうち、前記RGB画像、または、前記カラーマップ画像に基づいた画像認識処理により特定の認識領域について、前記測定対象となる前記植物の状態を識別する
　＜１６＞に記載の撮像装置。
＜１８＞　前記RGB画像、前記カラーマップ画像、および前記２次元データからなる前記状態情報に含まれる、前記測定対象となる植物の個体を識別する個体識別部をさらに含む
　＜１２＞に記載の撮像装置。
＜１９＞　前記個体識別部は、前記RGB画像を用いた画像認識処理、前記RGB画像内の２次元バーコード、GIS（Geographic Information System）情報、または、手動入力のいずれかに基づいて、前記植物の前記個体のそれぞれに識別子を付与することで、前記測定対象となる前記植物の前記個体を識別する
　＜１８＞に記載の撮像装置。
＜２０＞　前記RGB画像、前記カラーマップ画像、および前記２次元データからなる前記状態情報は、それらに含まれる前記測定対象となる前記植物の前記個体を識別する前記識別子を画像付属データとして含む、前記識別子毎に異なるフォルダに分類して記録装置に記録される、または、前記識別子毎に異なる転送先に転送される
　＜１９＞に記載の撮像装置。
＜２１＞　前記２次元データからなる前記状態情報を統計分析する統計分析部をさらに含み、
　前記画像合成部は、前記統計分析部による統計分析結果である分析値を含めた前記合成画像を生成する
　＜１２＞に記載の撮像装置。
＜２２＞　前記統計分析結果に基づいて、グラフを生成し、グラフ画像として出力するグラフ生成部をさらに含み、
　前記画像合成部は、前記グラフ画像を含む前記合成画像を生成する
　＜２１＞に記載の撮像装置。
＜２３＞　前記RGB画像、および前記カラーマップ画像、並びに前記合成画像上にROI（Region of Interest）領域の入力を受け付ける入力部をさらに含み、
　前記統計分析部は、前記RGB画像、および前記カラーマップ画像、並びに前記合成画像上に入力された前記ROI領域の、前記２次元データからなる前記状態情報を統計分析する
　＜２１＞に記載の撮像装置。
＜２４＞　測定対象からの入射光を分光し、
　前記入射光の分光結果に基づいて、分光Rawデータを生成し、
　前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出し、
　特定の前記分光反射率に基づいて可視化画像を生成し、
　前記可視化画像をリアルタイムで表示する
　ステップを含む撮像装置の作動方法。
＜２５＞　測定対象からの入射光を分光する分光ユニットと、
　前記分光ユニットの分光結果に基づいて、分光Rawデータを生成する分光フロントエンドと、
　前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出する分光反射率算出部と、
　特定の前記分光反射率に基づいて可視化画像を生成する可視化画像生成部と、
　前記可視化画像をリアルタイムで表示する表示部と
　してコンピュータを動作させるプログラム。
　３１　撮像装置，　４１　レンズユニット，　４２　LCD，　４３　キー，　１０１　光学ブロック，　１０２　分光プロセッシングユニット，　１０３　分光アプリケーションユニット，　１０４　可視化ユニット，　１０５　統計分析ユニット，　１０６　認識プロセッシングユニット，　１０７　システム制御ユニット，　１０８　カメラ制御ユニット，　１１１　タッチパネル，　１１２　記録装置，　１１３　通信装置，　１２１　レンズ，　１２２　分光ユニット，　１２３　シャッタ，　１２４　イメージセンサ，　１３１　分光フロントエンド，　１３２　分光放射輝度算出部，　１４１　分光反射率算出部，　１４２　光源分光算出部，　１４３　RGB現像部，　１４４　植生指数算出部，　１４５　機能計測部，　１５１　カラーマップ，　１６１　統計分析部，　１６２　グラフ生成部，　１７１　個体識別部，　１７２　状態識別部，　１７３　白板識別部，　１８１　画像出力部，　１８２　画像合成部，　１８３　記録部（Codec・圧縮・ファイル管理），　１８４　外部センサ入力部，　１８５　入力部，　１９１　カメラ制御フロントエンド，　１９２　AE制御部，　１９３　Driver，　１９４　AF制御部，　１９５　Driver，　２１１　プラントフィルタ，　２１２　葉面光強度フィルタ，　２１３　葉面光強度推定部，　２１４　クロロフィル蛍光算出部，　２１５　プラントフィルタ，　２１６　葉面光強度フィルタ

Claims (25)

  1. 　測定対象からの入射光を分光する分光ユニットと、
    　前記分光ユニットの分光結果に基づいて、分光Rawデータを生成する分光フロントエンドと、
    　前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出する分光反射率算出部と、
    　特定の前記分光反射率に基づいて可視化画像を生成する可視化画像生成部と、
    　前記可視化画像をリアルタイムで表示する表示部と
    　を備える撮像装置。
  2. 　前記特定の前記分光反射率に基づいて、前記測定対象の状態を示す状態情報を算出する状態情報算出部をさらに含み、
    　前記可視化画像生成部は、前記状態情報に基づいて前記可視化画像を生成する
    　請求項１に記載の撮像装置。
  3. 　前記分光Rawデータから分光放射輝度を算出する分光放射輝度算出部をさらに含み、
    　前記状態情報算出部は、前記分光放射輝度および前記分光反射率に基づいて、前記測定対象の状態を示す前記状態情報を算出する
    　請求項２に記載の撮像装置。
  4. 　前記分光反射率算出部は、前記分光放射輝度に基づいて、前記測定対象の前記分光反射率を算出する
    　請求項３に記載の撮像装置。
  5. 　前記分光ユニットは、可視光および近赤外光を含む、少なくとも４種類以上の波長帯域に前記入射光を分光する
    　請求項１に記載の撮像装置。
  6. 　前記分光ユニットは、回折格子を用いた分光方式（CTIS：Computed Tomography Imaging Spectrometer）、表面プラズモン共鳴方式、フーリエ分光方式、ファブリペロー方式、および多眼バンドパスフィルタ方式である
    　請求項１に記載の撮像装置。
  7. 　前記状態情報は、前記測定対象となる植物の植生指数と、前記植物の形質および環境応答との少なくともいずれかを含む
    　請求項２に記載の撮像装置。
  8. 　前記植生指数は、前記測定対象となる前記植物のNDVI（Normalized Difference Vegetation Index）およびPRI（Photochemical Reflectance Index）の少なくともいずれかを含む
    　請求項７に記載の撮像装置。
  9. 　前記植物の前記形質および前記環境応答は、前記測定対象となる前記植物の光合成に関する情報および環境ストレス応答の少なくともいずれかを含む
    　請求項７に記載の撮像装置。
  10. 　前記状態情報は、前記測定対象となる、コンクリートの劣化の状態を示す情報である
    　請求項２に記載の撮像装置。
  11. 　前記状態情報算出部は、２次元データからなる前記状態情報を生成し、
    　前記可視化画像生成部は、前記２次元データからなる前記状態情報の値に応じた、カラーマッピングを施すことにより前記可視化画像として、カラーマップ画像を生成する
    　請求項３に記載の撮像装置。
  12. 　前記分光反射率に基づいて、RGB画像を生成するRGB画像生成部と、
    　前記RGB画像と、前記カラーマップ画像とを合成して合成画像を生成する画像合成部をさらに含み、
    　前記表示部は、前記可視化画像として、前記合成画像を表示する
    　請求項１１に記載の撮像装置。
  13. 　前記画像合成部は、前記２次元データからなる前記状態情報に基づいて、所定値よりも大きい領域、または、前記所定値よりも小さい領域の前記カラーマップ画像を、前記RGB画像上に重畳して合成し、前記合成画像を生成する
    　請求項１２に記載の撮像装置。
  14. 　前記画像合成部は、前記２次元データからなる前記状態情報に基づいて、所定値よりも大きい領域、または、前記所定値よりも小さい領域の、前記RGB画像と、前記領域以外の領域をマスキングするマスキング画像とを合成し、前記合成画像を生成する
    　請求項１２に記載の撮像装置。
  15. 　前記画像合成部は、前記２次元データからなる前記状態情報に基づいて、所定値よりも大きい領域、または、前記所定値よりも小さい領域を、前記RGB画像上において強調表示する前記合成画像を生成する
    　請求項１２に記載の撮像装置。
  16. 　前記２次元データからなる前記状態情報に基づいて、前記測定対象となる植物の状態を識別する状態識別部をさらに含み、
    　前記画像合成部は、前記状態識別部の状態識別結果に基づいて、前記所定値よりも大きい領域、または、前記所定値よりも小さい領域を、前記RGB画像上において強調表示する前記合成画像を生成する
    　請求項１５に記載の撮像装置。
  17. 　前記状態識別部は、前記２次元データからなる前記状態情報のうち、前記RGB画像、または、前記カラーマップ画像に基づいた画像認識処理により特定の認識領域について、前記測定対象となる前記植物の状態を識別する
    　請求項１６に記載の撮像装置。
  18. 　前記RGB画像、前記カラーマップ画像、および前記２次元データからなる前記状態情報に含まれる、前記測定対象となる植物の個体を識別する個体識別部をさらに含む
    　請求項１２に記載の撮像装置。
  19. 　前記個体識別部は、前記RGB画像を用いた画像認識処理、前記RGB画像内の２次元バーコード、GIS（Geographic Information System）情報、または、手動入力のいずれかに基づいて、前記植物の前記個体のそれぞれに識別子を付与することで、前記測定対象となる前記植物の前記個体を識別する
    　請求項１８に記載の撮像装置。
  20. 　前記RGB画像、前記カラーマップ画像、および前記２次元データからなる前記状態情報は、それらに含まれる前記測定対象となる前記植物の前記個体を識別する前記識別子を画像付属データとして含む、前記識別子毎に異なるフォルダに分類して記録装置に記録される、または、前記識別子毎に異なる転送先に転送される
    　請求項１９に記載の撮像装置。
  21. 　前記２次元データからなる前記状態情報を統計分析する統計分析部をさらに含み、
    　前記画像合成部は、前記統計分析部による統計分析結果である分析値を含めた前記合成画像を生成する
    　請求項１２に記載の撮像装置。
  22. 　前記統計分析結果に基づいて、グラフを生成し、グラフ画像として出力するグラフ生成部をさらに含み、
    　前記画像合成部は、前記グラフ画像を含む前記合成画像を生成する
    　請求項２１に記載の撮像装置。
  23. 　前記RGB画像、および前記カラーマップ画像、並びに前記合成画像上にROI（Region of Interest）領域の入力を受け付ける入力部をさらに含み、
    　前記統計分析部は、前記RGB画像、および前記カラーマップ画像、並びに前記合成画像上に入力された前記ROI領域の、前記２次元データからなる前記状態情報を統計分析する
    　請求項２１に記載の撮像装置。
  24. 　測定対象からの入射光を分光し、
    　前記入射光の分光結果に基づいて、分光Rawデータを生成し、
    　前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出し、
    　特定の前記分光反射率に基づいて可視化画像を生成し、
    　前記可視化画像をリアルタイムで表示する
    　ステップを含む撮像装置の作動方法。
  25. 　測定対象からの入射光を分光する分光ユニットと、
    　前記分光ユニットの分光結果に基づいて、分光Rawデータを生成する分光フロントエンドと、
    　前記分光Rawデータに基づいて、前記測定対象の分光反射率を算出する分光反射率算出部と、
    　特定の前記分光反射率に基づいて可視化画像を生成する可視化画像生成部と、
    　前記可視化画像をリアルタイムで表示する表示部と
    　してコンピュータを動作させるプログラム。
PCT/JP2023/018380 2022-06-03 2023-05-17 撮像装置、および撮像装置の作動方法、並びにプログラム WO2023234020A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022090701 2022-06-03
JP2022-090701 2022-06-03

Publications (1)

Publication Number Publication Date
WO2023234020A1 true WO2023234020A1 (ja) 2023-12-07

Family

ID=89026598

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018380 WO2023234020A1 (ja) 2022-06-03 2023-05-17 撮像装置、および撮像装置の作動方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2023234020A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016009752A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー 情報処理装置、制御信号の生産方法、情報処理システム、プログラム
WO2016152900A1 (ja) * 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016009752A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー 情報処理装置、制御信号の生産方法、情報処理システム、プログラム
WO2016152900A1 (ja) * 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURAHASHI YOICHI: "Evaluation of Trees Vitality Using a Spectroradiometer", 20 April 2019 (2019-04-20), XP093115906, Retrieved from the Internet <URL:https://web.archive.org/web/20190420142156if_/http://www.aichi-inst.jp/sangyou/research/report/center_2001_02.pdf> *

Similar Documents

Publication Publication Date Title
Liu et al. Estimating leaf area index using unmanned aerial vehicle data: shallow vs. deep machine learning algorithms
Oh et al. Do it yourself hyperspectral imaging with everyday digital cameras
CN105102945B (zh) 多光谱成像系统和方法
US9274046B2 (en) System and method for gross anatomic pathology using hyperspectral imaging
US7936377B2 (en) Method and system for optimizing an image for improved analysis of material and illumination image features
Stamford et al. Development of an accurate low cost NDVI imaging system for assessing plant health
US6771798B1 (en) Hyperspectral visualization extensible workbench
TWI696924B (zh) 情報探索資料搜尋系統及程式
US8289513B2 (en) System and method for component discrimination enhancement based on multispectral addition imaging
Rabatel et al. Getting NDVI spectral bands from a single standard RGB digital camera: a methodological approach
JP7415347B2 (ja) 情報処理装置、情報処理方法、プログラム、センシングシステム
US12087031B2 (en) Method and device for analyzing plants
WO2021084907A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN109564155A (zh) 信号处理装置，信号处理方法及程序
US9998636B2 (en) Method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images
AU2021204034B2 (en) Information processing device, information processing method and program
CN111226261A (zh) 信息处理装置、信息处理方法、程序以及信息处理系统
US20200065582A1 (en) Active hyperspectral imaging with a laser illuminator and without dispersion
CN115032196A (zh) 一种全划片高通量彩色病理成像分析仪器及方法
CA3026633C (en) Information search system, information search method, and information search program
WO2023234020A1 (ja) 撮像装置、および撮像装置の作動方法、並びにプログラム
Noble et al. The use of spectral properties for weed detection and identification-a review
Schwalbe et al. Profile based sub-pixel-classification of hemispherical images for solar radiation analysis in forest ecosystems
JP2021001777A (ja) 植物の生育状態評価方法および評価装置
Mahajan et al. Brass Board Forensic Crime Scene Survey Camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23815779

Country of ref document: EP

Kind code of ref document: A1