WO2019159565A1 - 情報管理装置、端末、情報管理システムおよびプログラム - Google Patents

情報管理装置、端末、情報管理システムおよびプログラム Download PDF

Info

Publication number
WO2019159565A1
WO2019159565A1 PCT/JP2019/000209 JP2019000209W WO2019159565A1 WO 2019159565 A1 WO2019159565 A1 WO 2019159565A1 JP 2019000209 W JP2019000209 W JP 2019000209W WO 2019159565 A1 WO2019159565 A1 WO 2019159565A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information management
terminal
spectrum
base
Prior art date
Application number
PCT/JP2019/000209
Other languages
English (en)
French (fr)
Inventor
健太郎 彦坂
潤弥 萩原
洋志 榊原
清茂 芝崎
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2020500321A priority Critical patent/JPWO2019159565A1/ja
Publication of WO2019159565A1 publication Critical patent/WO2019159565A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration

Definitions

  • the present invention relates to an information management device, a terminal, an information management system, and a program.
  • Patent Document 1 JP 2010-122080 A
  • an information management apparatus for managing information on an object.
  • the information management apparatus is classified into one or a plurality of categories, and a base storage unit that stores base data related to the spectrum of the target object, a data acquisition unit that acquires spectrum measurement data of the target object and information related to the category, and data acquisition A base update unit that updates the base data stored in the base storage unit based on the data acquired by the unit.
  • a terminal connectable with the information management apparatus is provided.
  • the terminal generates a spectral image of the object based on the image acquisition unit that acquires the captured image obtained by capturing the target object, the terminal-side data acquisition unit that acquires the base data from the information management device, and the captured image and the base data
  • An image generation unit is provided.
  • a terminal connectable with the information management apparatus acquires information related to the spectrum of the object from the image acquisition unit that acquires the captured image obtained by capturing the object, the terminal-side data transmission unit that transmits the captured image to the information management device, and the information management device.
  • a terminal-side data acquisition unit acquires information related to the spectrum of the object from the image acquisition unit that acquires the captured image obtained by capturing the object, the terminal-side data transmission unit that transmits the captured image to the information management device, and the information management device.
  • an information management system including an information management apparatus according to any aspect and a terminal according to any aspect is provided.
  • a program for causing a computer to function as an information management device or a terminal is provided.
  • FIG. 2 is a block diagram illustrating an example of an image generation device 207.
  • FIG. It is a figure which shows an example of the captured image.
  • 3 is a diagram illustrating an example of a basis function 22.
  • FIG. It is a figure which shows an example of the spectrum coefficient.
  • 6 is a diagram illustrating an example of characteristics of a virtual spectral filter 32.
  • FIG. 5 is a diagram illustrating an example of a spectral function 36.
  • FIG. 6 is a flowchart illustrating an operation example of the image generation device 207.
  • 6 is a diagram illustrating another example of the image generation device 207.
  • FIG. It is a figure which shows an example of the spectrum image 806.
  • FIG. 10 illustrates an example computer 1200 in which aspects of the present invention may be embodied in whole or in part.
  • FIG. 1 is a block diagram showing an example of an information management system 250 according to an embodiment of the present invention.
  • the information management system 250 includes a terminal 200 and an information management apparatus 100.
  • the terminal 200 is a computer managed by a user or the like.
  • the information management apparatus 100 is a server connected to one or a plurality of terminals 200 via the network 252.
  • the network 252 may be the Internet or a local network.
  • the information management apparatus 100 manages information on the object.
  • An object is an object whose image is captured by a user or the like, for example.
  • the object information includes an image of the object, a spectrum of the object, and the like.
  • the object is a fruit such as an apple or a mandarin orange, and the information on the object is an image and spectrum obtained by imaging the object.
  • the object may be a crop other than fruits, meat, processed food, or a living body or tissue thereof.
  • the information management device 100 includes a management device-side data transmission unit 102, a management device-side data acquisition unit 104, a base update unit 106, and a base storage unit 108.
  • the management apparatus side data transmission unit 102 transmits data to each terminal 200 via the network 252.
  • the management apparatus side data acquisition unit 104 acquires data from each terminal 200 via the network 252.
  • the base storage unit 108 stores base data related to the spectrum of the object.
  • the basis data includes a plurality of basis functions described later.
  • the base storage unit 108 stores the base data by classifying it into one or more categories.
  • the basis function included in the basis data is calculated by acquiring a plurality of spectrum data for each target object 300 (see FIG. 3 and the like) belonging to the category and statistically processing these data by principal component analysis or the like. .
  • the category corresponds to the category of the object. By estimating the spectrum of the object using the base data of the corresponding category, the spectrum can be estimated with higher accuracy.
  • a kind of fruit such as an apple or a mandarin orange can be used.
  • the category of the object 300 may be classified by a plurality of items (harvest time, cultivation method, components, etc.) from different viewpoints and a hierarchical structure (variety, production area, producer, etc.).
  • the base acquisition unit 20 described later may acquire base data corresponding to a category specified by the user.
  • the management device-side data acquisition unit 104 acquires the spectrum measurement data of the object and information related to the category of the object.
  • the spectrum measurement data is spectrum data such as spectral reflectance obtained by measuring the surface of an object, for example.
  • the spectrum measurement data may include spectrum data including a band of basis functions to be calculated.
  • the management device side data acquisition unit 104 acquires information from a plurality of terminals 200.
  • the base update unit 106 updates the base data stored in the base storage unit 108 based on the spectrum measurement data and category information acquired by the management apparatus side data acquisition unit 104. For example, the base update unit 106 stores spectrum measurement data used to calculate the base data currently stored in the base storage unit 108. The base updating unit 106 may generate new base data by adding newly acquired spectrum measurement data to the stored spectrum measurement data. The basis update unit 106 generates a basis function that can minimize the error between the linear sum of basis functions included in the basis data and each spectrum measurement data. The basis update unit 106 may decompose the collected spectrum measurement data into a plurality of basis functions by a method such as principal component analysis. The basis update unit 106 may change the number of basis functions included in the basis data.
  • the base update unit 106 may update the base data every time the spectrum measurement data is acquired, accumulate the spectrum measurement data acquired during a certain period, and update the base data every period. . When adding new spectrum measurement data, the base update unit 106 may discard part of the existing spectrum measurement data.
  • the base update unit 106 may classify the spectrum measurement data according to the time when the data was measured. For example, the base update unit 106 classifies the spectrum measurement data for each month. In this case, the base storage unit 108 may store the base data every time the spectrum measurement data is measured. Thereby, appropriate base data can be managed for an object whose state or color changes depending on time, such as an agricultural product.
  • the base update unit 106 may classify the spectrum measurement data by parameters other than the time. For example, it can be classified by parameters such as the location (latitude, longitude, etc.), temperature, humidity, etc. where the spectrum measurement data was measured. These environmental parameters are preferably attached to the spectrum measurement data.
  • the base update unit 106 may classify the spectrum measurement data according to light space data described later.
  • the terminal 200-1 includes a terminal-side data transmission unit 202, a terminal-side data acquisition unit 204, and a spectrum acquisition unit 206.
  • the terminal-side data acquisition unit 204 acquires data from the information management apparatus 100 via the network 252.
  • the terminal-side data transmission unit 202 transmits data to the information management apparatus 100 via the network 252.
  • the spectrum acquisition unit 206 acquires spectrum measurement data of the object.
  • the spectrum measurement data can be measured with, for example, a spectrometer.
  • the spectroscopic measuring device may be provided in an inspection line for crops and the like.
  • the terminal-side data transmission unit 202 transmits the spectrum measurement data acquired by the spectrum acquisition unit 206 to the information management apparatus 100 with the category information of the object.
  • the terminal-side data transmission unit 202 may transmit the light space data indicating the light space of the illumination to the object at the time of measuring the spectrum measurement data, with the spectrum measurement data being transmitted.
  • the management apparatus side data transmission unit 102 may transmit information based on the base data stored in the base storage unit 108 to the terminal 200. As a result, the terminal 200 can accurately estimate the spectrum of the object using a highly accurate basis function.
  • the information management apparatus 100 transmits a basis function to the terminal 200-2.
  • the terminal 200-2 includes an image generation device 207. Note that the same terminal 200 may be provided with the spectrum acquisition unit 206 and the image generation device 207.
  • the terminal-side data transmission unit 202 of the terminal 200-2 designates the category to which the object belongs and requests the base data from the information management apparatus 100.
  • the terminal-side data transmission unit 202 may further specify parameters such as time associated with the base data.
  • the management apparatus-side data transmission unit 102 extracts the base data of the designated category from the base data stored in the base storage unit 108 and transmits it to the terminal 200-2.
  • the image generation device 207 generates a spectral image of the object based on the base data acquired by the terminal-side data acquisition unit 204.
  • FIG. 2 is a block diagram illustrating an example of the image generation apparatus 207.
  • the structure of the image generation device 207 is not limited to this example.
  • the image generation apparatus 207 of this example includes an image acquisition unit 10, a base acquisition unit 20, a function setting unit 30, a spectral coefficient calculation unit 40, and an image generation unit 50.
  • the image acquisition unit 10 acquires captured image data obtained by imaging at least a part of the object.
  • the captured image may be a two-dimensional image.
  • An imaging device that captures captured image data has sensitivity in a predetermined wavelength band.
  • the imaging device may be sensitive to light having a wavelength in the visible band, and may be sensitive to light having a wavelength outside the visible band.
  • the imaging device may acquire a still image of the object or a moving image.
  • the image generation device 207 generates a spectral image when any spectral characteristic is applied to the target based on the captured image data acquired from the imaging device.
  • a spectral image By adjusting the spectral characteristics, for example, it is possible to generate a spectral image when the characteristics of the illumination light irradiated on the object or the characteristics of the spectral filter of the imaging device are changed.
  • the captured image data includes the values of each pixel at a plurality of wavelengths.
  • the captured image data includes values of each pixel at wavelengths corresponding to three colors of red, blue, and green.
  • the captured image data may include values of each pixel at three wavelengths in the infrared band.
  • the spectrum indicates the intensity distribution for each wavelength of light, but the wavelength resolution is higher than a predetermined threshold. For example, when the wavelength resolution (wavelength interval between images) of captured image data captured multiple times at different wavelengths (or wavelength bands) is set as a threshold, the spectrum is more than the wavelength resolution (multiple wavelength intervals) of the captured image data It shall have high resolution. In this example, since the captured image data includes values at three wavelengths, the spectrum includes values at at least four wavelengths.
  • the wavelength resolution of the spectrum may be 10 nm or less, for example 1 nm.
  • the base acquisition unit 20 acquires base data related to the spectrum of the object.
  • the base data received by the terminal-side data acquisition unit 204 from the information management apparatus 100 is input to the base acquisition unit 20.
  • the basis data includes data of a plurality of basis functions.
  • An arbitrary spectrum can be expressed by multiplying each basis function by a predetermined weighting coefficient and adding the result. As the number of basis functions included in the basis data increases, the error with respect to an arbitrary spectrum can be reduced.
  • the base acquisition unit 20 acquires base data corresponding to the category of the object.
  • the category of the object corresponding to the captured image data may be determined from the category information attached to the captured image data acquired from the imaging device, or the base acquisition unit 20 may determine based on the captured image data.
  • the base acquisition unit 20 can determine the category of the object by comparing the image of the object included in the captured image data with a preset template image.
  • the function setting unit 30 uses the base data acquired from the base acquisition unit 20 to set a spectral function for generating a spectral image through a virtual spectral filter having arbitrary spectral characteristics.
  • the spectral characteristics may be set by the user of the image generation apparatus 207 or the like.
  • the function setting unit 30 may calculate the spectral function by multiplying each basis function indicated by the basis data by the spectral characteristic.
  • the spectral coefficient calculation unit 40 calculates, from the captured image, a spectral coefficient indicating a weighting coefficient of each basis function included in the basis data for each pixel indicating the object in the captured image.
  • a spectral coefficient indicating a weighting coefficient of each basis function included in the basis data for each pixel indicating the object in the captured image.
  • an arbitrary spectrum is represented by a linear sum of a plurality of basis functions.
  • the spectral coefficient is a combination of weighting coefficients of a plurality of basis functions that can best approximate each wavelength (or color) value included in the captured image data.
  • the spectrum coefficient is determined for each pixel of the captured image.
  • the spectral coefficient may be determined for each pixel block including a plurality of pixels.
  • the image generation unit 50 generates a spectral image of the object 300 based on the spectral function set by the function setting unit 30 and the spectral coefficient calculated by the spectral coefficient calculation unit 40.
  • the spectral image is an image corresponding to spectral characteristics set by a user or the like. With such a configuration, a spectral image corresponding to an arbitrary spectral characteristic can be generated with a small amount of calculation.
  • FIG. 3 is a diagram illustrating an example of the captured image 12.
  • the image acquisition unit 10 of this example acquires three captured images 12-1, 12-2, and 12-3 corresponding to three wavelengths (or colors).
  • the captured image 12 and the wavelength (or color) have a one-to-one correspondence.
  • Each captured image 12 has a plurality of pixels arranged two-dimensionally.
  • the captured image data indicating the captured image 12 is data indicating the intensity of light of each wavelength (or color) received by the imaging device for each pixel.
  • FIG. 4 is a diagram illustrating an example of the basis function 22 included in the basis data.
  • three basis functions 22-1, 22-2, and 22-3 are shown, but the number of basis functions 22 included in the basis data is not limited to three.
  • the basis data may include more basis functions 22. 3 and 4, the number of basis functions 22 and the number of captured images 12 match, but the number of basis functions 22 and the number of captured images 12 do not have to match.
  • each basis function 22 has a different wavelength at which the maximum value or the minimum value is obtained.
  • Various spectra can be expressed by multiplying such a basis function 22 by an appropriate weighting factor and adding them.
  • the shape of each basis function 22 is similar in the long-wavelength band 23, and therefore, the reproduction accuracy may not be high for a spectrum that changes at a long wavelength.
  • the base acquisition unit 20 can acquire base data corresponding to the category of the object 300.
  • a plurality of basis functions 22 are prepared for the category “Apples from Aomori Prefecture”, and from this, basis data including at least the same number of basis functions 22 as the number of wavelengths captured in the captured image 12 is acquired. To do. Thereby, the accuracy of spectrum estimation of the object 300 can be improved.
  • FIG. 5 is a diagram illustrating an example of the spectral coefficient 42.
  • the spectrum coefficient calculation unit 40 calculates a spectrum coefficient 42 corresponding to the basis function 22 on a one-to-one basis.
  • each spectral coefficient 42 has a bit 44 corresponding to the pixel of the captured image 12 on a one-to-one basis.
  • each spectral coefficient 42 may have a bit 44 for each pixel block including a plurality of pixels of the captured image 12.
  • FIG. 5 shows a spectral coefficient image in which the respective bits 44 are two-dimensionally arranged.
  • a region 48 in FIG. 5 is a region obtained by enlarging a part of the region 46 in the spectrum coefficient image.
  • each bit 44 in each spectral coefficient 42 is a weighting coefficient of the basis function 22 corresponding to the spectral coefficient 42 for the pixel corresponding to the bit 44.
  • the value of each bit 44 is indicated by shades of hatching.
  • the spectrum coefficient calculation unit 40 may store the calculated combination of spectrum coefficients 42.
  • the spectrum coefficient calculation unit 40 may store the spectrum coefficient 42 and the base data in association with each other.
  • the spectrum at each pixel of the object 300 can be estimated from the spectrum coefficient 42 and the base data.
  • FIG. 6 is a diagram illustrating an example of the characteristics of the virtual spectral filter 32.
  • the virtual spectral filter 32 can be set to an arbitrary characteristic by the user or the like. Since an ordinary spectral filter has a predetermined spectral characteristic, it is necessary to replace the spectral filter in order to change the spectral characteristic.
  • the virtual spectral filter 32 of this example is a virtual spectral filter used for calculation.
  • the spectral characteristics can be set freely.
  • a plurality of virtual spectral filters 32 can be set.
  • a virtual spectral filter 32 corresponding to each wavelength (or color) in each pixel of the spectral image can be set. More specifically, when each pixel of the spectroscopic image is expressed by red, blue, and green pixel values, the function setting unit 30 has virtual corresponding to each wavelength (or color) of red, blue, and green.
  • a spectral filter 32 may be set.
  • the function setting unit 30 may designate the characteristics of the virtual spectral filter 32 by a user or the like.
  • the function setting unit 30 may be designated by the user or the like as the type of virtual imaging device.
  • the function setting unit 30 may use the characteristics of the virtual spectral filter 32 corresponding to information specified by the user or the like.
  • characteristics of a plurality of types of virtual spectral filters 32 may be registered in advance.
  • FIG. 7 is a diagram illustrating an example of the spectral function 36.
  • the function setting unit 30 sets the spectral function 36 by multiplying each base function 22 included in the base data by the spectral characteristic of the virtual spectral filter 32. That is, the function setting unit 30 multiplies the value of the basis function 22 and the value of the spectral characteristic of the virtual spectral filter 32 at each wavelength.
  • the function setting unit 30 sets a spectral function 36 for each virtual spectral filter 32 for each basis function 22.
  • the function setting unit 30 also calculates the spectral functions 36-1-2 and 36-1-3 corresponding to the basis function 22-1 and the other virtual spectral filters 32-2 and 32-3. Similarly, the function setting unit 30 sets the spectral function 36 multiplied by each virtual spectral filter 32 for the other basis functions 22 as well.
  • the function setting unit 30 may store the spectral function 36.
  • the function setting unit 30 may store the spectral function 36, information for identifying the object 300, and information for identifying the virtual spectral filter 32 in association with each other.
  • the image generation unit 50 generates a spectral image of the object 300 based on the spectral function 36 and the spectral coefficient 42.
  • the image generation unit 50 multiplies each combination of the spectral function 36 and the spectral coefficient 42 corresponding to the same basis function 22, and then adds the multiplication results.
  • the image generation unit 50 of this example multiplies the spectral coefficient 42-1 and the plurality of spectral functions 36, the spectral coefficient 42-2 and the plurality of spectral functions 36, and the spectral coefficient 42-3 and the plurality of spectral functions 36, respectively.
  • the image generation unit 50 multiplies the spectral function 36 and the spectral coefficient 42 for each bit 44 of the spectral coefficient 42.
  • the image generation unit 50 adds the multiplication result of the same spectral function 36 and each spectral coefficient 42 for the same bit 44. Thereby, the pixel value of each wavelength (or color) of each bit 44 can be calculated.
  • the image generation unit 50 uses the pixel value of each bit 44 obtained by the addition as the pixel value of each pixel of the spectral image.
  • FIG. 8 is a flowchart showing an operation example of the image generation apparatus 207.
  • the basis acquisition unit 20 acquires basis data including u basis functions 22 (S702).
  • u is an integer of 2 or more.
  • u is preferably an integer greater than or equal to the number of wavelengths when the captured image 12 is captured.
  • the function setting unit 30 sets a spectral function 36-ns for each basis function 22-n and virtual spectral filter 32-s (S704).
  • n is an integer of 1 or more and u or less
  • s is an integer of 1 or more.
  • the image acquisition unit 10 acquires the captured image 12 (S706).
  • the spectral coefficient calculation unit 40 calculates the spectral coefficient 42 (S708).
  • the processing from S702 to S708 is not limited to the order shown in FIG. For example, there may be processing of S706 before S702.
  • the spectral coefficient 42 can be calculated as follows.
  • Pixel value I m of the pixels in the captured image 12 can be modeled by the following equation.
  • s ( ⁇ ) is a spectral reflectance spectrum of the object 300
  • cm ( ⁇ ) is a sensitivity characteristic spectrum of the imaging device
  • p ( ⁇ ) is illumination light spectrum.
  • c m ( ⁇ ) and p ( ⁇ ) are known.
  • m corresponds to the number of captured images 12. For example, when the captured images 12 are acquired for three wavelength components such as red, blue, and green, m is represented by three integers such as 1, 2, and 3, respectively.
  • c m ( ⁇ ) corresponds to sensitivity characteristics (for example, filter characteristics) of each wavelength component in the imaging apparatus.
  • the spectrum s ( ⁇ ) of the object 300 is expressed by the following equation.
  • ⁇ (n) is a spectral coefficient
  • b n ( ⁇ ) is a basis function corresponding to the spectral coefficient 42-n
  • u is the number of basis functions to be used.
  • Each basis function b n ( ⁇ ) is assumed to be known.
  • Equation 3 each pixel value I m can be expressed by a known component b n ( ⁇ ) c m ( ⁇ ) p ( ⁇ ) and an unknown spectral coefficient ⁇ (n).
  • the known component b n ( ⁇ ) c m ( ⁇ ) p ( ⁇ ) in Equation 3 is replaced with a predetermined coefficient. More specifically, for each combination of m and n, the known component b n ( ⁇ ) c m ( ⁇ ) p ( ⁇ ) is replaced with a predetermined coefficient.
  • the spectral coefficients ⁇ (1), ⁇ (2), and ⁇ (3) can be calculated by solving the simultaneous equations of Equation 6.
  • the spectrum of the object using the calculated spectrum coefficient may contain a negative value due to the influence of noise or the influence of using only the higher term of the polynomial in estimating the spectrum. Therefore, the simultaneous equations of Equation 6 may be solved so that the spectrum of the object is always positive. Specifically, it is conceivable to use a constrained least square method.
  • the image generation unit 50 generates a spectral image (S710). Pixel values R t for each wavelength component in each pixel by the image generating unit 50 is calculated, as shown below. t is an integer of 1 or more and s or less, and corresponds to each wavelength component.
  • r t (n) is a spectral function 36-nt.
  • the pixel value R t of each pixel can be calculated by adding the results of multiplying ⁇ (n) and r t (n) u times. Therefore, we calculate the pixel value R t with a small amount of calculation.
  • FIG. 9 is a diagram illustrating another example of the image generation device 207.
  • the image generation apparatus 207 of this example does not calculate the spectral function 36.
  • the image generation apparatus 207 of this example includes an image acquisition unit 10, a spectral coefficient calculation unit 40, a spectral image generation unit 802, and an image generation unit 804.
  • the image acquisition unit 10 and the spectral coefficient calculation unit 40 are the same as the image acquisition unit 10 and the spectral coefficient calculation unit 40 shown in FIG.
  • the spectrum image generation unit 802 multiplies the spectrum coefficient 42 by the corresponding basis function 22. Thereby, a spectrum image having a predetermined wavelength resolution is generated.
  • the image generation unit 804 generates a spectral image by multiplying the spectral image by the spectral characteristic of the virtual spectral filter 32.
  • FIG. 10 is a diagram illustrating an example of the spectrum image 806.
  • the spectral image generation unit 802 generates a spectral image 806 corresponding to each wavelength. For example, when the bandwidth of interest is 600 nm to 1000 nm and the wavelength resolution is 1 nm, the spectral image generation unit 802 generates about 400 spectral images 806.
  • Each pixel of each spectrum image 806 indicates each pixel value at the wavelength.
  • Each spectral image 806 can be calculated by multiplying the corresponding spectral coefficient 42 and the basis function 22 and adding each multiplication result for each wavelength.
  • the image generation unit 804 generates a spectral image based on the spectral characteristics of the set virtual spectral filter 32 and the spectral image 806. Specifically, the image generating unit 804 on the basis of the following equation to calculate each pixel value R t in the spectral image.
  • f ( ⁇ ) is a pixel value of the spectral image 806 at the wavelength ⁇
  • v t ( ⁇ ) is a value at the wavelength ⁇ of the spectral characteristic t.
  • each pixel value R t in order to calculate each pixel value R t , f ( ⁇ ) and v t ( ⁇ ) are set to about 400 times (wavelength resolution is 1 nm, and the bandwidth of interest is 600 nm to 1000 nm). In case of) Add the multiplication results.
  • each pixel value R t is calculated by u multiplications (number of basis functions 22) and one addition. For this reason, a spectral image for an arbitrary virtual spectral filter 32 can be generated with a very small amount of calculation. Further, by storing the spectrum coefficient 42 and acquiring the base data from the information management apparatus 100, a spectral image having an arbitrary virtual spectral characteristic can be easily created.
  • a spectral image of the object 300 is generated from the captured image 12 u times (number of basis functions) or less, a short imaging time is required. For this reason, the time for which the object 300 is illuminated can be shortened, and damage to the object 300 can be reduced. Further, a moving image spectral image can be easily generated from the moving image captured image 12.
  • a spectral image can be generated with the wavelength resolution of the base data. Therefore, a spectral image with high wavelength resolution can be easily generated. Furthermore, even if the wavelength resolution is increased, the amount of data used for calculation does not increase so much.
  • FIG. 11 is a diagram for explaining light space data indicating a light space of illumination on the object 300 when spectrum measurement data is measured.
  • an illumination unit 410 that irradiates the object 300 with illumination light is illustrated.
  • the light space data is data indicating the position, type, and number of the light sources 412 that irradiate the object 300 with illumination light, and at least one of the intensity, spectrum, irradiation angle, and polarization of the irradiation light.
  • Spectra measurement data may change when the illumination conditions indicated in the light space data change.
  • the spectroscopic measurement device measures surface reflected light, surface scattered light, and internal scattered light in the measurement region of the object 300.
  • the internally scattered light is a component emitted from the incident light scattered inside the object 300.
  • illumination conditions such as the incident angle of light change, surface reflected light, surface scattered light, and internal scattered light that enter the spectroscopic measurement apparatus may change. For this reason, if the basis function is updated from the spectrum measurement data without considering the illumination condition, the accuracy of spectrum estimation may not be improved.
  • the basis update unit 106 may calculate a basis function based on the spectrum measurement data and the light space data. For example, the basis update unit 106 corrects the spectrum measurement data based on the difference between the ray space data attached to the spectrum measurement data and a predetermined reference condition, and then calculates a basis function. The influence of the difference from the reference value of each parameter of the light space data on the spectrum measurement data may be measured in advance. In the base update unit 106, a correction table or a correction function for calculating the correction amount of the spectrum measurement data corresponding to the difference from the reference value may be set in advance for each parameter of the light space data. In another example, the basis update unit 106 may update the basis function classified according to the light space data using the corresponding spectrum measurement data.
  • the position of the light source 412 is a three-dimensional relative position (x, y, z) with respect to the object 300.
  • the position of the light source 412 may be a relative position with respect to the measurement region of the object 300.
  • the light space data may include data indicating the position of each light source 412.
  • the type of the light source 412 may be information regarding a means for generating light.
  • the type of the light source 412 is information indicating which light source 412 is a light source such as a halogen lamp, a xenon lamp, or an LED.
  • the illumination unit 410 may include a plurality of types of light sources.
  • the number of light sources 412 indicates the number of light sources 412 that irradiate the object 300 with light when measuring spectral data.
  • the wavelength of light emitted from the light source 412 may be a wavelength of a main component having the highest intensity in the light, or may be a spectrum over a predetermined wavelength range.
  • the irradiation angle of the light irradiated by the light source 412 may include the angle ⁇ a of the optical axis 440 of the light.
  • the optical axis 440 is the central axis of light emitted from the light source 412.
  • the angle ⁇ a may be an angle with respect to the surface 302 of the object 300 or may be an angle with respect to a predetermined reference plane.
  • the spectroscopic measurement apparatus may measure the inclination angle in the measurement region.
  • the light space data may include an inclination angle in the measurement region of the surface 302 of the object 300.
  • the light irradiation angle irradiated by the light source 412 may include a light collection angle ⁇ at which light is collected on the surface 302.
  • the condensing angle ⁇ is determined from the characteristics of the condenser lens 438.
  • the irradiation angle of light emitted from the light source 412 may include a divergence angle ⁇ at which light diverges from the light source 412.
  • the polarization state of light emitted by the light source 412 includes the presence / absence of polarization of light, the direction of polarization, and the like.
  • the light space data may include at least the light irradiation angle, and includes the position, type, and number of the light sources 412, the spectrum of the light emitted by the light sources 412, the intensity, the irradiation angle, and a part or all of the polarization state. May be.
  • the basis function can be updated in consideration of the influence of the illumination conditions on the spectrum measurement data. For this reason, the basis function can be updated with high accuracy.
  • FIG. 12 is a diagram illustrating another example of the information management apparatus 100.
  • the information management apparatus 100 of this example further includes a spectrum estimation unit 208 in addition to the configuration shown in FIG. In FIG. 12, the image generation device 207 is shown together, and the structure other than the image generation device 207 of the terminal 200 is omitted.
  • the image generation apparatus 207 of this example attaches the data of the captured image 12 acquired by the image acquisition unit 10 and requests the base data from the information management apparatus 100.
  • the management apparatus side data acquisition unit 104 acquires data of the captured image 12.
  • the spectrum estimation unit 208 estimates the spectrum of the object 300 included in the captured image 12 based on the captured image data and the base data acquired from the base storage unit 108. Specifically, the spectrum estimation unit 208 calculates the spectrum coefficient 42 of the object.
  • the spectrum estimation unit 208 may perform the same or similar processing as the spectrum coefficient calculation unit 40 illustrated in FIG.
  • the management apparatus-side data transmission unit 102 transmits information on the spectrum generated by the spectrum estimation unit 208 (that is, the spectrum coefficient 42) to the terminal 200 in addition to the base data.
  • the image generation unit 50 of the image generation device 207 generates a spectral image based on the spectral function 36 set by the function setting unit 30 and the spectral coefficient 42 acquired from the information management device 100. In this case, the data processing load on the terminal 200 can be further reduced.
  • FIG. 13 illustrates an example of a computer 1200 in which aspects of the present invention may be embodied in whole or in part.
  • the program installed in the computer 1200 causes the computer 1200 to function as an operation associated with the apparatus according to the embodiment of the present invention or one or more “units” of the apparatus, or to perform the operation or the one or more “parts”.
  • Can be executed and / or the computer 1200 can execute a process according to an embodiment of the present invention or a stage of the process.
  • Such a program may be executed by CPU 1212 to cause computer 1200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.
  • This function may be implemented by FPGA.
  • the program causes the computer 1200 to function as any one of the information management apparatus 100, the terminal 200, and the image generation apparatus 207.
  • the computer 1200 includes a CPU 1212, a RAM 1214, a graphic controller 1216, and a display device 1218, which are connected to each other by a host controller 1210.
  • the computer 1200 also includes input / output units such as a communication interface 1222, a hard disk drive 1224, a DVD-ROM drive 1226, and an IC card drive, which are connected to the host controller 1210 via the input / output controller 1220.
  • the computer also includes legacy input / output units such as ROM 1230 and keyboard 1242, which are connected to input / output controller 1220 via input / output chip 1240.
  • the CPU 1212 operates in accordance with programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit.
  • the graphic controller 1216 acquires image data generated by the CPU 1212 in a frame buffer or the like provided in the RAM 1214 or the graphic controller 1216 itself, and causes the image data to be displayed on the display device 1218.
  • the communication interface 1222 communicates with other electronic devices via a network.
  • the hard disk drive 1224 stores programs and data used by the CPU 1212 in the computer 1200.
  • the DVD-ROM drive 1226 reads a program or data from the DVD-ROM 1201 and provides the hard disk drive 1224 with the program or data via the RAM 1214.
  • the IC card drive reads programs and data from the IC card and / or writes programs and data to the IC card.
  • the ROM 1230 stores therein a boot program executed by the computer 1200 at the time of activation and / or a program depending on the hardware of the computer 1200.
  • the input / output chip 1240 may also connect various input / output units to the input / output controller 1220 via a parallel port, a serial port, a keyboard port, a mouse port, and the like.
  • the program is provided by a computer-readable storage medium such as a DVD-ROM 1201 or an IC card.
  • the program is read from a computer-readable storage medium, installed in the hard disk drive 1224, the RAM 1214, or the ROM 1230, which is also an example of a computer-readable storage medium, and executed by the CPU 1212.
  • Information processing described in these programs is read by the computer 1200 to bring about cooperation between the programs and the various types of hardware resources.
  • An apparatus or method may be configured by implementing information operations or processing in accordance with the use of computer 1200.
  • the CPU 1212 executes a communication program loaded in the RAM 1214 and performs communication processing on the communication interface 1222 based on processing described in the communication program. You may order.
  • the communication interface 1222 reads transmission data stored in a transmission buffer area provided in a recording medium such as a RAM 1214, a hard disk drive 1224, a DVD-ROM 1201, or an IC card under the control of the CPU 1212, and the read transmission Data is transmitted to the network or received data received from the network is written into a reception buffer area provided on the recording medium.
  • the CPU 1212 allows the RAM 1214 to read all or a necessary part of a file or database stored in an external recording medium such as a hard disk drive 1224, a DVD-ROM drive 1226 (DVD-ROM 1201), an IC card, etc. Various types of processing may be performed on the data on the RAM 1214. The CPU 1212 may then write back the processed data to an external recording medium.
  • an external recording medium such as a hard disk drive 1224, a DVD-ROM drive 1226 (DVD-ROM 1201), an IC card, etc.
  • Various types of processing may be performed on the data on the RAM 1214.
  • the CPU 1212 may then write back the processed data to an external recording medium.
  • the CPU 1212 describes various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, and information retrieval that are described throughout the present disclosure for data read from the RAM 1214 and specified by the instruction sequence of the program. Various types of processing may be performed, including / replacement, etc., and the result is written back to RAM 1214. In addition, the CPU 1212 may search for information in files, databases, etc. in the recording medium. For example, when a plurality of entries each having the attribute value of the first attribute associated with the attribute value of the second attribute are stored in the recording medium, the CPU 1212 selects the first entry from the plurality of entries.
  • An entry that matches the condition for which the attribute value of the attribute is specified is read, the attribute value of the second attribute stored in the entry is read, and the first attribute that satisfies the predetermined condition is thereby read.
  • the attribute value of the associated second attribute may be obtained.
  • the program or software module according to the above description may be stored in a computer-readable storage medium on the computer 1200 or in the vicinity of the computer 1200.
  • a recording medium such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, whereby the program is transmitted to the computer 1200 via the network.
  • DESCRIPTION OF SYMBOLS 10 ... Image acquisition part, 12 ... Captured image, 22 ... Basis function, 23 ... Band, 20 ... Base acquisition part, 30 ... Function setting part, 32 ... Virtual spectroscopy Filter, 36 ... Spectral function, 40 ... Spectral coefficient calculation unit, 42 ... Spectral coefficient, 44 ... Bit, 46 ... Region, 48 ... Region, 50 ... Image generation unit , 100 ... Information management device, 102 ... Data transmission unit on the management device side, 104 ... Data acquisition unit on the management device side, 106 ... Base update unit, 108 ... Base storage unit, 200 ...
  • Terminal 202 Data transmission unit 204
  • Data acquisition unit 206 Data acquisition unit 207
  • Image generation device 208 Spectrum estimation unit 250 ⁇ Information management system, 252 Network , 300 ... object, 302 ... surface, 410 ... illumination unit, 412 ... light source, 438 ... lens, 440 ... optical axis, 802 ... spectral image generation unit, 804 ... Image generation unit, 806 ... Spectral image, 1200 ... Computer, 1201 ... DVD-ROM, 1210 ... Host controller, 1212 ... CPU, 1214 ... RAM, 1216 ... Graphic controller 1218 Display device 1220 Input / output controller 1222 Communication interface 1224 Hard disk drive 1226 DVD-ROM drive 1230 ROM 1240 ..Input / output chip, 1242 ... Keyboard

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

対象物の情報を管理する情報管理装置であって、１つまたは複数のカテゴリに分類され、対象物のスペクトルに関する基底データを記憶する基底記憶部と、対象物のスペクトル測定データ及びカテゴリに関する情報を取得するデータ取得部と、データ取得部が取得したデータに基づいて、基底記憶部が記憶している基底データを更新する基底更新部とを備える情報管理装置を提供する。

Description

情報管理装置、端末、情報管理システムおよびプログラム
　本発明は、情報管理装置、端末、情報管理システムおよびプログラムに関する。
　従来、被写体の分光スペクトルについて、基底関数を用いてスペクトル推定する技術が知られている（例えば特許文献１参照）。
　特許文献１　特開２０１０－１２２０８０号公報
　スペクトル推定の精度を上げるべく、より適切な基底関数を用いることが好ましい。
　上記課題を解決するために、本発明の第１の態様においては、対象物の情報を管理する情報管理装置を提供する。情報管理装置は、１つまたは複数のカテゴリに分類され、対象物のスペクトルに関する基底データを記憶する基底記憶部と、対象物のスペクトル測定データ及びカテゴリに関する情報を取得するデータ取得部と、データ取得部が取得したデータに基づいて、基底記憶部が記憶している基底データを更新する基底更新部とを備える。
　本発明の第２の態様においては、情報管理装置と接続可能な端末を提供する。端末は、対象物を撮像した撮像画像を取得する画像取得部と、情報管理装置から基底データを取得する端末側データ取得部と、撮像画像と基底データとに基づいて対象物の分光画像を生成する画像生成部を備える。
　本発明の第３の態様においては、情報管理装置と接続可能な端末を提供する。端末は、対象物を撮像した撮像画像を取得する画像取得部と、情報管理装置に対して、撮像画像を送信する端末側データ送信部と、情報管理装置から対象物のスペクトルに関する情報を取得する端末側データ取得部とを備える。
　本発明の第４の態様においては、いずれかの態様の情報管理装置と、いずれかの態様の端末とを備える情報管理システムを提供する。
　本発明の第５の態様においては、コンピュータを、情報管理装置または端末として機能させるためのプログラムを提供する。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の一つ実施形態に係る情報管理システム２５０の一例を示すブロック図である。 画像生成装置２０７の一例を示すブロック図である。 撮像画像１２の一例を示す図である。 基底関数２２の一例を示す図である。 スペクトル係数４２の一例を示す図である。 仮想分光フィルタ３２の特性の一例を示す図である。 分光関数３６の一例を示す図である。 画像生成装置２０７の動作例を示すフローチャートである。 画像生成装置２０７の他の例を示す図である。 スペクトル画像８０６の一例を示す図である。 スペクトル測定データを測定した際の、対象物３００への照明の光線空間を示す光線空間データを説明する図である。 情報管理装置１００の他の例を示す図である。 本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ１２００の例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本発明の一つ実施形態に係る情報管理システム２５０の一例を示すブロック図である。情報管理システム２５０は、端末２００と情報管理装置１００とを備える。例えば端末２００は、ユーザー等により管理されるコンピュータである。例えば情報管理装置１００は、ネットワーク２５２を介して１つまたは複数の端末２００に接続されるサーバーである。ネットワーク２５２はインターネットであってよく、ローカルネットワークであってもよい。
　情報管理装置１００は、対象物の情報を管理する。対象物とは、例えばユーザー等により画像が撮像される物である。対象物の情報とは、対象物の画像、対象物のスペクトル等を含む。対象物はりんご、ミカン等の果物であり、対象物の情報とは対象物を撮像した画像およびスペクトルである。なお、対象物は、果物以外の作物、食肉、加工食品でもよく、生体やその組織でもよい。
　情報管理装置１００は、管理装置側データ送信部１０２、管理装置側データ取得部１０４、基底更新部１０６および基底記憶部１０８を備える。管理装置側データ送信部１０２は、ネットワーク２５２を介してそれぞれの端末２００にデータを送信する。管理装置側データ取得部１０４は、ネットワーク２５２を介してそれぞれの端末２００からデータを取得する。
　基底記憶部１０８は、対象物のスペクトルに関する基底データを記憶する。基底データには、後述する複数の基底関数が含まれている。基底記憶部１０８は、基底データを１つまたは複数のカテゴリに分類して記憶する。基底データに含まれる基底関数は、カテゴリに属する対象物３００（図３等参照）毎に複数のスペクトルデータを取得して、これらのデータを主成分分析等によって統計処理することで算出されている。当該カテゴリは、対象物のカテゴリに対応する。対応するカテゴリの基底データを用いて対象物のスペクトルを推定することで、スペクトルをより精度よく推定できる。対象物のカテゴリは、例えばりんご、ミカン等の果物の種類を用いることができる。また、対象物３００のカテゴリは、異なる観点からなる複数の項目（収穫時期、栽培方法、成分等）や、階層構造（品種、産地、生産者等）で区分けされてもよい。後述する基底取得部２０は、ユーザーが指定したカテゴリに応じた基底データを取得してもよい。
　管理装置側データ取得部１０４は、対象物のスペクトル測定データ及び対象物のカテゴリに関する情報を取得する。スペクトル測定データは、例えば対象物の表面を測定して得られる分光反射率等のスペクトルデータである。スペクトル測定データには、算出しようとする基底関数の帯域を含むスペクトルデータが含まれていてよい。管理装置側データ取得部１０４は、複数の端末２００から情報を取得する。
　基底更新部１０６は、管理装置側データ取得部１０４が取得したスペクトル測定データおよびカテゴリ情報に基づいて、基底記憶部１０８が記憶している基底データを更新する。例えば基底更新部１０６は、基底記憶部１０８が現在記憶している基底データを算出するのに用いたスペクトル測定データを保存している。基底更新部１０６は、保存していたスペクトル測定データに、新たに取得したスペクトル測定データを加えて、新たに基底データを生成してよい。基底更新部１０６は、基底データに含まれる基底関数の線形和と、それぞれのスペクトル測定データとの誤差が最も小さくできるような基底関数を生成する。基底更新部１０６は、収集したスペクトル測定データを、主成分分析等の方法で複数の基底関数に分解してよい。基底更新部１０６は、基底データに含まれる基底関数の数を変化させてもよい。
　基底更新部１０６は、スペクトル測定データを取得する毎に基底データを更新してよく、一定期間の間に取得したスペクトル測定データを蓄積しておき、当該期間毎に基底データを更新してもよい。基底更新部１０６は、新たなスペクトル測定データを追加する場合、既存のスペクトル測定データの一部を破棄してもよい。
　基底更新部１０６は、スペクトル測定データを、当該データが測定された時期に応じて分類してもよい。例えば基底更新部１０６は、月毎にスペクトル測定データを分類する。この場合、基底記憶部１０８は、スペクトル測定データが測定された時期毎に、基底データを記憶してよい。これにより、例えば農作物等のように時期によって状態や色が変化する対象物に対して、適切な基底データを管理できる。
　基底更新部１０６は、スペクトル測定データを、時期以外の他のパラメータで分類してもよい。例えばスペクトル測定データが測定された場所（緯度、経度等）、温度、湿度等のパラメータで分類できる。これらの環境パラメータは、スペクトル測定データに付されていることが好ましい。基底更新部１０６は、後述する光線空間データに応じてスペクトル測定データを分類してもよい。
　端末２００－１は、端末側データ送信部２０２、端末側データ取得部２０４およびスペクトル取得部２０６を備える。端末側データ取得部２０４は、ネットワーク２５２を介して情報管理装置１００からデータを取得する。端末側データ送信部２０２は、ネットワーク２５２を介して情報管理装置１００にデータを送信する。
　スペクトル取得部２０６は、対象物のスペクトル測定データを取得する。スペクトル測定データは、例えば分光測定器等で測定できる。分光測定器は、農作物等の検査ラインに設けられてよい。
　端末側データ送信部２０２は、スペクトル取得部２０６が取得したスペクトル測定データを、対象物のカテゴリ情報を付して情報管理装置１００に送信する。端末側データ送信部２０２は、スペクトル測定データの測定時における対象物への照明の光線空間を示す光線空間データを、スペクトル測定データに付して送信してもよい。
　このように、ネットワーク２５２を介して複数の端末２００から送られるスペクトル測定データおよびカテゴリ情報を情報管理装置１００に集約することで、より精度の高い基底関数を生成できる。管理装置側データ送信部１０２は、基底記憶部１０８に記憶している基底データに基づく情報を、端末２００に送信してよい。これにより、端末２００は、精度の高い基底関数を用いて、対象物のスペクトルを精度よく推定できる。
　図１の例では、情報管理装置１００は、端末２００－２に基底関数に送信する。端末２００－２は、画像生成装置２０７を備える。なお、同一の端末２００にスペクトル取得部２０６と画像生成装置２０７が設けられていてもよい。
　端末２００－２の端末側データ送信部２０２は、対象物が属するカテゴリを指定して、情報管理装置１００に基底データを要求する。端末側データ送信部２０２は、基底データに対応付けられている時期等のパラメータを更に指定してもよい。管理装置側データ送信部１０２は、当該要求に応じて、基底記憶部１０８が記憶している基底データのうち、指定されたカテゴリの基底データを抽出して端末２００－２に送信する。画像生成装置２０７は、端末側データ取得部２０４が取得した基底データに基づいて、対象物の分光画像を生成する。
　図２は、画像生成装置２０７の一例を示すブロック図である。なお、画像生成装置２０７の構造は本例に限定されない。本例の画像生成装置２０７は、画像生成装置２０７は、画像取得部１０、基底取得部２０、関数設定部３０、スペクトル係数算出部４０および画像生成部５０を備える。
　画像取得部１０は、対象物の少なくとも一部を撮像した撮像画像データを取得する。撮像画像は２次元画像であってよい。撮像画像データを撮像した撮像装置は、予め定められた波長帯域に感度を有する。撮像装置は、可視帯域の波長の光に感度を有してよく、可視帯域外の波長の光に感度を有してもよい。撮像装置は、対象物の静止画像を取得してよく、動画像を取得してもよい。
　画像生成装置２０７は、撮像装置から取得した撮像画像データに基づいて、任意の分光特性を対象物に適用した場合の分光画像を生成する。当該分光特性を調整することで、例えば、対象物に照射する照明光の特性、または、撮像装置の分光フィルタの特性を変化させた場合の分光画像を生成できる。
　撮像画像データには、複数の波長における各画素の値が含まれている。一例として撮像画像データには、赤、青および緑の３色に対応する波長における、各画素の値が含まれる。他の例として撮像画像データには、赤外帯域の３つの波長における、各画素の値が含まれてもよい。なお、本明細書においてスペクトルは光の波長ごとの強度の分布を示すが、その波長分解能は、予め定められた閾値よりも高いものとする。例えば、異なる波長（または波長帯域）で複数撮像した撮像画像データの波長分解能（画像間の波長間隔）を閾値として設定した場合、スペクトルは、撮像画像データの波長分解能（複数の波長間隔）よりも高い分解能を有するものとする。本例では、撮像画像データは３つの波長における値を含むので、スペクトルは少なくとも４つ以上の波長における値を含む。スペクトルの波長分解能は１０ｎｍ以下であってよく、例えば１ｎｍである。
　基底取得部２０は、対象物のスペクトルに関する基底データを取得する。本例では、情報管理装置１００から端末側データ取得部２０４が受け取った基底データが、基底取得部２０に入力される。基底データには、複数の基底関数のデータが含まれる。それぞれの基底関数に所定の重み付け係数を乗じて加算することで、任意のスペクトルが表現される。基底データに含まれる基底関数の数が多いほど、任意のスペクトルに対する誤差を小さくできる。
　基底取得部２０は、対象物のカテゴリに応じた基底データを取得する。撮像画像データに対応する対象物のカテゴリは、撮像装置から取得する撮像画像データに付されたカテゴリ情報から判定してよく、撮像画像データに基づいて基底取得部２０が判定してもよい。例えば基底取得部２０は、撮像画像データに含まれる対象物の画像と、予め設定されたテンプレート画像とを比較して、対象物のカテゴリを判定できる。
　関数設定部３０は、基底取得部２０から取得した基底データを用いて、任意の分光特性を有する仮想分光フィルタを介した分光画像を生成するための分光関数を設定する。分光特性は、画像生成装置２０７のユーザー等により設定されてよい。関数設定部３０は、基底データで示されるそれぞれの基底関数に分光特性を乗算することで分光関数を算出してよい。
　スペクトル係数算出部４０は、撮像画像において対象物を示す各画素について、基底データに含まれるそれぞれの基底関数の重み付け係数を示すスペクトル係数を撮像画像から算出する。上述したように、複数の基底関数の線形和により任意のスペクトルが表現される。スペクトル係数は、撮像画像データに含まれる各波長（または色）の値を最もよく近似できる複数の基底関数の重み付け係数の組み合わせである。本例においてスペクトル係数は、撮像画像の画素毎に定められる。他の例においてスペクトル係数は、複数の画素を含む画素ブロック毎に定められてもよい。
　画像生成部５０は、関数設定部３０が設定した分光関数と、スペクトル係数算出部４０が算出したスペクトル係数とに基づいて、対象物３００の分光画像を生成する。当該分光画像は、ユーザー等により設定された分光特性に対応する画像である。このような構成により、少ない演算量で任意の分光特性に対応する分光画像を生成できる。
　図３は、撮像画像１２の一例を示す図である。本例の画像取得部１０は、３つの波長（または色）に対応する３つの撮像画像１２－１、１２－２、１２－３を取得する。本例では、撮像画像１２および波長（または色）が一対一に対応している。それぞれの撮像画像１２は、二次元に配列された複数の画素を有する。撮像画像１２を示す撮像画像データは、撮像装置が受光した各波長（または色）の光の強度を画素毎に示すデータである。
　図４は、基底データに含まれる基底関数２２の一例を示す図である。本例では３つの基底関数２２－１、２２－２、２２－３を示しているが、基底データに含まれる基底関数２２の数は３つに限定されない。基底データには、より多くの基底関数２２が含まれてよい。図３および図４の例では、基底関数２２と撮像画像１２の数が一致しているが、基底関数２２の数と撮像画像１２の数は一致していなくてもよい。
　図４に示すように、それぞれの基底関数２２の形状は異なる。例えば、それぞれの基底関数２２は、極大値または極小値となる波長が異なっている。このような基底関数２２に、それぞれ適切な重み係数を乗算して加算することで、多様なスペクトルを表現できる。ただし、基底関数２２の形状によっては、精度よく表現できる場合と、精度よく表現できない場合がある。例えば図４の例では、長波長の帯域２３においては、それぞれの基底関数２２の形状は類似しているので、長波長において変化するようなスペクトルについては、再現精度が高くならない場合がある。上述したように基底取得部２０は、対象物３００のカテゴリに応じた基底データを取得できる。例えば、「青森県産のりんご」というカテゴリに対して複数の基底関数２２が用意されており、そこから、少なくとも撮像画像１２で撮像した波長数と同じ数の基底関数２２を含む基底データを取得する。これにより、対象物３００のスペクトル推定の精度を向上できる。
　図５は、スペクトル係数４２の一例を示す図である。スペクトル係数算出部４０は、基底関数２２と一対一に対応するスペクトル係数４２を算出する。本例において各スペクトル係数４２は、撮像画像１２の画素と一対一に対応するビット４４を有する。他の例では、各スペクトル係数４２は、撮像画像１２の複数の画素を含む画素ブロック毎にビット４４を有してもよい。図５においては、各ビット４４を２次元に配列したスペクトル係数画像を示している。図５における領域４８は、スペクトル係数画像における一部の領域４６を拡大した領域である。
　それぞれのスペクトル係数４２における各ビット４４の値は、当該ビット４４に対応する画素に対する、当該スペクトル係数４２に対応する基底関数２２の重み付け係数である。図５においては、各ビット４４の値をハッチングの濃淡で示している。
　スペクトル係数算出部４０は、算出したスペクトル係数４２の組み合わせを記憶してよい。スペクトル係数算出部４０は、スペクトル係数４２と、基底データとを対応付けて記憶してもよい。スペクトル係数４２と基底データとから、対象物３００の各画素におけるスペクトルを推定できる。
　図６は、仮想分光フィルタ３２の特性の一例を示す図である。上述したように仮想分光フィルタ３２は、ユーザー等により任意の特性に設定できる。通常の分光フィルタは、分光特性が定められているため、分光特性を変更するには分光フィルタを交換する必要があるが、本例の仮想分光フィルタ３２は、演算に用いる仮想的な分光フィルタなので、分光特性を自由に設定可能である。仮想分光フィルタ３２は、複数個設定できる。例えば関数設定部３０には、分光画像の各画素における各波長（または色）に対応する仮想分光フィルタ３２を設定できる。より具体的には、分光画像の各画素が赤、青および緑の画素値で表現される場合、関数設定部３０には、赤、青および緑のそれぞれの波長（または色）に対応する仮想分光フィルタ３２が設定されてよい。
　関数設定部３０は、ユーザー等から仮想分光フィルタ３２の特性自体を指定されてよい。関数設定部３０は、ユーザー等から仮想的な撮像装置の種類等を指定されてもよい。関数設定部３０は、ユーザー等から指定される情報に対応する仮想分光フィルタ３２の特性を用いてもよい。関数設定部３０には、予め複数種類の仮想分光フィルタ３２の特性が登録されていてよい。
　図７は、分光関数３６の一例を示す図である。関数設定部３０は、基底データに含まれるそれぞれの基底関数２２と、仮想分光フィルタ３２の分光特性とを乗算して、分光関数３６を設定する。つまり関数設定部３０は、それぞれの波長において、基底関数２２の値と、仮想分光フィルタ３２の分光特性の値とを乗算する。関数設定部３０は、基底関数２２毎に、それぞれの仮想分光フィルタ３２に対する分光関数３６を設定する。
　図７の例では、基底関数２２－１および仮想分光フィルタ３２－１に対応する分光関数３６－１－１を示している。関数設定部３０は、基底関数２２－１と、他の仮想分光フィルタ３２－２、３２－３とに対応する分光関数３６－１－２、３６－１－３も算出する。また、関数設定部３０は、他の基底関数２２についても同様に、それぞれの仮想分光フィルタ３２と乗算した分光関数３６を設定する。
　関数設定部３０は、分光関数３６を記憶してよい。関数設定部３０は、分光関数３６と、対象物３００を識別する情報と、仮想分光フィルタ３２を識別する情報とを対応付けて記憶してよい。
　画像生成部５０は、分光関数３６とスペクトル係数４２とに基づいて、対象物３００の分光画像を生成する。画像生成部５０は、同一の基底関数２２に対応する分光関数３６およびスペクトル係数４２の組み合わせをそれぞれ乗算した後に、乗算結果を加算する。
　本例の画像生成部５０は、スペクトル係数４２－１と複数の分光関数３６、スペクトル係数４２－２と複数の分光関数３６、スペクトル係数４２－３と複数の分光関数３６をそれぞれ乗算する。画像生成部５０は、スペクトル係数４２のビット４４毎に、分光関数３６と、スペクトル係数４２とを乗算する。画像生成部５０は、同一のビット４４に対する、同一の分光関数３６と各スペクトル係数４２との乗算結果を加算する。これにより各ビット４４の各波長（または色）の画素値を算出できる。画像生成部５０は、加算して得られた各ビット４４の画素値を、分光画像の各画素の画素値とする。
　図８は、画像生成装置２０７の動作例を示すフローチャートである。基底取得部２０は、ｕ個の基底関数２２を含む基底データを取得する（Ｓ７０２）。ｕは２以上の整数である。ｕは撮像画像１２を撮像する際の波長数以上の整数であることが好ましい。関数設定部３０は、それぞれの基底関数２２－ｎおよび仮想分光フィルタ３２－ｓに対する分光関数３６－ｎ－ｓを設定する（Ｓ７０４）。ｎは１以上、ｕ以下の整数であり、ｓは１以上の整数である。
　画像取得部１０は、撮像画像１２を取得する（Ｓ７０６）。スペクトル係数算出部４０は、スペクトル係数４２を算出する（Ｓ７０８）。Ｓ７０２からＳ７０８の処理は、図８に示した順番に限定されない。例えば、Ｓ７０２の前にＳ７０６の処理があってもよい。
　一例としてスペクトル係数４２は、以下のように算出できる。撮像画像１２における各画素の画素値Ｉｍは、下式でモデル化できる。
Figure JPOXMLDOC01-appb-M000001
 　ただし、ｓ（λ）は対象物３００の分光反射率のスペクトル、ｃｍ（λ）は撮像装置の感度特性のスペクトル、ｐ（λ）は照明光のスペクトルである。なおｃｍ（λ）およびｐ（λ）は既知とする。ｍは、撮像画像１２の数に対応する。例えば、赤、青、緑のように３つの波長成分についてそれぞれ撮像画像１２を取得した場合、ｍは１、２、３のように３つの整数で表される。ｃｍ（λ）は、撮像装置における各波長成分の感度特性（例えばフィルタの特性）に対応する。
　また、対象物３００のスペクトルｓ（λ）は、下式で示される。
Figure JPOXMLDOC01-appb-M000002
 　ただし、σ（ｎ）はスペクトル係数であり、ｂｎ（λ）はスペクトル係数４２－ｎに対応する基底関数であり、ｕは用いる基底関数の数である。それぞれの基底関数ｂｎ（λ）は既知とする。
　数１に数２を代入すると、下式が得られる。
Figure JPOXMLDOC01-appb-M000003
 　数３により、それぞれの画素値Ｉｍを、既知成分ｂｎ（λ）ｃｍ（λ）ｐ（λ）と、未知のスペクトル係数σ（ｎ）で表すことができる。
　次に、数３における既知成分ｂｎ（λ）ｃｍ（λ）ｐ（λ）を所定の係数に置き換える。より具体的には、ｍおよびｎの各組み合わせについて、既知成分ｂｎ（λ）ｃｍ（λ）ｐ（λ）を所定の係数に置き換える。一例として基底関数の数が３、撮像画像１２の数が３の場合を考える。つまり、ｕ＝３、ｍ＝１、２、３である。
　ｍ＝１の場合について、既知成分を係数Ａｎを用いて下式のように置き換える。
Figure JPOXMLDOC01-appb-M000004
 　ｍ＝２、３の場合も、既知成分を係数Ｂｎ、Ｃｎを用いて下式のように置き換える。
Figure JPOXMLDOC01-appb-M000005
　数３、４、５から、下式が得られる。
Figure JPOXMLDOC01-appb-M000006
 　画素値Ｉｍは撮像画像１２から既知であるので、数６の連立方程式を解くことで、スペクトル係数σ（１）、σ（２）、σ（３）を算出できる。なお、ノイズの影響や、スペクトルを推定するうえでの多項式の上位項のみを用いることの影響で、算出したスペクトル係数を用いた対象物のスペクトルが負の値を含むことがある。そこで、対象物のスペクトルが必ず正となるように数６の連立方程式を解いてもよい。具体的には、制約つきの最小二乗法を用いることが考えられる。
　画像生成部５０は、分光画像を生成する（Ｓ７１０）。画像生成部５０が算出する各画素における波長成分毎の画素値Ｒｔは、以下で示される。ｔは１以上、ｓ以下の整数であり、各波長成分に対応する。
Figure JPOXMLDOC01-appb-M000007
 　ただし、ｒｔ（ｎ）は分光関数３６－ｎ－ｔである。
　つまり、σ（ｎ）とｒｔ（ｎ）をｕ回乗算した結果を加算することで、各画素の画素値Ｒｔを算出できる。このため、少ない演算量で画素値Ｒｔを算出できる。
　図９は、画像生成装置２０７の他の例を示す図である。本例の画像生成装置２０７は、分光関数３６を算出しない。本例の画像生成装置２０７は、画像取得部１０、スペクトル係数算出部４０、スペクトル画像生成部８０２および画像生成部８０４を備える。画像取得部１０およびスペクトル係数算出部４０は、図２に示した画像取得部１０およびスペクトル係数算出部４０と同様である。
　スペクトル画像生成部８０２は、スペクトル係数４２に対して、対応する基底関数２２を乗算する。これにより、所定の波長分解能を有するスペクトル画像を生成する。画像生成部８０４は、スペクトル画像に対して、仮想分光フィルタ３２の分光特性を乗算することで、分光画像を生成する。
　図１０は、スペクトル画像８０６の一例を示す図である。スペクトル画像生成部８０２は、それぞれの波長に対応するスペクトル画像８０６を生成する。例えば注目帯域が６００ｎｍから１０００ｎｍであり波長分解能が１ｎｍの場合、スペクトル画像生成部８０２は、４００個程度のスペクトル画像８０６を生成する。
　それぞれのスペクトル画像８０６の各画素は、当該波長における各画素値を示している。それぞれのスペクトル画像８０６は、対応するスペクトル係数４２と基底関数２２とを乗算して、それぞれの乗算結果を波長毎に加算することで算出できる。
　画像生成部８０４は、設定される仮想分光フィルタ３２の分光特性と、スペクトル画像８０６に基づいて分光画像を生成する。具体的には、画像生成部８０４は下式に基づいて、分光画像の各画素値Ｒｔを算出する。
Figure JPOXMLDOC01-appb-M000008
 　ただし、ｆ（λ）は波長λにおけるスペクトル画像８０６の画素値であり、ｖｔ（λ）は分光特性ｔの波長λにおける値である。つまり、本例の画像生成装置１００においては、各画素値Ｒｔを算出するのに、ｆ（λ）とｖｔ（λ）を４００回程度（波長分解能が１ｎｍで、注目帯域が６００ｎｍから１０００ｎｍの場合）乗算した結果を加算する。
　上述したように、図２に示した画像生成装置２０７によれば、各画素値Ｒｔを算出するのに、ｕ回（基底関数２２の数）の乗算と１回の加算だけでよい。このため、非常に少ない演算量で、任意の仮想分光フィルタ３２に対する分光画像を生成できる。また、スペクトル係数４２を記憶しておき、情報管理装置１００から基底データを取得することで、任意の仮想分光特性の分光画像を容易に作成できる。
　また、ｕ回（基底関数の数）またはそれ以下の撮像画像１２から対象物３００の分光画像を生成するので、短い撮像時間ですむ。このため、対象物３００に照明を当てる時間を短くでき、対象物３００へのダメージを低減できる。また、動画の撮像画像１２から、動画の分光画像を容易に生成できる。
　また、基底データの波長分解能で、分光画像が生成できる。このため、高い波長分解能の分光画像を容易に生成できる。更に、波長分解能を高くしても、演算に用いるデータ量はそれほど増加しない。
　図１１は、スペクトル測定データを測定した際の、対象物３００への照明の光線空間を示す光線空間データを説明する図である。図１１の例においては、対象物３００に照明光を照射する照明部４１０を示している。光線空間データは、対象物３００に照明光を照射する光源４１２の位置、種類および数、ならびに、照射光の強度、スペクトル、照射角度および偏光の少なくともいずれかを示すデータである。
　光線空間データに示される照明条件が変化すると、スペクトル測定データが変化する場合がある。例えば分光測定装置は、対象物３００の測定領域における、表面反射光、表面散乱光および内部散乱光を測定する。内部散乱光は、対象物３００の内部において入射光が散乱して出射した成分である。光の入射角度等の照明条件が変化すると、分光測定装置に入射される表面反射光、表面散乱光および内部散乱光が変化する場合がある。このため、照明条件を考慮せずにスペクトル測定データから基底関数を更新すると、スペクトル推定の精度が高くならない場合がある。
　基底更新部１０６は、スペクトル測定データおよび光線空間データに基づいて、基底関数を算出してよい。例えば基底更新部１０６は、スペクトル測定データに付された光線空間データと、予め定められた基準条件との差異に基づいて、スペクトル測定データを補正してから基底関数を算出する。光線空間データの各パラメータの基準値との差異が、スペクトル測定データに与える影響は、予め測定されてよい。基底更新部１０６には、光線空間データの各パラメータに対して、基準値との差異に応じたスペクトル測定データの補正量を算出するための補正テーブルまたは補正関数が予め設定されてよい。他の例では、基底更新部１０６は、光線空間データに応じて分類された基底関数を、対応するスペクトル測定データを用いて更新してもよい。
　光源４１２の位置とは、対象物３００に対する３次元の相対位置（ｘ、ｙ、ｚ）である。光源４１２の位置は、対象物３００の測定領域に対する相対位置であってよい。光源４１２が複数存在する場合、光線空間データには、それぞれの光源４１２の位置を示すデータが含まれてよい。
　光源４１２の種類とは、光を生成する手段に関する情報であってよい。一例として光源４１２の種類とは、光源４１２がハロゲンランプ、キセノンランプ、ＬＥＤ等のいずれの光源であるかを示す情報である。照明部４１０は、複数の種類の光源を有してよい。
　光源４１２の数とは、スペクトルデータの測定時において対象物３００に光を照射している光源４１２の数を指す。光源４１２が照射する光の波長は、当該光において最も強度が大きい主成分の波長であってよく、所定の波長範囲に渡るスペクトルであってもよい。
　光源４１２が照射する光の照射角度は、当該光の光軸４４０の角度θａが含まれてよい。光軸４４０とは、光源４１２が照射する光の中心軸である。当該角度θａは、対象物３００の表面３０２に対する角度であってよく、所定の基準面に対する角度であってもよい。対象物３００の表面３０２が傾斜を有する場合、分光測定装置は測定領域における傾斜の角度を測定してもよい。光線空間データには、対象物３００の表面３０２の測定領域における傾斜角が含まれてよい。
　照明部４１０が集光系照明である場合、光源４１２が照射する光の照射角度には、表面３０２において光が集光する集光角度Φが含まれてもよい。照明部４１０が集光レンズ４３８を有する場合、集光角度Φは、集光レンズ４３８の特性から定められる。光源４１２が照射する光の照射角度には、光源４１２から光が発散する発散角度φが含まれてもよい。
　光源４１２が照射する光の偏光状態とは、光の偏光の有無、偏光の方向等が含まれる。光線空間データには、光の照射角度が少なくとも含まれてよく、光源４１２の位置、種類、数、光源４１２が照射する光のスペクトル、強度、照射角度、偏光状態の一部または全部が含まれてもよい。
　このような光線空間データに基づいて基底関数を更新することで、照明条件によるスペクトル測定データへの影響を考慮して、基底関数を更新できる。このため、基底関数を精度よく更新できる。
　図１２は、情報管理装置１００の他の例を示す図である。本例の情報管理装置１００は、図１に示した構成に加えてスペクトル推定部２０８を更に備える。図１２においては、画像生成装置２０７を合わせて示しており、端末２００の画像生成装置２０７以外の構造を省略している。
　本例の画像生成装置２０７は、画像取得部１０が取得した撮像画像１２のデータを付して、情報管理装置１００に基底データを要求する。管理装置側データ取得部１０４は、撮像画像１２のデータを取得する。スペクトル推定部２０８は、撮像画像データと、基底記憶部１０８から取得した基底データとに基づいて、撮像画像１２に含まれる対象物３００のスペクトルを推定する。具体的には、スペクトル推定部２０８は、対象物のスペクトル係数４２を算出する。スペクトル推定部２０８は、図２に示したスペクトル係数算出部４０と同一または同様の処理を行ってよい。管理装置側データ送信部１０２は、基底データに加えて、スペクトル推定部２０８が生成したスペクトルに関する情報（すなわち、スペクトル係数４２）を端末２００に送信する。
　画像生成装置２０７の画像生成部５０は、関数設定部３０が設定した分光関数３６と、情報管理装置１００から取得したスペクトル係数４２とに基づいて、分光画像を生成する。この場合、端末２００におけるデータ処理の負荷を更に低減できる。
　図１３は、本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ１２００の例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の１又は複数の「部」として機能させ、又は当該オペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。このようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。当該機能は、ＦＰＧＡで実装してもよい。一例としてプログラムは、コンピュータ１２００を、情報管理装置１００、端末２００および画像生成装置２０７のうちのいずれかとして機能させる。
　本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、グラフィックコントローラ１２１６、及びディスプレイデバイス１２１８を含み、これらはホストコントローラ１２１０によって相互に接続される。コンピュータ１２００はまた、通信インターフェース１２２２、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、これらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続される。コンピュータはまた、ＲＯＭ１２３０及びキーボード１２４２のようなレガシの入出力ユニットを含み、これらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続される。
　ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、これにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又は当該グラフィックコントローラ１２１６自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示させる。
　通信インターフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤ－ＲＯＭドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２０１から読み取り、ハードディスクドライブ１２２４にＲＡＭ１２１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
　ＲＯＭ１２３０は、内部に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
　プログラムが、ＤＶＤ－ＲＯＭ１２０１又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース１２２２に対し、通信処理を命令してよい。通信インターフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭ１２０１、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
　また、ＣＰＵ１２１２は、ハードディスクドライブ１２２４、ＤＶＤ－ＲＯＭドライブ１２２６（ＤＶＤ－ＲＯＭ１２０１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
　様々なタイプのプログラム、データ、テーブル、及びデータベースのような、様々なタイプの情報が、情報処理されるべく、記録媒体に格納されてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、これにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　以上の説明によるプログラム又はソフトウェアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、これにより、プログラムをコンピュータ１２００にネットワークを介して提供する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０・・・画像取得部、１２・・・撮像画像、２２・・・基底関数、２３・・・帯域、２０・・・基底取得部、３０・・・関数設定部、３２・・・仮想分光フィルタ、３６・・・分光関数、４０・・・スペクトル係数算出部、４２・・・スペクトル係数、４４・・・ビット、４６・・・領域、４８・・・領域、５０・・・画像生成部、１００・・・情報管理装置、１０２・・・管理装置側データ送信部、１０４・・・管理装置側データ取得部、１０６・・・基底更新部、１０８・・・基底記憶部、２００・・・端末、２０２・・・端末側データ送信部、２０４・・・端末側データ取得部、２０６・・・スペクトル取得部、２０７・・・画像生成装置、２０８・・・スペクトル推定部、２５０・・・情報管理システム、２５２・・・ネットワーク、３００・・・対象物、３０２・・・表面、４１０・・・照明部、４１２・・・光源、４３８・・・レンズ、４４０・・・光軸、８０２・・・スペクトル画像生成部、８０４・・・画像生成部、８０６・・・スペクトル画像、１２００・・・コンピュータ、１２０１・・・ＤＶＤ－ＲＯＭ、１２１０・・・ホストコントローラ、１２１２・・・ＣＰＵ、１２１４・・・ＲＡＭ、１２１６・・・グラフィックコントローラ、１２１８・・・ディスプレイデバイス、１２２０・・・入出力コントローラ、１２２２・・・通信インターフェース、１２２４・・・ハードディスクドライブ、１２２６・・・ＤＶＤ－ＲＯＭドライブ、１２３０・・・ＲＯＭ、１２４０・・・入出力チップ、１２４２・・・キーボード

Claims (12)

  1. 　対象物の情報を管理する情報管理装置であって、
    　１つまたは複数のカテゴリに分類され、前記対象物のスペクトルに関する基底データを記憶する基底記憶部と、
    　前記対象物のスペクトル測定データ及び前記カテゴリに関する情報を取得するデータ取得部と、
    　前記データ取得部が取得したデータに基づいて、前記基底記憶部が記憶している前記基底データを更新する基底更新部と
    　を備える情報管理装置。
  2. 　前記データ取得部は、前記スペクトル測定データを生成した際の照明の光線空間を示す光線空間データを取得し、
    　前記基底更新部は、前記光線空間データを用いて前記基底データを更新する
    　請求項１に記載の情報管理装置。
  3. 　前記データ取得部は、ネットワークを介して複数の端末から前記スペクトル測定データ及び前記カテゴリに関する情報を取得する
    　請求項１または２に記載の情報管理装置。
  4. 　前記複数の端末のうちのいずれかの端末からの要求に応じて、前記基底記憶部が記憶した前記基底データを、前記端末に送信するデータ送信部を更に備える
    　請求項３に記載の情報管理装置。
  5. 　前記データ送信部は、前記端末から指定された前記対象物が属するカテゴリに対応する前記基底データを前記端末に送信する
    　請求項４に記載の情報管理装置。
  6. 　前記データ取得部は、前記対象物を撮像した撮像画像を前記端末から取得し、
    　前記撮像画像と前記基底データとに基づいて前記対象物のスペクトルを推定するスペクトル推定部を備え、
    　前記データ送信部は、推定したスペクトルに関する情報を前記端末に送信する
    請求項４または５に記載の情報管理装置。
  7. 　請求項４または５に記載の情報管理装置と接続可能な端末であって、
    　前記対象物を撮像した撮像画像を取得する画像取得部と、
    　前記情報管理装置から前記基底データを取得する端末側データ取得部と、
    　前記撮像画像と前記基底データとに基づいて前記対象物の分光画像を生成する画像生成部と
    　を備える端末。
  8. 　請求項６に記載の情報管理装置と接続可能な端末であって、
    　前記対象物を撮像した撮像画像を取得する画像取得部と、
    　前記情報管理装置に対して、前記撮像画像を送信する端末側データ送信部と、
    　前記情報管理装置から前記対象物のスペクトルに関する情報を取得する端末側データ取得部と、
    　を備える端末。
  9. 　請求項４または５に記載の情報管理装置と、
    　請求項７に記載の端末と
    　を備える情報管理システム。
  10. 　請求項６に記載の情報管理装置と、
    　請求項８に記載の端末と
    　を備える情報管理システム。
  11. 　コンピュータを、請求項１から６のいずれか一項に記載の情報管理装置として機能させるためのプログラム。
  12. 　コンピュータを、請求項７または８に記載の端末として機能させるためのプログラム。
PCT/JP2019/000209 2018-02-13 2019-01-08 情報管理装置、端末、情報管理システムおよびプログラム WO2019159565A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020500321A JPWO2019159565A1 (ja) 2018-02-13 2019-01-08 情報管理装置、端末、情報管理システムおよびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-023272 2018-02-13
JP2018023272 2018-02-13

Publications (1)

Publication Number Publication Date
WO2019159565A1 true WO2019159565A1 (ja) 2019-08-22

Family

ID=67619295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000209 WO2019159565A1 (ja) 2018-02-13 2019-01-08 情報管理装置、端末、情報管理システムおよびプログラム

Country Status (2)

Country Link
JP (1) JPWO2019159565A1 (ja)
WO (1) WO2019159565A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4917500A (en) * 1987-12-03 1990-04-17 Siemens Aktiengesellschaft Color sensor system for the recognition of objects with colored surfaces
JP2004336657A (ja) * 2003-05-12 2004-11-25 Minolta Co Ltd 分光画像撮影システムおよび分光画像撮影システムの調整方法
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
US20140293091A1 (en) * 2012-05-21 2014-10-02 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
WO2016111376A1 (ja) * 2015-01-09 2016-07-14 日立マクセル株式会社 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196333A (ja) * 1997-09-16 1999-04-09 Olympus Optical Co Ltd カラー画像処理装置
US8154612B2 (en) * 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
JP2015201015A (ja) * 2014-04-07 2015-11-12 富士通株式会社 熱流体解析プログラム、情報処理装置および熱流体解析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4917500A (en) * 1987-12-03 1990-04-17 Siemens Aktiengesellschaft Color sensor system for the recognition of objects with colored surfaces
JP2004336657A (ja) * 2003-05-12 2004-11-25 Minolta Co Ltd 分光画像撮影システムおよび分光画像撮影システムの調整方法
JP2006084425A (ja) * 2004-09-17 2006-03-30 Tokyo Institute Of Technology マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
US20140293091A1 (en) * 2012-05-21 2014-10-02 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
WO2016111376A1 (ja) * 2015-01-09 2016-07-14 日立マクセル株式会社 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法

Also Published As

Publication number Publication date
JPWO2019159565A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
US11830188B2 (en) Image analysis method, apparatus, non-transitory computer readable medium, and deep learning algorithm generation method
Perez-Sanz et al. Plant phenomics: An overview of image acquisition technologies and image data analysis algorithms
Bendig et al. Combining UAV-based plant height from crop surface models, visible, and near infrared vegetation indices for biomass monitoring in barley
US10242248B2 (en) Image adaptive physiologically plausible color separation
Wang et al. Outdoor color rating of sweet cherries using computer vision
US20110057946A1 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
CN109827957B (zh) 一种基于计算机视觉的水稻叶片spad值估测方法及系统
Lati et al. Plant growth parameter estimation from sparse 3D reconstruction based on highly-textured feature points
CN104198325A (zh) 基于计算机视觉的烟丝中梗丝比例测定方法
CN115015258A (zh) 一种农作物长势与土壤水分关联确定方法及相关装置
JP7077646B2 (ja) 画像生成装置、撮像システム、プログラム、画像生成方法、情報管理システムおよび端末
JP6201507B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11922687B2 (en) Information processing apparatus, information processing method, and program
CN117730655A (zh) 水稻种子活力定量分析方法、装置、设备及存储介质
WO2021195817A1 (zh) 一种提取待测物质的光谱信息的方法
WO2019159565A1 (ja) 情報管理装置、端末、情報管理システムおよびプログラム
JP5866534B2 (ja) 画像計測装置及び画像計測方法
KR102504318B1 (ko) 스마트 엣지 디바이스 기반의 생육 분석 방법 및 그를 위한 장치 및 시스템
US11222206B2 (en) Harvest confirmation system and method
US11768152B2 (en) Information processing system and spectroscopic measuring instrument
JP2021001777A (ja) 植物の生育状態評価方法および評価装置
US20230217121A1 (en) Processing apparatus, method, and non-transitory computer-readable recording medium
Ismail et al. Development of imaging application for oil palm fruit maturity prediction
BR102023011542A2 (pt) Sistema híbrido e método de detecção de mudança de imagem de cultura
JP2020139926A (ja) 画像解析装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19753664

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020500321

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19753664

Country of ref document: EP

Kind code of ref document: A1