WO2019142699A1 - 分光データ管理装置、測定装置および測定システム - Google Patents

分光データ管理装置、測定装置および測定システム Download PDF

Info

Publication number
WO2019142699A1
WO2019142699A1 PCT/JP2019/000218 JP2019000218W WO2019142699A1 WO 2019142699 A1 WO2019142699 A1 WO 2019142699A1 JP 2019000218 W JP2019000218 W JP 2019000218W WO 2019142699 A1 WO2019142699 A1 WO 2019142699A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
light
unit
image
measurement
Prior art date
Application number
PCT/JP2019/000218
Other languages
English (en)
French (fr)
Inventor
潤弥 萩原
健太郎 彦坂
洋志 榊原
清茂 芝崎
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=67301740&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2019142699(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2019566429A priority Critical patent/JP6860090B2/ja
Publication of WO2019142699A1 publication Critical patent/WO2019142699A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration

Definitions

  • the present invention relates to a spectral data management device, a measurement device, and a measurement system.
  • the measured spectrum may change.
  • the present invention relates to image data indicating an image obtained by imaging at least a part of an object, spectrum data indicating a spectrum of the object in a measurement area included in the image, and illumination light for at least the measurement area.
  • Data acquisition unit for acquiring light beam space data indicating at least one of light source position, light source type, number of light sources, wavelength, irradiation angle, and polarization, image data, spectrum data, and light beam space data are stored in association
  • a spectral data management apparatus including:
  • a measuring device for measuring spectral data of an object.
  • a measuring apparatus captures an image of at least a part of an object to generate image data, and a measurement unit that measures a spectrum of the object to generate spectrum data in a measurement region included in the image
  • An illumination unit for illuminating the object with illumination light; and a data processing unit for storing and / or outputting image data, spectrum data, and ray space data in association with each other. It is data indicating at least one of the position of a light source, the type of light source, the number of light sources, the wavelength, the irradiation angle, and the polarization with respect to illumination light.
  • a measurement system comprising the spectral data management device according to the first aspect and the measurement device according to the second aspect.
  • FIG. 2 is a diagram illustrating an example of a lighting unit 110. It is a figure which shows the other example of the illumination part 110. FIG. It is a figure which shows the other example of the illumination part 110. FIG. It is a figure which shows irradiation angle (theta) m of the illumination light which injects into the measurement area
  • FIG. 7 is a diagram showing another configuration example of the measuring apparatus 100. It is a figure which shows the irradiation position 148 of the spot light in the image 130. FIG. It is a figure which shows the other example which sets the measurement area
  • FIG. FIG. 6 is a diagram illustrating an example of processing of a data processing unit 124 or an arithmetic unit 230.
  • FIG. 7 is a diagram showing another configuration example of the measuring apparatus 100.
  • FIG. 18 is a diagram illustrating another operation example of the rotation control unit 144.
  • FIG. 1 is a diagram showing an example of the configuration of a measurement system 10 according to an embodiment of the present invention.
  • the measurement system 10 includes a measurement device 100 that measures the spectral data of the object 300, and a spectral data management device 200 that manages the spectral data of the object 300.
  • the spectral data management device 200 of this example acquires and manages the spectral data measured by the measuring device 100.
  • the spectral data management device 200 is, for example, a computer including a CPU, a memory, an interface, and the like.
  • the spectral data management device 200 may be separated from the measuring device 100, or may be incorporated in the housing of the measuring device 100.
  • the spectral data management device 200 may manage spectral spectrum data measured by a plurality of measurement devices 100. In this case, it is preferable that the spectral data management device 200 manage spectral data for each measuring device 100.
  • the measuring apparatus 100 includes an imaging unit 104, a spectrometry unit 122, an illumination unit 110, and a data processing unit 124.
  • the imaging unit 104 generates image data obtained by capturing an image of at least a part of the object 300.
  • the imaging unit 104 includes a plurality of pixels arranged in two dimensions, and captures a two-dimensional image of the object 300.
  • the sensor included in the imaging unit 104 may be an image sensor such as a CCD or a CMOS.
  • the sensor included in the imaging unit 104 may be sensitive to light of wavelengths in the visible band, and may be sensitive to light of wavelengths outside the visible band, such as near infrared.
  • the measuring apparatus 100 may include a photographing lens 106 provided between the object 300 and the imaging unit 104.
  • the imaging lens 106 focuses light from the object 300 on the imaging surface of the imaging unit 104.
  • the spectrometry unit 122 measures the spectrum of the object 300 in a predetermined measurement area of the object 300 to generate spectrum data.
  • the measurement area is an area included in the image captured by the imaging unit 104.
  • the spectroscopic measurement unit 122 may include an optical system 120 including an optical fiber. The optical system 120 transmits the light from the measurement area of the object 300 to the spectrometry unit 122.
  • the measuring device 100 may include a branch member 108.
  • the branching member 108 branches the light from the object 300 and causes the light to be incident on the imaging unit 104 and the spectrometry unit 122.
  • the branching member 108 in this example is a beam splitter.
  • the beam splitter of this example transmits a part of the light from the object 300 and makes it enter the imaging unit 104, and reflects another part of the light from the object 300 and makes it enter the spectrometry unit 122. .
  • the measuring device 100 may include an objective lens 114.
  • the imaging lens 106 and the objective lens 114 may each have one or more lenses.
  • the objective lens 114 condenses the light from the measurement area of the object 300 on the incident surface of the optical system 120.
  • the illumination unit 110 illuminates the object 300 with illumination light.
  • the lighting unit 110 may have one or more light sources 112.
  • the illumination unit 110 may have variable illumination conditions such as the position and type of the light source 112.
  • data indicating illumination conditions in the illumination unit 110 will be referred to as ray space data.
  • the light space data is data indicating at least one of the position of the light source 112 with respect to the illumination light with respect to the measurement area, the type of the light source 112, the number of light sources 112, the wavelength, the irradiation angle, and the polarization.
  • the spectrum data measured by the spectrometry unit 122 may change.
  • surface reflected light, surface scattered light, and internally scattered light in the measurement region of the object 300 are incident on the spectrometry unit 122.
  • the surface reflected light is a component that the incident light is specularly reflected and emitted on the surface of the object 300.
  • the surface scattered light is emitted by overlapping the diffused light component in which the incident light is scattered on the surface of the object 300 and the reflected component which is spread and reflected (diffusely reflected) because the surface of the object 300 has a fine structure.
  • the internally scattered light is a component of incident light scattered and emitted inside the object 300.
  • the illumination conditions such as the incident angle of light change, the surface reflected light, the surface scattered light, and the internally scattered light that are incident on the spectrometry unit 122 may change.
  • the incident angle of light changes, the emission angle and the light amount of surface reflected light change, and the light amounts of the surface scattering component and the internal scattering component also change accordingly.
  • the spectral data is acquired without considering illumination conditions, there are cases where spectral data can not be properly processed or compared.
  • the data processing unit 124 stores the image data captured by the imaging unit 104, the spectrum data measured by the spectrometry unit 122, and the light space data in the illumination unit 110 in association with each other and / or in association with each other. Output to When the spectral data management device 200 is provided in the measurement device 100, the data acquisition unit 210 may function as the data processing unit 124. It is preferable that the image data, the spectral data, and the light space data be data acquired at the same timing.
  • the data acquisition unit 210 of the spectral data management device 200 acquires image data, spectrum data, and light space data from the data processing unit 124.
  • the data acquisition unit 210 may acquire image data, spectrum data, and ray space data generated by a plurality of measurement devices 100.
  • the storage unit 220 stores the image data, the spectrum data, and the ray space data in association with each other.
  • the storage unit 220 may manage image data, spectrum data, and light space data for each measuring device 100.
  • the operation unit 230 performs a predetermined operation on each data stored in the storage unit 220.
  • the storage unit 220 may store the calculation result of the calculation unit 230.
  • the calculation unit 230 can appropriately correct the spectrum data according to the illumination condition, and can also classify the spectrum data for each similar illumination condition. Therefore, since the spectrum of the object 300 in consideration of the illumination condition can be acquired, the accuracy in determining the type of the object 300 and grasping the state is improved.
  • the image data may include information indicating each measurement area.
  • the measurement area may be represented by coordinates (X, Y) in the image.
  • the information indicating the measurement area in the present example is an image of the spot light included in the image data.
  • the measuring apparatus 100 may include a spot irradiation unit 116 that emits spot light.
  • the spot irradiation unit 116 is, for example, a laser or an LED.
  • the spot irradiation unit 116 irradiates spot light having the same optical axis as the optical axis of the spectrometry unit 122 (in this example, the optical axis of the optical system 120).
  • the spot irradiation unit 116 may have mirrors 118 and 119 that control the optical path of the spot light emitted from the light element of the laser or the LED.
  • the mirror 119 of this example transmits at least a part of the light from the object 300 to the optical system 120 and reflects at least a part of the light from the optical element of the spot irradiation unit 116 in the direction of the object 300.
  • the position of the measurement region of the object 300 at which the spectrometry unit 122 measures the spectrum substantially matches the position where the spot light is irradiated. Therefore, the position of the measurement area can be managed by the position of the spot light in the image data.
  • the spot irradiation unit 116 may emit light of a wavelength not included in the wavelength band measured by the spectrometry unit 122, and may emit light of a wavelength included in the wavelength band measured by the spectrometry unit 122.
  • the spot irradiation unit 116 may emit light in the visible band.
  • the light which the spot irradiation part 116 injects as an example is white light.
  • the wavelength band of the light emitted from the spot irradiation unit 116 may be determined in advance, and may be, for example, an ultraviolet band or an infrared band, or a specific wavelength band of the visible band (for example, red Etc.).
  • FIG. 2 is a view showing an example of an image 130 obtained by imaging at least a part of the object 300.
  • the image 130 in this example includes the entire object 300.
  • the image 130 includes the measurement area 132.
  • the position of the measurement area 132 can use the position of the spot light in the image 130.
  • the image 130 may include an optical axis area 134 that indicates the position where the optical axis of the light from the light source 112 of the illumination unit 110 intersects the surface of the object 300.
  • the optical axis area 134 may be a brighter portion of the object 300 than the other areas.
  • the optical axis area 134 is an area where the light source 112 is reflected on the surface of the object 300.
  • the center of the optical axis area 134 may be the position of the optical axis.
  • the data processing unit 124 or the calculation unit 230 may calculate the relative position of the optical axis area 134 and the measurement area 132. As the distance between the optical axis area 134 and the measurement area 132 decreases, the component of surface reflected light on the surface of the object 300 increases in the light entering the spectrometry unit 122, and the spectrum changes.
  • the image 130 may include the characteristic portion 136 of the object 300.
  • the object 300 is a fruit and the portion 136 is a Heta portion of a fruit.
  • the data processing unit 124 or the calculation unit 230 may calculate the relative position of the portion 136 and the measurement area 132. This allows management of spectral data of the measurement area 132 within a particular range for the portion 136. For this reason, it is possible to compare spectrum data in the measurement region 132 at the same position in a plurality of objects 300 of the same type.
  • the data processing unit 124 and the data acquisition unit 210 may acquire spectrum data in a plurality of measurement areas 132 for the same object 300.
  • the spectrum data of the plurality of measurement areas 132 may be acquired in order or may be acquired simultaneously.
  • the measuring apparatus 100 may include a plurality of optical systems 120 and a plurality of spot irradiation units 116.
  • the plurality of measurement areas 132 are areas different in position on the object 300.
  • the data processing unit 124 and the storage unit 220 may associate a plurality of measurement areas 132 with one image 130, and may associate one image 130 with each measurement area 132.
  • the calculation unit 230 may determine the type of the object 300 based on the image 130.
  • the computing unit 230 may determine the type of the object 300 based on the spectrum data.
  • the computing unit 230 may determine the type of the object 300 by, for example, comparing template data predetermined for each type of the object 300 with the image 130 or the spectrum data.
  • the type of the object 300 is, for example, the type of fruit such as oranges and apples.
  • the storage unit 220 may store the type of the object 300 in association with the image data, the spectrum data, and the light space data.
  • the type of the object 300 may include further subdivided types. For example, if it is a kind of fruit, it is information on the production area of oranges, varieties, and the like.
  • the object 300 may be a crop, meat, processed food other than fruit, or a living body or a tissue thereof. Furthermore, the computing unit 230 may determine the state of the object 300 by the above-described determination method.
  • the determination of the state of the object 300 includes, for example, determination of the sugar content and the amount of water obtained by detecting the components constituting the object 300 and the amount thereof, or an abnormal state in which rot and foreign matter are mixed It is discrimination.
  • the measuring apparatus 100 determines the type, state, and the like of the object 300, for example, information serving as a determination criterion when the user purchases the object 300, and the object 300 in which the user is food. Can provide information to eat with confidence.
  • FIG. 3 is an example of spectrum data measured by the spectrometry unit 122.
  • the wavelength resolution in spectral data is assumed to have a resolution higher than a predetermined threshold. For example, when the wavelength resolution of image data imaged at a plurality of wavelengths is set as a threshold, spectrum data has a resolution higher than the wavelength resolution (a plurality of wavelength intervals) of the image data.
  • the spectrum data of this example is data in the infrared band, the wavelength band of the spectrum data is not limited to this.
  • the spot irradiating unit 116 may irradiate spot light.
  • the spot light is light having substantially uniform intensity over a predetermined wavelength band.
  • the wavelength band may be, for example, white light in the visible band, but is not limited thereto.
  • the spectrometry unit 122 may generate spectrum data of a wavelength band corresponding to the type of the object 300 among the wavelength bands of the spot light. When the wavelength band to be measured is different depending on the type of the object 300, the spectrometry unit 122 can acquire appropriate spectrum data.
  • the type of the object 300 may be determined in advance by the measuring device 100 based on the image 130 or the like, and may be set by the user or the like.
  • the light space data includes at least one of the wavelength of the spot light and the irradiation angle.
  • FIG. 4 is a diagram showing an example of the illumination unit 110.
  • the light beam space data indicating the illumination condition includes data indicating at least one of the position of the light source 112, the type of the light source 112, the number of light sources 112, the wavelength of light irradiated by the light source 112, the irradiation angle, and the polarization state.
  • the beam space data may include other parameters that may affect the spectral data measured by the spectroscopic measurement unit 122.
  • the light space data may include intensity data of light emitted from each light source 112.
  • the data processing unit 124 may manage ray space data for each light source 112.
  • the position of the light source 112 is a three-dimensional relative position (x, y, z) with respect to the object 300.
  • the position of the light source 112 may be relative to the measurement area of the object 300.
  • the ray space data may include data indicating the position of each light source 112.
  • the type of light source 112 may be information regarding the means for generating light.
  • the type of the light source 112 is information indicating whether the light source 112 is a halogen lamp, a xenon lamp, an LED, or the like.
  • the lighting unit 110 may have a plurality of types of light sources.
  • the number of light sources 112 refers to the number of light sources 112 irradiating light to the object 300 at the time of measurement of spectral data.
  • the wavelength of the light emitted by the light source 112 may be the wavelength of the main component having the largest intensity in the light, or may be a spectrum covering a predetermined wavelength band.
  • the irradiation angle of the light emitted by the light source 112 may include the angle ⁇ a of the optical axis 140 of the light.
  • the optical axis 140 is the central axis of the light emitted by the light source 112.
  • the angle ⁇ a may be an angle with respect to the surface 302 of the object 300 or may be an angle with respect to a predetermined reference plane. If the surface 302 of the object 300 has a slope, the measuring device 100 may measure the angle of the slope in the measurement area.
  • the ray space data may include tilt angles in the measurement area of the surface 302 of the object 300.
  • the irradiation angle of the light emitted by the light source 112 may include a condensing angle ⁇ ⁇ at which the light is condensed on the surface 302 of the measuring device 100.
  • the illumination unit 110 includes the focusing lens 138
  • the focusing angle ⁇ is determined from the characteristics of the focusing lens 138.
  • the irradiation angle of the light emitted by the light source 112 may include a divergence angle ⁇ at which the light from the light source 112 diverges.
  • the polarization state of light emitted by the light source 112 includes the presence or absence of polarization of light, the direction of polarization, and the like.
  • the light space data may include at least the irradiation angle of the light, the position of the light source 112, the type of the light source 112, the number of light sources 112, the wavelength of light irradiated by the light source 112, the irradiation angle, a part of polarization state or All may be included.
  • the image data and the spectrum data of the object 300 can be acquired with a simple configuration. Moreover, since spectral data and image data can be acquired simultaneously, the illumination conditions at the time of acquisition of spectral data and image data can be made the same.
  • the imaging unit 104 and the spectrometry unit 122 may acquire image data and spectrum data with respect to the same object 300 at a plurality of timings. Thereby, the temporal change of the object 300 can be measured. For example, it is possible to acquire image data and spectrum data according to changes in freshness of fruits and the like.
  • FIG. 5 is a diagram showing another example of the illumination unit 110.
  • the illumination unit 110 in this example is a parallel illumination that irradiates the object 300 with parallel light.
  • the illumination unit 110 may include a lens 139 that collimates the light from the light source 112.
  • FIG. 6 is a diagram showing another example of the illumination unit 110.
  • the illumination unit 110 in this example is diffuse illumination that illuminates the object 300 with diffuse light.
  • the light beam space data may include information indicating whether the illumination unit 110 is light collection system illumination, parallel system illumination, or diffuse illumination.
  • FIG. 7 is a diagram showing the irradiation angle ⁇ m of the illumination light incident on the measurement area 132.
  • the illumination unit 110 is diffuse illumination.
  • the irradiation angle ⁇ m is a straight line 141 connecting the center position (x1, y1, z1) of the light emission surface of the light source 112 and the center position (x2, y2, z2) of the measurement region 132, and the surface 302 of the object 300
  • the angle of The ray space data may include data indicating the irradiation angle ⁇ m.
  • the data processing unit 124 or the computing unit 230 may calculate the position (x2, y2, z2) of the measurement area 132 based on the image data of the image 130.
  • the data processing unit 124 or the calculation unit 230 may calculate a two-dimensional position (x2, y2) parallel to the imaging plane based on the image data of the image 130.
  • the imaging unit 104 may include a depth position detection unit that detects the position of the measurement region 132 in the z-axis direction perpendicular to the imaging surface.
  • the data processing unit 124 or the calculation unit 230 may use, as position data of the measurement area 132 in the z-axis direction, a numerical value predetermined for each type of the object 300.
  • the data processing unit 124 or the calculation unit 230 is configured to illuminate illumination light incident on each measurement area 132 based on the position (x2, y2, z2) of each measurement area 132 and the position (x1, y1, z1) of light source 112
  • the irradiation angle ⁇ m of may be calculated.
  • the position (x1, y1, z1) of the light source 112 may be preset in the data processing unit 124.
  • the data processing unit 124 may determine the position of the light source 112 using position control data of the light source 112.
  • the data processing unit 124 or the calculation unit 230 may calculate the irradiation angle of the illumination light for each pixel or each pixel block included in the measurement area 132.
  • the pixel block is a block including a plurality of pixels.
  • the data processing unit 124 and the storage unit 220 may store ray space data for each pixel or pixel block included in the measurement area 132.
  • FIG. 8 is a view showing an example of a plurality of spectrum data measured for a plurality of measurement areas 132.
  • the measurement area 132-1 is an area included in the optical axis area 134
  • the measurement area 132-2 is an area separated from the optical axis area 134
  • the measurement area 132-3 is an optical axis area 134. Area further away from the
  • the spectrum data of the object changes. This is considered to be because the surface reflected light, the surface scattered light and the internally scattered light contained in the light incident on the spectrometry unit 122 change according to the distance. For example, in the vicinity of the optical axis area 134, the component of surface reflected light increases.
  • the data processing unit 124 and the storage unit 220 may associate the distance between the measurement region 132 and the optical axis region 134 with spectrum data.
  • the calculation unit 230 may correct each spectrum data based on the distance. By such processing, spectrum data can be managed according to the distance between the measurement area 132 and the optical axis area 134.
  • the correction of the spectrum data is not limited to the distance.
  • a correction value for correcting spectrum data of the measurement area 132 corresponding to a difference between the reference and each parameter of the ray space data of the measurement area 132 based on the light space data in the optical axis area 134 and the spectrum data A correction coefficient may be provided.
  • the correction value corresponding to each parameter may be set by the calculation unit 230 by collecting results of measuring a plurality of objects (and measurement regions) and performing statistical analysis or machine learning.
  • FIG. 9 is a diagram showing a data structure of data stored in the storage unit 220.
  • spectrum data and light space data are associated as tag information of imaging data (corresponding to image data).
  • the tag information of the imaging data may include file data for explaining the details of the file of the image.
  • File data, spectral data, and light space data are stored in a hierarchical structure in tag information of the imaging data. The detailed information contained in each is as described above.
  • the data to be stored is not limited to the information shown in FIG.
  • FIG. 10 is a diagram showing another configuration example of the measuring apparatus 100. As shown in FIG.
  • the measuring apparatus 100 of this example further includes a rotation control unit 144 in addition to the measuring apparatus 100 shown in FIG.
  • the other configuration is the same as that of the measuring apparatus 100 shown in FIG.
  • the branch member 108 in this example is rotatably provided. As the branching member 108 rotates, the position of the measurement area 132 measured by the spectrometry unit 122 and the irradiation position of the spot light change.
  • the rotation control unit 144 controls the rotation of the branch member 108 to set the position of the measurement area 132 in the image 130.
  • the data processing unit 124 and the storage unit 220 may manage data indicating the amount of rotation of the branch member 108 in association with the spectrum data.
  • FIG. 11 is a view showing the irradiation position 148 of the spot light in the image 130.
  • the rotation control unit 144 may control the rotation of the branch member 108 based on the irradiation position 148 of the spot light included in the image 130.
  • the rotation control unit 144 may control the rotation of the branch member 108 such that the irradiation position 148 is in a predetermined relative position with respect to the optical axis area 134 or the portion 136.
  • FIG. 12 is a diagram showing another example of setting the measurement area 132. As shown in FIG. In this example, the user of the measurement apparatus 100 adjusts the position of the measurement area 132 based on the irradiation position 148 of the spot light in the image 130.
  • the measuring apparatus 100 may include a display unit that displays the image 130 to a user or the like. The user or the like can adjust the position of the measurement area 132 based on the displayed image 130.
  • the measuring apparatus 100 has an input unit 145 for the user or the like to designate the position of the measurement area 132 on the image 130.
  • the input unit 145 may include means for moving a cursor or the like displayed on the image 130.
  • the measuring apparatus 100 controls the branch member 108 and the like according to the input from the input unit 145. Thereby, the irradiation position 148 on the image 130 is moved as shown by the arrow. When the irradiation position 148 reaches a desired position, the user or the like may perform an input to determine the position as the measurement area 132.
  • FIG. 13 is a diagram illustrating an example of processing of the data processing unit 124 or the calculation unit 230.
  • the data processing unit 124 or the calculation unit 230 of this example corrects the position of the measurement region 132 in the image 130 based on any or all of the refractive index, rotation angle and thickness of the branching member 108 (beam splitter). .
  • the data processing unit 124 or the calculation unit 230 corrects the irradiation position 148 of the spot light in the image 130 based on the refractive index, the rotation angle, and the thickness of the branching member 108 to calculate the position of the measurement region 132.
  • the reflection angle at the branching member 108 may be different between the spot light and the illumination light. Even in such a case, the position of the measurement area 132 can be correctly detected by performing the correction operation by the data processing unit 124 or the operation unit 230.
  • a function or a table in which the values of the refractive index, the rotation angle, and the thickness of the branch member 108 are associated with the correction coefficient may be set in advance.
  • FIG. 14 is a view showing another configuration example of the measuring apparatus 100. As shown in FIG.
  • the measuring apparatus 100 of this example includes a focus control unit 150.
  • the other configuration is the same as that of the measuring device 100 of any aspect described in FIGS. 1 to 13.
  • the focus control unit 150 controls the focus position of the objective lens 114 based on the size R (in this example, the diameter) of the spot light in the image 130.
  • the focus control unit 150 may control so that the size R of the spot light is the same as or larger than the measurement area 132.
  • the size of the measurement area 132 may be preset in the focus control unit 150.
  • FIG. 15 is a diagram illustrating another operation example of the rotation control unit 144.
  • the imaging unit 104 of this example has a plurality of pixels arranged two-dimensionally at predetermined pixel pitches Px and Py.
  • Px is a pitch in the X axis direction
  • Py is a pitch in the Y axis direction.
  • the rotation control unit 144 rotates the branch member 108 to obtain image data of at least two images 130 in which the position of the imaging region of the image is shifted by distances ⁇ x and ⁇ y smaller than the pixel pitch.
  • 3 is imaged by the imaging unit 104.
  • the positions of the image 130-1 and the image 130-2 in the Y-axis direction are the same, and the positions of the image 130-1 and the image 130-3 in the X-axis direction are the same.
  • the data processor 124 or the calculator 230 superimposes these images 130-1, 130-2, 130-3. This makes it possible to generate an image 130-4 having a higher resolution than the pixel pitch.
  • measuring system 100 measuring device 104: imaging unit 106: photographing lens 108: branching member 110: illumination unit 112: light source 114 ⁇ ⁇ Objective lens, 116 ⁇ ⁇ ⁇ spot irradiation unit, 118 ⁇ ⁇ ⁇ mirror ⁇ 119 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ optical system, 122 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ data processing unit ⁇ ⁇ Image, 132 ⁇ ⁇ ⁇ Measurement area, 134 ⁇ ⁇ ⁇ Optical axis area, 136 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

対象物の少なくとも一部を撮像した画像を示す画像データ、画像に含まれる測定領域における対象物のスペクトルを示すスペクトルデータ、および、少なくとも測定領域に対する照明光に関する、光源の位置、光源の種類、光源の数、波長、照射角度、偏光の少なくともいずれかを示す光線空間データを取得するデータ取得部と、画像データ、スペクトルデータおよび光線空間データを対応付けて記憶する記憶部とを備える分光データ管理装置を提供する。

Description

分光データ管理装置、測定装置および測定システム
　本発明は、分光データ管理装置、測定装置および測定システムに関する。
　従来、対象物の分光スペクトルを測定する分光測定装置が知られている（例えば、特許文献１参照）。
　特許文献１　特開２０１２－１８９３４２号公報
　対象物に照射する照明光の条件により、測定される分光スペクトルが変化する場合がある。
　本発明の第１の態様においては、対象物の少なくとも一部を撮像した画像を示す画像データ、画像に含まれる測定領域における対象物のスペクトルを示すスペクトルデータ、および、少なくとも測定領域に対する照明光に関する、光源の位置、光源の種類、光源の数、波長、照射角度、偏光の少なくともいずれかを示す光線空間データを取得するデータ取得部と、画像データ、スペクトルデータおよび光線空間データを対応付けて記憶する記憶部とを備える分光データ管理装置を提供する。
　本発明の第２の態様においては、対象物のスペクトルデータを測定する測定装置を提供する。測定装置は、対象物の少なくとも一部の画像を撮像して画像データを生成する撮像部と、画像に含まれる測定領域において、対象物のスペクトルを測定してスペクトルデータを生成する分光測定部と、対象物に照明光を照射する照明部と、画像データ、スペクトルデータ、および、光線空間データを対応付けて記憶および／または出力するデータ処理部とを備え、光線空間データは、少なくとも測定領域に対する照明光に関する光源の位置、光源の種類、光源の数、波長、照射角度、偏光の少なくともいずれかを示すデータである。
　本発明の第３の態様においては、第１の態様に係る分光データ管理装置と、第２の態様に係る測定装置とを備える測定システムを提供する。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明の一つの実施形態に係る測定システム１０の構成の一例を示す図である。 対象物３００の少なくとも一部を撮像した画像１３０の一例を示す図である。 分光測定部１２２が測定するスペクトルデータの一例である。 照明部１１０の一例を示す図である。 照明部１１０の他の例を示す図である。 照明部１１０の他の例を示す図である。 測定領域１３２に入射する照明光の照射角度θｍを示す図である。 複数の測定領域１３２に対して測定した複数のスペクトルデータの一例を示す図である。 記憶部２２０が記憶するデータのデータ構造を示す図である。 測定装置１００の他の構成例を示す図である。 画像１３０内におけるスポット光の照射位置１４８を示す図である。 測定領域１３２を設定する他の例を示す図である。 データ処理部１２４または演算部２３０の処理の一例を示す図である。 測定装置１００の他の構成例を示す図である。 回転制御部１４４の他の動作例を示す図である。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本発明の一つの実施形態に係る測定システム１０の構成の一例を示す図である。測定システム１０は、対象物３００の分光スペクトルデータを測定する測定装置１００と、対象物３００の分光スペクトルデータを管理する分光データ管理装置２００とを備える。
　本例の分光データ管理装置２００は、測定装置１００が測定した分光スペクトルデータを取得して管理する。分光データ管理装置２００は、一例としてＣＰＵ、メモリおよびインターフェース等を備えるコンピュータである。分光データ管理装置２００は、測定装置１００とは分離していてよく、測定装置１００の筐体に組み込まれていてもよい。分光データ管理装置２００は、複数の測定装置１００が測定した分光スペクトルデータを管理してよい。この場合、分光データ管理装置２００は、測定装置１００毎に分光スペクトルデータを管理することが好ましい。
　測定装置１００は、撮像部１０４、分光測定部１２２、照明部１１０およびデータ処理部１２４を備える。撮像部１０４は、対象物３００の少なくとも一部の画像を撮像した画像データを生成する。撮像部１０４は、２次元に配列された複数の画素を備え、対象物３００の２次元画像を撮像する。撮像部１０４に含まれるセンサは、ＣＣＤまたはＣＭＯＳ等のイメージセンサであってよい。撮像部１０４に含まれるセンサは、可視帯域の波長の光に感度を有してよく、近赤外などの可視帯域外の波長の光に感度を有してもよい。
　測定装置１００は、対象物３００と撮像部１０４との間に設けられた撮影レンズ１０６を備えてよい。撮影レンズ１０６は、対象物３００からの光を、撮像部１０４の撮像面に結像させる。
　分光測定部１２２は、対象物３００の所定の測定領域において、対象物３００のスペクトルを測定してスペクトルデータを生成する。測定領域は、撮像部１０４が撮像した画像に含まれる領域である。分光測定部１２２は、光ファイバを含む光学系１２０を有してよい。光学系１２０は、対象物３００の測定領域からの光を、分光測定部１２２に伝送する。
　測定装置１００は、分岐部材１０８を備えてよい。分岐部材１０８は、対象物３００からの光を分岐させて、撮像部１０４と分光測定部１２２にそれぞれ入射させる。本例の分岐部材１０８は、ビームスプリッタである。本例のビームスプリッタは、対象物３００からの光の一部を透過させて撮像部１０４に入射させるとともに、対象物３００からの光の他の一部を反射させて分光測定部１２２に入射させる。
　測定装置１００は、対物レンズ１１４を備えてよい。撮影レンズ１０６および対物レンズ１１４は、それぞれ一つまたは複数のレンズを有してよい。対物レンズ１１４は、対象物３００の測定領域からの光を、光学系１２０の入射面に集光させる。
　照明部１１０は、対象物３００に照明光を照射する。照明部１１０は、１つまたは複数の光源１１２を有してよい。照明部１１０は、光源１１２の位置、種類等の照明条件が可変であってよい。本明細書では、照明部１１０における照明条件を示すデータを光線空間データと称する。光線空間データは、少なくとも測定領域に対する照明光に関する光源１１２の位置、光源１１２の種類、光源１１２の数、波長、照射角度、および、偏光の少なくともいずれかを示すデータである。
　照明部１１０における照明条件が変化すると、分光測定部１２２が測定するスペクトルデータが変化する場合がある。例えば分光測定部１２２には、対象物３００の測定領域における、表面反射光、表面散乱光および内部散乱光が入射される。表面反射光は、対象物３００の表面において入射光が正反射して出射した成分である。表面散乱光は、対象物３００の表面において入射光が散乱した拡散光成分と、対象物３００の表面が微細構造を持つために広がりを持って反射（乱反射）した反射成分とを重ね合わせて出射した成分である。内部散乱光は、対象物３００の内部において入射光が散乱して出射した成分である。光の入射角度等の照明条件が変化すると、分光測定部１２２に入射される表面反射光、表面散乱光および内部散乱光が変化する場合がある。例えば、光の入射角度が変化すると表面反射光の出射角度および光量が変化し、これに伴って表面散乱成分、内部散乱成分の光量も変化する。このため、照明条件を考慮せずにスペクトルデータを取得した場合、スペクトルデータを適切に処理または比較できない場合がある。
　データ処理部１２４は、撮像部１０４が撮像した画像データ、分光測定部１２２が測定したスペクトルデータ、および、照明部１１０における光線空間データを、対応付けて記憶し、および／または、対応付けて外部に出力する。分光データ管理装置２００が測定装置１００に設けられる場合、データ取得部２１０が、データ処理部１２４として機能してよい。画像データ、スペクトルデータおよび光線空間データは、それぞれ同一のタイミングで取得されたデータであることが好ましい。
　分光データ管理装置２００のデータ取得部２１０は、データ処理部１２４から画像データ、スペクトルデータおよび光線空間データを取得する。データ取得部２１０は、複数の測定装置１００により生成された画像データ、スペクトルデータ、光線空間データを取得してよい。
　記憶部２２０は、画像データ、スペクトルデータおよび光線空間データを対応付けて記憶する。記憶部２２０は、測定装置１００毎に、画像データ、スペクトルデータおよび光線空間データを管理してよい。演算部２３０は、記憶部２２０が記憶した各データに対して所定の演算を行う。記憶部２２０は、演算部２３０における演算結果を記憶してよい。
　対象物３００のスペクトルデータと、光線空間データとを対応付けて管理することで、それぞれのスペクトルデータを取得したときの照明条件を管理できる。このため、スペクトルデータを適切に管理できる。例えば演算部２３０は、照明条件に応じてスペクトルデータを適宜補正することができ、また、類似する照明条件ごとにスペクトルデータを分類することもできる。よって、照明条件を考慮した対象物３００のスペクトルを取得することができるので、対象物３００の種類の判別や状態の把握における精度が向上する。
　また、画像データとスペクトルデータとを対応付けて管理することで、それぞれのスペクトルデータに対応する測定領域の位置を容易に管理できる。画像データには、それぞれの測定領域を示す情報が含まれてよい。具体的には、測定領域は、画像中の座標（Ｘ，Ｙ）で表されてよい。本例において測定領域を示す情報は、画像データに含まれるスポット光の画像である。測定装置１００は、スポット光を照射するスポット照射部１１６を備えてよい。
　スポット照射部１１６は、一例としてレーザーまたはＬＥＤである。スポット照射部１１６は、分光測定部１２２の光軸（本例では光学系１２０の光軸）と同一の光軸を有するスポット光を照射する。スポット照射部１１６は、レーザーまたはＬＥＤの光素子から射出したスポット光の光路を制御するミラー１１８、１１９を有してよい。本例のミラー１１９は、対象物３００からの光の少なくとも一部を光学系１２０に透過させ、スポット照射部１１６の光素子からの光の少なくとも一部を対象物３００の方向に反射させる。
　スポット光と分光測定部１２２の光軸を一致させることで、対象物３００において分光測定部１２２がスペクトルを測定する測定領域の位置と、スポット光が照射される位置とがほぼ一致する。このため、画像データにおけるスポット光の位置により、測定領域の位置を管理できる。
　スポット照射部１１６は、分光測定部１２２が測定する波長帯域に含まれない波長の光を射出してよく、分光測定部１２２が測定する波長帯域に含まれる波長の光を射出してもよい。例えば分光測定部１２２が赤外帯域のスペクトルデータを測定する場合、スポット照射部１１６は可視帯域の光を射出してよい。一例としてスポット照射部１１６が射出する光は白色光である。なお、スポット照射部１１６が射出する光の波長帯域は予め定められておけばよく、たとえば、紫外帯域であっても赤外帯域であってもよいし、可視帯域の特定の波長帯域（例えば赤等）であってもよい。
　図２は、対象物３００の少なくとも一部を撮像した画像１３０の一例を示す図である。本例の画像１３０には、対象物３００の全体が含まれている。上述したように、画像１３０には、測定領域１３２が含まれている。測定領域１３２の位置は、画像１３０におけるスポット光の位置を用いることができる。
　画像１３０には、照明部１１０の光源１１２からの光の光軸が、対象物３００の表面と交わる位置を示す光軸領域１３４が含まれてよい。光軸領域１３４は、対象物３００において、他の領域よりも明るい部分であってよい。例えば光軸領域１３４は、対象物３００の表面に光源１１２が映り込んだ領域である。光軸領域１３４の中心を、光軸の位置としてよい。
　データ処理部１２４または演算部２３０は、光軸領域１３４と、測定領域１３２との相対位置を演算してよい。光軸領域１３４と、測定領域１３２との距離が近いほど、分光測定部１２２に入射する光には、対象物３００の表面における表面反射光の成分が多くなり、スペクトルが変化する。
　また、画像１３０には、対象物３００の特徴的な部分１３６が含まれてよい。一例として、対象物３００は果物であり、部分１３６は果物のヘタ部分である。データ処理部１２４または演算部２３０は、部分１３６と、測定領域１３２との相対位置を演算してよい。これにより部分１３６に対して特定の範囲内における測定領域１３２のスペクトルデータを管理できる。このため、同種の複数の対象物３００において、同様の位置の測定領域１３２におけるスペクトルデータを比較できる。
　また、データ処理部１２４およびデータ取得部２１０は、同一の対象物３００に対して、複数の測定領域１３２におけるスペクトルデータを取得してよい。複数の測定領域１３２のスペクトルデータは、順番に取得してよく、同時に取得してもよい。同時に取得する場合、測定装置１００は複数の光学系１２０および複数のスポット照射部１１６を備えてよい。複数の測定領域１３２は、対象物３００における位置が異なる領域である。この場合、データ処理部１２４および記憶部２２０は、一つの画像１３０に対して複数の測定領域１３２を対応付けてよく、それぞれの測定領域１３２に対して一つの画像１３０を対応付けてもよい。
　また、演算部２３０は、画像１３０に基づいて、対象物３００の種類を判別してよい。演算部２３０は、スペクトルデータに基づいて対象物３００の種類を判別してもよい。演算部２３０は、対象物３００の種類ごとに予め定められたテンプレートデータと画像１３０またはスペクトルデータとを比較すること等により、対象物３００の種類を判別してよい。対象物３００の種類とは、例えばみかん、林檎等の果物の種類である。記憶部２２０は、対象物３００の種類を、画像データ、スペクトルデータおよび光線空間データと対応付けて記憶してよい。なお、対象物３００の種類には、さらに細分化された種類を含んでもよい。例えば、果物の種類であれば、みかんの産地、品種などの情報である。なお、対象物３００は、果物以外の作物、食肉、加工食品でもよく、生体やその組織でもよい。さらに、演算部２３０は、上記の判別手法により、対象物３００の状態を判別してもよい。対象物３００の状態の判別とは、例えば、対象物３００を構成する成分やその量を検出することにより得られる糖度や水分量等の判別や、腐敗や異物が混入した異常な状態でないかの判別である。本例の測定装置１００は、対象物３００の種類、状態等を判別することで、例えば、ユーザーが対象物３００を購入する際に判断基準となる情報や、ユーザーが食品である対象物３００を安心して食べるための情報を提供することができる。
　図３は、分光測定部１２２が測定するスペクトルデータの一例である。スペクトルデータにおける波長分解能は、予め定められた閾値よりも高い分解能を有するものとする。例えば、複数の波長で撮像した画像データの波長分解能を閾値として設定した場合、スペクトルデータは、画像データの波長分解能（複数の波長間隔）よりも高い分解能を有するものとする。本例のスペクトルデータは赤外帯域のデータであるが、スペクトルデータの波長帯域はこれに限定されない。
　スポット照射部１１６は、スポット光を照射してよい。ここでスポット光とは、予め定められた波長帯域に渡ってほぼ均一な強度を有する光である。当該波長帯域は、例えば可視帯域の白色光が挙げられるが、これに限定されない。
　分光測定部１２２は、スポット光の波長帯域のうち、対象物３００の種類に応じた波長帯域のスペクトルデータを生成してよい。対象物３００の種類によって測定したい波長帯域が異なる場合に、分光測定部１２２は適切なスペクトルデータを取得できる。対象物３００の種類は、画像１３０等に基づいて測定装置１００が予め判別してよく、使用者等により設定されてもよい。この場合、光線空間データには、スポット光の波長、照射角度の少なくとも一つが含まれる。
　図４は、照明部１１０の一例を示す図である。照明条件を示す光線空間データには、光源１１２の位置、光源１１２の種類、光源１１２の数、光源１１２が照射する光の波長、照射角度、偏光状態の少なくともいずれかを示すデータが含まれる。光線空間データには、分光測定部１２２が測定するスペクトルデータに影響を与えうる他のパラメータが含まれていてよい。光線空間データには、各光源１１２が照射する光の強度データが含まれていてもよい。データ処理部１２４は、光源１１２毎に光線空間データを管理してよい。
　光源１１２の位置とは、対象物３００に対する３次元の相対位置（ｘ、ｙ、ｚ）である。光源１１２の位置は、対象物３００の測定領域に対する相対位置であってよい。光源１１２が複数存在する場合、光線空間データには、それぞれの光源１１２の位置を示すデータが含まれてよい。
　光源１１２の種類とは、光を生成する手段に関する情報であってよい。一例として光源１１２の種類とは、光源１１２がハロゲンランプ、キセノンランプ、ＬＥＤ等のいずれの光源であるかを示す情報である。照明部１１０は、複数の種類の光源を有してよい。
　光源１１２の数とは、スペクトルデータの測定時において対象物３００に光を照射している光源１１２の数を指す。光源１１２が照射する光の波長は、当該光において最も強度が大きい主成分の波長であってよく、所定の波長帯域に渡るスペクトルであってもよい。
　光源１１２が照射する光の照射角度は、当該光の光軸１４０の角度θａが含まれてよい。光軸１４０とは、光源１１２が照射する光の中心軸である。当該角度θａは、対象物３００の表面３０２に対する角度であってよく、所定の基準面に対する角度であってもよい。対象物３００の表面３０２が傾斜を有する場合、測定装置１００は測定領域における傾斜の角度を測定してもよい。光線空間データには、対象物３００の表面３０２の測定領域における傾斜角が含まれてよい。
　照明部１１０が集光系照明である場合、光源１１２が照射する光の照射角度には、測定装置１００の表面３０２において光が集光する集光角度Φが含まれてもよい。照明部１１０が集光レンズ１３８を有する場合、集光角度Φは、集光レンズ１３８の特性から定められる。光源１１２が照射する光の照射角度には、光源１１２から光が発散する発散角度φが含まれてもよい。
　光源１１２が照射する光の偏光状態とは、光の偏光の有無、偏光の方向等が含まれる。光線空間データには、光の照射角度が少なくとも含まれてよく、光源１１２の位置、光源１１２の種類、光源１１２の数、光源１１２が照射する光の波長、照射角度、偏光状態の一部または全部が含まれてもよい。
　このような光線空間データをスペクトルデータと対応付けて管理することで、照明条件による影響を考慮して、スペクトルデータを管理できる。このため、管理したスペクトルデータから、照明条件を考慮した対象物３００のスペクトルを取得することができるので、対象物３００の種類の判別や状態の把握を精度よく行うことができる。
　また、本例の測定装置１００によれば、簡易な構成で、対象物３００の画像データとスペクトルデータを取得できる。また、スペクトルデータおよび画像データを同時に取得できるので、スペクトルデータおよび画像データの取得時における照明条件を同一にできる。
　また、撮像部１０４および分光測定部１２２は、同一の対象物３００に対して、複数のタイミングで画像データおよびスペクトルデータを取得してよい。これにより、対象物３００の経時的な変化を測定できる。例えば、果物等の鮮度の変化に応じた画像データおよびスペクトルデータを取得できる。
　図５は、照明部１１０の他の例を示す図である。本例の照明部１１０は、対象物３００に平行光を照射する平行系照明である。照明部１１０は、光源１１２からの光を平行光にするレンズ１３９を有してよい。
　図６は、照明部１１０の他の例を示す図である。本例の照明部１１０は、対象物３００に拡散光を照射する拡散照明である。光線空間データには、照明部１１０が、集光系照明、平行系照明、拡散照明のいずれであるかを示す情報が含まれてよい。
　図７は、測定領域１３２に入射する照明光の照射角度θｍを示す図である。一例として照明部１１０は拡散照明である。照射角度θｍは、光源１１２の光射出面の中心位置（ｘ１、ｙ１、ｚ１）と、測定領域１３２の中心位置（ｘ２、ｙ２、ｚ２）とを結ぶ直線１４１と、対象物３００の表面３０２との角度である。光線空間データには、照射角度θｍを示すデータが含まれてよい。
　データ処理部１２４または演算部２３０は、画像１３０の画像データに基づいて測定領域１３２の位置（ｘ２、ｙ２、ｚ２）を算出してよい。データ処理部１２４または演算部２３０は、画像１３０の画像データに基づいて、撮像面と平行な２次元の位置（ｘ２、ｙ２）を算出してよい。また、撮像部１０４は、撮像面と垂直なｚ軸方向における測定領域１３２の位置を検出する奥行位置検出部を有してよい。また、データ処理部１２４または演算部２３０は、測定領域１３２のｚ軸方向における位置データとして、対象物３００の種類毎に予め定められた数値を用いてもよい。
　データ処理部１２４または演算部２３０は、それぞれの測定領域１３２の位置（ｘ２、ｙ２、ｚ２）および光源１１２の位置（ｘ１、ｙ１、ｚ１）に基づいて、それぞれの測定領域１３２に入射する照明光の照射角度θｍを算出してよい。光源１１２の位置（ｘ１、ｙ１、ｚ１）は、データ処理部１２４に予め設定されてよい。また、光源１１２の位置が可変の場合、データ処理部１２４は、光源１１２の位置制御データを用いて、光源１１２の位置を決定してもよい。
　データ処理部１２４または演算部２３０は、測定領域１３２に含まれる画素毎または画素ブロック毎に、照明光の照射角度を算出してよい。画素ブロックとは、複数の画素が含まれるブロックである。データ処理部１２４および記憶部２２０は、測定領域１３２に含まれる画素または画素ブロック毎に、光線空間データを記憶してよい。
　図８は、複数の測定領域１３２に対して測定した複数のスペクトルデータの一例を示す図である。本例では、測定領域１３２－１は、光軸領域１３４に含まれる領域であり、測定領域１３２－２は、光軸領域１３４から離れた領域であり、測定領域１３２－３は光軸領域１３４から更に離れた領域である。
　図８に示すように、測定領域１３２と光軸領域１３４との距離に応じて、対象物のスペクトルデータが変化する。これは、当該距離に応じて、分光測定部１２２に入射する光に含まれる表面反射光、表面散乱光および内部散乱光が変化するためと考えられる。例えば、光軸領域１３４の近傍では、表面反射光の成分が多くなる。データ処理部１２４および記憶部２２０は、測定領域１３２と光軸領域１３４との距離を、スペクトルデータに対応付けてよい。演算部２３０は、当該距離に基づいて、それぞれのスペクトルデータを補正してよい。このような処理により、測定領域１３２と光軸領域１３４との距離に応じてスペクトルデータを管理できる。なお、スペクトルデータの補正は、当該距離に限らない。例えば、光軸領域１３４での光線空間データとスペクトルデータを基準として、当該基準と測定領域１３２の光線空間データの各パラメータとの差分に対応して測定領域１３２のスペクトルデータを補正する補正値（補正係数）を設けてもよい。それぞれのパラメータに対応する補正値は、複数の対象物（および測定領域）を測定した結果を収集して、統計解析や機械学習することにより演算部２３０が設定してもよい。
　図９は、記憶部２２０が記憶するデータのデータ構造を示す図である。例えば、スペクトルデータおよび光線空間データは、撮像データ（画像データに対応する）のタグ情報として対応付けられている。図９に示すように、撮像データのタグ情報には、画像のファイルの詳細を説明するファイルデータが含まれてよい。撮像データのタグ情報には、ファイルデータ、スペクトルデータ及び光線空間データが階層構造で記憶されている。各々に含まれる詳細な情報については上述したとおりである。なお、記憶するデータは図９に示す情報に限らない。
　図１０は、測定装置１００の他の構成例を示す図である。本例の測定装置１００は、図１に示した測定装置１００に対して回転制御部１４４を更に備える。他の構成は、図１に示した測定装置１００と同一である。
　本例の分岐部材１０８は回転可能に設けられている。分岐部材１０８が回転することで、分光測定部１２２が測定する測定領域１３２の位置およびスポット光の照射位置が変化する。回転制御部１４４は、分岐部材１０８の回転を制御して、画像１３０内での測定領域１３２の位置を設定する。データ処理部１２４および記憶部２２０は、スペクトルデータに対応付けて、分岐部材１０８の回転量を示すデータを管理してよい。
　図１１は、画像１３０内におけるスポット光の照射位置１４８を示す図である。回転制御部１４４は、画像１３０に含まれるスポット光の照射位置１４８に基づいて、分岐部材１０８の回転を制御してよい。回転制御部１４４は、照射位置１４８が、光軸領域１３４または部分１３６に対して所定の相対位置となるように、分岐部材１０８の回転を制御してよい。
　図１２は、測定領域１３２を設定する他の例を示す図である。本例では、測定装置１００の使用者等が、画像１３０におけるスポット光の照射位置１４８に基づいて、測定領域１３２の位置を調整する。
　測定装置１００は、画像１３０を使用者等に表示する表示部を備えてよい。使用者等は、表示された画像１３０に基づいて、測定領域１３２の位置を調整できる。測定装置１００は、画像１３０上で測定領域１３２の位置を使用者等が指定する入力部１４５を有する。入力部１４５は、画像１３０上に表示されるカーソル等を移動させる手段を含んでよい。
　測定装置１００は、入力部１４５からの入力に応じて、分岐部材１０８等を制御する。これにより、画像１３０上の照射位置１４８が矢印で示されるように移動する。使用者等は、照射位置１４８が所望の位置となった場合に、その位置を測定領域１３２として決定する入力を行ってよい。
　図１３は、データ処理部１２４または演算部２３０の処理の一例を示す図である。本例のデータ処理部１２４または演算部２３０は、分岐部材１０８（ビームスプリッタ）の屈折率、回転角および厚さのいずれかまたは全てに基づいて、画像１３０内の測定領域１３２の位置を補正する。
　データ処理部１２４または演算部２３０は、画像１３０内のスポット光の照射位置１４８を、分岐部材１０８の屈折率、回転角および厚さに基づいて補正して、測定領域１３２の位置を算出する。スポット光と照明光の波長が異なる場合、分岐部材１０８における反射角度が、スポット光と照明光とで異なる場合がある。このような場合であっても、データ処理部１２４または演算部２３０により補正演算することで、測定領域１３２の位置を正しく検出できる。データ処理部１２４または演算部２３０には、分岐部材１０８の屈折率、回転角および厚さの値と補正係数とを対応付けた関数またはテーブル等が、予め設定されてよい。
　図１４は、測定装置１００の他の構成例を示す図である。本例の測定装置１００は、焦点制御部１５０を備える。他の構成は、図１から図１３において説明したいずれかの態様の測定装置１００と同一である。
　焦点制御部１５０は、画像１３０におけるスポット光の大きさＲ（本例では直径）に基づいて、対物レンズ１１４の焦点位置を制御する。焦点制御部１５０は、スポット光の大きさＲが、測定領域１３２と同一か、または、大きくなるように制御してよい。測定領域１３２の大きさは、焦点制御部１５０に予め設定されてよい。
　図１５は、回転制御部１４４の他の動作例を示す図である。本例の撮像部１０４は、予め定められた画素ピッチＰｘ、Ｐｙで二次元に配列された複数の画素を有する。ＰｘはＸ軸方向におけるピッチであり、ＰｙはＹ軸方向におけるピッチである。
　回転制御部１４４は、分岐部材１０８を回転させて、画像の撮像領域の位置を画素ピッチより小さい距離Δｘ、Δｙだけずらした少なくとも２つの画像１３０の画像データを取得させる。例えば回転制御部１４４は、画像１３０－１の撮像領域の位置を、Ｘ軸方向にΔｘ＝Ｐｘ／２ずらした画像１３０－２、および、Ｙ軸方向にΔｙ＝Ｐｙ／２ずらした画像１３０－３を撮像部１０４に撮像させる。なお、画像１３０－１と画像１３０－２のＹ軸方向の位置は同一であり、画像１３０－１と画像１３０－３のＸ軸方向における位置は同一である。
　データ処理部１２４または演算部２３０は、これらの画像１３０－１、１３０－２、１３０－３を重ね合わせる。これにより、画素ピッチよりも解像度の高い画像１３０－４を生成できる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
１０・・・測定システム、１００・・・測定装置、１０４・・・撮像部、１０６・・・撮影レンズ、１０８・・・分岐部材、１１０・・・照明部、１１２・・・光源、１１４・・・対物レンズ、１１６・・・スポット照射部、１１８・・・ミラー、１１９・・・ミラー、１２０・・・光学系、１２２・・・分光測定部、１２４・・・データ処理部、１３０・・・画像、１３２・・・測定領域、１３４・・・光軸領域、１３６・・・部分、１３８・・・集光レンズ、１３９・・・レンズ、１４０・・・光軸、１４１・・・直線、１４４・・・回転制御部、１４５・・・入力部、１４８・・・照射位置、１５０・・・焦点制御部、２００・・・分光データ管理装置、２１０・・・データ取得部、２２０・・・記憶部、２３０・・・演算部、３００・・・対象物、３０２・・・表面

Claims (15)

  1. 　対象物の少なくとも一部を撮像した画像を示す画像データ、
    　前記画像に含まれる測定領域における前記対象物のスペクトルを示すスペクトルデータ、および、
    　前記測定領域に対する照明光に関する、光源の位置、光源の種類、光源の数、波長、照射角度、偏光の少なくともいずれかを示す光線空間データ
    　を取得するデータ取得部と、
    　前記画像データ、前記スペクトルデータおよび前記光線空間データを対応付けて記憶する記憶部と
    　を備える分光データ管理装置。
  2. 　前記データ取得部は、同一の前記対象物に対して、複数の前記測定領域における前記スペクトルデータを取得する
    　請求項１に記載の分光データ管理装置。
  3. 　前記データ取得部は、前記光線空間データとして前記照明光の光源の位置を示すデータを取得し、
    　前記画像データに基づいて前記測定領域の位置を算出し、それぞれの前記測定領域の位置および前記光源の位置に基づいて、それぞれの前記測定領域に入射する前記照明光の照射角度を算出する演算部を更に備える
    　請求項２に記載の分光データ管理装置。
  4. 　前記画像データおよび前記スペクトルデータは、前記画像データを生成する撮像部および前記スペクトルデータを生成する分光測定部を備える測定装置により生成され、
    　前記データ取得部は、複数の前記測定装置により生成された前記画像データ、前記スペクトルデータ、前記光線空間データを取得する
    　請求項１から３のいずれか一項に記載の分光データ管理装置。
  5. 　前記光線空間データが示す照明条件を考慮して、前記画像データ及び前記スペクトルデータの少なくとも一つに基づいて前記対象物の種類または状態を判別する判別部をさらに備える　請求項１から４のいずれか一項に記載の分光データ管理装置。
  6. 　対象物の少なくとも一部の画像を撮像して画像データを生成する撮像部と、
    　前記画像に含まれる測定領域において、前記対象物のスペクトルを測定してスペクトルデータを生成する分光測定部と、
    　前記対象物に照明光を照射する照明部と、
    　前記画像データ、前記スペクトルデータ、および、光線空間データを対応付けて記憶および／または出力するデータ処理部と
    　を備え、
    　前記光線空間データは、前記測定領域に対する照明光に関する光源の位置、光源の種類、光源の数、波長、照射角度、偏光の少なくともいずれかを示すデータである測定装置。
  7. 　前記対象物からの光を分岐させて前記撮像部と前記分光測定部にそれぞれ入射させ、回転可能な分岐部材と、
    　前記分岐部材の回転を制御して、前記画像内での前記測定領域の位置を設定する回転制御部と
    　を備える請求項６に記載の測定装置。
  8. 　前記分岐部材は、前記対象物からの光の一部を透過させて前記撮像部に入射させるとともに、他部を反射させて前記分光測定部に入射させるビームスプリッタであり、
    　前記データ処理部は、前記ビームスプリッタの屈折率、回転角、及び厚さのいずれかまたは全てに基づいて、前記画像内での前記測定領域の位置を補正する
    　請求項７に記載の測定装置。
  9. 　前記測定領域に、前記分光測定部の光軸と同一の光軸を有するスポット光を照射するスポット照射部を備え、
    　前記撮像部は、前記スポット光が照射された前記対象物の画像を撮像して前記画像データを生成する
    　請求項７または８に記載の測定装置。
  10. 　前記画像内の前記スポット光の位置に基づいて前記測定領域を入力する入力部を更に備える
    　請求項９に記載の測定装置。
  11. 　前記回転制御部は、前記画像内での前記スポット光の位置に基づいて、前記分岐部材の回転を制御する
    　請求項９に記載の測定装置。
  12. 　前記スポット光を集光する対物レンズを更に備え、
    　前記画像における前記スポット光の大きさに基づいて、前記対物レンズの焦点位置を制御する焦点制御部を備える
    　請求項９から１１のいずれか一項に記載の測定装置。
  13. 　前記スポット照射部は、予め定められた波長帯域の前記スポット光を照射し、
    　前記分光測定部は、前記対象物の種類に応じた波長帯域の前記スペクトルデータを生成する
    　請求項９から１２のいずれか一項に記載の測定装置。
  14. 　前記撮像部は、予め定められた画素ピッチで配列された複数の画素を有し、
    　前記回転制御部は、前記分岐部材を回転させて、前記画像の撮像領域の位置を前記画素ピッチより小さい距離だけずらした少なくとも２つの前記画像データを取得させる
    　請求項７から１３のいずれか一項に記載の測定装置。
  15. 　請求項１から５のいずれか一項に記載の分光データ管理装置と、
    　請求項６から１４のいずれか一項に記載の測定装置と、
    　を備える測定システム。
PCT/JP2019/000218 2018-01-16 2019-01-08 分光データ管理装置、測定装置および測定システム WO2019142699A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019566429A JP6860090B2 (ja) 2018-01-16 2019-01-08 分光データ管理装置、測定装置および測定システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018005164 2018-01-16
JP2018-005164 2018-01-16

Publications (1)

Publication Number Publication Date
WO2019142699A1 true WO2019142699A1 (ja) 2019-07-25

Family

ID=67301740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000218 WO2019142699A1 (ja) 2018-01-16 2019-01-08 分光データ管理装置、測定装置および測定システム

Country Status (2)

Country Link
JP (1) JP6860090B2 (ja)
WO (1) WO2019142699A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131223A (ja) * 1998-10-20 2000-05-12 Jasco Corp 画像データ採取顕微分光光度計
JP2008039680A (ja) * 2006-08-09 2008-02-21 Matsushita Electric Ind Co Ltd 特定物質の含有判定方法およびその装置
JP2010014628A (ja) * 2008-07-04 2010-01-21 Horiba Ltd 計測方法、分光エリプソメータ、プログラム、及び、製造装置
JP2012189342A (ja) * 2011-03-08 2012-10-04 Sigma Koki Kk 顕微分光測定装置
JP2012230074A (ja) * 2011-04-27 2012-11-22 Hitachi High-Technologies Corp 分光光度計及びそのスリット条件決定方法
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
US20160018325A1 (en) * 2013-03-22 2016-01-21 Foss Analytical A/S System for and method of combined libs and ir absorption spectroscopy investigations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131223A (ja) * 1998-10-20 2000-05-12 Jasco Corp 画像データ採取顕微分光光度計
JP2008039680A (ja) * 2006-08-09 2008-02-21 Matsushita Electric Ind Co Ltd 特定物質の含有判定方法およびその装置
JP2010014628A (ja) * 2008-07-04 2010-01-21 Horiba Ltd 計測方法、分光エリプソメータ、プログラム、及び、製造装置
JP2012189342A (ja) * 2011-03-08 2012-10-04 Sigma Koki Kk 顕微分光測定装置
JP2012230074A (ja) * 2011-04-27 2012-11-22 Hitachi High-Technologies Corp 分光光度計及びそのスリット条件決定方法
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
US20160018325A1 (en) * 2013-03-22 2016-01-21 Foss Analytical A/S System for and method of combined libs and ir absorption spectroscopy investigations

Also Published As

Publication number Publication date
JP6860090B2 (ja) 2021-04-14
JPWO2019142699A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
JP4719284B2 (ja) 表面検査装置
US8315692B2 (en) Multi-spectral imaging spectrometer for early detection of skin cancer
WO2020168094A1 (en) Simultaneous depth profile and spectral measurement
US8184294B2 (en) Apparatus and method for measuring haze of sheet materials or other materials
JP6053506B2 (ja) 反射特性の測定装置
JP5808519B2 (ja) ２つの測定ユニットを有する表面測定装置
US11493454B2 (en) System and method for detecting defects on a specular surface with a vision system
JP2008209211A (ja) 異物検査装置および異物検査方法
JP2014131731A (ja) カラーホイールを用いたスペクトルイメージング
JP7560536B2 (ja) 分光計装置
KR20110084093A (ko) 나사산의 검사 장치
JP2021047200A (ja) 表面特性を決定する多段階方法および調査装置
JPWO2019230628A1 (ja) 粒子径分布測定装置及び粒子径分布測定装置用プログラム
EP3159679A1 (en) Apparatus and method for measuring haze of sheet materials or other materials using off-axis detector
US20100025566A1 (en) Single spot focus control
WO2019142699A1 (ja) 分光データ管理装置、測定装置および測定システム
JP2018205084A (ja) 光学測定装置及び光学測定方法
JP7136064B2 (ja) 被検査体の表面検査装置および被検査体の表面検査方法
JP2013122393A (ja) 欠陥検査装置および欠陥検査方法
WO2021060411A1 (ja) 解析装置、解析方法、及びプログラム
WO2023210313A1 (ja) 測定方法、測定システム、および情報処理方法
CN114144661B (zh) 检查测定用照明装置、检查测定系统以及检查测定方法
KR101401395B1 (ko) 표면각도 측정 광센서 및 이를 이용한 표면각도 및 형상정보 감지방법
WO2020184567A1 (ja) 画像検査装置及び画像検査方法
US11333492B2 (en) Optical device, information processing method, and computer program product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19741221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019566429

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19741221

Country of ref document: EP

Kind code of ref document: A1