WO2022181749A1 - データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置 - Google Patents

データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置 Download PDF

Info

Publication number
WO2022181749A1
WO2022181749A1 PCT/JP2022/007789 JP2022007789W WO2022181749A1 WO 2022181749 A1 WO2022181749 A1 WO 2022181749A1 JP 2022007789 W JP2022007789 W JP 2022007789W WO 2022181749 A1 WO2022181749 A1 WO 2022181749A1
Authority
WO
WIPO (PCT)
Prior art keywords
wavelength
data
spectral data
spectral
subject
Prior art date
Application number
PCT/JP2022/007789
Other languages
English (en)
French (fr)
Inventor
睦 川中子
慶延 岸根
和佳 岡田
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023502526A priority Critical patent/JPWO2022181749A5/ja
Priority to CN202280015400.2A priority patent/CN116888456A/zh
Publication of WO2022181749A1 publication Critical patent/WO2022181749A1/ja
Priority to US18/453,300 priority patent/US20230393059A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N2021/3129—Determining multicomponents by multiwavelength light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to a data processing device, method, program, optical element, imaging optical system, and imaging device, and more particularly to technology for selecting two or more wavelengths suitable for identifying a desired subject among a plurality of subjects.
  • hyperspectral cameras that can perform spectral sensing using more than 100 wavelengths.
  • hyperspectral camera Since this type of hyperspectral camera measures many wavelengths, it is common to sense objects by searching for wavelengths where reflection and absorption change rapidly.
  • Patent Document 1 describes a bandpass filter design system that searches for design conditions for a bandpass filter arranged in an imaging optical system in an imaging apparatus.
  • spectral data detection algorithm information necessary for discerning a target event from a subject, photographing conditions when photographing a subject with a photographing device, image sensor information regarding an image sensor, etc. Based on these pieces of information, design conditions for the bandpass filter are searched using, for example, artificial intelligence.
  • the detection algorithm information is an algorithm for detecting spectral data necessary for actually capturing an image of a subject with an imaging device and determining a target event.
  • One embodiment according to the technology of the present disclosure is a data processing device, method, program, optical element, imaging optical system, and optical element capable of selecting two or more wavelengths suitable for identifying a desired subject among a plurality of subjects.
  • a data processing device comprising a processor, wherein the processor performs data acquisition processing for acquiring first spectral data of a first subject and second spectral data of a second subject; and a wavelength selection process of selecting a plurality of specific wavelengths from the wavelength range of the second spectrum data, wherein the wavelength selection process selects the plurality of specific wavelengths based on the difference in feature amount between the first spectrum data and the second spectrum data to select.
  • the feature quantity is preferably spectral reflectance or spectral intensity.
  • At least one specific wavelength is a wavelength that maximizes the difference in feature amount.
  • the data acquisition process acquires data from a device that acquires two-dimensional spectral data of wavelengths greater than the selected plurality of specific wavelengths.
  • the processor performs display processing for displaying a visible image showing the spectral data on the display based on the spectral data.
  • the data acquisition process specifies a first area of the first subject and a second area of the second subject on the display based on a user instruction, and Preferably, the first spectral data and the second spectral data of the second region are obtained.
  • the data acquisition processing preferably acquires the first spectral data and the second spectral data by calculating representative values of feature amounts in the first region and the second region. .
  • the representative value is preferably the mean value, median value or mode value.
  • the wavelength selection processing includes: a first wavelength at which the difference in the feature amount between the first spectral data and the second spectral data is maximum; It is preferable to select, as the specific wavelength, the second wavelength at which the difference in the feature amount between the first spectral data and the second spectral data is the maximum or maximum in different wavelength regions separated by the difference or more.
  • the predetermined difference is 5 nm or more.
  • the wavelength selection process includes, when there is a reference wavelength at which the feature amount of the acquired first spectrum data and the second spectrum data match, The third wavelength at which the difference in the feature amount between the first spectral data and the second spectral data is maximized, and the third wavelength at which the difference in the feature amount between the first spectral data and the second spectral data is maximized on the longer wavelength side than the reference wavelength. It is preferable to select four wavelengths as specific wavelengths.
  • the wavelength selection process includes, when there are two or more reference wavelengths at which the feature amounts of the acquired first spectrum data and the second spectrum data match, the two or more reference wavelengths It is preferable to select, as one of the plurality of specific wavelengths, the fifth wavelength that maximizes the difference in feature quantity between the first spectral data and the second spectral data among the wavelengths.
  • the wavelength selection process includes a process of identifiably displaying a first graph and a second graph showing the acquired first spectrum data and second spectrum data on the display; and accepting a plurality of wavelengths specified by the user in relation to the first graph and the second graph displayed on the display as the plurality of specific wavelengths.
  • the invention according to a fourteenth aspect is an optical element having a plurality of wavelength selective elements, wherein the plurality of wavelength selective elements are selected by the data processing apparatus according to any one of the first to thirteenth aspects.
  • the invention according to the fifteenth aspect is a photographing optical system in which the optical element according to the fourteenth aspect is arranged at or near the pupil position.
  • An invention according to a sixteenth aspect comprises the imaging optical system according to the fifteenth aspect; It is a photographing device.
  • a seventeenth aspect of the invention provides a data acquisition step of acquiring first spectral data of a first subject and second spectral data of a second subject; a wavelength selection step of selecting a specific wavelength, which includes a wavelength selection step of selecting a plurality of specific wavelengths based on the difference between the feature amounts of the first spectrum data and the second spectrum data, wherein the processor processes each step; is a data processing method for executing
  • the feature quantity is preferably spectral reflectance or spectral intensity.
  • At least one specific wavelength is a wavelength that maximizes the difference in feature amounts.
  • the data acquisition step preferably acquires data from a device that acquires spectral data of wavelengths greater than the selected plurality of specific wavelengths.
  • the data processing method preferably includes the step of displaying a visible image showing the spectral data on the display based on the spectral data.
  • the data acquisition step specifies a first area of the first subject and a second area of the second subject on the display based on a user instruction, and Preferably, the first spectral data and the second spectral data of the second region are obtained.
  • the data acquisition step acquires the first spectral data and the second spectral data by calculating representative values of the feature amounts of the first region and the second region. .
  • the representative value is preferably the mean value, median value or mode value.
  • the wavelength selection step includes: selecting a first wavelength at which the difference in feature amount between the first spectral data and the second spectral data is maximum; It is preferable to select, as the specific wavelengths, the second wavelengths at which the difference in the feature amount between the first spectral data and the second spectral data is the maximum or maximum in different wavelength regions separated by a difference or more.
  • the predetermined difference is preferably 5 nm or more.
  • the wavelength selection step if there is a reference wavelength at which the characteristic amounts of the acquired first spectral data and the second spectral data match, The third wavelength at which the difference in the feature amount between the first spectral data and the second spectral data is maximized, and the third wavelength at which the difference in the feature amount between the first spectral data and the second spectral data is maximized on the longer wavelength side than the reference wavelength. It is preferable to select each of the four wavelengths as the specific wavelength.
  • the wavelength selection step when there are two or more reference wavelengths at which the feature amounts of the acquired first spectral data and second spectral data match, the two or more reference wavelengths It is preferable to select, as one of the plurality of specific wavelengths, the fifth wavelength that maximizes the difference in feature quantity between the first spectral data and the second spectral data among the wavelengths.
  • the wavelength selection step includes displaying a first graph and a second graph showing the obtained first spectral data and second spectral data in a identifiable manner on a display; and accepting, as the plurality of specific wavelengths, the plurality of wavelengths indicated by the user in association with the first graph and the second graph displayed on the display.
  • a thirtieth aspect of the invention provides a function of acquiring first spectral data of a first subject and second spectral data of a second subject, and obtaining a plurality of specific wavelengths from the wavelength ranges of the acquired first spectral data and second spectral data. and a function of selecting a plurality of specific wavelengths on the basis of the difference in feature quantity between the first spectral data and the second spectral data.
  • FIG. 1 is a schematic diagram showing a first example of simultaneously photographing two objects to be classified and obtaining spectral information of each object.
  • FIG. 2 is a diagram showing an example of how a data cube is created from spectral information acquired by a hyperspectral camera.
  • FIG. 3 is a schematic diagram showing a second example of separately photographing two subjects to be classified and obtaining spectral information of each subject.
  • FIG. 4 is a diagram showing another example of how a data cube is created from spectral information acquired by a hyperspectral camera.
  • FIG. 5 is a diagram showing a first example of a visible image that can be created from a datacube containing a first subject and a second subject.
  • FIG. 6 is a graph showing first spectral data of a first subject and second spectral data of a second subject.
  • FIG. 7 is a diagram showing a second example of a visible image that can be created from a datacube containing one first subject and two second subjects.
  • FIG. 8 is a graph showing first spectral data of one first subject and two second spectral data of two similar second subjects.
  • FIG. 9 is a diagram showing a third example of a visible image that can be created from a datacube containing a first subject, a second subject and a third subject.
  • FIG. 10 is a graph showing first spectral data of a first subject, second spectral data of a second subject, and third spectral data of a third subject.
  • FIG. 10 is a graph showing first spectral data of a first subject, second spectral data of a second subject, and third spectral data of a third subject.
  • FIG. 11 is a functional block diagram showing the first embodiment of the data processing device according to the present invention.
  • FIG. 12 is a graph showing a first example of first spectral data A( ⁇ ) and second spectral data B( ⁇ ).
  • FIG. 13 is a graph showing a second example of first spectral data A( ⁇ ) and second spectral data B( ⁇ ).
  • FIG. 14 is a graph showing a third example of first spectral data A( ⁇ ) and second spectral data B( ⁇ ).
  • FIG. 15 is a graph showing a fourth example of first spectral data A( ⁇ ) and second spectral data B( ⁇ ).
  • FIG. 16 is a graph showing a fifth example of first spectral data A( ⁇ ) and second spectral data B( ⁇ ).
  • FIG. 17 is a functional block diagram showing a second embodiment of the data processing device according to the present invention.
  • FIG. 18 is a schematic diagram showing an example of a multispectral camera.
  • FIG. 19 is a flowchart illustrating an embodiment of a data processing method according to the invention.
  • FIG. 20 is a subroutine showing an embodiment of the processing procedure in step S10 shown in FIG.
  • FIG. 21 is a subroutine showing a first embodiment of the processing procedure in step S20 shown in FIG.
  • FIG. 22 is a subroutine showing a second embodiment of the processing procedure in step S20 shown in FIG.
  • FIG. 1 is a schematic diagram showing a first example of simultaneously photographing two objects to be classified and obtaining spectral information of each object.
  • the hyperspectral camera 1 is a camera that captures light that is illuminated by the light source 2 and reflected by the first subject 3 and the second subject 4 by spectrally dispersing it for each wavelength, and acquires spectral information 6 of a plurality of wavelengths. Since the first subject 3 and the second subject 4 to be classified are mixed, it is possible to acquire the spectral information 6 including the mutual influence (secondary reflected light, etc.).
  • the spectral information 6 is input to a computer 7 in which data processing software for the hyperspectral camera 1 is installed, as shown in FIG.
  • the data cube 8 is three-dimensional structure data in which two-dimensional spectral data indicating spectral reflectance or spectral intensity are arranged for each wavelength ( ⁇ ) to form a layer.
  • a snapshot type or a push bloom type can be applied as the hyperspectral camera 1.
  • a snapshot-type hyperspectral camera can simultaneously photograph a certain area with a two-dimensional image sensor, is excellent in real-time performance, and can photograph a moving subject.
  • Line scan type hyperspectral cameras require a certain amount of time to shoot because they move the subject to take pictures, and it is difficult to shoot moving objects.
  • a large number of spectroscopic data eg, spectroscopic data of 100-200 bands) can be acquired.
  • the spectroscopic data acquired by the hyperspectral camera or the like may be spectroscopic data of wavelengths larger than the number of specific wavelengths described later, and is acquired from equipment other than the hyperspectral camera (for example, a multispectral camera, etc.). Anything is fine.
  • FIG. 3 is a schematic diagram showing a second example of separately photographing two subjects to be classified and obtaining spectral information of each subject.
  • the first subject 3 and the second subject 4 are photographed separately by the hyperspectral camera 1 .
  • a hyperspectral camera 1 captures an image of a first subject 3 illuminated by a light source 2, acquires spectral information 6A of a plurality of wavelengths, similarly captures an image of a second subject 4 illuminated by the light source 2, and acquires spectral information 6A of a plurality of wavelengths. obtains the spectral information 6B. Since the spectral information 6A and 6B of the first subject 3 and the second subject 4 to be classified can be obtained at different timings, even in an environment where the first subject 3 and the second subject 4 cannot coexist, each Spectral information 6A and 6B can be acquired.
  • the spectral information 6A, 6B are input to the computer 7, respectively, as shown in FIG. 4, where they are processed and converted into data cubes 8A, 8B.
  • the data cube may be obtained directly from the hyperspectral camera 1 by providing the function of the computer 7 to the hyperspectral camera 1 .
  • FIG. 5 is a diagram showing a first example of a visible image that can be created from a datacube containing a first subject and a second subject.
  • the user designates a desired area A (first area) of the first subject 3 and a desired area B (second area) of the second subject 4 on the visible image shown in FIG.
  • the desired areas A and B are indicated by rectangles.
  • the representative value of the spectral data of the region A of the first subject 3 specified by the user is calculated for each wavelength ( ⁇ ) in the data cube 8.
  • the representative value of the spectral data of the area A of the first subject 3 is, for example, the average value, the median value, or the mode of the spectral data of the area A of the first subject 3 among the two-dimensional spectral data corresponding to a certain wavelength. can be a value.
  • the representative value of the spectral data of the region B of the second subject 4 specified by the user is calculated for each wavelength ( ⁇ ).
  • FIG. 6 is a graph showing the first spectral data of the first subject and the second spectral data of the second subject.
  • the horizontal axis is wavelength (nm), and the vertical axis is a graph showing spectral data.
  • the two-dimensional spectral data for each wavelength ( ⁇ ) calculated from the data cube 8 are discrete values.
  • the number of discrete spectral data is increased by linear interpolation, spline interpolation, or the like, and the first spectral data A ( ⁇ ) and the second spectral data A ( ⁇ ) shown in FIG. It is preferable to acquire spectral data B( ⁇ ).
  • the first spectral data A( ⁇ ) of the first subject 3 and the second spectral data B( ⁇ ) of the second subject 4 can be obtained.
  • FIG. 7 is a diagram showing a second example of a visible image that can be created from a data cube containing one first subject and two second subjects.
  • the two second subjects 4A and 4B shown in FIG. 7 are the same subject. That is, each type includes a plurality (two points) of subjects.
  • the two second subjects 4A and 4B are arranged at different positions, so the photographing conditions are different.
  • the illumination conditions of the light source, the photographing position within the photographing range, and the like are different.
  • the user designates the area A of the first subject 3 and areas B1 and B2 of the second subjects 4A and 4B on the visible image shown in FIG.
  • FIG. 8 is a graph showing the first spectral data of one first subject and two second spectral data of two similar second subjects.
  • FIG. 9 is a diagram showing a third example of a visible image that can be created from a data cube containing the first subject, the second subject and the third subject.
  • a first subject 3, a second subject 4, and a third subject 5 shown in FIG. 9 are different types of subjects to be classified.
  • the user designates an area A of the first subject 3, an area B of the second subject 4, and an area C of the third subject 5 on the visible image shown in FIG.
  • FIG. 10 is a graph showing the first spectral data of the first subject, the second spectral data of the second subject, and the third spectral data of the third subject.
  • FIG. 11 is a functional block diagram showing the first embodiment of the data processing device according to the present invention.
  • the data processing device 10-1 of the first embodiment can be configured by a personal computer, workstation, or the like having hardware such as a processor, memory, and input/output interface.
  • the processor is composed of a CPU (Central Processing Unit) and the like, and controls the respective parts of the data processing device 10-1. 1 can function.
  • CPU Central Processing Unit
  • the data processing device 10-1 of the first embodiment shown in FIG. 11 automatically selects two or more wavelengths suitable for separating the first subject 3 and the second subject 4 of different types shown in FIG. It is provided with a data acquisition section 20, an output section 40, and a user instruction reception section 60.
  • the data acquisition unit 20 is a part that performs data acquisition processing for acquiring the first spectral data of the first subject and the second spectral data of the second subject.
  • a data generator 26 is provided.
  • the data cube 8 shown in FIG. 2 is input to the display image generation unit 22 and the representative value calculation unit 24 respectively.
  • the display image generation unit 22 creates a visible image (display image) for visualizing the identification of the first subject 3 and the second subject 4 from the data cube 8, and performs display processing for displaying the display image on the display 50. This is the part to do.
  • the display image can be, for example, a pseudo-color image of B, G, and R from spectral data of bands corresponding to red (R), green (G), and blue (B) included in the data cube 8. .
  • the display image is not limited to a pseudo-color image, and may be a monochrome image as long as the first subject 3 and the second subject 4 can be specified.
  • the display image generated by the display image generation unit 22 is output to the display device 50 and displayed here as images representing the first subject 3 and the second subject 4 .
  • the image shown in FIG. 5 is an example of the image displayed on the display 50.
  • the user instruction receiving unit 60 is a part that receives user instructions for the area A of the first subject 3 and the area B of the second subject 4 specified on the display 50 . That is, the user instruction receiving unit 60-1 controls the area A of the first subject 3 and the area B of the second subject 4 in FIG. , and outputs the received information indicating the area A of the first subject 3 and the area B of the second subject 4 to the representative value calculation unit 24 .
  • the data cube 8 is added to the representative value calculation unit 24, and the representative value calculation unit 24 calculates based on the data cube 8 and information indicating the area A of the first subject 3 and the area B of the second subject 4. Then, a representative value of the feature amount (spectral reflectance or spectral data indicating spectral intensity) in the area A of the first subject 3 and the area B of the second subject 4 is calculated for each wavelength forming the data cube 8 .
  • the representative value of the spectral data of the area A of the first subject 3 can be the average value, the median value, or the mode of the spectral data of the area A of the first subject 3 in the two-dimensional spectral data.
  • the representative value of the spectral data of the area B of the second subject 4 can be the average value, the median value, or the mode of the spectral data of the area B of the second subject 4 among the two-dimensional spectral data. .
  • the spectrum data generation unit 26 inputs the representative value of the spectral data of the region A of the first subject 3 and the representative value of the spectral data of the region B of the second subject 4, which are calculated by the representative value calculation unit 24. First spectral data A( ⁇ ) of one subject 3 and second spectral data B( ⁇ ) of a second subject 4 are generated.
  • the representative value of the spectral data of the area A of the first subject 3 and the representative value of the spectral data of the area B of the second subject 4 calculated using the data cube 8 are layered in the data cube 8. It is a discrete value for each wavelength.
  • the spectral data generation unit 26 increases the number of data by linear interpolation, spline interpolation, or the like for discrete representative values for each wavelength, and for example, Preferably, the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) shown in 6 are obtained.
  • the spectral data of each subject for example, if the spectral data of the subject (including some subjects) is known, the spectral data may be obtained.
  • the wavelength selection unit 30-1 selects a plurality of wavelengths from the wavelength regions of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) acquired by the data acquiring unit 20 (output from the spectral data generating unit 26). This is a portion for performing wavelength selection processing for selecting a specific wavelength.
  • FIG. 12 is a graph showing a first example of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • the first spectral data A ( ⁇ ) and the second spectral data B ( ⁇ ) monotonously increase as the wavelength becomes longer, and in the range from 400 nm to 1000 nm in this example. Within the wavelength range, there is no wavelength at which the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) match.
  • the wavelength selection unit 30-1 selects a plurality of specific wavelengths based on the difference in the feature amount (spectral reflectance or spectral intensity) between the first spectral data A and the second spectral data B( ⁇ ). As at least one specific wavelength among the plurality of specific wavelengths, a specific wavelength that maximizes the difference (absolute value of the difference) between the first spectral data A and the second spectral data B( ⁇ ) is selected. In the example shown in FIG. 12, the first wavelength ⁇ 1 at the end of the wavelength band on the long-wave side is selected as the specific wavelength at which the spectral data difference is maximum.
  • the difference between the spectral data of the first spectral data A and the second spectral data B( ⁇ ) is obtained over the entire wavelength range, and the wavelength at which the spectral data difference is maximum is determined as the first wavelength ⁇ 1 (specified wavelength).
  • the wavelength selection unit 30-1 selects the first spectrum data A( ⁇ ) and the second spectrum data B in different wavelength regions separated by a predetermined wavelength difference or more from the first wavelength ⁇ 1 selected as described above.
  • the second wavelength ⁇ 2 at which the difference in the spectral data of ( ⁇ ) is the minimum, minimum, maximum, or maximum is selected as the second specific wavelength.
  • the predetermined difference is preferably 5 nm or more. Also, the predetermined difference may be appropriately set by the user.
  • the wavelength selection unit 30-1 can select a plurality of specific wavelengths (first wavelength ⁇ 1, second wavelength ⁇ 2) suitable for separating the first subject 3 and the second subject 4.
  • the sensing sensitivity can be calculated by the following equation.
  • the sensing sensitivity is 0.2.
  • the denominators of [Equation 1] are each set to 1 and the non-normalized sensing sensitivities are obtained, the sensing sensitivities are -10.
  • the sensing sensitivity is nearly equal to 0.07.
  • the wavelength selection unit 30-1 preferably selects a plurality of specific wavelengths (in this example, the first wavelength ⁇ 1 and the second wavelength ⁇ 2) so that the normalized sensing sensitivity is increased.
  • FIG. 13 is a graph showing a second example of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • the first spectral data A ( ⁇ ) and the second spectral data B ( ⁇ ) monotonically increase as the wavelength increases.
  • the wavelength selector 30-1 determines that the difference between the spectral data of the first spectral data ( ⁇ ) and the second spectral data B( ⁇ ) is maximum on the short wavelength side of the reference wavelength. and a fourth wavelength ⁇ 4 at which the difference between the first spectral data ( ⁇ ) and the second spectral data B ( ⁇ ) on the longer wavelength side than the reference wavelength becomes maximum, respectively, the specific wavelength can be selected as
  • the wavelength selection unit 30-1 can also select, as the specific wavelength, a reference wavelength whose spectral data match the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • FIG. 14 is a graph showing a third example of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) have two intersections (two reference wavelengths with which the spectral data match).
  • wavelength selection section 30-1 selects first wavelength ⁇ 1 (first 5 wavelengths) can be selected as one of a plurality of specific wavelengths, and two reference wavelengths, the second wavelength ⁇ 2 and the third wavelength ⁇ 3, can be selected as specific wavelengths, respectively. Further, the wavelength selection unit 30-1 can select the fourth wavelength ⁇ 4, which is the shortest wavelength in the entire wavelength range, and the fifth wavelength ⁇ 5, which is the longest wavelength, as specific wavelengths.
  • the spectral data at the first wavelength ⁇ 1, the second wavelength ⁇ 2 and the third wavelength ⁇ 3 of the first spectral data A( ⁇ ) of the third example shown in FIG. and the spectral data at the first wavelength ⁇ 1, the second wavelength ⁇ 2, and the third wavelength ⁇ 3 of the second spectral data B( ⁇ ) are b( ⁇ 1), b( ⁇ 2), and b( ⁇ 3). It can be calculated by the following formula.
  • FIG. 15 is a graph showing a fourth example of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • the first spectral data A( ⁇ ) monotonously increases as the wavelength increases
  • the second spectral data B( ⁇ ) is the first spectral data A( ⁇ ). does not intersect with , but has a maximum and a minimum.
  • a first wavelength ⁇ 1 at which the difference between the first spectral data A ( ⁇ ) and the second spectral data B ( ⁇ ) is maximum (and maximum) and minimum (and minimum) is present.
  • the wavelength selection unit 30-1 selects the first wavelength at which the difference between the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) becomes maximum (maximum).
  • ⁇ 1 can be selected as the specific wavelength
  • the second wavelength ⁇ 2 at which the difference between the spectral data of the first spectral data A ( ⁇ ) and the second spectral data B ( ⁇ ) is the smallest (minimum) is selected as the specific wavelength. be able to.
  • the wavelength selector 30-1 selects a third wavelength that is shorter than the first wavelength ⁇ 1 and that minimizes the difference between the spectral data between the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • ⁇ 3 in the fourth example shown in FIG. 15, the shortest wavelength in the entire wavelength range
  • the specific wavelength can be selected as the specific wavelength.
  • the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) do not intersect at two points as in the third example shown in FIG.
  • the first spectrum is obtained on the longer wavelength side than the first wavelength ⁇ 1, sandwiching the first wavelength ⁇ 1 at which the difference between the spectral data of the first spectral data A ( ⁇ ) and the second spectral data B ( ⁇ ) is maximum (and maximum).
  • FIG. 16 is a graph showing a fifth example of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ).
  • the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) have one intersection point (one reference wavelength with which the spectral data match).
  • the wavelength selection unit 30-1 selects the reference wavelength as the specific wavelength, and the difference between the first spectral data ( ⁇ ) and the second spectral data B( ⁇ ) is the maximum on the short wavelength side of the reference wavelength. and a third wavelength ⁇ 3 at which the difference between the first spectral data ( ⁇ ) and the second spectral data B ( ⁇ ) on the longer wavelength side than the reference wavelength is maximum and maximum, and the third wavelength ⁇ 3 Four wavelengths ⁇ 4 can be selected as specific wavelengths.
  • the wavelength selection unit 30-1 selects four wavelengths of the first wavelength ⁇ 1, the second wavelength ⁇ 2, the third wavelength ⁇ 3, and the fourth wavelength ⁇ 4 as specific wavelengths. can do.
  • the specific wavelength selected by the wavelength selection unit 30-1 is not limited to the above example.
  • the plurality of specific wavelengths are the characteristic amounts (spectral reflectance or spectral intensity) of the first spectral data A( ⁇ ) of the first subject 3 and the second spectral data B( ⁇ ) of the second subject 4. Two or more specific wavelengths suitable for separating the first subject 3 and the second subject 4 based on the difference may be used.
  • One of the plurality of specific wavelengths is the wavelength at which the difference in spectral data between the first spectral data A( ⁇ ) of the first subject 3 and the second spectral data B( ⁇ ) of the second subject 4 is maximum. preferably included. Further, the difference in spectral data between the first spectral data A( ⁇ ) of the first subject 3 and the second spectral data B( ⁇ ) of the second subject 4 is the wavelength at which the spectral data difference is maximum and minimum, and The wavelength that becomes zero (reference wavelength) can also be one of the specific wavelengths.
  • the first spectral data A( ⁇ ) of the first subject 3 shown in FIG. 7 Two or more specific wavelengths are selected based on the difference in spectral data from the second spectral data B1( ⁇ ) of the subject 4A, and the first spectral data A( ⁇ ) of the first subject 3 and the second spectral data A( ⁇ ) of the second subject 4B are obtained. Two or more specific wavelengths are selected based on the difference in spectral data from the spectral data B2( ⁇ ), and the second spectral data B1( ⁇ ) of the second subject 4A and the second spectral data B2( ⁇ ) of the second subject 4B are obtained. ) to select two or more specific wavelengths based on the difference in spectral data.
  • the first spectrum data A( ⁇ ) of the first subject 3 and the second spectrum of the second subject 4 shown in FIG. 9 Two or more specific wavelengths are selected based on the difference in spectral data from the data B( ⁇ ), and the first spectral data A( ⁇ ) of the first subject 3 and the third spectral data C( ⁇ ) of the third subject 5 are selected. Two or more specific wavelengths are selected based on the difference in spectral data between the second spectral data B( ⁇ ) of the second subject 4 and the third spectral data C( ⁇ ) of the third subject 5. Two or more specific wavelengths are selected based on the difference.
  • information indicating a plurality of specific wavelengths selected by the wavelength selection section 30-1 can be output to the display 50 and an external device.
  • the display 50 for inputting information indicating a plurality of specific wavelengths can display a plurality of specific wavelengths and present them to the user.
  • a recording device that records a plurality of specific wavelengths
  • a printer that prints out a plurality of specific wavelengths
  • a design device that designs a bandpass filter etc. based on a plurality of specific wavelengths, etc. can be considered.
  • FIG. 17 is a functional block diagram showing a second embodiment of the data processing device according to the present invention.
  • a data processing apparatus 10-2 according to the second embodiment shown in FIG. 17 is a data processing apparatus 10-1 according to the first embodiment, for example, a first subject 3 and a second subject 4 of different types shown in FIG. In contrast to automatically selecting two or more specific wavelengths suitable for separating the data processing apparatus 10- different from 1.
  • the data processing device 10-2 of the second embodiment performs wavelength selection instead of the wavelength selection unit 30-1 and the user instruction reception unit 60-1 of the data processing device 10-1 of the first embodiment. It differs from the data processing apparatus 10-1 of the first embodiment in that a section 30-2 and a user instruction receiving section 60-2 are provided.
  • the wavelength selection unit 30-2 has a graph creation unit 32. Based on the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) acquired by the data acquiring unit 20, the graph creating unit 32 creates the first spectral data A A graph (first graph) showing ( ⁇ ) and a graph (second graph) showing the second spectral data B( ⁇ ) are created. A first graph and a second graph representing the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) created by the graph creating section 32 are output to the display 50 . As a result, a first graph and a second graph showing the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) are respectively displayed on the display 50 in an identifiable manner (see FIGS. 12 to 16). ).
  • User instruction accepting unit 60-2 accepts information indicating the area of each subject according to a user instruction from operation unit 70 in the same manner as user instruction accepting unit 60-1 shown in FIG. Information indicating a plurality of wavelengths designated by the user using the operation unit 70 is accepted in relation to the first graph and the second graph.
  • the user can use the first graph showing the first spectral data A( ⁇ ) of the first subject 3 and the second graph showing the second spectral data B( ⁇ ) of the second subject 4 shown in FIGS.
  • a plurality of wavelengths suitable for separating the first subject 3 and the second subject 4 are indicated on the graph.
  • the difference between the spectral data of the first spectral data A( ⁇ ) and the second spectral data B( ⁇ ) can indicate the wavelength at which the difference is maximized, minimized, maximized, or minimized. can.
  • the wavelength selection unit 30-2 performs a process of accepting information indicating a plurality of wavelengths accepted by the user instruction acceptance unit 60-2 as a plurality of specific wavelengths. Information indicating a plurality of specific wavelengths received by the wavelength selection section 30-2 can be output to the display 50 and an external device in the same manner as the wavelength selection section 30-1.
  • FIG. 18 is a schematic diagram showing an example of a multispectral camera.
  • the first wavelength ⁇ 1 and the second wavelength ⁇ 2 suitable for separating the first subject 3 and the second subject 4 are the data processing device 10-1 of the first embodiment shown in FIG. This is the specific wavelength selected by the data processing device 10-2 of the second embodiment.
  • the filter unit 120 is composed of a polarizing filter unit 122 and a bandpass filter unit 124 and is preferably arranged at or near the pupil position of the imaging optical system 110 .
  • the polarizing filter unit 122 includes a first polarizing filter 122A and a second polarizing filter 122B that linearly polarize light passing through the first pupil region and the second pupil region of the imaging optical system 110, respectively.
  • the polarization directions are different from each other by 90° from the two-polarization filter 122B.
  • the bandpass filter unit 124 is composed of a first bandpass filter 124A and a second bandpass filter 124B that select wavelength bands of light that passes through the first pupil region and the second pupil region of the imaging optical system 110, respectively. .
  • light transmitted through the first pupil region of the imaging optical system 110 is linearly polarized by the first polarizing filter 122A, and only light in the wavelength range including the first wavelength is transmitted by the first bandpass filter 124A.
  • the light passing through the second pupil region of the imaging optical system 110 is linearly polarized by the second polarizing filter 122B (linearly polarized in a direction different from that of the first polarizing filter 122A by 90°), and is further polarized by the second bandpass filter 124B. Only the light in the wavelength range including the second wavelength is transmitted.
  • the image sensor 130 is configured by regularly arranging a first polarizing filter and a second polarizing filter whose polarization directions are different from each other by 90° in a plurality of pixels composed of photoelectric conversion elements arranged two-dimensionally. .
  • the first polarizing filter 122A and the first polarizing filter of the image sensor 130 have the same polarizing direction
  • the second polarizing filter 122B and the second polarizing filter of the image sensor 130 have the same polarizing direction.
  • the signal processing unit 140 acquires a first narrow-band image whose wavelength is selected by the first band-pass filter 124A by reading out pixel signals from the pixels of the image sensor 130 in which the first polarizing filter is arranged, and outputs the image to the image sensor. By reading pixel signals from the pixels in which the second polarizing filters 130 are arranged, a narrow-band second image whose wavelength is selected by the second band-pass filter 124B is obtained.
  • the first image and the second image acquired by the signal processing unit 140 are images suitable for separating the first subject 3 and the second subject 4 .
  • By synthesizing the first image and the second image it is possible to create a synthesized image with an expanded dynamic range and enhanced sensing performance.
  • optical element The optical element according to the present invention has two specific wavelengths ( It is an optical element produced according to the wavelength combination of the first wavelength ⁇ 1 and the second wavelength ⁇ 2).
  • the optical element corresponds to the bandpass filter unit 124 arranged in the multispectral camera 100 shown in FIG. It has a selection element (first bandpass filter) and a first wavelength selection element (second bandpass filter) that transmits light in a wavelength band including the second wavelength specified by the data processing device.
  • the first band-pass filter and the second band-pass filter have the first wavelength and the second wavelength as the center wavelengths, respectively, and have a band width in which the wavelength bands of the transmission wavelengths do not overlap each other.
  • the imaging optical system according to the present invention corresponds to the imaging optical system 110 of the multispectral camera 100 shown in FIG.
  • This imaging optical system is an optical element corresponding to the bandpass filter unit 124, and is a first wavelength selection element (first bandpass filter) that transmits light in a wavelength band including the first wavelength specified by the data processing device. and a first wavelength selection element (second band-pass filter) that transmits light in a wavelength band including the second wavelength specified by the data processing device is located at or near the pupil position of the lenses 110A and 110B. It is arranged and configured in
  • the imaging device according to the present invention corresponds to, for example, the multispectral camera 100 shown in FIG.
  • the first optical image is an optical image transmitted through the first wavelength selection element of the optical element
  • the second optical image is an optical image transmitted through the second wavelength selection element of the optical element
  • the first optical image and the second optical image are the polarizing filter unit 122 (the first polarizing filter 122A and the second polarizing filter 122B) functioning as a pupil dividing section, respectively, and the first polarized light on each pixel of the image sensor 130.
  • Pupil division is performed by the first polarizing filter and the second polarizing filter corresponding to the filter 122A and the second polarizing filter 122B, and the image is captured by the image sensor .
  • the multispectral camera 100 can simultaneously acquire a first image corresponding to the first optical image having different wavelength bands and a second image corresponding to the second optical image.
  • the imaging device is not limited to those having the configuration such as the pupil dividing section of the multispectral camera 100 shown in FIG. Any device may be used as long as it captures the transmitted second optical image and acquires the first image and the second image corresponding to the first optical image and the second optical image.
  • a data processing method is a method of selecting a wavelength (specific wavelength) suitable for separating a plurality of subjects. It is a method executed by a processor that is the subject of processing.
  • FIG. 19 is a flow chart showing an embodiment of a data processing method according to the present invention.
  • the processor acquires the first spectral data of the first subject and the second spectral data of the second subject (step S10, data acquisition step).
  • the processor selects a plurality of specific wavelengths suitable for separating the first subject and the second subject from the wavelength ranges of the first spectral data and the second spectral data acquired in step S10 (step S20, wavelength selection step).
  • the plurality of specific wavelengths are selected based on the difference between the feature amounts (spectral reflectance or spectral intensity) of the first spectral data and the second spectral data.
  • FIG. 20 is a subroutine showing an embodiment of the processing procedure in step S10 shown in FIG.
  • the user photographs the first subject and the second subject with the hyperspectral camera 1 (step S11, see FIGS. 1 and 3).
  • the data cube 8 of the three-dimensional structure in which the two-dimensional spectral data are arranged for each wavelength and form layers is obtained (step S12).
  • the data cube 8 acquires the spectral information acquired by the hyperspectral camera 1 by performing data processing using a computer in which data processing software is installed (see FIGS. 2 and 4).
  • the processor generates a display image (for example, a visible image such as a pseudo-color image) representing the spectral data based on the two-dimensional spectral data included in the data cube 8 (step S13), and generates the display image. It is displayed on the display (step S14).
  • a display image for example, a visible image such as a pseudo-color image
  • the processor determines whether or not a user instruction for the area of the subject (first subject, second subject) on the display image displayed on the display has been received (step S15). If the user instruction for the subject area has not been received ("No"), the process returns to step S14, and if the user instruction for the subject area has been received ("Yes"), the process proceeds to step S16. transition.
  • step S16 the representative value of the spectral data in the subject area is calculated for each wavelength of the data cube 8.
  • the representative value of the spectral data in the subject area can be the average value, the median value, or the mode of the spectral data in the subject area.
  • the processor generates spectral data of each subject from the representative value for each wavelength calculated in step S16 (step S17).
  • FIG. 21 is a subroutine showing the first embodiment of the processing procedure in step S20 shown in FIG. In particular, FIG. 21 shows the case of automatically selecting a plurality of specific wavelengths by the processor.
  • the processor selects the wavelength at which the difference between the first spectral data of the first subject and the spectral data of the second spectrum of the second subject is maximum as one of the plurality of specific wavelengths (step S21). ).
  • the processor determines whether or not there is a reference wavelength at which the spectral data of the first spectral data and the spectral data of the second spectral data match (intersect) (step S22). If it is determined that the reference wavelength exists ("Yes"), the wavelength that maximizes the difference in spectral data on the short and/or long wavelength side of the reference wavelength is selected as the specific wavelength (step S23). Note that the reference wavelength can also be selected as the specific wavelength.
  • the second wavelength range is different from the specific wavelength selected in step S21 by a predetermined wavelength difference or more.
  • a wavelength that maximizes or minimizes the difference between the spectral data of the first spectral data and the second spectral data is selected as the specific wavelength (step S24).
  • the predetermined difference is preferably 5 nm or more. Also, the predetermined difference may be appropriately set by the user. A wavelength at which the difference between the first spectral data and the second spectral data is maximum or minimum can also be selected as the specific wavelength.
  • the processor determines whether or not there are two or more reference wavelengths at which the spectral data of the first spectral data and the spectral data of the second spectral data match (intersect) (step S25). If it is determined that there are two or more reference wavelengths ("Yes"), the wavelength that maximizes the difference in spectral data between the two or more reference wavelengths is selected as the specific wavelength (step S26).
  • the processor can automatically select a plurality of specific wavelengths suitable for separating a plurality of subjects.
  • FIG. 22 is a subroutine showing a second embodiment of the processing procedure in step S20 shown in FIG. FIG. 22 particularly shows a case where a plurality of specific wavelengths are selected by user's instruction.
  • the processor creates graphs (first graph and second graph) showing these spectral data (step S31). ).
  • the processor causes the display 50 to display the first graph and the second graph created in step S31 in a distinguishable manner (step S32).
  • the processor determines whether user instructions for a plurality of wavelengths have been received in relation to the first and second graphs displayed on the display 50 (step S33). While looking at the first and second graphs displayed on the display 50, the user can visually confirm the wavelength at which the difference in spectral data is maximized, and designate that wavelength with a pointing device or the like.
  • the processor can accept such user-instructed multiple wavelengths, and when it determines that it has accepted user-instructed multiple wavelengths (in the case of "Yes"), it selects the received multiple wavelengths as specific wavelengths.
  • the hardware structure of a processing unit that executes various types of processing of a processor that constitutes a data processing device is the following types of processors.
  • the circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, FPGA (Field Programmable Gate Array), etc.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (eg, multiple FPGAs, or combinations of CPUs and FPGAs).
  • a plurality of processing units may be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the present invention also includes a data processing program that, when installed in a computer, causes the computer to function as a data processing device according to the present invention, and a non-volatile storage medium in which this data processing program is recorded.

Abstract

複数の被写体間で所望の被写体の識別に適した２以上の波長を選択することができるデータ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置を提供する。プロセッサを備えるデータ処理装置（１０－１）において、プロセッサは、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得するデータ取得処理と、取得した第１スペクトルデータ及び第２スペクトルデータの波長域から複数の特定波長を選定する波長選定処理と、を行い、波長選定処理は、第１スペクトルデータと第２スペクトルデータの特徴量の差に基づいて複数の特定波長を選定する。

Description

データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
　本発明はデータ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置に係り、特に複数の被写体間で所望の被写体の識別に適した２以上の波長を選択する技術に関する。
　従来、ハイパースペクトルカメラとして、１００以上の波長を用いてスペクトルセンシングを行うことができるものがある。
　この種のハイパースペクトルカメラでは、多くの波長を計測しているため、反射や吸収が急激に変化する波長を探すことで検出対象物をセンシングすることが一般的である。
　特許文献１には、撮影装置における撮影光学系中に配置されるバンドパスフィルタの設計条件を探索するバンドパスフィルタの設計システムが記載されている。
　このバンドパスフィルタの設計システムは、被写体から目的事象を判別する上で必要なスペクトルデータの検出アルゴリズム情報、被写体を撮影装置により撮影する際の撮影条件、撮像素子に関する撮像素子情報等を入力し、これらの情報に基づいてバンドパスフィルタの設計条件を、例えば人工知能を利用して探索する。
　尚、検出アルゴリズム情報は、実際に撮影装置により被写体を撮像して目的事象を判断する上で必要なスペクトルデータを検出するためのアルゴリズムである。
特開２０１９－４０１５５号公報
　本開示の技術に係る一つの実施形態は、複数の被写体間で所望の被写体の識別に適した２以上の波長を選択することができるデータ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置を提供する。
　第１態様に係る発明は、プロセッサを備えるデータ処理装置において、プロセッサは、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得するデータ取得処理と、取得した第１スペクトルデータ及び第２スペクトルデータの波長域から複数の特定波長を選定する波長選定処理と、を行い、波長選定処理は、第１スペクトルデータと第２スペクトルデータの特徴量の差に基づいて複数の特定波長を選定する。
　本発明の第２態様に係るデータ処理装置において、特徴量は、分光反射率又は分光強度であることが好ましい。
　本発明の第３態様に係るデータ処理装置において、少なくとも１つの特定波長は、特徴量の差が最大になる波長であることが好ましい。
　本発明の第４態様に係るデータ処理装置において、データ取得処理は、選定する複数の特定波長よりも多くの波長の２次元の分光データを取得する機器からデータ取得することが好ましい。
　本発明の第５態様に係るデータ処理装置において、プロセッサは、分光データに基づいて分光データを示す可視画像を表示器に表示する表示処理を行うことが好ましい。
　本発明の第６態様に係るデータ処理装置において、データ取得処理は、ユーザ指示に基づいて表示器上で第１被写体の第１領域及び第２被写体の第２領域を特定し、第１領域及び第２領域の第１スペクトルデータ及び第２スペクトルデータを取得することが好ましい。
　本発明の第７態様に係るデータ処理装置において、データ取得処理は、第１領域及び第２領域における特徴量の代表値を算出して第１スペクトルデータ及び第２スペクトルデータを取得することが好ましい。
　本発明の第８態様に係るデータ処理装置において、代表値は、平均値、中央値又は最頻値であることが好ましい。
　本発明の第９態様に係るデータ処理装置において、波長選定処理は、第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第１波長と、第１波長から波長差が所定の差以上離れた異なる波長域において、第１スペクトルデータと第２スペクトルデータの特徴量の差が最大又は極大になる第２波長とを、特定波長として選定することが好ましい。
　本発明の第１０態様に係るデータ処理装置において、所定の差は、５ｎｍ以上であることが好ましい。
　本発明の第１１態様に係るデータ処理装置において、波長選定処理は、取得した第１スペクトルデータと第２スペクトルデータとの特徴量が一致する基準波長が存在する場合に、基準波長よりも短波側で第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第３波長と、基準波長よりも長波側で第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第４波長とを、特定波長として選定することが好ましい。
　本発明の第１２態様に係るデータ処理装置において、波長選定処理は、取得した第１スペクトルデータと第２スペクトルデータとの特徴量が一致する基準波長が２以上存在する場合に、２以上の基準波長の間で第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第５波長を、複数の特定波長のうちの一つとして選定することが好ましい。
　本発明の第１３態様に係るデータ処理装置において、波長選定処理は、取得した第１スペクトルデータ及び第２スペクトルデータを示す第１グラフ及び第２グラフを表示器に識別可能に表示させる処理と、表示器に表示された第１グラフ及び第２グラフに関連してユーザ指示された複数の波長を、複数の特定波長として受け付ける処理と、を行うことが好ましい。
　第１４態様に係る発明は、複数の波長選択素子を有する光学素子であって、複数の波長選択素子は、第１実施形態から第１３態様のいずれかに記載のデータ処理装置により選定された複数の特定波長の波長帯域を透過させる、光学素子である。
　第１５態様に係る発明は、第１４態様に係る光学素子を、瞳位置又は瞳位置近傍に配置した撮影光学系である。
　第１６態様に係る発明は、第１５態様に係る撮影光学系と、撮影光学系により結像された、複数の波長選択素子をそれぞれ透過した複数の光学像を撮像する撮像素子と、を備えた撮影装置である。
　第１７態様に係る発明は、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得するデータ取得ステップと、取得した第１スペクトルデータ及び第２スペクトルデータの波長域から複数の特定波長を選定する波長選定ステップであって、第１スペクトルデータと第２スペクトルデータの特徴量の差に基づいて複数の特定波長を選定する波長選定ステップと、を含み、プロセッサが各ステップの処理を実行するデータ処理方法である。
　本発明の第１８態様に係るデータ処理方法において、特徴量は、分光反射率又は分光強度であることが好ましい。
　本発明の第１９態様に係るデータ処理方法において、少なくとも１つの特定波長は、特徴量の差が最大になる波長であることが好ましい。
　本発明の第２０態様に係るデータ処理方法において、データ取得ステップは、選定する複数の特定波長よりも多くの波長の分光データを取得する機器からデータ取得することが好ましい。
　本発明の第２１態様に係るデータ処理方法において、分光データに基づいて分光データを示す可視画像を表示器に表示するステップを含むことが好ましい。
　本発明の第２２態様に係るデータ処理方法において、データ取得ステップは、ユーザ指示に基づいて表示器上で第１被写体の第１領域及び第２被写体の第２領域を特定し、第１領域及び第２領域の第１スペクトルデータ及び第２スペクトルデータを取得することが好ましい。
　本発明の第２３態様に係るデータ処理方法において、データ取得ステップは、第１領域及び第２領域の特徴量の代表値を算出して第１スペクトルデータ及び第２スペクトルデータを取得することが好ましい。
　本発明の第２４態様に係るデータ処理方法において、代表値は、平均値、中央値又は最頻値であることが好ましい。
　本発明の第２５態様に係るデータ処理方法において、波長選定ステップは、第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第１波長と、第１波長から波長差が所定の差以上離れた異なる波長域において、第１スペクトルデータと第２スペクトルデータの特徴量の差が最大又は極大になる第２波長とを、それぞれ特定波長として選定することが好ましい。
　本発明の第２６態様に係るデータ処理方法において、所定の差は、５ｎｍ以上であることが好ましい。
　本発明の第２７態様に係るデータ処理方法において、波長選定ステップは、取得した第１スペクトルデータと第２スペクトルデータとの特徴量が一致する基準波長が存在する場合に、基準波長よりも短波側で第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第３波長と、基準波長よりも長波側で第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第４波長とを、それぞれ特定波長として選定することが好ましい。
　本発明の第２８態様に係るデータ処理方法において、波長選定ステップは、取得した第１スペクトルデータと第２スペクトルデータとの特徴量が一致する基準波長が２以上存在する場合に、２以上の基準波長の間で第１スペクトルデータと第２スペクトルデータの特徴量の差が最大になる第５波長を、複数の特定波長のうちの一つとして選定することが好ましい。
　本発明の第２９態様に係るデータ処理方法において、波長選定ステップは、取得した第１スペクトルデータ及び第２スペクトルデータを示す第１グラフ及び第２グラフを表示器に識別可能に表示させるステップと、表示器に表示された第１グラフ及び第２グラフに関連してユーザ指示された複数の波長を、複数の特定波長として受け付けるステップと、を含むことが好ましい。
　第３０態様に係る発明は、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得する機能と、取得した第１スペクトルデータ及び第２スペクトルデータの波長域から複数の特定波長を選定する機能であって、第１スペクトルデータと第２スペクトルデータの特徴量の差に基づいて複数の特定波長を選定する機能と、をコンピュータにより実現させるデータ処理プログラムである。
図１は、分類したい２つの被写体を同時に撮影して各被写体の分光情報を取得する第１例を示す概略図である。 図２は、ハイパースペクトルカメラが取得した分光情報からデータキューブを作成する様子の一例を示す図である。 図３は、分類したい２つの被写体を別々に撮影して各被写体の分光情報を取得する第２例を示す概略図である。 図４は、ハイパースペクトルカメラが取得した分光情報からデータキューブを作成する様子の他の例を示す図である。 図５は、第１被写体と第２被写体を含むデータキューブから作成可能な可視画像の第１例を示す図である。 図６は、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを示すグラフである。 図７は、１つの第１被写体と２つの第２被写体を含むデータキューブから作成可能な可視画像の第２例を示す図である。 図８は、１つの第１被写体の第１スペクトルデータ、２つの同種の第２被写体の２つの第２スペクトルデータを示すグラフである。 図９は、第１被写体、第２被写体及び第３被写体を含むデータキューブから作成可能な可視画像の第３例を示す図である。 図１０は、第１被写体の第１スペクトルデータ、第２被写体の第２スペクトルデータ、及び第３被写体の第３スペクトルデータを示すグラフである。 図１１は、本発明に係るデータ処理装置の第１実施形態を示す機能ブロック図である。 図１２は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第１例を示すグラフである。 図１３は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第２例を示すグラフである。 図１４は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第３例を示すグラフである。 図１５は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第４例を示すグラフである。 図１６は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第５例を示すグラフである。 図１７は、本発明に係るデータ処理装置の第２実施形態を示す機能ブロック図である。 図１８は、マルチスペクトルカメラの一例を示す概略図である。 図１９は、本発明に係るデータ処理方法の実施形態を示すフローチャートである。 図２０は、図１９に示したステップＳ１０における処理手順の実施形態を示すサブルーチンである。 図２１は、図１９に示したステップＳ２０における処理手順の第１実施形態を示すサブルーチンである。 図２２は、図１９に示したステップＳ２０における処理手順の第２実施形態を示すサブルーチンである。
　以下、添付図面に従って本発明に係るデータ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置の好ましい実施形態について説明する。
　＜分光情報取得の第１例＞
　図１は、分類したい２つの被写体を同時に撮影して各被写体の分光情報を取得する第１例を示す概略図である。
　図１に示す第１例では、分類したい異なる種類の被写体（第１被写体３、第２被写体４）をハイパースペクトルカメラ１により同時に撮影する。
　ハイパースペクトルカメラ１は、光源２により照明され、第１被写体３及び第２被写体４で反射する光を、波長ごとに分光して撮影するカメラであり、複数の波長の分光情報６を取得する。分類したい第１被写体３と第２被写体４とが混在しているため、相互間で与える影響(二次反射光など)も含めた分光情報６を取得することができる。
　分光情報６は、図２に示すようにハイパースペクトルカメラ１のデータ処理ソフトがインストールされたコンピュータ７に入力され、ここでデータ処理されることで、データキューブ８と言われるデータに変換される。
　データキューブ８は、分光反射率又は分光強度を示す２次元の分光データが、波長（λ）毎に並べられて層を成している立体構造のデータである。
　尚、ハイパースペクトルカメラ１としては、スナップショット方式のもの、又はプッシュブルーム方式（ラインスキャン方式）のものを適用することができる。スナップショット方式のハイパースペクトルカメラは、二次元のイメージセンサにより一定領域を同時に撮影することができ、リアルタイム性に優れており、被写体が動体の場合にも撮影することができる。ラインスキャン方式のハイパースペクトルカメラは、被写体を移動させて撮影するため、撮影には一定の時間が必要であり、被写体が動体の場合には撮影が難しいが、スナップショット方式のものに比べて、多数の分光データ（例えば、１００～２００バンドの分光データ）を取得することができる。
　また、ハイパースペクトルカメラ等により取得される分光データは、後述する特定波長の数よりも多くの波長の分光データであればよく、ハイパースペクトルカメラ以外の機器（例えば、マルチスペクトルカメラ等）から取得されるものでもよい。
　＜分光情報取得の第２例＞
　図３は、分類したい２つの被写体を別々に撮影して各被写体の分光情報を取得する第２例を示す概略図である。
　図３に示す第２例では、第１被写体３と第２被写体４とをハイパースペクトルカメラ１により別々に撮影する。
　ハイパースペクトルカメラ１は、光源２により照明された第１被写体３を撮影し、複数の波長の分光情報６Ａを取得し、同様に光源２により照明された第２被写体４を撮影し、複数の波長の分光情報６Ｂを取得する。分類したい第１被写体３と第２被写体４の分光情報６Ａ、６Ｂを別々のタイミングで取得することができるため、現状では第１被写体３と第２被写体４とが混在できないような環境においても各分光情報６Ａ、６Ｂを取得することができる。
　分光情報６Ａ、６Ｂは、それぞれ図４に示すようにコンピュータ７に入力され、ここでデータ処理されることで、データキューブ８Ａ、８Ｂに変換される。
　尚、コンピュータ７の機能をハイパースペクトルカメラ１に持たせることで、ハイパースペクトルカメラ１から直接データキューブを取得するようにしてもよい。
　＜スペクトルデータの取得＞
　図５は、第１被写体と第２被写体を含むデータキューブから作成可能な可視画像の第１例を示す図である。
　ユーザは、図５に示す可視画像上で、第１被写体３の所望の領域Ａ（第１領域）及び第２被写体４の所望の領域Ｂ（第２領域）をそれぞれ指定する。図５上で、所望の領域Ａ，Ｂは、矩形で示されている。
　図２に示したデータキューブ８の情報を使用し、ユーザにより指定された第１被写体３の領域Ａの分光データの代表値を、データキューブ８における波長（λ）毎に算出する。
　第１被写体３の領域Ａの分光データの代表値は、例えば、ある波長に対応する２次元の分光データのうちの第１被写体３の領域Ａの分光データの平均値、中央値、又は最頻値とすることができる。
　同様に、図２に示したデータキューブ８の情報を使用し、ユーザにより指定された第２被写体４の領域Ｂの分光データの代表値を、波長（λ）毎に算出する。
　図６は、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを示すグラフである。
　図６において、横軸は波長（ｎｍ）であり、縦軸は分光データを示すグラフである。
　データキューブ８から算出される波長（λ）毎の２次元の分光データは、離散的な値である。波長（λ）毎の分光データの数が少ない場合には、離散的な分光データを線形補間、スプライン補間等によりデータ数を増やし、図６に示した第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）を取得することが好ましい。
　このようにして、第１被写体３の第１スペクトルデータＡ（λ）、及び第２被写体４の第２スペクトルデータＢ（λ）を取得することができる。
　図７は、１つの第１被写体と２つの第２被写体を含むデータキューブから作成可能な可視画像の第２例を示す図である。
　図７に示す２つの第２被写体４Ａ、４Ｂは、同じ被写体である。即ち、１種当たり複数（２点）の被写体が含まれている。
　スナップショット方式のハイパースペクトルカメラ等によりデータキューブを取得する場合、２つの第２被写体４Ａ、４Ｂは配置位置が異なるため、撮影条件が異なる。即ち、光源による照明条件、撮影範囲内における撮影位置等が異なる。
　この場合、ユーザは、図７に示す可視画像上で、第１被写体３の領域Ａ及び第２被写体４Ａ、４Ｂの領域Ｂ１、Ｂ２をそれぞれ指定する。
　図８は、１つの第１被写体の第１スペクトルデータ、２つの同種の第２被写体の２つの第２スペクトルデータを示すグラフである。
　上記と同様にして、図８に示すように第１被写体３の第１スペクトルデータＡ（λ）、及び２つの第２被写体４Ａ，４Ｂの第２スペクトルデータＢ１（λ）、Ｂ１（λ）を取得することができる。
　図９は、第１被写体、第２被写体及び第３被写体を含むデータキューブから作成可能な可視画像の第３例を示す図である。
　図９に示す第１被写体３、第２被写体４及び第３被写体５は、それぞれ分類したい異なる種類の被写体である。
　ユーザは、図９に示す可視画像上で、第１被写体３の領域Ａ及び第２被写体４の領域Ｂ、及び第３被写体５の領域Ｃをそれぞれ指定する。
　図１０は、第１被写体の第１スペクトルデータ、第２被写体の第２スペクトルデータ、及び第３被写体の第３スペクトルデータを示すグラフである。
　上記と同様にして、図１０に示すように第１被写体３の第１スペクトルデータＡ（λ）、第２被写体４の第２スペクトルデータＢ、及び第３被写体５の第３スペクトルデータＣ（λ）を取得することができる。
　［データ処理装置の第１実施形態］
　図１１は、本発明に係るデータ処理装置の第１実施形態を示す機能ブロック図である。
　第１実施形態のデータ処理装置１０－１は、プロセッサ、メモリ、入出力インターフェース等のハードウェアを備えたパーソナルコンピュータ、ワークステーション等により構成することができる。
　プロセッサは、ＣＰＵ（Central Processing Unit）等から構成され、データ処理装置１０－１の各部を統括制御するとともに、例えば、図１１に示すデータ取得部２０、出力部４０、及びユーザ指示受付部６０－１として機能することができる。
　図１１に示す第１実施形態のデータ処理装置１０－１は、例えば、図１に示した種類の異なる第１被写体３と第２被写体４とを分離するのに適した２以上の波長を自動的に選択するもので、データ取得部２０、出力部４０、及びユーザ指示受付部６０を備えている。
　データ取得部２０は、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得するデータ取得処理を行う部分であり、表示用画像生成部２２、代表値算出部２４、及びスペクトルデータ生成部２６を備えている。
　表示用画像生成部２２及び代表値算出部２４には、例えば、図２に示したデータキューブ８がそれぞれ入力される。
　表示用画像生成部２２は、データキューブ８から第１被写体３及び第２被写体４の特定を可視化する可視画像（表示用画像）を作成し、表示用画像を表示器５０に表示させる表示処理を行う部分である。表示用画像は、例えば、データキューブ８に含まれる赤（Ｒ）、緑（Ｇ）及び青（Ｂ）に対応するバンドの分光データから、Ｂ、Ｇ、Ｒの疑似カラー画像とすることができる。尚、表示用画像は、疑似カラー画像に限らず、モノクロ画像であってもよく、要は第１被写体３及び第２被写体４を特定できるものであればよい。
　表示用画像生成部２２により生成された表示用画像は、表示器５０に出力され、ここで第１被写体３及び第２被写体４を表す画像として表示される。図５に示した画像は、表示器５０に表示される画像の一例である。
　ユーザ指示受付部６０は、表示器５０上で特定された第１被写体３の領域Ａ及び第２被写体４の領域Ｂをユーザ指示により受け付ける部分である。即ち、ユーザ指示受付部６０－１は、表示器５０及びマウス等のポインティングデバイスの操作部７０とからなるユーザインターフェースにより、図５上の第１被写体３の領域Ａ及び第２被写体４の領域Ｂを示す情報を受け付け、受け付けた第１被写体３の領域Ａ及び第２被写体４の領域Ｂを示す情報を代表値算出部２４に出力する。
　代表値算出部２４には、データキューブ８が加えられており、代表値算出部２４は、データキューブ８と、第１被写体３の領域Ａ及び第２被写体４の領域Ｂを示す情報とに基づいて、第１被写体３の領域Ａ及び第２被写体４の領域Ｂにおける特徴量（分光反射率又は分光強度を示す分光データ）の代表値を、データキューブ８を構成する波長毎に算出する。第１被写体３の領域Ａの分光データの代表値は、２次元の分光データうちの第１被写体３の領域Ａの分光データの平均値、中央値、又は最頻値とすることができ、同様に第２被写体４の領域Ｂの分光データの代表値は、２次元の分光データのうちの第２被写体４の領域Ｂの分光データの平均値、中央値、又は最頻値とすることができる。
　スペクトルデータ生成部２６は、代表値算出部２４により算出された、第１被写体３の領域Ａの分光データの代表値、及び第２被写体４の領域Ｂの分光データの代表値を入力し、第１被写体３の第１スペクトルデータＡ（λ）、及び第２被写体４の第２スペクトルデータＢ（λ）を生成する。
　データキューブ８を使用して算出される、第１被写体３の領域Ａの分光データの代表値、及び第２被写体４の領域Ｂの分光データの代表値は、データキューブ８の層になっている波長毎の離散的な値である。スペクトルデータ生成部２６は、データキューブ８の層になっている波長の数が少ない場合には、波長毎の離散的な代表値を線形補間、スプライン補間等によりデータ数を増やして、例えば、図６に示した第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）を取得することが好ましい。尚、各被写体のスペクトルデータは、例えば、被写体（一部の被写体を含む）のスペクトルデータが既知の場合、そのスペクトルデータを入手するようにしてもよい。
　波長選定部３０－１は、データ取得部２０により取得された（スペクトルデータ生成部２６から出力される）第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の波長域から複数の特定波長を選定する波長選定処理を行う部分である。
　＜波長選定処理＞
　次に、図１２から図１６に示す第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）のグラフを参照しながら、波長選定部３０－１による波長選定処理について説明する。
　図１２は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第１例を示すグラフである。
　図１２のグラフに示すように第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）は、それぞれ波長が長くなるにしたがって分光データが単調増加し、また、本例の４００ｎｍ～１０００ｎｍの波長域内では、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）とが一致する波長は存在しない。
　波長選定部３０－１は、第１スペクトルデータＡと第２スペクトルデータＢ（λ）の特徴量（分光反射率又は分光強度を示す分光データ）の差に基づいて複数の特定波長を選定する。複数の特定波長のうちの少なくとも１つの特定波長は、第１スペクトルデータＡと第２スペクトルデータＢ（λ）の分光データの差（差の絶対値）が、最大となる特定波長を選定する。図１２に示す例では、波長域の長波側の端部の第１波長λ１が、分光データの差が最大となる特定波長として選定される。
　この第１波長λ１は、第１スペクトルデータＡと第２スペクトルデータＢ（λ）の分光データの差を全波長域にわたって求め、分光データの差が最大となる波長を、第１波長λ１（特定波長）として選定する。
　また、波長選定部３０－１は、上記のようにして選定した第１波長λ１から波長差が所定の差以上離れた異なる波長域において、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が、最小、極小、最大又は極大になる第２波長λ２を２つ目の特定波長として選定する。
　第１波長λ１と第２波長λ２とは、ある程度、波長が離れている方が好ましいからである。所定の差としては、５ｎｍ以上であることが好ましい。また、所定の差は、ユーザが適宜設定できるようにしてもよい。
　これにより、波長選定部３０－１は、第１被写体３と第２被写体４との分離に適した複数の特定波長（第１波長λ１、第２波長λ２）を選定することができる。
　いま、図１２に示した第１例の第１スペクトルデータＡ（λ）の第１波長λ１及び第２波長λ２における分光データをａ（λ１）、ａ（λ２）とし、第２スペクトルデータＢ（λ）の第１波長λ１及び第２波長λ２における分光データをｂ（λ１）、ｂ（λ２）とすると、センシング感度は、次式により算出することができる。
Figure JPOXMLDOC01-appb-M000001
　以下のすべての実施例においても、［数１］式で示すように正規化されたセンシング感度で評価することが好ましい。正規化された場合、いずれの場合においても必ず－１～１になるため、分光データが変化した場合においても相対比較がしやすくなる。
　以下に示す［表１］は、分光データの１つのパターンＡを示す。
Figure JPOXMLDOC01-appb-T000002
　［表１］に示したパターンＡの分光データを、［数１］式に代入して、正規化されたセンシング感度を求めると、センシング感度＝０．２になる。一方、［数１］式の分母をそれぞれ１とし、正規化されていないセンシング感度を求めると、センシング感度＝－１０になる。
　以下に示す［表２］は、分光データの他のパターンＢを示す。
Figure JPOXMLDOC01-appb-T000003
［表２］に示したパターンＢの分光データを、［数１］式に代入して、正規化されたセンシング感度を求めると、センシング感度≒０．０７になる。一方、［数１］式の分母をそれぞれ１とし、正規化されていないセンシング感度を求めると、センシング感度＝１３０になる。
　波長選定部３０－１は、正規化されたセンシング感度が大きくなるように複数の特定波長（本例では、第１波長λ１、第２波長λ２）を選定することが好ましい。
　図１３は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第２例を示すグラフである。
　図１３のグラフに示すように第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）は、それぞれ波長が長くなるにしたがって分光データが単調増加するが、本例の４００ｎｍ～１０００ｎｍの波長域内において、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）とは分光データが一致する波長（基準波長：本例では、６００ｎｍ）が存在する。
　したがって、図１３に示す第２例の場合、波長選定部３０－１は、基準波長よりも短波側で第１スペクトルデータ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大になる第３波長λ３と、基準波長よりも長波側で第１スペクトルデータ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大になる第４波長λ４とを、それぞれ特定波長として選定することができる。また、波長選定部３０－１は、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）とは分光データが一致する基準波長も特定波長として選定することができる。
　図１４は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第３例を示すグラフである。
　図１４のグラフに示すように第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）とは、２つの交点（分光データが一致する基準波長が２つ）が存在する。
　この場合、波長選定部３０－１は、２つの基準波長の間で第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大になる第１波長λ１（第５波長）を、複数の特定波長のうちの一つとして選定することができ、また、２つの基準波長である第２波長λ２、第３波長λ３をそれぞれ特定波長として選定することができる。更に、波長選定部３０－１は、全波長域の最短波長である第４波長λ４、及び最長波長である第５波長λ５をそれぞれ特定波長として選定することができる。
　図１４に示した第３例の第１スペクトルデータＡ（λ）の第１波長λ１、第２波長λ２及び第３波長λ３における分光データをａ（λ１）、ａ（λ２）、ａ（λ３）とし、第２スペクトルデータＢ（λ）の第１波長λ１、第２波長λ２及び第３波長λ３における分光データをｂ（λ１）、ｂ（λ２）、ｂ（λ３）とすると、センシング感度は、次式により算出することができる。
Figure JPOXMLDOC01-appb-M000004
　図１５は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第４例を示すグラフである。
　図１５のグラフに示すように第１スペクトルデータＡ（λ）は、それぞれ波長が長くなるにしたがって分光データが単調増加し、第２スペクトルデータＢ（λ）は、第１スペクトルデータＡ（λ）とは交差しないが、極大及び極小を有している。その結果、全波長域において、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大（かつ極大）及び最小（かつ極小）になる第１波長λ１、及び第２波長λ２が存在する。
　図１５に示す第４例の場合、波長選定部３０－１は、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大（極大）になる第１波長λ１を特定波長として選定することができ、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最小（極小）になる第２波長λ２を特定波長として選定することができる。
　更に、波長選定部３０－１は、第１波長λ１よりも短波長側で、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最小になる第３波長λ３（図１５に示す第４例では、全波長域のうちの最短波長）を特定波長として選定することができる。
　図１５に示す第４例の場合、図１４に示した第３例の場合のように第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）とが２点で交差しないが、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大（かつ極大）になる第１波長λ１を挟んで、第１波長λ１よりも長波長側で第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最小（極小）になる第２波長λ２と、第１波長λ１よりも短波長側で第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最小になる第３波長λ３とが存在する場合、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第１波長λ１、第２波長λ２、及び第３波長λ３における各分光データに基づいて、［数２］式を適用してセンシング感度を求めることができる。
　図１６は、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）の第５例を示すグラフである。
　図１６のグラフに示すように第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）とは、１つの交点（分光データが一致する基準波長が１つ）が存在する。
　この場合、波長選定部３０－１は、基準波長を特定波長として選定し、基準波長よりも短波側で第１スペクトルデータ（λ）と第２スペクトルデータＢ（λ）の分光データの差が最大になる第２波長λ２と、基準波長よりも長波側で第１スペクトルデータ（λ）と第２スペクトルデータＢ（λ）の分光データの差が極大、及び最大になる第３波長λ３、及び第４波長λ４を特定波長として選定することができる。
　したがって、図１６に示す第５例の場合、波長選定部３０－１は、第１波長λ１、第２波長λ２、第３波長λ３、及び第４波長λ４の４つの波長をそれぞれ特定波長として選定することができる。
　尚、波長選定部３０－１により自動的に選定される特定波長について、図１２から図１６に示す第１例から第５例の第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）を用いて説明したが、波長選定部３０－１により選定される特定波長は、上記の例に限定されない。複数の特定波長は、第１被写体３の第１スペクトルデータＡ（λ）と第２被写体４の第２スペクトルデータＢ（λ）との特徴量（分光反射率又は分光強度を示す分光データ）の差に基づいて、第１被写体３と第２被写体４との分離に適した２以上の特定波長であればよい。
　複数の特定波長のうちの１つは、第１被写体３の第１スペクトルデータＡ（λ）と第２被写体４の第２スペクトルデータＢ（λ）との分光データの差が最大になる波長を含むことが好ましい。また、第１被写体３の第１スペクトルデータＡ（λ）と第２被写体４の第２スペクトルデータＢ（λ）との分光データの差が、分光データの差が極大、極小となる波長、及びゼロになる波長（基準波長）も特定波長の一つとすることができる。
　また、図７に示した第１被写体３と２つの第２被写体４Ａ、４Ｂとをそれぞれ分離する場合には、図８に示した第１被写体３の第１スペクトルデータＡ（λ）と第２被写体４Ａの第２スペクトルデータＢ１（λ）との分光データの差に基づいて２以上の特定波長を選定し、第１被写体３の第１スペクトルデータＡ（λ）と第２被写体４Ｂの第２スペクトルデータＢ２（λ）との分光データの差に基づいて２以上の特定波長を選定し、第２被写体４Ａの第２スペクトルデータＢ１（λ）と第２被写体４Ｂの第２スペクトルデータＢ２（λ）との分光データの差に基づいて２以上の特定波長を選定する。
　即ち、図７に示した第１被写体３と２つの第２被写体４Ａ、４Ｂとをそれぞれ分離する場合には、６以上の特定波長を選定することになる。
　同様に、図９に示した第１被写体３、第２被写体４及び第３被写体５をそれぞれ分離する場合も６以上の特定波長を選定することになる。
　図９に示した第１被写体３と第２被写体４とをそれぞれ分離する場合には、図１０に示した第１被写体３の第１スペクトルデータＡ（λ）と第２被写体４の第２スペクトルデータＢ（λ）との分光データの差に基づいて２以上の特定波長を選定し、第１被写体３の第１スペクトルデータＡ（λ）と第３被写体５の第３スペクトルデータＣ（λ）との分光データの差に基づいて２以上の特定波長を選定し、第２被写体４の第２スペクトルデータＢ（λ）と第３被写体５の第３スペクトルデータＣ（λ）との分光データの差に基づいて２以上の特定波長を選定する。
　図１１に戻って、波長選定部３０－１により選定された複数の特定波長を示す情報は、表示器５０、及び外部装置に出力することができる。
　複数の特定波長を示す情報を入力する表示器５０は、複数の特定波長を表示し、ユーザに提示することができる。
　また、外部装置としては、複数の特定波長を記録する記録装置、複数の特定波長をプリント出力するプリンタ、複数の特定波長に基づいてバンドパスフィルタ等を設計する設計装置等が考えられる。
　［データ処理装置の第２実施形態］
　図１７は、本発明に係るデータ処理装置の第２実施形態を示す機能ブロック図である。
　尚、図１７において、図１１に示した第１実施形態のデータ処理装置１０－１と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　図１７に示す第２実施形態のデータ処理装置１０－２は、第１実施形態のデータ処理装置１０－１が、例えば、図１に示した種類の異なる第１被写体３と第２被写体４とを分離するのに適した２以上の特定波長を自動的に選定するのに対し、ユーザ指示に基づいて２以上の特定波長を手動で選定する点で、第１実施形態のデータ処理装置１０－１と相違する。
　具体的には、第２実施形態のデータ処理装置１０－２は、第１実施形態のデータ処理装置１０－１の波長選定部３０－１及びユーザ指示受付部６０－１の代わりに、波長選定部３０－２及びユーザ指示受付部６０－２が設けられている点で、第１実施形態のデータ処理装置１０－１と相違する。
　波長選定部３０－２は、グラフ作成部３２を有する。グラフ作成部３２は、データ取得部２０により取得された第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ(λ)に基づいて、図１２から図１６に示したように第１スペクトルデータＡ（λ）を示すグラフ（第１グラフ）、及び第２スペクトルデータＢ（λ）を示すグラフ（第２グラフ）を作成する。グラフ作成部３２により作成された、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）を示す第１グラフ及び第２グラフは、表示器５０に出力される。これにより、表示器５０には、第１スペクトルデータＡ（λ）及び第２スペクトルデータＢ（λ）を示す第１グラフ及び第２グラフがそれぞれ識別可能に表示される（図１２から図１６参照）。
　ユーザ指示受付部６０－２は、図１１に示したユーザ指示受付部６０－１と同様に操作部７０からのユーザ指示により各被写体の領域を示す情報を受け付けるとともに、表示器５０に表示された第１グラフ及び第２グラフに関連して、操作部７０を使用してユーザ指示された複数の波長を示す情報を受け付ける。
　ユーザは、例えば、図１２から図１６等に示した第１被写体３の第１スペクトルデータＡ（λ）を示す第１グラフ、及び第２被写体４の第２スペクトルデータＢ（λ）を示す第２グラフが表示器５０に表示された場合に、第１被写体３と第２被写体４との分離に適した複数の波長をグラフ上で指示する。この場合、第１スペクトルデータＡ（λ）と第２スペクトルデータＢ（λ）の分光データの差が、最大になる波長、最小になる波長、極大、あるいは極小になる波長等を指示することができる。
　波長選定部３０－２は、ユーザ指示受付部６０－２が受け付けた複数の波長を示す情報を、複数の特定波長として受け付ける処理を行う。波長選定部３０－２が受け付けた複数の特定波長を示す情報は、波長選定部３０－１と同様に表示器５０及び外部装置に出力することができる。
　［マルチスペクトルカメラ］
　図１８は、マルチスペクトルカメラの一例を示す概略図である。
　図１８に示すマルチスペクトルカメラ（撮影装置）１００は、レンズ１１０Ａ，１１０Ｂ及びフィルタユニット１２０を含む撮影光学系１１０と、イメージセンサ１３０と、信号処理部１４０とから構成されており、特にフィルタユニット１２０に含まれるバンドパスフィルタユニット１２４は、例えば、図１に示す第１被写体３と第２被写体４との分離に適した第１波長λ１及び第２波長λ２をそれぞれ中心波長とする波長域の光を透過させる第１バンドパスフィルタ（第１波長選択素子）１２４Ａ及び第２バンドパスフィルタ（第２波長選択素子）１２４Ｂから構成されている。
　尚、第１被写体３と第２被写体４との分離に適した第１波長λ１及び第２波長λ２は、図１１に示した第１実施形態のデータ処理装置１０－１、又は図１７に示した第２実施形態のデータ処理装置１０－２により選定された特定波長である。
　フィルタユニット１２０は、偏光フィルタユニット１２２とバンドパスフィルタユニット１２４から構成され、撮影光学系１１０の瞳位置又は瞳位置近傍に配置のされることが好ましい。
　偏光フィルタユニット１２２は、撮影光学系１１０の第１瞳領域及び第２瞳領域を透過する光をそれぞれ直線偏光させる第１偏光フィルタ１２２Ａ及び第２偏光フィルタ１２２Ｂからなり、第１偏光フィルタ１２２Ａと第２偏光フィルタ１２２Ｂとは、互いに偏光方向が９０°異なる。
　バンドパスフィルタユニット１２４は、撮影光学系１１０の第１瞳領域及び第２瞳領域を透過する光の波長帯域をそれぞれ選択する第１バンドパスフィルタ１２４Ａ及び第２バンドパスフィルタ１２４Ｂから構成されている。
　したがって、撮影光学系１１０の第１瞳領域を透過する光は、第１偏光フィルタ１２２Ａにより直線偏光され、かつ第１バンドパスフィルタ１２４Ａにより第１波長を含む波長域の光のみが透過する。一方、撮影光学系１１０の第２瞳領域を透過する光は、第２偏光フィルタ１２２Ｂにより直線偏光（第１偏光フィルタ１２２Ａとは９０°異なる方向に直線偏光）され、かつ第２バンドパスフィルタ１２４Ｂにより第２波長を含む波長域の光のみが透過する。
　イメージセンサ１３０は、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ９０°異なる第１偏光フィルタと第２偏光フィルタとが規則的に配置されて構成されている。
　尚、第１偏光フィルタ１２２Ａとイメージセンサ１３０の第１偏光フィルタとは偏光方向が同一であり、第２偏光フィルタ１２２Ｂとイメージセンサ１３０の第２偏光フィルタとは偏光方向が同一である。
　信号処理部１４０は、イメージセンサ１３０の第１偏光フィルタが配置された画素から画素信号を読み出すことで、第１バンドパスフィルタ１２４Ａにより波長選択された狭長帯域の第１画像を取得し、イメージセンサ１３０の第２偏光フィルタが配置された画素から画素信号を読み出すことで、第２バンドパスフィルタ１２４Ｂにより波長選択された狭い帯域の第２画像を取得する。
　信号処理部１４０により取得した第１画像及び第２画像は、第１被写体３と第２被写体４との分離に適した画像になる。第１画像と第２画像とを合成することにより、ダイナミックレンジが拡大された、センシング性能を強化した合成画像を作成することができる。
　［光学素子］
　本発明に係る光学素子は、図１１に示した第１実施形態のデータ処理装置１０－１、又は図１７に示した第２実施形態のデータ処理装置１０－２により特定した２つの特定波長（第１波長λ１と第２波長λ２）の波長組合せにしたがって作製された光学素子である。
　即ち、光学素子は、図１８に示したマルチスペクトルカメラ１００に配置されるバンドパスフィルタユニット１２４に相当し、データ処理装置により特定された第１波長を含む波長域の光を透過させる第１波長選択素子（第１バンドパスフィルタ）と、データ処理装置により特定された第２波長を含む波長帯域の光を透過させる第１波長選択素子（第２バンドパスフィルタ）とを有する。
　第１バンドパスフィルタ及び第２バンドパスフィルタは、第１波長及び第２波長をそれぞれ中心波長とし、かつ互いの透過波長の波長帯域が重ならないバンド幅を有することが好ましい。
　［撮影光学系］
　本発明に係る撮影光学系は、図１７に示したマルチスペクトルカメラ１００の撮影光学系１１０に相当するものである。この撮影光学系は、バンドパスフィルタユニット１２４に相当する光学素子であって、データ処理装置により特定した第１波長を含む波長帯域の光を透過させる第１波長選択素子（第１バンドパスフィルタ）と、データ処理装置により特定した第２波長を含む波長帯域の光を透過させる第１波長選択素子（第２バンドパスフィルタ）とを有する光学素子が、レンズ１１０Ａ、１１０Ｂの瞳位置又は瞳位置近傍に配置されて構成されている。
　［撮影装置］
　本発明に係る撮影装置は、例えば、図１８に示したマルチスペクトルカメラ１００に相当するものである。
　図１８に示すマルチスペクトルカメラ１００は、撮影光学系（本発明に係る光学素子が、瞳位置又は瞳位置近傍に配置された撮影光学系）１１０と、この撮影光学系１１０により結像された光学像（第１光学像及び第２光学像）を撮像するイメージセンサ（撮像素子）１３０と、を備える。
　第１光学像は、光学素子の第１波長選択素子を透過した光学像であり、第２光学像は、光学素子の第２波長選択素子を透過した光学像である。
　第１光学像と第２光学像とは、それぞれ瞳分割部として機能する偏光フィルタユニット１２２（第１偏光フィルタ１２２Ａ、及び第２偏光フィルタ１２２Ｂ）、及びイメージセンサ１３０の各画素上の第１偏光フィルタ１２２Ａ、及び第２偏光フィルタ１２２Ｂに対応する第１偏光フィルタ、及び第２偏光フィルタにより瞳分割され、イメージセンサ１３０により撮像される。これにより、マルチスペクトルカメラ１００は、それぞれ波長帯域が異なる第１光学像に対応する第１画像と、第２光学像に対応する第２画像とを同時に取得することができる。
　尚、撮影装置は、図１８に示したマルチスペクトルカメラ１００の瞳分割部等の構成を有するものに限らず、少なくとも第１波長選択素子を透過した第１光学像と、第２波長選択素子を透過した第２光学像とを撮像し、第１光学像及び第２光学像に対応する第１画像及び第２画像を取得できるものであればよい。
　［データ処理方法］
　本発明に係るデータ処理方法は、複数の被写体の分離に適した波長（特定波長）を選定する方法であり、図１１及び図１７に示したデータ処理装置１０－１、１０－２の各部の処理の主体となるプロセッサにより実行される方法である。
　図１９は、本発明に係るデータ処理方法の実施形態を示すフローチャートである。
　図１９において、プロセッサは、第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得する（ステップＳ１０、データ取得ステップ）。
　続いて、プロセッサは、ステップＳ１０で取得した第１スペクトルデータ及び第２スペクトルデータの波長域から第１被写体と第２被写体との分離に適した複数の特定波長を選定する（ステップＳ２０、波長選定ステップ）。複数の特定波長を選定する際に、第１スペクトルデータと第２スペクトルデータの特徴量（分光反射率又は分光強度を示す分光データ）の差に基づいて複数の特定波長を選定する。
　図２０は、図１９に示したステップＳ１０における処理手順の実施形態を示すサブルーチンである。
　図２０に示すように、ユーザはハイパースペクトルカメラ１により第１被写体及び第２被写体を撮影する（ステップＳ１１、図１、図３参照）。
　続いて、２次元の分光データが、波長毎に並べられて層を成している立体構造のデータキューブ８を取得する（ステップＳ１２）。データキューブ８は、ハイパースペクトルカメラ１により取得した分光情報を、データ処理ソフトがインストールされたコンピュータによりデータ処理することにより取得する（図２、図４参照）。
　続いて、プロセッサは、データキューブ８に含まれる２次元の分光データに基づいて分光データを示す表示用画像（例えば、疑似カラー画像等の可視画像）を生成し（ステップＳ１３）、表示用画像を表示器に表示させる（ステップＳ１４）。
　プロセッサは、表示器に表示された表示用画像上の被写体（第１被写体、第２被写体）の領域のユーザ指示を受け付けたか否かを判別する（ステップＳ１５）。被写体の領域のユーザ指示を受け付けていない場合（「No」の場合）には、ステップＳ１４に戻り、被写体の領域のユーザ指示を受け付けている場合（「Yes」の場合）には、ステップＳ１６に遷移させる。
　ステップＳ１６では、被写体の領域における分光データの代表値を、データキューブ８の波長毎に算出する。被写体の領域における分光データの代表値は、被写体の領域における分光データの平均値、中央値、又は最頻値とすることができる。
　次に、プロセッサは、ステップＳ１６で算出した波長毎の代表値から、各被写体のスペクトルデータを生成する（ステップＳ１７）。
　図２１は、図１９に示したステップＳ２０における処理手順の第１実施形態を示すサブルーチンである。特に図２１は、プロセッサにより自動的に複数の特定波長を選定する場合に関して示している。
　図２１において、プロセッサは、第１被写体の第１スペクトルデータと第２被写体の第２スペクトルの分光データの差が最大になる波長を、複数の特定波長のうちの１つとして選定する（ステップＳ２１）。
　次に、プロセッサは、第１スペクトルデータと第２スペクトルデータの分光データが一致（交差）する基準波長が存在するか否かを判別する（ステップＳ２２）。基準波長が存在すると判定した場合（「Yes」の場合）には、基準波長よりも短波側及び／又は長波側で分光データの差が最大になる波長を特定波長として選定する（ステップＳ２３）。尚、基準波長も特定波長として選定することができる。
　一方、基準波長が存在しないと判定した場合（「No」の場合）には、ステップＳ２１で選定した特定波長から、その特定波長との波長差が所定の差以上離れた異なる波長域において、第１スペクトルデータと第２スペクトルデータの分光データの差が最大又最小になる波長を特定波長として選定する（ステップＳ２４）。
　尚、所定の差としては、５ｎｍ以上であることが好ましい。また、所定の差は、ユーザが適宜設定できるようにしてもよい。また、第１スペクトルデータと第２スペクトルデータの分光データの差が極大又極小になる波長も特定波長として選定することができる。
　続いて、プロセッサは、第１スペクトルデータと第２スペクトルデータの分光データが一致（交差）する基準波長が２以上存在するか否かを判別する（ステップＳ２５）。基準波長が２以上存在すると判定した場合（「Yes」の場合）には、２以上の基準波長の間で分光データの差が最大になる波長を特定波長として選定する（ステップＳ２６）。
　以上のようにしてプロセッサは、複数の被写体の分離に適した複数の特定波長を自動的に選定することができる。
　図２２は、図１９に示したステップＳ２０における処理手順の第２実施形態を示すサブルーチンである。図２２は、特にユーザ指示により複数の特定波長を選定する場合に関して示している。
　図２２において、プロセッサは、第１被写体の第１スペクトルデータと第２被写体の第２スペクトルデータに基づいて、これらのスペクトルデータを示すグラフ（第１グラフ、第２グラフ）を作成する（ステップＳ３１）。
　続いて、プロセッサは、ステップＳ３１で作成した第１グラフと第２グラフを表示器５０に識別可能に表示させる（ステップＳ３２）。
　プロセッサは、表示器５０に表示された第１グラフ及び第２グラフに関連して、複数の波長のユーザ指示を受け付けたか否かを判別する（ステップＳ３３）。ユーザは、表示器５０に表示された第１グラフ及び第２グラフを見ながら、分光データの差が最大になる波長等を目視で確認し、その波長をポインティングデバイス等で指示することができる。
　プロセッサは、このようなユーザ指示された複数の波長を受け付けることができ、複数の波長のユーザ指示を受け付けたと判別すると（「Yes」の場合）、受け付けた複数の波長を特定波長として選定する。
　［その他］
　本実施形態において、例えば、データ処理装置を構成するプロセッサの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係るデータ処理装置として機能させるデータ処理プログラム、及びこのデータ処理プログラムが記録された不揮発性の記憶媒体を含む。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　ハイパースペクトルカメラ
２　光源
３　第１被写体
４、４Ａ、４Ｂ　第２被写体
５　第３被写体
６、６Ａ、６Ｂ　分光情報
７　コンピュータ
８、８Ａ、８Ｂ　データキューブ
１０－１、１０－２　データ処理装置
２０　データ取得部
２０－１　波長選定部
２２　表示用画像生成部
２４　代表値算出部
２６　スペクトルデータ生成部
３０－１、３０－２　波長選定部
３２　グラフ作成部
４０　出力部
５０　表示器
６０　ユーザ指示受付部
６０－１、６０－２　ユーザ指示受付部
７０　操作部
１００　マルチスペクトルカメラ
１１０　撮影光学系
１１０Ａ、１１０Ｂ　レンズ
１２０　フィルタユニット
１２２　偏光フィルタユニット
１２２Ａ　第１偏光フィルタ
１２２Ｂ　第２偏光フィルタ
１２４　バンドパスフィルタユニット
１２４Ａ　第１バンドパスフィルタ
１２４Ｂ　第２バンドパスフィルタ
１３０　イメージセンサ
１４０　信号処理部
Ｓ１０－Ｓ３３　ステップ

Claims (31)

  1. 　プロセッサを備えるデータ処理装置において、
    　前記プロセッサは、
    　第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得するデータ取得処理と、
    　前記取得した前記第１スペクトルデータ及び前記第２スペクトルデータの波長域から複数の特定波長を選定する波長選定処理と、を行い、
    　前記波長選定処理は、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差に基づいて前記複数の特定波長を選定する、データ処理装置。
  2. 　前記特徴量は、分光反射率又は分光強度である、請求項１に記載のデータ処理装置。
  3. 　前記複数の特定波長のうちの少なくも１つの特定波長は、前記特徴量の差が最大になる波長である、
    　請求項１又は２に記載のデータ処理装置。
  4. 　前記データ取得処理は、
    　前記選定する複数の特定波長よりも多くの波長の２次元の分光データを取得する機器からデータ取得する、
    　請求項１から３のいずれか１項に記載のデータ処理装置。
  5. 　前記プロセッサは、前記分光データに基づいて前記分光データを示す可視画像を表示器に表示する表示処理を行う、
    　請求項４に記載のデータ処理装置。
  6. 　前記データ取得処理は、ユーザ指示に基づいて前記表示器上で前記第１被写体の第１領域及び前記第２被写体の第２領域を特定し、前記第１領域及び前記第２領域の前記第１スペクトルデータ及び前記第２スペクトルデータを取得する、
    　請求項５に記載のデータ処理装置。
  7. 　前記データ取得処理は、前記第１領域及び前記第２領域における特徴量の代表値を算出して前記第１スペクトルデータ及び前記第２スペクトルデータを取得する、
    　請求項６に記載のデータ処理装置。
  8. 　前記代表値は、平均値、中央値又は最頻値である、請求項７に記載のデータ処理装置。
  9. 　前記波長選定処理は、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第１波長と、前記第１波長から波長差が所定の差以上離れた異なる波長域において、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大又は極大になる第２波長とを、前記特定波長として選定する、
    　請求項１から８のいずれか１項に記載のデータ処理装置。
  10. 　前記所定の差は、５ｎｍ以上である、請求項９に記載のデータ処理装置。
  11. 　前記波長選定処理は、前記取得した前記第１スペクトルデータと前記第２スペクトルデータとの特徴量が一致する基準波長が存在する場合に、前記基準波長よりも短波側で前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第３波長と、前記基準波長よりも長波側で前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第４波長とを、前記特定波長として選定する、
    　請求項１から１０のいずれか１項に記載のデータ処理装置。
  12. 　前記波長選定処理は、前記取得した前記第１スペクトルデータと前記第２スペクトルデータとの特徴量が一致する基準波長が２以上存在する場合に、２以上の前記基準波長の間で前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第５波長を、前記複数の特定波長のうちの一つとして選定する、
    　請求項１から１１のいずれか１項に記載のデータ処理装置。
  13. 　前記波長選定処理は、
    　前記取得した前記第１スペクトルデータ及び前記第２スペクトルデータを示す第１グラフ及び第２グラフを表示器に識別可能に表示させる処理と、
    　前記表示器に表示された前記第１グラフ及び前記第２グラフに関連してユーザ指示された複数の波長を、前記複数の特定波長として受け付ける処理と、を行う、
    　請求項１から８のいずれか１項に記載のデータ処理装置。
  14. 　複数の波長選択素子を有する光学素子であって、
    　前記複数の波長選択素子は、請求項１から１３のいずれか１項に記載のデータ処理装置により選定された前記複数の特定波長の波長帯域を透過させる、
    　光学素子。
  15. 　請求項１４に記載の光学素子を、瞳位置又は瞳位置近傍に配置した撮影光学系。
  16. 　請求項１５に記載の撮影光学系と、
    　前記撮影光学系により結像された、前記複数の波長選択素子をそれぞれ透過した複数の光学像を撮像する撮像素子と、
    　を備えた撮影装置。
  17. 　第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得するデータ取得ステップと、
    　前記取得した前記第１スペクトルデータ及び前記第２スペクトルデータの波長域から複数の特定波長を選定する波長選定ステップであって、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差に基づいて前記複数の特定波長を選定する前記波長選定ステップと、を含み、
    　プロセッサが各ステップの処理を実行するデータ処理方法。
  18. 　前記特徴量は、分光反射率又は分光強度である、請求項１７に記載のデータ処理方法。
  19. 　前記少なくとも１つの特定波長は、前記特徴量の差が最大になる波長である、
    　請求項１７又は１８に記載のデータ処理方法。
  20. 　前記データ取得ステップは、
    　前記選定する複数の特定波長よりも多くの波長の分光データを取得する機器からデータ取得する、
    　請求項１７から１９のいずれか１項に記載のデータ処理方法。
  21. 　前記分光データに基づいて前記分光データを示す可視画像を表示器に表示するステップを含む、
    　請求項２０に記載のデータ処理方法。
  22. 　前記データ取得ステップは、ユーザ指示に基づいて前記表示器上で前記第１被写体の第１領域及び前記第２被写体の第２領域を特定し、前記第１領域及び前記第２領域の前記第１スペクトルデータ及び前記第２スペクトルデータを取得する、
    　請求項２１に記載のデータ処理方法。
  23. 　前記データ取得ステップは、前記第１領域及び前記第２領域の前記特徴量の代表値を算出して前記第１スペクトルデータ及び前記第２スペクトルデータを取得する、
    　請求項２２に記載のデータ処理方法。
  24. 　前記代表値は、平均値、中央値、又は最頻値である、請求項２３に記載のデータ処理方法。
  25. 　前記波長選定ステップは、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第１波長と、前記第１波長から波長差が所定の差以上離れた異なる波長域において、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大又は極大になる第２波長とを、それぞれ前記特定波長として選定する、
    　請求項１７から２４のいずれか１項に記載のデータ処理方法。
  26. 　前記所定の差は、５ｎｍ以上である、請求項２５に記載のデータ処理方法。
  27. 　前記波長選定ステップは、前記取得した前記第１スペクトルデータと前記第２スペクトルデータとの特徴量が一致する基準波長が存在する場合に、前記基準波長よりも短波側で前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第３波長と、前記基準波長よりも長波側で前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第４波長とを、それぞれ前記特定波長として選定する、
    　請求項１７から２６のいずれか１項に記載のデータ処理方法。
  28. 　前記波長選定ステップは、前記取得した前記第１スペクトルデータと前記第２スペクトルデータとの特徴量が一致する基準波長が２以上存在する場合に、２以上の前記基準波長の間で前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差が最大になる第５波長を、前記複数の特定波長のうちの一つとして選定する、
    　請求項１７から２７のいずれか１項に記載のデータ処理方法。
  29. 　前記波長選定ステップは、
    　前記取得した前記第１スペクトルデータ及び前記第２スペクトルデータを示す第１グラフ及び第２グラフを表示器に識別可能に表示させるステップと、
    　前記表示器に表示された前記第１グラフ及び前記第２グラフに関連してユーザ指示された複数の波長を、前記複数の特定波長として受け付けるステップと、を含む、
    　請求項１７から２４のいずれか１項に記載のデータ処理方法。
  30. 　第１被写体の第１スペクトルデータ及び第２被写体の第２スペクトルデータを取得する機能と、
    　前記取得した前記第１スペクトルデータ及び前記第２スペクトルデータの波長域から複数の特定波長を選定する機能であって、前記第１スペクトルデータと前記第２スペクトルデータの特徴量の差に基づいて前記複数の特定波長を選定する機能と、
    　をコンピュータにより実現させるデータ処理プログラム。
  31. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項３０に記載のプログラムが記録された記録媒体。
PCT/JP2022/007789 2021-02-26 2022-02-25 データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置 WO2022181749A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023502526A JPWO2022181749A5 (ja) 2022-02-25 データ処理装置、方法、プログラム及び記録媒体
CN202280015400.2A CN116888456A (zh) 2021-02-26 2022-02-25 数据处理装置、方法及程序、以及光学元件、摄影光学系统及摄影装置
US18/453,300 US20230393059A1 (en) 2021-02-26 2023-08-21 Data processing apparatus, data processing method, data processing program, optical element, imaging optical system, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021030058 2021-02-26
JP2021-030058 2021-02-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/453,300 Continuation US20230393059A1 (en) 2021-02-26 2023-08-21 Data processing apparatus, data processing method, data processing program, optical element, imaging optical system, and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2022181749A1 true WO2022181749A1 (ja) 2022-09-01

Family

ID=83049143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007789 WO2022181749A1 (ja) 2021-02-26 2022-02-25 データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置

Country Status (3)

Country Link
US (1) US20230393059A1 (ja)
CN (1) CN116888456A (ja)
WO (1) WO2022181749A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090133A1 (ja) * 2022-10-27 2024-05-02 富士フイルム株式会社 処理装置、検査装置、処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130811A (ja) * 2001-10-25 2003-05-08 Dainippon Screen Mfg Co Ltd 波長選択機能を利用した検査対象物の検査
JP2007178407A (ja) * 2005-12-28 2007-07-12 Yamatake Corp 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置
JP2014075699A (ja) * 2012-10-04 2014-04-24 Canon Inc 動画再生装置、表示制御方法、プログラム及び記憶媒体
JP2018189565A (ja) * 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置
JP2020165666A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 分光検査方法および分光検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130811A (ja) * 2001-10-25 2003-05-08 Dainippon Screen Mfg Co Ltd 波長選択機能を利用した検査対象物の検査
JP2007178407A (ja) * 2005-12-28 2007-07-12 Yamatake Corp 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置
JP2014075699A (ja) * 2012-10-04 2014-04-24 Canon Inc 動画再生装置、表示制御方法、プログラム及び記憶媒体
JP2018189565A (ja) * 2017-05-09 2018-11-29 株式会社キーエンス 画像検査装置
JP2020165666A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 分光検査方法および分光検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090133A1 (ja) * 2022-10-27 2024-05-02 富士フイルム株式会社 処理装置、検査装置、処理方法、及びプログラム

Also Published As

Publication number Publication date
CN116888456A (zh) 2023-10-13
JPWO2022181749A1 (ja) 2022-09-01
US20230393059A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
US9134121B2 (en) Determining material properties using speckle statistics
JP6524617B2 (ja) 撮像装置および方法
US8023724B2 (en) Apparatus and method of information extraction from electromagnetic energy based upon multi-characteristic spatial geometry processing
US20230370700A1 (en) Data processing apparatus, data processing method, data processing program, optical element, imaging optical system, and imaging apparatus
JP2008518229A (ja) マルチスペクトル及びハイパースペクトル撮像を行うシステム
US20130201342A1 (en) Estimating a visible vector representation for pixels in an infrared image
WO2022181749A1 (ja) データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
JP5500879B2 (ja) 画像処理装置および画像処理方法
JP2019502097A (ja) 標的空間スペクトル検出を使用するタグ読み取り
JPH0690032B2 (ja) 距離画像取得装置
NL2015804B1 (en) Hyperspectral 2D imaging device.
JPWO2022163671A5 (ja)
US11460617B2 (en) Imaging apparatus and image processing apparatus
WO2020250773A1 (ja) 撮像装置
Kim et al. Aperture-encoded snapshot hyperspectral imaging with a lensless camera
JP2009076012A (ja) 物体識別装置
WO2024047944A1 (ja) 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
WO2023053770A1 (ja) 情報処理装置、方法及びプログラム並びに撮像装置
WO2024090134A1 (ja) 光学部材、処理装置、処理方法、及びプログラム
US11982899B2 (en) Image processing device, imaging device, image processing method, and image processing program
US20240129603A1 (en) Imaging method and program
WO2024024174A1 (ja) レンズ装置、マルチスペクトルカメラ、制御装置、制御方法、及びプログラム
US20220365391A1 (en) Image processing device, imaging device, image processing method, and image processing program
WO2022270355A1 (ja) 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム
Namratha et al. Study on Hyper Spectral Imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759783

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 202280015400.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023502526

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759783

Country of ref document: EP

Kind code of ref document: A1