WO2020044860A1 - 分光イメージング装置および蛍光観察装置 - Google Patents

分光イメージング装置および蛍光観察装置 Download PDF

Info

Publication number
WO2020044860A1
WO2020044860A1 PCT/JP2019/028658 JP2019028658W WO2020044860A1 WO 2020044860 A1 WO2020044860 A1 WO 2020044860A1 JP 2019028658 W JP2019028658 W JP 2019028658W WO 2020044860 A1 WO2020044860 A1 WO 2020044860A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
spectrum
gain
pixel
exposure time
Prior art date
Application number
PCT/JP2019/028658
Other languages
English (en)
French (fr)
Inventor
寛和 辰田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980054384.6A priority Critical patent/CN112585450A/zh
Priority to DE112019004373.0T priority patent/DE112019004373T5/de
Priority to JP2020540145A priority patent/JPWO2020044860A1/ja
Priority to US17/269,954 priority patent/US20210318244A1/en
Publication of WO2020044860A1 publication Critical patent/WO2020044860A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6423—Spectral mapping, video display

Definitions

  • the present technology relates to, for example, a spectroscopic imaging device and a fluorescence observation device used for diagnosing a pathological image.
  • a pathological image diagnosis method using fluorescent staining has been proposed as a method excellent in quantitativeness and polychromaticity (for example, see Patent Document 1).
  • the fluorescence technique is advantageous in that multiplexing is easier than colored staining and detailed diagnostic information can be obtained. Even in fluorescence imaging other than pathological diagnosis, the increase in the number of colors enables various antigens expressed in a sample to be examined at once.
  • a spectroscopic observation device that expands the horizontal axis of the area sensor into space and the vertical axis into wavelength can easily acquire a spectral spectrum of one line on a sample.
  • the spectrum includes a bright wavelength band or a very dark wavelength band
  • the dynamic range of the sensor itself is insufficient, the dark part is crushed, or the bright part is saturated (saturated). There may be cases where sufficient data cannot be obtained.
  • the storage capacity will increase for objects such as pathological images where the total number of pixels is enormous, reducing data accessibility and operating the entire system. New problems such as slowness arise.
  • an object of the present technology is to provide a spectral imaging device and a fluorescence observation device that can perform recording with a high dynamic range while suppressing the recording capacity of a sensor.
  • a spectral imaging device includes a spectral unit, an image sensor, and a control unit.
  • the spectroscopy unit disperses incident light for each wavelength.
  • the image sensor is configured such that an exposure time or a gain can be set for each pixel, and detects light of each wavelength dispersed in the spectroscopic unit.
  • the control unit is configured to be able to set an exposure time or a gain of the image sensor in units of a predetermined pixel area.
  • the optimum exposure condition can be obtained, and the dynamic range of the recorded spectrum can be extended.
  • the spectroscopic unit may be configured to disperse the incident light in one axis direction for each wavelength, and the control unit may set an exposure time of the image sensor in a line unit orthogonal to the one axis direction.
  • the image sensor may further include a pixel unit, and a calculation unit that calculates a pixel value from image data output from the pixel unit.
  • the control unit is configured to set a gain used for calculating the pixel value in units of the predetermined pixel region.
  • the control unit may include an evaluation unit that acquires an emission spectrum of the incident light based on an output of the image sensor, and a storage unit that stores a plurality of reference component spectra and an autofluorescence spectrum.
  • the evaluation unit is configured to calculate a component ratio of the emission spectrum so as to be a linear sum of the plurality of reference component spectra and a self-emission spectrum.
  • the evaluation unit is configured to calibrate at least one of the emission spectrum and the component spectrum based on an exposure time or a gain set for each of the predetermined pixel regions.
  • the evaluation unit may be configured to determine the presence or absence of a pixel whose pixel value has reached saturation from the imaging spectrum, and exclude the pixel having reached the saturation from the calculation of the component ratio of the imaging spectrum. .
  • a fluorescence observation device includes a stage, an excitation unit, a spectral unit, an image sensor, and a control unit.
  • the stage is configured to support a fluorescently stained pathological specimen.
  • the excitation unit irradiates a pathological specimen on the stage with line illumination.
  • the spectroscopy unit disperses the fluorescence excited by the line illumination for each wavelength.
  • the image sensor is configured such that an exposure time or a gain can be set for each pixel, and detects light of each wavelength dispersed in the spectroscopic unit.
  • the control unit is configured to set an exposure time or a gain of the image sensor in a predetermined pixel area unit.
  • the fluorescence observation apparatus may further include a display unit that displays the spectrum of the fluorescence based on the output of the image sensor.
  • the display unit may include an operation area for receiving an input of an exposure time or a gain in the predetermined pixel area unit.
  • the display unit may have a display area for displaying the set spectrum and histogram based on the set exposure time or gain.
  • FIG. 1 is a schematic diagram illustrating a basic configuration of a spectral imaging device according to an embodiment of the present technology. It is the schematic which shows the optical system of the fluorescence observation apparatus provided with the said spectral imaging apparatus.
  • FIG. 3 is a schematic diagram of a pathological specimen to be observed. It is a block diagram showing the composition of the above-mentioned fluorescence observation device.
  • FIG. 2 is a block diagram showing a configuration of a detection unit and its periphery in the fluorescence observation device.
  • FIG. 3 is a schematic diagram illustrating a relationship between a pixel portion and an emission spectrum.
  • FIG. 4 is an explanatory diagram illustrating a relationship between an emission spectrum and a dynamic range in a detection region.
  • FIG. 6 is a flowchart illustrating a processing procedure up to a component separation calculation of an emission spectrum executed in the control unit.
  • 9 is a flowchart illustrating an example of a procedure of a saturation process according to the embodiment. It is a schematic diagram explaining an example of the said saturation process. It is the schematic of the display part in the said fluorescence observation apparatus. It is a figure showing an example of the screen composition of the setting field of the excitation part in the above-mentioned indicator.
  • FIG. 4 is a diagram illustrating an example of a screen configuration of a detection setting area of a fluorescence spectrum derived from one line illumination on the display unit.
  • FIG. 9 is a diagram illustrating an example of a screen configuration of a detection setting area of a fluorescence spectrum derived from another line illumination on the display unit.
  • FIG. 3 is a diagram illustrating a histogram window in the display unit. It is a block diagram of a fluorescence observation device explaining processing performed in the above-mentioned control unit. It is a schematic block diagram which shows the modification of the said fluorescence observation apparatus. It is a schematic block diagram which shows the other modification of the said fluorescence observation apparatus.
  • FIG. 1 is a schematic diagram illustrating a basic configuration of a spectral imaging apparatus 10 according to an embodiment of the present technology.
  • the spectral imaging apparatus 10 is a line scan type imaging spectroscope, and includes a spectroscopic unit 11 and a detecting unit 12.
  • the light splitting unit 11 has a slit 111 parallel to the X-axis direction and a wavelength dispersion element 112.
  • the detection unit 12 includes an image sensor (area sensor) 121 configured by a solid-state imaging device such as a complementary metal-oxide semiconductor (CMOS) or a charge-coupled device (CCD).
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • the 111 slit 111 extracts a spatial component in the X-axis direction of incident light (fluorescence) from a sample (not shown) on the xy plane.
  • the wavelength dispersion element 112 disperses the incident light Lx passing through the slit 111 for each wavelength and forms an image on the image sensor 121.
  • a prism or a diffraction grating is used as the wavelength dispersion element 112, and separates each wavelength band of the incident light Lx in the Y-axis direction.
  • the image sensor 121 acquires a (X, ⁇ ) spectral image of the incident light L1 wavelength-separated by the wavelength dispersion element 112. If a mechanism for scanning the sample in the Y-axis direction is incorporated, a spectral image of (X, Y, ⁇ ) can be obtained.
  • the image sensor 121 is configured so that the exposure time or the gain can be set for each pixel as described later. By adjusting the exposure time or gain according to the light receiving area of each wavelength band, saturation is suppressed for light in the bright wavelength band, and spectral image with sufficient sensitivity for light in the dark wavelength band. Can be obtained.
  • the image sensor 121 is configured to read out only a part of the area from the reading area of the full frame. As a result, the frame rate can be improved by an amount corresponding to the reduced read area. Further, an arbitrary area of the read area can be divided into a plurality of areas, and different gains and exposure times can be set for the respective areas.
  • FIG. 2 is a schematic diagram illustrating an optical system of a fluorescence observation device 100 including the spectral imaging device 10 of the present embodiment.
  • the fluorescence observation device 100 includes a spectroscopic unit 11, a detection unit 12, and a fluorescence excitation unit 13.
  • the fluorescence excitation section 13 has an excitation light optical system 131, a filter block 132, and an objective lens 133.
  • the excitation light optical system 131 includes one or more light sources capable of emitting excitation light.
  • a light source a light emitting diode (LED), a laser diode (LD), a mercury lamp, or the like is used.
  • the excitation light is made into a line illumination, and irradiates the sample S on the stage 20 parallel to the xy plane.
  • the sample S is typically composed of a slide including the observation target Sa such as a tissue section as shown in FIG. 3, but it is needless to say that the sample S may be other.
  • the sample S (observation target Sa) is stained with a plurality of fluorescent dyes that are excited by the irradiation of the excitation light.
  • the filter block 132 includes a dichroic mirror, a band pass filter, and the like.
  • the dichroic mirror reflects the excitation light from the excitation light optical system 131 toward the objective lens 133, and transmits the fluorescence from the sample S transmitted through the objective lens 133 toward the spectroscopic unit 11.
  • the bandpass filter has a bandpass characteristic of cutting out the wavelength band of the excitation light from the light traveling from the sample S toward the spectroscopic unit 11.
  • FIG. 4 is a block diagram showing the configuration of the fluorescence observation device 100.
  • the fluorescence observation device 100 includes a device main body 1, a control unit 2, and a display unit 3.
  • the apparatus main body 1 includes a stage 20, an excitation light source (excitation unit) 101, a spectral imaging unit 102, an observation optical system 103, a scanning mechanism 104, a focus mechanism 105, a non-fluorescence observation unit 106, and the like.
  • the excitation light source 101 corresponds to the excitation light optical system 131
  • the spectral imaging unit 102 corresponds to the spectral unit 11 and the detection unit 12.
  • the observation optical system 103 corresponds to the filter block 132 and the objective lens 133.
  • the scanning mechanism 104 is typically configured by an XY moving mechanism that moves the stage 20 in parallel in at least two directions of the X axis and the Y axis.
  • the imaging region Rs is divided into a plurality in the X-axis direction, scans the sample S in the Y-axis direction, then moves in the X-axis direction, and further scans in the Y-axis method. The operation of performing is repeated. As a result, a large-area spectral image can be obtained.
  • WSI Whole slide imaging
  • the focus mechanism 105 moves the stage 20 or the objective lens 133 to an optimum focus position in a direction orthogonal to the X axis and the Y axis.
  • the non-fluorescent observation unit 106 is used for dark-field observation, bright-field observation, and the like of the sample S, but may be omitted as necessary.
  • the fluorescence observation apparatus 100 includes a fluorescence excitation unit (LD and shutter control), an XY stage as a scanning mechanism, a spectral imaging unit (camera), a focus mechanism (detector and Z stage), a non-fluorescence observation unit (camera), and the like. It may be connected to the control unit 80 for controlling.
  • a fluorescence excitation unit LD and shutter control
  • an XY stage as a scanning mechanism
  • a spectral imaging unit camera
  • focus mechanism detector and Z stage
  • non-fluorescence observation unit camera
  • FIG. 5 is a block diagram showing the configuration of the detection unit 12 and its periphery.
  • the detection unit 12 has an image sensor 121 and a signal processing circuit 122.
  • the image sensor 121 includes a pixel unit 30 and a calculation unit 31.
  • the pixel unit 30 outputs charge information according to the exposure time, for example, by photoelectric conversion of each pixel of a Bayer pixel array composed of RGB pixels. Under the control of the control unit 2 (shutter control), the pixel unit 30 is set to different exposure times for each pixel region (for example, for each row (line)). High-sensitivity pixel information 311 corresponding to the accumulated charge based on the long-time exposure is output from the row where the long-time exposure is performed. From the row where the short-time exposure is performed, low-sensitivity pixel information 312 corresponding to the accumulated charge based on the short-time exposure is output.
  • the calculation unit 31 calculates a pixel value from the image data output from the pixel unit 30.
  • the calculation unit 31 receives the high-sensitivity pixel information 311 and the low-sensitivity pixel information 312 output from the pixel unit 30, and generates one image information based on the input information. 313.
  • the output of the image information synthesis unit 313 is input to the signal processing circuit 122.
  • the signal processing circuit 122 generates an output image by executing signal processing such as white balance (WB) adjustment and ⁇ correction.
  • WB white balance
  • the output image is supplied to the control unit 2 and stored in the storage unit 21 described later, or output to the display unit 3.
  • the image sensor 121 acquires fluorescence spectral data (x, ⁇ ) using a pixel array in the Y-axis direction (vertical direction) of the pixel unit 30 as a wavelength channel.
  • the obtained spectral data (x, ⁇ ) is recorded in the control unit 2 (the storage unit 21) in a state where the spectral data excited from each of the excitation wavelengths is linked.
  • the exposure time of the pixel unit 30 is set by the control unit 2 for each predetermined pixel area.
  • the control unit 2 since the wavelength dispersive element 112 in the light splitting unit 11 separates the incident light Lx (see FIG. 1) in the Y-axis direction, the pixel unit 30 of the image sensor 121 supplies light ( Emission spectrum). Therefore, in the present embodiment, as described above, the exposure time of the pixel unit 30 is set in units of rows (lines) parallel to the X-axis direction orthogonal to the Y-axis direction by the control of the control unit 2 (shutter control). You.
  • the control unit 2 is further configured such that a gain for sensitivity compensation multiplied by each of the high-sensitivity pixel information 311 and the low-sensitivity pixel information 312 in the image information synthesis unit 313 of the calculation unit 31 can be individually set for each pixel area. Is done. This makes it possible to increase the sensitivity of the low-sensitivity pixel information while suppressing the saturation of the high-sensitivity pixel information 311.
  • the setting values of the exposure time and the gain are not particularly limited, and may be arbitrary values or values based on the emission spectrum intensity of the dye measured in advance. For example, assuming that the exposure time of the low-sensitivity pixel area and the gain of the pixel value thereof are 1, the exposure time of the high-sensitivity pixel information area and the gain of the pixel value are, for example, in a range of about 1.5 to 5.0. Is set.
  • the present invention is not limited to the case where both the exposure time and the gain are set, but may be set so that only the exposure time can be adjusted or only the gain may be adjusted.
  • one of the exposure time and the gain may be set as a main set value, and the other may be set as an auxiliary set value. For example, by setting the exposure time as the main set value, it is possible to acquire image data with a good S / N.
  • FIG. 6 is a schematic diagram illustrating the relationship between the pixel unit 30 and the emission spectrum.
  • the control unit 2 determines a detection area from the entire readout area of the image sensor 121 (pixel unit 30) based on the wavelength range of the emission spectrum and the transmission wavelength range of the filter block 132 (see FIG. 2).
  • the filter block 132 In the case of fluorescence imaging, the filter block 132 generally has a band-pass characteristic for cutting the excitation light. Therefore, when there are a plurality of excitation wavelengths, the filter block 132 does not transmit the wavelength as shown in FIG. (Opaque zone DZ) occurs.
  • the control unit 2 excludes an area that does not include such a signal to be detected from the detection area.
  • FIG. 6 when the regions located above and below the opaque band DZ are designated as ROI1 and ROI2, respectively, an emission spectrum (hereinafter, also referred to as a fluorescence spectrum) of a dye having a peak corresponding to each is detected.
  • FIG. 7 is an explanatory diagram showing the relationship between the emission spectrum and the dynamic range in the detection area.
  • FIG. 7A shows the state before setting the exposure time and gain (the exposure time or gain is the same in each detection area), and
  • FIG. 2B shows the acquired data after setting the exposure time and the gain.
  • the dye of ROI1 has a high spectral intensity and saturates beyond the dynamic range of detection, whereas the dye of ROI2 has a low intensity.
  • the exposure time in the (X, ⁇ ) region corresponding to ROI1 is set relatively short (or the gain is relatively small), and conversely, it corresponds to ROI2.
  • the exposure time of the (X, ⁇ ) region is set relatively long (or the gain is set relatively large). As a result, both dark and light pigments can be photographed with suitable exposure.
  • the coordinate information of the detection area such as ROI1 and ROI2 and the information on the gain and the exposure time are stored in the storage unit 21 of the control unit 2.
  • Controller unit The fluorescence spectrum acquired by the detection unit 12 (spectral imaging unit 102) including the image sensor 121 is output to the control unit 2.
  • the imaging data of the multiple fluorescence spectrum can be quantitatively evaluated by performing component analysis (color separation) based on the spectrum of the dye alone.
  • the control unit 2 has a storage unit 21 and an evaluation unit 22, as shown in FIG.
  • the control unit 2 can be realized by hardware elements used for a computer such as a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and necessary software.
  • a PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the storage unit 21 stores in advance a plurality of reference component spectra of a single dye that stains the sample S and a self-emission spectrum of the sample S (hereinafter, also referred to as a standard spectrum).
  • the evaluation unit 22 separates the emission spectrum of the sample S acquired by the image sensor 121 into a spectrum derived from a dye and a self-emission spectrum based on the standard spectrum stored in the storage unit 21, and calculates the respective component ratios.
  • the component ratio of the emission spectrum of the photographed sample S is calculated so as to be a linear sum of the standard spectra.
  • the emission spectrum of the sample S obtained by the image sensor 121 is modulated from the original spectrum because the exposure time and the gain are individually set for each detection region. Therefore, if the data obtained by the image sensor 121 is used as it is, the color separation calculation of the component spectrum may not be performed accurately. Therefore, the evaluation unit 22 is configured to calibrate at least one of the emission spectrum and the reference component spectrum based on the exposure time and the gain set for each predetermined pixel area (detection area) of the image sensor 121. Is done.
  • FIG. 8 is a flowchart showing a processing procedure up to the emission spectrum component separation calculation executed in the control unit 2.
  • the emission spectrum of the sample S obtained by the image sensor 121 is also referred to as an imaging spectrum.
  • control unit 2 sets the exposure time and the gain of the detection area of the pixel unit 30 of the image sensor 121 (Step 101). These setting values are input by the user via the display unit 3 described later. After recording the set exposure time and gain in the storage unit 21, the control unit 2 acquires an imaging spectrum of the sample S via the image sensor 121 (steps 102 and 103).
  • the control unit 2 calibrates the photographing spectrum by demodulating the photographing spectrum or modulating the standard spectrum stored in the storage unit 21 based on the set gain and exposure time of each detection area (step). 104). That is, the photographing spectrum and the standard spectrum are converted into a common intensity axis based on the set exposure time and gain. Examples of the intensity axis include the number of charges per unit time [e ⁇ ] and the spectral radiance [W / (sr ⁇ m 2 ⁇ nm)]. When changing the standard spectrum, the standard spectrum is multiplied by the relative intensity ratio of each detection area at the time of imaging. Then, after performing a saturation process (step 105), which will be described later, as necessary, a component separation calculation of the photographed spectrum is performed (step 106).
  • the saturation processing in the present embodiment specifies a pixel in which saturation has occurred and performs processing to exclude the pixel from the calculation.
  • FIG. 9 shows an example of the processing procedure.
  • FIG. 9 is a flowchart illustrating the procedure of the saturation process.
  • the control unit 2 executes a process of generating a saturation detection array from the acquired imaging spectrum (Step 201).
  • the presence / absence of saturation of the imaging spectrum is determined for each wavelength (channel), and a saturation detection array is generated in which a channel without saturation is "1" and a channel with saturation is "0". .
  • the presence or absence of saturation is determined by referring to the pixel value of each detection area and determining whether it has reached the maximum luminance value. Since the pixel region that has reached the maximum luminance value is presumed to have a saturated pixel value compared to the original correct spectrum, the channel of the reference spectrum corresponding to the pixel region (channel) is used for component separation. Remove from calculation.
  • the number of wavelength channels (the number of channels) recorded in spectral imaging is often larger than the number of components to be finally output. Therefore, if the number of effective channels in which saturation does not occur is larger than the number of components, it is possible to execute the component separation calculation even if data of the channel in which saturation occurs is removed from the calculation.
  • the imaging spectrum and the reference spectrum are multiplied by the saturation detection array. (Steps 203 and 204), otherwise the calculation is not possible, so the process ends without executing the component separation calculation. As a result, the channel in which saturation occurs is excluded from the calculation of the least squares method, so that the component ratio calculation can be performed using only the correctly measured wavelength.
  • the spectral axis that expands the horizontal axis of the image sensor 121 into space and the vertical axis into wavelength is used.
  • An imaging optical system is provided. From each area of the image sensor 121, only the detection area is set to be read, and the detection area is further divided into two or more two-dimensional space ROIs of wavelength ⁇ space, and different gains and exposure times are assigned to each detection area. By setting in combination, optimal exposure conditions can be obtained and the dynamic range of the recorded spectrum can be extended.
  • the blue fluorescent dye when photographing a sample subjected to multiple fluorescent staining, the blue fluorescent dye may have a very high intensity compared to the red fluorescent dye. Under such conditions, the exposure time in the blue wavelength band is set shorter, the gain is set lower, the exposure time in the red wavelength band is set longer, and the gain is set higher. Accordingly, recording with a shallow bit range can be performed, so that recording with a high dynamic range can be performed while suppressing the recording capacity of the sensor.
  • the detection area of the image sensor 121 is set from the spectrum of the object to be measured within the sensitivity range of the sensor. If there is a non-transmission band such as a notch filter in the observation optical path or if there is an area where no light exists, the recording frame rate can be improved by excluding them from the reading area.
  • a saturation detection array for distinguishing the wavelength from the saturation and the others.
  • the display unit 3 is configured as follows. Hereinafter, details of the display unit 3 will be described. Here, as an example, the configuration of the display unit 3 assuming multiple fluorescence imaging will be described.
  • FIG. 11 is a schematic diagram illustrating the display unit 3.
  • the display unit 3 is configured to display the fluorescence spectrum of the sample S based on the output of the image sensor 121.
  • the display unit 3 may be configured by a monitor integrally attached to the control unit 2, or may be a display device connected to the control unit 2.
  • the display unit 3 includes a display element such as a liquid crystal device or an organic EL device, and a touch sensor, and is configured as a UI (User @ Interface) that displays an input setting of a photographing condition and a photographed image.
  • UI User @ Interface
  • the display unit 3 has a main screen 301, a thumbnail image display screen 302, a slide information display screen 303, and a photographed slide list display screen 304.
  • the main screen 301 includes a display area 305 for control buttons (keys) for photographing, an excitation laser (line illumination) setting area 306, spectrum detection setting areas 307 and 308, a spectrum automatic setting control area 309, and the like. . At least one of these areas 305 to 309 may be provided, and one display area may include another display area.
  • the fluorescence observation apparatus 100 sequentially takes out a slide (sample S) from a slide rack (not shown), reads slide information, takes a thumbnail of the slide, sets an exposure time, and the like.
  • the slide information includes patient information, a tissue site, a disease, staining information, and the like, and is read from a barcode, a QR code (registered trademark), or the like attached to the slide.
  • the thumbnail image and slide information of the sample S are displayed on the display screens 302 and 303, respectively. On the display screen 304, information on the slides that have been shot is displayed as a list.
  • the main screen 301 displays, in addition to the fluorescent image of the sample S, the shooting status of the slide currently being shot.
  • the excitation laser is displayed or set in the setting area 306, and the fluorescence spectrum derived from the excitation laser is displayed or set in the detection setting areas 307 and 308.
  • FIG. 12 is a diagram showing an example of a screen configuration of the setting region 306 of the excitation laser.
  • ON / OFF of the output of each of the excitation lines L1 to L4 is selected or switched by a touch operation on the check box 81. Further, the magnitude of the output of each light source is set via the operation unit 82.
  • FIG. 13 shows an example of a screen configuration of the spectrum detection setting area 307 in the excitation line 1
  • FIG. 14 shows an example of a screen configuration of the spectrum detection setting area 308 in the excitation line 2.
  • the vertical axis indicates luminance
  • the horizontal axis indicates wavelength.
  • These detection setting areas 307 and 308 are configured as operation areas for receiving an input of an exposure time and a gain in a predetermined pixel unit of the image sensor 121.
  • the index 83 indicates that the excitation light sources (L1, L2, L4) are turned on, and that the longer the index 83 is, the higher the power of the light source is.
  • the detection wavelength range of the fluorescence spectrum 85 is set by the operation bar 84.
  • the method of displaying the fluorescence spectrum 85 is not particularly limited.
  • the fluorescence spectrum 85 is displayed as an average spectrum (wavelength ⁇ intensity) of all pixels on the excitation lines 1 and 2.
  • the fluorescence spectrum 85 may be displayed by a heat map method in which frequency information of a value is expressed by shading, as shown in FIGS. In this case, it is possible to visualize the variance of the signal that was not known by the average value.
  • the vertical axis of the graph displaying the fluorescence spectrum 85 is not limited to the linear axis, but may be a logarithmic axis or a hybrid axis (bi-exponential axis).
  • the fluorescence spectrum 85 can be set according to the wavelength and power of the excitation light source.
  • the wavelength range of the fluorescence spectrum 85 can be arbitrarily changed by a cursor movement operation on the operation bar 84 using an input device such as a mouse.
  • the fluorescence spectrum 85 is represented by a current average or a waveform calculated by adding a setting change from the last captured waveform.
  • the control unit 2 sets the read area of the image sensor 121 based on the wavelength bands (set values) input to the detection setting areas 307 and 308. Sensor coordinates are specified based on the wavelength bands set by the detection setting areas 307 and 308 and a predetermined conversion formula (conversion formula for pixels corresponding to wavelengths) determined in advance, and the exposure time and gain are set. Is done. A display area in which the exposure time and the gain can be individually set may be separately provided.
  • the detection setting areas 307 and 308 display the set fluorescence spectrum 85 based on the set exposure time, gain, and the like input via the operation bar 84.
  • FIG. 15 shows an example of the screen configuration of the spectrum automatic setting control area 309.
  • an automatic setting key 86 In the spectrum automatic setting control area 309, an automatic setting key 86, a histogram window 87, and the like are arranged.
  • the automatic setting start key 86 automatically performs pre-sampling photography and the above-described spectrum detection setting.
  • the histogram window 87 calculates and displays a histogram corresponding to the wavelength range of the spectrum set in the detection setting areas 307 and 308.
  • the vertical axis of the histogram is frequency, and the horizontal axis is wavelength.
  • the histogram window 87 it is possible to explicitly confirm the occurrence of saturation and the presence / absence of a signal shortage (insufficient intensity) when capturing an image under the spectrum detection conditions set in the detection setting areas 307 and 308. . Further, the exposure time and the gain can be changed while checking the histogram.
  • FIG. 16 is a block diagram of the fluorescence observation apparatus 100 for explaining processing executed in the control unit 2.
  • the control unit 2 stores the parameters set in the various setting areas 306 to 308 of the display unit 3 in the storage unit 21 (see FIG. 4), and reads out the reading area (wavelength band) and the exposure based on the parameters to the image sensor 121. Time and gain are set (S401).
  • the control unit 2 outputs the emission spectrum of the sample S acquired by the image sensor 121 to the display unit 3 (S402), and the waveform of the spectrum is displayed in the detection setting areas 307 and 308 (see FIGS. 13 and 14). ).
  • the control unit 2 executes optimization processing of the exposure time and the gain based on the imaging data of the image sensor 121 (step 403), and repeats the processing of acquiring the imaging data with the changed parameters. .
  • the above-described component separation calculation is executed based on the imaging data of the image sensor 121, and the result is displayed on the display unit 3 (for example, the main screen 301) (S404). .
  • the set spectrum and histogram are captured and displayed in real time, and the new set value is obtained from the acquired spectrum.
  • the spectrum and histogram at are displayed. This makes it possible to comprehensively display and set the relationship between the setting parameter and the imaging range, the relationship between the setting parameter and the sensor output, and the like.
  • FIG. 17 is a schematic block diagram of a fluorescence observation device 200 according to Modification 1
  • FIG. 18 is a schematic block diagram of a fluorescence observation device 300 according to Modification 2.
  • Each of the fluorescence observation apparatuses 200 and 300 includes an apparatus main body 1, a control unit 2, a display unit 3, and a control program 81.
  • the control program 81 is a program that causes the fluorescence observation apparatuses 200 and 300 to execute the same functions as the control functions performed by the control unit 80 of the fluorescence observation apparatus 100 described above.
  • the control program 81 is provided in a state stored in a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, and a flash memory, and is connected to the fluorescence observation device 200. It is downloaded to the computer C or the like and used.
  • the control program 81 distributed from the outside via a network such as the Internet is downloaded to the computer C and used.
  • the fluorescence observation device 300 and the code for acquiring the control program 81 are provided in a packaged state.
  • the computer C to which the control program 81 has been downloaded acquires various data for controlling the excitation light source 101, the spectral imaging unit 102, the scanning mechanism 104, the focusing mechanism 105, the non-fluorescence observation unit 106, and the like, and the downloaded control
  • the control algorithm of the application program 81 is executed, and the control conditions of the fluorescence observation devices 200 and 300 are calculated.
  • the computer C issues a command to the fluorescence observation devices 200 and 300 based on the calculated conditions, so that the conditions of the fluorescence observation devices 200 and 300 are automatically controlled.
  • the present technology may have the following configurations.
  • a spectroscopic unit for dispersing incident light for each wavelength An image sensor having a pixel unit configured to be able to set an exposure time or a gain in pixel units, and detecting light of each wavelength dispersed in the spectral unit, A control unit configured to set an exposure time or a gain of the image sensor in a predetermined pixel area unit.
  • the spectral imaging apparatus according to (1) The spectroscopic unit disperses the incident light in a uniaxial direction for each wavelength, The spectral imaging apparatus, wherein the control unit is configured to set an exposure time of the image sensor in units of lines orthogonal to the one axis direction.
  • the image sensor further includes a pixel unit, and a calculation unit that calculates a pixel value from image data output from the pixel unit, The spectral imaging device, wherein the control unit is configured to set a gain used for calculating the pixel value in units of the predetermined pixel region.
  • the control unit has an evaluation unit that acquires the emission spectrum of the incident light based on the output of the image sensor, and a storage unit that stores a plurality of reference component spectra and an autofluorescence spectrum, The spectral imaging apparatus, wherein the evaluation unit is configured to calculate a component ratio of the emission spectrum so as to be a linear sum of the plurality of reference component spectra and a self-emission spectrum.
  • the spectral imaging apparatus according to (4) wherein The spectral imaging apparatus, wherein the evaluation unit is configured to calibrate at least one of the emission spectrum and the component spectrum based on an exposure time or a gain set for each of the predetermined pixel regions.
  • the spectral imaging apparatus is configured to determine, from the captured spectrum, the presence or absence of a pixel whose pixel value has reached saturation, and to exclude the pixel having reached the saturation from the calculation of the component ratio of the captured spectrum. apparatus.
  • a stage capable of supporting a fluorescently stained pathological specimen;
  • An excitation unit that irradiates the pathological specimen on the stage with line illumination,
  • a spectroscopic unit that disperses the fluorescence excited by the line illumination for each wavelength,
  • An image sensor configured to be capable of setting an exposure time or a gain in pixel units, and detecting light of each wavelength dispersed in the spectral unit,
  • a control unit configured to set an exposure time or a gain of the image sensor in units of a predetermined pixel area.
  • the fluorescence observation device (9) The fluorescence observation device according to (8), The fluorescence observation apparatus, wherein the display unit has an operation area for receiving an input of an exposure time or a gain in a unit of the predetermined pixel area. (10) The fluorescence observation device according to (8) or (9), The fluorescence observation apparatus, wherein the display unit has a display area for displaying a spectrum and a histogram after setting based on the set exposure time or gain.

Abstract

本技術の一形態に係る分光イメージング装置は、分光部と、イメージセンサと、制御ユニットとを具備する。前記分光部は、入射光を波長ごとに分散させる。前記イメージセンサは、画素単位で露光時間またはゲインを設定可能に構成され、前記分光部において分散された各波長の光を検出する。前記制御ユニットは、前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定することが可能に構成される。

Description

分光イメージング装置および蛍光観察装置
　本技術は、例えば、病理画像の診断に用いられる分光イメージング装置および蛍光観察装置に関する。
　定量性や多色性に優れた手法として、蛍光染色による病理画像診断法が提案されている（例えば特許文献１参照）。蛍光手法によると、着色染色に比べて多重化が容易で、詳細な診断情報が得られる点で有利である。病理診断以外の蛍光イメージングにおいても、色数の増加は、サンプルに発現するさまざまな抗原を一度に調べることを可能とする。
特許第４４５２８５０号公報
　エリアセンサの水平軸を空間、垂直軸を波長に展開する分光観察装置は、簡便にサンプル上の１ラインの分光スペクトルを取得することができる。しかしながら、明るい波長帯や非常に暗い波長帯などがスペクトルに混在する場合、センサ自体のダイナミックレンジが不足し、暗い部分が潰れてしまったり、明るい部分がサチュレーション（飽和）してしまったりして、十分なデータを得られない場合がある。一方、この問題を解決するため、記録容量の大きいセンサを使うと、病理画像など全体の画素数が膨大になる対象においては保存容量が肥大化し、データへのアクセサビリティの低下やシステム全体の動作が緩慢になるなどの新たな問題が生じる。
　以上のような事情に鑑み、本技術の目的は、センサの記録容量を抑えつつ、高ダイナミックレンジの記録を行うことができる分光イメージング装置および蛍光観察装置を提供することにある。
　本技術の一形態に係る分光イメージング装置は、分光部と、イメージセンサと、制御ユニットとを具備する。
　前記分光部は、入射光を波長ごとに分散させる。
　前記イメージセンサは、画素単位で露光時間またはゲインを設定可能に構成され、前記分光部において分散された各波長の光を検出する。
　前記制御ユニットは、前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定することが可能に構成される。
　上記分光イメージング装置によれば、最適な露出条件が得られるとともに、記録されるスペクトルのダイナミックレンジを拡張することができる。
　前記分光部は、前記入射光を波長ごとに一軸方向に分散させ、前記制御ユニットは、前記イメージセンサの露光時間を前記一軸方向に直交するライン単位で設定するように構成されてもよい。
　前記イメージセンサは、画素部と、前記画素部から出力される画像データから画素値を算出する演算部をさらに有してもよい。この場合、前記制御ユニットは、前記画素値の算出に用いられるゲインを前記所定の画素領域単位で設定するように構成される。
　前記制御ユニットは、前記イメージセンサの出力に基づいて前記入射光の発光スペクトルを取得する評価部と、複数の基準となる成分スペクトルおよび自家蛍光スペクトルを記憶する記憶部とを有してもよい。前記評価部は、前記複数の基準となる成分スペクトルおよび自家発光スペクトルの線形和となるように、前記発光スペクトルの成分割合を算出するように構成される。
　前記評価部は、前記所定の画素領域ごとに設定された露光時間またはゲインをもとに、前記発光スペクトルおよび前記成分スペクトルの少なくとも一方を校正するように構成される。
　前記評価部は、前記撮影スペクトルから画素値がサチュレーションに達している画素の有無を判定し、前記サチュレーションに達している画素を前記撮影スペクトルの成分割合の演算から除外するように構成されてもよい。
　本技術の一形態に係る蛍光観察装置は、ステージと、励起部と、分光部と、イメージセンサと、制御ユニットとを具備する。
　前記ステージは、蛍光染色された病理標本を支持可能に構成される。
　前記励起部は、前記ステージ上の病理標本にライン照明を照射する。
　前記分光部は、前記ライン照明によって励起された蛍光を波長ごとに分散させる。
　前記イメージセンサは、画素単位で露光時間またはゲインを設定可能に構成され、前記分光部において分散された各波長の光を検出する。
　前記制御ユニットは、前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定するように構成される。
　前記蛍光観察装置は、前記イメージセンサの出力に基づいて前記蛍光のスペクトルを表示する表示部をさらに具備してもよい。
　前記表示部は、前記所定の画素領域単位での露光時間またはゲインの入力を受け付ける操作領域を有してもよい。
　前記表示部は、設定された露光時間またはゲインをもとに、設定後のスペクトルとヒストグラムを表示する表示領域を有してもよい。
　以上のように、本技術によれば、ンサの記録容量を抑えつつ、高ダイナミックレンジの記録を行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る分光イメージング装置の基本構成を示す概略図である。 上記分光イメージング装置を備えた蛍光観察装置の光学系を示す概略図である。 観察対象である病理標本の概略図である。 上記蛍光観察装置の構成を示すブロック図である。 上記蛍光観察装置における検出部およびその周辺の構成を示すブロック図である。 画素部と発光スペクトルとの関係を説明する模式図である。 検出領域における発光スペクトルとダイナミックレンジとの関係を示す説明図である。 制御ユニットにおいて実行される発光スペクトルの成分分離計算までの処理手順を示すフローチャートである。 実施形態におけるサチュレーション処理の手順の一例を示すフローチャートである。 上記サチュレーション処理の一例を説明する模式図である。 上記蛍光観察装置における表示部の概略図である。 上記表示部における励起部の設定領域の画面構成の一例を示す図である。 上記表示部における一のライン照明由来の蛍光スペクトルの検出設定領域の画面構成の一例を示す図である。 上記表示部における他のライン照明由来の蛍光スペクトルの検出設定領域の画面構成の一例を示す図である。 上記表示部におけるヒストグラムウィンドウを説明する図である。 上記制御ユニットにおいて実行される処理を説明する蛍光観察装置のブロック図である。 上記蛍光観察装置の一変形例を示す概略ブロック図である。 上記蛍光観察装置の他の変形例を示す概略ブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
［装置の概要］
　図１は、本技術の一実施形態に係る分光イメージング装置１０の基本構成を示す概略図である。
　同図に示すように、分光イメージング装置１０は、ラインスキャン型のイメージング分光器であり、分光部１１と、検出部１２とを備える。分光部１１は、Ｘ軸方向に平行なスリット１１１と、波長分散素子１１２とを有する。検出部１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの固体撮像素子で構成されたイメージセンサ（エリアセンサ）１２１を有する。
　スリット１１１は、ｘｙ平面上にある図示しない試料からの入射光（蛍光）のＸ軸方向の空間成分を抽出する。波長分散素子１１２は、スリット１１１を通過した入射光Ｌｘを波長ごとに分散させて、イメージセンサ１２１に結像させる。波長分散素子１１２としては、典型的には、プリズムや回折格子が用いられ、入射光Ｌｘの各波長帯域をＹ軸方向に分離させる。イメージセンサ１２１は、波長分散素子１１２において波長分離された入射光Ｌ１の（Ｘ、λ）のスペクトルイメージを取得する。Ｙ軸方向に試料をスキャンする機構を組み込めば、（Ｘ、Ｙ、λ）のスペクトルイメージを取得することができる。
　イメージセンサ１２１は、後述するように、画素単位で露光時間またはゲインを設定することが可能に構成される。各波長帯域の光の受光領域に応じて露光時間またはゲインを調整することで、明るい波長帯域の光に対してはサチュレーションを抑制し、暗い波長帯域の光に対しては十分な感度でスペクトルイメージを取得することが可能となる。
　さらに、イメージセンサ１２１は、フルフレームの読み出し領域から、一部の領域のみを読み出すように構成される。これにより、読み出し領域を減らした分だけ、フレームレートを向上させることができる。さらに、読み出し領域のうち任意の領域を複数に分割し、それぞれの領域に異なるゲインと露光時間を設定することができる。
［蛍光観察装置］
　図２は、本実施形態の分光イメージング装置１０を備えた蛍光観察装置１００の光学系を示す概略図である。
　同図に示すように、蛍光観察装置１００は、分光部１１と、検出部１２と、蛍光励起部１３とを有する。蛍光励起部１３は、励起光光学系１３１と、フィルタブロック１３２と、対物レンズ１３３とを有する。
　励起光光学系１３１は、励起光を出射可能な単数又は複数の光源を含む。光源には、発光ダイオード（ＬＥＤ）、レーザダイオード（ＬＤ）、水銀ランプなどが用いられる。励起光はライン照明化されて、ｘｙ平面に平行なステージ２０上のサンプルＳに照射される。
　サンプルＳは、典型的には、図３に示すような組織切片等の観察対象Ｓａを含むスライドで構成されるが、勿論それ以外であってもよい。サンプルＳ（観察対象Ｓａ）は、励起光の照射により励起される複数の蛍光色素によって染色されている。
　フィルタブロック１３２は、ダイクロイックミラー、バンドパスフィルタ等を含む。ダイクロイックミラーは、励起光光学系１３１からの励起光を対物レンズ１３３に向けて反射し、対物レンズ１３３を透過したサンプルＳからの蛍光を分光部１１に向けて透過させる。バンドパスフィルタは、サンプルＳから分光部１１に向かう光のうち、励起光の波長帯域をカットするバンドパス特性を有する。
　図４は蛍光観察装置１００の構成を示すブロック図である。蛍光観察装置１００は、装置本体１と、制御ユニット２と、表示部３とを備える。
　装置本体１は、ステージ２０、励起光源（励起部）１０１、分光イメージング部１０２、観察光学系１０３、走査機構１０４、フォーカス機構１０５、非蛍光観察部１０６などを有する。
　励起光源１０１は励起光光学系１３１に相当し、分光イメージング部１０２は分光部１１および検出部１２に相当する。観察光学系１０３は、フィルタブロック１３２および対物レンズ１３３に相当する。
　走査機構１０４は、典型的には、ステージ２０を少なくともＸ軸およびＹ軸の２方向に平行移動させるＸＹ移動機構で構成される。この場合、例えば図３に示すように撮影領域ＲｓがＸ軸方向に複数に分割され、Ｙ軸方向にサンプルＳをスキャンし、その後、Ｘ軸方向に移動し、さらにＹ軸方法へのスキャンを行うといった動作が繰り返される。これにより、大面積のスペクトルイメージを取得することができ、例えば病理スライドなどであれば、ＷＳＩ（Whole slide imaging）を取得することができる。
　フォーカス機構１０５は、最適な焦点位置にステージ２０または対物レンズ１３３をＸ軸およびＹ軸に直交する方向に移動させる。非蛍光観察部１０６は、サンプルＳの暗視野観察、明視野観察などに用いられるが、必要に応じて省略されてもよい。
　蛍光観察装置１００は、蛍光励起部（ＬＤやシャッターの制御）、走査機構であるＸＹステージ、分光イメージング部（カメラ）、フォーカス機構（検出器とＺステージ）、非蛍光観察部（カメラ）などを制御する制御部８０と接続されていてもよい。
［イメージセンサ］
　図５は、検出部１２およびその周辺の構成を示すブロック図である。
　同図に示すように、検出部１２は、イメージセンサ１２１と、信号処理回路１２２とを有する。イメージセンサ１２１は、画素部３０と、演算部３１とを有する。
　画素部３０は、例えば、ＲＧＢ画素からなるベイヤー配列の画素配列の各画素における光電変換によって、露光時間に応じた電荷情報を出力する。画素部３０は、制御ユニット２の制御（シャッタ制御）により、画素領域単位（例えば行（ライン）単位）で異なる露光時間に設定される。長時間露光のなされる行からは長時間露光に基づく蓄積電荷に対応する高感度画素情報３１１が出力される。短時間露光のなされる行からは短時間露光に基づく蓄積電荷に対応する低感度画素情報３１２が出力される。
　演算部３１は、画素部３０から出力される画像データから画素値を算出する。本実施形態において演算部３１は、画素部３０から出力される高感度画素情報３１１と低感度画素情報３１２とを入力し、これらの入力情報に基づいて１つの画像情報を生成する画像情報合成部３１３を有する。画像情報合成部３１３の出力は、信号処理回路１２２に入力される。信号処理回路１２２は、例えば、ホワイトバランス（ＷＢ）調整、γ補正などの信号処理を実行して出力画像を生成する。出力画像は、制御ユニット２へ供給され、後述する記憶部２１に格納され、あるいは表示部３に出力される。
　イメージセンサ１２１は、画素部３０のＹ軸方向（垂直方向）の画素アレイを波長のチャンネルとして利用した蛍光の分光データ（ｘ、λ）を取得する。得られた分光データ（ｘ、λ）は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で制御ユニット２（記憶部２１）に記録される。
　画素部３０の露光時間は、制御ユニット２によって所定の画素領域ごとに設定される。本実施形態では、分光部１１における波長分散素子１１２が入射光Ｌｘ（図１参照）をＹ軸方向に波長分離するため、イメージセンサ１２１の画素部３０にはＹ軸方向に異なる波長の光（発光スペクトル）が到達する。そのため本実施形態では、上述のように、制御ユニット２の制御（シャッタ制御）により、Ｙ軸方向に直交するＸ軸方向に平行な行（ライン）単位で、画素部３０の露光時間が設定される。
　制御ユニット２はさらに、演算部３１の画像情報合成部３１３において高感度画素情報３１１および低感度画素情報３１２各々に乗じられる感度補償用のゲインを画素領域単位で個別に設定することが可能に構成される。これにより、高感度画素情報３１１のサチュレーションを抑制しつつ、低感度画素情報の感度の上昇を図ることが可能となる。
　露光時間およびゲインの設定値は特に限定されず、任意の値でもよいし、予め測定した色素の発光スペクトル強度に基づく値でもよい。例えば、低感度画素領域の露光時間およびその画素値のゲインを１としたとき、高感度画素情報領域の露光時間およびその画素値のゲインは、例えば、１．５～５．０程度の範囲に設定される。
　また、露光時間およびゲインの双方が設定される場合に限られず、露光時間のみ調整可能に設定されてもよいし、ゲインのみ調整可能に設定されてもよい。あるいは、露光時間およびゲインのうち一方を主たる設定値とし、他方を補助的な設定値としてもよい。例えば、露光時間の設定を主たる設定値とすることで、Ｓ／Ｎの良好なイメージデータを取得することができる。
　図６は、画素部３０と発光スペクトルとの関係を説明する模式図である。
　同図に示すように、制御ユニット２は、発光スペクトルの波長範囲、フィルタブロック１３２（図２参照）の透過波長範囲からイメージセンサ１２１（画素部３０）の全読出し領域から検出領域を決定する。蛍光イメージングの場合、フィルタブロック１３２は、励起光をカットするバンドパス特性を有することが一般的であることから、複数の励起波長が存在する場合は、同図に示すような波長の透過しない帯域（不透過帯DZ）が生じる。制御ユニット２は、このような検出したい信号を含まない領域を検出領域から除外する。
　図６に示すように、不透過帯DZの上下に位置する領域をそれぞれROI1およびROI2としたとき、それぞれに対応したピークを持つ色素の発光スペクトル（以下、蛍光スペクトルともいう）が検出される。図７は、検出領域における発光スペクトルとダイナミックレンジとの関係を示す説明図であり、同図（ａ）は、露光時間およびゲインの設定前（各検出領域において露光時間あるいはゲインが同一）、そして同図（ｂ）は、露光時間およびゲインの設定後における取得データをそれぞれ示している。
　図７（ａ）に示すように、ROI1の色素はスペクトル強度が強く、検出のダイナミックレンジを超えてサチュレーションしているが、ROI2の色素は強度が弱い。本実施形態では、図７（ｂ）に示すように、ROI1に相当する（Ｘ、λ）領域の露光時間を比較的短く（あるいはゲインを比較的小さく）設定し、逆に、ROI2に相当する（Ｘ、λ）領域の露光時間を比較的長く（あるいはゲインを比較的大きく）設定する。その結果、暗い色素も明るい色素も好適な露出によって撮影することができる。これらROI1およびROI2などの検出領域の座標情報とゲイン、露光時間に関する情報は、制御ユニット２の記憶部２１に格納される。
　［制御ユニット］
　イメージセンサ１２１を含む検出部１２（分光イメージング部１０２）で取得された蛍光スペクトルは、制御ユニット２に出力される。多重蛍光スペクトルの撮影データは、色素単体のスペクトルなどを基に成分分析（色分離）することによって定量的に評価することができる。制御ユニット２は、図４に示すように、記憶部２１と、評価部２２とを有する。
　制御ユニット２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等が用いられてもよい。
　記憶部２１は、サンプルＳを染色する色素単体の複数の基準となる成分スペクトルとサンプルＳの自家発光スペクトル（以下、これらを標準スペクトルとも総称する）を予め記憶する。評価部２２は、イメージセンサ１２１で取得したサンプルＳの発光スペクトルを記憶部２１に記憶された標準スペクトルに基づいて色素由来のスペクトルと自家発光スペクトルとに分離し、それぞれの成分割合を算出する。本実施形態では、標準スペクトルの線形和となるように、撮影されたサンプルＳの発光スペクトルの成分割合が算出される。
　一方、イメージセンサ１２１で取得したサンプルＳの発光スペクトルは、各検出領域について露光時間およびゲインが個別に設定されているため、本来のスペクトルから変調されている。したがって、イメージセンサ１２１で取得されたデータをそのまま使用すると、成分スペクトルの色分離計算を正確に行うことができない場合がある。
　そこで、評価部２２は、イメージセンサ１２１の所定の画素領域（検出領域）ごとに設定された露光時間およびゲインをもとに、発光スペクトルおよび基準となる成分スペクトルの少なくとも一方を校正するように構成される。
　図８は、制御ユニット２において実行される発光スペクトルの成分分離計算までの処理手順を示すフローチャートである。以下、イメージセンサ１２１で取得されたサンプルＳの発光スペクトルを撮影スペクトルともいう。
　同図に示すように、制御ユニット２は、イメージセンサ１２１の画素部３０の検出領域の露光時間およびゲインを設定する（ステップ１０１）。これらの設定値は、後述する表示部３を介して、ユーザにより入力される。制御ユニット２は、設定された露光時間およびゲインを記憶部２１へ記録した後、イメージセンサ１２１を介してサンプルＳの撮影スペクトルを取得する（ステップ１０２，１０３）。
　制御ユニット２は、設定された各検出領域のゲインおよび露光時間に基づいて、撮影スペクトルを復調し、あるいは、記憶部２１に格納された標準スペクトルを変調することで、撮影スペクトルを校正する（ステップ１０４）。つまり、設定された露光時間とゲインをもとに、撮影スペクトルと標準スペクトルとを共通の強度軸に変換する。強度軸としては、例えば、単位時間あたりの電荷数［ｅ－］や分光放射輝度［Ｗ／（ｓｒ・ｍ２・ｎｍ）］などが挙げられる。標準スペクトルを変更する場合、撮影時の各検出領域の相対強度比を標準スペクトルに乗じる。その後、必要に応じて後述するサチュレーション処理（ステップ１０５）を実行した後、撮影スペクトルの成分分離計算を行う（ステップ１０６）。
　一方、分光法で多重蛍光サンプルのスペクトル撮影を行う場合、あらかじめサチュレーションなく撮影できるように各画素の露光時間やゲインなどのパラメータを設定することが重要である。しかしながら、ＷＳＩなどにおいてサンプルすべての領域において最適な露出を求めることは非常に困難で、時間的ロスも大きい。撮影時にサチュレーションが起きるとスペクトルのピークがセンサのＡＤ（Analog to Digital）最大値で頭打ちになってしまい、正しいスペクトルを撮影することができない。そのため、色分離計算のために予め用意していた成分スペクトル（標準スペクトル）との乖離が大きくなり、正しい計算ができなくなるという問題が発生する。
　そこで本実施形態では、ROI（Region of interest）設定によるダイナミックレンジの拡張に加えて、後述するサチュレーション処理が実行される。これにより、撮影スペクトルに多少のサチュレーションが生じた場合においても色分離計算を正しく遂行でき、撮影のリトライを減らすことが可能となる。
　本実施形態におけるサチュレーション処理は、サチュレーションの生じている画素を特定し、計算から除外する処理を実行する。その処理手順の一例を図９に示す。
　図９は、サチュレーション処理の手順を示すフローチャートである。
　同図に示すように、制御ユニット２は、取得した撮影スペクトルからサチュレーション検出配列を生成する処理を実行する（ステップ２０１）。これは図１０に示すように、撮影スペクトルを波長（チャネル）ごとにサチュレーションの有無を判定し、サチュレーションが無いチャネルを「１」、サチュレーションがあるチャネルを「０」とするサチュレーション検出配列を生成する。
　サチュレーションの有無は、各検出領域の画素値を参照し、それが最大輝度値に達しているか否かで判定する。最大輝度値に達している画素領域は、本来の正しいスペクトルと比較して画素値が飽和していると推定されるため、当該画素領域（チャネル）に対応する基準スペクトルのチャネルを、成分分離の計算から除去する。
　一般に、スペクトル撮影で記録される波長のチャネル数（ＣＨ数）は、最終的に出力する成分数よりも多いことが多い。そのため、サチュレーションの生じていない有効なチャネル数が成分数よりも多ければ、サチュレーションの生じているチャネルのデータを計算から除去したとしても、成分分離の計算を実行することが可能となる。
　生成した配列中の有効チャネルの数（「１」と判定されたチャネルの数）が最終的に出力したい成分数（チャネル数）よりも多いときは、サチュレーション検出配列を撮影スペクトルおよび基準スペクトルに乗算する処理を実行し（ステップ２０３，２０４）、それ以外の場合は計算が不可能なため、成分分離計算を実行せずに終了する。これにより、サチュレーションの生じているチャネルが最小二乗法の計算から除外されるため、正しく測定された波長のみで成分割合計算を行うことができる。
　以上のように本実施形態によれば、任意の検出領域のゲイン設定や露光時間を変えることのできるイメージセンサ１２１に対して、イメージセンサ１２１の水平軸を空間、垂直軸を波長に展開する分光イメージング光学系を備える。イメージセンサ１２１の各領域から、検出領域だけを読み出すように設定し、さらにその検出領域内を２つ以上の波長×空間の２次元空間ROIに分割し、それぞれの検出領域に異なるゲインおよび露光時間を組み合わせて設定することで、最適な露出条件が得られるとともに、記録されるスペクトルのダイナミックレンジを拡張することができる。
　例えば、多重蛍光染色した試料を撮影する場合、青色の蛍光色素が赤色の蛍光色素に比べて、非常に高い強度をもつことがある。このような条件では、青色の波長帯の露光時間を短め、ゲインを低めに設定し、赤色の波長帯の露光時間を長め、ゲインを高めに設定する。これにより、ビットレンジが浅い記録を行うことができるため、センサの記録容量を抑えつつ、高ダイナミックレンジの記録を行うことが可能となる。
　イメージセンサ１２１の検出領域は、センサの感度域内で、測定される対象のスペクトルから設定される。観察光路中にノッチフィルタのような非透過帯がある場合や光が存在しない領域がある場合は、それらを読出し領域から除外することによって、記録フレームレートを向上させることができる。
　さらに本実施形態によれば、取得したスペクトルから各色素の混色割合を分離計算する場合、撮影したスペクトルに多少のサチュレーションがあったとしても、サチュレーションした波長とそれ以外を区別するためのサチュレーション検出配列（図１０参照）を生成することによって、スペクトルフィッティングによる色分離を行うことができる。
　［表示部］
　ROIによる撮影パラメータ設定の課題として、撮影条件がユーザに分かりにくい点が挙げられる。データが空間と波長の３次元状であるため、どこでサチュレーションが起こったのか、どの波長のシグナルが不足しているのかが分かりにくい。スペクトルへのROI設定と表示を行う部分は、設定パラメータと撮影範囲の関係、設定パラメータとセンサ出力の関係などを網羅的に表示し、設定できるようにする必要がある。
　そこで本実施形態では、表示部３が以下のように構成される。以下、表示部３の詳細について説明する。ここでは、一例として、多重蛍光イメージングを想定した表示部３の構成について説明する。
　図１１は、表示部３を説明する概略図である。表示部３は、イメージセンサ１２１の出力に基づいて、サンプルＳの蛍光のスペクトルを表示することが可能に構成される。表示部３は、制御ユニット２に一体的に取り付けられたモニタで構成されてもよいし、制御ユニット２に接続された表示装置であってもよい。表示部３は、液晶デバイスあるいは有機ＥＬデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するＵＩ（User Interface）として構成される。
　表示部３は、図１１に示すように、主画面３０１と、サムネイル画像の表示画面３０２と、スライド情報の表示画面３０３と、撮影済みスライドリストの表示画面３０４とを有する。主画面３０１には、撮影用の制御ボタン（キー）類の表示領域３０５、励起レーザ（ライン照明）の設定領域３０６、スペクトルの検出設定領域３０７，３０８、スペクトルの自動設定制御エリア３０９等を有する。これらの領域３０５～３０９は少なくとも１つあればよく、また、１つの表示領域に他の表示領域が含まれていてもよい。
　蛍光観察装置１００は、図示しないスライドラックからのスライド（サンプルＳ）の取り出し、スライド情報の読み取り、スライドのサムネイル撮影、露光時間の設定などを順に行う。スライド情報には患者情報、組織部位、疾患、染色情報等が含まれており、スライドに付されたバーコードやＱＲコード（登録商標）などから読み取られる。サンプルＳのサムネイル画像及びスライド情報は、表示画面３０２，３０３にそれぞれ表示される。表示画面３０４には、撮影済みのスライド情報がリストとして表示される。
　主画面３０１には、サンプルＳの蛍光画像のほか、現在撮影中のスライドの撮影状況が表示される。励起レーザは、設定領域３０６において表示あるいは設定され、励起レーザに由来する蛍光スペクトルは、検出設定領域３０７，３０８において表示あるいは設定される。
　図１２は、励起レーザの設定領域３０６の画面構成の一例を示す図である。ここには、各励起ラインＬ１～Ｌ４の出力のＯＮ／ＯＦＦがチェックボックス８１へのタッチ操作により選択あるいは切り替えられる。また、各光源の出力の大きさは操作部８２を介して設定される。
　図１３は、励起ライン１におけるスペクトルの検出設定領域３０７の画面構成の一例を示し、図１４は、励起ライン２におけるスペクトルの検出設定領域３０８の画面構成の一例を示している。各図において縦軸は輝度、横軸は波長を示している。これらの検出設定領域３０７，３０８は、イメージセンサ１２１の所定の画素単位での露光時間やゲインの入力を受け付ける操作領域として構成される。
　図１３及び図１４において、指標８３は、励起光源（Ｌ１，Ｌ２，Ｌ４）が点灯していることを表しており、指標８３の長さが大きいほど光源のパワーが大きいことを示している。蛍光スペクトル８５の検出波長範囲は操作バー８４によって設定される。蛍光スペクトル８５の表示方法は特に限定されず、例えば、励起ライン１，２での全画素平均スペクトル（波長×強度）で表示される。
　また、蛍光スペクトル８５は、図１３及び図１４に示すように、値の頻度情報を濃淡で表現するヒートマップ方式で表示されてもよい。この場合、平均値ではわからなかった信号の分散も可視化することができる。
　なお、蛍光スペクトル８５を表示するグラフの縦軸は、線形軸に限られず、対数軸やハイブリッド軸（バイエクスポーネンシャル軸）であってもよい。
　蛍光スペクトル８５は、励起光源の波長やパワーに応じて設定可能である。蛍光スペクトル８５の波長範囲は、マウスなどの入力装置を用いた操作バー８４に対するカーソル移動操作で任意に変更することが可能である。蛍光スペクトル８５は、現在の平均、または、最後に撮影した波形から設定変更分を加味して計算される波形で表される。
　制御ユニット２は、検出設定領域３０７，３０８に入力された波長帯（設定値）に基づいて、イメージセンサ１２１の読出し領域を設定する。検出設定領域３０７，３０８によって設定された波長帯と予め求めておいた所定の変換式（波長に対応する画素への変換式）とをもとにセンサ座標が特定され、露光時間およびゲインが設定される。露光時間やゲインを個別に設定可能な表示領域が別途設けられてもよい。検出設定領域３０７，３０８は、操作バー８４を介して入力された設定された露光時間やゲインなどをもとに、設定後の蛍光スペクトル８５を表示する。
　図１５は、スペクトルの自動設定制御エリア３０９の画面構成の一例を示している。スペクトルの自動設定制御エリア３０９には、自動設定キー８６、ヒストグラムウィンドウ８７などが配置されている。自動設定開始キー８６は、プレサンプリング撮影と上述したスペクトルの検出設定を自動的に行う。ヒストグラムウィンドウ８７は、検出設定領域３０７，３０８で設定されたスペクトルの波長範囲に対応するヒストグラムを計算して表示する。ヒストグラムの縦軸は頻度、横軸は波長である。
　ヒストグラムウィンドウ８７を参照することで、検出設定領域３０７，３０８にて設定されたスペクトルの検出条件で撮影したときのサチュレーションの発生や信号不足（強度不足）の有無を明示的に確認することができる。また、当該ヒストグラムを確認しながら露光時間やゲインを変更することができる。
　図１６は、制御ユニット２において実行される処理を説明する蛍光観察装置１００のブロック図である。
　制御ユニット２は、表示部３の各種設定領域３０６～３０８において設定されたパラメータを記憶部２１（図４参照）に格納するとともに、イメージセンサ１２１へ当該パラメータに基づく読出し領域（波長帯域）や露光時間、ゲインを設定する（Ｓ４０１）。
　制御ユニット２は、イメージセンサ１２１によって取得されたサンプルＳの発光スペクトルを表示部３へ出力し（Ｓ４０２）、検出設定領域３０７，３０８において当該スペクトルの波形が表示される（図１３、図１４参照）。
　自動設定制御モードでは、制御ユニット２は、イメージセンサ１２１の撮影データに基づいて露光時間やゲインの最適化処理を実行し（ステップ４０３）、変更後のパラメータでの撮影データを取得する処理を繰り返す。
　他方、撮影スペクトルの成分分離計算をするときは、イメージセンサ１２１の撮影データに基づいて上述した成分分離計算を実行し、その結果を表示部３（例えば、主画面３０１）に表示させる（Ｓ４０４）。
　以上のように、本実施形態によれば、設定された波長帯域や露光時間、ゲインをもとに、設定後のスペクトルとヒストグラムがリアルタイムで撮影、表示されるとともに、取得済スペクトルから新しい設定値におけるスペクトルとヒストグラムが表示される。これにより、設定パラメータと撮影範囲の関係、設定パラメータとセンサ出力の関係などを網羅的に表示し、設定することが可能となる。
＜変形例＞
　続いて、上述した蛍光観察装置１００の構成の変形例について説明する。
　図１７は、変形例１に係る蛍光観察装置２００の概略ブロック図、図１８は、変形例２に係る蛍光観察装置３００の概略ブロック図である。蛍光観察装置２００，３００は、装置本体１と、制御ユニット２と、表示部３と、制御用プログラム８１とを有する。
　制御用プログラム８１は、前述した蛍光観察装置１００の制御部８０が行う制御機能と同様の機能を、蛍光観察装置２００，３００に実行させるプログラムである。図１７に示す蛍光観察装置２００において、制御用プログラム８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等の記録媒体に格納された状態で提供され、これを蛍光観察装置２００に接続された電子計算機Ｃ等にダウンロードして用いられる。
　一方、図１８に示す蛍光観察装置３００においては、インターネット等のネットワークを介して、外部から配信された制御用プログラム８１を、電子計算機Ｃ等にダウンロードして用いられる。この場合、蛍光観察装置３００と、制御用プログラム８１を取得するためのコードと、がパッケージされた状態で提供される。
　制御用プログラム８１がダウンロードされた電子計算機Ｃは、励起光源１０１、分光イメージング部１０２、走査機構１０４、フォーカス機構１０５、非蛍光観察部１０６などを制御する各種のデータを取得し、ダウンロードされた制御用プログラム８１の制御アルゴリズムが実行され、蛍光観察装置２００，３００の制御条件が算出される。電子計算機Ｃが、算出された条件に基づいて、蛍光観察装置２００，３００へ指令を出すことにより、蛍光観察装置２００，３００の条件が自動制御される。
　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、種々変更を加え得ることは勿論である。
　なお、本技術は以下のような構成もとることができる。
（１）　入射光を波長ごとに分散させる分光部と、
　画素単位で露光時間またはゲインを設定可能に構成された画素部を有し、前記分光部において分散された各波長の光を検出するイメージセンサと、
　前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定することが可能に構成された制御ユニットと
　を具備する分光イメージング装置。
（２）上記（１）に記載の分光イメージング装置であって、
　前記分光部は、前記入射光を波長ごとに一軸方向に分散させ、
　前記制御ユニットは、前記イメージセンサの露光時間を前記一軸方向に直交するライン単位で設定するように構成される
　分光イメージング装置。
（３）上記（１）又は（２）に記載の分光イメージング装置であって、
　前記イメージセンサは、画素部と、前記画素部から出力される画像データから画素値を算出する演算部をさらに有し、
　前記制御ユニットは、前記画素値の算出に用いられるゲインを前記所定の画素領域単位で設定するように構成される
　分光イメージング装置。
（４）上記（１）～（３）のいずれか１つに記載の分光イメージング装置であって、
　前記制御ユニットは、前記イメージセンサの出力に基づいて前記入射光の発光スペクトルを取得する評価部と、複数の基準となる成分スペクトルおよび自家蛍光スペクトルを記憶する記憶部とを有し、
　前記評価部は、前記複数の基準となる成分スペクトルおよび自家発光スペクトルの線形和となるように、前記発光スペクトルの成分割合を算出するように構成される
　分光イメージング装置。
（５）上記（４）に記載の分光イメージング装置であって、
　前記評価部は、前記所定の画素領域ごとに設定された露光時間またはゲインをもとに、前記発光スペクトルおよび前記成分スペクトルの少なくとも一方を校正するように構成される
　分光イメージング装置。
（６）上記（５）に記載の分光イメージング装置であって、
　前記評価部は、前記撮影スペクトルから画素値がサチュレーションに達している画素の有無を判定し、前記サチュレーションに達している画素を前記撮影スペクトルの成分割合の演算から除外するように構成される
　分光イメージング装置。
（７）　蛍光染色された病理標本を支持可能なステージと、
　前記ステージ上の病理標本にライン照明を照射する励起部と、
　前記ライン照明によって励起された蛍光を波長ごとに分散させる分光部と、
　画素単位で露光時間またはゲインを設定可能に構成され、前記分光部において分散された各波長の光を検出するイメージセンサと、
　前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定するように構成される制御ユニットと
　を具備する蛍光観察装置。
（８）上記（７）に記載の蛍光観察装置であって、
　前記イメージセンサの出力に基づいて前記蛍光のスペクトルを表示する表示部をさらに具備する
　蛍光観察装置。
（９）上記（８）に記載の蛍光観察装置であって、
　前記表示部は、前記所定の画素領域単位での露光時間またはゲインの入力を受け付ける操作領域を有する
　蛍光観察装置。
（１０）上記（８）または（９）に記載の蛍光観察装置であって、
　前記表示部は、設定された露光時間またはゲインをもとに、設定後のスペクトルとヒストグラムを表示する表示領域を有する
　蛍光観察装置。
　２…制御ユニット
　３…表示部
　１０…分光イメージング装置
　１１…分光部
　１２…検出部
　１３…蛍光励起部
　２０…ステージ
　２１…記憶部
　２２…評価部
　３０…画素部
　３１…演算部
　１００，２００，３００…蛍光観察装置
　１２１…イメージセンサ

Claims (10)

  1. 　入射光を波長ごとに分散させる分光部と、
    　画素単位で露光時間またはゲインを設定可能に構成され、前記分光部において分散された各波長の光を検出するイメージセンサと、
    　前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定することが可能に構成された制御ユニットと
    　を具備する分光イメージング装置。
  2. 　請求項１に記載の分光イメージング装置であって、
    　前記分光部は、前記入射光を波長ごとに一軸方向に分散させ、
    　前記制御ユニットは、前記イメージセンサの露光時間またはゲインを前記一軸方向に直交するライン単位で設定するように構成される
    　分光イメージング装置。
  3. 　請求項１に記載の分光イメージング装置であって、
    　前記イメージセンサは、画素部と、前記画素部から出力される画像データから画素値を算出する演算部を有し、
    　前記制御ユニットは、前記画素値の算出に用いられるゲインを前記所定の画素領域単位で設定するように構成される
    　分光イメージング装置。
  4. 　請求項１に記載の分光イメージング装置であって、
    　前記制御ユニットは、前記イメージセンサの出力に基づいて前記入射光の発光スペクトルを取得する評価部と、複数の基準となる成分スペクトルおよび自家蛍光スペクトルを記憶する記憶部とを有し、
    　前記評価部は、前記複数の基準となる成分スペクトルおよび自家発光スペクトルの線形和となるように、前記発光スペクトルの成分割合を算出するように構成される
    　分光イメージング装置。
  5. 　請求項４に記載の分光イメージング装置であって、
    　前記評価部は、前記所定の画素領域ごとに設定された露光時間またはゲインをもとに、前記発光スペクトルおよび前記成分スペクトルの少なくとも一方を校正するように構成される
    　分光イメージング装置。
  6. 　請求項５に記載の分光イメージング装置であって、
    　前記評価部は、前記撮影スペクトルから画素値がサチュレーションに達している画素の有無を判定し、前記サチュレーションに達している画素を前記撮影スペクトルの成分割合の演算から除外するように構成される
    　分光イメージング装置。
  7. 　蛍光染色された病理標本を支持可能なステージと、
    　前記ステージ上の病理標本にライン照明を照射する励起部と、
    　前記ライン照明によって励起された蛍光を波長ごとに分散させる分光部と、
    　画素単位で露光時間またはゲインを設定可能に構成され、前記分光部において分散された各波長の光を検出するイメージセンサと、
    　前記イメージセンサの露光時間またはゲインを所定の画素領域単位で設定するように構成される制御ユニットと
    　を具備する蛍光観察装置。
  8. 　請求項７に記載の蛍光観察装置であって、
    　前記イメージセンサの出力に基づいて前記蛍光のスペクトルを表示する表示部をさらに具備する
    　蛍光観察装置。
  9. 　請求項８に記載の蛍光観察装置であって、
    　前記表示部は、前記所定の画素領域単位での露光時間またはゲインの入力を受け付ける操作領域を有する
    　蛍光観察装置。
  10. 　請求項８に記載の蛍光観察装置であって、
    　前記表示部は、設定された露光時間またはゲインをもとに、設定後のスペクトルとヒストグラムを表示する表示領域を有する
    　蛍光観察装置。
PCT/JP2019/028658 2018-08-28 2019-07-22 分光イメージング装置および蛍光観察装置 WO2020044860A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980054384.6A CN112585450A (zh) 2018-08-28 2019-07-22 光谱成像装置和荧光观察装置
DE112019004373.0T DE112019004373T5 (de) 2018-08-28 2019-07-22 Spektroskopische bildgebungsvorrichtung und fluoreszenzbeobachtungsvorrichtung
JP2020540145A JPWO2020044860A1 (ja) 2018-08-28 2019-07-22 分光イメージング装置および蛍光観察装置
US17/269,954 US20210318244A1 (en) 2018-08-28 2019-07-22 Spectroscopic imaging apparatus and fluorescence observation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-159011 2018-08-28
JP2018159011 2018-08-28

Publications (1)

Publication Number Publication Date
WO2020044860A1 true WO2020044860A1 (ja) 2020-03-05

Family

ID=69645250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028658 WO2020044860A1 (ja) 2018-08-28 2019-07-22 分光イメージング装置および蛍光観察装置

Country Status (5)

Country Link
US (1) US20210318244A1 (ja)
JP (1) JPWO2020044860A1 (ja)
CN (1) CN112585450A (ja)
DE (1) DE112019004373T5 (ja)
WO (1) WO2020044860A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228860B1 (ja) 2022-02-07 2023-02-27 国立大学法人北海道大学 分光計測器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115529420A (zh) * 2021-06-26 2022-12-27 荣耀终端有限公司 一种动态调节光谱传感器曝光参数的方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110064296A1 (en) * 2008-05-16 2011-03-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
JP2015008727A (ja) * 2013-06-27 2015-01-19 中國醫藥大學 ハイパースペクトル利用の組織細胞画像分析のシステム及び方法
JP2016044995A (ja) * 2014-08-20 2016-04-04 セイコーエプソン株式会社 測色方法、測色装置および電子機器
WO2017223206A1 (en) * 2016-06-21 2017-12-28 Sri International Hyperspectral imaging methods and apparatuses

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4049257B2 (ja) * 2002-12-02 2008-02-20 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
JP2009194604A (ja) * 2008-02-14 2009-08-27 Seiko Epson Corp 撮像装置及び撮像装置の駆動方法
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
EP2426470A4 (en) * 2009-04-28 2015-04-01 Imagineering Inc SPECTROSCOPE
JP5394893B2 (ja) * 2009-11-09 2014-01-22 オリンパス株式会社 レーザ走査型顕微鏡
JP2012003198A (ja) * 2010-06-21 2012-01-05 Olympus Corp 顕微鏡
JP5870851B2 (ja) * 2012-05-29 2016-03-01 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016192707A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 撮像素子、撮像方法、並びにプログラム
JP6750621B2 (ja) * 2015-06-26 2020-09-02 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
JP6971646B2 (ja) * 2017-06-13 2021-11-24 株式会社キーエンス 共焦点変位計
JP7408265B2 (ja) * 2017-06-13 2024-01-05 株式会社キーエンス 共焦点変位計

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110064296A1 (en) * 2008-05-16 2011-03-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
JP2015008727A (ja) * 2013-06-27 2015-01-19 中國醫藥大學 ハイパースペクトル利用の組織細胞画像分析のシステム及び方法
JP2016044995A (ja) * 2014-08-20 2016-04-04 セイコーエプソン株式会社 測色方法、測色装置および電子機器
WO2017223206A1 (en) * 2016-06-21 2017-12-28 Sri International Hyperspectral imaging methods and apparatuses

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228860B1 (ja) 2022-02-07 2023-02-27 国立大学法人北海道大学 分光計測器
JP2023114707A (ja) * 2022-02-07 2023-08-18 国立大学法人北海道大学 分光計測器

Also Published As

Publication number Publication date
DE112019004373T5 (de) 2021-05-20
CN112585450A (zh) 2021-03-30
JPWO2020044860A1 (ja) 2021-08-26
US20210318244A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
EP2943761B1 (en) Multispectral imaging system and methods
US10580128B2 (en) Whole slide multispectral imaging systems and methods
US11269171B2 (en) Spectrally-resolved scanning microscope
JP2010540993A (ja) 顕微鏡および顕微鏡の操作方法
JP2017078724A (ja) 多色蛍光画像分析装置
WO2020044860A1 (ja) 分光イメージング装置および蛍光観察装置
JP2014523545A (ja) 生体イメージングのための顕微鏡システム及び方法
US11143855B2 (en) Scanning microscope using pulsed illumination and MSIA
JP5616588B2 (ja) 顕微鏡
JP2013003386A (ja) 撮像装置およびバーチャルスライド装置
JP6564166B2 (ja) 測定装置および蛍光測定方法
JP7284457B2 (ja) 量子効率分布の取得方法、量子効率分布の表示方法、量子効率分布の取得プログラム、量子効率分布の表示プログラム、分光蛍光光度計及び表示装置
JP6599018B2 (ja) 画像取得システム及び画像取得方法
EP3669743B1 (en) System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
US11599999B2 (en) Apparatus, system, and method for fluorescence imaging with stray light reduction
US20240085685A1 (en) Biological specimen detection system, microscope system, fluorescence microscope system, biological specimen detection method, and program
JP5977588B2 (ja) 顕微鏡用撮像装置及び顕微鏡用撮像システム
EP3321659A1 (en) Chromoscopy device and chromoscopy method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855502

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540145

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19855502

Country of ref document: EP

Kind code of ref document: A1