WO2015194410A1 - 画像入力装置及び顕微鏡装置 - Google Patents

画像入力装置及び顕微鏡装置 Download PDF

Info

Publication number
WO2015194410A1
WO2015194410A1 PCT/JP2015/066446 JP2015066446W WO2015194410A1 WO 2015194410 A1 WO2015194410 A1 WO 2015194410A1 JP 2015066446 W JP2015066446 W JP 2015066446W WO 2015194410 A1 WO2015194410 A1 WO 2015194410A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
wavelength band
optical system
lens
Prior art date
Application number
PCT/JP2015/066446
Other languages
English (en)
French (fr)
Inventor
高山 淳
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2015194410A1 publication Critical patent/WO2015194410A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to an image input device and a microscope device suitable for use in the medical field or the like.
  • PDD Photodynamic Diagnostics
  • PDD has a tumor affinity and absorbs in advance a photosensitive substance that emits fluorescence when excited by light in a tumor part of the living body, and the excitation light in the excitation wavelength region of the photosensitive substance is absorbed in that part.
  • It is a technique for diagnosing a tumor part by generating fluorescence by irradiation and displaying an image of the fluorescence.
  • aminolevulinic acid (5-ALA) is orally administered to a patient and irradiated with 400 nm excitation light
  • the cancer cell emits fluorescence at 630 nm and normal cells emit fluorescence at 700 nm. I use that. Since the affected part can be identified based on the difference in the wavelength of the fluorescence, omission of excision can be eliminated, for example, by performing excision of cancer cells while photographing this with a camera.
  • Patent Document 1 discloses a technique that can display an image of a specimen with a selected display target dye in a specimen image obtained by imaging a specimen that has been multiple-stained with a plurality of dyes for the purpose of pathological diagnosis.
  • Patent Document 1 it is possible to display a sample by selecting for each of various colors, but it is necessary to switch a plurality of types of filters to perform imaging a plurality of times, and a long imaging time is required. This increases the burden on the patient and complicates and enlarges the image input device. In general, since the amount of fluorescent light emitted from the affected area is small, it is necessary to devise a method for efficiently obtaining this.
  • the present invention has been made in view of the problems of the related art, and an object thereof is to provide an image input apparatus and a microscope apparatus that can efficiently acquire light emitted from a subject while having a simple configuration.
  • an image input device reflecting one aspect of the present invention.
  • Subject light emitted from the object-side optical system is incident, emits light in the first wavelength band along the first optical path, and emits light other than the first wavelength band different from the first optical path.
  • a branch element that emits along the optical path;
  • a first imaging optical system into which the light of the first wavelength band emitted from the branch element along the first optical path is incident;
  • a first image sensor on which light in the first wavelength band is imaged by the first imaging optical system;
  • a second imaging optical system into which light other than the first wavelength band emitted from the branch element along the second optical path is incident;
  • a second image sensor on which light other than the first wavelength band is imaged by the second imaging optical system.
  • the light of the first wavelength band is emitted along the first optical path, and the light other than the first wavelength band is input to the second optical path different from the first optical path. Therefore, the first imaging optical system in the first optical path can image light of the first wavelength band on the first image sensor, and thereby the first wavelength band. Can be used for photoelectric conversion without loss. Further, the second imaging optical system in the second optical path can image light other than the first wavelength band on the second image sensor, and the subject can be obtained by combining image signals obtained from the two image sensors. An image can be formed.
  • the image signal emitted from the first image sensor and the image signal emitted from the second image sensor are combined in the affected area. Synthetic images characterizing cancer cells can be obtained. There is no need to switch a plurality of types of filters to perform a plurality of shootings, and an image signal based on light in the first wavelength band and an image signal based on light outside the first wavelength band can be obtained with a simple configuration.
  • the branch element is a wavelength selection mirror or a prism that reflects light in the first wavelength band and transmits light in the wavelength other than the first wavelength band.
  • the first imaging optical system has a single optical axis.
  • the first wavelength band is a band having a full width at half maximum of 35 nm or less.
  • a first image of a subject is formed from an image signal obtained from the first image sensor, and a second image of the subject is formed from an image signal obtained from the second image sensor.
  • an image processing unit that performs image processing so as to form a composite image in which the first image and the second image are superimposed.
  • another image input device reflecting one aspect of the present invention is: Subject light emitted from the object-side optical system is incident, emits light in the first wavelength band along the first optical path, and emits light other than the first wavelength band different from the first optical path.
  • a light having a second wavelength band that is disposed in the second optical path and is different from the first wavelength band is emitted along a third optical path, and light other than the second wavelength band is emitted from the third optical path.
  • a second branching element that emits along a different fourth optical path, and a first imaging optical system into which the light of the first wavelength band emitted along the first optical path from the first branching element is incident , A first image sensor on which light in the first wavelength band is imaged by the first imaging optical system; A second imaging optical system into which light other than the first wavelength band and the second wavelength band emitted from the second branch element along the fourth optical path is incident; A second image sensor on which light other than the first wavelength band and the second wavelength band is imaged by the second imaging optical system; A third imaging optical system into which the light of the second wavelength band emitted from the second branch element along the third optical path is incident; And a third image sensor on which light in the second wavelength band is imaged by the third imaging optical system.
  • the first branching element is used to emit light of the first wavelength band along the first optical path, and light other than the first wavelength band is different from the first optical path.
  • the light is branched so as to be emitted along the optical path, and light having a second wavelength band different from the first wavelength band is emitted along the third optical path using the second branch element, and the second wavelength band is obtained.
  • Other than the third optical path is branched so as to be emitted along a fourth optical path, so that the first image sensor in the first optical path transmits light in the first wavelength band in the first image sensor.
  • the third imaging optical system in the third optical path can image the light in the third wavelength band on the third image sensor.
  • the second imaging optical system in the second optical path can image light other than the first wavelength band and the second wavelength band on the second image sensor, and images obtained from the three image sensors.
  • a subject image can be formed by combining signals. For example, when light in the first wavelength band is emitted from a cancer cell and light in the second wavelength band is emitted from a normal cell, the image signal emitted from the first image sensor and the second image sensor are emitted. By synthesizing the image signal, it is possible to obtain a composite image in which cancer cells characterized with respect to normal cells are superimposed on the affected area image, so that diagnosis with higher accuracy can be performed.
  • This microscope apparatus includes the above-described image input apparatus.
  • the object side optical system is provided on one side of a pair of optical paths in which light from the object side travels.
  • an image input device and a microscope device that can efficiently acquire light emitted from a subject with a simple configuration.
  • FIG. 1 is a schematic cross-sectional view of a medical microscope apparatus MM to which an image input apparatus according to this embodiment is attached.
  • the medical microscope apparatus MM includes an objective lens OL, a pair of variable magnification optical systems VO, a beam splitter BS, a pair of intermediate lenses ML, and a pair of prisms PS arranged in this order from the object side (affected area side) in the housing BX. , A pair of eyepiece lenses EL.
  • the light emitted from the affected area BD is collected by the objective lens OL, travels along a pair of optical paths, and passes through the variable magnification optical system VO. Then, only the optical path on one side passes through the beam splitter BS, further passes through the intermediate lens ML, is converted into an erect image by the prism PS, and enters the observer's eye EY through a pair of eyepiece lenses EL. Thus, the observer can observe the image of the affected area BD at a desired magnification.
  • the imaging unit CA may be provided detachably with respect to the medical microscope apparatus MM.
  • FIG. 2 is a cross-sectional view schematically showing main parts of an image input apparatus according to a reference example
  • FIG. 3 is a perspective view schematically showing a photographing part CA of the image input apparatus according to the reference example.
  • the object light emitted from a beam splitter passes through an imaging lens IML and a field lens FL as an object-side optical system provided in the medical microscope apparatus MM to become substantially parallel light, and is an infrared cut filter.
  • the light passes through IrF and is focused on the imaging surface I of the image sensor SS2 through the color filter CF by the lens array LA2.
  • the lens array LA2, the color filter CF, and the image sensor SS2 constitute a photographing unit CA.
  • an afocal optical system may be provided.
  • the lens array LA2 has a plurality of (9 lenses arranged in 3 rows and 3 columns here) individual eye lenses IL. As shown by a dotted line in FIG. 3, it is preferable to integrally mold the single-lens lenses IL with each other by a flange portion, for example, using a resin such as polycarbonate or acrylic resin, because manufacturing is easy.
  • the single lens IL may be formed of two or more lenses. In this case, a plurality of lens arrays may be stacked.
  • the color filter CF is divided into nine filter elements CFa according to the single-eye lens IL.
  • FIG. 4 is a diagram illustrating an example of the arrangement of filter elements in the color filter CF.
  • the color filter CF includes one filter element CFa that transmits light in the red wavelength band (R0), one filter element CFa that transmits light in the green wavelength band (G), and a blue wavelength band (B).
  • the light passing through each filter element CFa forms an image on each corresponding photoelectric conversion region of the imaging surface 1 of the image sensor S22.
  • FIG. 5 is a diagram showing the transmission wavelength characteristics of the filter element CFa.
  • R0 represents the transmission wavelength characteristic of the red filter element CFa
  • G represents the transmission wavelength characteristic of the green filter element CFa
  • B represents the transmission wavelength characteristic of the blue filter element CFa
  • R1 Indicates the transmission wavelength characteristic of the filter element CFa of the first specific color
  • R2 indicates the transmission wavelength characteristic of the filter element CFa of the second specific color.
  • the transmission wavelength bands (R1, R2) of the first and second specific colors are compared to the transmission wavelength bands of (R0, G, B), which are bands obtained by dividing the visible light region into three. It is narrow, and the full width at half maximum is 35 nm or less.
  • the first wavelength band (R1) is, for example, 630 ⁇ 35 nm centered on the wavelength of fluorescence generated when the tumor portion of the living body is irradiated with excitation light
  • the second wavelength band (R2) Is assumed to be 700 ⁇ 35 nm, for example, centered on the wavelength of fluorescence generated when a healthy part of the living body is irradiated with excitation light.
  • a tumor-affinity part that absorbs a photosensitive substance that has a tumor affinity and emits fluorescence when excited by light is previously absorbed. Keep it. Further, the portion is irradiated with excitation light (blue light or the like) in the excitation wavelength region of the photosensitive substance to generate fluorescence having the first wavelength. On the other hand, for comparison, when the same excitation light is irradiated to the normal part of the affected area, fluorescence having a second wavelength different from the fluorescence having the first wavelength is generated. Such fluorescence is captured by an image input device.
  • the image processing unit PR can combine these to form a high-quality color image (second image) of the affected part.
  • the light in the first wavelength band that has passed through the filter element CFa of R1 forms an image on the corresponding imaging surface I, and three single-eye images without parallax are formed by the image signals. Based on this, the image processing unit PR can perform image composition to reconstruct the image (first image) of the tumor part that is the source of the occurrence.
  • the light of the second wavelength band that has passed through the filter element CFa of R2 is also imaged on the corresponding imaging surface I, and three single-eye images each having no parallax are formed by the image signal.
  • the image processing unit PR can perform image composition in the same manner to reconstruct the normal part image (third image) of the generation source. Then, the image processing unit PR performs image processing so as to superimpose the image of the tumor part and the normal part on the color image of the affected part.
  • the resultant composite image data is transmitted to the monitor MT and can be displayed as shown in FIG.
  • BD indicates an affected area
  • CN indicates a tumor portion (shown by double hatching)
  • HL indicates a normal portion (shown by hatching).
  • BD indicates an affected area
  • CN indicates a tumor portion (shown by double hatching)
  • HL indicates a normal portion (shown by hatching).
  • a part of the skull is actually excised and only a part of the brain is observed. Moreover, it is preferable
  • the image processing unit PR can obtain the evaluation value EV from the following formula, and can recognize the portion where the evaluation value EV exceeds the reference value as the tumor portion CN.
  • EV ( ⁇ 1 ⁇ 2) / ( ⁇ 1 + ⁇ 2) (1)
  • ⁇ 1 Signal value of light in the first wavelength band taken
  • ⁇ 2 Signal value of light in the second wavelength band taken
  • an inexpensive monochrome sensor can be used as the image sensor SS1, and it is sufficient to arrange a color filter such as glass or gelatin for each individual lens IL.
  • a color filter such as glass or gelatin
  • customization is easy for each fluorescence wavelength as compared with a general image sensor having an on-chip filter.
  • an on-chip filter in which RGB colors are arranged in a Bayer array for each pixel there is a problem that crosstalk is likely to occur between pixels.
  • each color filter is used for each individual lens IL, there is a crossover. It is possible to detect an image signal with a good S / N ratio with little color mixing and less talk.
  • the fluorescence of the first wavelength and the fluorescence of the second wavelength have a characteristic that the amount of light is smaller than the reflected light from the affected part. Therefore, in the case of the image input device of the reference example, three single-lens lenses IL are employed for photographing light in the first wavelength band, and three single-lens lenses are used for photographing light in the second wavelength band.
  • the amount of light taken in is greatly increased.
  • the remaining single-lens IL becomes three, and if these are distributed so that red (R0), green (G), and blue (B) light can be captured, the image of each color
  • the distance information for parallax correction necessary for combining the images cannot be obtained.
  • FIG. 7 is a cross-sectional view schematically showing the image input apparatus according to the first embodiment.
  • image sensor SS2 is called a 2nd image sensor here.
  • a dichroic mirror DM1 as a branching element is disposed between the infrared cut filter IrF and the lens array LA2.
  • the dichroic mirror DM1 which is a wavelength selection mirror, reflects light of 630 ⁇ 30 nm (first wavelength band) but has a function of transmitting other light.
  • the second optical path is the second imaging optical system.
  • the lens array LA2 is arranged.
  • the dichroic mirror DM1 may have a characteristic of transmitting light of 630 ⁇ 30 nm and reflecting other light.
  • a single condenser lens CL is arranged as a first imaging optical system, and the first image sensor SS1 is arranged at a position where subject light is imaged by the condenser lens CL. Has been.
  • FIG. 8 is a diagram showing the arrangement of filter elements in the color filter CF according to the present embodiment.
  • the color filter CF has filter elements CFa that transmit light in the green wavelength band (G) at the center and at the four corners.
  • the filter element CFa that transmits light in the two red wavelength bands (R0) and the filter element CFa that transmits light in the two blue wavelength bands (B) across the center filter element CFa are connected to the filter.
  • the centers are arranged symmetrically.
  • the image processing unit PR can reconstruct these and reconstruct a high-quality color image (second image) of the affected area with good S / N.
  • a single condenser lens and an image sensor having a Bayer array on-chip filter may be used in combination.
  • the light in the wavelength band of 630 ⁇ 30 nm is reflected by the dichroic mirror DM1 and further on the imaging surface of the first image sensor SS1 via the condenser lens CL. Since the image is formed, an image (first image) of the tumor part of the generation source can be formed. Since this image does not have a color component, the image processing unit PR can perform image processing so as to superimpose the image of the tumor part on the color image of the affected part after being colored in a distinguishable color. Coloring may be performed optically using a color filter or by image processing. The composite image subjected to the image processing can be confirmed on the monitor MT. According to this embodiment, it is possible to capture light with a wavelength band of 630 ⁇ 30 nm with a minimum loss, and it is possible to take an image efficiently even if the amount of fluorescence emitted from the affected area is small.
  • FIG. 9 is a diagram illustrating the arrangement of filter elements in a color filter CF according to a modification.
  • the configuration is the same as that of the embodiment shown in FIG. 7 except for the color filter CF.
  • the color filter CF includes a filter element CFa that transmits light in the red wavelength band (R0), a filter element CFa that transmits light in the green wavelength band (G), and a blue wavelength band (B).
  • the filter element CFa that transmits light of the second wavelength and the filter element CFa that transmits light of the second wavelength band (R2) are arranged symmetrically with respect to the center of the filter.
  • the center filter element CFa transmits light in the green wavelength band (G), but may transmit light in the second wavelength band (R2). Thereby, the amount of light taken in the second wavelength band (R2) increases.
  • the image processing unit PR can synthesize these to reconstruct a high-quality color image (second image) of the affected part.
  • light in the second wavelength band (700 ⁇ 30 nm) within a wavelength band other than 630 ⁇ 30 nm passes through the filter element CFa of R2 and is on the corresponding imaging surface I of the second image sensor SS2.
  • An image is formed, and two individual eye images are formed. It is possible to form an image (third image) of the normal part of the generation source while performing parallax correction in the same manner based on the image signal.
  • image processing unit PR so as to be superimposed on an image (first image) formed by an image signal from the first image sensor SS1.
  • the calibration from the output from the image sensors SS1 and SS2 is performed in advance.
  • the evaluation value can also be calculated using the equation (1) described in (1).
  • FIG. 10 is a cross-sectional view schematically showing an image input apparatus according to the second embodiment.
  • the lens array LA2 as the second imaging optical system is referred to as a second lens array.
  • the dichroic mirror DM1 as a branching element disposed between the infrared cut filter IrF and the lens array LA2 reflects light in the wavelength band of 600 nm to 730 nm, but transmits other light. It has the function to do.
  • the lens array LA2 is disposed in the second optical path through which the light transmitted through the dichroic mirror DM1 passes, and is disposed between the second lens array LA2 and the second image sensor SS2. Further, the color filter CF has the filter elements arranged as shown in FIG.
  • a first lens array LA1 in the first optical path through which the light reflected from the dichroic mirror DM1 passes, a first lens array LA1, a color filter CF ′, and a first image sensor SS1 as a first imaging optical system are arranged in order from the object side. ing.
  • the first lens array LA1 has a plurality of (9 lenses arranged in 3 rows and 3 columns here) individual lenses IL.
  • FIG. 11 is a diagram showing the arrangement of filter elements in the color filter CF ′ according to the present embodiment.
  • the color filter CF ′ includes a filter element CFa that transmits light of five first wavelength bands (R1) and a filter element CFa that transmits light of four second wavelength bands (R2). Are arranged alternately.
  • the image processing unit PR can reconstruct these to reconstruct a high-quality color image (second image) of the affected part.
  • the light in the wavelength band of 600 nm to 730 nm is reflected by the dichroic mirror DM1 and further enters the nine single-lens lenses IL of the second lens array LA2.
  • the subject light emitted from the five individual lenses IL out of the nine passes through the filter element CFa of R1, and the light in the first wavelength band (630 ⁇ 30 nm) is extracted and imaged on the corresponding imaging surface I.
  • the image processing unit PR can reconstruct the image (first image) of the tumor part of the generation source while performing parallax correction based on the image.
  • the subject light emitted from the remaining four single-lens lenses IL passes through the R2 filter element CFa, and the light in the second wavelength band (700 ⁇ 30 nm) is extracted, and is coupled onto the corresponding imaging surface I. Then, four single-eye images are formed by the image signal, and based on this, the image processing unit PR similarly performs parallax correction, and reconstructs the image of the normal part of the generation source (third image). it can. Therefore, the image processing unit PR performs image processing so as to superimpose the image of the tumor part and the normal part on the color image of the affected part. According to the present embodiment, compared with the reference example shown in FIG.
  • the amount of both the light in the first wavelength band and the light in the second wavelength band is increased, so the first wavelength band generated from the affected area Even if there is little light emission amount of the fluorescence of this and the fluorescence of a 2nd wavelength band, it can extract
  • the number of photoelectric conversion regions (four) for outputting image signals can be combined for reference.
  • the evaluation value can also be calculated using the formula (1) described in the example.
  • FIG. 12 is a cross-sectional view schematically showing an image input apparatus according to the third embodiment.
  • image sensor SS2 is made into 2nd image sensor here.
  • a first dichroic mirror DM1 as a first branch element and a second dichroic mirror DM2 as a second branch element are disposed between the infrared cut filter IrF and the lens array LA2 from the object side. Arranged in order.
  • the first dichroic mirror DM1 which is a wavelength selection mirror, reflects light of 630 ⁇ 30 nm (first wavelength band) but has a function of transmitting other light.
  • the second dichroic mirror DM2 which is a wavelength selection mirror, reflects light of 700 ⁇ 30 nm (second wavelength band) but has a function of transmitting other light.
  • the arrangement of the filter elements of the color filter CF is the same as that shown in FIG.
  • the optical path through which the light reflected from the first dichroic mirror DM1 passes is defined as the first optical path
  • the optical path through which the light transmitted through the first dichroic mirror DM1 passes is defined as the second optical path
  • the third optical path and the optical path through which the light transmitted through the second dichroic mirror DM2 passes is the fourth optical path
  • the second dichroic mirror DM2 is disposed in the second optical path
  • the lens array ( The second imaging optical system) LA2 is arranged.
  • a single first condensing lens (first imaging optical system) CL1 is disposed in the first optical path, and the first condensing lens CL1 forms the first light at the position where the subject light is imaged.
  • An image sensor SS1 is arranged.
  • a single second condenser lens (third imaging optical system) CL2 is disposed in the third optical path, and the third light is placed at a position where subject light is imaged by the second condenser lens CL2.
  • An image sensor SS3 is arranged.
  • the image processing unit PR can reconstruct these and reconstruct a high-quality color image (second image) of the affected part.
  • the light in the wavelength band of 630 ⁇ 30 nm is reflected by the first dichroic mirror DM1, and is further reflected by the first image sensor SS1 via the first condenser lens CL1. Since an image is formed on the imaging surface, an image (first image) of the tumor part of the generation source can be formed. Since the first condenser lens CL1 has a single optical axis, no parallax correction is required.
  • the third image sensor SS3 Since the image is formed on the imaging surface, an image (third image) of the normal part that is the source can be formed.
  • the image processing unit PR is colored in a distinguishable color, and the image processing unit PR superimposes the image of the tumor part and the normal part on the color image of the affected part. Processing can be performed.
  • the maximum uptake can be performed with respect to light in the wavelength bands of 630 ⁇ 30 nm and 700 ⁇ 30 nm, and the light can be efficiently collected even if the amount of fluorescence emitted from the affected area is small.
  • light in the wavelength band of 630 ⁇ 30 nm and light in the wavelength band of 700 ⁇ 30 nm can be collected under almost the same conditions, and therefore the evaluation value is accurately calculated using the equation (1) described in the reference example. it can.
  • light in a specific wavelength band is extracted using a dichroic mirror, but the present invention is not limited to this.
  • a first high-pass filter that cuts light in a wavelength band of 600 nm or more
  • a second high-pass that cuts light in a wavelength band of 660 nm or more as shown in FIG. 13B.
  • a prism can be used instead of the dichroic mirror.
  • the branch element is a wavelength selection mirror or prism that reflects light in the first wavelength band and transmits light other than the first wavelength band, the specific wavelength band Can be extracted efficiently.
  • the first wavelength band is a band within 35 nm in full width at half maximum, it is suitable for extracting an image of a tumor portion, for example.
  • a first image of a subject is formed from an image signal obtained from the first image sensor
  • a second image of a subject is formed from an image signal obtained from the second image sensor
  • the first imaging optical system has a single optical axis, parallax correction is not necessary.
  • the first imaging optical system has a single condenser lens arranged with respect to the first image sensor, parallax correction is not necessary.
  • the first branch element is a wavelength selection mirror or prism that reflects light in the first wavelength band and transmits light other than the first wavelength band
  • the second branch element is Since it is a wavelength selection mirror or prism that reflects light in the second wavelength band and transmits light outside the second wavelength band, light in the specific wavelength band can be extracted efficiently.
  • the first wavelength band and the second wavelength band are bands within 35 nm in full width at half maximum, it is suitable for extracting, for example, images of a tumor part and a normal part.
  • a first image of the subject is formed from the image signal obtained from the first image sensor
  • a second image of the subject is formed from the image signal obtained from the second image sensor
  • the third image sensor Since the image processing unit further includes an image processing unit that forms a third image of the subject from the obtained image signal and performs image processing so as to form a composite image in which the first image, the second image, and the third image are superimposed. For example, an image of a tumor part and a normal part can be synthesized and displayed with an affected part, and a highly accurate diagnosis can be made.
  • first imaging optical system and the third imaging optical system have a single optical axis, parallax correction is not necessary.
  • the first imaging optical system includes a single condenser lens disposed with respect to the first image sensor, and the third imaging optical system is disposed with respect to the third image sensor.
  • the second imaging optical system includes a lens array having a plurality of single-lens lenses having optical axes different from each other, and between the lens array and the second image sensor.
  • the color filter has a plurality of filter elements corresponding to the single-lens lens, and the colors of at least two filter elements are different, so that crosstalk is suppressed. Light in a plurality of wavelength bands can be separated and extracted.
  • the first imaging optical system includes a first lens array having a plurality of single-lens lenses having optical axes different from each other, and a color disposed between the first lens array and the first image sensor.
  • the color filter has a plurality of filter elements corresponding to the single-lens lens, and the colors of at least two filter elements are different, so that crosstalk is suppressed and a plurality of wavelength bands are suppressed. Light can be separated and extracted.
  • the second imaging optical system includes a second lens array having a plurality of single-lens lenses having optical axes different from each other, and a color disposed between the second lens array and the second image sensor.
  • the color filter has a plurality of filter elements corresponding to the single-lens lens, and the colors of at least two filter elements are different, so that crosstalk is suppressed and a plurality of wavelength bands are suppressed. Light can be separated and extracted.
  • the object side optical system since the object side optical system has an imaging lens and a field lens, it can shoot a high-quality subject image.
  • the object side optical system has an afocal optical system, it is possible to photograph a high-quality subject image.
  • the image input device is provided in the microscope device, the accuracy thereof can be improved by using it, for example, in diagnosis.

Landscapes

  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)

Abstract

 簡素な構成でありながら、被写体から出射される光を効率的に取得できる画像入力装置及び顕微鏡装置を提供する。この画像入力装置は、物体側光学系から出射された被写体光が入射され、第1の波長帯域の光を第1光路に沿って出射し、前記第1の波長帯域以外の光を前記第1光路とは異なる第2光路に沿って出射する分岐素子と、前記分岐素子より前記第1光路に沿って出射された前記第1の波長帯域の光が入射される第1結像光学系と、前記第1結像光学系によって、前記第1の波長帯域の光が結像される第1イメージセンサと、前記分岐素子より前記第2光路に沿って出射された前記第1の波長帯域以外の光が入射される第2結像光学系と、前記第2結像光学系によって、前記第1の波長帯域以外の光が結像される第2イメージセンサと、を有する。

Description

画像入力装置及び顕微鏡装置
 本発明は、医療分野等で用いるのに好適な画像入力装置及び顕微鏡装置に関する。
 従来より、一般にPDD(Photodynamic Diagnosis)と称される光力学的診断についての研究が種々行われている。PDDとは、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質を予め生体の腫瘍部分に吸収させておき、その部分に光感受性物質の励起波長領域にある励起光を照射して蛍光を生じさせ、この蛍光による画像を表示して腫瘍部分を診断する技術である。具体的には、患者にアミノレブリン酸(5-ALA)を経口投与した後、患部に400nmの励起光を照射すると、癌細胞から630nmの蛍光を発光し、正常細胞からは700nmの蛍光を発光することを利用している。これら蛍光の波長の違いに基づいて患部を特定できるから、例えばカメラでこれを撮影しながら癌細胞の切除手術を行うことで、切除洩れをなくすことができる。
 ここで光力学的診断に際して、患部のうち蛍光を発した部位が特定されモニタ画面上で確認できれば、視覚的に病変部位を把握することが容易になる。特許文献1には、病理診断の目的で、複数の色素で多重染色された標本を撮像した標本画像において、選択した表示対象色素による標本の画像を表示できる技術が開示されている。
特開2010-134195号公報
 ところで、特許文献1の技術では、種々の色毎に選択を行って標本の表示を行うことはできるが、複数種類のフィルタを切り換えて複数回の撮像を行わなくてはならず、長い撮像時間が必要で患者の負担が大きくなったり、画像入力装置が複雑化・大型化するという問題がある。又、一般的に患部から出射する蛍光の発光量は小さいので、これを効率的に取得する工夫が必要である。
 本発明は、かかる従来技術の問題点に鑑みてなされたものであり、簡素な構成でありながら、被写体から出射される光を効率的に取得できる画像入力装置及び顕微鏡装置を提供することを目的とする。
 上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した画像入力装置は、
 物体側光学系から出射された被写体光が入射され、第1の波長帯域の光を第1光路に沿って出射し、前記第1の波長帯域以外の光を前記第1光路とは異なる第2光路に沿って出射する分岐素子と、
 前記分岐素子より前記第1光路に沿って出射された前記第1の波長帯域の光が入射される第1結像光学系と、
 前記第1結像光学系によって、前記第1の波長帯域の光が結像される第1イメージセンサと、
 前記分岐素子より前記第2光路に沿って出射された前記第1の波長帯域以外の光が入射される第2結像光学系と、
 前記第2結像光学系によって、前記第1の波長帯域以外の光が結像される第2イメージセンサと、を有することを特徴とする。
 本画像入力装置によれば、分岐素子を用いて、第1の波長帯域の光を第1光路に沿って出射し、第1の波長帯域以外の光を第1光路とは異なる第2光路に沿って出射するように分岐するので、第1光路内の第1結像光学系によって、第1の波長帯域の光を第1イメージセンサに結像することが出来、これにより第1の波長帯域の光をロスなく光電変換に利用できる。又、第2光路内の第2結像光学系によって、第1の波長帯域以外の光を第2イメージセンサに結像することが出来、2つのイメージセンサから得られる画像信号を組み合わせることにより被写体画像を形成できる。例えば、癌細胞から特定の波長帯域の光が出射される場合、前記第1イメージセンサから出射される画像信号と、前記第2イメージセンサから出射される画像信号とを合成することで、患部において癌細胞を特徴付けた合成画像を得ることができる。複数種類のフィルタを切り換えて複数の撮影を行う必要がなく、簡素な構成で、第1の波長帯域の光による画像信号と第1の波長帯域以外の光による画像信号とを得ることができる。
 本発明の一態様によれば、前記分岐素子は、前記第1の波長帯域の光を反射すると共に、前記第1の波長帯域以外の光を透過する波長選択ミラー又はプリズムである。
 本発明の一態様によれば、前記第1結像光学系は単一の光軸を持つ。
 本発明の一態様によれば、前記第1の波長帯域は、半値全幅で35nm以内の帯域である。
 本発明の一態様によれば、前記第1イメージセンサから得られた画像信号から被写体の第1画像を形成し、前記第2イメージセンサから得られた画像信号から被写体の第2画像を形成し、前記第1画像と前記第2画像とを重畳した合成画像を形成するように画像処理を行う画像処理部をさらに有する。
 上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した別の画像入力装置は、
 物体側光学系から出射された被写体光が入射され、第1の波長帯域の光を第1光路に沿って出射し、前記第1の波長帯域以外の光を前記第1光路とは異なる第2光路に沿って出射する第1分岐素子と、
 前記第2光路内に配置され、前記第1の波長帯域とは異なる第2の波長帯域の光を第3光路に沿って出射し、前記第2の波長帯域以外の光を前記第3光路とは異なる第4光路に沿って出射する第2分岐素子と
 前記第1分岐素子より前記第1光路に沿って出射された前記第1の波長帯域の光が入射される第1結像光学系と、
 前記第1結像光学系によって、前記第1の波長帯域の光が結像される第1イメージセンサと、
 前記第2分岐素子より前記第4光路に沿って出射された前記第1の波長帯域及び前記第2の波長帯域以外の光が入射される第2結像光学系と、
 前記第2結像光学系によって、前記第1の波長帯域及び前記第2の波長帯域以外の光が結像される第2イメージセンサと、
 前記第2分岐素子より前記第3光路に沿って出射された前記第2の波長帯域の光が入射される第3結像光学系と、
 前記第3結像光学系によって、前記第2の波長帯域の光が結像される第3イメージセンサと、を有することを特徴とする。
 本画像入力装置によれば、第1分岐素子を用いて、第1の波長帯域の光を第1光路に沿って出射し、第1の波長帯域以外の光を第1光路とは異なる第2光路に沿って出射するように分岐し、また第2分岐素子を用いて、第1の波長帯域とは異なる第2の波長帯域の光を第3光路に沿って出射し、第2の波長帯域以外の光を第3光路とは異なる第4光路に沿って出射するように分岐するので、第1光路内の前記第1結像光学系によって、第1の波長帯域の光を第1イメージセンサに結像することが出来、第3光路内の第3結像光学系によって、第3の波長帯域の光を第3イメージセンサに結像することが出来る。これにより2種類の波長帯域の光をロスなく光電変換に利用できる。又、第2光路内の第2結像光学系によって、第1の波長帯域及び第2の波長帯域以外の光を第2イメージセンサに結像することが出来、3つのイメージセンサから得られる画像信号を組み合わせることにより被写体画像を形成できる。例えば癌細胞から第1の波長帯域の光が出射され、正常細胞から第2の波長帯域の光が出射される場合、第1イメージセンサから出射される画像信号と、第2イメージセンサから出射される画像信号とを合成することで、正常細胞に対して特徴付けられた癌細胞を患部画像に重畳させた合成画像を得ることができるため、より確度の高い診断を行うことができる。
 本顕微鏡装置は、上述の画像入力装置を備える。
 前記顕微鏡装置において、物体側からの光が進行する一対の光路の片側に前記物体側光学系が設けられることが好ましい。
 本発明によれば、簡素な構成でありながら、被写体から出射される光を効率的に取得できる画像入力装置及び顕微鏡装置を提供することができる。
本実施形態にかかる画像入力装置を取り付けた医療用顕微鏡装置MMの概略断面図である。 参考例にかかる画像入力装置の主要部を模式的に示す断面図である。 参考例にかかる画像入力装置の撮影部CAを模式的に示す斜視図である。 カラーフィルタCFにおけるフィルタ素子の並びの一例を示す図である。 フィルタ素子CFaの透過波長特性を示す図である。 モニタに表示された患部の画像の一例を示す図である。 第1の実施形態にかかる画像入力装置を模式的に示す断面図である。 第1の実施形態にかかるカラーフィルタCFにおけるフィルタ素子の並びを示す図である。 変形例にかかるカラーフィルタCFにおけるフィルタ素子の並びを示す図である。 第2の実施形態にかかる画像入力装置を模式的に示す断面図である。 第2の実施形態にかかるカラーフィルタCF’におけるフィルタ素子の並びを示す図である。 第3の実施形態にかかる画像入力装置を模式的に示す断面図である。 ハイパスフィルタの組み合わせ例を示す図である。
 以下、本発明の一実施形態に係る画像入力装置について説明する。図1は、本実施形態にかかる画像入力装置を取り付けた医療用顕微鏡装置MMの概略断面図である。医療用顕微鏡装置MMは、筐体BX内において物体側(患部側)から順に配置された、対物レンズOL,一対の変倍光学系VO,ビームスプリッタBS,一対の中間レンズML、一対のプリズムPS,一対の接眼レンズELから構成される。
 適切な光源を用いて患部BDに光照射した結果、患部BDから出射された光は、対物レンズOLで集光された後、一対の光路に沿って進行し、それぞれ変倍光学系VOを通過して変倍され、片側の光路のみビームスプリッタBSを通過し、更にそれぞれ中間レンズMLを通過し、プリズムPSで正立像に変換され、一対の接眼レンズELを介して観察者の目EYに入射するようになっており、これにより観察者は患部BDの像を所望の倍率で観察することができる。
 ここで、ビームスプリッタBSを通過する際に、光束が分岐され、一方の光束は中間レンズML側に向かうが、他方の光束は結像レンズIMLを介して画像入力装置の撮影部CAに入射されるようになっている。撮影部CAは、医療用顕微鏡装置MMに対して着脱可能に設けられていてもよい。
 次に、本実施形態にかかる画像入力装置を説明する前に、参考例にかかる画像入力装置について説明する。図2は、参考例にかかる画像入力装置の主要部を模式的に示す断面図であり、図3は、参考例にかかる画像入力装置の撮影部CAを模式的に示す斜視図である。図2において不図示のビームスプリッタより出射した被写体光は、医療用顕微鏡装置MMに設けられた物体側光学系としての結像レンズIML及びフィールドレンズFLを通過して略平行光となり、赤外線カットフィルタIrFを通過し、レンズアレイLA2により、カラーフィルタCFを通してイメージセンサSS2の撮像面Iに結像されるようになっている。レンズアレイLA2、カラーフィルタCF、イメージセンサSS2により撮影部CAが構成される。結像レンズIML及びフィールドレンズFLの代わりに、アフォーカル系光学系を設けても良い。
 レンズアレイLA2は、複数(ここでは3行3列に並べた9個)の個眼レンズILを有する。図3に点線で示すように、個眼レンズIL同士がフランジ部で連結されるようにして、例えば、ポリカーボネートやアクリル樹脂などの樹脂を用いて一体成形すると、製造が容易であるので好ましい。個眼レンズILは、2枚以上のレンズから形成されていても良い。この場合、複数のレンズアレイが積層されていてもよい。
 カラーフィルタCFは、個眼レンズILに応じて9個のフィルタ素子CFaに分割されている。図4は、カラーフィルタCFにおけるフィルタ素子の並びの一例を示す図である。カラーフィルタCFは、赤色の波長帯域(R0)の光を透過する1つのフィルタ素子CFaと、緑色の波長帯域(G)の光を透過する1つのフィルタ素子CFaと、青色の波長帯域(B)の光を透過する1つのフィルタ素子CFaと、第1の波長帯域(R1)の光を透過する3つのフィルタ素子CFaと、第2の波長帯域(R2)の光を透過する3つのフィルタ素子CFaとを備えている。各フィルタ要素CFaと通過した光は、イメージセンサS22の撮像面1の対応する各光電変換領域にそれぞれ結像する。
 図5は、フィルタ素子CFaの透過波長特性を示す図である。図5において、R0は、赤色のフィルタ素子CFaの透過波長特性を示し、Gは、緑色のフィルタ素子CFaの透過波長特性を示し、Bは、青色のフィルタ素子CFaの透過波長特性を示し、R1は、第1の特定色のフィルタ素子CFaの透過波長特性を示し、R2は、第2の特定色のフィルタ素子CFaの透過波長特性を示している。図5に示すように、第1及び第2の特定色の透過波長帯域(R1、R2)は、可視光領域を3分割した帯域である(R0、G、B)の透過波長帯域に比べて狭くなっており、半値全幅で35nm以下である。ここで、第1の波長帯域(R1)は、生体の腫瘍部分に励起光を照射したときに発生する蛍光の波長を中心として、例えば例えば630±35nmであり、第2の波長帯域(R2)は、生体の健康な部分に励起光を照射したときに発生する蛍光の波長を中心として、例えば700±35nmであるものとする。
 参考例の画像入力装置を、患者等の生体観察に用いる場合、診断前準備として、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質を予め患部の腫瘍部分に吸収させておく。更に、当該部分に光感受性物質の励起波長領域にある励起光(青色光など)を照射して第1の波長の蛍光を発生させる。一方、比較のため、患部の正常部分にも同じ励起光を照射すると、第1の波長の蛍光とは異なる波長の第2の波長の蛍光が発生する。かかる蛍光を、画像入力装置に取り込んで撮像する。
 このとき、R0、G、Bのフィルタ素子CFaを通過した被写体光は、対応する撮像面I上に結像し、その画像信号により赤色成分、緑色成分、青色成分を持つ画像が、補間処理等を行うことなく形成されるので、画像処理部PRが、これらを合成して高画質な患部のカラー画像(第2画像)を形成することができる。一方、R1のフィルタ素子CFaを通過した第1の波長帯域の光は、対応する撮像面I上に結像し、その画像信号により、それぞれ視差の無い3つの個眼像が形成され、これに基づき画像処理部PRで画像合成を行い、発生元の腫瘍部分の画像(第1画像)を再構成することができる。
 更に、R2のフィルタ素子CFaを通過した第2の波長帯域の光も、対応する撮像面I上に結像し、その画像信号により、それぞれ視差の無い3つの個眼像が形成され、これに基づき同様に画像処理部PRで画像合成を行い、発生元の正常部分の画像(第3画像)を再構成することができる。そして、画像処理部PRが、患部のカラー画像に腫瘍部分と正常部分の画像を重畳するように画像処理を行う。その結果得られた合成画像のデータはモニタMTに送信されて、図6に示すように画像表示することができる。図6において、BDが患部を示し、CNが腫瘍部分(ダブルハッチングで図示)を示し、HLが正常部分(ハッチングで図示)を示す。実際には、実際には、頭蓋骨の一部を切除し、脳の一部のみを観察することになる。また、特殊な色で色づけして両者を区別しやすくすると好ましい。
 尚、画像処理部PRは、評価値EVを以下の式から求め、評価値EVが基準値を超えた部位について腫瘍部分CNと認定することができる。
 EV=(Δ1-Δ2)/(Δ1+Δ2)   (1)
但し、
 Δ1:撮影した第1の波長帯域の光の信号値
 Δ2:撮影した第2の波長帯域の光の信号値
 ここで、個眼レンズIL毎に各色フィルタを用いる利点としては、イメージセンサSS1として安価なモノクロセンサを利用でき、個眼レンズIL毎にガラス、ゼラチンなどの色フィルタを配置すれば足り、イメージセンサSS2の画素毎にオンチップフィルタを配置する必要がなく、構成が簡素化されることがある。又、一般的なオンチップフィルタを持つイメージセンサに比べれば、蛍光の波長毎にカスタマイズが容易である。更に、画素毎にRGBの各色をベイヤ配列で並べたオンチップフィルタを用いた場合、画素間でのクロストークが生じやすいという課題があるが、個眼レンズIL毎に各色フィルタを用いる場合はクロストークが生じにくく、混色の少ないS/N比の良好な画像信号の検出が可能である。
 ところで、第1の波長の蛍光及び第2の波長の蛍光は、患部からの反射光に比べると光量が小さいという特性を有する。従って、参考例の画像入力装置の場合、第1の波長帯域の光を撮影するために3つの個眼レンズILを採用し、第2の波長帯域の光を撮影するために3つの個眼レンズILを採用することにより、それぞれ取り込み光量を大幅に増大させている。ところが、かかる構成により残りの個眼レンズILが3個になってしまうので、これらを、赤色(R0),緑色(G)、青色(B)の光をそれぞれ取り込めるように振り分けると、各色の画像を合成する際に必要な視差補正用の距離情報が得られないという課題がある。かかる課題を克服する方策として、個眼レンズILの数を増大させることも考えられるが、それによりレンズアレイLA2が大型化し、組付が困難になるという新たな課題が発生する。以下の実施形態によれば、かかる不具合を解消できる。
(第1の実施形態)
 図7は、第1の実施形態にかかる画像入力装置を模式的に示す断面図である。尚、上述した参考例と共通する部位に関しては説明を省略するが、ここではイメージセンサSS2を第2イメージセンサと称する。本実施形態においては、赤外線カットフィルタIrFとレンズアレイLA2との間に,分岐素子としてのダイクロイックミラーDM1を配置している。波長選択ミラーであるダイクロイックミラーDM1は、630±30nm(第1の波長帯域)の光を反射するが、それ以外の光を透過する機能を有する。ここで、ダイクロイックミラーDM1から反射した光が通過する光路を第1光路とし、ダイクロイックミラーDM1を透過した光が通過する光路を第2光路とすると、第2光路に第2結像光学系としてのレンズアレイLA2が配置されていることとなる。尚、ダイクロイックミラーDM1は、630±30nmの光を透過し、それ以外の光を反射させる特性としても良い。
 一方、第1光路には、第1結像光学系として単一の集光レンズCLが配置されており、また集光レンズCLにより被写体光が結像される位置に第1イメージセンサSS1が配置されている。
 図8は、本実施形態にかかるカラーフィルタCFにおけるフィルタ素子の並びを示す図である。図8に示すように、カラーフィルタCFは、中央及び四隅に緑色の波長帯域(G)の光を透過するフィルタ素子CFaが配置されている。また、中央のフィルタ素子CFaを挟んで2つの赤色の波長帯域(R0)の光を透過するフィルタ素子CFaと、2つの青色の波長帯域(B)の光を透過するフィルタ素子CFaとをフィルタの中心を対称に配置している。
 本実施形態によれば、赤外線カットフィルタIrFを通過した被写体光のうち、630±30nm以外の波長帯域の光は、ダイクロイックミラーDM1を通過してレンズアレイLA2に入射し、更にR0、G、Bのフィルタ素子CFaを通過して、対応する撮像面I上に結像して、その画像信号により赤色成分、緑色成分、青色成分を持つ2つ又は3つの個眼像が補間処理等を行うことなく形成されるので、画像処理部PRが、これらを再構成してS/Nの良い高画質な患部のカラー画像(第2画像)を再構成することができる。
なお、単一の集光レンズと、ベイヤ配列のオンチップフィルタを持つイメージセンサとを組み合わせて用いても良い。
 一方、赤外線カットフィルタIrFを通過した被写体光のうち、630±30nmの波長帯域の光は、ダイクロイックミラーDM1で反射して、更に集光レンズCLを介して第1イメージセンサSS1の撮像面上に結像するので、発生元の腫瘍部分の画像(第1画像)を形成することができる。この画像は色成分を持たないので、区別できる色に着色した上で、画像処理部PRが、患部のカラー画像に腫瘍部分の画像を重畳するように画像処理を行うことができる。着色は、色フィルタを用いて光学的に行ってもよいし、画像処理によって行ってもよい。画像処理された合成画像はモニタMT上で確認できる。本実施形態によれば、630±30nmの波長帯域の光に関してはロスを最小限にして取り込みを行うことが出来、患部から出射する蛍光の量が少なくても効率的に撮影できる。
 図9は、変形例にかかるカラーフィルタCFにおけるフィルタ素子の並びを示す図である。本変形例において、カラーフィルタCF以外、図7に示す実施形態の構成と同様である。上述した実施形態では、第2の波長帯域の被写体光を採取することはできない。
本変形例にかかるカラーフィルタCFを用いれば、それが可能になる。図9において、カラーフィルタCFは、赤色の波長帯域(R0)の光を透過するフィルタ素子CFaと、緑色の波長帯域(G)の光を透過するフィルタ素子CFaと、青色の波長帯域(B)の光を透過するフィルタ素子CFaと、第2の波長帯域(R2)の光を透過するフィルタ素子CFaとをフィルタの中心を対称に配置している。また、中央のフィルタ素子CFaは、緑色の波長帯域(G)の光を透過するものとしているが、第2の波長帯域(R2)の光を透過するようにしても良い。それにより、第2の波長帯域(R2)の光の取り込み量が増大する。
 本変形例によれば、赤外線カットフィルタIrFを通過した被写体光のうち、630±30nm以外の波長帯域の光は、ダイクロイックミラーDM1を通過してレンズアレイLA2に入射し、更にR0、G、Bのフィルタ素子CFaを通過して、第2イメージセンサSS2の対応する撮像面I上に結像し、その画像信号により赤色成分、緑色成分、青色成分を持つ2つ又は3つの個眼像が補間処理等を行うことなく形成されるので、画像処理部PRが、これらを合成して高画質な患部のカラー画像(第2画像)を再構成することができる。又、630±30nm以外の波長帯域内であって第2の波長帯域(700±30nm)の光は、R2のフィルタ素子CFaを通過して、第2イメージセンサSS2の対応する撮像面I上に結像し、2つの個眼像が形成される。その画像信号に基づき同様に視差補正を行いつつ、発生元の正常部分の画像(第3画像)を形成することができる。これらは、画像処理部PRにより、第1イメージセンサSS1からの画像信号により形成された画像(第1画像)と重畳するように画像処理が行われる。又、本変形例では、630±30nmの波長帯域の光と、700±30nmの波長帯域の光を撮影できるので、イメージセンサSS1,SS2からの出力の校正を予め行っておくことで、参考例で説明した(1)式を用いて評価値も算出できる。
(第2の実施形態)
 図10は、第2の実施形態にかかる画像入力装置を模式的に示す断面図である。尚、上述した参考例と共通する部位に関しては説明を省略するが、ここでは第2結像光学系としてのレンズアレイLA2を第2レンズアレイとする。本実施形態においては、赤外線カットフィルタIrFとレンズアレイLA2との間に配置された,分岐素子としてのダイクロイックミラーDM1は、600nm~730nmの波長帯域の光を反射するが、それ以外の光を透過する機能を有する。上述した実施形態と同様に、ダイクロイックミラーDM1を透過した光が通過する光路を第2光路にレンズアレイLA2が配置されており、第2レンズアレイLA2と第2イメージセンサSS2との間に配置されたカラーフィルタCFは、図8に示す並びのフィルタ素子を有する。
 一方、ダイクロイックミラーDM1から反射した光が通過する第1光路には、物体側から順に、第1結像光学系としての第1レンズアレイLA1、カラーフィルタCF’,第1イメージセンサSS1が配置されている。かかる構成は図3に示すものと基本的に同様であり、すなわち第1レンズアレイLA1は、複数(ここでは3行3列に並べた9個)の個眼レンズILを有する。
 図11は、本実施形態にかかるカラーフィルタCF’におけるフィルタ素子の並びを示す図である。カラーフィルタCF’は、5つの第1の波長帯域(R1)の光を透過するフィルタ素子CFaと、4つの第2の波長帯域(R2)の光を透過するフィルタ素子CFaとを、市松模様状に交互に並べている。
 本実施形態によれば、赤外線カットフィルタIrFを通過した被写体光のうち、600nm~730nm以外の波長帯域の光は、ダイクロイックミラーDM1を通過してレンズアレイLA2に入射し、更にR0、G、Bのフィルタ素子CFaを通過して、対応する撮像面I上に結像して、その画像信号により赤色成分、緑色成分、青色成分を持つ2つ又は3つの個眼像が補間処理等を行うことなく形成されるので、画像処理部PRが、これらを再構成して高画質な患部のカラー画像(第2画像)を再構成することができる。
 一方、赤外線カットフィルタIrFを通過した被写体光のうち、600nm~730nmの波長帯域の光は、ダイクロイックミラーDM1で反射して、更に第2レンズアレイLA2の9つの個眼レンズILに入射する。9つのうち5つの個眼レンズILから出射した被写体光は、R1のフィルタ素子CFaを通過して第1の波長帯域(630±30nm)の光が抽出され、対応する撮像面I上に結像し、その画像信号により5つの個眼像が形成され、これに基づき画像処理部PRが視差補正を行いつつ、発生元の腫瘍部分の画像(第1画像)を再構成することができる。
 更に、残りの4つの個眼レンズILから出射した被写体光は、R2のフィルタ素子CFaを通過して第2の波長帯域(700±30nm)の光が抽出され、対応する撮像面I上に結像し、その画像信号により4つの個眼像が形成され、これに基づき同様に画像処理部PRが視差補正を行いつつ、発生元の正常部分の画像(第3画像)を再構成することができる。よって、画像処理部PRが、患部のカラー画像に腫瘍部分と正常部分の画像を重畳するように画像処理を行う。本実施形態によれば、図2に示す参考例に比べ、第1の波長帯域の光及び第2の波長帯域の光の双方の取り込み量が増大するので、患部から発生する第1の波長帯域の蛍光及び第2の波長帯域の蛍光の発光量が少なくても、効率的に採取できる。本実施形態では、630±30nmの波長帯域の光と、700±30nmの波長帯域の光を撮影できるので、画像信号を出力する光電変換領域の個数(4つ)を合わせておくことで、参考例で説明した(1)式を用いて評価値も算出できる。
(第3の実施形態)
 図12は、第3の実施形態にかかる画像入力装置を模式的に示す断面図である。尚、上述した参考例と共通する部位に関しては説明を省略するが、ここではイメージセンサSS2を第2イメージセンサとする。本実施形態においては、赤外線カットフィルタIrFとレンズアレイLA2との間に,第1分岐素子としての第1ダイクロイックミラーDM1と、第2分岐素子としての第2ダイクロイックミラーDM2とを、物体側からこの順序で配置している。波長選択ミラーである第1ダイクロイックミラーDM1は、630±30nm(第1の波長帯域)の光を反射するが、それ以外の光を透過する機能を有する。又、波長選択ミラーである第2ダイクロイックミラーDM2は、700±30nm(第2の波長帯域)の光を反射するが、それ以外の光を透過する機能を有する。尚、カラーフィルタCFのフィルタ素子の並びは、図8に示すものと同様である。
 ここで、第1ダイクロイックミラーDM1から反射した光が通過する光路を第1光路とし、第1ダイクロイックミラーDM1を透過した光が通過する光路を第2光路とし、第2ダイクロイックミラーDM2から反射した光が通過する光路を第3光路とし、第2ダイクロイックミラーDM2を透過した光が通過する光路を第4光路とすると、第2光路に第2ダイクロイックミラーDM2が配置され、第4光路にレンズアレイ(第2結像光学系)LA2が配置されていることとなる。
 一方、第1光路には、単一の第1集光レンズ(第1結像光学系)CL1が配置されており、また第1集光レンズCL1により被写体光が結像される位置に第1イメージセンサSS1が配置されている。更に、第3光路には、単一の第2集光レンズ(第3結像光学系)CL2が配置されており、また第2集光レンズCL2により被写体光が結像される位置に第3イメージセンサSS3が配置されている。
 本実施形態によれば、赤外線カットフィルタIrFを通過した被写体光のうち、630±30nm及び700±30nm以外の波長帯域の光は、ダイクロイックミラーDM1,DM2を通過してレンズアレイLA2に入射し、更にR0、G、Bのフィルタ素子CFaを通過して、対応する撮像面I上に結像して、その画像信号により赤色成分、緑色成分、青色成分を持つ2つ又は3つの個眼像が補間処理等を行うことなく形成されるので、画像処理部PRが、これらを再構成して高画質な患部のカラー画像(第2画像)を再構成することができる。
 一方、赤外線カットフィルタIrFを通過した被写体光のうち、630±30nmの波長帯域の光は、第1ダイクロイックミラーDM1で反射して、更に第1集光レンズCL1を介して第1イメージセンサSS1の撮像面上に結像するので、発生元の腫瘍部分の画像(第1画像)を形成することができる。第1集光レンズCL1は単一の光軸を持つので、視差補正は不要である。
 更に、第1ダイクロイックミラーDM1を通過した被写体光のうち、700±30nmの波長帯域の光は、第2ダイクロイックミラーDM2で反射して、更に第2集光レンズCL2を介して第3イメージセンサSS3の撮像面上に結像するので、発生元の正常部分の画像(第3画像)を形成することができる。又、第1画像及び第3画像は色成分を持たないので,区別できる色に着色した上で、画像処理部PRが、患部のカラー画像に腫瘍部分及び正常部分の画像を重畳するように画像処理を行うことができる。本実施形態によれば、630±30nm及び700±30nmの波長帯域の光に関しては最大限の取り込みを行うことが出来、患部から出射する蛍光の量が少なくても効率的に採取できる。本実施形態では、630±30nmの波長帯域の光と、700±30nmの波長帯域の光をほぼ同条件で採取できるので、参考例で説明した(1)式を用いて評価値を精度良く算出できる。
 尚、上述した実施形態では、特定の波長帯域の光を、ダイクロイックミラーを用いて抽出しているが、これに限られない。例えば図13(a)に示すごとき、600nm以上の波長帯域の光をカットする第1のハイパスフィルタと、図13(b)に示すごとき、660nm以上の波長帯域の光をカットする第2のハイパスフィルタとを組み合わせて、その差分をとることで、600±30nmの光を抽出することも出来る(図13(c))。
また、ダイクロイックミラーに代えてプリズムを用いることもできる。
 以下、画像入力装置の好ましい態様についてまとめて説明する。
 前記画像入力装置において、前記分岐素子は、前記第1の波長帯域の光を反射すると共に、前記第1の波長帯域以外の光を透過する波長選択ミラー又はプリズムであるので、前記特定の波長帯域の光を効率良く抽出できる。
 また、前記第1の波長帯域は、半値全幅で35nm以内の帯域であるので、例えば腫瘍部分の画像を抽出するのに好適である。
 また、前記第1イメージセンサから得られた画像信号から被写体の第1画像を形成し、前記第2イメージセンサから得られた画像信号から被写体の第2画像を形成し、前記第1画像と前記第2画像とを重畳した合成画像を形成するように画像処理を行う画像処理部をさらに有するので、例えば腫瘍部分の画像を患部と合成して表示することが出来、確度の高い診断ができる。
 また、前記第1結像光学系は単一の光軸を持つので、視差補正が不要になる。
 また、前記第1結像光学系は、前記第1イメージセンサに対し配置された単一の集光レンズを有するので、視差補正が不要になる。
 また、前記第1分岐素子は、前記第1の波長帯域の光を反射すると共に、前記第1の波長帯域以外の光を透過する波長選択ミラー又はプリズムであり、前記第2分岐素子は、前記第2の波長帯域の光を反射すると共に、前記第2の波長帯域以外の光を透過する波長選択ミラー又はプリズムであるので、前記特定の波長帯域の光を効率良く抽出できる。
 また、前記第1の波長帯域及び前記第2の波長帯域は、半値全幅で35nm以内の帯域であるので、例えば腫瘍部分と正常部分の画像を抽出するのに好適である。
 また、前記第1イメージセンサから得られた画像信号から被写体の第1画像を形成し、前記第2イメージセンサから得られた画像信号から被写体の第2画像を形成し、前記第3イメージセンサから得られた画像信号から被写体の第3画像を形成し、前記第1画像と前記第2画像と前記第3画像を重畳した合成画像を形成するように画像処理を行う画像処理部をさらに有するので、例えば腫瘍部分と正常部分の画像を患部と合成して表示することが出来、確度の高い診断ができる。
 また、前記第1結像光学系及び前記第3結像光学系は、単一の光軸を持つので、視差補正が不要になる。
 また、前記第1結像光学系は、前記第1イメージセンサに対し配置された単一の集光レンズを有し、前記第3結像光学系は、前記第3イメージセンサに対し配置された単一の集光レンズを有し、前記第2結像光学系は、光軸を互いに異ならせた複数の個眼レンズを持つレンズアレイと、前記レンズアレイと前記第2イメージセンサとの間に配置されたカラーフィルタと、を有し、前記カラーフィルタは、前記個眼レンズに対応した複数のフィルタ素子を有し、少なくとも2つのフィルタ素子の色が異なっているので、クロストークを抑制しつつ複数の波長帯域の光を分離して抽出することができる。
 また、前記第1結像光学系は、光軸を互いに異ならせた複数の個眼レンズを持つ第1レンズアレイと、前記第1レンズアレイと前記第1イメージセンサとの間に配置されたカラーフィルタとを有し、前記カラーフィルタは、前記個眼レンズに対応した複数のフィルタ素子を有し、少なくとも2つのフィルタ素子の色が異なっているので、クロストークを抑制しつつ複数の波長帯域の光を分離して抽出することができる。
 また、前記第2結像光学系は、光軸を互いに異ならせた複数の個眼レンズを持つ第2レンズアレイと、前記第2レンズアレイと前記第2イメージセンサとの間に配置されたカラーフィルタとを有し、前記カラーフィルタは、前記個眼レンズに対応した複数のフィルタ素子を有し、少なくとも2つのフィルタ素子の色が異なっているので、クロストークを抑制しつつ複数の波長帯域の光を分離して抽出することができる。
 また、前記物体側光学系は、結像レンズと、フィールドレンズとを有するので、高画質な被写体画像を撮影できる。
 また、前記物体側光学系は、アフォーカル光学系を有するので、高画質な被写体画像を撮影できる。
 また、前記画像入力装置は、顕微鏡装置に設けられているので、例えば診断の際に用いることで、その確度を向上できる。
 本発明は、本明細書に記載の実施形態や変形例に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。
BS      ビームスプリッタ
BX      筐体
CA      撮影部
CF      カラーフィルタ
CFa     フィルタ素子
CL      集光レンズ
CL1     第1集光レンズ
CL2     第2集光レンズ
DM      ダイクロイックミラー
DM1     第1ダイクロイックミラー
DM2     第2ダイクロイックミラー
EL      接眼レンズ
EY      観察者の目
FL      フィールドレンズ
I       撮像面
Ia      光電変換領域
IL      個眼レンズ
IML     結像レンズ
IrF     赤外線カットフィルタ
LA1     第1レンズアレイ
LA2     第2レンズアレイ
ML      中間レンズ
MM      医療用顕微鏡装置
MT      モニタ
OL      対物レンズ
PR      画像処理部
PS      プリズム
SS1     第1イメージセンサ
SS2     第2イメージセンサ
SS3     第3イメージセンサ
VO      変倍光学系

Claims (18)

  1.  物体側光学系から出射された被写体光が入射され、第1の波長帯域の光を第1光路に沿って出射し、前記第1の波長帯域以外の光を前記第1光路とは異なる第2光路に沿って出射する分岐素子と、
     前記分岐素子より前記第1光路に沿って出射された前記第1の波長帯域の光が入射される第1結像光学系と、
     前記第1結像光学系によって、前記第1の波長帯域の光が結像される第1イメージセンサと、
     前記分岐素子より前記第2光路に沿って出射された前記第1の波長帯域以外の光が入射される第2結像光学系と、
     前記第2結像光学系によって、前記第1の波長帯域以外の光が結像される第2イメージセンサと、を有することを特徴とする画像入力装置。
  2.  前記分岐素子は、前記第1の波長帯域の光を反射すると共に、前記第1の波長帯域以外の光を透過する波長選択ミラー又はプリズムである請求項1に記載の画像入力装置。
  3.  前記第1の波長帯域は、半値全幅で35nm以内の帯域である請求項1又は2に記載の画像入力装置。
  4.  前記第1イメージセンサから得られた画像信号から被写体の第1画像を形成し、前記第2イメージセンサから得られた画像信号から被写体の第2画像を形成し、前記第1画像と前記第2画像とを重畳した合成画像を形成するように画像処理を行う画像処理部をさらに有する請求項1~3のいずれかに記載の画像入力装置。
  5.  前記第1結像光学系は、単一の光軸を持つ請求項1~4のいずれかに記載の画像入力装置。
  6.  前記第1結像光学系は、前記第1イメージセンサに対し配置された単一の集光レンズを有する請求項1~5のいずれかに記載の画像入力装置。
  7.  物体側光学系から出射された被写体光が入射され、第1の波長帯域の光を第1光路に沿って出射し、前記第1の波長帯域以外の光を前記第1光路とは異なる第2光路に沿って出射する第1分岐素子と、
     前記第2光路内に配置され、前記第1の波長帯域とは異なる第2の波長帯域の光を第3光路に沿って出射し、前記第2の波長帯域以外の光を前記第3光路とは異なる第4光路に沿って出射する第2分岐素子と
     前記第1分岐素子より前記第1光路に沿って出射された前記第1の波長帯域の光が入射される第1結像光学系と、
     前記第1結像光学系によって、前記第1の波長帯域の光が結像される第1イメージセンサと、
     前記第2分岐素子より前記第4光路に沿って出射された前記第1の波長帯域及び前記第2の波長帯域以外の光が入射される第2結像光学系と、
     前記第2結像光学系によって、前記第1の波長帯域及び前記第2の波長帯域以外の光が結像される第2イメージセンサと、
     前記第2分岐素子より前記第3光路に沿って出射された前記第2の波長帯域の光が入射される第3結像光学系と、
     前記第3結像光学系によって、前記第2の波長帯域の光が結像される第3イメージセンサと、を有することを特徴とする画像入力装置。
  8.  前記第1分岐素子は、前記第1の波長帯域の光を反射すると共に、前記第1の波長帯域以外の光を透過する波長選択ミラー又はプリズムであり、前記第2分岐素子は、前記第2の波長帯域の光を反射すると共に、前記第2の波長帯域以外の光を透過する波長選択ミラー又はプリズムである請求項7に記載の画像入力装置。
  9.  前記第1の波長帯域及び前記第2の波長帯域は、半値全幅で35nm以内の帯域である請求項7又は8に記載の画像入力装置。
  10.  前記第1イメージセンサから得られた画像信号から被写体の第1画像を形成し、前記第2イメージセンサから得られた画像信号から被写体の第2画像を形成し、前記第3イメージセンサから得られた画像信号から被写体の第3画像を形成し、前記第1画像と前記第2画像と前記第3画像を重畳した合成画像を形成するように画像処理を行う画像処理部をさらに有する請求項7~9のいずれかに記載の画像入力装置。
  11.  前記第1結像光学系及び前記第3結像光学系は、単一の光軸を持つ請求項7~10のいずれかに記載の画像入力装置。
  12.  前記第1結像光学系は、前記第1イメージセンサに対し配置された単一の集光レンズを有し、
     前記第3結像光学系は、前記第3イメージセンサに対し配置された単一の集光レンズを有し、
     前記第2結像光学系は、光軸を互いに異ならせた複数の個眼レンズを持つレンズアレイと、前記レンズアレイと前記第2イメージセンサとの間に配置されたカラーフィルタと、を有し、前記カラーフィルタは、前記個眼レンズに対応した複数のフィルタ素子を有し、少なくとも2つのフィルタ素子の色が異なっている請求項7~11のいずれかに記載の画像入力装置。
  13.  前記第1結像光学系は、光軸を互いに異ならせた複数の個眼レンズを持つ第1レンズアレイと、前記第1レンズアレイと前記第1イメージセンサとの間に配置されたカラーフィルタとを有し、前記カラーフィルタは、前記個眼レンズに対応した複数のフィルタ素子を有し、少なくとも2つのフィルタ素子の色が異なっている請求項1~4,7~10のいずれかに記載の画像入力装置。
  14.  前記第2結像光学系は、光軸を互いに異ならせた複数の個眼レンズを持つ第2レンズアレイと、前記第2レンズアレイと前記第2イメージセンサとの間に配置されたカラーフィルタとを有し、前記カラーフィルタは、前記個眼レンズに対応した複数のフィルタ素子を有し、少なくとも2つのフィルタ素子の色が異なっている請求項1~4,7~10,13のいずれかに記載の画像入力装置。
  15.  前記物体側光学系は、結像レンズと、フィールドレンズとを有する請求項1~14のいずれかに記載の画像入力装置。
  16.  前記物体側光学系は、アフォーカル光学系を有する請求項1~14のいずれかに記載の画像入力装置。
  17.  請求項1~16のいずれかに記載の画像入力装置を備える顕微鏡装置。
  18.  物体側からの光が進行する一対の光路の片側に前記物体側光学系が設けられる請求項17に記載の顕微鏡装置。
PCT/JP2015/066446 2014-06-20 2015-06-08 画像入力装置及び顕微鏡装置 WO2015194410A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-126817 2014-06-20
JP2014126817 2014-06-20

Publications (1)

Publication Number Publication Date
WO2015194410A1 true WO2015194410A1 (ja) 2015-12-23

Family

ID=54935397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066446 WO2015194410A1 (ja) 2014-06-20 2015-06-08 画像入力装置及び顕微鏡装置

Country Status (1)

Country Link
WO (1) WO2015194410A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177198A (zh) * 2019-06-28 2019-08-27 中山联合光电科技股份有限公司 一种应用于监控系统的双光变焦光学系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191251A (ja) * 2002-12-12 2004-07-08 Olympus Corp 蛍光分光分析装置
JP2008139543A (ja) * 2006-12-01 2008-06-19 Osaka Prefecture Univ 蛍光顕微鏡
JP2010190776A (ja) * 2009-02-19 2010-09-02 Nikon Corp 撮像装置および表面検査装置
JP2013003495A (ja) * 2011-06-21 2013-01-07 Mitaka Koki Co Ltd 顕微鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191251A (ja) * 2002-12-12 2004-07-08 Olympus Corp 蛍光分光分析装置
JP2008139543A (ja) * 2006-12-01 2008-06-19 Osaka Prefecture Univ 蛍光顕微鏡
JP2010190776A (ja) * 2009-02-19 2010-09-02 Nikon Corp 撮像装置および表面検査装置
JP2013003495A (ja) * 2011-06-21 2013-01-07 Mitaka Koki Co Ltd 顕微鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177198A (zh) * 2019-06-28 2019-08-27 中山联合光电科技股份有限公司 一种应用于监控系统的双光变焦光学系统
CN110177198B (zh) * 2019-06-28 2023-09-05 中山联合光电科技股份有限公司 一种应用于监控系统的双光变焦光学系统

Similar Documents

Publication Publication Date Title
CN107137053B (zh) 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
CN106572792B (zh) 用于多光谱成像的方法和部件
JP6062405B2 (ja) 赤外蛍光を観察するための手術用顕微鏡、顕微鏡検査方法、および手術用顕微鏡の使用
US6772003B2 (en) Endoscope apparatus
US11744439B2 (en) Micro CMOS scopes for medical imaging
US20120056996A1 (en) Special-illumination surgical video stereomicroscope
JP7102432B2 (ja) 蛍光イメージングのための医用イメージングヘッドを用いた方法および装置
JPWO2014171284A1 (ja) 内視鏡装置
WO2009139058A1 (ja) 生体画像撮影装置
JP2014006079A (ja) 撮像モジュールおよび撮像装置
JP7449736B2 (ja) 医療用画像処理装置及び医療用観察システム
US10447906B2 (en) Dual path endoscope
KR101606828B1 (ko) 형광 영상 시스템
CN102791179B (zh) 荧光内窥镜装置
JP5740559B2 (ja) 画像処理装置および内視鏡
JP2009153074A (ja) 画像撮影装置
JP5489785B2 (ja) 蛍光内視鏡装置
US11051680B1 (en) Endoscope stereo imaging device
US9360605B2 (en) System and method for spatial and spectral imaging
WO2015194410A1 (ja) 画像入力装置及び顕微鏡装置
AU2017346249B2 (en) Multi-wavelength endoscopic system and image processing method using same
JP7477158B2 (ja) 3板式カメラ
JP6617774B2 (ja) 顕微鏡装置
RU2716680C1 (ru) Многоволновая эндоскопическая система и способ обработки изображений с её использованием

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15810006

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15810006

Country of ref document: EP

Kind code of ref document: A1