WO2015182306A1 - 撮像装置及び合成画像表示装置 - Google Patents

撮像装置及び合成画像表示装置 Download PDF

Info

Publication number
WO2015182306A1
WO2015182306A1 PCT/JP2015/062501 JP2015062501W WO2015182306A1 WO 2015182306 A1 WO2015182306 A1 WO 2015182306A1 JP 2015062501 W JP2015062501 W JP 2015062501W WO 2015182306 A1 WO2015182306 A1 WO 2015182306A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter element
eye optical
subject
transmission wavelength
Prior art date
Application number
PCT/JP2015/062501
Other languages
English (en)
French (fr)
Inventor
敦司 山下
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2015182306A1 publication Critical patent/WO2015182306A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to an imaging device having a plurality of single-eye optical systems with different optical axes, and a composite image display device that displays a composite image based on an image signal from the imaging device.
  • PDD Photodynamic Diagnostics
  • Patent Document 1 discloses a technique that can display a sample image of a selected display target dye in a sample image obtained by imaging a sample that has been multiple-stained with a plurality of dyes.
  • JP 2010-134195 A International Patent Publication No. 2013/064511 Pamphlet
  • Patent Document 1 it is possible to display a sample by selecting for each of various colors. However, it is necessary to switch a plurality of types of filters and perform imaging a plurality of times, and the imaging time is reduced. This requires a long time, and further complicates and enlarges the image pickup apparatus.
  • Patent Document 2 discloses a camera that simultaneously forms a subject image through a filter in different regions of a sensor array.
  • an optical duplicator, a field stop, and an objective lens are required in front of the sensor array, and there is a problem that the image pickup apparatus is increased in size due to a long optical total length.
  • the present invention has been made in view of the problems of the related art, and an object thereof is to provide an imaging apparatus and a composite image display apparatus that can form an image for easy diagnosis while being small. .
  • an imaging device reflecting one aspect of the present invention.
  • a plurality of individual optical systems with different optical axes A solid-state imaging device including a photoelectric conversion region that photoelectrically converts a plurality of subject images formed by each of the single-eye optical systems;
  • a color filter disposed between the single-eye optical system and the photoelectric conversion region or on the subject side of the single-eye optical system, and corresponding to each of the single-eye optical systems,
  • the color filter includes a first filter element for image formation of the entire subject, And having a transmission wavelength band narrower than the transmission wavelength band of the first filter element, and a second filter element for forming an image of a specific portion of the subject.
  • the subject light that has passed through the first filter element forms an image on the photoelectric conversion region by the corresponding single-eye optical system, so that the entire subject can be detected by the image signal output from the photoelectric conversion region. Images can be formed.
  • the subject light that has passed through the second filter element having a specific transmission wavelength band narrower than the transmission wavelength band of the first filter element forms an image on the photoelectric conversion region by the corresponding single-eye optical system. Only an image of a portion emitting a specific wavelength from the subject can be extracted from the image signal output from the photoelectric conversion region. That is, imaging having such two meanings can be performed at a time.
  • the position of the tumor or the like can be accurately displayed and easily recognized by superimposing the image of the specific wavelength region on the entire image of the formed subject.
  • fluorescence generated from a tumor or the like when irradiated with excitation light is generally monochromatic light. If the transmission wavelength band is narrower than the transmission wavelength band of the first filter element, unnecessary light different from fluorescence is generated. Incidence is suppressed and detection accuracy is improved.
  • the composite image display device reconstructs a first image of a subject from an image signal obtained from the above-described imaging device and a photoelectric conversion region corresponding to the first filter element of the solid-state imaging device, and the second image Image processing is performed such that a second image of the subject is reconstructed from an image signal obtained from the photoelectric conversion region corresponding to the filter element, and a composite image is formed by superimposing the first image and the second image.
  • the image processing unit reconstructs the first image of the subject from the image signal obtained from the photoelectric conversion region corresponding to the first filter element, and corresponds to the second filter element.
  • the second image of the subject is reconstructed from the image signal obtained from the photoelectric conversion area, and image processing is performed so as to form a composite image in which the first image and the second image are superimposed, and the composite image is displayed on the display unit. Therefore, if the part that emits the specific wavelength that passes through the second filter element is a tumor or the like, the image (second image) of the part of the specific wavelength is displayed on the visible image (first image) of the formed subject light. ), The position of the tumor or the like can be accurately displayed and can be easily recognized.
  • the image processing unit is configured to perform arbitrary processing of the composite image based on distance information of a subject included in an image signal obtained from a photoelectric conversion region corresponding to the first filter element.
  • the image processing can be performed so as to form an image focused on the position. Thereby, it is possible to focus on an arbitrary position of the subject image displayed by the display unit, and to improve the diagnostic accuracy.
  • an imaging device and a composite image display device that can form an image for easy diagnosis while being small.
  • FIG. 1 is a cross-sectional view of a single-eye optical system of Example 1.
  • FIG. 5 is a cross-sectional view of a single-eye optical system of Example 2.
  • FIG. 6 is a cross-sectional view of a single-eye optical system of Example 3.
  • the compound-eye imaging optical system is an optical system in which a plurality of single-eye optical systems are arranged in an array. Each single-eye optical system captures the same subject, and each lens system captures a different field of view. It is usually divided into a field division type to be performed.
  • the compound-eye imaging optical system according to this embodiment corresponds to a super-resolution type that reconstructs a plurality of low-resolution images of the same subject by image processing and outputs one high-resolution image.
  • FIG. 1 schematically shows a composite image display apparatus according to the present embodiment.
  • the composite image display device DP includes an imaging device LU, an image processing unit 1 including a calculation unit 2, a memory 3, an image display unit 4, and the like.
  • the imaging device LU is preferably small so that it can be attached to, for example, a microscope.
  • the imaging device LU includes an imaging element SR and a compound-eye imaging optical system LH that forms a plurality of images of the same subject.
  • the image sensor SR for example, a solid-state image sensor such as a CCD image sensor or a CMOS image sensor having a plurality of pixels is used.
  • the compound-eye imaging optical system LH is provided so that the optical image of the subject is formed on the light-receiving surface I that is the photoelectric conversion unit of the imaging element SR, a plurality of optical images formed by the compound-eye imaging optical system LH. Is converted into an electrical signal by the image sensor SR.
  • FIG. 2 is a diagram schematically showing a main part of the imaging apparatus LU according to the present embodiment.
  • the imaging device LU includes a single-eye optical system IL arranged in three rows and four columns, and a photoelectric conversion region that photoelectrically converts a subject image formed by each of the single-eye optical systems IL (even if integrated).
  • the solid-state imaging device SR having 12 regions of Ia, and the color filter CF disposed between the single-eye optical system IL and the photoelectric conversion region Ia.
  • the color filter CF is divided into 12 filter elements CFa according to the single-eye optical system IL.
  • the color filter CF may be disposed on the subject side with respect to the single-eye optical system IL.
  • FIG. 3 is a diagram showing an example of the arrangement of filter elements respectively corresponding to the individual eye optical systems.
  • the arrangement of the filter elements shown in FIG. 3 includes a filter element CFa that transmits red (R) light, a filter element CFa that transmits green (G) light, and a filter element CFa that transmits blue (B) light. And two or more filter elements CFa that transmit light of the first specific color (N1) and two or more filter elements CFa that transmit light of the second specific color (N2).
  • the pair of red (R) filter elements CFa are arranged so as to be shifted by two elements in the horizontal direction and the vertical direction.
  • the pair of blue (B) filter elements CFa are also arranged so as to be shifted by two elements in the horizontal and vertical directions.
  • two of the three green (G) filter elements CFa are shifted by two elements only in the vertical direction, but the remaining green (G) filter elements CFa On the other hand, they are shifted by one element in the vertical direction and by two elements in the horizontal direction.
  • the filter elements CFa of the two first specific colors (N1) among the three provided are shifted by two elements only in the vertical direction, but the remaining first specific colors (N1)
  • the filter elements CFa are arranged so as to be shifted by one element in the vertical direction and by two elements in the horizontal direction.
  • the pair of second specific color (N2) filter elements CFa are arranged so as to be shifted by two elements only in the horizontal direction.
  • FIG. 4 is a diagram showing the transmission wavelength characteristics of the filter element CFa.
  • R represents the transmission wavelength characteristic of the red filter element
  • G represents the transmission wavelength characteristic of the green filter element
  • B represents the transmission wavelength characteristic of the blue filter element
  • N1 represents the first 1 shows the transmission wavelength characteristic of the filter element of one specific color
  • N2 shows the transmission wavelength characteristic of the filter element of the second specific color.
  • the transmission wavelength bands (N1, N2) of the first and second specific colors are compared with the transmission wavelength bands (R, G, B), which are bands obtained by dividing the visible light region into three. It is narrow and has a half width of 50 nm or less.
  • the transmission wavelength band (N1) of the first specific color includes the wavelength of fluorescence generated when the tumor portion of the living body is irradiated with excitation light
  • the transmission wavelength band (N2) of the second specific color includes the wavelength of fluorescence generated when excitation light is irradiated to a healthy part of the living body.
  • FIG. 5 is a cross-sectional view of the imaging device LU.
  • the compound-eye imaging optical system LH is arranged in order from the object side, the first array lens AL1, the member AP having the aperture stop S, the second array lens AL2, the color filter CF, and IR cuts appropriately arranged as necessary. It consists of a filter F, and these are held by a lens frame HLD.
  • the end of the lens frame HLD is fixed on the substrate ST on which the solid-state image sensor SR is mounted.
  • the first array lens AL1 is formed by arranging individual lenses L1 in 3 rows and 4 columns (see FIG. 2).
  • the second array lens AL2 is also formed by arranging single-lens lenses L2 in 3 rows and 4 columns.
  • a single-eye optical system IL shown in FIG. 2 is composed of the single-eye lens L1 and the single-eye lens L2 that are laminated with the optical axes aligned.
  • the single-eye optical system IL may be composed of one single-eye lens (also simply referred to as a lens).
  • the number of object images (called single eye images) formed on the imaging surface I of the image sensor SR is equal to the number of single eye optical systems. That is, the light rays that have passed through the single lenses L1 and L2 stacked in the optical axis direction form single images on the imaging surface I, respectively.
  • At least one of the first array lens AL1 and the second array lens AL2 may be integrally molded. Furthermore, each single-eye optical system may be optimally designed for the transmission wavelength characteristics of the corresponding filter element.
  • the imaging device LU is suitable for medical use for observing a living body of a patient or the like.
  • a photosensitive substance that has affinity for a tumor and emits fluorescence when excited by light is absorbed in advance by a tumor portion of the living body. Further, the portion is irradiated with excitation light (blue light or the like) in the excitation wavelength region of the photosensitive substance to generate first fluorescence.
  • excitation light blue light or the like
  • second fluorescence having a wavelength different from that of the first fluorescence is generated. Such a state is imaged by the imaging device LU.
  • the subject light that has passed through the R, G, and B filter elements CFa forms an image on the corresponding imaging surface I, and a plurality of single-eye images having a red component, a green component, and a blue component are generated by the image signal. Therefore, the calculation unit 2 in the image synthesis unit in the image processing unit 1 synthesizes them while performing parallax correction, thereby producing a color image (first image) of the whole living body with high image quality. Can be reconfigured.
  • the first fluorescence that has passed through the filter element CFa of N1 forms an image on the corresponding imaging surface I, and three single-eye images are formed by the image signal.
  • the image (second image) of the tumor part of the origin can be reconstructed.
  • the image composition unit in the image processing unit 1 performs image processing so that the image of the tumor part is superimposed on the color image of the whole living body as the subject.
  • the image of the tumor part is superimposed on the color image of the living body and the mutual colors are similar and difficult to visually recognize, for example, only the blue component (B signal) is used for the living body image, or the chromaticity You may process so that a component may be lost and it may become a monochrome image.
  • the second fluorescence that has passed through the N2 filter element CFa is also imaged on the corresponding imaging surface I, and two single-eye images are formed by the image signal, and the parallax correction is similarly performed based on this image.
  • the image (second image) of the health part of the origin can be reconstructed. Therefore, the image composition unit in the image processing unit 1 performs image processing so that the image of the healthy part is superimposed on the color image of the whole living body as the subject.
  • the resultant composite image ML data is transmitted to the image display unit 4 and can be displayed on the monitor as shown in FIG.
  • LB indicates a living body
  • CN indicates a tumor portion (shown by double hatching)
  • HL indicates a healthy portion (shown by hatching).
  • the data of the composite image ML is stored in the memory 3.
  • the data of the composite image ML includes distance information to each part of the living body LB
  • the image combining unit in the image processing unit 1 A refocus process is performed so that the part is in focus, and an image of the part that is in focus in a pseudo manner can be displayed.
  • the refocus processing is described in detail in Japanese Patent Laid-Open No. 2010-0608018.
  • FIG. 7 is a diagram showing a modification of the arrangement of the filter elements.
  • the arrangement of the filter element in FIG. 7 is different from the embodiment in FIG. 3 in that a filter element that transmits light of the third specific color (N3) is arranged instead of the filter element that transmits red (R) light.
  • a filter element that transmits light of the fourth specific color (N4) is disposed in place of the filter element that transmits green (G) light.
  • the filter element CFa that transmits blue (B) light remains.
  • FIG. 8 is a diagram showing the transmission wavelength characteristics of the filter element CFa of FIG.
  • B represents the transmission wavelength characteristic of the blue filter element including the wavelength of the excitation light
  • N1 represents the transmission wavelength characteristic of the filter element of the first specific color
  • N2 represents the second specific color
  • N3 indicates the transmission wavelength characteristic of the third specific color filter element
  • N4 indicates the transmission wavelength characteristic of the fourth specific color filter element.
  • the transmission wavelength bands (N1 to N4) of the first to fourth specific colors are narrower than the transmission wavelength band of blue (B), and the half-value width is 50 nm or less.
  • the filter element B constitutes the first filter element
  • the filter elements N1 to N4 constitute the second filter element.
  • the transmission wavelength band (N1) of the first specific color includes the wavelength of the first fluorescence generated when the tumor light in the third period is irradiated with the excitation light, and the third specific color of the third specific color is transmitted.
  • the transmission wavelength band (N3) includes the wavelength of the third fluorescence generated when the second stage tumor portion is irradiated with the excitation light
  • the transmission wavelength band (N4) of the fourth specific color is the initial wavelength Includes the wavelength of the fourth fluorescence that is generated when the tumor part is irradiated with excitation light
  • the second specific color transmission wavelength band (N2) is when the healthy part of the living body is irradiated with excitation light. It is assumed that the wavelength of the second fluorescence generated is included.
  • the subject light that has passed through the B filter element CFa forms an image on the corresponding imaging surface I, and two single-eye images having only a blue component are obtained by the image signal. Therefore, the calculation unit 2 in the image synthesis unit in the image processing unit 1 synthesizes them while performing parallax correction to form an image of the entire living body with only the blue component.
  • the first, third, and fourth fluorescences that have passed through the filter elements CFa of N1, N3, and N4 are imaged on the corresponding imaging surface I, and an image of the tumor part that is the source of the fluorescence is generated by the image signal.
  • the image composition unit in the image processing unit 1 performs image processing so that the image of the tumor portion is color-coded for each degree of progression and superimposed on the image of the living body having the blue component. This improves the accuracy of diagnosis.
  • FIG. 9 is a diagram showing another modification of the arrangement of the filter elements.
  • the arrangement of the filter elements in FIG. 9 is different from that in the modification example in FIG. 7 in that instead of the filter element that transmits blue (R) light, the filter element CFb in the Bayer array (R , G and B filter pixels).
  • the Bayer array filter elements constitute the first filter element, and the N1 to N4 filter elements constitute the second filter element.
  • the color filter CF of this modification When the color filter CF of this modification is used, two single-eye images having a red component, a green component, and a blue component are formed by the image signal on the imaging surface I having the Bayer array filter elements CFb. A color image of the whole living body is formed from the calculation unit 2 in the image synthesis unit in the image processing unit 1. On the other hand, the first, third, and fourth fluorescences that have passed through the filter elements CFa of N1, N3, and N4 are imaged on the corresponding imaging surface I, and an image of the tumor part that is the source of the fluorescence is generated by the image signal. Depending on the degree of progression, the color can be formed. Furthermore, the image composition unit in the image processing unit 1 performs image processing so that the image of the tumor portion is color-coded and superimposed on the color image of the living body for each progression degree.
  • the first filter element has three transmission wavelength bands corresponding to red, green, and blue.
  • the first filter element has a transmission wavelength band in a part of the visible light region.
  • the entire image of the subject may be formed as a monochrome image only with light passing through a filter element corresponding to the wavelength of the excitation light.
  • the number of types of the second filter elements can be increased and the number of individual eyes having the second filter elements can be increased as compared with the case where the entire image is formed in color.
  • the focal length of the single-eye optical system can be optimized as appropriate, and the number of pixels per eye can be increased, resulting in a higher resolution image. It becomes possible to obtain.
  • the first filter element is preferably a Bayer array of three transmission wavelength bands corresponding to red, green, and blue for each pixel on the image plane of the single-eye optical system.
  • the first filter element is a Bayer array of three transmission wavelength bands corresponding to red, green, and blue for each pixel on the image plane of the single-eye optical system, it has at least one first filter element. Since the whole image of the subject can be formed with a single-eye image, the number of specific wavelengths to be detected can be increased by using all the remaining filter elements as second filter elements. In addition, when the number of single eyes having the second filter element is the same, the focal length of the single-eye optical system can be optimized as appropriate, and the number of pixels per eye can be increased, resulting in a higher resolution image. It becomes possible to obtain.
  • the second filter element and the first filter element have different transmission peak wavelengths. Fluorescence generated from a tumor or the like when irradiated with excitation light is generally monochromatic light having a peak wavelength different from that of red, green, and blue. Therefore, the second filter has a transmission wavelength band that transmits only the monochromatic light. If the element has, such fluorescence can be reliably captured in the photoelectric conversion region.
  • the transmission wavelength band of the second filter element is within a half width of 50 nm.
  • two or more single-eye optical systems having filter elements having the same transmission wavelength band are arranged. Since the distance information to the subject can be obtained based on the image signal from the photoelectric conversion region that has passed through the filter element having the same transmission wavelength band, the parallax correction can be performed with high accuracy for each subject image. In addition, when performing parallax correction, it is possible to search for corresponding points between subject images that have passed through filter elements having the same transmission wavelength band. As the number of filter elements having the same transmission wavelength band is increased, parallax correction with higher accuracy and accuracy becomes possible.
  • the parallax can be calculated by general template matching (SSD, SAD, etc.).
  • a plurality of primary images are aligned based on parallax calculated based on a signal from a photoelectric conversion region that has received subject light that has passed through two filter elements having the same transmission wavelength band, and a high-resolution secondary image is obtained.
  • An image can be generated. If information on the focal length of each individual optical system, image center, lens distortion coefficient, and positional relationship (translation, rotation) between the individual optical systems is obtained in advance, triangulation is performed from these coefficients and parallax values. This enables the distance measurement to the object.
  • These coefficients may be calculated by a general stereo camera calibration method (for example, Zhang's method). Further, since a three-dimensional image using distance information can be formed, it is possible to perform processing such as rotating the subject on the monitor at the time of diagnosis, making it easy to recognize the affected area.
  • the single-eye optical system having the filter elements having the same transmission wavelength band is arranged so as to be shifted with respect to both the vertical direction and the horizontal direction. If two or more filter elements with the same transmission wavelength band are arranged shifted in both the vertical and horizontal directions, they are less susceptible to occlusion during parallax correction, and the corresponding points are searched. easy.
  • an array lens in which the lenses constituting the single-eye optical system are integrally formed.
  • the number of lenses constituting the single-eye optical system can be two or less, the depth and the radial dimension of the imaging device can be suppressed, and the miniaturization can be maintained.
  • the single-eye optical system is common or has a very small difference, so only one is shown and the rest is omitted.
  • f Focal length of the entire system (mm)
  • R radius of curvature (mm)
  • d Shaft upper surface distance (mm)
  • nd refractive index of lens material with respect to d-line
  • ⁇ d Abbe number with respect to d-line of lens material
  • the surface numbered with * is a surface having an aspherical shape, and the aspherical shape has an apex at the surface as an origin, an X axis in the optical axis direction, and is perpendicular to the optical axis.
  • the height of the direction is represented by the following “Equation 1” where h.
  • the radius of curvature of the lens surface referred to in the present application is the vicinity of the center of the lens (specifically, the lens outer diameter).
  • it means the approximate radius of curvature when fitting the measured shape value in the central region within 10%) by the method of least squares.
  • the reference radius of curvature of the aspheric definition formula also includes a curvature radius that takes into account the secondary aspheric coefficient.
  • Example 1 shows lens data of Example 1.
  • a power of 10 for example, 2.5 ⁇ 10 ⁇ 02
  • E for example, 2.5E-02
  • FIG. 10 is a sectional view of the single-eye optical system of Example 1.
  • the single-eye optical system according to the first exemplary embodiment includes an aperture stop S and a lens L1 in order from the object side.
  • I indicates an imaging surface
  • F indicates a parallel plate assuming the color filter or IR cut filter of any of FIGS. 3, 7 and 9
  • CG indicates a parallel plate assuming a sealing glass of a solid-state image sensor. Show.
  • the color filter may be disposed on the subject side with respect to the single-eye optical system.
  • Example 1 (mm) Surface number (aspherical surface) R (mm) d (mm) nd ⁇ d Object 300 1 (Aperture) ⁇ 0.05 2 ⁇ 0.15 3 * 0.732 0.55 1.52 640 53.8 4 * -1.512 0.37 5 ⁇ 0.11 1.51633 64.1 6 ⁇ 0.04 7 ⁇ 0.30 1.51633 64.1 8 ⁇ 0.04 image Aspheric coefficient 3rd side 4th side K 1.041 7.476 A4 2.2330E + 00 2.4643E + 00 A6 -3.6465E + 01 -5.5972E + 00 A8 3.1481E + 02 1.0153E + 02 A10 -1.4512E + 03 -2.5572E + 02 A12 2.4482E + 03 Lens values Focal length 1.02 F number 2.87 Half angle of view (°) 38.5 Statue height 0.668 Total lens length 1.40 Back focus 0.71
  • FIG. 11 is a sectional view of the single-eye optical system of Example 2.
  • the single-eye optical system according to the second exemplary embodiment includes, in order from the object side, a lens L1, an aperture stop S, and a lens L2.
  • I indicates an imaging surface
  • F indicates a parallel plate assuming a color filter, an IR cut filter, a seal glass of a solid-state imaging device, or the like of any of FIGS.
  • F is a parallel plate assuming an IR cut filter, a seal glass of a solid-state image sensor, and the like.
  • Example 3 shows lens data of Example 3.
  • FIG. 12 is a cross-sectional view of the single-eye optical system of Example 3.
  • the single-eye optical system of Example 3 is composed of a lens L1, an aperture stop S, and a lens L2 in order from the object side.
  • I indicates an imaging surface
  • F indicates a parallel plate assuming a color filter, an IR cut filter, a seal glass of a solid-state imaging device, or the like of any of FIGS.
  • F is a parallel plate assuming an IR cut filter, a seal glass of a solid-state image sensor, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Studio Devices (AREA)

Abstract

　小型でありながら、診断を容易に行うための画像を形成できる撮像装置及び合成 画像表示装置を提供する。撮像装置は、光軸を互いに異ならせた複数の個眼光学系と、前記個眼光学系の各々により形成された複数の被写体像を光電変換する光電変換領域を備えた固体撮像素子と、前記個眼光学系と前記光電変換領域との間もしくは前記個眼光学系より被写体側に配置され、前記個眼光学系の各々に対応したカラーフィルタと、を有し、前記カラーフィルタは、被写体全体の画像形成用の第１のフィルタ素子と、前記第１のフィルタ素子の透過波長帯域より狭い透過波長帯域を有し、被写体の特定部分の画像形成用の第２のフィルタ素子と、を有する。

Description

撮像装置及び合成画像表示装置
　本発明は、光軸を互いに異ならせた複数の個眼光学系を持つ撮像装置と、かかる撮像装置からの画像信号に基づいて合成画像を表示する合成画像表示装置に関する。
　従来より、一般にＰＤＤ（Ｐｈｏｔｏｄｙｎａｍｉｃ　Ｄｉａｇｎｏｓｉｓ）と称される光力学的診断についての研究が種々行われている。ＰＤＤとは、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質を予め生体の腫瘍部分に吸収させておき、その部分に光感受性物質の励起波長領域にある励起光を照射して蛍光を生じさせ、この蛍光による画像を表示して腫瘍部分を診断する技術である。
　光力学的診断に際しては、蛍光による画像をモニタ上で医者が観察することで行えるが、実際の患部が蛍光色に類似した色を持つと、診断が困難になるという問題がある。そこで、当該蛍光の波長を検出し当該蛍光を発した部位を特定することで、診断を容易にする技術が開発されている。特許文献１には、複数の色素で多重染色された標本を撮像した標本画像において、選択した表示対象色素による標本の画像を表示できる技術が開示されている。
特開２０１０－１３４１９５号公報 国際特許公開第２０１３／０６４５１１号パンフレット
　ところで、特許文献１の技術では、種々の色毎に選択を行って標本の表示を行うことはできるが、複数種類のフィルタを切り換えて複数回の撮像を行わなくてはならず、撮像時間を長く必要とし、さらに撮像装置が複雑化・大型化するという問題がある。
　これに対し特許文献２には、センサアレイの異なる領域にフィルタを通した被写体像を同時に形成するカメラが開示されている。しかしながら、特許文献２の技術では、センサアレイ前方に光学的デュプリケータ、視野絞り、対物レンズが必要であり、光学全長が長くなることで撮像装置が大型化するという問題がある。
　本発明は、かかる従来技術の問題点に鑑みてなされたものであり、小型でありながら、診断を容易に行うための画像を形成できる撮像装置及び合成画像表示装置を提供することを目的とする。
　上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した撮像装置は、
　光軸を互いに異ならせた複数の個眼光学系と、
　前記個眼光学系の各々により形成された複数の被写体像を光電変換する光電変換領域を備えた固体撮像素子と、
　前記個眼光学系と前記光電変換領域との間もしくは前記個眼光学系より被写体側に配置され、前記個眼光学系の各々に対応したカラーフィルタと、を有し、
　前記カラーフィルタは、被写体全体の画像形成用の第１のフィルタ素子と、
　前記第１のフィルタ素子の透過波長帯域より狭い透過波長帯域を有し、被写体の特定部分の画像形成用の第２のフィルタ素子と、を有することを特徴とする。
　本撮像装置によれば、第１のフィルタ素子を通過した被写体光が、それに対応する個眼光学系によって光電変換領域に結像するので、その光電変換領域から出力された画像信号により、被写体全体の画像を形成できる。一方、第１のフィルタ素子の透過波長帯域より狭い特定の透過波長帯域を持つ第２のフィルタ素子を通過した被写体光が、それに対応する個眼光学系によって光電変換領域に結像するので、その光電変換領域から出力された画像信号により、被写体からの特定波長を発する部分の画像のみを抽出できる。つまり、このような２つの意味を持つ撮像を一度に行うことができる。特定波長の部位が腫瘍等であれば、形成された被写体全体の画像に、特定波長の部位の画像を重畳することで、腫瘍等の位置を正確に表示でき、且つ容易に認識できるようになる。また、励起光を照射したときに腫瘍等から発生する蛍光は一般的に単色光であり、第１のフィルタ素子の透過波長帯域より狭い透過波長帯域であれば、蛍光とは異なる不要な光が入射することが抑制され、検出精度が向上する。
　本合成画像表示装置は、上述の撮像装置と、前記固体撮像素子の前記第１のフィルタ素子に対応した光電変換領域から得られた画像信号から被写体の第１画像を再構成し、前記第２のフィルタ素子に対応した光電変換領域から得られた画像信号から被写体の第２画像を再構成して、更に前記第１画像と前記第２画像を重畳した合成画像を形成するように画像処理を行う画像処理部と、前記画像処理部からの信号に基づいて、前記合成画像を表示する表示部とを有することを特徴とする。
　本合成画像表示装置によれば、画像処理部が、第１のフィルタ素子に対応した光電変換領域から得られた画像信号から被写体の第１画像を再構成し、第２のフィルタ素子に対応した光電変換領域から得られた画像信号から被写体の第２画像を再構成して、更に第１画像と第２画像を重畳した合成画像を形成するように画像処理を行い、この合成画像を表示部が表示できるから、第２のフィルタ素子を通過する特定波長を発する部位が腫瘍等であれば、形成された被写体光の可視画像（第１画像）に、特定波長の部位の画像（第２画像）を重畳することで、腫瘍等の位置を正確に表示でき、且つ容易に認識できるようになる。
　上記合成画像表示装置において、前記画像処理部は、前記第１のフィルタ素子に対応した光電変換領域から得られた画像信号に含まれた被写体の距離情報に基づいて、前記合成した画像の任意の位置にピントを合わせた画像を形成するように画像処理を行うように構成できる。これにより表示部により表示された被写体画像の任意の位置にピントを合わせることが出来、診断精度を向上できる。
　本発明によれば、小型でありながら、診断を容易に行うための画像を形成できる撮像装置及び合成画像表示装置を提供することができる。
本実施形態にかかる合成画像表示装置を模式的に示す図である。 本実施形態にかかる撮像装置ＬＵの主要部を模式的に示す図である。 各個眼光学系に各々対応するフィルタ素子の配置の一例を示す図である。 フィルタ素子ＣＦａの透過波長帯域を示す図である。 撮像装置ＬＵの断面図である。 画像表示装置のモニタに表示された生体の画像の一例を示す図である。 フィルタ素子の配置の変形例を示す図である。 図７のフィルタ素子ＣＦａの透過波長帯域を示す図である。 フィルタ素子の配置の別な変形例を示す図である。 実施例１の個眼光学系の断面図である。 実施例２の個眼光学系の断面図である。 実施例３の個眼光学系の断面図である。
　以下、本実施形態に係る複眼撮像光学系を用いた撮像装置等を説明する。複眼撮像光学系は、複数の個眼光学系がアレイ状に配置された光学系であり、各個眼光学系が同一被写体の撮像を行う超解像タイプと、各レンズ系が異なる視野の撮像を行う視野分割タイプと、に通常分けられる。本実施形態に係る複眼撮像光学系は、同一被写体の複数の低解像度画像を画像処理にて再構成し、1枚の高解像度画像を出力する超解像タイプに相当する。
　図１に、本実施形態にかかる合成画像表示装置を模式的に示す。図１に示すように、合成画像表示装置ＤＰは、撮像装置ＬＵ、演算部２を含む画像処理部１、メモリー３、画像表示部４等を有している。撮像装置ＬＵは、例えば顕微鏡等に取り付けられるように小型であることが好ましい。撮像装置ＬＵは、撮像素子ＳＲと、同一被写体の複数の像を形成する複眼撮像光学系ＬＨと、を有している。撮像素子ＳＲとしては、例えば複数の画素を有するＣＣＤ型イメージセンサー、ＣＭＯＳ型イメージセンサー等の固体撮像素子が用いられる。撮像素子ＳＲの光電変換部である受光面Ｉ上に被写体の光学像が形成されるように、複眼撮像光学系ＬＨが設けられているので、複眼撮像光学系ＬＨによって形成された複数の光学像は、撮像素子ＳＲによって電気的な信号に変換される。
　図２は、本実施形態にかかる撮像装置ＬＵの主要部を模式的に示す図である。図２において、撮像装置ＬＵは、３行４列に配置された個眼光学系ＩＬと、個眼光学系ＩＬの各々により形成される被写体像を光電変換する光電変換領域（一体であっても良い）Ｉａを１２領域備えた固体撮像素子ＳＲと、個眼光学系ＩＬと光電変換領域Ｉａとの間に配置されたカラーフィルタＣＦと、を有する。カラーフィルタＣＦは、個眼光学系ＩＬに応じて１２個のフィルタ素子ＣＦａに分割されている。なお、カラーフィルタＣＦは、個眼光学系ＩＬより被写体側に配置されていてもよい。
　図３は、各個眼光学系に各々対応するフィルタ素子の配置の一例を示す図である。図３に示すフィルタ素子の配置は、赤色（Ｒ）の光を透過するフィルタ素子ＣＦａと、緑色（Ｇ）の光を透過するフィルタ素子ＣＦａと、青色（Ｂ）の光を透過するフィルタ素子ＣＦａと、第１の特定色（Ｎ１）の光を透過するフィルタ素子ＣＦａと、第２の特定色（Ｎ２）の光を透過するフィルタ素子ＣＦａとを、それぞれ２つ以上備えている。
　一対の赤色（Ｒ）のフィルタ素子ＣＦａは、水平方向及び垂直方向に２素子分ずれて配置されている。又、一対の青色（Ｂ）のフィルタ素子ＣＦａも、水平方向及び垂直方向に２素子分ずれて配置されている。一方、３つ設けられた内の２つの緑色（Ｇ）のフィルタ素子ＣＦａは、垂直方向にのみ２素子分ずれて配置されているが、残りの緑色（Ｇ）のフィルタ素子ＣＦａは、それらに対し垂直方向に１素子分、水平方向に２素子分ずれて配置されている。
　更に、３つ設けられた内の２つの第１の特定色（Ｎ１）のフィルタ素子ＣＦａは、垂直方向にのみ２素子分ずれて配置されているが、残りの第１の特定色（Ｎ１）のフィルタ素子ＣＦａは、それらに対し垂直方向に１素子分、水平方向に２素子分ずれて配置されている。一対の第２の特定色（Ｎ２）のフィルタ素子ＣＦａは、水平方向にのみ２素子分ずれて配置されている。このように透過波長帯域が同じ２つのフィルタ素子を垂直方向及び水平方向にずらして配置することで、複眼撮像時におけるオクルージョンの影響を低減して、測距や視差補正時の対応点検索を容易にできる。尚、Ｒ、Ｇ、Ｂのフィルタ素子が第１のフィルタ素子を構成し、Ｎ１，Ｎ２のフィルタ素子が第２のフィルタ素子を構成する。
　図４は、フィルタ素子ＣＦａの透過波長特性を示す図である。図４において、Ｒは、赤色のフィルタ素子の透過波長特性を示し、Ｇは、緑色のフィルタ素子の透過波長特性を示し、Ｂは、青色のフィルタ素子の透過波長特性を示し、Ｎ１は、第１の特定色のフィルタ素子の透過波長特性を示し、Ｎ２は、第２の特定色のフィルタ素子の透過波長特性を示している。図４に示すように、第１及び第２の特定色の透過波長帯域（Ｎ１、Ｎ２）は、可視光領域を３分割した帯域である（Ｒ、Ｇ、Ｂ）の透過波長帯域に比べて狭くなっており、半値幅で５０ｎｍ以下である。ここで、第１の特定色の透過波長帯域（Ｎ１）は、生体の腫瘍部分に励起光を照射したときに発生する蛍光の波長を含んでおり、第２の特定色の透過波長帯域（Ｎ２）は、生体の健康な部分に励起光を照射したときに発生する蛍光の波長を含んでいるものとする。
　図５は、撮像装置ＬＵの断面図である。撮像装置ＬＵにおいて、複眼撮像光学系ＬＨは、物体側より順に、第１アレイレンズＡＬ１、開口絞りＳを有する部材ＡＰ、第２アレイレンズＡＬ２、カラーフィルタＣＦ、必要に応じ適宜配置されるＩＲカットフィルタＦからなり、これらは鏡枠ＨＬＤにより保持されている。鏡枠ＨＬＤの端部は、固体撮像素子ＳＲを実装した基板ＳＴ上に固定されている。
　第１アレイレンズＡＬ１は、個眼レンズＬ１を３行４列（図２参照）に並べて形成している。又、第２アレイレンズＡＬ２も、個眼レンズＬ２を、３行４列に並べて形成している。光軸を合わせて積層された個眼レンズＬ１と個眼レンズＬ２とで、図２に示す個眼光学系ＩＬを構成する。尚、個眼光学系ＩＬは、それぞれ１枚の個眼レンズ（単にレンズともいう）から構成されていても良い。
　撮像素子ＳＲの撮像面Ｉ上に形成される物体像（個眼像という）の数は個眼光学系の数と等しい。つまり、光軸方向に積層された個眼レンズＬ１、Ｌ２を通過した光線が、撮像面Ｉ上でそれぞれ個眼像を形成する。
　第１アレイレンズＡＬ１と第２アレイレンズＡＬ２のうち少なくとも一方を、一体成形しても良い。更に、個眼光学系の各々が、対応するフィルタ素子の透過波長特性に対して各々最適設計されていても良い。
　本実施形態の撮像装置ＬＵは、医療用として患者等の生体観察に用いるのに適している。診断前準備として、腫瘍親和性を有し、光により励起されたとき蛍光を発する光感受性物質を予め生体の腫瘍部分に吸収させておく。更に、当該部分に光感受性物質の励起波長領域にある励起光（青色光など）を照射して第１の蛍光を発生させる。一方、比較のため、生体の健康部分にも同じ励起光を照射すると、第１の蛍光とは異なる波長の第２の蛍光が発生する。かかる状態を、撮像装置ＬＵで撮像する。
　このとき、Ｒ、Ｇ、Ｂのフィルタ素子ＣＦａを通過した被写体光は、対応する撮像面Ｉ上に結像し、その画像信号により赤色成分、緑色成分、青色成分を持つ複数の個眼像が、視差を有して形成されるので、画像処理部１内の画像合成部内の演算部２により、視差補正を行いつつこれらを合成して高画質な生体全体のカラー画像（第１画像）を再構成することができる。一方、Ｎ１のフィルタ素子ＣＦａを通過した第１の蛍光は、対応する撮像面Ｉ上に結像し、その画像信号により３つの個眼像が形成され、これに基づき同様に視差補正を行いつつ、発生元の腫瘍部分の画像（第２画像）を再構成することができる。そこで、画像処理部１内の画像合成部が、被写体である生体全体のカラー画像に腫瘍部分の画像を重畳するように画像処理を行う。尚、生体のカラー画像に腫瘍部分の画像を重畳したときに、相互の色が類似して視認しにくい場合には、例えば生体の画像を青色成分（Ｂ信号）だけを使用したり、色度成分を失わせてモノクロ画像とするように処理しても良い。
　更に、Ｎ２のフィルタ素子ＣＦａを通過した第２の蛍光も、対応する撮像面Ｉ上に結像し、その画像信号により２つの個眼像が形成され、これに基づき同様に視差補正を行いつつ、発生元の健康部分の画像（第２画像）を再構成することができる。よって、画像処理部１内の画像合成部が、被写体である生体全体のカラー画像に健康部分の画像を重畳するように画像処理を行う。その結果得られた合成画像ＭＬのデータは、画像表示部４に送信されて、図６に示すようにモニタ上に画像表示することができる。図６において、ＬＢが生体を示し、ＣＮが腫瘍部分（ダブルハッチングで図示）を示し、ＨＬが健康部分（ハッチングで図示）を示す。合成画像ＭＬのデータは、メモリー３に記憶される。
　尚、合成画像ＭＬのデータには、生体ＬＢの各部までの距離情報が含まれているので、生体ＬＢのピントがずれた任意の部位を指定すると、画像処理部１内の画像合成部が当該部位にピントが合うようにリフォーカス処理を行って、疑似的にピントが合った当該部位の画像を表示させることができる。リフォーカス処理については、特開２０１０－０６８０１８号公報に詳しく記載されている。
　図７は、フィルタ素子の配置の変形例を示す図である。図７のフィルタ素子の配置は、図３の実施形態に対して、赤色（Ｒ）の光を透過するフィルタ素子の代わりに、第３の特定色（Ｎ３）の光を透過するフィルタ素子を配置し、緑色（Ｇ）の光を透過するフィルタ素子の代わりに、第４の特定色（Ｎ４）の光を透過するフィルタ素子を配置している。但し、青色（Ｂ）の光を透過するフィルタ素子ＣＦａは残している。
　図８は、図７のフィルタ素子ＣＦａの透過波長特性を示す図である。図８において、Ｂは、励起光の波長を含む青色のフィルタ素子の透過波長特性を示し、Ｎ１は、第１の特定色のフィルタ素子の透過波長特性を示し、Ｎ２は、第２の特定色のフィルタ素子の透過波長特性を示し、Ｎ３は、第３の特定色のフィルタ素子の透過波長特性を示し、Ｎ４は、第４の特定色のフィルタ素子の透過波長特性を示している。図８に示すように、第１～第４の特定色の透過波長帯域（Ｎ１～Ｎ４）は、青色（Ｂ）の透過波長帯域に比べて狭くなっており、半値幅で５０ｎｍ以下である。尚、Ｂのフィルタ素子が第１のフィルタ素子を構成し、Ｎ１～４のフィルタ素子が第２のフィルタ素子を構成する。
　ここで、第１の特定色の透過波長帯域（Ｎ１）は、第３期の腫瘍部分に励起光を照射したときに発生する第１の蛍光の波長を含んでおり、第３の特定色の透過波長帯域（Ｎ３）は、第２期の腫瘍部分に励起光を照射したときに発生する第３の蛍光の波長を含んでおり、第４の特定色の透過波長帯域（Ｎ４）は、初期の腫瘍部分に励起光を照射したときに発生する第４の蛍光の波長を含んでおり、第２の特定色の透過波長帯域（Ｎ２）は、生体の健康な部分に励起光を照射したときに発生する第２の蛍光の波長を含んでいるものとする。
　本変形例のカラーフィルタＣＦを用いた場合、Ｂのフィルタ素子ＣＦａを通過した被写体光が、対応する撮像面Ｉ上に結像し、その画像信号により青色成分のみを持つ２つの個眼像が、視差を有して形成されるので、画像処理部１内の画像合成部内の演算部２により、視差補正を行いつつこれらを合成して青色成分のみの生体全体の画像を形成する。一方、Ｎ１、Ｎ３、Ｎ４のフィルタ素子ＣＦａを通過した第１、３、４の蛍光は、対応する撮像面Ｉ上に結像し、その画像信号により、発生元の腫瘍部分の画像を、患部の進行度に応じて色分けして形成することができる。更に、画像処理部１内の画像合成部が、青色成分を持つ生体の画像に腫瘍部分の画像を進行度毎に色分けして重畳するように画像処理を行う。これにより、診断の精度が向上する。
　図９は、フィルタ素子の配置の別な変形例を示す図である。図９のフィルタ素子の配置は、図７の変形例に対して、青色（Ｒ）の光を透過するフィルタ素子の代わりに、ベイヤ配列のフィルタ素子ＣＦｂ（対応する撮像面Ｉの画素毎にＲ、Ｇ、Ｂのフィルタ画素を配置したもの）を配置している。尚、ベイヤ配列のフィルタ素子が第１のフィルタ素子を構成し、Ｎ１～Ｎ４のフィルタ素子が第２のフィルタ素子を構成する。
　本変形例のカラーフィルタＣＦを用いた場合、ベイヤ配列のフィルタ素子ＣＦｂを有した撮像面Ｉ上の画像信号により赤色成分、緑色成分、青色成分を持つ２つの個眼像が形成されるので、画像処理部１内の画像合成部内の演算部２により、これらから生体全体のカラー画像を形成する。一方、Ｎ１、Ｎ３、Ｎ４のフィルタ素子ＣＦａを通過した第１、３、４の蛍光は、対応する撮像面Ｉ上に結像し、その画像信号により、発生元の腫瘍部分の画像を、患部の進行度に応じて色分けして形成することができる。更に、画像処理部１内の画像合成部が、生体のカラー画像に腫瘍部分の画像を進行度毎に色分けして重畳するように画像処理を行う。
　以下、本実施形態の撮像装置の好ましい態様についてまとめて説明する。
　前記第１のフィルタ素子は、赤、緑、青に対応した３種の透過波長帯域のものであることが好ましい。可視光領域を、赤色、緑色、青色の透過光の色が異なる第１のフィルタ素子を複数個設けることで、画素毎に異なるフィルタを設けた場合に生じる色補間が不要となり、画像の色再現性が向上する等、高品位なカラー画像を得る事が出来る。
　また、前記第１のフィルタ素子は、可視光領域のうち一部の帯域を透過波長帯域としたものであることが好ましい。蛍光像観察時には励起光のみによる照明となる場合もあり、この場合、被写体の全体画像を励起光の波長に対応したフィルタ素子を通した光のみのモノクロ画像にて形成すれば良いことになる。その結果、全体画像をカラーで形成するときに比べ、第２のフィルタ素子の種類を増やし、第２のフィルタ素子を有する個眼の数を増やすことができる。また、第２のフィルタ素子を有する個眼数が同じ場合には、個眼光学系の焦点距離を適宜最適化し、１個眼あたりの画素数を増やすことができ、より高解像な画像を得ることが可能になる。
　また、前記第１のフィルタ素子は、前記個眼光学系の像面における画素毎に赤、緑、青に対応した３種の透過波長帯域のものをベイヤ配列したものであることが好ましい。第１のフィルタ素子が個眼光学系の像面における画素毎に赤、緑、青に対応した３種の透過波長帯域のものをベイヤ配列したものの場合、少なくとも１つの第１のフィルタ素子を有する個眼像で被写体の全体像を形成できるから、残りのフィルタ素子を全て第２のフィルタ素子とすることで、検出する特定波長の数を増やすことができる。また、第２のフィルタ素子を有する個眼数が同じ場合には、個眼光学系の焦点距離を適宜最適化し、１個眼あたりの画素数を増やすことができ、より高解像な画像を得ることが可能になる。
　また、前記第２のフィルタ素子と、前記第１のフィルタ素子とは透過ピーク波長が異なることが好ましい。励起光を照射したときに腫瘍等から発生する蛍光は一般的に赤、緑、青とはピーク波長が異なる単色光であるので、この単色光のみを透過する透過波長帯域を前記第２のフィルタ素子が有していれば、かかる蛍光を光電変換領域で確実に捕捉することができる。
　また、前記第２のフィルタ素子の透過波長帯域は、半値幅５０ｎｍ以内であることが好ましい。第２のフィルタ素子として透過波長帯域の狭い光学バンドパスフィルタなどを用いることで、蛍光とは異なる不要な光が入射することが抑制され検出精度が大幅に向上する。
　また、前記透過波長帯域が同じフィルタ素子を有する個眼光学系が２つ以上配置されていることが好ましい。透過波長帯域が同じフィルタ素子を通過した光電変換領域からの画像信号に基づいて、被写体までの距離情報を得ることができるので、各被写体画像について精度良く視差補正を行える。また視差補正を行う際に、透過波長帯域が同じフィルタ素子を通過した被写体像同士での対応点探索が可能となる。なお透過波長帯域が同じフィルタ素子の数を増やすほど、精度や確度の高い視差補正が可能になる。
　視差の算出は一般的なテンプレートマッチング（ＳＳＤやＳＡＤなど）で行うことができる。透過波長帯域が同じ２つのフィルタ素子を通過した被写体光を受光した光電変換領域からの信号に基づいて算出した視差をもとに、複数の１次画像の位置合わせを行い、高解像度の２次画像を生成することができる。また、あらかじめ各個眼光学系の焦点距離、画像中心、レンズのひずみ係数、個眼光学系間の位置関係（並進、回転）の情報を求めておけば、これら係数と視差の値から、三角測量の原理により対象物までの測距が可能になる。これら係数の算出は一般的なステレオカメラのキャリブレーション手法（たとえばＺｈａｎｇの手法）によって算出しておけば良い。更に、距離情報を用いた３次元画像なども形成できるので、診断の際に被写体をモニタ上で回転させるなど処理も可能となり、患部を認識しやすくなる。
　また、前記透過波長帯域が同じフィルタ素子を有する個眼光学系は、垂直方向及び水平方向のいずれに対してもずれて配置されていることが好ましい。透過波長帯域が同じ２つ以上のフィルタ素子が、垂直方向及び水平方向のいずれに対してもずれて配置されていると、視差補正の際にオクルージョンの影響を受けにくくなり、対応点探索を行い易い。
　また、前記個眼光学系を構成するレンズを一体的に形成したアレイレンズを有することが好ましい。アレイレンズを用いることで、個眼光学系個々に設置する場合に比べ、手間がかからず高精度に設置できる。
　また、前記個眼光学系を構成するレンズを２枚以下とすることで、撮像装置の奥行きや径方向の寸法を抑え、小型化を維持することができる。
　次に、上述した実施形態に好適な実施例について説明する。以下に示す実施例において、個眼光学系は共通または、極めて微差となるので、１つのみ示して残りは省略する。ｆ：全系の焦点距離（ｍｍ）
Ｒ：曲率半径（ｍｍ）
ｄ：軸上面間隔（ｍｍ）
ｎｄ：レンズ材料のｄ線に対する屈折率
νｄ：レンズ材料のｄ線に対するアッベ数
　各実施例において、＊が付された面番号の面が非球面形状を有する面であり、非球面の形状は、面の頂点を原点とし、光軸方向にＸ軸をとり、光軸と垂直方向の高さをｈとして以下の「数１」で表す。
Figure JPOXMLDOC01-appb-M000001
 ただし、
Ａｉ：ｉ次の非球面係数
Ｒ　：基準曲率半径
Ｋ　：円錐定数
　実際のレンズ測定の場面においては、本願でいうレンズ面の曲率半径とは、レンズ中央近傍（具体的には、レンズ外径に対して１０％以内の中央領域）での形状測定値を最小自乗法でフィッティングした際の近似曲率半径の事を指す。また、例えば２次の非球面係数を使用した場合には、非球面定義式の基準曲率半径に２次の非球面係数も勘案した曲率半径も含める。
（実施例１）
　実施例１のレンズデータを表１に示す。なお、これ以降（表のレンズデータを含む）において、１０のべき乗数（たとえば２．５×１０-02）を、Ｅ（たとえば２．５Ｅ－０２）を用いて表すものとする。図１０は、実施例１の個眼光学系の断面図である。実施例１の個眼光学系は、物体側より順に、開口絞りＳと、レンズＬ１と、から構成される。Iは撮像面を示し、Ｆは図３、７、９のいずれかのカラーフィルタやＩＲカットフィルタ等を想定した平行平板を示し、ＣＧは、固体撮像素子のシールガラス等を想定した平行平板を示す。なお、カラーフィルタは個眼光学系より被写体側に配置されていてもよい。
［表１］
実施例1
(mm)
 
面番号(非球面)    R(mm)       d(mm)       nd            νd
物体                          300     
1(絞り)          ∞           0.05         
2                ∞           0.15        
3*               0.732        0.55        1.52640        53.8 
4*               -1.512       0.37         
5                ∞           0.11        1.51633        64.1 
6                ∞           0.04        
7                ∞           0.30        1.51633        64.1 
8                ∞           0.04        
像  

非球面係数 
       第3面              第4面  
K      1.041              7.476  
A4     2.2330E+00         2.4643E+00 
A6     -3.6465E+01        -5.5972E+00 
A8     3.1481E+02         1.0153E+02  
A10    -1.4512E+03        -2.5572E+02 
A12    2.4482E+03  
 
レンズの諸値 
焦点距離             1.02  
Fナンバー            2.87 
半画角（°）         38.5  
像高                 0.668 
レンズ全長           1.40 
バックフォーカス     0.71 
（実施例２）
　実施例２のレンズデータを表２に示す。図１１は、実施例２の個眼光学系の断面図である。実施例２の個眼光学系は、物体側より順に、レンズＬ１と、開口絞りＳと、レンズＬ２と、から構成される。Iは撮像面を示し、Ｆは図３、７、９のいずれかのカラーフィルタやＩＲカットフィルタ、固体撮像素子のシールガラス等を想定した平行平板を示す。なお、カラーフィルタが個眼光学系より被写体側に配置されている場合には、ＦはＩＲカットフィルタ、固体撮像素子のシールガラス等を想定した平行平板である。
［表２］
実施例2 
(mm)
 
面番号(非球面)    R(mm)        d(mm)       nd            νd
物体                           160     
1*                3.847        0.54        1.52640        59.4 
2*                0.853        0.16        
3(絞り)           ∞           0.05        
4                 ∞           0.05        
5*                53.935       0.67        1.52640        59.4 
6*                -0.578       1.08        
7                 ∞           0.40        1.51633        64.1 
8                 ∞           0.25        
像 
 
非球面係数 
       第1面           第2面           第5面           第6面   
K      -50.000         2.794           50.000          -0.865  
A4     8.4095E-01      3.7275E+00      1.1129E+00      -4.5836E-02
A6     -5.0702E-01     -1.2628E+00     6.7852E+00      -9.0472E-02
A8     -2.2368E-01     6.2702E+02      4.5888E+01      1.0255E+01
A10    4.1105E+00      -9.7143E+03     -5.9827E+02     -7.2750E+01
A12    -4.6716E+00     8.9154E+04      9.8736E+02      3.7902E+02
A14                                                    -4.0529E+02
 
レンズの諸値 
焦点距離             1.23 
Fナンバー            2.88 
半画角（°）         31.4  
像高                 0.668 
レンズ全長           3.20  
バックフォーカス     1.59  
 
（実施例３）
　実施例３のレンズデータを表３に示す。図１２は、実施例３の個眼光学系の断面図である。実施例３の個眼光学系は、物体側より順に、レンズＬ１と、開口絞りＳと、レンズＬ２と、から構成される。Iは撮像面を示し、Ｆは図３、７、９のいずれかのカラーフィルタやＩＲカットフィルタ、固体撮像素子のシールガラス等を想定した平行平板を示す。なお、カラーフィルタが個眼光学系より被写体側に配置されている場合には、ＦはＩＲカットフィルタ、固体撮像素子のシールガラス等を想定した平行平板である。
［表３］
実施例3 
 
面番号(非球面)     R(mm)       d(mm)       nd            νd
物体                           360     
1*                1.976        1.35        1.52640        59.4 
2*                0.935        0.27        
3(絞り)           ∞           0.05        
4                 ∞           0.11        
5*                -9.189       1.49        1.52640        59.4 
6*                -1.026       1.04        
7                 ∞           0.75        1.51633        64.1 
8                 ∞           1.32        
像 

非球面係数 
       第1面           第2面           第5面            第6面   
K      -9.954          1.114           -35.806          -0.782  
A4     1.7994E-01      1.7937E-01      -3.7846E-02     -3.0619E-02
A6     -1.1333E-01     -1.4396E-02     4.2808E-01      -1.8277E-02
A8     9.5434E-02      4.4188E+00      -1.5811E+00     -1.9428E-02
A10    -4.4365E-02     -2.0932E+01     7.2314E+00      4.0438E-02
A12    1.0602E-02      6.0028E+01      -1.1699E+01     -5.0337E-02

レンズの諸値 
焦点距離             2.74 
Fナンバー            2.83  
半画角（°）         29.4 
像高                 1.482 
レンズ全長           6.39 
バックフォーカス     2.86 
　本発明は、本明細書に記載の実施形態・実施例に限定されるものではなく、他の実施形態・変形例・実施例を含むことは、本明細書に記載された実施形態や実施例や技術思想から本分野の当業者にとって明らかである。
１　　　　　　画像処理部
２　　　　　　レンズ
３　　　　　　メモリー
４　　　　　　画像表示部
ＣＦ　　　　　カラーフィルタ
ＣＦａ　　　　フィルタ素子
ＣＦｂ　　　　ベイヤ配列のフィルタ素子
ＤＰ　　　　　合成画像表示装置
Ｆ　　　　　　ＩＲカットフィルタ
ＨＬＤ　　　　鏡枠
Ｉ　　　　　　撮像面
ＩＬ　　　　　個眼光学系
Ｉａ　　　　　光電変換領域
Ｌ１　　　　　レンズ
Ｌ２　　　　　レンズ
ＬＨ　　　　　複眼撮像光学系
ＬＵ　　　　　撮像装置
ＭＬ　　　　　合成画像
ＳＲ　　　　　固体撮像素子
ＳＴ　　　　　基板

Claims (12)

  1. 　光軸を互いに異ならせた複数の個眼光学系と、
    　前記個眼光学系の各々により形成された複数の被写体像を光電変換する光電変換領域を備えた固体撮像素子と、
    　前記個眼光学系と前記光電変換領域との間もしくは前記個眼光学系より被写体側に配置
    され、前記個眼光学系の各々に対応したカラーフィルタと、を有し、
    　前記カラーフィルタは、被写体全体の画像形成用の第１のフィルタ素子と、
    　前記第１のフィルタ素子の透過波長帯域より狭い透過波長帯域を有し、被写体の特定部分の画像形成用の第２のフィルタ素子と、を有することを特徴とする撮像装置。
  2. 　前記第１のフィルタ素子は、赤、緑、青に対応した３種の透過波長帯域のものである請求項１に記載の撮像装置。
  3. 　前記第１のフィルタ素子は、可視光領域のうち一部の帯域を透過波長帯域としたものである請求項１に記載の撮像装置。
  4. 　前記第１のフィルタ素子は、前記個眼光学系の像面における画素毎に赤、緑、青に対応した３種の透過波長帯域のものをベイヤ配列したものである請求項１に記載の撮像装置。
  5. 　前記第２のフィルタ素子と、前記第１のフィルタ素子とは透過ピーク波長が異なる請求項１～４のいずれかに記載の撮像装置。
  6. 　前記第２のフィルタ素子の透過波長帯域は、半値幅５０ｎｍ以内である請求項１～５のいずれかに記載の撮像装置。
  7. 　前記透過波長帯域が同じフィルタ素子を有する個眼光学系が２つ以上配置されている請求項１～６のいずれかに記載の撮像装置。
  8. 　前記透過波長帯域が同じフィルタ素子を有する個眼光学系は、垂直方向及び水平方向のいずれに対してもずれて配置されている請求項７に記載の撮像装置。
  9. 　前記個眼光学系を構成するレンズを一体的に形成したアレイレンズを有する請求項１～８のいずれかに記載の撮像装置。
  10. 　前記個眼光学系を構成するレンズは２枚以下である請求項１～９のいずれかに記載の撮像装置。
  11. 　請求項１～１０のいずれかに記載の撮像装置と、
    　前記固体撮像素子の前記第１のフィルタ素子に対応した光電変換領域から得られた画像
    信号から被写体の第１画像を再構成し、前記第２のフィルタ素子に対応した光電変換領域
    から得られた画像信号から被写体の第２画像を再構成して、更に前記第１画像と前記第２
    画像を重畳した合成画像を形成するように画像処理を行う画像処理部と、
    　前記画像処理部からの信号に基づいて、前記合成画像を表示する表示部とを有すること
    を特徴とする合成画像表示装置。
  12. 　前記画像処理部は、前記第１のフィルタ素子に対応した光電変換領域から得られた画像
    信号に含まれた被写体の距離情報に基づいて、前記合成した画像の任意の位置にピントを
    合わせた画像を形成するように画像処理を行う請求項１１に記載の合成画像表示装置。
PCT/JP2015/062501 2014-05-28 2015-04-24 撮像装置及び合成画像表示装置 WO2015182306A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014109718 2014-05-28
JP2014-109718 2014-05-28

Publications (1)

Publication Number Publication Date
WO2015182306A1 true WO2015182306A1 (ja) 2015-12-03

Family

ID=54698647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062501 WO2015182306A1 (ja) 2014-05-28 2015-04-24 撮像装置及び合成画像表示装置

Country Status (1)

Country Link
WO (1) WO2015182306A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630527A (zh) * 2020-05-08 2021-11-09 南昌欧菲光电技术有限公司 滤光组件、摄像模组、电子设备及拍摄方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム
JP2011092683A (ja) * 2009-09-29 2011-05-12 Fujifilm Corp 電子内視鏡装置
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2011523538A (ja) * 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
JP2011200534A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム及びカラー撮像素子
JP2012130656A (ja) * 2010-11-30 2012-07-12 Fujifilm Corp 放射線検出素子及び放射線画像撮影装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011523538A (ja) * 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
JP2010021791A (ja) * 2008-07-10 2010-01-28 Canon Inc 撮像装置、その画像処理方法及びプログラム
JP2011092683A (ja) * 2009-09-29 2011-05-12 Fujifilm Corp 電子内視鏡装置
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2011200534A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム及びカラー撮像素子
JP2012130656A (ja) * 2010-11-30 2012-07-12 Fujifilm Corp 放射線検出素子及び放射線画像撮影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630527A (zh) * 2020-05-08 2021-11-09 南昌欧菲光电技术有限公司 滤光组件、摄像模组、电子设备及拍摄方法

Similar Documents

Publication Publication Date Title
US10530976B2 (en) Endoscope probes and systems, and methods for use therewith
JP6010895B2 (ja) 撮像装置
JP6224228B2 (ja) 高補正リレーシステム
US20110292258A1 (en) Two sensor imaging systems
WO2014171284A1 (ja) 内視鏡装置
JP5406383B2 (ja) 撮像装置
US10098529B2 (en) Optical design of a light field otoscope
JP5943785B2 (ja) 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
JP7102432B2 (ja) 蛍光イメージングのための医用イメージングヘッドを用いた方法および装置
JP5224046B2 (ja) 画像処理装置、撮像装置および表示装置
JP2015060067A (ja) 撮像レンズ及び固体撮像装置
EP3162279A1 (en) Optical design of a light field otoscope
JP6027832B2 (ja) 撮像装置
JP2014164174A (ja) 固体撮像装置、携帯情報端末、および固体撮像システム
JP7449736B2 (ja) 医療用画像処理装置及び医療用観察システム
CA2941273C (en) Relay lens system for broadband imaging
JP2017131559A (ja) 医療用撮像装置、医療用画像取得システム及び内視鏡装置
US11051680B1 (en) Endoscope stereo imaging device
WO2015182306A1 (ja) 撮像装置及び合成画像表示装置
US7839428B2 (en) Spectral band separation (SBS) modules, and color camera modules with non-overlap spectral band color filter arrays (CFAs)
TW201525533A (zh) 彩色濾光器陣列及固態影像感測器
WO2015194410A1 (ja) 画像入力装置及び顕微鏡装置
US20140055562A1 (en) Endoscopic synthetic stereo imaging method and apparatus
JP7181294B2 (ja) 撮像ユニット、内視鏡および内視鏡システム
CN110623626A (zh) 用于二维腹腔镜的二维-三维成像转换器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15798864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15798864

Country of ref document: EP

Kind code of ref document: A1