WO2019234829A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2019234829A1
WO2019234829A1 PCT/JP2018/021590 JP2018021590W WO2019234829A1 WO 2019234829 A1 WO2019234829 A1 WO 2019234829A1 JP 2018021590 W JP2018021590 W JP 2018021590W WO 2019234829 A1 WO2019234829 A1 WO 2019234829A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination
light
deep
layer image
Prior art date
Application number
PCT/JP2018/021590
Other languages
English (en)
French (fr)
Inventor
松本　浩司
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020523887A priority Critical patent/JP7118147B2/ja
Priority to PCT/JP2018/021590 priority patent/WO2019234829A1/ja
Priority to CN201880093936.XA priority patent/CN112236067A/zh
Publication of WO2019234829A1 publication Critical patent/WO2019234829A1/ja
Priority to US17/108,205 priority patent/US11871906B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system.
  • the light generated from the illuminated object includes a plurality of types of components such as specular reflection light, diffuse reflection light, and scattered light.
  • a technology that separates the information on the surface of the object from the information on the inside by separating such components included in the image of the object by high-frequency pattern projection using structured illumination light having a striped light-dark pattern has been proposed (see, for example, Non-Patent Document 1).
  • Structured illumination light is also used in object shape measurement technology (see, for example, Patent Documents 1 and 2).
  • Patent Document 1 structured illumination light is generated using light interference
  • Patent Document 2 structured illumination light is generated by projecting a lattice pattern formed on a substrate.
  • Non-Patent Document 1 In order to apply the high-frequency pattern projection method of Non-Patent Document 1 to a small-diameter endoscope, it is necessary to reduce the size of the optical system. On the other hand, the spatial frequency of structured illumination light used in the high-frequency pattern projection method is higher than the spatial frequency of structured illumination light used in shape measurement. In the methods disclosed in Patent Documents 1 and 2, it is difficult to generate structured illumination light having a high spatial frequency while maintaining a high contrast and a high light amount.
  • Patent Document 1 in order to increase the spatial frequency of structured illumination light, it is necessary to refine the lattice pattern.
  • the contrast of the structured illumination light is lowered, and the size of the light emitting point of the light source needs to be reduced in order to maintain the contrast of the structured illumination light.
  • Patent Document 2 there is a problem that the contrast of interference fringes projected on the object surface is reduced in the vicinity, and the measurement accuracy is reduced. The reason for the decrease in contrast is that the two light fluxes that generate interference fringes do not overlap with the same intensity.
  • the present invention has been made in view of the above-described circumstances, and can provide a deep image that does not include noise based on specular light even when the contrast of the high-frequency pattern of illumination light is low.
  • An object is to provide a mirror system.
  • One aspect of the present invention is an illumination unit that irradiates a subject with illumination light, and the illumination light has a spatially non-uniform intensity distribution including a bright part and a dark part in a light beam cross section perpendicular to the optical axis;
  • a first imaging unit that acquires a first illumination image of the subject illuminated with illumination light, and a second imaging image of the subject that is illuminated with illumination light, are different from the first imaging unit.
  • a first deep layer image and a first surface layer image are created from the second imaging unit, the first illumination image, and a second deep layer image and a second surface layer image are created from the second illumination image.
  • the first deep image includes more information about the deep area of the subject than the first surface image
  • the second deep image includes more information about the deep area of the subject than the second surface image.
  • a processor, a pixel value of the first surface image, and the first value An endoscope system comprising a combination processing unit for creating a synthesized depth image by combining the second deep image and the first deep image based on the pixel values of the surface image.
  • specular reflected light specular light
  • scattered light emitted from the surface of the subject through scattering in the deep layer inside the subject.
  • the region corresponding to the dark portion includes a lot of information on the deep layer
  • the region corresponding to the bright portion includes a lot of information on the surface and the surface layer.
  • Information means the amount of light that is incident on a living tissue and is emitted from the living tissue after being subjected to modulation such as scattering or absorption by the living tissue or a structure inside the living tissue.
  • the separation processing unit creates a deep layer image including a lot of information on the deep layer of the subject based on the pixel value of the region corresponding to the dark part.
  • the separation processing unit creates a surface layer image including a lot of information on the surface and surface layer of the subject based on the pixel value of the region corresponding to the bright part.
  • the contrast of the illumination light is low, specular light may be generated in a dark area on the surface of the subject.
  • high-intensity noise based on the specular light is generated in the first deep image and the second deep image. May appear. Since the first imaging unit and the second imaging unit are arranged at different positions, the position of noise based on specular light differs between the first deep layer image and the second deep layer image.
  • the position of noise in the first deep layer image is the same as the position of specular light in the first surface layer image.
  • the position of noise in the second deep layer image is the same as the position of specular light in the second surface layer image. Therefore, the first deep layer image and the second deep layer image can be synthesized by the synthesis processing unit while excluding noise based on the pixel values of the first and second surface layer images. Thereby, even if the contrast of the high frequency pattern of illumination light is low, the synthetic
  • the subject is irradiated with the first illumination light, and the first illumination light has a spatially non-uniform intensity distribution including a bright part and a dark part in a light beam cross section perpendicular to the optical axis.
  • a space that illuminates the subject with the first illumination unit and the second illumination light is disposed at a position different from the first illumination unit, and the second illumination light includes a bright part and a dark part in a light beam cross section perpendicular to the optical axis.
  • a second illumination unit having a non-uniform intensity distribution, a first illumination image of the subject illuminated by the first illumination light, and a second illumination of the subject illuminated by the second illumination light
  • An imaging unit that acquires an illumination image; a first deep image and a first surface image from the first illumination image; a second deep image and a second surface image from the second illumination image;
  • the deep layer image has more information on the deep region of the subject than the first surface layer image.
  • the second deep layer image includes more information about the deep region of the subject than the second surface layer image, based on a separation processing unit, a pixel value of the first surface layer image, and a pixel value of the second surface layer image
  • An endoscope system including a synthesis processing unit that creates a synthesized deep image by synthesizing the first deep image and the second deep image.
  • the contrast of the illumination light when the contrast of the illumination light is low, specular light may be generated in a dark area on the surface of the subject. As a result, specular light is generated in the first deep image and the second deep image. High brightness noise may appear. Since the 1st illumination part and the 2nd illumination part are arrange
  • the position of noise in the first deep layer image is the same as the position of specular light in the first surface layer image.
  • the position of noise in the second deep layer image is the same as the position of specular light in the second surface layer image. Therefore, the first deep layer image and the second deep layer image can be synthesized by the synthesis processing unit while excluding noise based on the pixel values of the first and second surface layer images. Thereby, even if the contrast of the high frequency pattern of illumination light is low, the synthetic
  • the synthesis processing unit detects a noise region based on specular light in the first deep image based on a difference between pixel values of the first surface image and the second surface image, and the first The synthesized deep image may be created by synthesizing a corresponding region in the second deep image with a detected noise region in the deep image.
  • the position of the noise in the first deep image is the same as the position of the specular light in the first surface image
  • the pixel value of the first surface image is in the position of the specular light in the first surface image. Becomes significantly larger than the pixel value of the second surface image.
  • the separation depth between the surface layer image and the deep layer image depends on the width of the dark part on the subject.
  • the separation depth is a rough boundary between the depth of information on the surface layer included in the surface layer image and the depth of information on the deep layer included in the deep layer image.
  • the imaging apparatus includes a shooting distance measuring unit that measures a shooting distance between the imaging unit and the subject, and the intensity distribution changing unit is configured such that the intensity distribution of the illumination light on the subject is the imaging unit.
  • the period between the bright part and the dark part in the intensity distribution may be changed based on the photographing distance so as to be constant regardless of the distance to the subject.
  • the illuminating unit emits the illumination light so that a pattern of the bright part and the dark part on the subject is enlarged in proportion to a shooting distance between the imaging unit and the subject. It may be emitted as a divergent light beam. With this configuration, it is possible to change the width of the dark portion on the subject simply by changing the shooting distance.
  • the illumination light includes a plurality of lights having different wavelengths, and the plurality of lights has the intensity distribution in which a period between the bright part and the dark part decreases as the wavelength increases. It may be. Since the light that has entered the subject reaches a deeper position as the wavelength is longer, the internally scattered light of the light having a longer wavelength includes deeper layer information. The longer the wavelength, the smaller the period between the bright part and the dark part, thereby reducing the difference in information depth due to the difference in wavelength.
  • FIG. 1 is an overall configuration diagram of an endoscope system according to a first embodiment of the present invention. It is a figure which shows an example of the time change of the light-dark pattern of illumination light. It is a figure explaining the production method of the surface layer image and deep layer image by a separation process part. It is a flowchart which shows the image process by the image process part of the endoscope system of FIG. It is a figure explaining the relationship between the specular light, surface scattering light, internal scattering light which generate
  • the endoscope system 1 includes an endoscope 2 that observes the inside of the body, and a main body 3 that is connected to the proximal end of the endoscope 2.
  • the endoscope system 1 emits the illumination light L having a light / dark pattern from the distal end of the endoscope 2 toward the living tissue (subject) A in the body and the light / dark pattern of the illumination light L over time.
  • the intensity distribution changing unit 5 to be changed, the two imaging units 61 and 62 for acquiring the illumination image of the living tissue A illuminated with the illumination light L, and the surface layer image having information of different depths in the living tissue A And an image processing unit 7 for creating a deep image from the illumination image.
  • the illumination unit 4 generates illumination light L having a spatially non-uniform intensity distribution in a light beam cross section perpendicular to the optical axis, and emits the illumination light L toward the living tissue A.
  • the illumination light L is, for example, single wavelength light such as white light and infrared light, single color light such as red, green, and blue, or mixed light of a plurality of lights having different wavelengths.
  • the illumination light L generally has an intensity gradient in which the brightness gradually decreases from the center of the light beam toward the periphery. Apart from such an overall intensity gradient of the light beam cross section, the illumination light L has alternating high intensity bright portions and low intensity dark portions in the light beam cross section as shown in FIG. It has a light and dark pattern that repeats. In FIG. 2, a white area represents a bright part, and a black area represents a dark part.
  • the illumination unit 4 includes a light source 4a, a mask 4b, and a condenser lens 4c provided in the main body unit 3.
  • the illumination unit 4 includes an image guide fiber 4d and a projection lens 4e provided in the endoscope 2.
  • the light source 4a is a semiconductor light source such as an LED or an LD. Alternatively, the light source 4a may be an emission end of an optical fiber connected to a light source device (not shown) outside the main body 3.
  • the mask 4b is a liquid crystal element that can electrically control the light transmittance at each position in the incident region where the light from the light source 4a enters, and a light-transmitting region that transmits light and a light-blocking region that blocks light.
  • a projection pattern corresponding to the light and dark pattern is formed.
  • the light output from the light source 4a passes through the mask 4b and is given a bright / dark pattern to be generated as illumination light L.
  • the generated illumination light L needs to be reduced in starting size at the subject-side tip of the endoscope 2, and is therefore condensed by the condenser lens 4 c onto the incident end of the image guide fiber 4 d, and the endoscope 2.
  • the light guide pattern 4d is guided to the projection lens 4e provided at the tip of the projection lens 4e while being preserved, and emitted from the projection lens 4e as a divergent light beam.
  • the intensity distribution changing unit 5 is a control element that controls the light transmittance at each position in the incident region of the mask 4b. As shown in FIG. 2, the intensity distribution changing unit 5 changes the intensity distribution of the illumination light L with time so that the bright part and the dark part are switched in the cross section of the light beam. Thereby, a bright part and a dark part are projected in order at each position within the irradiation range of the illumination light L on the surface B of the living tissue A.
  • the first imaging unit 61 and the second imaging unit 62 are arranged at different positions.
  • the first imaging unit 61 includes an imaging lens 61a that is provided at the distal end of the endoscope 2 and collects light from the biological tissue A, and an imaging element 62b that captures an image of the biological tissue A formed by the imaging lens 61a. ing.
  • the first imaging unit 61 acquires two first illumination images of the living tissue A illuminated with the illumination light L by the imaging element 61b. The two first illumination images are transmitted from the image sensor 61b to the image processing unit 7.
  • the second imaging unit 62 includes an imaging lens 62a that is provided at the distal end of the endoscope 2 and collects light from the biological tissue A, and an imaging element 62b that captures an image of the biological tissue A formed by the imaging lens 62a. ing.
  • the second imaging unit 62 acquires two second illumination images of the living tissue A illuminated with the illumination light L by the imaging element 62b. The two second illumination images are transmitted from the image sensor 62b to the image processing unit 7.
  • the imaging element 61b performs imaging at two times when the illumination light L in which the bright part and the dark part are inverted to each other is irradiated on the living tissue A, thereby, as shown in FIG. Obtain an illumination image.
  • the two first illumination images are images in which the projection area of the bright part and the projection area of the dark part are inverted to each other, and the projection areas of the bright part and the projection areas of the dark part complement each other.
  • the white area represents the bright area projection area
  • the black area represents the dark area projection area.
  • the imaging device 62b acquires two second illumination images by performing imaging at two times when the living tissue A is irradiated with the illumination light L in which the bright part and the dark part are inverted from each other.
  • the operations of the intensity distribution changing unit 5 and the image sensors 61b and 62b are controlled by a control (not shown) so that the timing of changing the intensity distribution by the intensity distribution changing unit 5 and the timing of photographing by the image sensors 61b and 62b are synchronized with each other. Controlled by the device.
  • the image processing unit 7 includes a separation processing unit 71 and a composition processing unit 72 as functions.
  • FIG. 4 shows processing by the image processing unit 7.
  • the separation processing unit 71 creates a first surface layer image and a first deep layer image from the two first illumination images (step S1). For the pixels at each position of the two first illumination images, the intensity value Imax when the bright part is projected and the intensity value Imin when the dark part is projected are acquired.
  • the separation processing unit 71 calculates the intensity value Is of each pixel of the first surface image from the following formula (1), and creates a surface image having the intensity value Is.
  • the separation processing unit 71 calculates the intensity value Id of each pixel of the first deep image from the following equation (2), and creates a deep image having the intensity value Id.
  • Is Imax ⁇ Imin (1)
  • Id Imin ⁇ 2 (2)
  • the separation processing unit 71 creates a second surface image and a second deep image from the two second illumination images (step S2).
  • the biological tissue A which is a scatterer
  • the biological tissue A emits specularly reflected light (specular light) Lr, surface scattered light Ls, and Internal scattered light Ld is generated.
  • Reference symbols ⁇ and ⁇ indicate structures such as blood vessels existing in the living tissue A.
  • the specular light Lr is reflected light of the illumination light L specularly reflected by the surface B of the living tissue A, and is generated in the projection area of the bright part.
  • the surface scattered light Ls is scattered light of the illumination light L that is incident on the living tissue A from the projection area of the bright part, passes through the surface layer C while repeating scattering, and is emitted from the surface B.
  • the internal scattered light Ld is scattered light of the illumination light L that is incident on the living tissue A from the projection area of the bright part, passes through the deep layer D while repeating scattering, and is emitted from the surface B.
  • a part of the internal scattered light is emitted from the projection area of the bright part, and the other part is propagated to the projection area of the dark part and is emitted from the projection area of the dark part.
  • the intensity value Imin of the projection area of the dark part in the first and second illumination images is mainly based on the internal scattered light Ld and mainly includes information on the deep layer D.
  • the first and second deep layer images based on the intensity value Imin are images mainly including information on the deep layer D.
  • the intensity value Imax of the projection area of the bright part in the first and second illumination images is based on the specular light Lr, the surface scattered light Ls, and the internal scattered light Ld, and information on the surface B, the surface layer C, and the deep layer D. including. Therefore, the first and second surface images based on the intensity value Is are images that mainly include information on the surface B and the surface layer C from which information on the deep layer D is removed.
  • the imaging lens 61 a of the first imaging unit 61 and the imaging lens 62 a of the second imaging unit 62 are arranged at different positions on the distal end surface of the endoscope 2. Therefore, the specular light Lr generated at a certain position on the surface B of the living tissue A does not enter both the first imaging unit 61 and the second imaging unit 62. Therefore, the position of the specular light Lr in the first illumination image and the position of the specular light Lr in the second illumination image are different from each other, and as shown in FIG. 6, the position of the specular light Lr in the first surface image. And the position of the specular light Lr in the second surface image are also different from each other.
  • specular light Lr When the contrast between the bright part and the dark part of the illumination light L is low and the intensity of the dark part is not sufficiently low, specular light Lr may be generated even in the projection area of the dark part.
  • Information of the specular light Lr generated in the dark projection region is separated into a deep layer image. Accordingly, as shown in FIG. 6, high-intensity noise N based on the specular light Lr may appear in the deep layer image.
  • the position of the noise N in the first deep image is the same as the position of the specular light Lr in the first surface image
  • the position of the noise N in the second deep image is the position of the specular light Lr in the second surface image. It is the same as the position.
  • the composition processing unit 72 composes the first surface image and the second surface image to create a composite surface image. Further, the composition processing unit 72 composes the first deep image and the second deep image to create a composite deep image.
  • the composition processing unit 72 determines the specular light Lr in the first surface image and the first deep image based on the difference between the pixel values of the first surface image and the second surface image.
  • Noise N is detected (steps S3 and S4).
  • the surface layer image contains more information of the specular light Lr than the deep layer image. Accordingly, the specular light Lr can be accurately detected based on the pixel values of the first and second surface layer images.
  • the composition processing unit 72 calculates the absolute value
  • the position of the specular light Lr differs between the first surface image and the second surface image. Therefore, at the position of the specular light Lr, the absolute value
  • the composition processing unit 72 determines that the specular light Lr is not generated at the position of the pixel ij, and the pixel value Aij of the first surface layer image. Then, the pixel value Bij of the first deep layer image is selected as the pixel value Eij of the composite surface layer image and the pixel value Fij of the composite deep layer image, respectively (step S6).
  • the composition processing unit 72 compares the pixel value Aij with the pixel value Cij, so that the specular light Lr is It is determined whether the first surface layer image or the second surface layer image is generated (step S4).
  • the composition processing unit 72 selects the pixel value Cij of the second surface image as the pixel value Eij of the composite surface image, and the pixels of the second deep image The value Dij is selected as the pixel value Fij of the composite deep image (step S5).
  • the specular light Lr is generated in the second surface image, the pixel value Aij is smaller than Cij.
  • the composition processing unit 72 selects the pixel value Aij of the first surface image as the pixel value Eij of the composite surface image, and the pixels of the first deep image The value Bij is selected as the pixel value Fij of the composite deep image (step S6).
  • the specular light Lr region is removed from the first surface image, and the region corresponding to the specular light Lr region in the first surface image is selected from the second surface image. Then, a region selected from the second surface layer image is combined with the first surface layer image from which the region of the specular light Lr has been removed, thereby creating a combined surface layer image. Further, the noise N region is removed from the first deep layer image, and a region corresponding to the noise N region in the first deep layer image is selected from the second deep layer image. Then, the synthesized deep layer image is created by synthesizing the region selected from the second deep layer image with the first deep layer image from which the noise N region has been removed.
  • the biological tissue A illuminated by the illumination light L from the common illumination unit 4 is imaged by the two imaging units 61 and 62 arranged at different positions.
  • the first illumination image and the second illumination image with different positions of the specular light Lr are acquired.
  • a first deep image and a second deep image in which the positions of the noise N based on the specular light Lr are different from each other are created.
  • first and second surface layer images including specular light Lr at the same position as the noise N in the first and second deep layer images are created from the first and second illumination images, respectively.
  • FIG. 7A shows another example of the arrangement of the illumination unit 4 and the imaging units 61 and 62 on the distal end surface of the endoscope 2.
  • the first imaging unit 61 and the second imaging unit 62 may be disposed on both sides of the illumination unit 4.
  • the distance between the first imaging unit 61 and the illumination unit 4 and the distance between the second imaging unit 62 and the illumination unit 4 may be different from each other.
  • FIG. 7B shows an example of the arrangement of the illumination unit 4 and the three imaging units 61, 62, 63 on the distal end surface of the endoscope 2.
  • the specular light Lr is generated in any illumination image at any position by making the distances and directions of the three imaging units 61, 62, 63 with respect to the illumination unit 4 different from each other. It is possible to reliably obtain an illumination image that has not been performed, and to reliably create a composite deep image that does not include noise N.
  • the endoscope system 10 includes an endoscope 2 and a main body 3 as shown in FIG.
  • the endoscope system 10 includes two illumination units 41 and 42 that respectively emit illumination lights L1 and L2 from the distal end of the endoscope 2 toward a living tissue (subject) A in the body, and an intensity distribution changing unit 51. , 52, an imaging unit 6 that acquires an illumination image of the living tissue A illuminated by the illumination light L, and an image processing unit 7.
  • the 1st illumination part 41 and the 2nd illumination part 42 are arranged in a mutually different position.
  • the first illumination unit 41 includes a light source 41a, a mask 41b, a condenser lens 41c, an image guide fiber 41d, and a projection lens 41e.
  • the second illumination unit 42 includes a light source 42a, a mask 42b, a condenser lens 42c, an image guide fiber 42d, and a projection lens 42e.
  • the light sources 41a and 42a, the masks 41b and 42b, the condenser lenses 41c and 42c, the image guide fibers 41d and 42d, and the projection lenses 41e and 42e are the light source 4a, the mask 4b, the condenser lens 4c, the image guide fiber 4d, and the projection lens 4e. And are configured in the same manner.
  • the 1st illumination part 41 produces
  • the second illumination unit 42 generates the second illumination light L2 and irradiates the living tissue A with the second illumination light L2.
  • the first and second illumination lights L1 and L2 are the same as the illumination light L.
  • the 1st illumination part 41 and the 2nd illumination part 42 irradiate the biological tissue A with illumination light L1, L2 by time division.
  • the first intensity distribution changing unit 51 is a control element that controls the mask 41b, and changes the light / dark pattern of the first illumination light L1 over time.
  • the second intensity distribution changing unit 52 is a control element that controls the mask 42b, and changes the brightness / darkness pattern of the second illumination light L2 over time.
  • the imaging unit 6 includes an imaging lens 6a and an imaging element 6b.
  • the imaging lens 6a and the imaging element 6b are configured in the same manner as the imaging lens 61a and the imaging element 61b, respectively.
  • the imaging unit 6 acquires two first illumination images of the living tissue A illuminated with the first illumination light L1 by the imaging element 6b, and the second images of the living tissue A illuminated with the second illumination light L2. Two illumination images are acquired by the image sensor 6b.
  • the two first illumination images and the two second illumination images are transmitted from the image sensor 6b to the image processing unit 7.
  • the timing of emission of the illumination lights L1 and L2 from the illumination units 41 and 42, the timing of changing the intensity distribution by the intensity distribution changing units 51 and 52, and the timing of shooting by the imaging element 6b are synchronized with each other.
  • the operations of the illumination units 41 and 42, the intensity distribution changing units 51 and 52, and the image sensor 6b are controlled by the control device.
  • the 1st illumination part 41 and the 2nd illumination part 42 are arrange
  • the separation processing unit 71 creates a first surface layer image and a first deep layer image from two first illumination images, and creates a second surface layer image and two surface illumination images from the two second illumination images. A second deep image is created.
  • the composition processing unit 72 creates a composite surface layer image from the first surface layer image and the second surface layer image, and creates a composite deep layer image from the first deep layer image and the second deep layer image.
  • the common imaging unit 6 images the living tissue A illuminated by the illumination lights L1 and L2 from the two illumination units 41 and 42 arranged at different positions.
  • the first illumination image and the second illumination image in which the positions of the specular light Lr are different from each other are acquired. Therefore, as in the first embodiment, when the contrast of the high-frequency pattern of the illumination light L is low, the noise N generated in the first and second deep layer images is based on the pixel values of the first and second surface layer images. Therefore, there is an advantage that the synthesized deep image from which the noise N is accurately detected and the noise N is removed can be synthesized from the first and second deep images.
  • FIG. 9A shows another example of the arrangement of the illumination units 41 and 42 and the imaging unit 6 on the distal end surface of the endoscope 2.
  • the first illumination unit 41 and the second illumination unit 42 may be disposed on both sides of the imaging unit 6.
  • the distance between the 1st illumination part 41 and the imaging part 6 and the distance between the 2nd illumination part 42 and the imaging part 6 may mutually differ.
  • FIG. 9B shows an example of the arrangement of the three illumination units 41, 42, 43 and the imaging unit 6 on the distal end surface of the endoscope 2.
  • specular light Lr is generated in any illumination image at any position by making the distances and directions of the three illumination units 41, 42, and 43 with respect to the imaging unit 6 different from each other. It is possible to reliably obtain an illumination image that has not been performed, and to reliably create a composite deep image that does not include noise N.
  • the illumination units 4, 41, and 42 illuminate the living tissue A with the illumination lights L, L1, and L2 having a striped intensity distribution.
  • the intensity distribution patterns of L1 and L2 are not limited to this, and may be other distributions in which a bright part and a dark part are spatially repeated.
  • the intensity distribution of the illumination lights L, L1, and L2 may be a checkered pattern, dots, or random dots.
  • the illuminating units 4, 41, 42 generate the illumination lights L, L1, L2 having bright and dark patterns by the liquid crystal elements 4b, 41b, 42b, and the intensity distribution changing units 5, 51. , 52 change the light / dark pattern by controlling the liquid crystal elements 4b, 41b, 42b, but the configurations of the illumination units 4, 41, 42 and the intensity distribution changing units 5, 51, 52 are limited to this. It is not something.
  • the illumination units 4, 41, and 42 use interference fringes of two laser beams as a light / dark pattern, and the intensity distribution changing units 5, 51, and 52 change one optical path length of the two laser beams.
  • the position of the interference fringes may be shifted in a direction orthogonal to the optical axis of the illumination light.
  • the illumination units 4, 41, and 42 form light and dark patterns on the surface B of the biological tissue A like a shadow picture by transmitting light through a mask on which a projection pattern corresponding to the light and dark patterns is formed. Also good.
  • the intensity distribution changing units 5, 51, and 52 change the intensity distribution over time by relatively moving the mask and the light emitting unit that emits light toward the mask in the width direction of the bright part and the dark part.
  • the intensity distribution changing units 5, 51, and 52 change the intensity distribution of the illumination lights L, L1, and L2 between two light and dark patterns in which the bright part and the dark part are inverted from each other. It may be changed continuously.
  • the imaging units 61, 62, and 6 perform shooting at three or more times at which the positions of the bright part and the dark part are different from each other, and the projection area of the bright part and the projection area of the dark part Three or more illumination images having different positions may be acquired.
  • the separation processing unit 71 may create a surface layer image and a deep layer image from three or more illumination images. In this case, since three or more intensity values are obtained for the pixels at each position, the intensity values Is and Id are calculated using the maximum intensity value as Imax and the minimum intensity value as Imin.
  • the light / dark pattern projected on the surface B of the biological tissue A is enlarged in proportion to the imaging distance between the biological tissue A and the imaging units 61, 62, 6.
  • the illuminating units 4, 41, 42 emit the diverging light beams L, L 1, L 2 toward the living tissue A.
  • the separation depth between the surface layer image and the deep layer image depends on the width Wd of the dark part on the surface B of the living tissue A.
  • the separation depth is a rough boundary between the depth of information included in the surface layer image and the depth of information included in the deep layer image.
  • the greater the dark portion width Wd the deeper the separation depth and the deeper layer image in which information at deeper positions is emphasized. Therefore, by changing the imaging distance and enlarging or reducing the light and dark pattern on the surface B of the living tissue A, it is possible to acquire a deep image in which information of different depths is emphasized.
  • an imaging distance measuring unit that measures an imaging distance between the living tissue A and the imaging units 6, 61, 62 is further provided, and the intensity distribution changing units 5, 51, 52 are The spatial relationship between the bright part and the dark part in the light / dark pattern based on the photographing distance so that the spatial period between the bright part and the dark part on the surface B of the biological tissue A is maintained constant regardless of the photographing distance. The period may be adjusted. By doing so, it is possible to create a synthesized deep image including information of a predetermined depth regardless of the shooting distance.
  • the photographing distance measuring unit any known means that can measure the photographing distance without contacting the living tissue A can be employed.
  • the illuminating units 4, 41, and 42 may illuminate the living tissue A with the illumination lights L, L1, and L2 configured from a plurality of lights having different wavelengths.
  • the illumination lights L, L1, and L2 may be white light in which three lights of red, green, and blue are mixed.
  • the intensity distribution of each light is varied according to the wavelength so that the longer the wavelength, the shorter the period between the bright part and the dark part. May be.
  • the light is more strongly scattered by the scatterer as the wavelength is shorter. Therefore, it is difficult for blue light to reach the deep layer D of the living tissue A compared to red light, and information included in the internally scattered light of blue light is information at a shallower position than the internally scattered light of red light. Therefore, the longer the wavelength, the smaller the period between the bright and dark parts, so that all the internal scattered light of red, green and blue light has the same depth information. It is possible to control the depth of information included in the.

Abstract

内視鏡システム（１）は、空間的に非一様な強度分布を有する照明光を被写体に照射する照明部（４）と、相互に異なる位置に配置され、照明光で照明されている被写体の第１照明画像および第２照明画像をそれぞれ取得する第１撮像部（６１）および第２撮像部（６２）と、第１照明画像から第１深層画像および第１表層画像を作成し、第２照明画像から第２深層画像および第２表層画像を作成する分離処理部（７１）と、第１および第２表層画像の画素値に基づいて第１深層画像と第２深層画像とを合成することによって合成深層画像を作成する合成処理部（７２）とを備える。

Description

内視鏡システム
　本発明は、内視鏡システムに関するものである。
　照明された物体から生じる光には、鏡面反射光、拡散反射光、散乱光等の複数種類の成分が含まれる。物体の画像に含まれるこのような成分を、縞状の明暗パターンを有する構造化照明光を用いた高周波パターン投影法によって分離することで、物体の表面の情報と内部の情報とを分離する技術が提案されている（例えば、非特許文献１参照。）。
　構造化照明光は、物体の形状計測技術においても使用されている（例えば、特許文献１および２参照。）。特許文献１では、光の干渉を利用して構造化照明光を生成しており、特許文献２では、基板に形成された格子パターンの投影によって構造化照明光を生成している。
高谷剛志、外３名、「多重重み付け計測による反射・散乱光の分解」、第１４回画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）、２０１１年７月
特開２０１６－２００４１８号公報 特開２０１６－１９８３０４号公報
　非特許文献１の高周波パターン投影法を細径の内視鏡に適用するためには、光学系の小型化が必要となる。一方、高周波パターン投影法で使用される構造化照明光の空間周波数は、形状計測で使用される構造化照明光の空間周波数よりも高い。特許文献１，２に開示されている方法では、高コントラストと高光量を維持しながら高空間周波数の構造化照明光を生成することが困難である。
　具体的には、特許文献１の場合、構造化照明光の空間周波数を高めるためには、格子パターンを微細化する必要がある。格子パターンを微細化すると構造化照明光のコントラストが低下し、構造化照明光のコントラストを維持するためには光源の発光点のサイズを小さくする必要がある。その結果、構造化照明光の十分な光量を確保することが難しく、観察において十分な光量を求められる内視鏡システムへの適用には不適である。
　特許文献２の場合、物体表面に投影される干渉縞のコントラストが周辺で低下し、測定精度が低下してしまうという問題がある。コントラストの低下の理由は、干渉縞を生成する２つの光束が同一の強度で重ならないためである。
　物体に投影される明暗パターンのコントラストが低い場合、物体表面で発生したスペキュラ光に基づく高輝度のノイズが、物体の深層の情報を多く含む深層画像に表れるという問題がある。すなわち、暗部において強度を有する低コントラストの構造化照明光が物体に照射されると、暗部の照射位置においてスペキュラ光が発生する。暗部の照射位置において発生したスペキュラ光の情報は、物体の深層の情報として分離される。
　本発明は、上述した事情に鑑みてなされたものであって、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない深層画像を提供することができる内視鏡システムを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像が前記第１表層画像よりも前記被写体の深層領域の情報を多く含み、前記第２深層画像が前記第２表層画像よりも前記被写体の深層領域の情報を多く含む、分離処理部と、前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システムである。
　本態様によれば、散乱体である被写体に照明光が照射されたときに、被写体の表面において鏡面反射された鏡面反射光（スペキュラ光）と、被写体内部の表層での散乱を経て被写体の表面から射出された表面散乱光と、被写体内部の深層での散乱を経て被写体の表面から射出された内部散乱光とが生じる。照明部から空間的に非一様な強度分布を有する照明光を被写体に照射することで、内部散乱光がスペキュラ光および表面散乱光とは空間的に分離される。すなわち、明部ではスペキュラ光、表面散乱光および内部散乱光が生じるのに対し、暗部では、明部から暗部まで回り込んだ内部散乱光が支配的に生じる。
　したがって、撮像部によって取得された照明画像内において、暗部に対応する領域は深層の情報を多く含み、明部に対応する領域は表面および表層の情報を多く含む。情報とは、生体組織に入射し、生体組織やその内部の構造物によって散乱、吸収などの変調を受けて生体組織から射出される光の光量などを意味する。分離処理部は、暗部に対応する領域の画素値に基づいて、被写体の深層の情報を多く含む深層画像を作成する。また、分離処理部は、明部に対応する領域の画素値に基づいて、被写体の表面および表層の情報を多く含む表層画像を作成する。
　照明光のコントラストが低い場合、被写体の表面上の暗部の領域においてスペキュラ光が発生することがあり、その結果、第１深層画像および第２深層画像内に、スペキュラ光に基づく高輝度のノイズが表れることがある。第１撮像部および第２撮像部は相互に異なる位置に配置されているので、スペキュラ光に基づくノイズの位置は第１深層画像と第２深層画像との間で異なる。
　第１深層画像内のノイズの位置は、第１表層画像内のスペキュラ光の位置と同一である。第２深層画像内のノイズの位置は、第２表層画像内のスペキュラ光の位置と同一である。したがって、第１および第２表層画像の画素値に基づいてノイズを除外しながら第１深層画像と第２深層画像とを合成処理部によって合成することができる。これにより、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない合成深層画像を提供することができる。
　本発明の他の態様は、第１照明光を被写体に照射し、前記第１照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第１照明部と、第２照明光を被写体に照射し、前記第１照明部とは異なる位置に配置され、前記第２照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第２照明部と、前記第１照明光で照明されている前記被写体の第１照明画像および前記第２照明光で照明されている前記被写体の第２照明画像を取得する撮像部と、前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像が前記第１表層画像よりも前記被写体の深層領域の情報を多く含み、前記第２深層画像が前記第２表層画像よりも前記被写体の深層領域の情報を多く含む、分離処理部と、前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システムである。
　本態様によれば、照明光のコントラストが低い場合、被写体の表面上の暗部の領域においてスペキュラ光が発生することがあり、その結果、第１深層画像および第２深層画像内に、スペキュラ光に基づく高輝度のノイズが表れることがある。第１照明部および第２照明部は相互に異なる位置に配置されているので、スペキュラ光に基づくノイズの位置は第１深層画像と第２深層画像との間で異なる。
　第１深層画像内のノイズの位置は、第１表層画像内のスペキュラ光の位置と同一である。第２深層画像内のノイズの位置は、第２表層画像内のスペキュラ光の位置と同一である。したがって、第１および第２表層画像の画素値に基づいてノイズを除外しながら第１深層画像と第２深層画像とを合成処理部によって合成することができる。これにより、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない合成深層画像を提供することができる。
　上記態様においては、前記合成処理部が、前記第１深層画像内のスペキュラ光に基づくノイズ領域を前記第１表層画像および前記第２表層画像の画素値の差分に基づいて検出し、前記第１深層画像内の検出されたノイズ領域に前記第２深層画像内の対応する領域を合成することによって、前記合成深層画像を作成してもよい。
　上記のように、第１深層画像内のノイズの位置は、第１表層画像内のスペキュラ光の位置と同一であり、第１表層画像内のスペキュラ光の位置では、第１表層画像の画素値が第２表層画像の画素値よりも顕著に大きくなる。したがって、第１表層画像と第２表層画像の画素値の差分に基づいて、第１深層画像内のノイズ領域を検出することができる。そして、第１深層画像内のノイズ領域に第２深層画像内の対応する領域を合成することによって、ノイズが除外された合成深層画像を作成することができる。
　上記態様においては、前記強度分布における前記明部と前記暗部との周期を変更する強度分布変更部を備えていてもよい。
　表層画像と深層画像との間の分離深さは、被写体上における暗部の幅に依存する。分離深さとは、表層画像に含まれる表層の情報の深さと、深層画像に含まれる深層の情報の深さとの間の大まかな境目である。強度分布変更部によって被写体上での暗部の幅を変更することによって、所望の深さの情報が強調された深層画像が作成されるように分離深さをを制御することができる。
　上記態様においては、前記撮像部と前記被写体との間の撮影距離を計測する撮影距離計測部を備え、前記強度分布変更部が、前記被写体上での前記照明光の強度分布が前記撮像部と前記被写体との間の距離に依らずに一定となるように、前記撮影距離に基づいて前記強度分布における前記明部と前記暗部との周期を変更してもよい。
　この構成によって、撮影距離に依らずに、一定の深さの情報を含む深層画像を作成することができる。
　上記態様においては、前記照明部が、前記撮像部と前記被写体との間の撮影距離に比例して前記被写体上での前記明部および前記暗部のパターンが拡大されるように、前記照明光を発散光束として射出してもよい。
　この構成によって、撮影距離を変更するだけで被写体上での暗部の幅を変更させることができる。
　上記態様においては、前記照明光が、互いに異なる波長を有する複数の光からなり、該複数の光は、波長が長い程、前記明部と前記暗部との周期が小さくなる前記強度分布を有していてもよい。
　被写体内に入射した光は、波長が長い程、深い位置まで到達するので、より長い波長の光の内部散乱光は、より深い層の情報を含む。波長が長い程、明部と暗部との周期を小さくすることによって、波長の違いによる情報の深さの違いを低減することができる。
　本発明によれば、照明光の高周波パターンのコントラストが低い状態であっても、スペキュラ光に基づくノイズを含まない深層画像を提供することができるという効果を奏する。
本発明の第１の実施形態に係る内視鏡システムの全体構成図である。 照明光の明暗パターンの時間変化の一例を示す図である。 分離処理部による表層画像および深層画像の作成方法を説明する図である。 図１の内視鏡システムの画像処理部による画像処理を示すフローチャートである。 照明光の照射によって生体組織で発生するスペキュラ光、表面散乱光および内部散乱光と、これらの発生位置との関係を説明する図である。 合成処理部による合成表層画像および合成深層画像の作成方法を説明する図である。 内視鏡の先端面を正面から見たときの、照明部および２つの撮像部の配置の他の例を示す図である。 内視鏡の先端面を正面から見たときの、照明部および３つの撮像部の配置の一例を示す図である。 本発明の第２の実施形態に係る内視鏡システムの全体構成図である。 内視鏡の先端面を正面から見たときの、２つの照明部および撮像部の配置の他の例を示す図である。 内視鏡の先端面を正面から見たときの、３つの照明部および撮像部の配置の一例を示す図である。
（第１の実施形態）
　本発明の第１の実施形態に係る内視鏡システムについて図面を参照して説明する。
　本実施形態に係る内視鏡システム１は、図１に示されるように、体内を観察する内視鏡２と、内視鏡２の基端に接続された本体部３とを備えている。
　また、内視鏡システム１は、明暗パターンを有する照明光Ｌを内視鏡２の先端から体内の生体組織（被写体）Ａに向けて射出する照明部４と、照明光Ｌの明暗パターンを時間変化させる強度分布変更部５と、照明光Ｌで照明されている生体組織Ａの照明画像を取得する２つの撮像部６１，６２と、生体組織Ａ内の互いに異なる深さの情報を有する表層画像および深層画像を照明画像から作成する画像処理部７とを備えている。
　照明部４は、光軸に垂直な光束断面において空間的に非一様な強度分布を有する照明光Ｌを生成し、照明光Ｌを生体組織Ａに向けて射出する。照明光Ｌは、例えば、白色光、赤外光等の単波長光、赤、緑、青等の単色光、または、波長が異なる複数の光の混合光である。照明光Ｌは、一般に、光束の中心から周縁に向かって明るさが漸次低下する強度の勾配を有する。このような光束断面の全体的な強度勾配とは別に、照明光Ｌは、図２に示されるように、光束断面において、高強度の明部と該明部よりも低強度の暗部とが交互に繰り返される明暗パターンを有する。図２において、白い領域は明部を表し、黒い領域は暗部を表す。
　照明部４は、本体部３に設けられた光源４ａ、マスク４ｂおよび集光レンズ４ｃを備えている。また、照明部４は、内視鏡２に設けられたイメージガイドファイバ４ｄおよび投影レンズ４ｅを備えている。
　光源４ａは、例えば、ＬＥＤまたはＬＤのような半導体光源である。あるいは、光源４ａは、本体部３の外部の光源装置（図示略）に接続された光ファイバの射出端であってもよい。
　マスク４ｂは、光源４ａからの光が入射する入射領域内の各位置の光透過率を電気的に制御することができる液晶素子であり、光を透過させる透光領域と光を遮断する遮光領域とからなり明暗パターンに対応する投影パターンが形成されている。光源４ａから出力された光は、マスク４ｂを透過することで明暗パターンが与えられて照明光Ｌに生成される。生成された照明光Ｌは、内視鏡２の被写体側の先端部において起点サイズを小さくする必要があるため、集光レンズ４ｃによってイメージガイドファイバ４ｄの入射端に集光され、内視鏡２の先端に設けられた投影レンズ４ｅまで明暗パターンを保存しながらイメージガイドファイバ４ｄによって導光され、投影レンズ４ｅから発散光束として射出される。
　強度分布変更部５は、マスク４ｂの入射領域内の各位置の光透過率を制御する制御素子である。強度分布変更部５は、図２に示されるように、光束断面において明部と暗部とが入れ替わるように照明光Ｌの強度分布を時間変化させる。これにより、生体組織Ａの表面Ｂ上の照明光Ｌの照射範囲内の各位置には、明部および暗部が順番に投影されるようになっている。
　第１撮像部６１および第２撮像部６２は、相互に異なる位置に配置されている。
　第１撮像部６１は、内視鏡２の先端に設けられ生体組織Ａからの光を集める撮像レンズ６１ａと、撮像レンズ６１ａによって形成された生体組織Ａの像を撮影する撮像素子６２ｂとを備えている。第１撮像部６１は、照明光Ｌで照明された生体組織Ａの２枚の第１照明画像を撮像素子６１ｂによって取得する。２枚の第１照明画像は、撮像素子６１ｂから画像処理部７に送信される。
　第２撮像部６２は、内視鏡２の先端に設けられ生体組織Ａからの光を集める撮像レンズ６２ａと、撮像レンズ６２ａによって形成された生体組織Ａの像を撮影する撮像素子６２ｂとを備えている。第２撮像部６２は、照明光Ｌで照明された生体組織Ａの２枚の第２照明画像を撮像素子６２ｂによって取得する。２枚の第２照明画像は、撮像素子６２ｂから画像処理部７に送信される。
　ここで、生体組織Ａに照射される照明光Ｌの強度分布は、図２に示されるように強度分布変更部５によって時間変化する。撮像素子６１ｂは、明部と暗部とが相互に反転した照明光Ｌが生体組織Ａに照射される２つの時刻で撮影を実行することによって、図３に示されるように、２枚の第１照明画像を取得する。２枚の第１照明画像は、明部の投影領域と暗部の投影領域とが相互に反転し、明部の投影領域同士および暗部の投影領域同士が補完し合う画像である。図３の第１照明画像において、白い領域は明部の投影領域を表し、黒い領域は暗部の投影領域を表す。同様に、撮像素子６２ｂは、明部と暗部とが相互に反転した照明光Ｌが生体組織Ａに照射される２つの時刻で撮影を実行することによって、２枚の第２照明画像を取得する。したがって、強度分布変更部５による強度分布の変更のタイミングと撮像素子６１ｂ，６２ｂによる撮影のタイミングとが互いに同期するように、強度分布変更部５および撮像素子６１ｂ，６２ｂの動作は、図示しない制御装置によって制御される。
　画像処理部７は、分離処理部７１と、合成処理部７２とを機能として備えている。図４は、画像処理部７による処理を示している。
　分離処理部７１は、図３に示されるように、２枚の第１照明画像から第１表層画像および第１深層画像を作成する（ステップＳ１）。２枚の第１照明画像の各位置の画素について、明部が投影されているときの強度値Ｉｍａｘと、暗部が投影されているときの強度値Ｉｍｉｎとが取得される。分離処理部７１は、下式（１）から第１表層画像の各画素の強度値Ｉｓを算出し、強度値Ｉｓを有する表層画像を作成する。また、分離処理部７１は、下式（２）から第１深層画像の各画素の強度値Ｉｄを算出し、強度値Ｉｄを有する深層画像を作成する。
　Ｉｓ＝Ｉｍａｘ－Ｉｍｉｎ　　　…（１）
　Ｉｄ＝Ｉｍｉｎ×２　　　…（２）
　同様にして、分離処理部７１は、２枚の第２照明画像から第２表層画像および第２深層画像を作成する（ステップＳ２）。
　図５に示されるように、散乱体である生体組織Ａに明暗パターンを有する照明光Ｌが照射されたときに、生体組織Ａからは、鏡面反射光（スペキュラ光）Ｌｒ、表面散乱光Ｌｓおよび内部散乱光Ｌｄが発生する。符号α，βは、生体組織Ａ内に存在する血管のような構造を示している。
　スペキュラ光Ｌｒは、生体組織Ａの表面Ｂで鏡面反射された照明光Ｌの反射光であり、明部の投影領域において発生する。
　表面散乱光Ｌｓは、明部の投影領域から生体組織Ａ内に入射し、散乱を繰り返しながら表層Ｃを通過し、表面Ｂから射出された照明光Ｌの散乱光である。表面散乱光のほとんどは、明部の投影領域から射出される。
　内部散乱光Ｌｄは、明部の投影領域から生体組織Ａ内に入射し、散乱を繰り返しながら深層Ｄを通過し、表面Ｂから射出された照明光Ｌの散乱光である。内部散乱光の一部は明部の投影領域から射出され、他の部分は暗部の投影領域まで伝播して暗部の投影領域から射出される。
　すなわち、第１および第２照明画像内の暗部の投影領域の強度値Ｉｍｉｎは、主に内部散乱光Ｌｄに基づいており、深層Ｄの情報を主に含む。したがって、強度値Ｉｍｉｎに基づく第１および第２深層画像は、深層Ｄの情報を主に含む画像である。一方、第１および第２照明画像内の明部の投影領域の強度値Ｉｍａｘは、スペキュラ光Ｌｒ、表面散乱光Ｌｓおよび内部散乱光Ｌｄに基づいており、表面Ｂ、表層Ｃおよび深層Ｄの情報を含む。したがって、強度値Ｉｓに基づく第１および第２表層画像は、深層Ｄの情報が除去され表面Ｂおよび表層Ｃの情報を主に含む画像である。
　ここで、第１撮像部６１の撮像レンズ６１ａおよび第２撮像部６２の撮像レンズ６２ａは、内視鏡２の先端面上の相互に異なる位置に配置されている。そのため、生体組織Ａの表面Ｂ上のある位置で発生したスペキュラ光Ｌｒは、第１撮像部６１および第２撮像部６２の両方に入射することはない。したがって、第１照明画像内のスペキュラ光Ｌｒの位置と第２照明画像内のスペキュラ光Ｌｒの位置は、相互に異なり、図６に示されるように、第１表層画像内のスペキュラ光Ｌｒの位置と第２表層画像内のスペキュラ光Ｌｒの位置も、相互に異なる。
　照明光Ｌの明部と暗部との間のコントラストが低く暗部の強度が十分に低くない場合、暗部の投影領域においてもスペキュラ光Ｌｒが発生することがある。暗部の投影領域で発生したスペキュラ光Ｌｒの情報は深層画像に分離される。したがって、図６に示されるように、深層画像に、スペキュラ光Ｌｒに基づく高輝度のノイズＮが表れることがある。第１深層画像内のノイズＮの位置は、第１表層画像内のスペキュラ光Ｌｒの位置と同一であり、第２深層画像内のノイズＮの位置は、第２表層画像内のスペキュラ光Ｌｒの位置と同一である。
　合成処理部７２は、図６に示されるように、第１表層画像と第２表層画像とを合成し合成表層画像を作成する。また、合成処理部７２は、第１深層画像と第２深層画像とを合成し合成深層画像を作成する。
　図４に示されるように、まず、合成処理部７２は、第１表層画像と第２表層画像の画素値の差分に基づいて、第１表層画像内のスペキュラ光Ｌｒおよび第１深層画像内のノイズＮを検出する（ステップＳ３，Ｓ４）。表層画像は、深層画像に比べてスペキュラ光Ｌｒの情報を多く含む。したがって、第１および第２表層画像の画素値に基づいて、スペキュラ光Ｌｒを正確に検出することができる。
　具体的には、合成処理部７２は、第１表層画像および第２表層画像の対応する画素ｉｊの画素値Ａｉｊ，Ｃｉｊの差分の絶対値｜Ａｉｊ－Ｃｉｊ｜を算出し、絶対値｜Ａｉｊ－Ｃｉｊ｜を所定の閾値Ｔｈと比較する（ステップＳ３）。上述したように、スペキュラ光Ｌｒの位置は第１表層画像と第２表層画像との間で異なる。したがって、スペキュラ光Ｌｒの位置では、第１表層画像の画素値Ａｉｊと第２表層画像の画素値Ｃｉｊとの差分の絶対値｜Ａｉｊ－Ｃｉｊ｜が所定の閾値Ｔｈよりも大きくなる。
　絶対値が所定の閾値Ｔｈ以下である場合（ステップＳ３のＮＯ）、合成処理部７２は、その画素ｉｊの位置ではスペキュラ光Ｌｒが発生していないと判断し、第１表層画像の画素値Ａｉｊおよび第１深層画像の画素値Ｂｉｊを合成表層画像の画素値Ｅｉｊおよび合成深層画像の画素値Ｆｉｊとしてそれぞれ選択する（ステップＳ６）。
　一方、絶対値｜Ａｉｊ－Ｃｉｊ｜が所定の閾値Ｔｈよりも大きい場合（ステップＳ３のＹＥＳ）、合成処理部７２は、画素値Ａｉｊと画素値Ｃｉｊとを比較することによって、スペキュラ光Ｌｒが第１表層画像および第２表層画像のいずれで発生しているかを判断する（ステップＳ４）。
　スペキュラ光Ｌｒが第１表層画像内に発生している場合、画素値Ａｉｊが画素値Ｃｉｊよりも大きくなる。合成処理部７２は、画素値Ａｉｊが画素値Ｃｉｊよりも大きい場合（ステップＳ４のＹＥＳ）、第２表層画像の画素値Ｃｉｊを合成表層画像の画素値Ｅｉｊとして選択し、第２深層画像の画素値Ｄｉｊを合成深層画像の画素値Ｆｉｊとして選択する（ステップＳ５）。
　一方、スペキュラ光Ｌｒが第２表層画像内に発生している場合、画素値ＡｉｊがＣｉｊよりも小さくなる。合成処理部７２は、画素値Ａｉｊが画素値Ｃｉｊよりも小さい場合（ステップＳ４のＮＯ）、第１表層画像の画素値Ａｉｊを合成表層画像の画素値Ｅｉｊとして選択し、第１深層画像の画素値Ｂｉｊを合成深層画像の画素値Ｆｉｊとして選択する（ステップＳ６）。
　以上のステップＳ４～Ｓ６によって、第１表層画像からスペキュラ光Ｌｒの領域が除去され、第２表層画像から、第１表層画像内のスペキュラ光Ｌｒの領域と対応する領域が選択される。そして、スペキュラ光Ｌｒの領域が除去された第１表層画像に第２表層画像から選択された領域が合成されることによって、合成表層画像が作成される。また、第１深層画像からノイズＮの領域が除去され、第２深層画像から、第１深層画像内のノイズＮの領域と対応する領域が選択される。そして、ノイズＮの領域が除去された第１深層画像に第２深層画像から選択された領域が合成されることによって、合成深層画像が作成される。
　このように、本実施形態によれば、共通の照明部４からの照明光Ｌで照明されている生体組織Ａを、相互に異なる位置に配置された２つの撮像部６１，６２によって撮像することで、スペキュラ光Ｌｒの位置が相互に異なる第１照明画像および第２照明画像が取得される。そして、第１および第２照明画像から、スペキュラ光Ｌｒに基づくノイズＮの位置が相互に異なる第１深層画像および第２深層画像が作成される。また、第１および第２照明画像から、第１および第２深層画像内のノイズＮと同一位置にそれぞれスペキュラ光Ｌｒを含む第１および第２表層画像が作成される。
　これにより、照明光Ｌの高周波パターンのコントラストが低い場合に第１および第２深層画像内の発生するノイズＮを、第１および第２表層画像の画素値に基づいて正確に検出し、ノイズＮが除去された合成深層画像を第１および第２深層画像から合成することができるという利点がある。
　図７Ａは、内視鏡２の先端面における照明部４と撮像部６１，６２の配置の他の例を示している。図７Ａに示されるように、第１撮像部６１および第２撮像部６２は、照明部４の両側に配置されていてもよい。また、第１撮像部６１と照明部４との間の距離と、第２撮像部６２と照明部４との間の距離は、相互に異なっていてもよい。第１撮像部６１および第２撮像部６２の照明部４に対する距離および方向を相互に異ならせることによって、第１表層画像および第２表層画像との間、および、第１深層画像と第２深層画像との間で、スペキュラ光ＬｒおよびノイズＮの位置を確実に異ならせることができる。
　本実施形態においては、２つの撮像部６１，６２が設けられていることとしたが、これに代えて、３つ以上の撮像部が設けられていてもよい。図７Ｂは、内視鏡２の先端面における照明部４と３つの撮像部６１，６２，６３の配置の一例を示している。図７Ｂに示されるように、３つの撮像部６１，６２，６３の照明部４に対する距離および方向を相互に異ならせることによって、いずれの位置においてもいずれかの照明画像内でスペキュラ光Ｌｒが発生していないような照明画像を確実に取得することができ、ノイズＮを含まない合成深層画像を確実に作成することができる。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る内視鏡システムについて図面を参照して説明する。
　本実施形態においては、第１の実施形態と異なる構成について説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡システム１０は、図８に示されるように、内視鏡２と、本体部３とを備えている。また、内視鏡システム１０は、照明光Ｌ１，Ｌ２を内視鏡２の先端から体内の生体組織（被写体）Ａに向けてそれぞれ射出する２つの照明部４１，４２と、強度分布変更部５１，５２と、照明光Ｌで照明されている生体組織Ａの照明画像を取得する撮像部６と、画像処理部７とを備えている。
　第１照明部４１および第２照明部４２は、相互に異なる位置に配置されている。第１照明部４１は、光源４１ａ、マスク４１ｂ、集光レンズ４１ｃ、イメージガイドファイバ４１ｄおよび投影レンズ４１ｅを備えている。第２照明部４２は、光源４２ａ、マスク４２ｂ、集光レンズ４２ｃ、イメージガイドファイバ４２ｄおよび投影レンズ４２ｅを備えている。光源４１ａ，４２ａ、マスク４１ｂ，４２ｂ、集光レンズ４１ｃ，４２ｃ、イメージガイドファイバ４１ｄ，４２ｄおよび投影レンズ４１ｅ，４２ｅは、光源４ａ、マスク４ｂ、集光レンズ４ｃ、イメージガイドファイバ４ｄおよび投影レンズ４ｅとそれぞれ同様に構成されている。第１照明部４１は、第１照明光Ｌ１を生成し、第１照明光Ｌ１を生体組織Ａに照射する。第２照明部４２は、第２照明光Ｌ２を生成し、第２照明光Ｌ２を生体組織Ａに照射する。第１および第２照明光Ｌ１，Ｌ２は、照明光Ｌと同様である。第１照明部４１および第２照明部４２は、時分割で照明光Ｌ１，Ｌ２を生体組織Ａに照射する。
　第１強度分布変更部５１は、マスク４１ｂを制御する制御素子であり、第１照明光Ｌ１の明暗パターンを時間変化させる。
　第２強度分布変更部５２は、マスク４２ｂを制御する制御素子であり、第２照明光Ｌ２の明暗パターンを時間変化させる。
　撮像部６は、撮像レンズ６ａと、撮像素子６ｂとを備えている。撮像レンズ６ａおよび撮像素子６ｂは、撮像レンズ６１ａおよび撮像素子６１ｂとそれぞれ同様に構成されている。撮像部６は、第１照明光Ｌ１で照明された生体組織Ａの２枚の第１照明画像を撮像素子６ｂによって取得し、第２照明光Ｌ２で照明された生体組織Ａの２枚の第２照明画像を撮像素子６ｂによって取得する。２枚の第１照明画像および２枚の第２照明画像は、撮像素子６ｂから画像処理部７に送信される。したがって、照明部４１，４２からの照明光Ｌ１，Ｌ２の射出のタイミングと、強度分布変更部５１，５２による強度分布の変更のタイミングと撮像素子６ｂによる撮影のタイミングとが互いに同期するように、照明部４１，４２、強度分布変更部５１，５２および撮像素子６ｂの動作は制御装置によって制御される。
　ここで、第１照明部４１および第２照明部４２は、相互に異なる位置に配置されている。したがって、生体組織Ａの表面Ｂ上の同一位置で発生した第１照明光Ｌ１のスペキュラ光Ｌ１ｒと第２照明光Ｌ２のスペキュラ光Ｌ２ｒが、共通の撮像部６に入射することはない。したがって、第１の実施形態と同様に、第１照明画像内のスペキュラ光Ｌｒの位置と第２照明画像内のスペキュラ光Ｌｒの位置は、相互に異なる。
　分離処理部７１は、第１の実施形態と同様にして、２枚の第１照明画像から第１表層画像および第１深層画像を作成し、２枚の第２照明画像から第２表層画像および第２深層画像を作成する。
　合成処理部７２は、第１の実施形態と同様にして、第１表層画像および第２表層画像から合成表層画像を作成し、第１深層画像および第２深層画像から合成深層画像を作成する。
　このように、本実施形態によれば、相互に異なる位置に配置された２つの照明部４１，４２からの照明光Ｌ１，Ｌ２で照明されている生体組織Ａを共通の撮像部６によって撮像することで、スペキュラ光Ｌｒの位置が相互に異なる第１照明画像および第２照明画が取得される。したがって、第１の実施形態と同様に、照明光Ｌの高周波パターンのコントラストが低い場合に第１および第２深層画像内の発生するノイズＮを、第１および第２表層画像の画素値に基づいて正確に検出し、ノイズＮが除去された合成深層画像を第１および第２深層画像から合成することができるという利点がある。
　図９Ａは、内視鏡２の先端面における照明部４１，４２と撮像部６の配置の他の例を示している。図９Ａに示されるように、第１照明部４１および第２照明部４２は、撮像部６の両側に配置されていてもよい。また、第１照明部４１と撮像部６との間の距離と、第２照明部４２と撮像部６との間の距離は、相互に異なっていてもよい。このように、第１照明部４１および第２照明部４２の撮像部６に対する距離および方向を相互に異ならせることによって、第１表層画像および第２表層画像との間、および、第１深層画像と第２深層画像との間で、スペキュラ光ＬｒおよびノイズＮの位置を確実に異ならせることができる。
　本実施形態においては、２つの照明部４１，４２が設けられていることとしたが、これに代えて、３つ以上の照明部が設けられていてもよい。図９Ｂは、内視鏡２の先端面における３つの照明部４１，４２，４３と撮像部６の配置の一例を示している。図９Ｂに示されるように、３つの照明部４１，４２，４３の撮像部６に対する距離および方向を相互に異ならせることによって、いずれの位置においてもいずれかの照明画像内でスペキュラ光Ｌｒが発生していないような照明画像を確実に取得することができ、ノイズＮを含まない合成深層画像を確実に作成することができる。
　第１および第２の実施形態においては、照明部４，４１，４２が、縞状の強度分布を有する照明光Ｌ，Ｌ１，Ｌ２で生体組織Ａを照明することとしたが、照明光Ｌ，Ｌ１，Ｌ２の強度分布のパターンはこれに限定されず、明部と暗部とが空間的に繰り返される他の分布であってもよい。例えば、照明光Ｌ，Ｌ１，Ｌ２の強度分布は、市松模様、ドット、またはランダムドットであってもよい。
　第１および第２の実施形態においては、照明部４，４１，４２が、明暗パターンを有する照明光Ｌ，Ｌ１，Ｌ２を液晶素子４ｂ，４１ｂ，４２ｂによって生成し、強度分布変更部５，５１，５２が、液晶素子４ｂ，４１ｂ，４２ｂを制御することによって明暗パターンを変化させることとしたが、照明部４，４１，４２および強度分布変更部５，５１，５２の構成はこれに限定されるものではない。
　例えば、照明部４，４１，４２は、２つのレーザ光の干渉縞を明暗パターンとして利用し、強度分布変更部５，５１，５２は、２つのレーザ光のうち一方の光路長を変化させることによって、干渉縞の位置を照明光の光軸に直交する方向にシフトさせてもよい。
　あるいは、照明部４，４１，４２は、明暗パターンに対応する投影パターンが形成されたマスクに光を透過させることによって、影絵のようにして明暗パターンを生体組織Ａの表面Ｂ上に形成してもよい。この場合、強度分布変更部５，５１，５２は、マスクと、該マスクに向かって光を射出する発光部とを、明部および暗部の幅方向に相対移動させることによって、強度分布を時間変化させる。
　第１および第２の実施形態においては、強度分布変更部５，５１，５２が、照明光Ｌ，Ｌ１，Ｌ２の強度分布を、明部および暗部が相互に反転した２つの明暗パターンの間で連続的に変化させてもよい。
　明暗パターンを連続的に変化させる場合、撮像部６１，６２，６は、明部および暗部の位置が相互に異なる３つ以上の時刻で撮影を実行し、明部の投影領域および暗部の投影領域の位置が相互に異なる３枚以上の照明画像を取得してもよい。分離処理部７１は、３枚以上の照明画像から表層画像および深層画像を作成してもよい。この場合、各位置の画素について３つ以上の強度値が得られるので、最大強度値をＩｍａｘとして、最小強度値をＩｍｉｎとして用いて、強度値Ｉｓ，Ｉｄが算出される。
　第１および第２の実施形態においては、生体組織Ａの表面Ｂ上に投影される明暗パターンが生体組織Ａと撮像部６１，６２，６との間の撮影距離に比例して拡大されるように、照明部４，４１，４２が、発散光束の照明光Ｌ，Ｌ１，Ｌ２を生体組織Ａに向けて射出することが好ましい。
　図５に示されるように、表層画像と深層画像との分離深さは、生体組織Ａの表面Ｂ上での暗部の幅Ｗｄに依存する。分離深さとは、表層画像に含まれる情報の深さと深層画像に含まれる情報の深さとの大まかな境目である。暗部の幅Ｗｄが大きい程、分離深さが深くなり、より深い位置の情報が強調された深層画像が得られる。したがって、撮影距離を変更して生体組織Ａの表面Ｂ上での明暗パターンを拡大または縮小することで、異なる深さの情報が強調された深層画像を取得することができる。
　第１および第２の実施形態においては、生体組織Ａと撮像部６，６１，６２との間の撮影距離を計測する撮影距離計測部をさらに備え、強度分布変更部５，５１，５２が、撮影距離に依らずに生体組織Ａの表面Ｂ上での明部と暗部との空間的な周期が一定に維持されるように、撮影距離に基づいて明暗パターンにおける明部と暗部との空間的な周期を調整してもよい。
　このようにすることで、撮影距離に依らずに、所定の深さの情報を含む合成深層画像を作成することができる。
　撮影距離計測部としては、生体組織Ａに非接触で撮影距離を計測することができる公知の任意の手段を採用することができる。
　第１および第２の実施形態においては、照明部４，４１，４２が、波長が互いに異なる複数の光から構成された照明光Ｌ，Ｌ１，Ｌ２で生体組織Ａを照明してもよい。例えば、照明光Ｌ，Ｌ１，Ｌ２は、赤、緑および青の３つの光が混合された白色光であってもよい。
　波長が互いに異なる複数の光を照明光Ｌ，Ｌ１，Ｌ２として使用する場合、波長が長い程、明部と暗部との周期が小さくなるように、波長に応じて各光の強度分布を異ならせてもよい。
　一般に、光は、波長が短い程、散乱体によって強く散乱される。したがって、赤い光に比べて青い光は生体組織Ａの深層Ｄまで届き難く、青い光の内部散乱光に含まれる情報は、赤い光の内部散乱光に比べて浅い位置の情報となる。そこで、波長が長い程、明部と暗部との周期を小さくすることで、赤、緑および青の光のいずれの内部散乱光も同一の深さの情報を有するように、各色の内部散乱光に含まれる情報の深さを制御することができる。
１，１０　内視鏡システム
２　内視鏡
３　本体部
４，４１，４２　照明部
５，５１，５２　強度分布変更部
６，６１，６２　撮像部
７　画像処理部
７１　分離処理部
７２　合成処理部
Ｌｒ　スペキュラ光
Ｎ　ノイズ

Claims (7)

  1. 　照明光を被写体に照射し、前記照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、照明部と、
    　前記照明光で照明されている前記被写体の第１照明画像を取得する第１撮像部と、
    　前記照明光で照明されている前記被写体の第２照明画像を取得し、前記第１撮像部とは異なる位置に配置されている、第２撮像部と、
    　前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像が前記第１表層画像よりも前記被写体の深層領域の情報を多く含み、前記第２深層画像が前記第２表層画像よりも前記被写体の深層領域の情報を多く含む、分離処理部と、
    　前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システム。
  2. 　第１照明光を被写体に照射し、前記第１照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第１照明部と、
    　第２照明光を被写体に照射し、前記第１照明部とは異なる位置に配置され、前記第２照明光が光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する、第２照明部と、
    　前記第１照明光で照明されている前記被写体の第１照明画像および前記第２照明光で照明されている前記被写体の第２照明画像を取得する撮像部と、
    　前記第１照明画像から第１深層画像および第１表層画像を作成し、前記第２照明画像から第２深層画像および第２表層画像を作成し、前記第１深層画像が前記第１表層画像よりも前記被写体の深層領域の情報を多く含み、前記第２深層画像が前記第２表層画像よりも前記被写体の深層領域の情報を多く含む、分離処理部と、
    　前記第１表層画像の画素値および前記第２表層画像の画素値に基づいて前記第１深層画像と前記第２深層画像とを合成することによって合成深層画像を作成する合成処理部とを備える内視鏡システム。
  3. 　前記合成処理部が、前記第１深層画像内のスペキュラ光に基づくノイズ領域を前記第１表層画像および前記第２表層画像の画素値の差分に基づいて検出し、前記第１深層画像内の検出されたノイズ領域に前記第２深層画像内の対応する領域を合成することによって、前記合成深層画像を作成する請求項１または請求項２に記載の内視鏡システム。
  4. 　前記強度分布における前記明部と前記暗部との周期を変更する強度分布変更部を備える請求項１から請求項３のいずれかに記載の内視鏡システム。
  5. 　前記撮像部と前記被写体との間の撮影距離を計測する撮影距離計測部を備え、
    　前記強度分布変更部が、前記被写体上での前記照明光の強度分布が前記撮像部と前記被写体との間の距離に依らずに一定となるように、前記撮影距離に基づいて前記強度分布における前記明部と前記暗部との周期を変更する請求項４に記載の内視鏡システム。
  6. 　前記照明部が、前記撮像部と前記被写体との間の撮影距離に比例して前記被写体上での前記明部および前記暗部のパターンが拡大されるように、前記照明光を発散光束として射出する請求項１から請求項４のいずれかに記載の内視鏡システム。
  7. 　前記照明光が、互いに異なる波長を有する複数の光からなり、該複数の光は、波長が長い程、前記明部と前記暗部との周期が小さくなる前記強度分布を有する請求項１から請求項６のいずれかに記載の内視鏡システム。
PCT/JP2018/021590 2018-06-05 2018-06-05 内視鏡システム WO2019234829A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020523887A JP7118147B2 (ja) 2018-06-05 2018-06-05 内視鏡システム
PCT/JP2018/021590 WO2019234829A1 (ja) 2018-06-05 2018-06-05 内視鏡システム
CN201880093936.XA CN112236067A (zh) 2018-06-05 2018-06-05 内窥镜系统
US17/108,205 US11871906B2 (en) 2018-06-05 2020-12-01 Endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/021590 WO2019234829A1 (ja) 2018-06-05 2018-06-05 内視鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/108,205 Continuation US11871906B2 (en) 2018-06-05 2020-12-01 Endoscope system

Publications (1)

Publication Number Publication Date
WO2019234829A1 true WO2019234829A1 (ja) 2019-12-12

Family

ID=68770144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021590 WO2019234829A1 (ja) 2018-06-05 2018-06-05 内視鏡システム

Country Status (4)

Country Link
US (1) US11871906B2 (ja)
JP (1) JP7118147B2 (ja)
CN (1) CN112236067A (ja)
WO (1) WO2019234829A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805988B2 (en) 2018-06-05 2023-11-07 Olympus Corporation Endoscope system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7117017B2 (ja) 2017-12-28 2022-08-12 ライオン株式会社 眼科用製品及びマスキング方法
JP2023028357A (ja) * 2021-08-19 2023-03-03 株式会社ジャパンディスプレイ 撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014188222A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2015231498A (ja) * 2014-06-11 2015-12-24 キヤノン株式会社 内視鏡装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
US20020165456A1 (en) 2001-03-26 2002-11-07 Murat Canpolat Estimation of the average size of white light scatterers in normal and cancerous tissue using light scattering spectrum
KR20130138867A (ko) 2003-06-06 2013-12-19 더 제너럴 하스피탈 코포레이션 파장 동조 소스용 방법 및 장치
AU2006245247B2 (en) 2005-05-11 2009-10-15 Olympus Medical Systems Corp. Signal processing device for biological observation apparatus
JP4875319B2 (ja) * 2005-06-20 2012-02-15 オリンパスメディカルシステムズ株式会社 内視鏡
WO2007030741A2 (en) 2005-09-09 2007-03-15 Trustees Of Boston University Imaging system using dynamic speckle illumination
DE102005046755A1 (de) 2005-09-29 2007-04-19 Carl Zeiss Jena Gmbh Vorrichtung und Verfahren zum Erzeugen eines Bildes eines Objektes
JP5398524B2 (ja) 2006-05-09 2014-01-29 コーニンクレッカ フィリップス エヌ ヴェ 対象物内部の３次元イメージングのためのイメージングシステム及びこの作動方法
JP5190860B2 (ja) 2007-01-22 2013-04-24 学校法人東京電機大学 投影露光装置および投影露光方法
US9055866B2 (en) 2008-06-27 2015-06-16 Olympus Corporation Internal observation device for object having light scattering properties, internal body observation device, endoscope for internal observation and internal observation method
US8734333B2 (en) 2009-03-18 2014-05-27 Fujifilm Corporation Endoscope system, endoscope video processor and method of driving endoscope system
JP5289120B2 (ja) 2009-03-18 2013-09-11 富士フイルム株式会社 内視鏡システムおよび内視鏡用プロセッサ装置
JP5449816B2 (ja) 2009-03-26 2014-03-19 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5658171B2 (ja) 2009-12-28 2015-01-21 オリンパス株式会社 内部観察装置
JP5541914B2 (ja) 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
WO2012065163A2 (en) 2010-11-12 2012-05-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
EP2689708B1 (en) 2011-04-27 2016-10-19 Olympus Corporation Endoscopic apparatus and measurement method
JP5611892B2 (ja) 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5764747B2 (ja) 2011-09-02 2015-08-19 パナソニックＩｐマネジメント株式会社 偏光撮像素子および内視鏡
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
JP5753105B2 (ja) * 2012-01-16 2015-07-22 富士フイルム株式会社 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法
JP5815426B2 (ja) 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP5355827B1 (ja) * 2012-03-30 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡装置
EP2769665A4 (en) 2012-05-01 2015-08-26 Olympus Medical Systems Corp ENDOSCOPE DEVICE
JP5603508B2 (ja) 2012-05-22 2014-10-08 パナソニック株式会社 撮像処理装置および内視鏡
JP6041340B2 (ja) 2012-07-18 2016-12-07 スカラ株式会社 カメラ
JP2014045869A (ja) * 2012-08-30 2014-03-17 Canon Inc 撮影装置、画像処理装置、及び画像処理方法
CN104717917B (zh) 2013-02-12 2016-11-02 奥林巴斯株式会社 内窥镜装置
EP2967301B1 (en) 2013-03-15 2021-11-03 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
WO2015016013A1 (ja) 2013-07-31 2015-02-05 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
FR3016699B1 (fr) 2014-01-22 2016-02-12 Msc & Sgcc Procede et dispositif pour la detection notamment de defauts refractants
JP2016049370A (ja) 2014-09-02 2016-04-11 Hoya株式会社 電子内視鏡システム
JP6196598B2 (ja) * 2014-09-30 2017-09-13 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6346576B2 (ja) 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6285383B2 (ja) 2015-03-20 2018-02-28 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
CN107072508B (zh) 2015-03-25 2019-12-20 奥林巴斯株式会社 观察系统
JP5854544B1 (ja) 2015-04-07 2016-02-09 藤垣　元治 形状計測装置および形状計測方法
JP6618704B2 (ja) 2015-04-10 2019-12-11 オリンパス株式会社 内視鏡システム
JP2016209466A (ja) 2015-05-13 2016-12-15 ソニー株式会社 内視鏡装置及び内視鏡装置の制御方法
JP2017012395A (ja) 2015-06-30 2017-01-19 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
KR20190091325A (ko) 2016-12-07 2019-08-05 프로제너티, 인크. 위장관 검출 방법, 디바이스 및 시스템
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP7093409B2 (ja) 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014188222A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2015231498A (ja) * 2014-06-11 2015-12-24 キヤノン株式会社 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAYAR, SHREE K ET AL.: "Fast Separation of Direct and Global Components of a Scene using High Frequency Illumination", ACM TRANSACTIONS ON GRAPHICS, vol. 25, no. 3, 3 July 2006 (2006-07-03), pages 935 - 944, XP055661927 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805988B2 (en) 2018-06-05 2023-11-07 Olympus Corporation Endoscope system

Also Published As

Publication number Publication date
CN112236067A (zh) 2021-01-15
US11871906B2 (en) 2024-01-16
US20210106207A1 (en) 2021-04-15
JP7118147B2 (ja) 2022-08-15
JPWO2019234829A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
US11324385B2 (en) Endoscope system for processing second illumination image using image information other than image information about outermost surface side of subject among three image information from at least four images of first illumination images
JP5267143B2 (ja) 撮像装置およびプログラム
US11871906B2 (en) Endoscope system
EP2067435B1 (en) Position specifying system, position specifying method, and computer readable medium
WO2018229832A1 (ja) 内視鏡システム
WO2018229834A1 (ja) 内視鏡システム
EP1922990A3 (en) Optical tomograph
US11805988B2 (en) Endoscope system
US10972675B2 (en) Endoscope system
JP6082321B2 (ja) 手術用顕微鏡システム
US10149599B2 (en) Processing apparatus
JP6927210B2 (ja) 観察装置
JP6818487B2 (ja) スペクトルの測定方法
RU2356016C1 (ru) Способ измерения цвета объектов и устройство для его осуществления
KR20190075795A (ko) 다중 영상 내시경 시스템
JP7261301B2 (ja) 光学装置、光源装置、集光方法及び内視鏡システム
WO2021181508A1 (ja) 内視鏡システム
WO2017033671A1 (ja) 血流計測装置
JP5468756B2 (ja) 生体内観測装置
JPWO2021019716A5 (ja) 光学装置、光源装置、集光方法及び内視鏡システム
KR20230021865A (ko) 멀티스펙트럼 내시경 및 이를 포함하는 내시경 시스템
KR20230167976A (ko) 멀티스펙트럼 형광 이미징 장치
JP2020069308A (ja) 内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921548

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020523887

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18921548

Country of ref document: EP

Kind code of ref document: A1