WO2018047369A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2018047369A1
WO2018047369A1 PCT/JP2017/004497 JP2017004497W WO2018047369A1 WO 2018047369 A1 WO2018047369 A1 WO 2018047369A1 JP 2017004497 W JP2017004497 W JP 2017004497W WO 2018047369 A1 WO2018047369 A1 WO 2018047369A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
light
generation unit
unit
Prior art date
Application number
PCT/JP2017/004497
Other languages
English (en)
French (fr)
Inventor
俊明 渡邉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201780052356.1A priority Critical patent/CN109640781A/zh
Priority to JP2017527674A priority patent/JP6205531B1/ja
Publication of WO2018047369A1 publication Critical patent/WO2018047369A1/ja
Priority to US16/272,312 priority patent/US20190167083A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination

Definitions

  • the present invention relates to an endoscope system, and more particularly to an endoscope system used for fluorescence observation.
  • fluorescence observation which is an observation method for diagnosing whether or not a lesion site is included in a subject, has been performed.
  • International Publication No. WO2005 / 048826 discloses a sentinel lymph node detection device used for fluorescence observation as described above.
  • International Publication No. WO2005 / 048826 irradiates a living body observation part including a lymph node in the vicinity of a tumor into which a fluorescent dye has been previously injected with excitation light, and according to the irradiation of the excitation light.
  • a configuration is disclosed in which fluorescence emitted from the biological observation unit is imaged to obtain a fluorescence image.
  • International Publication No. WO2005 / 048826 discloses a fluorescence image obtained by imaging fluorescence emitted from a living body observation unit in response to excitation light irradiation, and reflected light of the excitation light irradiated on the living body observation unit.
  • a configuration is disclosed in which an observation image obtained by superimposing a normal image obtained by imaging the image is acquired, and the luminance and / or contrast of the acquired observation image is adjusted and displayed on an image display device.
  • the present invention has been made in view of the above-described circumstances.
  • the structure of the living tissue at the location where the fluorescence is generated can be more easily grasped than before. It aims at providing a flexible endoscope system.
  • the endoscope system can emit excitation light for exciting a fluorescent agent to be administered to a subject and illumination light for illuminating the body cavity of the subject.
  • a light source unit configured as described above, fluorescence generated in response to irradiation of the excitation light to a subject existing in a body cavity of the subject to which the fluorescent agent is administered, and in response to irradiation of the illumination light to the subject
  • An imaging unit configured to capture each of reflected light generated, a first image corresponding to the reflected light imaged by the imaging unit, and a location where the fluorescence is generated in the subject.
  • a mixed image generation unit configured to generate an observation image in which a second image that is an image to be displayed is mixed with a pixel array that does not overlap each other and has periodicity.
  • the figure which shows the structure of the principal part of the endoscope system which concerns on embodiment The figure which shows an example of the pixel arrangement
  • generating an observation image using the white light image in which the outline emphasis process by the outline emphasis process part was performed.
  • the figure which shows an example of the spatial filter which can be utilized in the outline emphasis process by the outline emphasis processing part of FIG. The figure which shows an example of a structure at the time of performing the outline emphasis process by an outline emphasis process part with respect to an observation image directly.
  • the endoscope system 1 is configured to be inserted into a body cavity of a subject and to image a subject such as a living tissue existing in the body cavity and output an imaging signal.
  • Various processes are performed on the endoscope 2, the light source device 3 configured to supply the endoscope 2 with light applied to the subject, and the imaging signal output from the endoscope 2.
  • It has a processor 4 configured to generate and output an observation image by applying, and a display device 5 configured to display the observation image output from the processor 4 on a screen.
  • Drawing 1 is a figure showing the composition of the important section of the endoscope system concerning an embodiment.
  • the endoscope 2 includes an insertion portion 21 formed in an elongated shape that can be inserted into a body cavity of a subject, and an operation portion 22 provided on the proximal end side of the insertion portion 21. , And is configured.
  • the endoscope 2 has a configuration that can be attached to and detached from the light source device 3 via a light guide cable 27.
  • the endoscope 2 has a configuration that can be attached to and detached from the processor 4 via a signal cable 28 extending from the operation unit 22.
  • the light guide 11 for transmitting light supplied from the light source device 3 is inserted into the insertion portion 21 and the light guide cable 27.
  • the exit end of the light guide 11 is disposed in the vicinity of the illumination lens 12 at the distal end of the insertion portion 21 as shown in FIG. Further, as shown in FIG. 1, the incident end portion of the light guide 11 is disposed in the vicinity of the condenser lens 32 in the light source device 3 connected to the endoscope 2 via the light guide cable 27.
  • the distal end portion of the insertion portion 21 is provided with an illumination lens 12 for emitting light transmitted by the light guide 11 to the outside and an objective lens 13 for receiving light incident from the outside.
  • an imaging element 14 and an excitation light cut filter 15 disposed on the optical path from the objective lens 13 to the imaging element 14 are provided at the distal end portion of the insertion portion 21.
  • the image pickup device 14 includes, for example, a color CMOS image sensor having a primary color or complementary color filter attached to the image pickup surface, and is configured to perform an image pickup operation in accordance with an image pickup device drive signal output from the processor 4. ing.
  • the imaging device 14 is configured to capture the light that has passed through the excitation light cut filter 15 to generate an imaging signal, and to output the generated imaging signal to the processor 4.
  • the excitation light cut filter 15 blocks the same wavelength band as the excitation light EXA (described later) out of the wavelength bands included in the light emitted through the objective lens 13 and has a different wavelength band from the excitation light EXA. It is formed with optical characteristics that allow it to pass through. That is, the excitation light cut filter 15 is formed to have an optical characteristic that transmits fluorescence FLA (described later) emitted from the fluorescent agent in response to irradiation with the excitation light EXA.
  • the imaging unit of the present embodiment includes the imaging element 14 and the excitation light cut filter 15.
  • the operation unit 22 is provided on the proximal end side of the insertion unit 21 and has a shape that can be grasped by a user such as an operator.
  • the operation unit 22 is provided with a scope switch (not shown) that is one or more switches that can give various instructions to the processor 4 in accordance with user operations.
  • the light source device 3 includes, for example, a light emitting unit 31, a condenser lens 32, and a light source driving unit 33, as shown in FIG.
  • the light emitting unit 31 includes a white light source 51, an excitation light source 52, and a dichroic mirror 53.
  • the white light source 51 includes, for example, a xenon lamp, a white LED, or an LED of three colors of red, green, and blue. Further, the white light source 51 is configured to generate white light WLA that is light including each wavelength band of the red region, the green region, and the blue region, for example, according to the light source driving signal output from the light source driving unit 33. ing.
  • a broadband light source configured to include a lamp that emits broadband light that is light having a wavelength band from at least a blue region to a near infrared region
  • An optical filter having an optical characteristic that transmits the same wavelength band as that of the white light WLA among the wavelength bands included in the broadband light and blocks other wavelength bands is provided in the light source device 3. It may be done.
  • the excitation light source 52 includes, for example, an LD (laser diode). Further, the excitation light source 52 generates excitation light EXA, which is narrow band light including the excitation wavelength of a predetermined fluorescent agent to be administered to the subject, for example, according to the light source drive signal output from the light source drive unit 33. It is configured as follows.
  • the fluorescent agent administered to the subject is ICG (Indocyanine Green), and the excitation light EXA is a narrow-band near infrared light including the excitation wavelength of ICG,
  • the fluorescence FLA which is near infrared light belonging to the wavelength band longer than the excitation light EXA, is emitted from the ICG.
  • the dichroic mirror 53 transmits, for example, the white light WLA emitted from the white light source 51 and emits it to the condenser lens 32 side, and reflects the excitation light EXA emitted from the excitation light source 52 to emit it to the condenser lens 32 side.
  • Such optical characteristics are provided.
  • the light emitting unit 31 is configured to generate the white light WLA by causing the white light source 51 to emit light in accordance with the drive signal output from the light source driving unit 33.
  • the light emitting unit 31 is configured to generate the excitation light EXA by causing the excitation light source 52 to emit light in accordance with the drive signal output from the light source driving unit 33.
  • the light emitting unit 31 is configured to be able to emit white light WLA and excitation light EXA to the condenser lens 32.
  • the condensing lens 32 is configured to condense the light emitted from the light emitting unit 31 and emit it to the incident end of the light guide 11.
  • the light source driving unit 33 is configured to generate a light source driving signal for driving the white light source 51 and the excitation light source 52 based on the control signal output from the processor 4 and output the light source driving signal to the light emitting unit 31.
  • the light source device 3 can emit excitation light EXA for exciting the fluorescent agent administered to the subject and white light WLA that is illumination light for illuminating the body cavity of the subject. It is configured as follows.
  • the processor 4 includes an image sensor driving unit 41, a selector 42, a white light image generating unit 43, a fluorescent image generating unit 44, a superimposed image generating unit 45, and a mixed image generating unit. 46, an input I / F (interface) 47, and a control unit 48.
  • each unit of the processor 4 may be configured as an individual electronic circuit, or an FPGA (Field Programmable). It may be configured as a circuit block in an integrated circuit such as Gate Array.
  • the image sensor drive unit 41 is configured to generate and output an image sensor drive signal for driving the image sensor 14 based on a control signal output from the control unit 48.
  • the selector 42 sets the output destination of the imaging signal output from the endoscope 2 to either the white light image generation unit 43 or the fluorescence image generation unit 44 based on the control signal output from the control unit 48. It is configured to perform operations.
  • the white light image generation unit 43 generates a white light image WIA based on the imaging signal output through the selector 42, and the generated white light image WIA is respectively used for the superimposed image generation unit 45 and the mixed image generation unit 46. It is configured to output to. That is, the white light image generation unit 43 is configured to generate a white light image WIA that is an image corresponding to the reflected light of the white light WLA imaged by the imaging element 14.
  • the fluorescence image generation unit 44 is configured to generate a fluorescence image FIA based on the imaging signal output via the selector 42 and to output the generated fluorescence image FIA to the superimposed image generation unit 45. That is, the fluorescence image generation unit 44 is configured to generate a fluorescence image FIA that is an image corresponding to the fluorescence FLA imaged by the imaging element 14.
  • the superimposed image generation unit 45 is configured to be able to perform an operation according to a control signal output from the control unit 48. Further, the superimposed image generation unit 45 performs superimposition by performing processing for superimposing the white light image WIA output from the white light image generation unit 43 and the fluorescent image FIA output from the fluorescent image generation unit 44. An image SIA is generated, and the generated superimposed image SIA is output to the mixed image generation unit 46.
  • the superimposed image generation unit 45 uses, for example, the following mathematical formula (1), the pixel value of the pixel WP at one pixel position of the white light image WIA output from the white light image generation unit 43, and the fluorescence A pixel value of the pixel SP at the one pixel position of the superimposed image SIA is obtained by superimposing the pixel value of the pixel FP at the one pixel position of the fluorescent image FIA output from the image generation unit 44. Processing is performed on the entire image.
  • Ri represents the luminance value of the red component of the pixel WP
  • Gi represents the luminance value of the green component of the pixel WP
  • Bi represents the luminance value of the blue component of the pixel WP
  • Fi represents The luminance value of the pixel FP (of the fluorescent component) is represented
  • Ro represents the luminance value of the red component of the pixel SP
  • Go represents the luminance value of the green component of the pixel SP
  • Bo represents the luminance value of the blue component of the pixel SP. It shall represent.
  • ⁇ , ⁇ , and ⁇ in the following mathematical formula (1) represent weighting factors for defining the color tone of the occurrence location of the fluorescent FLA included in the superimposed image SIA, and are set in advance in the superimposed image generation unit 45, for example. It may be a fixed value or may be a variable value set according to a control signal from the control unit 48.
  • the superimposed image generation unit 45 is configured to generate a superimposed image SIA that is an image showing the location where the fluorescent FLA is generated in the subject imaged by the endoscope 2.
  • the mixed image generation unit 46 Based on the control signal output from the control unit 48, the mixed image generation unit 46 and a part of the white light image WIA output from the white light image generation unit 43 and the superimposed image SIA output from the superimposed image generation unit 45.
  • An observation image is generated by performing processing for mixing a part of the image and the generated observation image is output to the display device 5. Details of the processing performed in the mixed image generation unit 46 will be described later.
  • the input I / F 47 is configured to include one or more switches and / or buttons capable of giving an instruction according to a user operation.
  • the control unit 48 can generate a control signal for performing an operation in accordance with an instruction from the input I / F 47 and output the control signal to the light source driving unit 33, the superimposed image generation unit 45, and the mixed image generation unit 46. It is configured as follows.
  • the control unit 48 includes a memory 49 that stores control information used when controlling each unit of the endoscope system 1.
  • the control unit 48 generates a control signal for synchronizing the generation timing of the white light WLA and the excitation light EXA in the light emitting unit 31, the imaging operation in the imaging device 14, and the output destination of the imaging signal input to the processor 4. It is configured to generate and output to the light source driving unit 33, the image sensor driving unit 41, and the selector 42, respectively.
  • control unit 48 sets the pixel WP included in the white light image WIA and the pixel SP included in the superimposed image SIA into a set of pixel arrays that do not overlap each other and have periodicity. In accordance with this, a control signal for extraction is generated and output to the mixed image generation unit 46.
  • ICG fluorescent drug
  • white light observation which is an observation method in which a white light image WIA obtained by imaging a subject irradiated with white light WLA is displayed on the display device 5 as an observation image. Shall be omitted.
  • the user After connecting each part of the endoscope system 1 and turning on the power, the user starts fluorescence observation of the subject by operating a fluorescence observation start switch (not shown) of the input I / F 47, for example. Instruction to the control unit 48. Further, the user places the distal end portion of the insertion portion 21 in the vicinity of a desired subject existing in the body cavity by inserting the insertion portion 21 into the body cavity of the subject.
  • control unit 48 When the power of the processor 4 is turned on, the control unit 48 reads control information from the memory 49, and in accordance with the read control information, the pixel WP included in the white light image WIA and the pixel included in the superimposed image SIA. A control signal for causing the SPs to be extracted in accordance with a set of pixel arrays that do not overlap each other and has periodicity is generated and output to the mixed image generation unit 46.
  • control unit 48 corresponds to, for example, a first pixel array of a set of pixel arrays that do not overlap each other and have periodicity among the pixels included in the white light image WIA.
  • a pixel group WGA that is a plurality of pixels WP existing at a position to be extracted, and a position corresponding to the second pixel array of the set of pixel arrays from among the pixels included in the superimposed image SIA
  • a control signal for extracting a pixel group SGA, which is a plurality of pixels SP existing in, is generated and output to the mixed image generation unit 46.
  • the control unit 48 When the power of the processor 4 is turned on and an instruction from the fluorescence observation start switch of the input I / F 47 is detected, the control unit 48 generates the white light WLA and the excitation light EXA in the light emitting unit 31, and the imaging A control signal for synchronizing the imaging operation in the element 14 and the output destination of the imaging signal input to the processor 4 is generated and output to the light source driving unit 33, the imaging element driving unit 41, and the selector 42, respectively.
  • control unit 48 generates a control signal for causing the image sensor 14 to perform a rolling shutter imaging operation, and outputs the control signal to the image sensor driving unit 41.
  • control unit 48 for example, in the blanking period, which is a period during which reading is not performed on all the lines of the image sensor 14 in the rolling shutter imaging operation, the white light WLA with the light amount AL1 and the excitation light with the light amount AL1.
  • a control signal for generating EXA alternately (in a time division manner) is generated and output to the light source driving unit 33.
  • control unit 48 sets the output destination of the imaging signal input to the processor 4 when the white light WLA is generated in the white light image generation unit 43 and is input to the processor 4 when the excitation light EXA is generated.
  • a control signal for setting the output destination of the imaging signal to the fluorescence image generation unit 44 is generated and output to the selector 42.
  • the white light WLA is irradiated to the subject during the first blanking period of the image sensor 14 and the return light generated from the subject is white light WLA.
  • the reflected light is picked up by the image pickup device 14, the image pickup signal generated by the image pickup device 14 is output to the white light image generation unit 43 via the selector 42, and the white light image WIA generated based on the image pickup signal is superimposed on the image.
  • the data is output to each of the generation unit 45 and the mixed image generation unit 46.
  • the subject is irradiated with the excitation light EXA in the second blanking period of the imaging device 14 different from the first blanking period, and the subject
  • the fluorescence FLA included in the return light generated from the image is captured by the image sensor 14, and the image signal generated by the image sensor 14 is output to the fluorescence image generation unit 44 via the selector 42 and generated based on the image signal
  • the fluorescence image FIA is output to the superimposed image generation unit 45.
  • a superimposed image SIA is generated by performing processing for superimposing the WIA and the fluorescent image FIA output from the fluorescent image generation unit 44, and the generated superimposed image SIA is output to the mixed image generation unit 46. That is, according to the operation of the superimposed image generation unit 45 as described above, a superimposed image SIA in which the location where the fluorescent FLA is generated in the subject imaged by the endoscope 2 is shown in green is output to the mixed image generation unit 46.
  • An observation image is generated by performing processing for mixing a part of the image and the generated observation image is output to the display device 5.
  • the mixed image generation unit 46 extracts, for example, the pixel group WGA in accordance with the first checkered pixel arrangement based on the control signal output from the control unit 48, and the first checkered pattern.
  • a pixel group SGA is extracted in accordance with a second checkered pixel array that does not overlap with the pixel array, and an observation image is generated by mixing the extracted pixel groups WGA and SGA, and the generated observation image is displayed. Output to device 5.
  • the pixels WP and the pixels SP are alternately arranged for each pixel, and the number of pixels of the pixel WP. And the number of pixels of the pixel SP are generated.
  • FIG. 2 is a diagram illustrating an example of a pixel array of an observation image generated by the endoscope system according to the embodiment.
  • the fluorescence FLA included in the superimposed image SIA while leaving as much information as possible indicating the structure such as the unevenness of the living tissue included in the white light image WIA.
  • An observation image to which information indicating the occurrence location is added can be displayed on the display device 5. Therefore, according to this embodiment, when observing the fluorescence emitted from the living tissue, the structure of the living tissue at the location where the fluorescence is generated can be more easily grasped than before.
  • narrow-band blue light including the excitation wavelength of fluorescein is emitted from the excitation light source 52 as excitation light EXB, and white light WLA is emitted.
  • a half mirror that reflects the excitation light EXB while being transmitted is provided instead of the dichroic mirror 53, and the light in the same wavelength band as the excitation light EXB is blocked by the excitation light cut filter 15, and is irradiated with the excitation light EXB. Accordingly, visible light including fluorescent FLB, which is green light emitted from fluorescein, may be transmitted through the excitation light cut filter 15.
  • control information stored in the memory 49 is not included in the checkered pixel array as long as it is a set of pixel arrays that do not overlap each other and have periodicity.
  • Information for extracting the pixel groups WGA and SGA in accordance with other pixel arrangements may be included.
  • the control information stored in the memory 49 exists, for example, at the upper right of each area when the white light image WIA is divided into small areas of 2 ⁇ 2 pixels.
  • the pixel WP is extracted as a pixel belonging to the pixel group WGA, and each pixel SP existing on the area other than the upper right of each area when the superimposed image SIA is divided into small areas of 2 ⁇ 2 pixels is extracted as a pixel belonging to the pixel group SGA.
  • Information for making it possible may be included.
  • the mixed image generation unit 46 extracts the pixel groups WGA and SGA in accordance with such a set of pixel arrangements, for example, as shown in FIG. 3, the pixels SP and WP are arranged in the horizontal direction.
  • FIG. 3 is a diagram illustrating an example of a pixel array of an observation image generated by the endoscope system according to the embodiment.
  • the pixel group WGA is extracted from the control information stored in the memory 49 in accordance with the first vertical stripe pixel array, and the first vertical stripe pixel is extracted.
  • Information for extracting the pixel group SGA may be included in accordance with the second vertical stripe pixel array that does not overlap the array.
  • the pixel group WGA is extracted from the control information stored in the memory 49 in accordance with the first horizontal stripe pixel arrangement, and the first horizontal stripe pixel is also extracted.
  • Information for extracting the pixel group SGA may be included in accordance with the second horizontal stripe pixel array that does not overlap the array.
  • FIG. 5 is a diagram illustrating an example of a pixel array of an observation image generated by the endoscope system according to the embodiment.
  • the pixel SP present at the lower right of each region when the superimposed image SIA is divided into small regions of 2 ⁇ 2 pixels is included. Extract the pixels as belonging to the pixel group SGA, and extract the pixels WP that exist outside the lower right of each area when the white light image WIA is divided into small areas of 2 ⁇ 2 pixels as pixels belonging to the pixel group WGA. Information may be included.
  • the mixed image generation unit 46 extracts the pixel groups WGA and SGA according to such a set of pixel arrangements, for example, as shown in FIG. 6, only the pixel WP is an odd-numbered pixel in the horizontal direction.
  • FIG. 6 is a diagram illustrating an example of a pixel array of an observation image generated by the endoscope system according to the embodiment.
  • the control information stored in the memory 49 includes information indicating two or more sets of pixel arrays used for generating an observation image by the mixed image generation unit 46.
  • an instruction for displaying a desired observation image corresponding to one set of pixel arrangements of the two or more sets of pixel arrangements is given at the input I / F 47, and in accordance with the one set of pixel arrangements.
  • a control signal for extracting the pixel groups WGA and SGA may be output from the control unit 48 to the mixed image generation unit 46.
  • an instruction for displaying an observation image in which the visibility of the location where the fluorescent FLA is generated is more important than the visibility of the structure of the living tissue is given at the input I / F 47.
  • an observation image having a pixel array as shown in FIG. 3 can be generated and displayed on the display device 5.
  • an instruction for displaying an observation image in which the visibility of the structure of the living tissue is more important than the visibility of the location where the fluorescent FLA is generated is given at the input I / F 47.
  • an observation image having a pixel array as shown in FIG. 6 can be generated and displayed on the display device 5.
  • FIG. 5 An observation image having a pixel array as shown in any of 5 can be generated and displayed on the display device 5.
  • control unit 48 outputs a control signal for extracting the pixel groups WGA and SGA to the mixed image generation unit 46 so that the pixel WP and the pixel SP have different numbers of pixels.
  • a control signal for setting the value of ⁇ in the formula (1) to a value corresponding to the difference in the number of pixels may be output to the superimposed image generation unit 45.
  • the control unit 48 outputs a control signal for extracting the pixel groups WGA and SGA to the mixed image generation unit 46 so that the number of pixels SP is three times the number of pixels WP.
  • a control signal for setting the value of ⁇ in the above formula (1) to 1/3 may be output to the superimposed image generation unit 45.
  • control unit 48 outputs a control signal for extracting the pixel groups WGA and SGA to the mixed image generation unit 46 so that the number of pixels WP is three times the number of pixels SP.
  • a control signal for setting the value of ⁇ in Equation (1) to 3 may be output to the superimposed image generation unit 45.
  • control unit 48 outputs a control signal for extracting the pixel groups WGA and SGA to the mixed image generation unit 46 so that the pixel WP and the pixel SP have different numbers of pixels.
  • a control signal for setting the light amount of the white light WLA and the light amount of the excitation light EXA to a light amount corresponding to the difference in the number of pixels may be output to the light source driving unit 33.
  • the control unit 48 outputs a control signal for extracting the pixel groups WGA and SGA to the mixed image generation unit 46 so that the number of pixels SP is three times the number of pixels WP.
  • a control signal for making the light amount of the white light WLA three times the light amount of the excitation light EXA may be output to the light source driving unit 33.
  • the light amount of the excitation light EXA emitted from the light emitting unit 31 is set to the light amount AL2, and the light amount of the white light WLA emitted from the light emitting unit 31 is equal to the light amount AL2.
  • the light amount AL3, which is three times the light amount, is set.
  • control unit 48 outputs a control signal for extracting the pixel groups WGA and SGA to the mixed image generation unit 46 so that the number of pixels WP is three times the number of pixels SP.
  • a control signal for making the light amount of the excitation light EXA three times the light amount of the white light WLA may be output to the light source driving unit 33.
  • the control unit 48 the light amount of the white light WLA emitted from the light emitting unit 31 is set to the light amount AL4, and the light amount of the excitation light EXA emitted from the light emitting unit 31 is the light amount AL4.
  • the light amount AL5 that is three times the light amount is set.
  • a set of pixel arrays used for extraction of the pixel groups WGA and SGA is a type of surgery performed on the subject and / or a fluorescent agent administered to the subject. It may be determined according to the type of
  • an instruction to select the type of operation and / or the type of fluorescent agent is included in the input I / F 47 when information indicating a plurality of initial settings associated with the pixel array used for extraction of And a control signal for extracting the pixel groups WGA and SGA using a set of pixel arrays included in the initial setting corresponding to the instruction is output from the control unit 48 to the mixed image generation unit 46. May be.
  • the first checkered pattern is set according to the initial setting corresponding to the instruction.
  • a control signal for causing the pixel group WGA to be extracted in accordance with the pixel array and for extracting the pixel group SGA in accordance with the second checkered pixel array that does not overlap with the first checkered pixel array is provided in the control unit 48.
  • the mixed image generation unit 46 may include the function of the superimposed image generation unit 45.
  • the pixel group SGA can be generated. In this manner, an observation image in which the pixel groups WGA and SGA are mixed is generated, and the generated observation image is output to the display device 5.
  • the contour enhancement processing for enhancing the contour of the white light image WIA output from the white light image generation unit 43 is performed, and the contour enhancement processing is performed.
  • An edge enhancement processing unit 61 configured to output the white light image WIA subjected to the above to the mixed image generation unit 46 may be further provided (in the processor 4).
  • a sharpening filter having a size of 3 ⁇ 3 pixels as illustrated in FIG. 8 is applied to the pixels WP included in the white light image WIA output from the white light image generation unit 43.
  • the contour emphasis processing unit 61 may perform the contour emphasis processing that applies the spatial filter SFA.
  • FIG. 7 is a diagram illustrating an example of a configuration when an observation image is generated using a white light image that has been subjected to contour enhancement processing by the contour enhancement processing unit.
  • FIG. 8 is a diagram illustrating an example of a spatial filter that can be used in the contour enhancement processing by the contour enhancement processing unit in FIG. 7.
  • the contour enhancement processing for enhancing the contour of the observation image output from the mixed image generation unit 46 is performed, and the contour enhancement processing is performed.
  • An edge enhancement processing unit 62 configured to output the observation image to the display device 5 may be further provided (in the processor 4).
  • the contour emphasis processing unit 62 may perform the contour emphasis processing that applies the spatial filter SFB that is the sharpening filter.
  • FIG. 10 is performed on an observation image including the pixel group WGA extracted in accordance with the checkered pixel arrangement as illustrated in FIG. Is desirable.
  • FIG. 9 is a diagram illustrating an example of a configuration when the contour enhancement processing by the contour enhancement processing unit is directly performed on the observation image.
  • FIG. 10 is a diagram illustrating an example of a spatial filter that can be used in the contour enhancement processing by the contour enhancement processing unit in FIG. 9.
  • the present embodiment is not limited to the one applied to the endoscope system 1 as shown in FIG. 1, and for example, substantially the same as the endoscope system 1A as shown in FIG. Applied.
  • the endoscope system 1A is configured to be inserted into a body cavity of a subject and to image a subject such as a living tissue existing in the body cavity and output an imaging signal.
  • Various processes are performed on the endoscope 2A that has been made, the light source device 3 that is configured to supply the light to be irradiated to the subject to the endoscope 2A, and the imaging signal that is output from the endoscope 2A.
  • the processor 4A is configured to generate and output an observation image by performing the processing, and the display device 5 is configured to display the observation image output from the processor 4A on the screen.
  • FIG. 11 is a diagram illustrating a configuration of a main part of the endoscope system according to the first modification of the embodiment.
  • the endoscope 2A includes an insertion portion 21A formed in an elongated shape that can be inserted into a body cavity of a subject, and an operation portion 22 provided on the proximal end side of the insertion portion 21A. , And is configured.
  • a light guide 11 for transmitting light supplied from the light source device 3 is inserted into the insertion portion 21A.
  • the illumination lens 12 and the objective lens 13 are provided at the distal end of the insertion portion 21A. Further, imaging elements 14A and 14B, a spectroscopic optical system 16, and an excitation light cut filter 17 are provided at the distal end portion of the insertion portion 21A.
  • the image pickup device 14A includes, for example, a color CMOS image sensor having a primary color or complementary color filter attached to the image pickup surface, and is configured to perform an image pickup operation according to the image pickup device drive signal output from the processor 4A. ing.
  • the image sensor 14A is configured to capture an image of light transmitted through the spectroscopic optical system 16 and generate an image signal, and to output the generated image signal to the processor 4A.
  • the image pickup device 14B includes, for example, a monochrome CMOS image sensor, and is configured to perform an image pickup operation according to an image pickup device drive signal output from the processor 4A.
  • the imaging element 14B is configured to capture the light reflected by the spectroscopic optical system 16 and pass through the excitation light cut filter 17 to generate an imaging signal, and to output the generated imaging signal to the processor 4A. ing.
  • the spectroscopic optical system 16 includes, for example, a dichroic prism. Further, the spectroscopic optical system 16 transmits light having a wavelength band of less than 700 nm out of light incident through the objective lens 13 to the image sensor 14A side, and transmits light having a wavelength band of 700 nm or more to the excitation light cut filter 17. It is configured to have optical characteristics that reflect to the side.
  • the excitation light cut filter 17 is disposed on the optical path from the spectroscopic optical system 16 to the image sensor 14B.
  • the excitation light cut filter 17 blocks the same wavelength band as that of the excitation light EXA among the wavelength bands included in the light reflected by the spectroscopic optical system 16, and is different from the wavelength band of the excitation light EXA. It is formed with an optical characteristic that transmits a wavelength band. That is, the excitation light cut filter 17 is formed to have an optical characteristic that transmits the fluorescent FLA emitted from the fluorescent agent in response to the irradiation of the excitation light EXA.
  • the imaging unit of this modification includes the imaging elements 14A and 14B, the spectroscopic optical system 16, and the excitation light cut filter 17.
  • the processor 4A includes an image sensor driving unit 41A, a white light image generation unit 43A, a fluorescence image generation unit 44A, a superimposed image generation unit 45A, a mixed image generation unit 46A, and an input.
  • An I / F 47 and a control unit 48A are included.
  • each unit of the processor 4A may be configured as an individual electronic circuit, or configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). Also good.
  • the image sensor drive unit 41A is configured to generate and output an image sensor drive signal for driving the image sensors 14A and 14B based on the control signal output from the control unit 48A.
  • the white light image generation unit 43A generates a white light image WIA based on the imaging signal output from the imaging element 14A, and the generated white light image WIA is respectively used for the superimposed image generation unit 45 and the mixed image generation unit 46. It is configured to output to. That is, the white light image generation unit 43A is configured to generate a white light image WIA that is an image corresponding to the reflected light of the white light WLA imaged by the imaging element 14A.
  • the fluorescence image generation unit 44A is configured to generate the fluorescence image FIA based on the imaging signal output from the image sensor 14B and to output the generated fluorescence image FIA to the superimposed image generation unit 45. That is, the fluorescence image generation unit 44A is configured to generate a fluorescence image FIA that is an image corresponding to the reflected light of the fluorescence FLA imaged by the imaging element 14B.
  • the superimposed image generation unit 45A is configured to be able to perform an operation according to a control signal output from the control unit 48A. In addition, the superimposed image generation unit 45A performs superimposition by performing processing for superimposing the white light image WIA output from the white light image generation unit 43A and the fluorescent image FIA output from the fluorescent image generation unit 44A. An image SIA is generated, and the generated superimposed image SIA is output to the mixed image generation unit 46A. In other words, the superimposed image generation unit 45A is configured to generate a superimposed image SIA that is an image showing the location where the fluorescent FLA is generated in the subject imaged by the endoscope 2A.
  • the mixed image generation unit 46A based on the control signal output from the control unit 48A, a part of the white light image WIA output from the white light image generation unit 43A and the superimposed image SIA output from the superimposed image generation unit 45A.
  • An observation image is generated by performing processing for mixing a part of the image and the generated observation image is output to the display device 5.
  • the control unit 48A can generate a control signal for performing an operation according to an instruction from the input I / F 47 and output the control signal to the light source driving unit 33, the superimposed image generation unit 45A, and the mixed image generation unit 46A. It is configured as follows.
  • the control unit 48A includes a memory 49A that stores control information used when controlling each unit of the endoscope system 1A.
  • control unit 48A converts the pixels WP included in the white light image WIA and the pixels SP included in the superimposed image SIA into a set of pixel arrays that do not overlap each other and have periodicity. In accordance with this, a control signal for extraction is generated and output to the mixed image generation unit 46A.
  • a broadband light source configured to emit broadband light that is light having a wavelength band from at least a blue region to a near infrared region
  • the broadband light An optical filter having an optical characteristic that transmits the same wavelength band as the wavelength band of the white light WLA and the excitation light EXA among the wavelength bands included in the light source device 3 while blocking other wavelength bands. It may be provided.
  • the user After connecting each part of the endoscope system 1A and turning on the power, the user operates the fluorescence observation start switch of the input I / F 47 to give an instruction to start fluorescence observation of the subject, for example. This is performed for the control unit 48A. Further, the user places the distal end portion of the insertion portion 21A in the vicinity of a desired subject existing in the body cavity by inserting the insertion portion 21A into the body cavity of the subject.
  • control unit 48A When the power of the processor 4A is turned on, the control unit 48A reads control information from the memory 49A, and according to the read control information, the pixel WP included in the white light image WIA and the pixel included in the superimposed image SIA A control signal for causing the SPs to be extracted in accordance with a set of pixel arrays that do not overlap each other and has periodicity is generated and output to the mixed image generation unit 46A.
  • the control unit 48A causes the imaging elements 14A and 14B to perform a rolling shutter type imaging operation.
  • a control signal is generated and output to the image sensor driving unit 41A, and a control signal for simultaneously generating the white light WLA having the light amount AL1 and the excitation light EXA having the light amount AL1 is generated and output to the light source driving unit 33.
  • the subject is simultaneously irradiated with the white light WLA and the excitation light EXA, and the reflected light of the white light WLA included in the return light generated from the subject is reflected by the imaging element 14A.
  • An image is captured and the fluorescence FLA included in the return light is imaged by the image sensor 14B.
  • the imaging signal generated by the imaging device 14A is output to the white light image generation unit 43A, and the imaging signal generated by the imaging device 14B is converted to the fluorescence image generation unit 44A.
  • the white light image WIA generated by the white light image generating unit 43A is output to the superimposed image generating unit 45A and the mixed image generating unit 46A, and the fluorescent image FIA generated by the fluorescent image generating unit 44A is generated as the superimposed image. To 45A.
  • a superimposed image SIA is generated by performing processing for superimposing the WIA and the fluorescent image FIA output from the fluorescent image generation unit 44A, and the generated superimposed image SIA is output to the mixed image generation unit 46A.
  • the mixed image generation unit 46A based on the control signal output from the control unit 48A, a part of the white light image WIA output from the white light image generation unit 43A and the superimposed image SIA output from the superimposed image generation unit 45A. 2 is generated, an observation image having a pixel array as illustrated in FIG. 2 is generated, and the generated observation image is output to the display device 5.
  • an observation image similar to that of the endoscope system 1 can be generated and displayed on the display device 5. Therefore, according to this modification, when observing the fluorescence emitted from the living tissue, the structure of the living tissue at the location where the fluorescence is generated can be grasped more easily than before.
  • the present embodiment is not limited to the one applied to the endoscope system 1 illustrated in FIG. 1, and is applied to the endoscope system 1 ⁇ / b> B as illustrated in FIG. 12 in substantially the same manner.
  • the endoscope system 1B is configured to be inserted into a body cavity of a subject and to image a subject such as a living tissue existing in the body cavity and output an imaging signal.
  • Various processes are performed on the endoscope 2B that has been configured, the light source device 3B that is configured to supply the light to be irradiated to the subject to the endoscope 2B, and the imaging signal that is output from the endoscope 2B.
  • It has a processor 4B configured to generate and output an observation image by applying, and a display device 5 configured to display the observation image output from the processor 4B on the screen.
  • FIG. 12 is a diagram illustrating a configuration of a main part of an endoscope system according to a second modification of the embodiment.
  • the endoscope 2B includes an elongated optical tube 21B and a camera unit 22B that can be attached to and detached from the proximal end portion of the optical tube 21B.
  • the optical visual tube 21B has a function as an insertion portion that can be inserted into a body cavity of a subject.
  • a light guide 11 for transmitting light supplied from the light source device 3B is inserted into the optical viewing tube 21B.
  • An illumination lens 12 and an objective lens 13 are provided at the tip of the optical viewing tube 21B.
  • a relay lens 18 having a plurality of lenses LE for transmitting light incident from the objective lens 13 is provided inside the optical viewing tube 21B. That is, the relay lens 18 has a function as a transmission optical system that transmits light incident from the objective lens 13.
  • an eyepiece lens 19 is provided at the proximal end portion of the optical viewing tube 21B so that an optical image of a subject corresponding to the light transmitted by the relay lens 18 can be observed with the naked eye. .
  • the camera unit 22B has a function as an imaging unit, and includes an excitation light cut filter 23, a dichroic prism 24, and imaging elements 25A, 25B, and 25C.
  • the excitation light cut filter 23 is disposed in front of the dichroic prism 24 and blocks the same wavelength band as the excitation light EXA out of the wavelength bands included in the light emitted through the eyepiece lens 19.
  • the optical characteristic is such that it transmits a wavelength band different from the wavelength band of the excitation light EXA. That is, the excitation light cut filter 23 is formed to have an optical characteristic that transmits the fluorescent FLA emitted from the fluorescent agent in response to the irradiation of the excitation light EXA.
  • the dichroic prism 24 separates the light emitted through the excitation light cut filter 23 into light in three wavelength bands, that is, light in the red region to near infrared region, light in the green region, and light in the blue region. Are emitted.
  • the image sensor 25A includes, for example, a monochrome CMOS image sensor, and is configured to perform an image capturing operation according to an image sensor drive signal output from the processor 4B.
  • the imaging element 25A is configured to image blue light emitted through the dichroic prism 24, and generate and output an imaging signal corresponding to the captured blue light.
  • the imaging element 25B includes, for example, a monochrome CMOS image sensor, and is configured to perform an imaging operation according to an imaging element drive signal output from the processor 4B.
  • the image sensor 25B is configured to image green light emitted through the dichroic prism 24, and generate and output an image signal corresponding to the captured green light.
  • the image sensor 25C includes, for example, a monochrome CMOS image sensor, and is configured to perform an imaging operation according to an image sensor drive signal output from the processor 4B.
  • the image sensor 25C captures red to near-infrared light emitted through the dichroic prism 24, and generates and outputs an image signal corresponding to the captured red to near-infrared light. It is configured.
  • the light source device 3B includes, for example, a light emitting unit 31B, a condenser lens 32, and a light source driving unit 33B as shown in FIG.
  • the light emitting unit 31B includes a broadband light source 51B and an optical filter 54.
  • the broadband light source 51B includes, for example, a lamp that emits broadband light that is light having a wavelength band from at least a blue region to a near infrared region.
  • the broadband light source 51B is configured to emit broadband light in accordance with the drive signal output from the light source driving unit 33B.
  • the optical filter 54 transmits the same wavelength band as the wavelength band of the excitation light EXA among the wavelength bands included in the broadband light emitted from the broadband light source 51B, and transmits the blue region and the green region with a transmittance of about 10%. It is formed with optical characteristics that allow it to pass through. Further, the optical filter 54 has an optical characteristic that blocks a wavelength band other than the wavelength band of the blue band, the green band, and the excitation light EXA among the wavelength bands included in the broadband light emitted from the broadband light source 51B. Is formed.
  • the light emitting unit 31B causes the broadband light source 51B to emit light according to the drive signal output from the light source driving unit 33B, whereby the reference light RLA, which is light having two wavelength bands of the blue region and the green region, The excitation light EXA can be generated simultaneously.
  • the light emitting unit 31B is configured to be able to emit the reference light RLA and the excitation light EXA to the condenser lens 32.
  • the light emitting unit 31B of this modification may be configured to include, for example, a blue LED that emits blue light, a green LED that emits green light, and an LD that emits excitation light EXA.
  • the light emitting unit 31B of this modification has, for example, a white LED that emits white light WLA and an optical characteristic that transmits only the same wavelength band as the reference light RLA among the wavelength bands included in the white light WLA.
  • the optical filter may include an LD that emits excitation light EXA.
  • the light emitting unit 31B according to the present modification transmits the broadband light source 51B and the blue region and the green region of each wavelength band included in the broadband light emitted from the broadband light source 51B with a transmittance of about 10%.
  • the optical filter having an optical characteristic that cuts off the wavelength band of the light source and the LD that emits the excitation light EXA may be included.
  • the light source driving unit 33B is configured to generate a light source driving signal for driving the broadband light source 51B based on a control signal output from the processor 4B and output the light source driving signal to the light emitting unit 31B.
  • the light source device 3B can emit the excitation light EXA for exciting the fluorescent agent to be administered to the subject and the reference light RLA that is illumination light for illuminating the body cavity of the subject. It is configured as follows.
  • the processor 4B includes an image sensor driving unit 41B, a reference light image generation unit 43B, a fluorescence image generation unit 44B, a mixed image generation unit 46B, an input I / F 47, and a control unit. 48B.
  • each unit of the processor 4B may be configured as an individual electronic circuit, or configured as a circuit block in an integrated circuit such as an FPGA (Field Programmable Gate Array). Also good.
  • the image sensor drive unit 41B is configured to generate and output an image sensor drive signal for driving the image sensors 25A, 25B, and 25C based on the control signal output from the control unit 48B.
  • the reference light image generation unit 43B is configured to generate the reference light image RIA based on the imaging signals output from the imaging elements 25A and 25B and to output the generated reference light image RIA to the mixed image generation unit 46B.
  • the reference light image generation unit 43B is configured to generate a reference light image RIA that is an image according to the reflected light of the reference light RLA imaged by the imaging elements 25A and 25B.
  • the reference light image RIA is a cyan color obtained by synthesizing a blue image obtained according to the imaging signal output from the imaging element 25A and a green image obtained according to the imaging signal output from the imaging element 25B. Generated as an image.
  • the fluorescence image generation unit 44B is configured to generate the fluorescence image FIA based on the imaging signal output from the imaging element 25C, and to output the generated fluorescence image FIA to the mixed image generation unit 46B.
  • the fluorescence image FIA generated by the fluorescence image generation unit 44B is generated as an image showing the location where the fluorescence FLA is generated in the subject imaged by the endoscope 2 in a color different from the color of the reference light image RIA. Shall be. That is, the fluorescence image generation unit 44B is configured to generate a fluorescence image FIA that is an image showing a location where the fluorescence FLA is generated in the subject imaged by the endoscope 2B.
  • the mixed image generation unit 46B based on the control signal output from the control unit 48B, a part of the reference light image RIA output from the reference light image generation unit 43B and the fluorescent image FIA output from the fluorescent image generation unit 44B.
  • An observation image is generated by performing processing for mixing a part of the image and the generated observation image is output to the display device 5.
  • the control unit 48B is configured to generate a control signal for performing an operation according to an instruction from the input I / F 47 and output the control signal to the light source driving unit 33B and the mixed image generation unit 46B.
  • the control unit 48B includes a memory 49B that stores control information used when controlling each unit of the endoscope system 1B.
  • the control unit 48B sets the pixel RP included in the reference light image RIA and the pixel FP included in the fluorescence image FIA into a set of pixel arrays that do not overlap each other and have periodicity according to the control information read from the memory 49B. In accordance with this, a control signal for extraction is generated and output to the mixed image generation unit 46B.
  • the user After connecting each part of the endoscope system 1B and turning on the power, the user operates the fluorescence observation start switch of the input I / F 47 to give an instruction to start fluorescence observation of the subject. This is performed for the control unit 48B. Further, the user inserts the optical visual tube 21B into the body cavity of the subject, thereby disposing the distal end portion of the optical visual tube 21B in the vicinity of a desired subject existing in the body cavity.
  • control unit 48B When the power of the processor 4B is turned on, the control unit 48B reads control information from the memory 49B, and according to the read control information, the pixel RP included in the reference light image RIA and the pixel included in the fluorescence image FIA A control signal for causing the FP to be extracted in accordance with a set of pixel arrays that do not overlap with each other and has periodicity is generated and output to the mixed image generation unit 46B.
  • control unit 48B corresponds to, for example, a first pixel array in a set of pixel arrays that do not overlap each other and have periodicity among the pixels included in the reference light image RIA.
  • a pixel group RGA which is a plurality of pixels RP existing at a position where the pixel image is to be extracted, and a position corresponding to the second pixel array of the set of pixel arrays from among the pixels included in the fluorescence image FIA
  • a control signal for extracting the pixel group FGA which is a plurality of pixels FP existing in the, is generated and output to the mixed image generation unit 46B.
  • the control unit 48B When the power of the processor 4B is turned on and an instruction from the fluorescence observation start switch of the input I / F 47 is detected, the control unit 48B causes the imaging elements 25A, 25B, and 25C to perform a rolling shutter type imaging operation. A control signal for generating broadband light with a light amount AL1 is generated and output to the light source driving unit 33B.
  • the reference light RLA and the excitation light EXA are simultaneously irradiated on the subject, and the reflected light of the reference light RLA included in the return light generated from the subject is reflected on the imaging element 25A and An image is captured by 25B, and the fluorescence FLA contained in the return light is imaged by the image sensor 25C.
  • the imaging signals generated by the imaging elements 25A and 25B are output to the reference light image generation unit 43B, and the imaging signal generated by the imaging element 25C is generated as a fluorescence image.
  • the reference light image RIA generated by the reference light image generation unit 43B and the fluorescent image FIA generated by the fluorescent image generation unit 44B are output to the mixed image generation unit 46B.
  • the mixed image generation unit 46B based on the control signal output from the control unit 48B, a part of the reference light image RIA output from the reference light image generation unit 43B and the fluorescent image FIA output from the fluorescent image generation unit 44B.
  • An observation image is generated by performing processing for mixing a part of the image and the generated observation image is output to the display device 5.
  • the mixed image generation unit 46B extracts, for example, the pixel group RGA in accordance with the first checkered pixel array based on the control signal output from the control unit 48B, and the first checkered pattern.
  • the pixel group FGA is extracted in accordance with the second checkered pixel array that does not overlap with the pixel array, and the extracted pixel groups RGA and FGA are mixed to generate an observation image, and the generated observation image is displayed. Output to device 5.
  • the pixels RP and the pixels FP are alternately arranged for each pixel, and the number of pixels of the pixels RP. And an observation image in which the number of pixels of the pixel FP is the same.
  • FIG. 13 is a diagram illustrating an example of a pixel array of an observation image generated by the endoscope system according to the second modification of the embodiment.
  • the fluorescence FLA included in the fluorescence image FIA is retained as much as possible while indicating information indicating the structure such as the unevenness of the living tissue included in the reference light image RIA.
  • An observation image to which information indicating the occurrence location is added can be displayed on the display device 5. Therefore, according to this modification, when observing the fluorescence emitted from the living tissue, the structure of the living tissue at the location where the fluorescence is generated can be grasped more easily than before.
  • the white light WLA and the excitation light EXA are included in the return light generated from the subject irradiated in time division.
  • the reflected light of the white light WLA and the fluorescent light FLA are imaged by one image sensor, and the white light image WIA and the superimposed image SIA are generated based on the image signal output from the one image sensor, and the white light image WIA and An observation image in which the superimposed image SIA is mixed may be generated.
  • white light included in return light generated from a subject irradiated with white light WLA and excitation light EXA at the same time For example, white light included in return light generated from a subject irradiated with white light WLA and excitation light EXA at the same time.
  • Reflected light and fluorescence FLA of WLA are imaged by two image sensors, and a white light image WIA and a superimposed image SIA are generated based on an image signal output from the two image sensors, and the white light image WIA and the superimposed image are generated.
  • An observation image obtained by mixing the images SIA may be generated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システムは、蛍光薬剤を励起させるための励起光と、照明光と、を発する光源部と、蛍光薬剤が投与された被検体の体腔内に存在する被写体に対する励起光の照射に応じて発生する蛍光と、被写体に対する照明光の照射に応じて発生する反射光と、をそれぞれ撮像する撮像部と、撮像部により撮像された反射光に応じた画像である第１の画像と、被写体における蛍光の発生箇所を示す画像である第２の画像と、を相互に重複せずかつ周期性を有する画素配列で混合した観察画像を生成するように構成された混合画像生成部と、を有する。

Description

内視鏡システム
　本発明は、内視鏡システムに関し、特に、蛍光観察に用いられる内視鏡システムに関するものである。
　医療分野においては、例えば、被検体に投与された蛍光薬剤を励起するための励起光を当該被検体の体腔内に存在する所望の被写体に照射した際の蛍光の発生状態に基づき、当該所望の被写体に病変部位が含まれているか否か等を診断するような観察手法である蛍光観察が従来行われている。そして、例えば、国際公開番号ＷＯ２００５／０４８８２６号には、前述のような蛍光観察に用いられるセンチネルリンパ節検出装置が開示されている。
　具体的には、国際公開番号ＷＯ２００５／０４８８２６号には、蛍光色素が予め注入された腫瘍近傍におけるリンパ節を含む生体観察部に対して励起光を照射するとともに、当該励起光の照射に応じて当該生体観察部から発せられる蛍光を撮像して蛍光画像を得るような構成が開示されている。また、国際公開番号ＷＯ２００５／０４８８２６号には、励起光の照射に応じて生体観察部から発せられる蛍光を撮像して得られる蛍光画像と、当該生体観察部に照射された当該励起光の反射光を撮像して得られる通常画像と、を重畳した観察画像を取得するとともに、当該取得した観察画像の輝度及び／またはコントラストを調整して画像表示装置に表示するような構成が開示されている。
　しかし、国際公開番号ＷＯ２００５／０４８８２６号に開示された構成によれば、蛍光画像と通常画像とを単に重畳していることに起因し、当該通常画像に本来含まれている情報である生体組織の凹凸等の構造を示す情報が失われてしまう場合がある、という問題点が生じている。
　すなわち、国際公開番号ＷＯ２００５／０４８８２６号に開示された構成によれば、生体組織から発せられる蛍光を観察する際に、蛍光の発生箇所における生体組織の構造を把握することが困難な観察画像が表示されてしまう場合がある、という前述の問題点に応じた課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることが可能な内視鏡システムを提供することを目的としている。
　本発明の一態様の内視鏡システムは、被検体に投与される蛍光薬剤を励起させるための励起光と、前記被検体の体腔内を照明するための照明光と、を発することができるように構成された光源部と、前記蛍光薬剤が投与された前記被検体の体腔内に存在する被写体に対する前記励起光の照射に応じて発生する蛍光と、前記被写体に対する前記照明光の照射に応じて発生する反射光と、をそれぞれ撮像するように構成された撮像部と、前記撮像部により撮像された前記反射光に応じた画像である第１の画像と、前記被写体における前記蛍光の発生箇所を示す画像である第２の画像と、を相互に重複せずかつ周期性を有する画素配列で混合した観察画像を生成するように構成された混合画像生成部と、を有する。
実施形態に係る内視鏡システムの要部の構成を示す図。 実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図。 実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図。 実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図。 実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図。 実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図。 輪郭強調処理部による輪郭強調処理が施された白色光画像を用いて観察画像を生成する際の構成の一例を示す図。 図７の輪郭強調処理部による輪郭強調処理において利用可能な空間フィルタの一例を示す図。 輪郭強調処理部による輪郭強調処理を観察画像に対して直接施す際の構成の一例を示す図。 図９の輪郭強調処理部による輪郭強調処理において利用可能な空間フィルタの一例を示す図。 実施形態の第１の変形例に係る内視鏡システムの要部の構成を示す図。 実施形態の第２の変形例に係る内視鏡システムの要部の構成を示す図。 実施形態の第２の変形例に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図。
　以下、本発明の実施形態について、図面を参照しつつ説明を行う。
　図１から図１３は、本発明の実施形態に係るものである。
　内視鏡システム１は、例えば、図１に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡２と、当該被写体に照射される光を内視鏡２に供給するように構成された光源装置３と、内視鏡２から出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ４と、プロセッサ４から出力される観察画像を画面上に表示するように構成された表示装置５と、を有している。図１は、実施形態に係る内視鏡システムの要部の構成を示す図である。
　内視鏡２は、例えば、図１に示すように、被検体の体腔内に挿入可能な細長形状に形成された挿入部２１と、挿入部２１の基端側に設けられた操作部２２と、を有して構成されている。また、内視鏡２は、ライトガイドケーブル２７を介し、光源装置３に対して着脱可能な構成を具備している。また、内視鏡２は、操作部２２から延設された信号ケーブル２８を介し、プロセッサ４に対して着脱可能な構成を具備している。
　挿入部２１及びライトガイドケーブル２７の内部には、光源装置３から供給される光を伝送するためのライトガイド１１が挿通されている。
　ライトガイド１１の出射端部は、図１に示すように、挿入部２１の先端部における照明レンズ１２の近傍に配置されている。また、ライトガイド１１の入射端部は、図１に示すように、ライトガイドケーブル２７を介して内視鏡２に接続されている光源装置３における集光レンズ３２の近傍に配置されている。
　挿入部２１の先端部には、ライトガイド１１により伝送された光を外部へ出射するための照明レンズ１２と、外部から入射される光を受光するための対物レンズ１３と、が設けられている。また、挿入部２１の先端部には、撮像素子１４と、対物レンズ１３から撮像素子１４に至るまでの光路上に配置された励起光カットフィルタ１５と、が設けられている。
　撮像素子１４は、例えば、原色系または補色系のカラーフィルタを撮像面に取り付けたカラーＣＭＯＳイメージセンサを具備し、プロセッサ４から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子１４は、励起光カットフィルタ１５を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ４へ出力するように構成されている。
　励起光カットフィルタ１５は、例えば、対物レンズ１３を経て出射される光に含まれる各波長帯域のうち、励起光ＥＸＡ（後述）と同じ波長帯域を遮断するとともに、励起光ＥＸＡと異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ１５は、励起光ＥＸＡの照射に応じて蛍光薬剤から発せられる蛍光ＦＬＡ（後述）を透過させるような光学特性を具備して形成されている。
　すなわち、本実施形態の撮像部は、撮像素子１４と、励起光カットフィルタ１５と、を有して構成されている。
　操作部２２は、挿入部２１の基端側に設けられているとともに、術者等のユーザが把持可能な形状を具備して形成されている。また、操作部２２には、例えば、ユーザの操作に応じた種々の指示をプロセッサ４に対して行うことが可能な１つ以上のスイッチであるスコープスイッチ（不図示）が設けられている。
　光源装置３は、例えば、図１に示すように、発光部３１と、集光レンズ３２と、光源駆動部３３と、を有して構成されている。
　発光部３１は、白色光源５１と、励起光源５２と、ダイクロイックミラー５３と、を有して構成されている。
　白色光源５１は、例えば、キセノンランプ、白色ＬＥＤ、または、赤色、緑色及び青色の３色のＬＥＤのいずれかを具備して構成されている。また、白色光源５１は、光源駆動部３３から出力される光源駆動信号に応じ、例えば、赤色域、緑色域及び青色域の各波長帯域を含む光である白色光ＷＬＡを発生するように構成されている。なお、本実施形態においては、白色光源５１の代わりに、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するランプを具備して構成された広帯域光源と、当該広帯域光に含まれる各波長帯域のうちの白色光ＷＬＡの波長帯域と同じ波長帯域を透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、が光源装置３に設けられていてもよい。
　励起光源５２は、例えば、ＬＤ（レーザダイオード）を具備して構成されている。また、励起光源５２は、光源駆動部３３から出力される光源駆動信号に応じ、例えば、被検体に投与される所定の蛍光薬剤の励起波長を含む狭帯域な光である励起光ＥＸＡを発生するように構成されている。なお、以降においては、特に言及の無い限り、被検体に投与される蛍光薬剤がＩＣＧ（インドシアニングリーン）であり、励起光ＥＸＡがＩＣＧの励起波長を含む狭帯域な近赤外光であり、かつ、励起光ＥＸＡよりも長波長側の波長帯域に属する近赤外光である蛍光ＦＬＡがＩＣＧから発せられるものとして説明を行う。
　ダイクロイックミラー５３は、例えば、白色光源５１から発せられる白色光ＷＬＡを透過させて集光レンズ３２側へ出射するとともに、励起光源５２から発せられる励起光ＥＸＡを反射して集光レンズ３２側へ出射するような光学特性を具備して構成されている。
　すなわち、発光部３１は、光源駆動部３３から出力される駆動信号に応じて白色光源５１を発光させることにより、白色光ＷＬＡを発生することができるように構成されている。また、発光部３１は、光源駆動部３３から出力される駆動信号に応じて励起光源５２を発光させることにより、励起光ＥＸＡを発生することができるように構成されている。また、発光部３１は、白色光ＷＬＡ及び励起光ＥＸＡを集光レンズ３２へ出射することができるように構成されている。
　集光レンズ３２は、発光部３１から出射される光を集光してライトガイド１１の入射端部へ出射するように構成されている。
　光源駆動部３３は、プロセッサ４から出力される制御信号に基づき、白色光源５１及び励起光源５２を駆動させるための光源駆動信号を生成して発光部３１へ出力するように構成されている。
　すなわち、光源装置３は、被検体に投与される蛍光薬剤を励起させるための励起光ＥＸＡと、当該被検体の体腔内を照明するための照明光である白色光ＷＬＡと、を発することができるように構成されている。
　プロセッサ４は、例えば、図１に示すように、撮像素子駆動部４１と、セレクタ４２と、白色光画像生成部４３と、蛍光画像生成部４４と、重畳画像生成部４５と、混合画像生成部４６と、入力Ｉ／Ｆ（インターフェース）４７と、制御部４８と、を有して構成されている。なお、本実施形態によれば、例えば、プロセッサ４の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ
　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。
　撮像素子駆動部４１は、制御部４８から出力される制御信号に基づき、撮像素子１４を駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
　セレクタ４２は、制御部４８から出力される制御信号に基づき、内視鏡２から出力される撮像信号の出力先を白色光画像生成部４３または蛍光画像生成部４４のいずれかに設定するための動作を行うように構成されている。
　白色光画像生成部４３は、セレクタ４２を経て出力される撮像信号に基づいて白色光画像ＷＩＡを生成するとともに、当該生成した白色光画像ＷＩＡを重畳画像生成部４５及び混合画像生成部４６の各々へ出力するように構成されている。すなわち、白色光画像生成部４３は、撮像素子１４により撮像された白色光ＷＬＡの反射光に応じた画像である白色光画像ＷＩＡを生成するように構成されている。
　蛍光画像生成部４４は、セレクタ４２を経て出力される撮像信号に基づいて蛍光画像ＦＩＡを生成するとともに、当該生成した蛍光画像ＦＩＡを重畳画像生成部４５へ出力するように構成されている。すなわち、蛍光画像生成部４４は、撮像素子１４により撮像された蛍光ＦＬＡに応じた画像である蛍光画像ＦＩＡを生成するように構成されている。
　重畳画像生成部４５は、制御部４８から出力される制御信号に応じた動作を行うことができるように構成されている。また、重畳画像生成部４５は、白色光画像生成部４３から出力される白色光画像ＷＩＡと、蛍光画像生成部４４から出力される蛍光画像ＦＩＡと、を重畳するための処理を行うことにより重畳画像ＳＩＡを生成し、当該生成した重畳画像ＳＩＡを混合画像生成部４６へ出力するように構成されている。
　具体的には、重畳画像生成部４５は、例えば、下記数式（１）を用い、白色光画像生成部４３から出力される白色光画像ＷＩＡの一の画素位置における画素ＷＰの画素値と、蛍光画像生成部４４から出力される蛍光画像ＦＩＡの当該一の画素位置における画素ＦＰの画素値と、を重畳することにより、重畳画像ＳＩＡの当該一の画素位置における画素ＳＰの画素値を得るような処理を画像全域で行う。
　なお、下記数式（１）において、Ｒｉは画素ＷＰの赤色成分の輝度値を表し、Ｇｉは画素ＷＰの緑色成分の輝度値を表し、Ｂｉは画素ＷＰの青色成分の輝度値を表し、Ｆｉは画素ＦＰの（蛍光成分の）輝度値を表し、Ｒｏは画素ＳＰの赤色成分の輝度値を表し、Ｇｏは画素ＳＰの緑色成分の輝度値を表し、Ｂｏは画素ＳＰの青色成分の輝度値を表すものとする。また、下記数式（１）のα、β及びγは、重畳画像ＳＩＡに含まれる蛍光ＦＬＡの発生箇所の色調を規定するための重み係数を表し、例えば、重畳画像生成部４５において予め設定された固定値であってもよく、または、制御部４８からの制御信号に応じて設定される可変値であってもよい。

Figure JPOXMLDOC01-appb-I000001

　すなわち、重畳画像生成部４５は、内視鏡２により撮像された被写体における蛍光ＦＬＡの発生箇所を示す画像である重畳画像ＳＩＡを生成するように構成されている。
　混合画像生成部４６は、制御部４８から出力される制御信号に基づき、白色光画像生成部４３から出力される白色光画像ＷＩＡの一部と、重畳画像生成部４５から出力される重畳画像ＳＩＡの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力するように構成されている。なお、混合画像生成部４６において行われる処理の詳細については、後程説明する。
　入力Ｉ／Ｆ４７は、ユーザの操作に応じた指示を行うことが可能な１つ以上のスイッチ及び／またはボタンを具備して構成されている。
　制御部４８は、入力Ｉ／Ｆ４７からの指示に応じた動作を行わせるための制御信号を生成して光源駆動部３３、重畳画像生成部４５及び混合画像生成部４６へそれぞれ出力することができるように構成されている。また、制御部４８は、内視鏡システム１の各部の制御を行う際に用いられる制御情報が格納されたメモリ４９を具備して構成されている。
　制御部４８は、発光部３１における白色光ＷＬＡ及び励起光ＥＸＡの発生タイミングと、撮像素子１４における撮像動作と、プロセッサ４に入力される撮像信号の出力先と、を同期させるための制御信号を生成して光源駆動部３３、撮像素子駆動部４１及びセレクタ４２へそれぞれ出力するように構成されている。
　制御部４８は、メモリ４９から読み込んだ制御情報に応じ、白色光画像ＷＩＡに含まれる画素ＷＰ及び重畳画像ＳＩＡに含まれる画素ＳＰを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部４６へ出力するように構成されている。
　次に、本実施形態の内視鏡システム１の動作等について説明する。なお、以降においては、被検体の体腔内に存在する所望の被写体の蛍光観察が行われる前に、当該所望の被写体にＩＣＧ（蛍光薬剤）が予め投与されているものとして説明を進める。また、以降においては、簡単のため、白色光ＷＬＡが照射された被写体を撮像して得られる白色光画像ＷＩＡを観察画像として表示装置５に表示させるような観察手法である、白色光観察に関する説明を省略するものとする。
　まず、ユーザは、内視鏡システム１の各部を接続して電源を投入した後、例えば、入力Ｉ／Ｆ４７の蛍光観察開始スイッチ（不図示）を操作することにより、被写体の蛍光観察を開始させるための指示を制御部４８に対して行う。また、ユーザは、挿入部２１を被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に挿入部２１の先端部を配置する。
　制御部４８は、プロセッサ４の電源が投入された際に、メモリ４９から制御情報を読み込むとともに、当該読み込んだ制御情報に応じ、白色光画像ＷＩＡに含まれる画素ＷＰ及び重畳画像ＳＩＡに含まれる画素ＳＰを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部４６へ出力する。
　具体的には、制御部４８は、例えば、白色光画像ＷＩＡに含まれる各画素の中から、相互に重複せずかつ周期性を有する一組の画素配列のうちの第１の画素配列に該当する位置に存在する複数の画素ＷＰである画素群ＷＧＡを抽出させるとともに、重畳画像ＳＩＡに含まれる各画素の中から、前述の一組の画素配列のうちの第２の画素配列に該当する位置に存在する複数の画素ＳＰである画素群ＳＧＡを抽出させるための制御信号を生成して混合画像生成部４６へ出力する。
　制御部４８は、プロセッサ４の電源が投入され、かつ、入力Ｉ／Ｆ４７の蛍光観察開始スイッチからの指示を検知した際に、発光部３１における白色光ＷＬＡ及び励起光ＥＸＡの発生タイミングと、撮像素子１４における撮像動作と、プロセッサ４に入力される撮像信号の出力先と、を同期させるための制御信号を生成して光源駆動部３３、撮像素子駆動部４１及びセレクタ４２へそれぞれ出力する。
　具体的には、制御部４８は、例えば、ローリングシャッタ方式の撮像動作を撮像素子１４に行わせるための制御信号を生成して撮像素子駆動部４１へ出力する。また、制御部４８は、例えば、ローリングシャッタ方式の撮像動作において撮像素子１４の全ラインで読み出しが行われない期間であるブランキング期間毎に、光量ＡＬ１の白色光ＷＬＡ及び当該光量ＡＬ１の励起光ＥＸＡを交互に（時分割に）発生させるための制御信号を生成して光源駆動部３３へ出力する。また、制御部４８は、例えば、白色光ＷＬＡの発生時にプロセッサ４に入力される撮像信号の出力先を白色光画像生成部４３に設定するとともに、励起光ＥＸＡの発生時にプロセッサ４に入力される撮像信号の出力先を蛍光画像生成部４４に設定するための制御信号を生成してセレクタ４２へ出力する。
　そして、前述のような制御部４８の制御によれば、例えば、撮像素子１４の第１のブランキング期間において白色光ＷＬＡが被写体に照射され、当該被写体から発生する戻り光である白色光ＷＬＡの反射光が撮像素子１４により撮像され、撮像素子１４により生成された撮像信号がセレクタ４２を経て白色光画像生成部４３へ出力され、当該撮像信号に基づいて生成された白色光画像ＷＩＡが重畳画像生成部４５及び混合画像生成部４６の各々へ出力される。
　また、前述のような制御部４８の制御によれば、例えば、前述の第１のブランキング期間とは異なる撮像素子１４の第２のブランキング期間において励起光ＥＸＡが被写体に照射され、当該被写体から発生する戻り光に含まれる蛍光ＦＬＡが撮像素子１４により撮像され、撮像素子１４により生成された撮像信号がセレクタ４２を経て蛍光画像生成部４４へ出力され、当該撮像信号に基づいて生成された蛍光画像ＦＩＡが重畳画像生成部４５へ出力される。
　重畳画像生成部４５は、例えば、上記数式（１）の係数α、β及びγをα＝γ＝０かつβ＝１に設定した状態において、白色光画像生成部４３から出力される白色光画像ＷＩＡと、蛍光画像生成部４４から出力される蛍光画像ＦＩＡと、を重畳するための処理を行うことにより重畳画像ＳＩＡを生成し、当該生成した重畳画像ＳＩＡを混合画像生成部４６へ出力する。すなわち、このような重畳画像生成部４５の動作によれば、内視鏡２により撮像された被写体における蛍光ＦＬＡの発生箇所が緑色で示されるような重畳画像ＳＩＡが混合画像生成部４６へ出力される。
　混合画像生成部４６は、制御部４８から出力される制御信号に基づき、白色光画像生成部４３から出力される白色光画像ＷＩＡの一部と、重畳画像生成部４５から出力される重畳画像ＳＩＡの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力する。
　具体的には、混合画像生成部４６は、制御部４８から出力される制御信号に基づき、例えば、第１の市松状の画素配列に則って画素群ＷＧＡを抽出し、当該第１の市松状の画素配列に重複しない第２の市松状の画素配列に則って画素群ＳＧＡを抽出し、当該抽出した画素群ＷＧＡ及びＳＧＡを混合することにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力する。そして、このような動作が混合画像生成部４６において行われることにより、例えば、図２に示すように、画素ＷＰと画素ＳＰとが１画素毎に交互に配置され、かつ、画素ＷＰの画素数と画素ＳＰの画素数とが同数になるような観察画像が生成される。また、前述のような動作が混合画像生成部４６において行われる場合には、メモリ４９に格納される制御情報の中に、第１の市松状の画素配列に則って画素群ＷＧＡを抽出させるとともに、当該第１の市松状の画素配列に重複しない第２の市松状の画素配列に則って画素群ＳＧＡを抽出させるための情報が含まれる。図２は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
　以上に述べたように、本実施形態の内視鏡システム１によれば、白色光画像ＷＩＡに含まれる生体組織の凹凸等の構造を示す情報を極力残しつつ、重畳画像ＳＩＡに含まれる蛍光ＦＬＡの発生箇所を示す情報を付与した観察画像を表示装置５に表示させることができる。そのため、本実施形態によれば、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることができる。
　なお、本実施形態によれば、内視鏡システム１の構成を適宜変形することにより、ＩＣＧ以外の他の蛍光薬剤に対応させるようにしてもよい。
　具体的には、例えば、被検体に投与される蛍光薬剤がフルオレセインである場合には、フルオレセインの励起波長を含む狭帯域な青色光が励起光ＥＸＢとして励起光源５２から発せられ、白色光ＷＬＡを透過させつつ励起光ＥＸＢを反射するようなハーフミラーがダイクロイックミラー５３の代わりに設けられ、励起光ＥＸＢと同じ波長帯域の光が励起光カットフィルタ１５において遮断され、かつ、励起光ＥＸＢの照射に応じてフルオレセインから発せられる緑色光である蛍光ＦＬＢを含む可視域の光が励起光カットフィルタ１５を透過するようにすればよい。
　また、本実施形態によれば、相互に重複せずかつ周期性を有する一組の画素配列である限りにおいては、メモリ４９に格納される制御情報の中に、前述の市松状の画素配列以外の他の画素配列に則って画素群ＷＧＡ及びＳＧＡを抽出させるための情報が含まれていてもよい。
　具体的には、本実施形態によれば、メモリ４９に格納される制御情報の中に、例えば、白色光画像ＷＩＡを２×２画素の小領域に分割した際の各領域の右上に存在する画素ＷＰを画素群ＷＧＡに属する画素として抽出させるとともに、重畳画像ＳＩＡを２×２画素の小領域に分割した際の各領域の右上以外に存在する各画素ＳＰを画素群ＳＧＡに属する画素として抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部４６が画素群ＷＧＡ及びＳＧＡを抽出した場合には、例えば、図３に示すように、画素ＳＰと画素ＷＰとが水平方向の奇数番目のラインに交互に配置され、画素ＳＰのみが水平方向の偶数番目のラインに配置され、かつ、画素ＳＰの画素数が画素ＷＰの画素数の３倍になるような観察画像が生成される。図３は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
　また、本実施形態によれば、メモリ４９に格納される制御情報の中に、例えば、第１の縦縞状の画素配列に則って画素群ＷＧＡを抽出させるとともに、当該第１の縦縞状の画素配列に重複しない第２の縦縞状の画素配列に則って画素群ＳＧＡを抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部４６が画素群ＷＧＡ及びＳＧＡを抽出した場合には、例えば、図４に示すように、画素ＳＰのみが垂直方向の奇数番目のラインに配置され、画素ＷＰのみが垂直方向の偶数番目のラインに配置され、かつ、画素ＷＰの画素数と画素ＳＰの画素数とが同数になるような観察画像が生成される。図４は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
　また、本実施形態によれば、メモリ４９に格納される制御情報の中に、例えば、第１の横縞状の画素配列に則って画素群ＷＧＡを抽出させるとともに、当該第１の横縞状の画素配列に重複しない第２の横縞状の画素配列に則って画素群ＳＧＡを抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部４６が画素群ＷＧＡ及びＳＧＡを抽出した場合には、例えば、図５に示すように、画素ＷＰのみが水平方向の奇数番目のラインに配置され、画素ＳＰのみが水平方向の偶数番目のラインに配置され、かつ、画素ＷＰの画素数と画素ＳＰの画素数とが同数になるような観察画像が生成される。図５は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
　また、本実施形態によれば、メモリ４９に格納される制御情報の中に、例えば、重畳画像ＳＩＡを２×２画素の小領域に分割した際の各領域の右下に存在する画素ＳＰを画素群ＳＧＡに属する画素として抽出させるとともに、白色光画像ＷＩＡを２×２画素の小領域に分割した際の各領域の右下以外に存在する各画素ＷＰを画素群ＷＧＡに属する画素として抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部４６が画素群ＷＧＡ及びＳＧＡを抽出した場合には、例えば、図６に示すように、画素ＷＰのみが水平方向の奇数番目のラインに配置され、画素ＷＰと画素ＳＰとが水平方向の偶数番目のラインに交互に配置され、かつ、画素ＷＰの画素数が画素ＳＰの画素数の３倍になるような観察画像が生成される。図６は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
　また、本実施形態によれば、例えば、メモリ４９に格納される制御情報の中に、混合画像生成部４６による観察画像の生成に用いられる二組以上の画素配列を示す情報が含まれている場合に、当該二組以上の画素配列のうちの一組の画素配列に応じた所望の観察画像を表示させるための指示が入力Ｉ／Ｆ４７において行われるとともに、当該一組の画素配列に則って画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号が制御部４８から混合画像生成部４６へ出力されるようにしてもよい。
　そして、前述のような構成によれば、例えば、生体組織の構造の視認性よりも蛍光ＦＬＡの発生箇所の視認性を重視した観察画像を表示させるための指示が入力Ｉ／Ｆ４７において行われた際に、図３に示したような画素配列を具備する観察画像を生成して表示装置５に表示させることができる。また、前述のような構成によれば、例えば、蛍光ＦＬＡの発生箇所の視認性よりも生体組織の構造の視認性を重視した観察画像を表示させるための指示が入力Ｉ／Ｆ４７において行われた際に、図６に示したような画素配列を具備する観察画像を生成して表示装置５に表示させることができる。また、生体組織の構造と蛍光ＦＬＡの発生箇所との間の視認性のバランスを重視した観察画像を表示させるための指示が入力Ｉ／Ｆ４７において行われた際に、図２、図４または図５のいずれかに示したような画素配列を具備する観察画像を生成して表示装置５に表示させることができる。
　また、本実施形態によれば、例えば、制御部４８が、画素ＷＰと画素ＳＰとが異なる画素数になるように画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号を混合画像生成部４６へ出力する際に、上記数式（１）のβの値を画素数の差に応じた値に設定させるための制御信号を重畳画像生成部４５へ出力するようにしてもよい。
　具体的には、制御部４８は、例えば、画素ＳＰの画素数が画素ＷＰの画素数の３倍になるように画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号を混合画像生成部４６へ出力する際に、上記数式（１）のβの値を１／３に設定させるための制御信号を重畳画像生成部４５へ出力するようにしてもよい。そして、このような制御部４８の制御によれば、重畳画像生成部４５が上記数式（１）を用いて重畳画像ＳＩＡを生成する際に、蛍光画像ＦＩＡに対して適用される重み係数β（＝１／３）が、白色光画像ＷＩＡに対して適用される重み係数（＝１）の１／３倍に設定される。
　また、制御部４８は、例えば、画素ＷＰの画素数が画素ＳＰの画素数の３倍になるように画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号を混合画像生成部４６へ出力する際に、上記数式（１）のβの値を３に設定させるための制御信号を重畳画像生成部４５へ出力するようにしてもよい。そして、このような制御部４８の制御によれば、重畳画像生成部４５が上記数式（１）を用いて重畳画像ＳＩＡを生成する際に、蛍光画像ＦＩＡに対して適用される重み係数β（＝３）が、白色光画像ＷＩＡに対して適用される重み係数（＝１）の３倍に設定される。
　また、本実施形態によれば、例えば、制御部４８が、画素ＷＰと画素ＳＰとが異なる画素数になるように画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号を混合画像生成部４６へ出力する際に、白色光ＷＬＡの光量と励起光ＥＸＡの光量とを画素数の差に応じた光量に設定させるための制御信号を光源駆動部３３へ出力するようにしてもよい。
　具体的には、制御部４８は、例えば、画素ＳＰの画素数が画素ＷＰの画素数の３倍になるように画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号を混合画像生成部４６へ出力する際に、白色光ＷＬＡの光量を励起光ＥＸＡの光量の３倍にするための制御信号を光源駆動部３３へ出力するようにしてもよい。そして、このような制御部４８の制御によれば、発光部３１から発せられる励起光ＥＸＡの光量が光量ＡＬ２に設定されるともに、発光部３１から発せられる白色光ＷＬＡの光量が当該光量ＡＬ２の３倍の光量である光量ＡＬ３に設定される。
　また、制御部４８は、例えば、画素ＷＰの画素数が画素ＳＰの画素数の３倍になるように画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号を混合画像生成部４６へ出力する際に、励起光ＥＸＡの光量を白色光ＷＬＡの光量の３倍にするための制御信号を光源駆動部３３へ出力するようにしてもよい。そして、このような制御部４８の制御によれば、発光部３１から発せられる白色光ＷＬＡの光量が光量ＡＬ４に設定されるともに、発光部３１から発せられる励起光ＥＸＡの光量が当該光量ＡＬ４の３倍の光量である光量ＡＬ５に設定される。
　また、本実施形態によれば、例えば、画素群ＷＧＡ及びＳＧＡの抽出に用いられる一組の画素配列が、被検体に対して施される手術の種類及び／または被検体に投与される蛍光薬剤の種類に応じて決定されるようにしてもよい。
　具体的には、例えば、メモリ４９に格納される制御情報の中に、被検体に対して施される手術の種類及び／または被検体に投与される蛍光薬剤の種類と、画素群ＷＧＡ及びＳＧＡの抽出に用いられる画素配列と、が関連付けられた複数の初期設定を示す情報が含まれている場合に、手術の種類及び／または蛍光薬剤の種類を選択する旨の指示が入力Ｉ／Ｆ４７において行われるとともに、当該指示に対応する初期設定に含まれる一組の画素配列を用いて画素群ＷＧＡ及びＳＧＡを抽出させるための制御信号が制御部４８から混合画像生成部４６へ出力されるようにしてもよい。そして、このような構成によれば、例えば、ＩＣＧを蛍光薬剤として選択する旨の指示が入力Ｉ／Ｆ４７において行われた際に、当該指示に対応する初期設定に応じ、第１の市松状の画素配列に則って画素群ＷＧＡを抽出させるとともに、当該第１の市松状の画素配列に重複しない第２の市松状の画素配列に則って画素群ＳＧＡを抽出させるための制御信号が制御部４８から混合画像生成部４６へ出力される。
　また、本実施形態によれば、例えば、混合画像生成部４６が重畳画像生成部４５の機能を含んだ構成にしてもよい。
　具体的には、混合画像生成部４６は、制御部４８から出力される制御信号に基づき、例えば、第１の市松状の画素配列に則った画素では上記数式（１）の係数α、β及びγをいずれも０として画素群ＷＧＡを生成し、当該第１の市松状の画素配列に重複しない第２の市松状の画素配列に則った画素では、α＝γ＝０、β＝１とすることで画素群ＳＧＡを生成できる。このようにして画素群ＷＧＡ及びＳＧＡを混合した観察画像を生成し、当該生成した観察画像を表示装置５へ出力する。
　また、本実施形態によれば、例えば、図７に示すように、白色光画像生成部４３から出力される白色光画像ＷＩＡの輪郭を強調するための輪郭強調処理を行うとともに、当該輪郭強調処理を施した白色光画像ＷＩＡを混合画像生成部４６へ出力するように構成された輪郭強調処理部６１がさらに（プロセッサ４に）設けられていてもよい。なお、このような場合においては、白色光画像生成部４３から出力される白色光画像ＷＩＡに含まれる画素ＷＰに対し、例えば、図８に示すような、３×３画素のサイズの鮮鋭化フィルタである空間フィルタＳＦＡを適用するような輪郭強調処理が輪郭強調処理部６１において行われるようにすればよい。図７は、輪郭強調処理部による輪郭強調処理が施された白色光画像を用いて観察画像を生成する際の構成の一例を示す図である。図８は、図７の輪郭強調処理部による輪郭強調処理において利用可能な空間フィルタの一例を示す図である。
　また、本実施形態によれば、例えば、図９に示すように、混合画像生成部４６から出力される観察画像の輪郭を強調するための輪郭強調処理を行うとともに、当該輪郭強調処理を施した観察画像を表示装置５へ出力するように構成された輪郭強調処理部６２がさらに（プロセッサ４に）設けられていてもよい。なお、このような場合においては、例えば、混合画像生成部４６から出力される観察画像に含まれる画素群ＷＧＡの各画素ＷＰに対し、例えば、図１０に示すような、５×５画素のサイズの鮮鋭化フィルタである空間フィルタＳＦＢを適用するような輪郭強調処理が輪郭強調処理部６２において行われるようにすればよい。但し、図１０の空間フィルタＳＦＢを用いた輪郭強調処理は、図２に例示したような、市松状の画素配列に則って抽出された画素群ＷＧＡを具備する観察画像に対して施されることが望ましい。図９は、輪郭強調処理部による輪郭強調処理を観察画像に対して直接施す際の構成の一例を示す図である。図１０は、図９の輪郭強調処理部による輪郭強調処理において利用可能な空間フィルタの一例を示す図である。
　一方、本実施形態は、図１に示したような内視鏡システム１に対して適用されるものに限らず、例えば、図１１に示すような内視鏡システム１Ａに対しても略同様に適用される。
　ここで、本実施形態の第１の変形例に係る内視鏡システム１Ａの構成について説明する。なお、以降においては、簡単のため、既述の構成または動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。
　内視鏡システム１Ａは、例えば、図１１に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡２Ａと、当該被写体に照射される光を内視鏡２Ａに供給するように構成された光源装置３と、内視鏡２Ａから出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ４Ａと、プロセッサ４Ａから出力される観察画像を画面上に表示するように構成された表示装置５と、を有している。図１１は、実施形態の第１の変形例に係る内視鏡システムの要部の構成を示す図である。
　内視鏡２Ａは、例えば、図１１に示すように、被検体の体腔内に挿入可能な細長形状に形成された挿入部２１Ａと、挿入部２１Ａの基端側に設けられた操作部２２と、を有して構成されている。
　挿入部２１Ａの内部には、光源装置３から供給される光を伝送するためのライトガイド１１が挿通されている。
　挿入部２１Ａの先端部には、照明レンズ１２と、対物レンズ１３と、が設けられている。また、挿入部２１Ａの先端部には、撮像素子１４Ａ及び１４Ｂと、分光光学系１６と、励起光カットフィルタ１７と、が設けられている。
　撮像素子１４Ａは、例えば、原色系または補色系のカラーフィルタを撮像面に取り付けたカラーＣＭＯＳイメージセンサを具備し、プロセッサ４Ａから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子１４Ａは、分光光学系１６を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ４Ａへ出力するように構成されている。
　撮像素子１４Ｂは、例えば、モノクロＣＭＯＳイメージセンサを具備し、プロセッサ４Ａから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子１４Ｂは、分光光学系１６により反射されかつ励起光カットフィルタ１７を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ４Ａへ出力するように構成されている。
　分光光学系１６は、例えば、ダイクロイックプリズムを具備して構成されている。また、分光光学系１６は、対物レンズ１３を経て入射される光のうち、７００ｎｍ未満の波長帯域の光を撮像素子１４Ａ側へ透過させるとともに、７００ｎｍ以上の波長帯域の光を励起光カットフィルタ１７側へ反射するような光学特性を具備して構成されている。
　励起光カットフィルタ１７は、分光光学系１６から撮像素子１４Ｂに至るまでの光路上に配置されている。また、励起光カットフィルタ１７は、分光光学系１６により反射された光に含まれる各波長帯域のうち、励起光ＥＸＡの波長帯域と同じ波長帯域を遮断するとともに、励起光ＥＸＡの波長帯域と異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ１７は、励起光ＥＸＡの照射に応じて蛍光薬剤から発せられる蛍光ＦＬＡを透過させるような光学特性を具備して形成されている。
　すなわち、本変形例の撮像部は、撮像素子１４Ａ及び１４Ｂと、分光光学系１６と、励起光カットフィルタ１７と、を有して構成されている。
　プロセッサ４Ａは、例えば、図１１に示すように、撮像素子駆動部４１Ａと、白色光画像生成部４３Ａと、蛍光画像生成部４４Ａと、重畳画像生成部４５Ａと、混合画像生成部４６Ａと、入力Ｉ／Ｆ４７と、制御部４８Ａと、を有して構成されている。なお、本変形例によれば、例えば、プロセッサ４Ａの各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。
　撮像素子駆動部４１Ａは、制御部４８Ａから出力される制御信号に基づき、撮像素子１４Ａ及び１４Ｂを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
　白色光画像生成部４３Ａは、撮像素子１４Ａから出力される撮像信号に基づいて白色光画像ＷＩＡを生成するとともに、当該生成した白色光画像ＷＩＡを重畳画像生成部４５及び混合画像生成部４６の各々へ出力するように構成されている。すなわち、白色光画像生成部４３Ａは、撮像素子１４Ａにより撮像された白色光ＷＬＡの反射光に応じた画像である白色光画像ＷＩＡを生成するように構成されている。
　蛍光画像生成部４４Ａは、撮像素子１４Ｂから出力される撮像信号に基づいて蛍光画像ＦＩＡを生成するとともに、当該生成した蛍光画像ＦＩＡを重畳画像生成部４５へ出力するように構成されている。すなわち、蛍光画像生成部４４Ａは、撮像素子１４Ｂにより撮像された蛍光ＦＬＡの反射光に応じた画像である蛍光画像ＦＩＡを生成するように構成されている。
　重畳画像生成部４５Ａは、制御部４８Ａから出力される制御信号に応じた動作を行うことができるように構成されている。また、重畳画像生成部４５Ａは、白色光画像生成部４３Ａから出力される白色光画像ＷＩＡと、蛍光画像生成部４４Ａから出力される蛍光画像ＦＩＡと、を重畳するための処理を行うことにより重畳画像ＳＩＡを生成し、当該生成した重畳画像ＳＩＡを混合画像生成部４６Ａへ出力するように構成されている。すなわち、重畳画像生成部４５Ａは、内視鏡２Ａにより撮像された被写体における蛍光ＦＬＡの発生箇所を示す画像である重畳画像ＳＩＡを生成するように構成されている。
　混合画像生成部４６Ａは、制御部４８Ａから出力される制御信号に基づき、白色光画像生成部４３Ａから出力される白色光画像ＷＩＡの一部と、重畳画像生成部４５Ａから出力される重畳画像ＳＩＡの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力するように構成されている。
　制御部４８Ａは、入力Ｉ／Ｆ４７からの指示に応じた動作を行わせるための制御信号を生成して光源駆動部３３、重畳画像生成部４５Ａ及び混合画像生成部４６Ａへそれぞれ出力することができるように構成されている。また、制御部４８Ａは、内視鏡システム１Ａの各部の制御を行う際に用いられる制御情報が格納されたメモリ４９Ａを具備して構成されている。
　制御部４８Ａは、メモリ４９Ａから読み込んだ制御情報に応じ、白色光画像ＷＩＡに含まれる画素ＷＰ及び重畳画像ＳＩＡに含まれる画素ＳＰを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部４６Ａへ出力するように構成されている。
　なお、本変形例においては、発光部３１の代わりに、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するように構成された広帯域光源と、当該広帯域光に含まれる各波長帯域のうちの白色光ＷＬＡ及び励起光ＥＸＡの波長帯域と同じ波長帯域を透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、が光源装置３に設けられていてもよい。
　続いて、本変形例の内視鏡システム１Ａの動作等について説明する。
　まず、ユーザは、内視鏡システム１Ａの各部を接続して電源を投入した後、例えば、入力Ｉ／Ｆ４７の蛍光観察開始スイッチを操作することにより、被写体の蛍光観察を開始させるための指示を制御部４８Ａに対して行う。また、ユーザは、挿入部２１Ａを被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に挿入部２１Ａの先端部を配置する。
　制御部４８Ａは、プロセッサ４Ａの電源が投入された際に、メモリ４９Ａから制御情報を読み込むとともに、当該読み込んだ制御情報に応じ、白色光画像ＷＩＡに含まれる画素ＷＰ及び重畳画像ＳＩＡに含まれる画素ＳＰを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部４６Ａへ出力する。
　制御部４８Ａは、プロセッサ４Ａの電源が投入され、かつ、入力Ｉ／Ｆ４７の蛍光観察開始スイッチからの指示を検知した際に、ローリングシャッタ方式の撮像動作を撮像素子１４Ａ及び１４Ｂに行わせるための制御信号を生成して撮像素子駆動部４１Ａへ出力するとともに、光量ＡＬ１の白色光ＷＬＡ及び当該光量ＡＬ１の励起光ＥＸＡを同時に発生させるための制御信号を生成して光源駆動部３３へ出力する。
　そして、前述のような制御部４８Ａの制御によれば、白色光ＷＬＡ及び励起光ＥＸＡが同時に被写体に照射され、当該被写体から発生する戻り光に含まれる白色光ＷＬＡの反射光が撮像素子１４Ａにより撮像され、当該戻り光に含まれる蛍光ＦＬＡが撮像素子１４Ｂにより撮像される。また、前述のような制御部４８Ａの制御によれば、撮像素子１４Ａにより生成された撮像信号が白色光画像生成部４３Ａへ出力され、撮像素子１４Ｂにより生成された撮像信号が蛍光画像生成部４４Ａへ出力され、白色光画像生成部４３Ａにより生成された白色光画像ＷＩＡが重畳画像生成部４５Ａ及び混合画像生成部４６Ａへ出力され、蛍光画像生成部４４Ａにより生成された蛍光画像ＦＩＡが重畳画像生成部４５Ａへ出力される。
　重畳画像生成部４５Ａは、例えば、上記数式（１）の係数α、β及びγをα＝γ＝０かつβ＝１に設定した状態において、白色光画像生成部４３Ａから出力される白色光画像ＷＩＡと、蛍光画像生成部４４Ａから出力される蛍光画像ＦＩＡと、を重畳するための処理を行うことにより重畳画像ＳＩＡを生成し、当該生成した重畳画像ＳＩＡを混合画像生成部４６Ａへ出力する。
　混合画像生成部４６Ａは、制御部４８Ａから出力される制御信号に基づき、白色光画像生成部４３Ａから出力される白色光画像ＷＩＡの一部と、重畳画像生成部４５Ａから出力される重畳画像ＳＩＡの一部と、を混合するための処理を行うことにより、図２に例示したような画素配列を具備する観察画像を生成し、当該生成した観察画像を表示装置５へ出力する。
　すなわち、本変形例の内視鏡システム１Ａによれば、内視鏡システム１と同様の観察画像を生成して表示装置５に表示させることができる。そのため、本変形例によれば、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることができる。
　一方、本実施形態は、図１に示した内視鏡システム１に対して適用されるものに限らず、例えば、図１２に示すような内視鏡システム１Ｂに対しても略同様に適用される。
　ここで、本実施形態の第２の変形例に係る内視鏡システム１Ｂの構成について説明する。
　内視鏡システム１Ｂは、例えば、図１２に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡２Ｂと、当該被写体に照射される光を内視鏡２Ｂに供給するように構成された光源装置３Ｂと、内視鏡２Ｂから出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ４Ｂと、プロセッサ４Ｂから出力される観察画像を画面上に表示するように構成された表示装置５と、を有している。図１２は、実施形態の第２の変形例に係る内視鏡システムの要部の構成を示す図である。
　内視鏡２Ｂは、細長形状の光学視管２１Ｂと、光学視管２１Ｂの基端部に対して着脱可能なカメラユニット２２Ｂと、を有して構成されている。
　光学視管２１Ｂは、被検体の体腔内に挿入可能な挿入部としての機能を具備して構成されている。
　光学視管２１Ｂの内部には、光源装置３Ｂから供給される光を伝送するためのライトガイド１１が挿通されている。
　光学視管２１Ｂの先端部には、照明レンズ１２と、対物レンズ１３と、が設けられている。
　光学視管２１Ｂの内部には、図１２に示すように、対物レンズ１３から入射した光を伝送するための複数のレンズＬＥを具備するリレーレンズ１８が設けられている。すなわち、リレーレンズ１８は、対物レンズ１３から入射した光を伝送する伝送光学系としての機能を具備して構成されている。
　光学視管２１Ｂの基端部には、図１２に示すように、リレーレンズ１８により伝送された光に応じた被写体の光学像を肉眼で観察可能とするための接眼レンズ１９が設けられている。
　カメラユニット２２Ｂは、撮像部としての機能を具備し、励起光カットフィルタ２３と、ダイクロイックプリズム２４と、撮像素子２５Ａ、２５Ｂ及び２５Ｃと、を有して構成されている。
　励起光カットフィルタ２３は、ダイクロイックプリズム２４の前面に配置されており、接眼レンズ１９を経て出射される光に含まれる各波長帯域のうち、励起光ＥＸＡの波長帯域と同じ波長帯域を遮断するとともに、励起光ＥＸＡの波長帯域と異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ２３は、励起光ＥＸＡの照射に応じて蛍光薬剤から発せられる蛍光ＦＬＡを透過させるような光学特性を具備して形成されている。
　ダイクロイックプリズム２４は、励起光カットフィルタ２３を経て出射される光を、赤色域～近赤外域の光と、緑色域の光と、青色域の光と、の３つの波長帯域の光に分離して出射するように構成されている。
　撮像素子２５Ａは、例えば、モノクロＣＭＯＳイメージセンサを具備し、プロセッサ４Ｂから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ａは、ダイクロイックプリズム２４を経て出射される青色域の光を撮像し、当該撮像した青色域の光に応じた撮像信号を生成して出力するように構成されている。
　撮像素子２５Ｂは、例えば、モノクロＣＭＯＳイメージセンサを具備し、プロセッサ４Ｂから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ｂは、ダイクロイックプリズム２４を経て出射される緑色域の光を撮像し、当該撮像した緑色域の光に応じた撮像信号を生成して出力するように構成されている。
　撮像素子２５Ｃは、例えば、モノクロＣＭＯＳイメージセンサを具備し、プロセッサ４Ｂから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子２５Ｃは、ダイクロイックプリズム２４を経て出射される赤色域～近赤外域の光を撮像し、当該撮像した赤色域～近赤外域の光に応じた撮像信号を生成して出力するように構成されている。
　光源装置３Ｂは、例えば、図１２に示すように、発光部３１Ｂと、集光レンズ３２と、光源駆動部３３Ｂと、を有して構成されている。
　発光部３１Ｂは、広帯域光源５１Ｂと、光学フィルタ５４と、を有して構成されている。
　広帯域光源５１Ｂは、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するランプを具備して構成されている。また、広帯域光源５１Ｂは、光源駆動部３３Ｂから出力される駆動信号に応じて広帯域光を発するように構成されている。
　光学フィルタ５４は、広帯域光源５１Ｂから発せられる広帯域光に含まれる各波長帯域のうち、励起光ＥＸＡの波長帯域と同じ波長帯域を透過させるとともに、青色域及び緑色域を１０％程度の透過率で透過させるような光学特性を具備して形成されている。また、光学フィルタ５４は、広帯域光源５１Ｂから発せられる広帯域光に含まれる各波長帯域のうち、青色域、緑色域及び励起光ＥＸＡの波長帯域以外の波長帯域を遮断するような光学特性を具備して形成されている。
　すなわち、発光部３１Ｂは、光源駆動部３３Ｂから出力される駆動信号に応じて広帯域光源５１Ｂを発光させることにより、青色域及び緑色域の２つの波長帯域を具備する光である参照光ＲＬＡと、励起光ＥＸＡと、を同時に発生することができるように構成されている。また、発光部３１Ｂは、参照光ＲＬＡ及び励起光ＥＸＡを集光レンズ３２へ出射することができるように構成されている。
　なお、本変形例の発光部３１Ｂは、例えば、青色光を発する青色ＬＥＤと、緑色光を発する緑色ＬＥＤと、励起光ＥＸＡを発するＬＤと、を有して構成されていてもよい。または、本変形例の発光部３１Ｂは、例えば、白色光ＷＬＡを発する白色ＬＥＤと、白色光ＷＬＡに含まれる各波長帯域のうちの参照光ＲＬＡと同じ波長帯域のみを透過させるような光学特性を具備する光学フィルタと、励起光ＥＸＡを発するＬＤと、を有して構成されていてもよい。または、本変形例の発光部３１Ｂは、広帯域光源５１Ｂと、広帯域光源５１Ｂから発せられる広帯域光に含まれる各波長帯域のうちの青色域及び緑色域を１０％程度の透過率で透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、励起光ＥＸＡを発するＬＤと、を有して構成されていてもよい。
　光源駆動部３３Ｂは、プロセッサ４Ｂから出力される制御信号に基づき、広帯域光源５１Ｂを駆動させるための光源駆動信号を生成して発光部３１Ｂへ出力するように構成されている。
　すなわち、光源装置３Ｂは、被検体に投与される蛍光薬剤を励起させるための励起光ＥＸＡと、当該被検体の体腔内を照明するための照明光である参照光ＲＬＡと、を発することができるように構成されている。
　プロセッサ４Ｂは、例えば、図１２に示すように、撮像素子駆動部４１Ｂと、参照光画像生成部４３Ｂと、蛍光画像生成部４４Ｂと、混合画像生成部４６Ｂと、入力Ｉ／Ｆ４７と、制御部４８Ｂと、を有して構成されている。なお、本変形例によれば、例えば、プロセッサ４Ｂの各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。
　撮像素子駆動部４１Ｂは、制御部４８Ｂから出力される制御信号に基づき、撮像素子２５Ａ、２５Ｂ及び２５Ｃを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
　参照光画像生成部４３Ｂは、撮像素子２５Ａ及び２５Ｂから出力される撮像信号に基づいて参照光画像ＲＩＡを生成するとともに、当該生成した参照光画像ＲＩＡを混合画像生成部４６Ｂへ出力するように構成されている。すなわち、参照光画像生成部４３Ｂは、撮像素子２５Ａ及び２５Ｂにより撮像された参照光ＲＬＡの反射光に応じた画像である参照光画像ＲＩＡを生成するように構成されている。また、参照光画像ＲＩＡは、撮像素子２５Ａから出力される撮像信号に応じて得られる青色画像と、撮像素子２５Ｂから出力される撮像信号に応じて得られる緑色画像と、を合成したシアン色の画像として生成される。
　蛍光画像生成部４４Ｂは、撮像素子２５Ｃから出力される撮像信号に基づいて蛍光画像ＦＩＡを生成するとともに、当該生成した蛍光画像ＦＩＡを混合画像生成部４６Ｂへ出力するように構成されている。なお、蛍光画像生成部４４Ｂにより生成される蛍光画像ＦＩＡは、内視鏡２により撮像された被写体における蛍光ＦＬＡの発生箇所を、参照光画像ＲＩＡの色とは異なる色で示すような画像として生成されるものとする。すなわち、蛍光画像生成部４４Ｂは、内視鏡２Ｂにより撮像された被写体における蛍光ＦＬＡの発生箇所を示す画像である蛍光画像ＦＩＡを生成するように構成されている。
　混合画像生成部４６Ｂは、制御部４８Ｂから出力される制御信号に基づき、参照光画像生成部４３Ｂから出力される参照光画像ＲＩＡの一部と、蛍光画像生成部４４Ｂから出力される蛍光画像ＦＩＡの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力するように構成されている。
　制御部４８Ｂは、入力Ｉ／Ｆ４７からの指示に応じた動作を行わせるための制御信号を生成して光源駆動部３３Ｂ及び混合画像生成部４６Ｂへそれぞれ出力することができるように構成されている。また、制御部４８Ｂは、内視鏡システム１Ｂの各部の制御を行う際に用いられる制御情報が格納されたメモリ４９Ｂを具備して構成されている。
　制御部４８Ｂは、メモリ４９Ｂから読み込んだ制御情報に応じ、参照光画像ＲＩＡに含まれる画素ＲＰ及び蛍光画像ＦＩＡに含まれる画素ＦＰを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部４６Ｂへ出力するように構成されている。
　続いて、本変形例の内視鏡システム１Ｂの動作等について説明する。
　まず、ユーザは、内視鏡システム１Ｂの各部を接続して電源を投入した後、例えば、入力Ｉ／Ｆ４７の蛍光観察開始スイッチを操作することにより、被写体の蛍光観察を開始させるための指示を制御部４８Ｂに対して行う。また、ユーザは、光学視管２１Ｂを被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に光学視管２１Ｂの先端部を配置する。
　制御部４８Ｂは、プロセッサ４Ｂの電源が投入された際に、メモリ４９Ｂから制御情報を読み込むとともに、当該読み込んだ制御情報に応じ、参照光画像ＲＩＡに含まれる画素ＲＰ及び蛍光画像ＦＩＡに含まれる画素ＦＰを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部４６Ｂへ出力する。
　具体的には、制御部４８Ｂは、例えば、参照光画像ＲＩＡに含まれる各画素の中から、相互に重複せずかつ周期性を有する一組の画素配列のうちの第１の画素配列に該当する位置に存在する複数の画素ＲＰである画素群ＲＧＡを抽出させるとともに、蛍光画像ＦＩＡに含まれる各画素の中から、前述の一組の画素配列のうちの第２の画素配列に該当する位置に存在する複数の画素ＦＰである画素群ＦＧＡを抽出させるための制御信号を生成して混合画像生成部４６Ｂへ出力する。
　制御部４８Ｂは、プロセッサ４Ｂの電源が投入され、かつ、入力Ｉ／Ｆ４７の蛍光観察開始スイッチからの指示を検知した際に、ローリングシャッタ方式の撮像動作を撮像素子２５Ａ、２５Ｂ及び２５Ｃに行わせるための制御信号を生成して撮像素子駆動部４１Ｂへ出力するとともに、光量ＡＬ１の広帯域光を発生させるための制御信号を生成して光源駆動部３３Ｂへ出力する。
　そして、前述のような制御部４８Ｂの制御によれば、参照光ＲＬＡ及び励起光ＥＸＡが同時に被写体に照射され、当該被写体から発生する戻り光に含まれる参照光ＲＬＡの反射光が撮像素子２５Ａ及び２５Ｂにより撮像され、当該戻り光に含まれる蛍光ＦＬＡが撮像素子２５Ｃにより撮像される。また、前述のような制御部４８Ｂの制御によれば、撮像素子２５Ａ及び２５Ｂにより生成された撮像信号が参照光画像生成部４３Ｂへ出力され、撮像素子２５Ｃにより生成された撮像信号が蛍光画像生成部４４Ｂへ出力され、参照光画像生成部４３Ｂにより生成された参照光画像ＲＩＡと、蛍光画像生成部４４Ｂにより生成された蛍光画像ＦＩＡと、がそれぞれ混合画像生成部４６Ｂへ出力される。
　混合画像生成部４６Ｂは、制御部４８Ｂから出力される制御信号に基づき、参照光画像生成部４３Ｂから出力される参照光画像ＲＩＡの一部と、蛍光画像生成部４４Ｂから出力される蛍光画像ＦＩＡの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力する。
　具体的には、混合画像生成部４６Ｂは、制御部４８Ｂから出力される制御信号に基づき、例えば、第１の市松状の画素配列に則って画素群ＲＧＡを抽出し、当該第１の市松状の画素配列に重複しない第２の市松状の画素配列に則って画素群ＦＧＡを抽出し、当該抽出した画素群ＲＧＡ及びＦＧＡを混合することにより観察画像を生成し、当該生成した観察画像を表示装置５へ出力する。そして、このような動作が混合画像生成部４６Ｂにおいて行われることにより、例えば、図１３に示すように、画素ＲＰと画素ＦＰとが１画素毎に交互に配置され、かつ、画素ＲＰの画素数と画素ＦＰの画素数とが同数になるような観察画像が生成される。また、前述のような動作が混合画像生成部４６Ｂにおいて行われる場合には、メモリ４９Ｂに格納される制御情報の中に、第１の市松状の画素配列に則って画素群ＲＧＡを抽出させるとともに、当該第１の市松状の画素配列に重複しない第２の市松状の画素配列に則って画素群ＦＧＡを抽出させるための情報が含まれる。図１３は、実施形態の第２の変形例に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
　以上に述べたように、本変形例の内視鏡システム１Ｂによれば、参照光画像ＲＩＡに含まれる生体組織の凹凸等の構造を示す情報を極力残しつつ、蛍光画像ＦＩＡに含まれる蛍光ＦＬＡの発生箇所を示す情報を付与した観察画像を表示装置５に表示させることができる。そのため、本変形例によれば、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることができる。
　なお、本変形例の内視鏡システム１Ｂにおけるカメラユニット２２Ｂ等の構成を適宜変形することにより、例えば、白色光ＷＬＡ及び励起光ＥＸＡが時分割に照射された被写体から発生する戻り光に含まれる白色光ＷＬＡの反射光及び蛍光ＦＬＡが１つの撮像素子で撮像され、当該１つの撮像素子から出力される撮像信号に基づいて白色光画像ＷＩＡ及び重畳画像ＳＩＡが生成され、当該白色光画像ＷＩＡ及び当該重畳画像ＳＩＡを混合した観察画像が生成されるようにしてもよい。また、本変形例の内視鏡システム１Ｂにおけるカメラユニット２２Ｂ等の構成を適宜変形することにより、例えば、白色光ＷＬＡ及び励起光ＥＸＡが同時に照射された被写体から発生する戻り光に含まれる白色光ＷＬＡの反射光及び蛍光ＦＬＡが２つの撮像素子で撮像され、当該２つの撮像素子から出力される撮像信号に基づいて白色光画像ＷＩＡ及び重畳画像ＳＩＡが生成され、当該白色光画像ＷＩＡ及び当該重畳画像ＳＩＡを混合した観察画像が生成されるようにしてもよい。
　本発明は、上述した各実施形態及び各変形例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
　本出願は、２０１６年９月６日に日本国に出願された特願２０１６－１７３５２１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (13)

  1. 　被検体に投与される蛍光薬剤を励起させるための励起光と、前記被検体の体腔内を照明するための照明光と、を発することができるように構成された光源部と、
    　前記蛍光薬剤が投与された前記被検体の体腔内に存在する被写体に対する前記励起光の照射に応じて発生する蛍光と、前記被写体に対する前記照明光の照射に応じて発生する反射光と、をそれぞれ撮像するように構成された撮像部と、
    　前記撮像部により撮像された前記反射光に応じた画像である第１の画像と、前記被写体における前記蛍光の発生箇所を示す画像である第２の画像と、を相互に重複せずかつ周期性を有する画素配列で混合した観察画像を生成するように構成された混合画像生成部と、
    　を有することを特徴とする内視鏡システム。
  2. 　相互に重複せずかつ周期性を有する前記画素配列に則り、前記第１の画像に含まれる各画素の中から第１の画素群を抽出させるとともに、前記第２の画像に含まれる各画素の中から第２の画素群を抽出させるための制御信号を生成して前記混合画像生成部に出力する制御部を更に備えることを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記制御部は、前記一組の画素配列のうちの第１の市松状の画素配列に則って前記第１の画素群を抽出させ、前記一組の画素配列のうちの第２の市松状の画素配列に則って前記第２の画素群を抽出させることを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記制御部は、前記一組の画素配列のうちの第１の縦縞状の画素配列に則って前記第１の画素群を抽出させ、前記一組の画素配列のうちの第２の縦縞状の画素配列に則って前記第２の画素群を抽出させることを特徴とする請求項２に記載の内視鏡システム。
  5. 　前記制御部は、前記一組の画素配列のうちの第１の横縞状の画素配列に則って前記第１の画素群を抽出させ、前記一組の画素配列のうちの第２の横縞状の画素配列に則って前記第２の画素群を抽出させることを特徴とする請求項２に記載の内視鏡システム。
  6. 　前記制御部は、前記第１の画像を２×２画素の小領域に分割した際の各領域の所定の位置に存在する画素を前記第１の画素群に属する画素として抽出させるとともに、前記第２の画像を２×２画素の小領域に分割した際の各領域の前記所定の位置以外に存在する各画素を前記第２の画素群に属する画素として抽出させるための制御信号を生成し、
    　前記制御部に対して前記第１の画素群及び前記第２の画素群の比率を変更することが可能な入力部を更に備えることを特徴とする請求項２に記載の内視鏡システム。
  7. 　前記第１の画像と、前記撮像部により撮像された前記蛍光に応じた画像である蛍光画像と、を重畳した重畳画像を前記第２の画像として生成する重畳画像生成部をさらに有することを特徴とする請求項１に記載の内視鏡システム。
  8. 　前記重畳画像生成部及び前記混合画像生成部は一体的に構成されることを特徴とする請求項７に記載の内視鏡システム。
  9. 　前記制御部は、前記第１の画像を２×２画素の小領域に分割した際の各領域の所定の位置に存在する画素を前記第１の画素群に属する画素として抽出させるとともに、前記重畳画像を２×２画素の小領域に分割した際の各領域の前記所定の位置以外に存在する各画素を前記第２の画素群に属する画素として抽出させるための制御信号を生成し、
    　前記重畳画像生成部は、前記重畳画像を生成する際に、前記制御部からの制御信号に基づいて前記蛍光画像に対して適用する重み係数を設定することを特徴とする請求項７に記載の内視鏡システム。
  10. 　前記光源部は、前記制御部からの制御信号に基づいて前記照明光の光量を設定することを特徴とする請求項２に記載の内視鏡システム。
  11. 　前記入力部は、前記被検体に対して施される手術の種類及び／または前記蛍光薬剤の種類を設定可能に構成されることを特徴とする請求項６に記載の内視鏡システム。
  12. 　前記第１の画像の輪郭を強調するための輪郭強調処理を行うとともに、前記輪郭強調処理を施した前記第１の画像を前記混合画像生成部へ出力するように構成された輪郭強調処理部をさらに有することを特徴とする請求項１に記載の内視鏡システム。
  13. 　前記混合画像生成部により生成された前記観察画像の輪郭を強調するための輪郭強調処理を行うように構成された輪郭強調処理部をさらに有することを特徴とする請求項１に記載の内視鏡システム。
PCT/JP2017/004497 2016-09-06 2017-02-08 内視鏡システム WO2018047369A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780052356.1A CN109640781A (zh) 2016-09-06 2017-02-08 内窥镜系统
JP2017527674A JP6205531B1 (ja) 2016-09-06 2017-02-08 内視鏡システム
US16/272,312 US20190167083A1 (en) 2016-09-06 2019-02-11 Endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016173521 2016-09-06
JP2016-173521 2016-09-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/272,312 Continuation US20190167083A1 (en) 2016-09-06 2019-02-11 Endoscope system

Publications (1)

Publication Number Publication Date
WO2018047369A1 true WO2018047369A1 (ja) 2018-03-15

Family

ID=61561545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004497 WO2018047369A1 (ja) 2016-09-06 2017-02-08 内視鏡システム

Country Status (3)

Country Link
US (1) US20190167083A1 (ja)
CN (1) CN109640781A (ja)
WO (1) WO2018047369A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020174666A1 (ja) * 2019-02-28 2020-09-03 オリンパス株式会社 医療用システム
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
US11805977B2 (en) 2017-12-22 2023-11-07 Olympus Corporation Endoscope system and control method for endoscope system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6983067B2 (ja) * 2015-07-15 2021-12-17 ソニーグループ株式会社 医療用観察装置及び医療用観察方法
US11700995B2 (en) * 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011005002A (ja) * 2009-06-26 2011-01-13 Hoya Corp 内視鏡装置
JP2011055939A (ja) * 2009-09-08 2011-03-24 Hoya Corp 内視鏡装置
JP2011055938A (ja) * 2009-09-08 2011-03-24 Hoya Corp 内視鏡装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP5432793B2 (ja) * 2010-03-29 2014-03-05 オリンパス株式会社 蛍光内視鏡装置
JP5539840B2 (ja) * 2010-10-21 2014-07-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
CN107427183B (zh) * 2015-03-19 2019-04-19 奥林巴斯株式会社 内窥镜装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011005002A (ja) * 2009-06-26 2011-01-13 Hoya Corp 内視鏡装置
JP2011055939A (ja) * 2009-09-08 2011-03-24 Hoya Corp 内視鏡装置
JP2011055938A (ja) * 2009-09-08 2011-03-24 Hoya Corp 内視鏡装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11805977B2 (en) 2017-12-22 2023-11-07 Olympus Corporation Endoscope system and control method for endoscope system
WO2020174666A1 (ja) * 2019-02-28 2020-09-03 オリンパス株式会社 医療用システム
CN113423354A (zh) * 2019-02-28 2021-09-21 奥林巴斯株式会社 医疗用系统
JPWO2020174666A1 (ja) * 2019-02-28 2021-11-18 オリンパス株式会社 医療用システム、エネルギー制御方法、およびプロセッサ
JP7212756B2 (ja) 2019-02-28 2023-01-25 オリンパス株式会社 医療用システム、エネルギー制御方法、およびプロセッサ
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム

Also Published As

Publication number Publication date
CN109640781A (zh) 2019-04-16
US20190167083A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
JP6533358B2 (ja) 撮像装置
WO2018047369A1 (ja) 内視鏡システム
KR101813909B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
KR100939400B1 (ko) 생체 관측 장치
US20200337540A1 (en) Endoscope system
WO2013164962A1 (ja) 内視鏡装置
JP6013665B1 (ja) 診断支援装置及び診断支援情報表示方法
EP2821003A1 (en) Endoscope system and method for operating the same
JP6169310B1 (ja) 内視鏡システム
JPWO2013084566A1 (ja) 内視鏡装置
WO2019123827A1 (ja) 内視鏡システム及び内視鏡プロセッサ
WO2018066347A1 (ja) 内視鏡システム及びその作動方法
JP2020151403A (ja) 医療用画像処理装置及び医療用観察システム
JP2007143647A (ja) 電子内視鏡装置
JP6205531B1 (ja) 内視鏡システム
JP6137892B2 (ja) 撮像システム
CN111818837B (zh) 内窥镜系统
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP2016202411A (ja) 蛍光観察装置
WO2019171703A1 (ja) 内視鏡システム
JP2020137955A (ja) 医療用制御装置及び医療用観察システム
US11582427B2 (en) Medical image processing apparatus and medical observation system
JP6120758B2 (ja) 医用システム
WO2016203983A1 (ja) 内視鏡装置
WO2018220930A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017527674

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848316

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848316

Country of ref document: EP

Kind code of ref document: A1