WO2017077882A1 - 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2017077882A1
WO2017077882A1 PCT/JP2016/081267 JP2016081267W WO2017077882A1 WO 2017077882 A1 WO2017077882 A1 WO 2017077882A1 JP 2016081267 W JP2016081267 W JP 2016081267W WO 2017077882 A1 WO2017077882 A1 WO 2017077882A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
component
light
image processing
captured image
Prior art date
Application number
PCT/JP2016/081267
Other languages
English (en)
French (fr)
Inventor
理人 横内
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017504114A priority Critical patent/JP6211229B2/ja
Publication of WO2017077882A1 publication Critical patent/WO2017077882A1/ja
Priority to US15/955,063 priority patent/US10867410B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing device, an endoscope system, an image processing method, and an image processing program.
  • Patent Document 1 discloses an image processing apparatus that highlights and displays a fluorescent lesion and a background other than the lesion with different colors so that the lesion is easily visible when performing a procedure for treating the lesion. It is disclosed.
  • the present invention has been made in view of the above, and an image processing device, an endoscope system, and image processing that generate image data that can be easily observed both when searching for a lesion and when performing a treatment on a lesion. It is an object to provide a method and an image processing program.
  • an image processing apparatus includes at least each color component of red, green, and blue acquired by observation using special observation light.
  • a first color adjustment unit that changes a color tone of a captured image with respect to a predetermined color component of the captured image, and a color tone of the predetermined color component and other color components of the captured image is changed.
  • a second color adjustment unit that changes a color tone of a captured image with respect to a predetermined color component of the captured image, and a color tone of the predetermined color component and other color components of the captured image is changed.
  • the image processing apparatus further includes a switching unit that switches between the first color adjustment unit and the second color adjustment unit, and is selected by the switching unit.
  • a switching unit that switches between the first color adjustment unit and the second color adjustment unit, and is selected by the switching unit.
  • One of the color adjustment unit and the second color adjustment unit performs a process of changing the color tone.
  • the special observation light includes infrared light
  • the red component of the captured image includes a color component of infrared light including fluorescence emitted from a subject. Is included.
  • the first color adjustment unit extracts only a red component including a color component of infrared light including the fluorescence from the captured image, A gain calculation circuit that applies a gain of k times to the red component; and a color adjustment circuit that distributes the red component into the green component and the blue component, wherein the second color adjustment unit includes the green component and A gain calculation circuit for multiplying the red component by n times the gain of the blue component, and a color adjustment circuit for converting the red component to the green component and converting the green component to the red component
  • the magnitude relationship between the red component gain magnification k by the first color adjustment unit and the red component gain magnification n by the second color adjustment unit is k> n. It is characterized by being.
  • An endoscope system includes the above-described image processing device, a light source device that irradiates the subject with the special observation light, a filter that reflects near-infrared excitation light, and red light. And a color filter that is one of a red color filter that transmits infrared light, a green color filter that transmits green light, and a blue color filter that transmits blue light, and a plurality of filters arranged in a two-dimensional lattice pattern And an imaging unit that photoelectrically converts light received through the color filter to generate the captured image.
  • An image processing method performs image processing on a captured image including at least each of red, green, and blue color components obtained by observation using special observation light.
  • a first color adjustment unit that changes a color tone with respect to a predetermined color component of the captured image according to an input from the outside; and the predetermined color component and other color components of the captured image.
  • a second color adjusting unit that changes the color tone, a switching process for switching from one to the other, and the first color adjusting unit and the second color adjusting unit selected by the switching process And a color tone changing process in which either one of the color tone changing process is performed.
  • An image processing program performs image processing on a captured image including at least each of red, green, and blue color components acquired by observation using special observation light.
  • a first color adjustment unit that changes a color tone with respect to a predetermined color component of the captured image according to an input from the outside; and the predetermined color component and other color components of the captured image.
  • a color tone changing step for performing a process for changing the color tone.
  • an image processing apparatus an endoscope system, an image processing method, and an image processing program that generate image data that can be easily observed both when searching for a lesion and when treating a lesion are realized. be able to.
  • FIG. 1 is a schematic diagram showing a configuration of an endoscope system including an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating color components of special observation light output from the light source device.
  • FIG. 3 is a flowchart showing an outline of processing executed by the endoscope system according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of an image displayed on the monitor when the color mode 1 is selected.
  • FIG. 5 is a diagram illustrating an example of an image displayed on the monitor when the color mode 2 is selected.
  • FIG. 6 is a diagram illustrating the light intensity for each color component of light incident on the endoscope.
  • FIG. 7 is a diagram illustrating light intensity for each color component of light detected by the imaging unit.
  • FIG. 1 is a schematic diagram showing a configuration of an endoscope system including an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating color components of special observation light output from the light source device.
  • FIG. 8 is a diagram for explaining a state of image processing in the color mode 1.
  • FIG. 9 is a diagram for explaining a state of image processing in the color mode 2.
  • FIG. 10 is a diagram illustrating a configuration in which the imaging unit is realized by three types of image sensors and color filters.
  • FIG. 11 is a diagram illustrating a configuration in which the imaging unit is realized by two types of image sensors and color filters.
  • FIG. 12 is a diagram illustrating the light intensity for each color component of light detected by the imaging unit in the configuration of two types of image sensors.
  • an image processing apparatus an endoscope system, an image processing method, and an image processing program according to the present invention will be described with reference to the drawings. Note that the present invention is not limited to these embodiments.
  • an endoscope image processing apparatus an endoscope system, an image processing method, and an image processing program will be described by way of example.
  • the present invention describes a lesion such as an endoscope or a microscope.
  • the present invention can be generally applied to an image processing apparatus, an endoscope system, an image processing method, and an image processing program that are used in an apparatus that searches for and performs a technique.
  • FIG. 1 is a schematic diagram showing a configuration of an endoscope system including an image processing apparatus according to an embodiment of the present invention.
  • an endoscope system 1 includes an endoscope 2 as an imaging device that captures a captured image of a subject by inserting a distal end portion into the body cavity of the subject, and an endoscope 2.
  • a control device 3 that performs predetermined processing on the captured image and controls the overall operation of the endoscope system 1 and a light source that generates illumination light or excitation light emitted from the distal end of the endoscope 2
  • a light source device 4 a touch panel 5 on which an observer inputs a predetermined operation, and a monitor 6 that displays image data subjected to image processing by the control device 3 are provided.
  • the endoscope 2 is provided at the distal end of the endoscope 2, and includes an illumination lens 21 that outputs illumination light or excitation light from the light source device 4, a focusing objective optical system 22, and a connection between the objective optical system 22. And an imaging unit 23 that is provided at an image position, receives the light collected by the objective optical system 22, photoelectrically converts it into an electrical signal, and outputs it as a captured image subjected to predetermined signal processing.
  • the objective optical system 22 includes a lens that collects light in the body cavity, a rigid mirror filter that reflects excitation light in the near-infrared region described later, and a color filter that transmits light in a predetermined wavelength band. Transmits light of a predetermined wavelength band.
  • the color filter is any one of an R color filter that transmits red (R) light and infrared light, a G color filter that transmits green (G) light, and a B color filter that transmits blue (B) light.
  • the imaging unit 23 includes, for example, a CCD (Change Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • FIG. 10 is a diagram illustrating a configuration in which the imaging unit is realized by three types of image sensors and color filters. As shown in FIG. 10, the light including the RGB components incident on the imaging unit 23 is divided by an optical element such as a prism 231 and is incident on each image sensor via each color filter. More specifically, R light and infrared light enter the image sensor 23ab via the R color filter 23aa, G light enters the image sensor 23bb via the G color filter 23ba, and pass through the B color filter 23ca.
  • Each image sensor corresponds to a plurality of pixels arranged in a two-dimensional grid, and each pixel receives one of R light, G light, and B light via each color filter, The received light is photoelectrically converted to generate a captured image.
  • the control device 3 includes a control unit 31 that controls the operation of the entire endoscope system 1 and an image processing unit 32 as an image processing device that performs a predetermined process on a captured image captured by the endoscope 2.
  • the control unit 31 is configured using a CPU or the like, and performs drive control of each component, input / output control of information with respect to each component, and the like.
  • the control unit 31 receives a signal input to the touch panel 5 and outputs a control signal corresponding to the input to the image processing unit 32.
  • the image processing unit 32 includes a switching unit 33 that switches color modes according to a signal from the control unit, a first color adjustment unit 34a that changes a color tone with respect to a predetermined color component of the captured image, and a predetermined captured image. And a second color adjusting unit 34b that changes the color tone of the other color components.
  • the first color adjustment unit 34a includes a gain calculation circuit 35a that adjusts a gain for a predetermined color component, and a color adjustment circuit 36a that converts a color tone for the predetermined color component.
  • the second color adjustment unit 34b includes a gain calculation circuit 35b that adjusts a gain for a predetermined color component and other color components, and a color adjustment circuit that converts a color tone for the predetermined color component and other color components. 36b.
  • the light source device 4 includes a light source unit 41 that outputs illumination light or excitation light in accordance with a control signal from the control unit 31.
  • the light source unit 41 includes a white LED (Light Emitting Diode) that outputs white illumination light, and a special observation light source that outputs special observation light.
  • white LED Light Emitting Diode
  • FIG. 2 is a diagram illustrating color components of special observation light output from the light source device.
  • the vertical axis represents light intensity
  • the horizontal axis represents wavelength.
  • the special observation light source includes near-infrared excitation light for exciting the fluorescent substance introduced into the subject, illumination light including G light and B light for imaging the background, Is generated. Therefore, the endoscope system 1 has a function of observing with IRI (Infrared Imaging).
  • the light intensity of the excitation light in the near infrared region is higher than the light intensity of the G light and B light.
  • the special observation light generated by the special observation light source does not include R light.
  • NBI NBI (Narrow Band Imaging) illumination light of two bands of G light and B light narrowed so as to be easily absorbed by hemoglobin in blood. Etc. may be generated.
  • the touch panel 5 includes a button 51 for switching the color mode to the color mode 1 and a button 52 for switching the color mode to the color mode 2.
  • a predetermined signal is output from the touch panel 5 and input to the control unit 31.
  • the touch panel 5 can be replaced with a configuration in which an observer can input a desired color mode, and can be replaced with, for example, a keyboard or a mouse.
  • the monitor 6 has a function of receiving the image data generated by the control device 3 via the video cable from the control device 3 and displaying it.
  • the monitor 6 has a display such as a liquid crystal or an organic EL (Electro Luminescence).
  • FIG. 3 is a flowchart showing an outline of processing executed by the endoscope system according to the embodiment of the present invention.
  • the observer selects color mode 1 or color mode 2 by pressing button 51 or button 52 on touch panel 5 (selection step: S101).
  • the external input to the touch panel 5 is transmitted to the control unit 31 of the control device 3, and the control unit 31 identifies the color mode (identification step: S102).
  • the control unit 31 outputs a control signal to the switching unit 33 of the image processing unit 32 so as to perform image processing according to the identified color mode.
  • the switching unit 33 of the image processing unit 32 performs switching between the color mode 1 and the color mode 2 based on the control signal from the control unit 31 (switching step: S103).
  • the image processing unit 32 selects the color mode 1 or the color mode 2 selected by the switching unit 33 with respect to a captured image including at least each color component of red, green, and blue acquired by observation using special observation light.
  • a color tone changing process corresponding to the color tone is performed (color tone changing step: S104).
  • the image processing unit 32 outputs the image data subjected to the image processing to the monitor 6.
  • the monitor 6 displays the image data from the image processing unit 32 (display step: S105).
  • Color mode 1 is a color mode for facilitating finding of a lesion when the observer searches for a lesion
  • color mode 2 is a color mode for facilitating treatment when the observer performs a treatment on the lesion. It is.
  • FIG. 4 is a diagram illustrating an example of an image displayed on the monitor when the color mode 1 is selected.
  • FIG. 5 is a diagram illustrating an example of an image displayed on the monitor when the color mode 2 is selected.
  • color mode 1 as shown in FIG. 4, in order to search for the lesion L, it is preferable that only the lesion L is displayed in a color tone that is easy to observe.
  • color mode 2 as shown in FIG. 5, it is preferable that both lesion L and background B are displayed in a color tone that is easy to observe.
  • the treatment tool T is also displayed on the monitor 6.
  • a reagent that easily absorbs excitation light in the near infrared region is injected into the lesion L by injection or the like.
  • the observation site including the lesion L and the background B is irradiated with special observation light having the light color component shown in FIG.
  • the reagent absorbs excitation light in the near infrared region, and the subject emits fluorescent self-emission.
  • FIG. 6 is a diagram showing the light intensity for each color component of the light incident on the endoscope.
  • the vertical axis represents light intensity
  • the horizontal axis represents wavelength.
  • the color components of light incident on the endoscope 2 are excitation light, B light, G light, and excitation light in the near infrared region where the special observation light is reflected as it is in the body cavity of the subject. This is a self-fluorescent color component from a near-infrared reagent having a longer wavelength.
  • the broken line in FIG. 6 indicates the wavelength band of the light transmitted through the rigid mirror filter of the objective optical system 22, and the rigid mirror filter transmits the B light, the G light, and the fluorescence self-emission, but the near red color. Does not transmit external excitation light.
  • FIG. 7 is a diagram illustrating the light intensity for each color component of light detected by the imaging unit.
  • the vertical axis represents the light intensity detected by the imaging unit 23, and the horizontal axis represents the wavelength.
  • the broken lines in FIG. 7 are the color components of light transmitted through the R, G, and B color filters.
  • the broken lines in FIG. 7 indicate the sensitivity of the imaging unit 23 to R, G, and B light.
  • the imaging unit 23 has sensitivity to G light, B light, R light, and infrared light by a color filter.
  • the imaging unit 23 has sensitivity up to the fluorescence self-luminous region in the infrared region, and the color component of infrared light is detected by the imaging unit 23 as an R component. Note that the sensitivity in the infrared region is weak on the long wavelength side.
  • the light detected as the R component is fluorescence self-emission from the reagent of the subject, and thus has information on the lesion L.
  • the light detected as the G and B components among the color components of the light detected by the imaging unit 23 has the background B information.
  • FIG. 8 is a diagram for explaining a state of image processing in the color mode 1.
  • the gain calculation circuit 35a of the first color adjustment unit 34a extracts only the R component in order to display only the lesion L (that is, the gains of the G and B components are set to zero). And a gain calculation process for multiplying the extracted R component by k times.
  • this state is schematically illustrated, the color component of the light detected by the imaging unit 23 shown in FIG. 7 is converted into the color component shown in the upper diagram of FIG.
  • the color adjustment circuit 36a of the first color adjustment unit 34a performs color adjustment processing for distributing the R component into the G and B components. If this state is schematically illustrated, the color component shown in the upper diagram of FIG. 8 is converted into the color component shown in the lower diagram of FIG. By this color adjustment process, even a slight difference in color of the lesion L can be easily recognized.
  • FIG. 8 illustrates the color adjustment processing for evenly distributing the R component to the G and B components. However, the R component is distributed with weighting to the G and B components, or the R component is divided into the G and B components. You may perform the color adjustment process distributed to either one. Then, the image processing unit 32 outputs the image data subjected to the color adjustment processing to the monitor 6, and the monitor 6 displays the image data. By the image processing described above, only the lesion L can be displayed as shown in FIG.
  • FIG. 9 is a diagram for explaining a state of image processing in the color mode 2.
  • the gain calculation circuit 35b of the second color adjustment unit 34b displays the lesion L and the background B, so that the gains of the G and B components are the same magnification (the same value is not amplified).
  • Gain calculation processing for multiplying the R component by n times When this state is schematically illustrated, the color component of the light detected by the imaging unit 23 shown in FIG. 7 is converted into the color component shown in the upper diagram of FIG.
  • the color adjustment circuit 36b of the second color adjustment unit 34b performs color adjustment processing for converting the R component into the G component and the G component into the R component, respectively.
  • the color component shown in the upper diagram of FIG. 9 is converted into the color component shown in the lower diagram of FIG. 9.
  • the image processing unit 32 outputs the image data subjected to the color adjustment processing to the monitor 6, and the monitor 6 displays the image data.
  • the gain magnification n in the gain calculation circuit 35b of the second color adjustment unit 34b is set to a value smaller than the gain magnification k in the gain calculation circuit 35a of the first color adjustment unit 34a.
  • the color adjustment circuit 36a generates G and B components only from the R component extracted from the gain calculation circuit 35a. Therefore, since it is necessary to increase the information amount of the R component and distribute it to the G and B components, the gain magnification k becomes a large value.
  • the second color adjustment unit 34b since the second color adjustment unit 34b performs color adjustment based on the information amount of the R, G, and B components, an image can be generated with a smaller gain n than the first color adjustment unit 34a.
  • gain calculation is performed, noise components increase and noise becomes conspicuous, and color components information amount clips to cause halation.
  • the second color adjustment unit 34b sets a gain magnification n smaller than the gain magnification k of the first color adjustment unit 34a.
  • the image processing in the image processing unit 32 can be switched to color mode 1 in which only the lesion L is highlighted and color mode 2 in which the lesion L and the background B are displayed by an observer input. . Therefore, the image processing unit 32 is an image processing apparatus that generates image data that can be easily observed both when searching for a lesion and when performing a treatment on the lesion.
  • the rigid mirror having the rigid mirror filter that reflects the excitation light in the near infrared region of the special observation light has been described.
  • the present invention is not limited to this.
  • the above-described image processing apparatus can be applied to a flexible endoscope having a flexible insertion section for inserting the image processing apparatus into a body cavity of a subject.
  • both the first color adjustment unit 34a and the second color adjustment unit 34b always perform processing, and the monitor 6 uses the image data generated by the first color adjustment unit 34a and the first color adjustment unit 34a.
  • the image data generated by the second color adjustment unit 34b may be displayed side by side. In this configuration, it is possible to simultaneously view an image in which only the lesion by the first color adjustment unit 34a is emphasized and an image in which the lesion and background are displayed by the second color adjustment unit 34b.
  • the configuration in which the color mode 1 and the color mode 2 are switched is described.
  • the number of color modes may be three or more.
  • the first color adjustment unit 34a includes the gain calculation circuit 35a and the color adjustment circuit 36a
  • the second color adjustment unit 34b includes the gain calculation circuit 35b and the color adjustment circuit 36b.
  • the first color adjustment unit 34a includes an image processing circuit that collectively performs gain calculation processing and color adjustment processing on the captured image
  • the second color adjustment unit 34b performs gain on the captured image.
  • a configuration having an image processing circuit that performs arithmetic processing and color adjustment processing collectively may be employed.
  • the first color adjustment unit 34a and the second color adjustment unit 34b may be configured as one circuit, but may be configured by two or more circuits.
  • the gain adjustment for each color component and the color adjustment processing for each color component in the first color adjustment unit 34a and the second color adjustment unit 34b of the image processing apparatus are changed according to the part to be observed. Also good. With this configuration, even when a plurality of parts having different colors are observed, it is possible to generate image data that is easier to observe for each part.
  • the configuration in which the imaging unit 23 is realized by three types of image sensors has been described.
  • the configuration having one image sensor having a Bayer array or FIG. A configuration having two types of image sensors including an RGB image sensor and an image sensor that captures fluorescence self-emission may be used.
  • FIG. 11 is a diagram illustrating a configuration in which the imaging unit is realized by two types of image sensors and color filters. Specifically, light incident on the imaging unit 23 is divided into R light, G light, and B light components and fluorescent self-emission components by an optical element such as a prism 231, and R light, G light, and B light. The component light enters the image sensor 23eb that receives the R, G, and B light components via the RGB color filter 23ea, and the fluorescence self-luminous component light fluoresces via the infrared color filter 23da. The light enters the image sensor 23db that receives light of the self-luminous component.
  • FIG. 12 is a diagram showing the light intensity for each color component of light detected by the imaging unit in the configuration of the two types of image sensors shown in FIG. As in FIG. 7, the vertical axis represents the light intensity detected by the imaging unit 23, and the horizontal axis represents the wavelength.
  • the broken lines in FIG. 12 are the color components of light transmitted through the color filters of R light, G light, B light, and fluorescence components. In other words, the R light, G light, B light, and fluorescence self-emission of the imaging unit The sensitivity to is shown. With this configuration, the number of image sensors can be reduced, the structure of the imaging unit 23 can be reduced, and the endoscope 2 can be downsized.

Abstract

画像処理装置は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備える。これにより、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置を提供する。

Description

画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
　本発明は、画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムに関する。
　従来、病変に励起光を照射し、病変からの蛍光を観察する内視鏡システムが知られている。例えば、特許文献１には、病変に対して処置を施す手技を行う際に視認しやすくするため、蛍光を発する病変と、病変以外の背景とを異なる色で強調して表示する画像処理装置が開示されている。
特表２０１５－５０９４０４号公報
　特許文献１の画像処理装置のように、手技を行う場合には、病変と背景との双方が表示されている方が、より観察しやすい。一方で、病変を探す場合には、病変のみが強調して表示されている方が、より観察しやすい。そのため、利用シーンに応じた画像処理を行う画像処理装置が求められていた。
　本発明は、上記に鑑みてなされたものであって、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備えることを特徴とする。
　また、本発明の一態様に係る画像処理装置は、前記第１の色調整部と前記第２の色調整部との切り替えを行う切り替え部を備え、前記切り替え部により選択された、前記第１の色調整部と前記第２の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする。
　また、本発明の一態様に係る画像処理装置は、前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする。
　また、本発明の一態様に係る画像処理装置は、前記第１の色調整部は、前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にｋ倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路と、を有し、前記第２の色調整部は、前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にｎ倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路と、を有し、前記第１の色調整部による前記赤色成分のゲインの倍率ｋと、前記第２の色調整部による前記赤色成分のゲインの倍率ｎとの大小関係は、ｋ＞ｎであることを特徴とする。
　また、本発明の一態様に係る内視鏡システムは、上記の画像処理装置と、被検体に前記特殊観察光を照射する光源装置と、近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする。
　また、本発明の一態様に係る画像処理方法は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理方法であって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替え処理と、前記切り替え処理により選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする。
　また、本発明の一態様に係る画像処理プログラムは、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替えステップと、前記切り替えステップにより選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を実行させることを特徴とする。
　本発明によれば、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを実現することができる。
図１は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。 図２は、光源装置から出力される特殊観察光の色成分を表す図である。 図３は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図４は、カラーモード１が選択された場合に、モニタに表示される画像の一例を示す図である。 図５は、カラーモード２が選択された場合に、モニタに表示される画像の一例を示す図である。 図６は、内視鏡に入射する光の色成分毎の光強度を表す図である。 図７は、撮像部が検出する光の色成分毎の光強度を表す図である。 図８は、カラーモード１における画像処理の様子を説明するための図である。 図９は、カラーモード２における画像処理の様子を説明するための図である。 図１０は、撮像部を３種のイメージセンサとカラーフィルタとで実現する構成を表す図である。 図１１は、撮像部を２種のイメージセンサとカラーフィルタとで実現する構成を表す図である。 図１２は、２種のイメージセンサの構成における撮像部が検出する光の色成分毎の光強度を表す図である。
　以下に、図面を参照して本発明に係る画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、内視鏡用の画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを例示して説明するが、本発明は、内視鏡や顕微鏡等の病変を探して手技を行う装置に用いる画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの一般に適用することができる。
　また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態）
　図１は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。図１に示すように、内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の撮像画像を撮像する撮像装置としての内視鏡２と、内視鏡２が撮像した撮像画像に所定の処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する制御装置３と、内視鏡２の先端から出射する照明光又は励起光を発生する光源である光源装置４と、観察者が所定の操作を入力するタッチパネル５と、制御装置３が画像処理を施した画像データを表示するモニタ６と、を備える。
　内視鏡２は、内視鏡２の先端に設けられ、光源装置４からの照明光又は励起光を出力する照明レンズ２１と、集光用の対物光学系２２と、対物光学系２２の結像位置に設けられており、対物光学系２２が集光した光を受光して電気信号に光電変換して所定の信号処理を施した撮像画像として出力する撮像部２３と、を備える。
　対物光学系２２は、体腔内の光を集光するレンズと、後述する近赤外域の励起光を反射する硬性鏡フィルタと、所定の波長帯域の光を透過するカラーフィルタと、を有し、所定の波長帯域の光を透過する。カラーフィルタは、赤色（Ｒ）光及び赤外光を透過するＲカラーフィルタと、緑色（Ｇ）光を透過するＧカラーフィルタと、青色（Ｂ）光を透過するＢカラーフィルタとのいずれか１つである。
　撮像部２３は、例えばＣＣＤ（Ｃｈａｎｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで構成される。図１０は、撮像部を３種のイメージセンサとカラーフィルタとで実現する構成を表す図である。図１０に示すように、撮像部２３に入射したＲＧＢ成分を含む光は、プリズム２３１等の光学素子により分割され、各カラーフィルタを介して各イメージセンサにそれぞれ入射する。より具体的には、Ｒカラーフィルタ２３ａａを介してイメージセンサ２３ａｂにＲ光及び赤外光が入射し、Ｇカラーフィルタ２３ｂａを介してイメージセンサ２３ｂｂにＧ光が入射し、Ｂカラーフィルタ２３ｃａを介してイメージセンサ２３ｃｂにＢ光及び赤外光が入射する。各イメージセンサは、２次元格子状に配列されている複数の画素に対応し、各画素が各カラーフィルタを介して、Ｒ光、Ｇ光、Ｂ光のうちいずれか１つの光を受光し、受光した光を光電変換して撮像画像を生成する。
　制御装置３は、内視鏡システム１全体の動作を制御する制御部３１と、内視鏡２が撮像した撮像画像に所定の処理を施す画像処理装置としての画像処理部３２と、を有する。
　制御部３１は、ＣＰＵ等を用いて構成され、各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部３１は、タッチパネル５に入力された信号を受け付け、入力に応じた制御信号を画像処理部３２に出力する。
　画像処理部３２は、制御部からの信号に応じてカラーモードを切り替える切り替え部３３と、撮像画像の所定の色成分に対して色調を変更する第１の色調整部３４ａと、撮像画像の所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部３４ｂと、を備える。さらに、第１の色調整部３４ａは、所定の色成分に対してゲインを調整するゲイン演算回路３５ａと、所定の色成分に対して色調を変換する色調整回路３６ａと、を有する。第２の色調整部３４ｂは、所定の色成分及びその他の色成分に対してゲインを調整するゲイン演算回路３５ｂと、所定の色成分及びその他の色成分に対して色調を変換する色調整回路３６ｂと、を有する。画像処理部３２についてのより詳細な説明は後述する。
　光源装置４は、制御部３１からの制御信号に応じて照明光又は励起光を出力する光源部４１を有する。光源部４１は、白色照明光を出力する白色ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）と、特殊観察光を出力する特殊観察光源と、を有する。
　図２は、光源装置から出力される特殊観察光の色成分を表す図である。図２において、縦軸は光強度を表し、横軸は波長を表している。図２に示すように、特殊観察光源は、被検体に導入された蛍光物質を励起するための近赤外域の励起光と、背景を撮像するためのＧ光及びＢ光を含む照明光と、を発生する。従って、内視鏡システム１は、ＩＲＩ（赤外光観察：Ｉｎｆｒａｒｅｄ　Ｉｍａｇｉｎｇ）で観察する機能を有する。また、近赤外域の励起光の光強度は、Ｇ光、Ｂ光の光強度よりも高い。特殊観察光源が発生する特殊観察光には、Ｒ光は含まれない。なお、特殊観察光源が発生する特殊観察光としては、たとえば血液中のヘモグロビンに吸収されやすくなるように狭帯域化されたＧ光及びＢ光の２種の帯域のＮＢＩ（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）照明光等を発生させてもよい。
　タッチパネル５は、カラーモードをカラーモード１に切り替えるボタン５１と、カラーモードをカラーモード２に切り替えるボタン５２と、を有する。観察者がボタン５１又はボタン５２に触れると、タッチパネル５から所定の信号が出力され、制御部３１に入力される。なお、タッチパネル５は、観察者が所望のカラーモードを入力できる構成に代替することができ、例えばキーボードやマウスに代替することができる。
　モニタ６は、映像ケーブルを介して制御装置３が生成した画像データを制御装置３から受信して表示する機能を有する。モニタ６は、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示ディスプレイを有する。
　次に、内視鏡システム１を用いて被検体の観察を行う際の処理について説明する。図３は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
　図３に示すように、観察者は、タッチパネル５のボタン５１又はボタン５２を押すことにより、カラーモード１又はカラーモード２を選択する（選択ステップ：Ｓ１０１）。
　タッチパネル５への外部からの入力は、制御装置３の制御部３１に送信され、制御部３１がカラーモードを識別する（識別ステップ：Ｓ１０２）。
　制御部３１は、識別したカラーモードに応じた画像処理を行うように画像処理部３２の切り替え部３３に制御信号を出力する。画像処理部３２の切り替え部３３は、制御部３１からの制御信号に基づいて、カラーモード１又はカラーモード２の切り替えを行う（切り替えステップ：Ｓ１０３）。
　画像処理部３２は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、切り替え部３３により選択されたカラーモード１又はカラーモード２に応じた色調変更処理を行う（色調変更ステップ：Ｓ１０４）。
　画像処理部３２は、画像処理を施した画像データをモニタ６に出力する。モニタ６は、画像処理部３２からの画像データを表示する（表示ステップ：Ｓ１０５）。
　ここで、画像処理部３２でカラーモード１、カラーモード２の場合に行われる色調変更処理について詳細に説明する。カラーモード１は、観察者が病変を探す際に、病変を見つけやすくするためのカラーモードであり、カラーモード２は、観察者が病変に処置を行う場合に処置を行いやすくするためのカラーモードである。
　図４は、カラーモード１が選択された場合に、モニタに表示される画像の一例を示す図である。図５は、カラーモード２が選択された場合に、モニタに表示される画像の一例を示す図である。カラーモード１では、図４に示すように、病変Ｌを探すために、病変Ｌのみが観察しやすい色調で表示されるのが好ましい。一方、カラーモード２では、図５に示すように、病変Ｌと背景Ｂとの両方が観察しやすい色調で表示されるのが好ましい。なお、図５では、処置具Ｔもモニタ６に表示されている。
　まず、病変Ｌには、近赤外域の励起光が吸収されやすい試薬が注射等により注入されている。そして、病変Ｌ及び背景Ｂを含む観察部位には、図２に示した光の色成分を有する特殊観察光が照射される。すると、試薬が近赤外域の励起光を吸収し、被写体が蛍光自発光を発光する。
　図６は、内視鏡に入射する光の色成分毎の光強度を表す図である。図６において、縦軸は光強度を表し、横軸は波長を表している。図６に示すように、内視鏡２に入射する光の色成分は、特殊観察光が被検体の体腔内でそのまま反射された近赤外域の励起光、Ｂ光、Ｇ光と、励起光より波長の長い近赤外域の試薬からの蛍光自発光の色成分である。ここで、図６の破線は、対物光学系２２の硬性鏡フィルタが透過する光の波長帯域を示しており、硬性鏡フィルタは、Ｂ光、Ｇ光、蛍光自発光を透過するが、近赤外域の励起光を透過しない。
　図７は、撮像部が検出する光の色成分毎の光強度を表す図である。図７において、縦軸は撮像部２３が検出する光強度を表し、横軸は波長を表している。図７の破線は、Ｒ、Ｇ、Ｂの各カラーフィルタが透過する光の色成分である。換言すると、図７の破線は、撮像部２３のＲ、Ｇ、Ｂの光に対する感度を示している。図７に示すように、撮像部２３は、カラーフィルタにより、Ｇ光、Ｂ光、Ｒ光及び赤外光に感度を有する。特に、撮像部２３は、赤外域において蛍光自発光の領域にまで感度を有し、赤外光の色成分はＲ成分として撮像部２３に検出される。なお、赤外域の感度は、長波長側では弱くなる。
　撮像部２３が検出する光の色成分のうち、Ｒ成分として検出される光は、被写体の試薬からの蛍光自発光であるから、病変Ｌの情報を有する。一方、撮像部２３が検出する光の色成分のうち、Ｇ、Ｂ成分として検出される光は、背景Ｂの情報を有する。
　図８は、カラーモード１における画像処理の様子を説明するための図である。カラーモード１を選択した場合、第１の色調整部３４ａのゲイン演算回路３５ａは、病変Ｌのみを表示させるために、Ｒ成分のみを抽出して（すなわち、Ｇ、Ｂ成分のゲインをゼロにする）、抽出したＲ成分にｋ倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、図７で示した撮像部２３が検出した光の色成分が、図８の上側の図に示す色成分に変換される。
　次に、第１の色調整部３４ａの色調整回路３６ａは、図８に示すように、Ｒ成分をＧ、Ｂ成分に振り分ける色調整処理を行う。この様子を概略的に図示すると、図８の上側の図に示す色成分が、図８の下側の図に示す色成分に変換される。この色調整処理により、病変Ｌの僅かな色味の違いでも視認しやすくすることができる。なお、図８には、Ｒ成分をＧ、Ｂ成分に均等に振り分ける色調整処理を図示したが、Ｒ成分をＧ、Ｂ成分に重みをつけて振り分ける、又は、Ｒ成分をＧ、Ｂ成分のいずれか一方に振り分ける色調整処理を行ってもよい。そして、画像処理部３２は、色調整処理を施した画像データをモニタ６に出力し、モニタ６が画像データを表示する。以上説明した画像処理によって、図４に示すように病変Ｌのみを表示させることができる。
　図９は、カラーモード２における画像処理の様子を説明するための図である。カラーモード２を選択した場合、第２の色調整部３４ｂのゲイン演算回路３５ｂは、病変Ｌ及び背景Ｂを表示させるために、Ｇ、Ｂ成分のゲインは等倍（増幅せずそのままの値を用いる）とし、Ｒ成分にｎ倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、図７で示した撮像部２３が検出した光の色成分が、図９の上側の図に示す色成分に変換される。
　次に、第２の色調整部３４ｂの色調整回路３６ｂは、図９に示すように、Ｒ成分をＧ成分に、Ｇ成分をＲ成分にそれぞれ変換する色調整処理を行う。この様子を概略的に図示すると、図９の上側の図に示す色成分が、図９の下側の図に示す色成分に変換される。この色調整処理により、病変Ｌを強調表示して僅かな色味の違いでも視認しやすくするとともに、背景Ｂも視認できるようにすることができる。そして、画像処理部３２は、色調整処理を施した画像データをモニタ６に出力し、モニタ６が画像データを表示する。以上説明した画像処理によって、図５に示すように病変Ｌ及び背景Ｂを表示させることができる。
　なお、第２の色調整部３４ｂのゲイン演算回路３５ｂでのゲインの倍率ｎは、第１の色調整部３４ａのゲイン演算回路３５ａでのゲインの倍率ｋよりも小さい値に設定する。第１の色調整部３４ａでは、ゲイン演算回路３５ａから抽出したＲ成分のみから、色調整回路３６ａにてＧ、Ｂ成分を生成する。そのため、Ｒ成分の情報量を増加させてＧ、Ｂ成分へ振り分ける必要があるため、ゲインの倍率ｋは大きい値となる。
　一方で、第２の色調整部３４ｂでは、Ｒ、Ｇ、Ｂ成分の情報量から色調整を行うため、第１の色調整部３４ａより小さいゲインの倍率ｎで画像を生成できる。ゲイン演算を行うとノイズ成分が大きくなりノイズが目立つデメリットと、色成分の情報量がクリップしハレーションが発生するデメリットが生じる。第２の色調整部３４ｂでは、このような影響を少なくするためにも、第１の色調整部３４ａのゲインの倍率ｋに比べて、小さいゲインの倍率ｎに設定する。
　内視鏡システム１では、観察者の入力により画像処理部３２における画像処理を、病変Ｌのみを強調表示するカラーモード１と、病変Ｌ及び背景Ｂを表示させるカラーモード２とに切り替えることができる。従って、この画像処理部３２は、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置である。
　なお、上述した実施の形態では、特殊観察光の近赤外域の励起光を反射する硬性鏡フィルタを有する硬性鏡について説明したが、これに限られない。上述した画像処理装置を被検体の体腔内に挿入する可撓性を有する挿入部を有する軟性鏡に適応することも可能である。
　また、上述した実施の形態では、切り替え部３３がカラーモード１とカラーモード２との切り替えを行う構成について説明したが、これに限られない。例えば、画像処理装置は、常時第１の色調整部３４ａと第２の色調整部３４ｂとの双方が処理を行い、モニタ６は、第１の色調整部３４ａにより生成された画像データと第２の色調整部３４ｂにより生成された画像データとを並べて表示する構成であってよい。この構成では、第１の色調整部３４ａによる病変のみを強調した画像と、第２の色調整部３４ｂによる病変及び背景を表示した画像とを同時に見ることができる。
　また、上述した実施の形態では、カラーモード１とカラーモード２との２つのカラーモードで切り替えを行う構成について説明したが、カラーモードの数は３以上の複数であってもよい。
　また、上述した実施の形態では、第１の色調整部３４ａがゲイン演算回路３５ａと色調整回路３６ａとを有し、第２の色調整部３４ｂがゲイン演算回路３５ｂと色調整回路３６ｂとを有する構成について説明したが、これに限られない。例えば、第１の色調整部３４ａは、撮像画像に対してゲイン演算処理と色調整処理を一括して行う画像処理回路を有し、第２の色調整部３４ｂは、撮像画像に対してゲイン演算処理と色調整処理とを一括して行う画像処理回路を有する構成であってよい。このように、第１の色調整部３４ａ及び第２の色調整部３４ｂは、１つの回路として構成されていてもよいが、２以上の複数の回路からなる構成であってもよい。
　また、画像処理装置の第１の色調整部３４ａと第２の色調整部３４ｂとにおける各色成分に対するゲインの調整や、各色成分の色調整処理は、観察する部位に応じて変更される構成としてもよい。この構成により、色味が違う複数の部位を観察する場合であっても、部位毎により観察しやすい画像データを生成することができる。
　また、上述した実施の形態では、図１０に示すように、撮像部２３が３種のイメージセンサで実現される構成について説明したが、ベイヤー配列を有する１つのイメージセンサを有する構成や図１１に示すＲＧＢ用のイメージセンサと蛍光自発光を撮像するイメージセンサとを有する２種のイメージセンサを有する構成であってもよい。
　図１１は、撮像部を２種のイメージセンサとカラーフィルタとで実現する構成を表す図である。具体的には、撮像部２３に入射した光がプリズム２３１等の光学素子により、Ｒ光、Ｇ光、Ｂ光の成分と蛍光自発光の成分とに分けられ、Ｒ光、Ｇ光、Ｂ光の成分の光はＲＧＢカラーフィルタ２３ｅａを介してＲ光、Ｇ光、Ｂ光の成分を受光するイメージセンサ２３ｅｂに入射し、蛍光自発光の成分の光は赤外域のカラーフィルタ２３ｄａを介して蛍光自発光の成分の光を受光するイメージセンサ２３ｄｂに入射する。
　図１２は、図１１に示す２種のイメージセンサの構成において、撮像部が検出する光の色成分毎の光強度を表す図である。図７と同様に、縦軸は撮像部２３が検出する光強度を表し、横軸は波長を表している。図１２の破線は、Ｒ光、Ｇ光、Ｂ光、蛍光成分の各カラーフィルタが透過する光の色成分であり、換言すると、撮像部２３のＲ光、Ｇ光、Ｂ光及び蛍光自発光に対する感度を示している。このような構成とすることで、イメージセンサの数を少なくすることができ、撮像部２３の構造が小さくなり、内視鏡２を小型化することが可能となる。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　１　内視鏡システム
　２　内視鏡
　３　制御装置
　４　光源装置
　５　タッチパネル
　６　モニタ
　２１　照明レンズ
　２２　対物光学系
　２３　撮像部
　２３ａａ　Ｒカラーフィルタ
　２３ａｂ、２３ｂｂ、２３ｃｂ、２３ｄｂ、２３ｅｂ　イメージセンサ
　２３ｂａ　Ｇカラーフィルタ
　２３ｃａ　Ｂカラーフィルタ
　２３ｄａ　カラーフィルタ
　２３ｅａ　ＲＧＢカラーフィルタ
　３１　制御部
　３２　画像処理部
　３３　切り替え部
　３４ａ　第１の色調整部
　３４ｂ　第２の色調整部
　３５ａ、３５ｂ　ゲイン演算回路
　３６ａ、３６ｂ　色調整回路
　４１　光源部
　５１、５２　ボタン
　２３１　プリズム
　Ｂ　背景
　Ｌ　病変
　Ｔ　処置具

Claims (7)

  1. 　特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備えることを特徴とする画像処理装置。
  2. 　前記第１の色調整部と前記第２の色調整部との切り替えを行う切り替え部を備え、
    　前記切り替え部により選択された、前記第１の色調整部と前記第２の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記第１の色調整部は、
    　前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にｋ倍のゲインをかけるゲイン演算回路と、
    　前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路と、を有し、
    　前記第２の色調整部は、
    　前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にｎ倍のゲインをかけるゲイン演算回路と、
    　前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路と、を有し、
    　前記第１の色調整部による前記赤色成分のゲインの倍率ｋと、前記第２の色調整部による前記赤色成分のゲインの倍率ｎとの大小関係は、ｋ＞ｎであることを特徴とする請求項３に記載の画像処理装置。
  5. 　請求項１～４のいずれか１つに記載の画像処理装置と、
    　被検体に前記特殊観察光を照射する光源装置と、
    　近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする内視鏡システム。
  6. 　特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理方法であって、
    　外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替え処理と、
    　前記切り替え処理により選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする画像処理方法。
  7. 　特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、
    　外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替えステップと、
    　前記切り替えステップにより選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を実行させることを特徴とする画像処理プログラム。
PCT/JP2016/081267 2015-11-04 2016-10-21 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム WO2017077882A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017504114A JP6211229B2 (ja) 2015-11-04 2016-10-21 画像処理装置、及び内視鏡システム
US15/955,063 US10867410B2 (en) 2015-11-04 2018-04-17 Image processing apparatus and endoscopic system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015216958 2015-11-04
JP2015-216958 2015-11-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/955,063 Continuation US10867410B2 (en) 2015-11-04 2018-04-17 Image processing apparatus and endoscopic system

Publications (1)

Publication Number Publication Date
WO2017077882A1 true WO2017077882A1 (ja) 2017-05-11

Family

ID=58661838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081267 WO2017077882A1 (ja) 2015-11-04 2016-10-21 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US10867410B2 (ja)
JP (1) JP6211229B2 (ja)
WO (1) WO2017077882A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610187A (zh) * 2017-09-19 2018-01-19 青岛海信电器股份有限公司 一种用于医疗内窥装置采集图像的控制方法、装置及内窥系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3610779A4 (en) * 2017-05-17 2020-05-13 Sony Corporation IMAGE ACQUISITION SYSTEM, CONTROL DEVICE AND IMAGE ACQUISITION METHOD

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105803A (ja) * 1992-09-30 1994-04-19 Olympus Optical Co Ltd 電子内視鏡装置
JPH06245899A (ja) * 1992-12-28 1994-09-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2012152414A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 電子内視鏡システム
JP2015160013A (ja) * 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962122B2 (ja) * 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
US7179222B2 (en) 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US6293911B1 (en) 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
JPH1189789A (ja) * 1997-09-24 1999-04-06 Olympus Optical Co Ltd 蛍光画像装置
US6422994B1 (en) 1997-09-24 2002-07-23 Olympus Optical Co., Ltd. Fluorescent diagnostic system and method providing color discrimination enhancement
JP2001178673A (ja) * 1999-12-24 2001-07-03 Fuji Photo Film Co Ltd 蛍光撮像装置
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP4242578B2 (ja) * 2001-10-22 2009-03-25 オリンパス株式会社 内視鏡装置
DE60228165D1 (de) 2001-05-16 2008-09-25 Olympus Corp Endoskop mit Bildverarbeitungseinrichtung
JP5114003B2 (ja) * 2005-11-04 2013-01-09 オリンパス株式会社 蛍光内視鏡装置
US20060173358A1 (en) 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
JP4637620B2 (ja) * 2005-03-18 2011-02-23 富士フイルム株式会社 内視鏡システム装置
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
JP5371946B2 (ja) * 2010-12-24 2013-12-18 富士フイルム株式会社 内視鏡診断装置
JP5631764B2 (ja) * 2011-01-25 2014-11-26 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2012217673A (ja) * 2011-04-11 2012-11-12 Fujifilm Corp 内視鏡診断装置
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5303015B2 (ja) * 2011-08-29 2013-10-02 富士フイルム株式会社 内視鏡診断装置
AU2013222242A1 (en) 2012-02-23 2014-09-18 Smith & Nephew, Inc. Video endoscopic system
JP2013186369A (ja) * 2012-03-09 2013-09-19 Seiko Epson Corp 画像表示装置および画像表示方法
JPWO2013161246A1 (ja) * 2012-04-26 2015-12-21 パナソニック株式会社 表示制御システム及び表示装置
JP5789280B2 (ja) * 2013-05-14 2015-10-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
EP3111822A4 (en) * 2014-04-08 2018-05-16 Olympus Corporation Fluorescence endoscopy system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105803A (ja) * 1992-09-30 1994-04-19 Olympus Optical Co Ltd 電子内視鏡装置
JPH06245899A (ja) * 1992-12-28 1994-09-06 Olympus Optical Co Ltd 電子内視鏡装置
JP2012152414A (ja) * 2011-01-27 2012-08-16 Fujifilm Corp 電子内視鏡システム
JP2015160013A (ja) * 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610187A (zh) * 2017-09-19 2018-01-19 青岛海信电器股份有限公司 一种用于医疗内窥装置采集图像的控制方法、装置及内窥系统

Also Published As

Publication number Publication date
US20180232911A1 (en) 2018-08-16
JP6211229B2 (ja) 2017-10-11
US10867410B2 (en) 2020-12-15
JPWO2017077882A1 (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
KR101022585B1 (ko) 생체 관측 장치
JP6076568B1 (ja) 観察システム
KR100939400B1 (ko) 생체 관측 장치
KR100983407B1 (ko) 생체 촬상 장치 및 생체 관측 시스템
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JPWO2017061432A1 (ja) 撮像装置、撮像プログラムおよび撮像方法
EP2468187B1 (en) Endoscope system and processor apparatus thereof, and method for generating images
EP3085300A1 (en) Endoscope device
CN111343898B (zh) 内窥镜系统及其工作方法
JP2015195844A (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP2014233533A (ja) 内視鏡システム
WO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US9595117B2 (en) Image processing device and method for operating endoscope system
WO2016084257A1 (ja) 内視鏡装置
JP4694310B2 (ja) 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム
US10003774B2 (en) Image processing device and method for operating endoscope system
JP6211229B2 (ja) 画像処理装置、及び内視鏡システム
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
CN111343899B (zh) 内窥镜系统及其工作方法
JP2016032494A (ja) 内視鏡システム、内視鏡システムの作動方法、光源装置、光源装置の作動方法
CN112118778A (zh) 内窥镜系统
WO2015194204A1 (ja) 内視鏡装置
CN111683583B (zh) 内窥镜系统及其工作方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017504114

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16861945

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16861945

Country of ref document: EP

Kind code of ref document: A1