WO2020188727A1 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及びプログラム Download PDF

Info

Publication number
WO2020188727A1
WO2020188727A1 PCT/JP2019/011330 JP2019011330W WO2020188727A1 WO 2020188727 A1 WO2020188727 A1 WO 2020188727A1 JP 2019011330 W JP2019011330 W JP 2019011330W WO 2020188727 A1 WO2020188727 A1 WO 2020188727A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
region
image signal
specific subject
Prior art date
Application number
PCT/JP2019/011330
Other languages
English (en)
French (fr)
Inventor
順平 高橋
昌士 弘田
恵仁 森田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/011330 priority Critical patent/WO2020188727A1/ja
Priority to CN201980093833.8A priority patent/CN113543689B/zh
Priority to JP2021506874A priority patent/JP7158562B2/ja
Publication of WO2020188727A1 publication Critical patent/WO2020188727A1/ja
Priority to US17/469,093 priority patent/US20210401268A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an endoscope device, an operation method and a program of the endoscope device, and the like.
  • ESD Endoscopic Submucosal Dissection
  • ESD Endoscopic Submucosal Dissection
  • the boundary between the muscular layer and the submucosa is visually recognized, and the early cancer on the mucosa is excised by incising the submucosa.
  • Patent Document 1 discloses that when bleeding occurs during mucosal resection in ESD, the bleeding point can be easily visually recognized by using DRI (Dual Red Imaging) observation.
  • DRI observation is an observation method using illumination light including amber light and red light.
  • the visibility of the bleeding point is improved by using DRI observation.
  • the submucosa may be accompanied by fibrosis, and in such fibrotic cases, the distinction between the muscular layer and the fibrotic layer in DRI observation is compared with WLI (White Light Imaging) observation.
  • WLI White Light Imaging
  • One aspect of the present invention is to capture an image signal of a light source unit that generates at least the first light and the second light sequentially or simultaneously as illumination light and the return light from the subject irradiated with the illumination light.
  • the first light includes a processing unit that outputs a display image based on the image signal and outputs the display image to the display device, and the first light has a minimum hemoglobin absorption coefficient. It is a narrow band light having a peak wavelength between the wavelength and the wavelength that becomes the first maximum value of the hemoglobin absorption coefficient on the shorter wavelength side than the minimum value, and the second light is blue.
  • the image signal includes a first image signal corresponding to the first light and a second image signal corresponding to the second light
  • the processing unit includes a second image signal corresponding to the second light.
  • the first light has a wavelength at which the hemoglobin absorption coefficient is the minimum value and a first maximum value of the hemoglobin absorption coefficient on the shorter wavelength side than the wavelength at which the hemoglobin absorption coefficient is the minimum value. It is a narrow band light having a peak wavelength between the wavelengths, and when the second light is light belonging to a blue region or a green region, at least the first light and the second light are illuminated sequentially or simultaneously. By capturing the return light generated as light from the subject irradiated with the illumination light, the first image signal corresponding to the first light and the second image signal corresponding to the second light can be obtained.
  • the image signal including the specific subject When the image signal including the specific subject is acquired, it is determined based on the image signal whether or not the specific subject is included in the image, and it is determined that the specific subject is included in the image, the image including the specific subject is determined.
  • the image including the specific subject By performing color or brightness conversion processing using the first image signal or the second image signal on the region, the specific subject is emphasized and the image after the enhancement processing is displayed as a display image. It is related to the operation method of the endoscopic device, which is output to the device.
  • the first light has a wavelength at which the hemoglobin absorbance coefficient is the minimum value and a first maximum value of the hemoglobin absorption coefficient on the wavelength side shorter than the wavelength at which the hemoglobin absorbance coefficient is the minimum value.
  • the second light is light belonging to the blue region or the green region, it is a narrow band light having a peak wavelength between the wavelengths of the first light and the second light, and the first light and the second light are sequentially or simultaneously.
  • an image signal containing the specific subject When an image signal containing the specific subject is acquired, it is determined based on the image signal whether or not the specific subject is included in the image, and it is determined that the specific subject is included in the image, the specific subject is included. By performing color or brightness conversion processing using the first image signal or the second image signal on the image region, the specific subject is emphasized, and the image after the enhancement processing is used as a display image. It is related to the program that causes the computer to execute the steps that are output to the display device.
  • a configuration example of the endoscope device of this embodiment Example of spectral characteristics of illumination light in WLI mode.
  • the figure explaining the procedure of ESD An example of an endoscopic image when incising the submucosal layer in ESD.
  • the flowchart which shows the procedure of the processing performed by the endoscope apparatus A flowchart showing a detailed procedure for determining whether or not a specific subject exists in the displayed image.
  • FIG. 1 is a configuration example of the endoscope device 100 of the present embodiment.
  • the endoscope device 100 includes a control device 10, a light source unit 20, an imaging unit 30, a display unit 40, and an operation unit 50.
  • a flexible mirror used for the lower gastrointestinal tract can be assumed, but the endoscope device may be a flexible mirror used for the upper gastrointestinal tract or a rigid mirror used for surgery or the like. ..
  • the imaging unit 30 is a device provided at the tip of the scope to image a subject image.
  • the imaging unit 30 includes an objective lens that forms an image of the subject and an image sensor that captures the image of the formed subject.
  • the image sensor outputs an image signal to the control device 300.
  • the image sensor may be a monochrome image sensor, or may be a color image sensor provided with a Bayer primary color filter or a complementary color filter.
  • the endoscope device 100 has a WLI (White Light Imaging) mode for displaying a white light image and a DRI mode for displaying a DRI (Dual Red Imaging) image.
  • WLI White Light Imaging
  • DRI Direct Red Imaging
  • the WLI mode or the DRI mode is set based on the input information from the operation unit 50.
  • the light source unit 20 is a device that generates illumination light.
  • FIG. 2 shows an example of the spectral characteristics of the illumination light in the WLI mode
  • FIG. 3 shows an example of the spectral characteristics of the illumination light in the DRI mode.
  • the light source unit 20 emits blue light LB, green light LG, and red light LR.
  • the blue light LB is light that belongs to the blue region when visible light is divided into three primary colors, and has, for example, a wavelength band of 450 to 500 nm.
  • the green light LG is light that belongs to the green region when visible light is divided into three primary colors, and has, for example, a wavelength band of 500 to 570 nm.
  • the red light LR is light that belongs to the red region when visible light is divided into three primary colors, and has, for example, a wavelength band of 570 to 700 nm.
  • the light source unit 20 emits the green light LG2 for DRI, the amber narrowband light LA, and the red narrowband light LR2.
  • LG2, LA, and LR2 are also simply referred to as green light, amber light, and red light.
  • the green light LG2 is light belonging to the green region, has a narrower wavelength band than the green light LG in the WLI mode, and has a peak wavelength of 540 nm, for example.
  • the amber light LA is a narrow band light having a peak wavelength of 600 nm.
  • the red light LR2 is a narrow band light having a peak wavelength of 630 nm.
  • Narrow-band light is light having a narrower band than each color region when the wavelength band of visible light is divided into three primary colors. The bandwidth of narrow band light is, for example, several tens of nm.
  • LG2 may belong to the blue region or the green region as long as it is in a wavelength band having a large hemoglobin absorption coefficient HAC.
  • the peak wavelength of the amber light LA may belong to a predetermined wavelength range in which the hemoglobin extinction coefficient HAC changes sharply in the red region. That is, it is sufficient that the peak wavelength of the amber light LA is between the vicinity of 730 nm, which is the minimum value of the hemoglobin extinction coefficient HAC, and 576 nm, which is the first maximum value of the hemoglobin extinction coefficient HAC on the short wavelength side. More preferably, the peak wavelength of the amber light LA may belong to the range of 585 nm to 615 nm.
  • the peak wavelength of red light LR2 may belong to a wavelength band having a low hemoglobin extinction coefficient HAC. Specifically, the peak wavelength of the red light LR2 may belong to the range of 610 nm to 730 nm.
  • the light source unit 20 includes, for example, first to sixth light emitting elements that generate LB, LG, LR, LG2, LA, and LR2, respectively. Then, among the first to sixth light emitting elements, the light emitting element corresponding to each mode emits light, so that the illumination light of each mode is emitted.
  • the light emitting element is, for example, an LED (Light Emitting Diode) or an LD (Laser Diode).
  • the light source unit 20 may include a white light source such as a xenon lamp and first to sixth optical filters that pass through LB, LG, LR, LG2, LA, and LR2, respectively.
  • the optical filters corresponding to each mode are inserted into the optical path, so that the illumination light of each mode is emitted.
  • the illumination light is guided to the tip of the scope by an optical fiber or the like, and the guided illumination light is diffused by the illumination lens to irradiate the subject.
  • the illumination lens is provided at the tip of the scope.
  • the light source unit 20 sequentially or simultaneously generates the above-mentioned plurality of colors of illumination light.
  • a monochrome image sensor is used in the WLI mode.
  • the light source unit 20 sequentially emits light from the LB, LG, and LR at the first to third timings, respectively, and the imaging unit 30 captures an image at each timing.
  • the light source unit 20 In the DRI mode, the light source unit 20 sequentially emits LG2, LA, and LR2 at the first to third timings, respectively, and the imaging unit 30 images an image at each timing.
  • a color image sensor is used will be described in the WLI mode.
  • the light source unit 20 emits light of LB, LG, and LR at the same time, and the image pickup unit 30 acquires an image at the light emission timing.
  • the light source unit 20 emits LG2 and LR2 at the first timing and LA at the second timing.
  • the light source unit 20 emits LG2 and LA at the first timing and LR2 at the second timing.
  • the image capturing unit 30 captures an image at each timing.
  • the image captured by the amber light LA is used in the enhancement process of the WLI mode.
  • the light source unit 20 causes the LB, LG, LA, and LR to emit light sequentially or simultaneously.
  • the image captured by the green light LG may be used in the enhancement process of the DRI mode.
  • the light source unit 20 causes LG, LG2, LA, and LR2 to emit light sequentially or simultaneously.
  • the control device 10 controls each part of the endoscope device 100 and performs various signal processing such as image processing.
  • the control device 10 is also referred to as a main body unit or a processor unit of the endoscope device 100.
  • the control device 10 includes a storage unit 11, a control unit 12, and a processing unit 13.
  • the storage unit 11 stores the operation setting information of the endoscope device 100, records an image or a moving image, or functions as a working memory of the processing unit 13.
  • the storage unit 11 can include a volatile storage device and a non-volatile storage device, and includes, for example, a semiconductor memory, a hard disk drive, an optical disk drive, and the like.
  • the control unit 12 controls each unit of the endoscope device 100.
  • the WLI mode or the DRI mode is set based on the information input by the user via the operation unit 50, and the mode setting signal is output to the light source unit 20 and the processing unit 13.
  • the light source unit 20 and the processing unit 13 execute operations in each mode based on the mode setting signal.
  • the processing unit 13 performs various signal processing such as image processing.
  • the processing unit 13 includes a display image generation unit 14, an image determination unit 15, and an image enhancement unit 16.
  • the display image generation unit 14, the image determination unit 15, and the image enhancement unit 16 may be configured by individual circuits, or the processing unit 13 may be configured by an integrated circuit.
  • the processing unit 13 may be realized by a processor such as a CPU.
  • the display image generation unit 14 generates a display image based on the image signal input from the image pickup unit 30.
  • the display image generation unit 14 In the WLI mode, the display image generation unit 14 generates a white light image as a display image. That is, the image signal by the red light LR is assigned to the R channel of the display image, the image signal by the green light LG is assigned to the G channel of the display image, and the image signal by the blue light LB is assigned to the B channel of the display image.
  • the display image generation unit 14 In the DRI mode, the display image generation unit 14 generates a DRI image as a display image.
  • the image signal by the red light LR2 is assigned to the R channel of the display image
  • the image signal by the amber light LA is assigned to the G channel of the display image
  • the image signal by the green light LG2 is assigned to the B channel of the display image.
  • the display image generation unit 14 performs image processing such as interpolation processing, white light balance processing, and gamma conversion processing in the generation of the display image. For example, when images of a plurality of colors are sequentially captured, the display image generation unit 14 synthesizes the images to generate a color image. When an image is captured by the color image sensor, the display image generation unit 14 generates a color image by performing interpolation processing on the image.
  • image processing such as interpolation processing, white light balance processing, and gamma conversion processing in the generation of the display image. For example, when images of a plurality of colors are sequentially captured, the display image generation unit 14 synthesizes the images to generate a color image. When an image is captured by the color image sensor, the display image generation unit 14 generates a color image by performing interpolation processing on the image.
  • the image determination unit 15 determines an area in the image in which a specific subject appears.
  • the image determination unit 15 may make a determination based on the image signal input from the image pickup unit 30, or may make a determination based on the display image generated by the display image generation unit 14. The details of the determination method will be described later.
  • the image determination unit 15 outputs information on a region determined to capture a specific subject to the image enhancement unit 16.
  • the area information is, for example, information indicating the positions of pixels belonging to the area, or information indicating the position and shape of the area.
  • the image enhancement unit 16 performs enhancement processing on an area determined to capture a specific subject.
  • the image enhancement unit 16 performs enhancement processing on the display image generated by the display image generation unit 14, and outputs the processed display image to the display unit 40.
  • the details of the emphasis processing will be described later.
  • the display image generated by the display image generation unit 14 is output to the display unit 40.
  • the display unit 40 displays a display image input from the image enhancement unit 16 or the display image generation unit 14.
  • the display unit 40 is a display device such as a liquid crystal display or an organic EL display.
  • the operation unit 50 is a device for the user to operate the endoscope device 100.
  • the operation unit 50 can include, for example, a button or dial, a lever, a foot switch, a touch panel, and the like.
  • the operation unit 50 is provided on the scope, the control device 10, and the display unit 40.
  • ESD Endoscopic Submucosal Dissection
  • the endoscope device 100 of this embodiment can be applied not only to ESD but also to various treatments. That is, when it is necessary to visually recognize or identify a plurality of biological tissues in the treatment, and it is difficult to visually recognize or identify the plurality of biological tissues because they are not separated on the hue plane.
  • the endoscope device 100 of the embodiment can be applied.
  • FIG. 4 is a diagram illustrating an ESD procedure. As shown in FIG. 4, there is a submucosa below the mucosa and a muscular layer below it. Early cancer is present on the mucosa.
  • the excision area is raised by injecting water or a chemical solution into the submucosa below the excision area.
  • the drug solution is, for example, indigo carmine, which is a blue dye.
  • the mucosa is incised with an electric knife or the like along the marking.
  • the excision area is removed by incising the submucosa. Since early cancer is localized on the mucosa, an incision in the submucosa removes the early cancer. At this time, the submucosal layer is incised while distinguishing the boundary between the muscular layer and the submucosal layer so as not to incise the muscular layer.
  • FIG. 5 is an example of an endoscopic image when an incision is made in the submucosa in ESD.
  • a part of the submucosal layer may be fibrotic.
  • This fibrous submucosa is called a fibrous layer. In this case, it is necessary to visually recognize the boundary between the fibrous layer and the muscular layer.
  • the muscularis looks reddish, for example pink, and the fibrotic and submucosal layers look whitish than the muscularis.
  • the color of the fibrous layer is distributed near the origin in the CrCb plane, and the color of the muscular layer is saturated on the fourth quadrant side of the fibrous layer. It's getting higher. That is, in the WLI mode, the fibrotic layer and the muscular layer are separated in the CrCb plane. Further, in the WLI mode, it is possible to visually recognize the fibrous structure in the fibrotic layer. Therefore, in the WLI mode, the muscular layer and the fibrotic layer can be distinguished by color or structural information.
  • the muscularis layer and the fibrotic layer look similar in color. Specifically, as shown in the left figure of FIG. 11, the colors of the muscular layer and the fibrotic layer are both distributed near the origin in the CrCb plane. In the DRI mode, the image captured by the amber light is input to the G channel of the displayed image, but the amber light is less sensitive to hemoglobin than the green light. Therefore, it is considered that the difference in color between the muscular layer and the fibrotic layer is less likely to occur.
  • the WLI mode As described above, it is desirable to use the WLI mode from the viewpoint of distinguishing between the fibrotic layer and the muscular layer.
  • bleeding may occur when the submucosa or fibrotic layer is incised. In that case, blood is flowed by water supply, the bleeding point is visually recognized, and hemostasis or the like is performed.
  • blood and water are mixed by water supply, and it is desirable that the bleeding point can be visually recognized from the blood pool.
  • the DRI mode amber light having a lower hemoglobin extinction coefficient HAC than in green light or the like is used, so that the sensitivity to hemoglobin is lower than in the WLI mode. This makes it easier to see the shade of hemoglobin. Specifically, as shown in the left figure of FIG. 11, the saturation of the blood pool is lower than the saturation of the bleeding point, and the bleeding point looks darker orange.
  • the DRI mode As described above, it is desirable to use the DRI mode from the viewpoint of visually recognizing the bleeding point. As described above, it is desirable to use the WLI mode from the viewpoint of distinguishing the fibrotic layer from the muscular layer. Therefore, in the conventional WLI mode and the DRI mode, the visual recognition of the bleeding point and the distinction between the fibrotic layer and the muscular layer can be performed. There is a problem that it is difficult to provide a compatible image.
  • FIG. 6 is a flowchart showing a procedure of processing performed by the endoscope device 100.
  • the light source unit 20 generates illumination light and the imaging unit 30 takes an image to capture an image of the subject.
  • the display image generation unit 14 generates a display image from the image signal input from the image pickup unit 30.
  • the image determination unit 15 determines whether or not a specific subject exists in the displayed image. Specifically, the image determination unit 15 determines an area in the display image in which a specific subject appears.
  • the image enhancement unit 16 performs enhancement processing on the region determined to show a specific subject in the display image. The above steps S10 to S13 are performed for each frame image of the moving image, and the moving image after the emphasis processing is displayed on the display unit 40.
  • steps S12 and S13 the processing differs between the WLI mode and the DRI mode. The details of the processing in each step will be described below.
  • FIG. 7 is a flowchart showing the detailed procedure of step S12.
  • the image determination unit 15 converts the display image into a YCrCb image. That is, the RGB values in each pixel of the display image are converted into YCrCb values.
  • the image determination unit 15 determines whether or not the WLI mode is used. That is, the image determination unit 15 determines the mode based on the mode setting signal input from the control unit 12.
  • the image determination unit 15 determines the bleeding region in the displayed image based on the YCrCb value in step S123.
  • the bleeding area is a specific subject in the WLI mode.
  • the image determination unit 15 determines a region having a high hemoglobin concentration in the subject appearing in the display image as a bleeding region. Specifically, the image determination unit 15 determines a region whose hue belongs to a predetermined hue range and whose saturation is higher than the first predetermined value as a bleeding region.
  • Hue is a value in the angular direction centered on the origin in the CrCb plane
  • saturation is a value in the distance direction centered on the origin in the CrCb plane.
  • the predetermined hue range is a hue range corresponding to red, for example, the fourth quadrant of the CrCb plane.
  • step S124 the image determination unit 15 determines the submucosal region in the displayed image based on the YCrCb value.
  • the submucosal region is the specific subject in the DRI mode.
  • the image determination unit 15 determines a region having a low hemoglobin concentration in the subject appearing in the display image as a submucosal region.
  • the submucosal region determined here includes a muscular layer and a fibrotic layer.
  • the image determination unit 15 determines a region having a saturation lower than the second predetermined value as a submucosal layer region.
  • the second predetermined value may be different from the first predetermined value.
  • step S123 or S124 When step S123 or S124 is completed, step S12 is completed and step S13 is executed.
  • steps S123 and S124 Various modifications can be performed in steps S123 and S124, and examples of the modifications will be described later.
  • FIG. 8 is a flowchart showing the procedure of the emphasis processing when the WLI mode is determined in step S122.
  • the image enhancement unit 16 determines whether or not the bleeding region is detected in step S123.
  • the image enhancement unit 16 enhances the bleeding region in the displayed image based on the amber signal. Specifically, the image enhancement unit 16 synthesizes the amber signal in the pixel to the G channel of the pixel belonging to the bleeding region of the display image by the first predetermined ratio. In the WLI mode, since the green signal is assigned to the G channel of the display image, the signal obtained by synthesizing the amber signal at the first predetermined ratio with respect to the green signal is assigned to the G channel of the display image.
  • the green signal and the amber signal are image signals corresponding to the green light and the amber light, respectively.
  • the amber signal is an image signal captured when amber light is irradiated in the case of surface sequential, and is imaged when amber light is irradiated in the case of simultaneous type. It is an R channel image signal among the generated image signals.
  • step S132 When step S132 is completed, or when the bleeding region is not detected in step S123, step S13 is completed.
  • Various modifications can be performed in step S132, and examples of the modifications will be described later.
  • FIG. 9 is a diagram for explaining the enhancement process in the WLI mode.
  • FIG. 9 shows the color distribution of the subject in the CrCb plane.
  • the left figure of FIG. 9 is the distribution before the emphasis processing, and the right figure is the distribution after the emphasis processing.
  • both the blood pool and the bleeding point are not separated in the CrCb plane because the Cr value is saturated.
  • the amber signal is synthesized into the G channel by the enhancement process, so that the hues of the blood clot and the bleeding point rotate counterclockwise in the CrCb plane.
  • the saturation of the blood pool is lower than the saturation of the bleeding point.
  • amber light is absorbed by hemoglobin, but the hemoglobin extinction coefficient HAC is relatively low as compared with green light and the like. Since green light having a high hemoglobin extinction coefficient HAC is almost absorbed in the bleeding region, there is little information on the shade of hemoglobin. On the other hand, amber light having a relatively low hemoglobin extinction coefficient HAC retains hemoglobin shading information as a gradation even in a bleeding region having a high hemoglobin concentration. By synthesizing the shade information of hemoglobin into the G channel, a blood clot having a relatively low hemoglobin concentration in the bleeding region and a bleeding point having a relatively high hemoglobin concentration in the bleeding region are separated in the CrCb plane. ..
  • FIG. 10 is a flowchart showing the procedure of the emphasis processing when the DRI mode is determined in step S122.
  • the image enhancement unit 16 determines whether or not the submucosal layer region is detected in step S124.
  • the image enhancement unit 16 enhances the submucosal layer region in the displayed image based on the green signal in step S134. Specifically, the image enhancement unit 16 synthesizes a green signal in the pixel in the G channel of the pixel belonging to the submucosal layer region of the display image by a second predetermined ratio.
  • the second predetermined ratio may be different from the first predetermined ratio.
  • a signal obtained by synthesizing the green signal at a second predetermined ratio with respect to the amber signal is assigned to the G channel of the display image.
  • the green signal is an image signal corresponding to the green light LG of FIG. 2 or the green light LG 2 of FIG.
  • step S134 When step S134 is completed, or when the submucosal layer region is not detected in step S124, step S13 is completed. It should be noted that step S134 can be modified in various ways, and examples of the modifications will be described later.
  • FIG. 11 is a diagram for explaining the enhancement process in the DRI mode.
  • FIG. 11 shows the color distribution of the subject in the CrCb plane.
  • the left figure of FIG. 11 is the distribution before the emphasis processing, and the right figure is the distribution after the emphasis processing.
  • both the fibrotic layer and the muscular layer are not separated in the CrCb plane because of their low saturation.
  • the submucosal layer region to be emphasized includes the submucosal layer, the fibrotic layer, and the muscular layer.
  • the saturation of the fibrous layer hardly changes, while the saturation of the muscular layer increases.
  • the hue of the muscle layer belongs to the fourth quadrant of the CrCb plane.
  • the fibrotic layer and the muscular layer are separated in the CrCb plane, and the boundary between the fibrotic layer and the muscular layer can be easily visually recognized in the displayed image after emphasis. As shown in FIG.
  • the green signal has the shade information of hemoglobin contained in the tissue as a gradation. Since the muscle layer has a higher hemoglobin content than the fibrotic layer, the green signal is smaller in the muscle layer than in the fibrotic layer. By synthesizing this green signal into the G channel, the redness of the muscular layer increases as compared with the fibrotic layer. As a result, the fibrotic layer and the muscular layer are separated in the CrCb plane.
  • the target area for the emphasis treatment is not limited to the bleeding area or the submucosal layer area of the specific subject, and may be an area including the specific subject. That is, the target region may include a region determined to be a specific subject in the display image and may be a region wider than that region.
  • the endoscope device 100 of the present embodiment described above includes a light source unit 20, an imaging unit 30, and a processing unit 13.
  • the light source unit 20 generates at least the first light and the second light sequentially or simultaneously as illumination light.
  • the imaging unit 30 outputs an image signal by capturing the return light from the subject irradiated with the illumination light.
  • the processing unit 13 generates a display image based on the image signal, and outputs the display image to the display device.
  • the first light is the amber light LA of FIG. 3 in this embodiment.
  • the second light is light belonging to a blue region or a green region, and is the green light LG or blue light LB of FIG. 2 or the green light LG 2 of FIG. 3 in the present embodiment.
  • the image signal includes a first image signal corresponding to the first light and a second image signal corresponding to the second light.
  • the processing unit 13 determines whether or not a specific subject is included in the image based on the image signal. Then, when it is determined that the specific subject is included in the image, the processing unit 13 performs color or luminance conversion processing using the first image signal or the second image signal for the image region including the specific subject. As a result, the enhancement processing of the specific subject is performed, and the image after the enhancement processing is output as a display image.
  • the amber light LA has a smaller hemoglobin extinction coefficient HAC than green light or the like, it is possible to obtain information on the shade of hemoglobin in a region where the hemoglobin concentration is high.
  • blue light or green light has a large hemoglobin extinction coefficient HAC, it is possible to obtain information on the shade of hemoglobin in a region where the hemoglobin concentration is low.
  • a specific subject can be emphasized by performing enhancement processing using the image signals acquired by these lights. That is, in the WLI mode in which it is difficult to identify the subject in the region where the hemoglobin concentration is high, the shade of hemoglobin can be emphasized in the region where the hemoglobin concentration is high by using amber light. On the other hand, in the DRI mode in which it is difficult to identify the subject in the region where the hemoglobin concentration is low, the shade of hemoglobin can be emphasized in the region where the hemoglobin concentration is low by using blue light or green light.
  • the processing unit 13 allocates the first image signal to the G channel of the displayed image.
  • the first image signal is an amber signal. This corresponds to the DRI mode in this embodiment.
  • the shade of hemoglobin can be displayed in the region where the hemoglobin concentration is high such as blood clots.
  • the difference in hemoglobin concentration can be displayed in gradation in the region where blood and water are mixed and the region near the bleeding point.
  • the processing unit 13 determines that the submucosal layer region is included in the image, the conversion that increases the synthesis ratio of the second image signal to the first image signal in the image region including the submucosal layer region.
  • the processing is performed and the combined image signal is assigned to the G channel. That is, in the image region including the submucosal layer region, the processing unit 13 occupies a small proportion of the G channel of the displayed image among the first image signal based on the first light or the second image signal based on the second light. Increase the proportion of the image signal on the other side.
  • the second image signal is a blue signal or a green signal.
  • increasing the composition ratio of the second image signal to the first image signal means increasing the composition ratio in the emphasis target region rather than the composition ratio in the region that is not the emphasis target.
  • the case where only the first image signal is assigned to the G channel in the region which is not the emphasis target is included.
  • the blue signal or the green signal is synthesized into the G channel, so that the shade information of hemoglobin is synthesized into the G channel in the fibrotic layer and the muscular layer where the hemoglobin concentration is relatively low. This improves the distinction between the fibrotic layer and the muscular layer in the DRI mode.
  • the processing unit 13 determines that the submucosal layer region is included in the image, even if the high frequency component of the second image signal is synthesized into the G channel in the image region including the submucosal layer region. Good.
  • the blue signal or green signal includes the texture information of the subject.
  • the texture information of the submucosal region can be emphasized by synthesizing the high frequency component of the blue signal or the green signal into the G channel. Since the fibrotic layer contains abundant texture information as compared with the muscular layer, the distinction between the fibrotic layer and the muscular layer is improved.
  • the processing unit 13 may determine a region where the concentration of indigo carmine is higher than a predetermined value based on at least one of hue and saturation. Then, the processing unit 13 may increase the synthesis ratio of the high frequency component of the second image signal in the region where the concentration of indigo carmine is determined to be higher than the predetermined value.
  • the meaning of "increasing the synthesis ratio" is as described above.
  • indigo carmine is injected under the early stage cancer to be resected in ESD.
  • the processing unit 13 detects the submucosal region from the displayed image, and it can be determined that the submucosal region in which the concentration of indigo carmine is determined to be higher than a predetermined value is the submucosal region to be excised. ..
  • the distinctiveness between the fibrotic layer and the muscular layer can be further improved in the submucosal region to be excised.
  • the processing unit 13 determines that the submucosal layer region is included in the image, in the image region including the submucosal layer region, the hue and saturation are changed according to the signal value of the second image signal.
  • a conversion process that changes at least one of them may be performed. That is, the processing unit 13 increases the amount of change in hue as the signal value of the second image signal is larger, or increases the saturation as the signal value of the second image signal is larger.
  • the blue signal or green signal has information on the shade of hemoglobin in the fibrotic layer and the muscular layer. By changing the hue or saturation according to this shade, the color or saturation of the fibrotic layer and the muscular layer can be different. This makes it possible to improve the distinctiveness between the fibrotic layer and the muscular layer.
  • the processing unit 13 may determine a region where the concentration of indigo carmine is higher than a predetermined value as a submucosal layer region based on at least one of hue and saturation. Specifically, the processing unit 13 determines that the region whose hue belongs to the blue region is the submucosal region, or determines that the region whose hue belongs to the blue region and whose saturation is higher than a predetermined value is the submucosal region.
  • indigo carmine is injected under the early stage cancer to be resected in ESD.
  • a region in which the concentration of indigo carmine is higher than a predetermined value due to injection of indigo carmine can be determined as a submucosal region.
  • the submucosal layer to which indigo carmine has not been injected is not determined to be the submucosal layer region, and only the submucosal layer to which indigo carmine has been injected can be determined to be the submucosal layer region.
  • the processing unit 13 may determine a region where the hemoglobin concentration is lower than a predetermined value as the submucosal layer region based on at least one of hue and saturation. Specifically, the processing unit 13 determines that a region having a hue belonging to a red region and a saturation lower than a predetermined value is a submucosal region, or a region having a saturation lower than a predetermined value is a submucosal region. judge.
  • the submucosal layer, fibrotic layer, and muscular layer contained in the submucosal layer region have a lower hemoglobin content than blood pools and the like.
  • the submucosal layer region in the display image can be determined by determining the region where the hemoglobin concentration is lower than the predetermined value in the display image.
  • the second light is light that belongs to the green region.
  • the processing unit 13 allocates the second image signal to the G channel of the displayed image. This corresponds to the WLI mode in this embodiment. In the WLI mode, the second light is the green light LG of FIG.
  • the shade of hemoglobin is displayed in the submucosal layer, the fibrotic layer, the muscular layer, and other regions where the hemoglobin concentration is low. As a result, there is a difference in color between the fibrotic layer and the muscular layer, so that the fibrotic layer and the muscular layer can be visually recognized.
  • the processing unit 13 when the processing unit 13 determines that the bleeding region is included in the image, the processing unit 13 performs a conversion process for increasing the synthesis ratio of the first image signal to the second image signal in the image region including the bleeding region.
  • the combined image signal is assigned to the G channel. The meaning of "increasing the synthesis ratio" is as described above.
  • the processing unit 13 determines that the bleeding region is included in the image, at least one of the hue and the saturation in the image region including the bleeding region is determined according to the signal value of the first image signal.
  • the conversion process may be performed to change. That is, the processing unit 13 increases the amount of change in hue as the signal value of the first image signal is smaller, or increases the saturation as the signal value of the first image signal is smaller.
  • the amber signal has information on the shade of hemoglobin at the blood pool and bleeding point. By changing the hue or saturation according to this shade, it is possible to make a difference in the color or saturation of the blood clot and the bleeding point. Thereby, the visibility of the bleeding point in the blood pool can be improved.
  • the processing unit 13 may determine a region where the hemoglobin concentration is higher than a predetermined value as a bleeding region based on at least one of hue and saturation. Specifically, the processing unit 13 determines that a region having a hue belonging to a red region and having a saturation higher than a predetermined value is a bleeding region, or a region having a saturation higher than a predetermined value is a bleeding region. ..
  • the bleeding area has a higher hemoglobin content than tissues such as the submucosa.
  • the bleeding region in the displayed image can be determined by determining the region in which the hemoglobin concentration is higher than the predetermined value in the displayed image.
  • the processing unit 13 determines a condition for determining whether or not a specific subject is included in the image, depending on whether the first image signal is assigned to the G channel of the displayed image or the second image signal is assigned. change. Specifically, in the DRI mode in which the first image signal is assigned to the G channel of the displayed image, the processing unit 13 determines whether or not the submucosal layer region is included in the image. On the other hand, in the WLI mode in which the second image signal is assigned to the G channel of the displayed image, the processing unit 13 determines whether or not the bleeding region is included in the image. The determination conditions in each mode are as described above.
  • a specific subject that is difficult to identify in each mode can be determined from the displayed image. Then, when a specific subject is present in the displayed image, the visibility of the specific subject can be improved by performing the enhancement process on the region determined to be the specific subject.
  • the processing unit 13 and the control unit 12 of the present embodiment may be configured by the following hardware.
  • the processing unit 13 and the control unit 12 may be configured by individual hardware, or may be configured by integrated hardware.
  • the hardware can include at least one of a circuit that processes a digital signal and a circuit that processes an analog signal.
  • hardware can consist of one or more circuit devices mounted on a circuit board or one or more circuit elements.
  • One or more circuit devices are, for example, ICs and the like.
  • One or more circuit elements are, for example, resistors, capacitors, and the like.
  • the processing unit 13 and the control unit 12 may be realized by a processor.
  • the processing unit 13 and the control unit 12 may be configured by individual processors, or may be configured by one processor. That is, the control device 10 of the present embodiment includes a memory for storing information and a processor that operates based on the information stored in the memory.
  • the memory may be included in the storage unit 11.
  • the information is, for example, a program and various data.
  • the processor includes hardware.
  • the processor determines whether or not a specific subject is included in the image based on the image signal. Then, when the processor determines that the specific subject is included in the image, the processor performs color or luminance conversion processing using the first image signal or the second image signal on the image area including the specific subject. , The emphasis processing of a specific subject is performed, and the image after the enhancement processing is output as a display image.
  • the processor may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to the CPU, and various processors such as GPU (Graphics Processing Unit) or DSP (Digital Signal Processor) can be used.
  • the memory may be a semiconductor memory such as SRAM or DRAM, may be a register, may be a magnetic storage device such as a hard disk device, or may be an optical storage device such as an optical disk device. You may.
  • the memory stores instructions that can be read by a computer, and when the instructions are executed by the processor, the functions of the display image generation unit 14, the image determination unit 15, the image enhancement unit 16, and the control unit 12 process. Will be realized as.
  • the instruction here may be an instruction of an instruction set constituting a program, or an instruction instructing an operation to a hardware circuit of a processor.
  • the program that realizes the processing performed by the processing unit 13 of the present embodiment can be stored in, for example, an information storage medium that is a medium that can be read by a computer.
  • the information storage medium can be realized by, for example, an optical disk, a memory card, an HDD, a semiconductor memory, or the like.
  • the semiconductor memory is, for example, a ROM.
  • the processing unit 13 and the control unit 12 perform various processes of the present embodiment based on the program and data stored in the information storage medium. That is, the information storage medium stores a program for operating the computer as each part of the endoscope device of the present embodiment.
  • a computer is a device including an input device, a processing unit, a storage unit, and an output unit.
  • the program is a program for causing a computer to execute the processing of each part.
  • the program is recorded on an information storage medium.
  • various recording media that can be read by an optical detection system, such as an optical disk such as a DVD or a CD, a magneto-optical disk, a hard disk, and a memory such as a non-volatile memory or a RAM, can be assumed.
  • the bleeding region may be determined as follows in the WLI mode.
  • the image determination unit 15 determines the bleeding region in the displayed image based on the amber signal. Specifically, the image determination unit 15 determines a region in the displayed image in which the amber signal is smaller than a predetermined value as a bleeding region. Since the amber signal is small in the region where the absorption of hemoglobin is large, the region where the hemoglobin concentration is high can be determined as the bleeding region.
  • the image determination unit 15 may normalize the amber signal by the red signal, and determine the region where the normalized amber signal is smaller than the predetermined value as the bleeding region.
  • the red signal is an image signal obtained by the red light LR of FIG. 2 or the red light LR2 of FIG.
  • the image determination unit 15 determines that the logical sum of the region where the hue belongs to the predetermined hue range and the saturation is higher than the first predetermined value and the region where the amber signal is smaller than the predetermined value is the bleeding region. You may.
  • the image determination unit 15 determines that the logical product of the region where the hue belongs to the predetermined hue range and the saturation is higher than the first predetermined value and the region where the amber signal is smaller than the predetermined value is the bleeding region. You may.
  • step S132 of FIG. 8 the bleeding region may be emphasized as follows in the WLI mode.
  • the image enhancement unit 16 synthesizes an amber signal in the pixel to the R channel or the B channel of the pixel belonging to the bleeding region of the display image by a predetermined ratio.
  • the image enhancement unit 16 may synthesize an amber signal in the pixel to two or more of the RGB channels of the pixel belonging to the bleeding region of the display image by a predetermined ratio.
  • the image enhancement unit 16 may control the hue conversion of the bleeding region by using the signal value of the amber signal instead of adding the amber signal to the display image. Specifically, in the pixels belonging to the bleeding region of the displayed image, the smaller the amber signal, the larger the amount of change in hue. Since the bleeding point has a smaller amber signal than the blood pool, the hue change of the bleeding point becomes large, and the bleeding point becomes easy to see.
  • the image enhancement unit 16 may normalize the amber signal by the red signal, and the smaller the amber signal after the normalization, the larger the amount of change in hue may be. Since red light has low sensitivity to hemoglobin, the influence of the subject shape and light distribution is dominant in the red signal. By normalizing the amber signal with the red signal, the influence of the subject shape and light distribution can be reduced.
  • the submucosal region may be determined as follows in the DRI mode.
  • the image determination unit 15 may determine a region in the display image in which the hue belongs to a predetermined range as a submucosal region.
  • a predetermined range of hue belongs to the blue region, for example, the second quadrant of the CrCb plane.
  • the image determination unit 15 may determine the logical sum of the region whose saturation is lower than the second predetermined value and the region whose hue belongs to the predetermined range as the submucosal layer region.
  • step S134 of FIG. 10 the submucosal region may be emphasized as follows in the DRI mode.
  • the image enhancement unit 16 synthesizes a green signal in the pixel in the R channel or the B channel of the pixel belonging to the submucosal layer region of the display image by a predetermined ratio.
  • the image enhancement unit 16 may synthesize a green signal in the pixel in a predetermined ratio with two or more channels among the RGB channels of the pixel belonging to the submucosal layer region of the display image.
  • the image enhancement unit 16 may increase the composition ratio of the green signal for each channel in the region determined to belong to the blue region in the display image. That is, the synthesis ratio in the region determined to belong to the blue region may be higher than the synthesis ratio in the region not determined to belong to the blue region.
  • the submucosal layer region is stained blue, so that the degree of emphasis of the submucosal layer region can be enhanced in the stained region.
  • the image enhancement unit 16 may emphasize the structure of the submucosal layer region based on the green signal. Specifically, the image enhancement unit 16 extracts the high-frequency component of the green signal and synthesizes the high-frequency component of the green signal in the pixel into the G channel of the pixel belonging to the submucosal layer region of the display image. Extraction of high frequency components is realized by, for example, a high-pass filter or a band-pass filter. Since the fibrotic layer has more texture information than the muscular layer, it has many high-frequency components. Therefore, the visibility of the fibrous layer can be improved by synthesizing the high frequency component of the green signal.
  • the image enhancement unit 16 may increase the synthesis ratio of the high frequency component of the green signal with respect to the G channel in the region determined to belong to the blue region in the display image.
  • indigo carmine is injected into the submucosal layer, the submucosal layer region is stained in blue, so that the degree of emphasis of the fibrous layer can be enhanced in the stained region.
  • the image enhancement unit 16 may synthesize a high frequency component of the green signal in the pixel into the R channel or the B channel of the pixel belonging to the submucosal layer region of the display image. Further, the image enhancement unit 16 may synthesize a high frequency component of the green signal in the pixel into two or more channels among the RGB channels of the pixel belonging to the submucosal layer region of the display image.
  • the present invention is not limited to the respective embodiments and the modified examples as they are, and at the embodiment, the gist of the invention is not deviated.
  • the components can be transformed and embodied with.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the above-described embodiments and modifications. For example, some components may be deleted from all the components described in each embodiment or modification. Further, the components described in different embodiments and modifications may be combined as appropriate. In this way, various modifications and applications are possible within a range that does not deviate from the gist of the invention.
  • a term described at least once in the specification or drawing together with a different term having a broader meaning or a synonym may be replaced with the different term at any part of the specification or drawing.
  • control device 11 storage unit, 12 control unit, 13 processing unit, 14 display image generation unit, 15 image judgment unit, 16 image enhancement unit, 20 light source unit, 30 imaging unit, 40 display unit, 50 operation unit, 100 Mirror device, 300 control device, HAC hemoglobin absorption coefficient, LA amber light, LB blue light, LG green light, LG2 green light, LR red light, LR2 red light

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡装置（１００）は、光源部（２０）と撮像部（３０）と処理部（１３）とを含む。光源部（２０）は、少なくとも第１の光と第２の光を順次又は同時に照明光として発生する。第１の光は、ヘモグロビン吸光係数が最小値となる波長と、その最小値となる波長より短波長側においてヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光である。第２の光は、青色領域又は緑色領域に属する光である。画像信号は、第１の光に対応した第１画像信号と、第２の光に対応した第２画像信号とを含む。処理部（１３）は、画像信号に基づいて画像内に特定被写体が含まれると判定した場合に、特定被写体を含む画像領域に対して、第１画像信号又は第２画像信号を用いた色又は輝度の変換処理を行うことで、特定被写体の強調処理を行う。

Description

内視鏡装置、内視鏡装置の作動方法及びプログラム
　本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
　内視鏡を用いて早期癌を切除するＥＳＤ（Endoscopic Submucosal Dissection）が行われている。ＥＳＤでは、筋層と粘膜下層の境界を視認し、粘膜下層を切開することで粘膜上の早期癌を切除する。例えば特許文献１には、ＥＳＤにおいて粘膜切除時に出血を生じた場合、ＤＲＩ（Dual Red Imaging）観察を用いることで、出血点の視認が容易になることが開示されている。ＤＲＩ観察は、アンバー光と赤色光を含む照明光を用いた観察手法である。
国際公開第２０１３／１４５４０７号
　上記のように、ＤＲＩ観察を用いることで出血点の視認性が向上する。しかし、早期癌などの病変において粘膜下層が繊維化を伴っている場合があり、そのような線維化症例では、ＤＲＩ観察における筋層と線維化層の識別がＷＬＩ（White Light Imaging）観察に比べて困難になるという課題がある。例えば、ＥＳＤにおいて粘膜下層を切開する際に出血が予想される。このとき、出血点の視認性を上げるためにＤＲＩ観察を用いたいが、繊維化を伴った粘膜下層と筋層との境界を識別することが困難となるという課題がある。
　本発明の一態様は、少なくとも第１の光と第２の光を順次又は同時に照明光として発生する光源部と、前記照明光が照射された被写体からの戻り光を撮像することで、画像信号を出力する撮像部と、前記画像信号に基づいて表示画像を生成し、前記表示画像を表示装置に出力する処理部と、を含み、前記第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、前記第２の光は、青色領域又は緑色領域に属する光であり、前記画像信号は、前記第１の光に対応した第１画像信号と、前記第２の光に対応した第２画像信号とを含み、前記処理部は、前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を前記表示画像として出力する内視鏡装置に関係する。
　また本発明の他の態様は、第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、内視鏡装置の作動方法に関係する。
　また本発明の更に他の態様は、第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、ステップをコンピュータに実行させるプログラムに関係する。
本実施形態の内視鏡装置の構成例。 ＷＬＩモードにおける照明光の分光特性例。 ＤＲＩモードにおける照明光の分光特性例。 ＥＳＤの手順を説明する図。 ＥＳＤにおいて粘膜下層を切開する際の内視鏡画像の例。 内視鏡装置が行う処理の手順を示すフローチャート。 表示画像内に特定被写体が存在するか否かを判定するときの詳細な手順を示すフローチャート。 ＷＬＩモードと判定された場合の強調処理の手順を示すフローチャート。 ＷＬＩモードにおける強調処理を説明する図。 ＤＲＩモードと判定された場合の強調処理の手順を示すフローチャート。 ＤＲＩモードにおける強調処理を説明する図。 ＤＲＩモードにおける強調処理の変形例を説明する図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．内視鏡装置
　図１は、本実施形態の内視鏡装置１００の構成例である。内視鏡装置１００は、制御装置１０と光源部２０と撮像部３０と表示部４０と操作部５０とを含む。内視鏡装置としては、例えば下部消化管に用いられる軟性鏡を想定できるが、これに限定されず、上部消化管に用いられる軟性鏡、或いは外科手術等に用いられる硬性鏡であってもよい。
　撮像部３０は、スコープの先端に設けられ、被写体像を撮像する装置である。撮像部３０は、被写体を結像する対物レンズと、その結像された被写体像を撮像するイメージセンサーと、を含む。イメージセンサーは画像信号を制御装置３００へ出力する。イメージセンサーは、モノクロイメージセンサーであってもよいし、或いは、ベイヤ原色フィルター又は補色フィルターが設けられたカラーイメージセンサーであってもよい。
　内視鏡装置１００は、白色光画像を表示するＷＬＩ（White Light Imaging）モードと、ＤＲＩ（Dual Red Imaging）画像を表示するＤＲＩモードとを有する。例えば、操作部５０からの入力情報に基づいてＷＬＩモード又はＤＲＩモードに設定される。
　光源部２０は、照明光を発生する装置である。図２に、ＷＬＩモードにおける照明光の分光特性例を示し、図３に、ＤＲＩモードにおける照明光の分光特性例を示す。
　図２に示すように、ＷＬＩモードにおいて光源部２０は青色光ＬＢと緑色光ＬＧと赤色光ＬＲとを出射する。青色光ＬＢは、可視光を３原色に分割したときの青色領域に属する光であり、例えば波長帯域４５０～５００ｎｍである。緑色光ＬＧは、可視光を３原色に分割したときの緑色領域に属する光であり、例えば波長帯域５００～５７０ｎｍである。赤色光ＬＲは、可視光を３原色に分割したときの赤色領域に属する光であり、例えば波長帯域５７０～７００ｎｍである。
　図３に示すように、ＤＲＩモードにおいて光源部２０はＤＲＩ用緑色光ＬＧ２とアンバー狭帯域光ＬＡと赤色狭帯域光ＬＲ２とを出射する。なお以下では、ＬＧ２、ＬＡ、ＬＲ２を単に緑色光、アンバー光、赤色光とも呼ぶ。緑色光ＬＧ２は、緑色領域に属する光であり、ＷＬＩモードの緑色光ＬＧよりも狭い波長帯域を有し、例えばピーク波長５４０ｎｍである。アンバー光ＬＡは、ピーク波長６００ｎｍの狭帯域光である。赤色光ＬＲ２は、ピーク波長６３０ｎｍの狭帯域光である。狭帯域光は、可視光の波長帯域を３原色に分割したときの各色領域よりも狭い帯域の光である。狭帯域光の帯域幅は例えば数１０ｎｍである。
　なお図２、図３の分光特性は一例であり、照明光の分光特性はこれに限定されない。例えば、ＬＧ２はヘモグロビン吸光係数ＨＡＣが大きい波長帯域であればよいので、青色領域又は緑色領域に属していればよい。
　また、アンバー光ＬＡのピーク波長は、赤色領域においてヘモグロビン吸光係数ＨＡＣが急峻に変化する所定の波長範囲に属していればよい。即ち、ヘモグロビン吸光係数ＨＡＣが極小値となる７３０ｎｍ付近と、その短波長側においてヘモグロビン吸光係数ＨＡＣが最初に極大値となる５７６ｎｍとの間に、アンバー光ＬＡのピーク波長があればよい。より好ましくは、アンバー光ＬＡのピーク波長は、５８５ｎｍ～６１５ｎｍの範囲に属していればよい。
　また、赤色光ＬＲ２のピーク波長は、ヘモグロビン吸光係数ＨＡＣが低い波長帯域に属していればよい。具体的には、赤色光ＬＲ２のピーク波長は、６１０ｎｍ～７３０ｎｍの範囲に属していればよい。
　光源部２０は、例えば、ＬＢ、ＬＧ、ＬＲ、ＬＧ２、ＬＡ、ＬＲ２をそれぞれ発生する第１～第６の発光素子を含む。そして、第１～第６の発光素子のうち、各モードに対応した発光素子が発光することで、各モードの照明光が出射される。発光素子は、例えばＬＥＤ（Light Emitting Diode）又はＬＤ（Laser Diode）である。或いは、光源部２０は、キセノンランプ等の白色光源と、ＬＢ、ＬＧ、ＬＲ、ＬＧ２、ＬＡ、ＬＲ２をそれぞれ通過する第１～第６の光学フィルターと含んでもよい。そして、第１～第６の光学フィルターのうち、各モードに対応した光学フィルターが光路に挿入されることで、各モードの照明光が出射される。照明光は光ファイバー等によりスコープ先端に導光され、その導光された照明光が照明レンズにより拡散されることで被写体に照射される。照明レンズは、スコープの先端に設けられる。
　光源部２０は、上記複数色の照明光を順次又は同時に発生する。まず、モノクロイメージセンサーを用いる場合を説明する。ＷＬＩモードでは、光源部２０はＬＢ、ＬＧ、ＬＲをそれぞれ第１～第３タイミングで順次に発光し、撮像部３０は、各タイミングにおいて画像を撮像する。ＤＲＩモードでは、光源部２０はＬＧ２、ＬＡ、ＬＲ２をそれぞれ第１～第３タイミングで順次に発光し、撮像部３０は、各タイミングにおいて画像を撮像する。次に、カラーイメージセンサーを用いる場合を説明する。ＷＬＩモードでは、光源部２０はＬＢ、ＬＧ、ＬＲを同時に発光し、撮像部３０は、その発光タイミングにおいて画像を撮像する。ＤＲＩモードでは、光源部２０はＬＧ２とＬＲ２を第１タイミングで発光し、ＬＡを第２タイミングで発光する。又は光源部２０はＬＧ２とＬＡを第１タイミングで発光し、ＬＲ２を第２タイミングで発光する。撮像部３０は、各タイミングにおいて画像を撮像する。
　なお、後述するように、ＷＬＩモードの強調処理においてアンバー光ＬＡで撮像した画像を用いる。この場合、ＷＬＩモードにおいて光源部２０はＬＢ、ＬＧ、ＬＡ、ＬＲを順次又は同時に発光させる。また、ＤＲＩモードの強調処理において緑色光ＬＧで撮像した画像を用いてもよい。この場合、ＤＲＩモードにおいて光源部２０はＬＧ、ＬＧ２、ＬＡ、ＬＲ２を順次又は同時に発光させる。
　制御装置１０は、内視鏡装置１００の各部を制御したり、画像処理等の種々の信号処理を行ったりする。制御装置１０は、内視鏡装置１００の本体部又はプロセッサ部とも呼ばれる。制御装置１０は、記憶部１１と制御部１２と処理部１３とを含む。
　記憶部１１は、内視鏡装置１００の動作設定情報を記憶したり、或いは、画像又は動画を記録したり、或いは、処理部１３のワーキングメモリーとして機能したりする。記憶部１１は、揮発性記憶装置及び不揮発性記憶装置を含むことができ、例えば半導体メモリ或いはハードディスクドライブ、光学ディスクドライブ等を含む。
　制御部１２は、内視鏡装置１００の各部を制御する。例えば、ユーザーが操作部５０を介して入力した情報に基づいて、ＷＬＩモード又はＤＲＩモードを設定し、そのモード設定信号を光源部２０と処理部１３に出力する。光源部２０と処理部１３は、モード設定信号に基づいて、各モードにおける動作を実行する。
　処理部１３は、画像処理等の種々の信号処理を行う。処理部１３は表示画像生成部１４と画像判定部１５と画像強調部１６とを含む。例えば、表示画像生成部１４と画像判定部１５と画像強調部１６がそれぞれ個別の回路により構成されてもよいし、或いは、処理部１３が一体の回路により構成されてもよい。或いは、後述のように処理部１３がＣＰＵ等のプロセッサにより実現されてもよい。
　表示画像生成部１４は、撮像部３０から入力された画像信号に基づいて表示画像を生成する。ＷＬＩモードでは、表示画像生成部１４は白色光画像を表示画像として生成する。即ち、赤色光ＬＲによる画像信号が表示画像のＲチャンネルに割り当てられ、緑色光ＬＧによる画像信号が表示画像のＧチャンネルに割り当てられ、青色光ＬＢによる画像信号が表示画像のＢチャンネルに割り当てられる。ＤＲＩモードでは、表示画像生成部１４はＤＲＩ画像を表示画像として生成する。即ち、赤色光ＬＲ２による画像信号が表示画像のＲチャンネルに割り当てられ、アンバー光ＬＡによる画像信号が表示画像のＧチャンネルに割り当てられ、緑色光ＬＧ２による画像信号が表示画像のＢチャンネルに割り当てられる。
　また表示画像生成部１４は、上記表示画像の生成において補間処理又はホワイトライトバランス処理、ガンマ変換処理等の画像処理を行う。例えば複数色の画像が順次に撮像された場合には、表示画像生成部１４は、それらの画像を合成してカラー画像を生成する。またカラーイメージセンサーにより画像が撮像された場合には、表示画像生成部１４は、その画像に対して補間処理を行うことでカラー画像を生成する。
　画像判定部１５は、画像内において特定被写体が写っている領域を判定する。画像判定部１５は、撮像部３０から入力された画像信号に基づいて判定を行ってもよいし、表示画像生成部１４が生成した表示画像に基づいて判定を行ってもよい。判定手法の詳細は後述する。画像判定部１５は、特定被写体が写っていると判定した領域の情報を画像強調部１６に出力する。領域の情報は、例えば領域に属する画素の位置を示す情報、或いは領域の位置及び形状を示す情報である。
　画像強調部１６は、特定被写体が写っていると判定された領域に対して強調処理を行う。画像強調部１６は、表示画像生成部１４が生成した表示画像に対して強調処理を実施し、処理後の表示画像を表示部４０に出力する。強調処理の詳細は後述する。画像内に特定被写体が写っていないと判定された場合には、表示画像生成部１４が生成した表示画像が表示部４０に出力される。
　表示部４０は、画像強調部１６又は表示画像生成部１４から入力される表示画像を表示する。表示部４０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。
　操作部５０は、ユーザーが内視鏡装置１００を操作するための装置である。操作部５０は、例えばボタン或いはダイヤル、レバー、フットスイッチ、タッチパネル等を含むことができる。操作部５０は、スコープ又は制御装置１０、表示部４０に設けられる。
　２．動作及び処理の詳細
　以下、内視鏡装置１００の動作及び処理の詳細を説明する。まず本実施形態の内視鏡装置１００を適用可能な処置の一例としてＥＳＤ（Endoscopic Submucosal Dissection）を説明する。なお、本実施形態の内視鏡装置１００は、ＥＳＤに限らず種々の処置に適用可能である。即ち、その処置において複数の生体組織を視認又は識別する必要があるとき、その複数の生体組織が色相平面上において分離されていないことで視認又は識別が困難となっているような場合に、本実施形態の内視鏡装置１００を適用可能である。
　図４は、ＥＳＤの手順を説明する図である。図４に示すように、粘膜の下に粘膜下層があり、その更に下に筋層がある。早期癌は粘膜上に存在している。
　Ｓ１に示すように、切除範囲の目印となるマーキングを電気メス等により早期癌の周囲に付す。次に、切除範囲の下の粘膜下層に水又は薬液を注入することで、切除範囲を持ち上がらせる。薬液は、例えば青色の染料であるインジゴカルミンである。Ｓ２に示すように、マーキングに沿って電気メス等により粘膜を切開する。Ｓ３に示すように、粘膜下層を切開することで切除範囲を取り除く。早期癌は粘膜上に局在しているので、粘膜下層を切開することで早期癌が切除される。このとき、筋層を切開しないように、筋層と粘膜下層の境界を識別しながら、粘膜下層を切開する。
　図５は、ＥＳＤにおいて粘膜下層を切開する際の内視鏡画像の例である。図５に示すように、粘膜下層の一部が繊維化している場合がある。この繊維化した粘膜下層を繊維化層と呼ぶ。この場合、繊維化層と筋層の境界を視認する必要がある。
　ＷＬＩモードでは、筋層は例えばピンク色等の赤みがかった色に見え、線維化層及び粘膜下層は筋層よりも白っぽい色に見える。具体的には、図９の左図に示すように、ＣｒＣｂ平面において繊維化層の色は原点付近に分布しており、筋層の色は線維化層よりも第４象限側に彩度が高くなっている。即ちＷＬＩモードでは線維化層と筋層がＣｒＣｂ平面において分離している。またＷＬＩモードでは、線維化層における繊維状の構造を視認することが可能である。このためＷＬＩモードでは色又は構造情報によって筋層と繊維化層を識別可能である。
　一方、ＤＲＩモードでは、筋層と線維化層が同じような色味に見える。具体的には、図１１の左図に示すように、ＣｒＣｂ平面において筋層及び繊維化層の色はいずれも原点付近に分布している。ＤＲＩモードでは、アンバー光で撮像された画像が表示画像のＧチャンネルに入力されるが、アンバー光は緑色光に比べてヘモグロビンに対する感度が低い。このため、筋層と線維化層の色味に差がつきにくくなっていると考えられる。
　以上のように、線維化層と筋層を識別する観点ではＷＬＩモードを用いることが望ましい。一方、粘膜下層又は繊維化層を切開する際に出血する場合があるが、その場合には、送水により血液を流すと共に出血点を視認し、止血等の処置を行う。凹部に血液が溜まった血だまりにおいて、送水により血液と水が混ざった状態となっているが、その血だまりから出血点を視認できることが望ましい。
　ＷＬＩモードでは、ヘモグロビンに対する感度が高いことから、血液が写った領域が赤色に飽和しやすい。血だまりにおいて、出血点付近ではヘモグロビン濃度が高いが、ＷＬＩモードでは血だまりが赤色に飽和しやすいことから、ヘモグロビンの濃淡が視認しにくい。具体的には、図９の左図に示すように、ＣｒＣｂ平面において、水と血液が混合した血だまりと、出血点の彩度が共に高く、色味に差が無い状態となっている。
　一方、ＤＲＩモードでは、緑色光等に比べてヘモグロビン吸光係数ＨＡＣが低いアンバー光を用いるため、ＷＬＩモードに比べてヘモグロビンに対する感度が低くなっている。これにより、ヘモグロビンの濃淡が視認しやすくなっている。具体的には、図１１の左図に示すように、血だまりの彩度が出血点の彩度よりも低くなっており、出血点の方がより濃いオレンジ色に見える。
　以上のように、出血点を視認する観点ではＤＲＩモードを用いることが望ましい。上述したように、線維化層と筋層を識別する観点ではＷＬＩモードを用いることが望ましいので、従来のＷＬＩモード及びＤＲＩモードにおいて、出血点の視認と、線維化層と筋層の識別とを両立させた画像を提供することが難しいという課題がある。
　以下、本実施形態における特定被写体の判定処理と、特定被写体の強調処理について説明する。
　図６は、内視鏡装置１００が行う処理の手順を示すフローチャートである。ステップＳ１０において、光源部２０が照明光を発生すると共に撮像部３０が撮像を行うことで、被写体の画像を撮影する。次にステップＳ１１において、表示画像生成部１４は、撮像部３０から入力される画像信号から表示画像を生成する。次にステップＳ１２において、画像判定部１５は、表示画像内に特定被写体が存在するか否かを判定する。具体的には、画像判定部１５は、表示画像内において特定被写体が写っている領域を判定する。次にステップＳ１３において、画像強調部１６は、表示画像において特定被写体が写っていると判定された領域に対して強調処理を行う。以上のステップＳ１０～Ｓ１３が動画の各フレーム画像に対して実施され、強調処理後の動画が表示部４０に表示される。
　ステップＳ１２、Ｓ１３についてはＷＬＩモードとＤＲＩモードで処理が異なる。以下、各ステップにおける処理の詳細を説明する。
　図７は、ステップＳ１２の詳細な手順を示すフローチャートである。ステップＳ１２１において、画像判定部１５は表示画像をＹＣｒＣｂ画像に変換する。即ち、表示画像の各画素におけるＲＧＢ値をＹＣｒＣｂ値に変換する。次にステップＳ１２２において、画像判定部１５は、ＷＬＩモードか否かを判定する。即ち、画像判定部１５は、制御部１２から入力されるモード設定信号に基づいてモードを判定する。
　ステップＳ１２２においてＷＬＩモードと判定された場合、ステップＳ１２３において、画像判定部１５はＹＣｒＣｂ値に基づいて表示画像内の出血領域を判定する。ＷＬＩモードにおいて出血領域が特定被写体である。画像判定部１５は、表示画像に写る被写体においてヘモグロビン濃度が高い領域を出血領域と判定する。具体的には、画像判定部１５は、色相が所定の色相範囲に属し、且つ彩度が第１所定値よりも高い領域を、出血領域と判定する。色相は、ＣｒＣｂ平面において原点を中心とする角度方向の値であり、彩度は、ＣｒＣｂ平面において原点を中心とする距離方向の値である。所定の色相範囲は、赤色に対応した色相範囲であり、例えばＣｒＣｂ平面の第４象限である。
　ステップＳ１２２においてＷＬＩモードではないと判定された場合、即ちＤＲＩモードと判定された場合、ステップＳ１２４において、画像判定部１５はＹＣｒＣｂ値に基づいて表示画像内の粘膜下層領域を判定する。ＤＲＩモードにおいて粘膜下層領域が特定被写体である。画像判定部１５は、表示画像に写る被写体においてヘモグロビン濃度が低い領域を粘膜下層領域と判定する。ここで判定される粘膜下層領域には筋層及び線維化層が含まれる。具体的には、画像判定部１５は、彩度が第２所定値よりも低い領域を、粘膜下層領域と判定する。第２所定値は第１所定値と異なってもよい。
　ステップＳ１２３又はＳ１２４が終了したとき、ステップＳ１２が終了し、ステップＳ１３が実行される。なお、ステップＳ１２３、Ｓ１２４は種々の変形実施が可能であり、その変形例については後述する。
　図８は、ステップＳ１２２においてＷＬＩモードと判定された場合の強調処理の手順を示すフローチャートである。ステップＳ１３１において、画像強調部１６は、ステップＳ１２３において出血領域が検出されたか否かを判断する。
　ステップＳ１２３において出血領域が検出されていた場合、ステップＳ１３２において、画像強調部１６は、アンバー信号に基づいて表示画像内の出血領域を強調処理する。具体的には、画像強調部１６は、表示画像の出血領域に属する画素のＧチャンネルに、その画素におけるアンバー信号を第１所定割合だけ合成する。ＷＬＩモードでは、緑色信号が表示画像のＧチャンネルに割り当てられているので、緑色信号に対して第１所定割合でアンバー信号が合成された信号が、表示画像のＧチャンネルに割り当てられる。なお、緑色信号、アンバー信号は、それぞれ緑色光、アンバー光に対応した画像信号である。例えばアンバー信号を例にとると、アンバー信号は、面順次の場合にはアンバー光が照射されたときに撮像された画像信号であり、同時式の場合にはアンバー光が照射されたときに撮像された画像信号のうちＲチャンネルの画像信号である。
　ステップＳ１３２が終了したとき、又は、ステップＳ１２３において出血領域が検出されていなかった場合、ステップＳ１３が終了する。なお、ステップＳ１３２は種々の変形実施が可能であり、その変形例については後述する。
　図９は、ＷＬＩモードにおける強調処理を説明する図である。図９には、ＣｒＣｂ平面における被写体の色の分布を示す。図９の左図は強調処理前の分布であり、右図は強調処理後の分布である。
　強調処理前において、血だまりと出血点は共にＣｒ値が飽和しているためＣｒＣｂ平面において分離されていない。強調処理によりアンバー信号がＧチャンネルに合成されることで、血だまり及び出血点の色相がＣｒＣｂ平面において反時計回りに回転する。また、血だまりの彩度が出血点の彩度に比べて低下する。これにより、ＣｒＣｂ平面において血だまりと出血点が分離され、強調後の表示画像において出血点を視認しやすくなる。
　図３に示すようにアンバー光はヘモグロビンに吸収されるものの、緑色光等と比べて相対的にヘモグロビン吸光係数ＨＡＣが低い。ヘモグロビン吸光係数ＨＡＣが高い緑色光等は出血領域において、ほぼ吸収されてしまうため、ヘモグロビンの濃淡情報が少ない。一方、ヘモグロビン吸光係数ＨＡＣが相対的に低いアンバー光は、ヘモグロビン濃度が高い出血領域においてもヘモグロビンの濃淡情報をグラデーションとして保有している。このヘモグロビンの濃淡情報がＧチャンネルに合成されることで、出血領域において相対的にヘモグロビン濃度が低い血だまりと、出血領域において相対的にヘモグロビン濃度が高い出血点とが、ＣｒＣｂ平面において分離される。
　図１０は、ステップＳ１２２においてＤＲＩモードと判定された場合の強調処理の手順を示すフローチャートである。ステップＳ１３３において、画像強調部１６は、ステップＳ１２４において粘膜下層領域が検出されたか否かを判断する。
　ステップＳ１２４において粘膜下層領域が検出されていた場合、ステップＳ１３４において、画像強調部１６は、緑色信号に基づいて表示画像内の粘膜下層領域を強調処理する。具体的には、画像強調部１６は、表示画像の粘膜下層領域に属する画素のＧチャンネルに、その画素における緑色信号を第２所定割合だけ合成する。第２所定割合は第１所定割合と異なってもよい。ＤＲＩモードでは、アンバー信号が表示画像のＧチャンネルに割り当てられているので、アンバー信号に対して第２所定割合で緑色信号が合成された信号が、表示画像のＧチャンネルに割り当てられる。なお、緑色信号は、図２の緑色光ＬＧ又は図３の緑色光ＬＧ２に対応した画像信号である。
　ステップＳ１３４が終了したとき、又は、ステップＳ１２４において粘膜下層領域が検出されていなかった場合、ステップＳ１３が終了する。なお、ステップＳ１３４は種々の変形実施が可能であり、その変形例については後述する。
　図１１は、ＤＲＩモードにおける強調処理を説明する図である。図１１には、ＣｒＣｂ平面における被写体の色の分布を示す。図１１の左図は強調処理前の分布であり、右図は強調処理後の分布である。
　強調処理前において、線維化層と筋層は共に彩度が低いためＣｒＣｂ平面において分離されていない。上述したように、強調処理対象である粘膜下層領域には粘膜下層及び線維化層、筋層が含まれている。強調処理により緑色信号がＧチャンネルに合成されることで、繊維化層の彩度はほとんど変化しない一方で、筋層の彩度が上がる。このとき、筋層の色相はＣｒＣｂ平面の第４象限に属する。これにより、ＣｒＣｂ平面において線維化層と筋層が分離され、強調後の表示画像において線維化層と筋層の境界を視認しやすくなる。図３に示すように緑色光はヘモグロビン吸光係数ＨＡＣが高いので、ヘモグロビンの濃淡に対して感度が高い。このため、緑色信号は、組織に含有されるヘモグロビンの濃淡情報をグラデーションとして保有している。繊維化層に比べて筋層はヘモグロビンの含有量が多いため、線維化層に比べて筋層の方が、緑色信号が小さくなっている。この緑色信号がＧチャンネルに合成されることで、線維化層に比べて筋層の赤味が増す。これにより、線維化層と筋層がＣｒＣｂ平面において分離される。
　なお、強調処理の対象領域は、出血領域又は粘膜下層領域である特定被写体の領域のみに限定されず、特定被写体を含む領域であればよい。即ち、対象領域は、表示画像において特定被写体であると判定された領域を含み、且つその領域よりも広い領域であってもよい。
　以上に説明した本実施形態の内視鏡装置１００は、光源部２０と撮像部３０と処理部１３とを含む。光源部２０は、少なくとも第１の光と第２の光を順次又は同時に照明光として発生する。撮像部３０は、照明光が照射された被写体からの戻り光を撮像することで、画像信号を出力する。処理部１３は、画像信号に基づいて表示画像を生成し、その表示画像を表示装置に出力する。第１の光は、本実施形態において図３のアンバー光ＬＡである。第２の光は、青色領域又は緑色領域に属する光であり、本実施形態において図２の緑色光ＬＧ又は青色光ＬＢ又は図３の緑色光ＬＧ２である。画像信号は、第１の光に対応した第１画像信号と、第２の光に対応した第２画像信号とを含む。処理部１３は、画像信号に基づいて画像内に特定被写体が含まれるか否かを判定する。そして処理部１３は、画像内に特定被写体が含まれると判定した場合に、特定被写体を含む画像領域に対して、第１画像信号又は第２画像信号を用いた色又は輝度の変換処理を行うことで、特定被写体の強調処理を行い、強調処理後の画像を表示画像として出力する。
　アンバー光ＬＡは、緑色光等に比べてヘモグロビン吸光係数ＨＡＣが小さいため、ヘモグロビン濃度が高い領域においてヘモグロビンの濃淡情報を取得できる。一方、青色光又は緑色光は、ヘモグロビン吸光係数ＨＡＣが大きいため、ヘモグロビン濃度が低い領域においてヘモグロビンの濃淡情報を取得できる。これらの光により取得される画像信号を用いて強調処理を行うことで、特定被写体を強調できる。即ち、ヘモグロビン濃度が高い領域において被写体の識別が困難なＷＬＩモードでは、アンバー光を用いることでヘモグロビン濃度が高い領域においてヘモグロビンの濃淡を強調できる。一方、ヘモグロビン濃度が低い領域において被写体の識別が困難なＤＲＩモードでは、青色光又は緑色光を用いることでヘモグロビン濃度が低い領域においてヘモグロビンの濃淡を強調できる。
　また本実施形態では、特定被写体は粘膜下層領域である。処理部１３は、第１画像信号を表示画像のＧチャンネルに割り当てる。第１画像信号はアンバー信号である。これは本実施形態におけるＤＲＩモードに対応する。
　アンバー信号を表示画像のＧチャンネルに割り当てることで、血だまり等のヘモグロビン濃度が高い領域においてヘモグロビンの濃淡を表示できる。これにより、血液と送水が混ざった領域と、出血点付近の領域などにおいて、ヘモグロビン濃度の差をグラデーション表示できる。
　また本実施形態では、処理部１３は、画像内に粘膜下層領域が含まれると判定した場合に、粘膜下層領域を含む画像領域において、第１画像信号に対する第２画像信号の合成割合を高める変換処理を行い、合成後の画像信号をＧチャンネルに割り当てる。即ち、処理部１３は、粘膜下層領域を含む画像領域において、第１の光に基づく第１画像信号又は第２の光に基づく第２画像信号のうち、表示画像のＧチャンネルに占める割合が低いほうの画像信号の割合を高める。なお第２画像信号は、青色信号又は緑色信号である。
　なお、「第１画像信号に対する第２画像信号の合成割合を高める」とは、強調対象ではない領域における合成割合よりも、強調対象領域における合成割合を高くすることである。なお、強調対象ではない領域において第１画像信号のみがＧチャンネルに割り当てられる場合も含む。
　ＤＲＩモードではＧチャンネルにアンバー光が割り当てられているため、線維化層と筋層の境界を識別しにくい。本実施形態では、青色信号又は緑色信号がＧチャンネルに合成されることで、ヘモグロビン濃度が比較的低い線維化層と筋層においてヘモグロビンの濃淡情報がＧチャンネルに合成される。これにより、ＤＲＩモードにおいて、線維化層と筋層の識別性が向上する。
　また後述するように、処理部１３は、画像内に粘膜下層領域が含まれると判定した場合に、粘膜下層領域を含む画像領域において、第２画像信号の高周波成分をＧチャンネルに合成してもよい。
　青色信号又は緑色信号には被写体のテクスチャー情報が含まれる。本実施形態では、青色信号又は緑色信号の高周波成分をＧチャンネルに合成することで、粘膜下層領域のテクスチャー情報を強調できる。筋層に比べて線維化層の方が、テクスチャー情報が豊富に含まれるので、線維化層と筋層の識別性が向上する。
　また後述するように、処理部１３は、色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を判定してもよい。そして処理部１３は、インジゴカルミンの濃度が所定値よりも高いと判定した領域において第２画像信号の高周波成分の合成割合を高めてもよい。なお「合成割合を高める」の意味は上述した通りである。
　図４で説明したように、ＥＳＤにおいて切除対象である早期癌の下にインジゴカルミンが注入される。処理部１３は表示画像から粘膜下層領域を検出するが、その粘膜下層領域のうち、インジゴカルミンの濃度が所定値よりも高いと判定された領域は、切除対象の粘膜下層領域であると判断できる。このような粘膜下層領域においてテクスチャー情報の強調度合いを高めることで、切除対象の粘膜下層領域において線維化層と筋層の識別性をより向上できる。
　また後述するように、処理部１３は、画像内に粘膜下層領域が含まれると判定した場合に、粘膜下層領域を含む画像領域において、第２画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる変換処理を行ってもよい。即ち処理部１３は、第２画像信号の信号値が大きい画素ほど色相の変化量を大きくし、或いは第２画像信号の信号値が大きい画素ほど彩度を高くする。
　青色信号又は緑色信号は線維化層と筋層におけるヘモグロビンの濃淡情報を有している。この濃淡に応じて色相又は彩度を変換することで、線維化層と筋層の色又は彩度に差を付けることができる。これにより、線維化層と筋層の識別性を向上できる。
　また処理部１３は、色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を、粘膜下層領域と判定してもよい。具体的には、処理部１３は、色相が青色領域に属する領域を粘膜下層領域と判定する、或いは色相が青色領域に属し且つ彩度が所定値より高い領域を粘膜下層領域と判定する。
　図４で説明したように、ＥＳＤにおいて切除対象である早期癌の下にインジゴカルミンが注入される。本実施形態によれば、インジゴカルミンが注入されたことでインジゴカルミンの濃度が所定値よりも高くなった領域を、粘膜下層領域と判定できる。例えば、インジゴカルミンが注入されていない粘膜下層については粘膜下層領域と判定されず、インジゴカルミンが注入された粘膜下層のみを粘膜下層領域と判定できる。
　また処理部１３は、色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも低い領域を、前記粘膜下層領域と判定してもよい。具体的には、処理部１３は、色相が赤色領域に属し且つ彩度が所定値よりも低い領域を粘膜下層領域と判定する、或いは、彩度が所定値よりも低い領域を粘膜下層領域と判定する。
　粘膜下層領域に含まれる粘膜下層及び線維化層、筋層は血だまり等に比べてヘモグロビンの含有量が少ない。本実施形態によれば、表示画像においてヘモグロビンの濃度が所定値よりも低い領域を判定することで、表示画像における粘膜下層領域を判定できる。
　また本実施形態では、特定被写体は出血領域である。第２の光は、緑色領域に属する光である。処理部１３は、第２画像信号を表示画像のＧチャンネルに割り当てる。これは本実施形態におけるＷＬＩモードに対応する。ＷＬＩモードにおいて第２の光は図２の緑色光ＬＧである。
　緑色信号を表示画像のＧチャンネルに割り当てることで、粘膜下層及び線維化層、筋層などのヘモグロビン濃度が低い領域においてヘモグロビンの濃淡が表示される。これにより、線維化層と筋層に色味の差ができるため、線維化層と筋層を視認できる。
　また本実施形態では、処理部１３は、画像内に出血領域が含まれると判定した場合に、出血領域を含む画像領域において、第２画像信号に対する第１画像信号の合成割合を高める変換処理を行い、その合成後の画像信号をＧチャンネルに割り当てる。なお「合成割合を高める」の意味は上述した通りである。
　ＷＬＩモードではＧチャンネルに緑色光が割り当てられているため、血だまりにおける出血点を視認しにくい。本実施形態では、アンバー信号がＧチャンネルに合成されることで、ヘモグロビン濃度が高い血だまりにおいてヘモグロビンの濃淡情報がＧチャンネルに合成される。これにより、ＷＬＩモードにおいて、血だまりにおける出血点の視認性が向上する。
　また後述するように、処理部１３は、画像内に出血領域が含まれると判定した場合に、出血領域を含む画像領域において、第１画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる変換処理を行ってもよい。即ち処理部１３は、第１画像信号の信号値が小さい画素ほど色相の変化量を大きくし、或いは第１画像信号の信号値が小さい画素ほど彩度を高くする。
　アンバー信号は血だまり及び出血点におけるヘモグロビンの濃淡情報を有している。この濃淡に応じて色相又は彩度を変換することで、血だまりと出血点の色又は彩度に差を付けることができる。これにより、血だまりにおける出血点の視認性を向上できる。
　また処理部１３は、色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも高い領域を、出血領域と判定してもよい。具体的には、処理部１３は、色相が赤色領域に属し且つ彩度が所定値よりも高い領域を出血領域と判定する、或いは、彩度が所定値よりも高い領域を出血領域と判定する。
　出血領域は粘膜下層等の組織に比べてヘモグロビンの含有量が多い。本実施形態によれば、表示画像においてヘモグロビンの濃度が所定値よりも高い領域を判定することで、表示画像における出血領域を判定できる。
　また本実施形態では、処理部１３は、表示画像のＧチャンネルに第１画像信号を割り当てるか第２画像信号を割り当てるかに応じて、画像内に特定被写体が含まれるか否かの判定条件を変更する。具体的には、表示画像のＧチャンネルに第１画像信号を割り当てるＤＲＩモードにおいて、処理部１３は、画像内に粘膜下層領域が含まれるか否かを判定する。一方、表示画像のＧチャンネルに第２画像信号を割り当てるＷＬＩモードにおいて、処理部１３は、画像内に出血領域が含まれるか否かを判定する。各モードにおける判定条件は、上述した通りである。
　このようにすれば、各モードにおいて識別が困難な特定被写体を表示画像から判定できる。そして、表示画像内に特定被写体が存在した場合には、その特定被写体であると判定された領域に対して強調処理を行うことで、特定被写体の視認性を向上できる。
　なお、本実施形態の処理部１３と制御部１２は、以下のハードウェアにより構成されてもよい。処理部１３と制御部１２は個別のハードウェアにより構成されてもよいし、一体のハードウェアにより構成されてもよい。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
　また処理部１３と制御部１２は、プロセッサにより実現されてもよい。処理部１３と制御部１２は個別のプロセッサにより構成されてもよいし、一つのプロセッサにより構成されてもよい。即ち、本実施形態の制御装置１０は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。メモリは記憶部１１に含まれてもよい。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、画像信号に基づいて画像内に特定被写体が含まれるか否かを判定する。そしてプロセッサは、画像内に特定被写体が含まれると判定した場合に、特定被写体を含む画像領域に対して、第１画像信号又は第２画像信号を用いた色又は輝度の変換処理を行うことで、特定被写体の強調処理を行い、強調処理後の画像を表示画像として出力する。
　プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、表示画像生成部１４及び画像判定部１５、画像強調部１６、制御部１２の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
　また、本実施形態の処理部１３が行う処理を実現するプログラム、又は処理部１３及び制御部１２が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭである。処理部１３と制御部１２は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置の各部としてコンピュータを機能させるためのプログラムが記憶される。コンピュータは、入力装置、及び処理部、記憶部、出力部を備える装置である。プログラムは、各部の処理をコンピュータに実行させるためのプログラムである。プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク、不揮発性メモリやＲＡＭ等のメモリなど、光学式検出システムによって読み取り可能な種々の記録媒体を想定できる。
　３．種々の実施形態
　図７のステップＳ１２３では、ＷＬＩモードにおいて出血領域を以下のように判定してもよい。
　画像判定部１５は、アンバー信号に基づいて表示画像内の出血領域を判定する。具体的には、画像判定部１５は、表示画像において、アンバー信号が所定値よりも小さい領域を出血領域と判定する。ヘモグロビンの吸収が大きい領域ではアンバー信号が小さいので、ヘモグロビン濃度が高い領域を出血領域と判定できる。
　また画像判定部１５は、赤色信号によりアンバー信号を正規化し、その正規化後のアンバー信号が所定値よりも小さい領域を出血領域と判定してもよい。赤色信号は、図２の赤色光ＬＲ又は図３の赤色光ＬＲ２により得られた画像信号である。
　また画像判定部１５は、色相が所定の色相範囲に属し、且つ彩度が第１所定値よりも高い領域と、アンバー信号が所定値よりも小さい領域との論理和を、出血領域と判定してもよい。
　また画像判定部１５は、色相が所定の色相範囲に属し、且つ彩度が第１所定値よりも高い領域と、アンバー信号が所定値よりも小さい領域との論理積を、出血領域と判定してもよい。
　図８のステップＳ１３２では、ＷＬＩモードにおいて出血領域を以下のように強調処理してもよい。
　画像強調部１６は、表示画像の出血領域に属する画素のＲチャンネル又はＢチャンネルに、その画素におけるアンバー信号を所定割合だけ合成する。
　また画像強調部１６は、表示画像の出血領域に属する画素のＲＧＢチャンネルのうち２以上のチャンネルに、その画素におけるアンバー信号を所定割合だけ合成してもよい。
　また画像強調部１６は、アンバー信号を表示画像に加算するのではなく、アンバー信号の信号値を用いて出血領域の色相変換を制御してもよい。具体的には、表示画像の出血領域に属する画素において、アンバー信号が小さいほど色相の変化量を大きくする。出血点は血だまりよりもアンバー信号が小さいため、出血点の色相変化が大きくなり、出血点を視認しやすくなる。
　また画像強調部１６は、赤色信号によりアンバー信号を正規化し、その正規化後のアンバー信号が小さいほど色相の変化量を大きくしてもよい。赤色光はヘモグロビンに対する感度が低いため、赤色信号において被写体形状と配光の影響が支配的である。赤色信号によりアンバー信号を正規化することで、被写体形状と配光の影響を低減できる。
　図７のステップＳ１２４では、ＤＲＩモードにおいて粘膜下層領域を以下のように判定してもよい。
　画像判定部１５は、表示画像において色相が所定範囲に属する領域を粘膜下層領域と判定してもよい。色相の所定範囲は、青色領域に属し、例えばＣｒＣｂ平面の第２象限である。図４のＳ１においてインジゴカルミンを粘膜下層に注入した場合、筋層及び粘膜下層、線維化層がインジゴカルミンにより染色される。図１２の左図に示すように、ＤＲＩ画像において、インジゴカルミンに染色された線維化層及び筋層はＣｒＣｂ平面の第２象限に位置しており、青味がかって見える。
　また画像判定部１５は、彩度が第２所定値よりも低い領域と、色相が所定範囲に属する領域との論理和を、粘膜下層領域と判定してもよい。
　図１０のステップＳ１３４では、ＤＲＩモードにおいて粘膜下層領域を以下のように強調処理してもよい。
　画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲチャンネル又はＢチャンネルに、その画素における緑色信号を所定割合だけ合成する。
　また画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲＧＢチャンネルのうち２以上のチャンネルに、その画素における緑色信号を所定割合だけ合成してもよい。
　また画像強調部１６は、表示画像において青色領域に属すると判定された領域において、各チャンネルに対する緑色信号の合成割合を高めてもよい。即ち、青色領域に属すると判定されていない領域における合成割合よりも、青色領域に属すると判定された領域における合成割合を、高くしてもよい。粘膜下層にインジゴカルミンが注入された場合には、粘膜下層領域が青色に染色されるので、その染色領域において粘膜下層領域の強調度合いを強めることができる。
　また画像強調部１６は、緑色信号に基づいて粘膜下層領域の構造を強調してもよい。具体的には、画像強調部１６は、緑色信号の高周波成分を抽出し、表示画像の粘膜下層領域に属する画素のＧチャンネルに、その画素における緑色信号の高周波成分を合成する。高周波成分の抽出は、例えばハイパスフィルター又はバンドパスフィルター等により実現される。線維化層は筋層に比べてテクスチャー情報が豊富であるため、高周波成分が多い。このため、緑色信号の高周波成分を合成することで、繊維化層の視認性を向上できる。
　また画像強調部１６は、表示画像において青色領域に属すると判定された領域において、Ｇチャンネルに対する緑色信号の高周波成分の合成割合を高めてもよい。粘膜下層にインジゴカルミンが注入された場合には、粘膜下層領域が青色に染色されるので、その染色領域において繊維化層の強調度合いを強めることができる。
　また画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲチャンネル又はＢチャンネルに、その画素における緑色信号の高周波成分を合成してもよい。また画像強調部１６は、表示画像の粘膜下層領域に属する画素のＲＧＢチャンネルのうち２以上のチャンネルに、その画素における緑色信号の高周波成分を合成してもよい。
　以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１０　制御装置、１１　記憶部、１２　制御部、１３　処理部、１４　表示画像生成部、１５　画像判定部、１６　画像強調部、２０　光源部、３０　撮像部、４０　表示部、５０　操作部、１００　内視鏡装置、３００　制御装置、ＨＡＣ　ヘモグロビン吸光係数、ＬＡ　アンバー光、ＬＢ　青色光、ＬＧ　緑色光、ＬＧ２　緑色光、ＬＲ　赤色光、ＬＲ２　赤色光

Claims (15)

  1. 　少なくとも第１の光と第２の光を順次又は同時に照明光として発生する光源部と、
    　前記照明光が照射された被写体からの戻り光を撮像することで、画像信号を出力する撮像部と、
    　前記画像信号に基づいて表示画像を生成し、前記表示画像を表示装置に出力する処理部と、
    　を含み、
    　前記第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、
    　前記第２の光は、青色領域又は緑色領域に属する光であり、
    　前記画像信号は、前記第１の光に対応した第１画像信号と、前記第２の光に対応した第２画像信号とを含み、
    　前記処理部は、
    　前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、
    　前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を前記表示画像として出力することを特徴とする内視鏡装置。
  2. 　請求項１において、
    　前記特定被写体は、粘膜下層領域であり、
    　前記処理部は、
    　前記第１画像信号を前記表示画像のＧチャンネルに割り当てることを特徴とする内視鏡装置。
  3. 　請求項２において、
    　前記処理部は、
    　前記画像内に前記粘膜下層領域が含まれると判定した場合に、前記粘膜下層領域を含む前記画像領域において、前記第１画像信号に対する前記第２画像信号の合成割合を高める前記変換処理を行い、前記合成後の画像信号を前記Ｇチャンネルに割り当てることを特徴とする内視鏡装置。
  4. 　請求項２において、
    　前記処理部は、
    　前記画像内に前記粘膜下層領域が含まれると判定した場合に、前記粘膜下層領域を含む前記画像領域において、前記第２画像信号の高周波成分を前記Ｇチャンネルに合成することを特徴とする内視鏡装置。
  5. 　請求項４において、
    　前記処理部は、
    　色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を判定し、前記インジゴカルミンの濃度が前記所定値よりも高いと判定した領域において前記高周波成分の合成割合を高めることを特徴とする内視鏡装置。
  6. 　請求項２において、
    　前記処理部は、
    　前記画像内に前記粘膜下層領域が含まれると判定した場合に、前記粘膜下層領域を含む前記画像領域において、前記第２画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる前記変換処理を行うことを特徴とする内視鏡装置。
  7. 　請求項２において、
    　前記処理部は、
    　色相及び彩度の少なくとも一方に基づいて、インジゴカルミンの濃度が所定値よりも高い領域を、前記粘膜下層領域と判定することを特徴とする内視鏡装置。
  8. 　請求項２において、
    　前記処理部は、
    　色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも低い領域を、前記粘膜下層領域と判定することを特徴とする内視鏡装置。
  9. 　請求項１において、
    　前記特定被写体は、出血領域であり、
    　前記第２の光は、緑色領域に属する光であり、
    　前記処理部は、
    　前記第２画像信号を前記表示画像のＧチャンネルに割り当てることを特徴とする内視鏡装置。
  10. 　請求項９において、
    　前記処理部は、
    　前記画像内に前記出血領域が含まれると判定した場合に、前記出血領域を含む前記画像領域において、前記第２画像信号に対する前記第１画像信号の合成割合を高める前記変換処理を行い、前記合成後の画像信号を前記Ｇチャンネルに割り当てることを特徴とする内視鏡装置。
  11. 　請求項９において、
    　前記処理部は、
    　前記画像内に前記出血領域が含まれると判定した場合に、前記出血領域を含む前記画像領域において、前記第１画像信号の信号値に応じて色相及び彩度の少なくとも一方を変化させる前記変換処理を行うことを特徴とする内視鏡装置。
  12. 　請求項９において、
    　前記処理部は、
    　色相及び彩度の少なくとも一方に基づいて、ヘモグロビンの濃度が所定値よりも高い領域を、前記出血領域と判定することを特徴とする内視鏡装置。
  13. 　請求項１において、
    　前記処理部は、
    　前記表示画像のＧチャンネルに前記第１画像信号を割り当てるか前記第２画像信号を割り当てるかに応じて、前記画像内に前記特定被写体が含まれるか否かの判定条件を変更することを特徴とする内視鏡装置。
  14. 　第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、
    　少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、
    　前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、
    　前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、
    　前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、内視鏡装置の作動方法。
  15. 　第１の光は、ヘモグロビン吸光係数が最小値となる波長と、前記最小値となる波長より短波長側において前記ヘモグロビン吸光係数の１つ目の極大値となる波長との間にピーク波長を有する狭帯域光であり、第２の光は、青色領域又は緑色領域に属する光であるとき、
    　少なくとも前記第１の光と前記第２の光を順次又は同時に照明光として発生し、
    　前記照明光が照射された被写体からの戻り光を撮像することで、前記第１の光に対応した第１画像信号と前記第２の光に対応した第２画像信号とを含む画像信号を取得し、
    　前記画像信号に基づいて画像内に特定被写体が含まれるか否かを判定し、
    　前記画像内に前記特定被写体が含まれると判定した場合に、前記特定被写体を含む画像領域に対して、前記第１画像信号又は前記第２画像信号を用いた色又は輝度の変換処理を行うことで、前記特定被写体の強調処理を行い、前記強調処理後の画像を表示画像として表示装置に出力する、ステップをコンピュータに実行させるプログラム。
PCT/JP2019/011330 2019-03-19 2019-03-19 内視鏡装置、内視鏡装置の作動方法及びプログラム WO2020188727A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/011330 WO2020188727A1 (ja) 2019-03-19 2019-03-19 内視鏡装置、内視鏡装置の作動方法及びプログラム
CN201980093833.8A CN113543689B (zh) 2019-03-19 2019-03-19 内窥镜装置、内窥镜装置的工作方法以及信息存储介质
JP2021506874A JP7158562B2 (ja) 2019-03-19 2019-03-19 内視鏡装置、内視鏡装置の作動方法及びプログラム
US17/469,093 US20210401268A1 (en) 2019-03-19 2021-09-08 Endoscope apparatus, operating method of endoscope apparatus, and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011330 WO2020188727A1 (ja) 2019-03-19 2019-03-19 内視鏡装置、内視鏡装置の作動方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/469,093 Continuation US20210401268A1 (en) 2019-03-19 2021-09-08 Endoscope apparatus, operating method of endoscope apparatus, and information storage medium

Publications (1)

Publication Number Publication Date
WO2020188727A1 true WO2020188727A1 (ja) 2020-09-24

Family

ID=72520658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011330 WO2020188727A1 (ja) 2019-03-19 2019-03-19 内視鏡装置、内視鏡装置の作動方法及びプログラム

Country Status (4)

Country Link
US (1) US20210401268A1 (ja)
JP (1) JP7158562B2 (ja)
CN (1) CN113543689B (ja)
WO (1) WO2020188727A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022180177A (ja) * 2021-05-24 2022-12-06 富士フイルム株式会社 内視鏡システム、医療画像処理装置及びその作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011218090A (ja) * 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
WO2012081297A1 (ja) * 2010-12-17 2012-06-21 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡を用いた被写体画像を表示する方法
WO2013145408A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20170027428A1 (en) * 2015-03-17 2017-02-02 Olympus Corporation Endoscope apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5159904B2 (ja) * 2011-01-11 2013-03-13 富士フイルム株式会社 内視鏡診断装置
WO2012140970A1 (ja) * 2011-04-11 2012-10-18 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5362149B1 (ja) * 2012-03-30 2013-12-11 オリンパスメディカルシステムズ株式会社 内視鏡装置
CN105101863B (zh) * 2013-03-27 2016-12-28 富士胶片株式会社 图像处理装置
JP6234350B2 (ja) * 2014-09-30 2017-11-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6432770B2 (ja) * 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
WO2016139768A1 (ja) * 2015-03-04 2016-09-09 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
WO2016185733A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017104046A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 内視鏡装置
JP6301041B1 (ja) * 2016-05-30 2018-03-28 オリンパス株式会社 処理装置、設定方法およびプログラム
JP6342598B1 (ja) * 2016-11-01 2018-06-13 オリンパス株式会社 画像処理装置
JP6267372B2 (ja) * 2017-01-12 2018-01-24 富士フイルム株式会社 内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011218090A (ja) * 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
WO2012081297A1 (ja) * 2010-12-17 2012-06-21 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡を用いた被写体画像を表示する方法
WO2013145408A1 (ja) * 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20170027428A1 (en) * 2015-03-17 2017-02-02 Olympus Corporation Endoscope apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUJIMOTO, AI ET AL: "Possibilities for Dual Red Imaging Endoscopic Therapy", ENDOSCOPIA DIGESTIVA, vol. 28, no. 3, 2016, pages 480 - 483, ISSN: 0915-3217 *

Also Published As

Publication number Publication date
JP7158562B2 (ja) 2022-10-21
US20210401268A1 (en) 2021-12-30
CN113543689A (zh) 2021-10-22
CN113543689B (zh) 2024-08-30
JPWO2020188727A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN110325100B (zh) 内窥镜系统及其操作方法
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
US20130006109A1 (en) Endoscope apparatus
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2019235195A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2014171505A (ja) 画像処理装置及び内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
US11942213B2 (en) Endoscope system, medical image processing device, and operation method therefor
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
WO2020188727A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US20210100440A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage medium
WO2018061620A1 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
EP4095802A1 (en) Medical image processing device, endoscope system, and medical image processing device operation method
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20220351350A1 (en) Endoscope processor, method for operating endoscope processor, and storage medium
JP6267372B2 (ja) 内視鏡システム
US20210100441A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage medium
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7090699B2 (ja) 内視鏡装置及び内視鏡装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920339

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506874

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920339

Country of ref document: EP

Kind code of ref document: A1