WO2023281607A1 - 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法 - Google Patents

内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法 Download PDF

Info

Publication number
WO2023281607A1
WO2023281607A1 PCT/JP2021/025365 JP2021025365W WO2023281607A1 WO 2023281607 A1 WO2023281607 A1 WO 2023281607A1 JP 2021025365 W JP2021025365 W JP 2021025365W WO 2023281607 A1 WO2023281607 A1 WO 2023281607A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image information
processor
lesion
display
Prior art date
Application number
PCT/JP2021/025365
Other languages
English (en)
French (fr)
Inventor
明広 窪田
大和 神田
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2023532905A priority Critical patent/JPWO2023281607A1/ja
Priority to CN202180097925.0A priority patent/CN117241719A/zh
Priority to PCT/JP2021/025365 priority patent/WO2023281607A1/ja
Publication of WO2023281607A1 publication Critical patent/WO2023281607A1/ja
Priority to US18/382,556 priority patent/US20240046599A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present invention relates to an endoscope processor, an endoscope apparatus, and a diagnostic image generation method for detecting a lesion area from image information.
  • endoscopes have been widely used in the medical and industrial fields.
  • an operator finds and distinguishes a lesion by looking at an endoscopic image of the inside of the subject displayed on a display device, and treats the lesion using a treatment tool. can do
  • CAD Computer Aided Detection/Diagnosis
  • WO2019/087971 discloses a medical image processing apparatus that detects a lesion area with a first illumination light, discriminates the lesion type with a second illumination light, and specifies the degree of progress with a third illumination light. and an endoscopic device are described.
  • the first illumination light for detecting the lesion area is specifically illumination light for identification of Pattern 1 as described in FIG. 5 of the publication.
  • the present invention has been made in view of the above circumstances, and provides an endoscope processor, an endoscope apparatus, and a diagnostic image generation method capable of realizing a function of detecting lesions that may be overlooked with white light. It is intended to
  • An endoscope processor includes a processor, the processor detects a first region of a lesion candidate from first image information obtained by irradiating the first illumination light, detecting a second region of a lesion candidate from second image information obtained by irradiating a second illumination light having a spectrum different from light, and determining a display region of the lesion candidate based on the first region and the second region; Then, display image information is generated by superimposing the display area on the first image information.
  • An endoscope apparatus includes a light source device capable of irradiating a plurality of types of illumination light including a first illumination light and a second illumination light having a spectrum different from that of the first illumination light; an endoscope including an imaging device that acquires first image information by irradiating the first illumination light from a device and acquires second image information by irradiating the second illumination light from the light source device; Detecting a first region of a lesion candidate from one image information, detecting a second region of a lesion candidate from the second image information, and selecting a lesion candidate display region based on the first region and the second region.
  • an endoscope processor including a processor that generates display image information in which the display area is superimposed on the first image information; and a monitor that displays the display image information.
  • a diagnostic image generation method detects a first region of a lesion candidate from first image information obtained by irradiating first illumination light, 2 detecting a second area of the lesion candidate from second image information obtained by irradiating illumination light; selecting a display area of the lesion candidate based on the first area and the second area; is superimposed on the first image information to generate display image information.
  • FIG. 1 is a perspective view showing an example of the appearance of an endoscope apparatus according to a first embodiment of the present invention
  • FIG. FIG. 2 is a block diagram showing an example of the configuration of the endoscope apparatus according to the first embodiment
  • FIG. FIG. 2 is a block diagram showing an electrical configuration example of the endoscope processor according to the first embodiment
  • FIG. 2 is a block diagram showing a configuration example of a discriminator according to the first embodiment
  • 4 is a chart showing an example of image information in each discriminator and monitor in the first embodiment
  • 4 is a flowchart showing processing of the endoscope processor according to the first embodiment
  • FIG. 5 is a block diagram showing a configuration example of a discriminator according to the second embodiment of the present invention
  • 9 is a flowchart showing processing of the endoscope processor according to the second embodiment
  • FIG. 11 is a block diagram showing a configuration example of a discriminator according to the third embodiment of the present invention
  • FIG. 11 is a flow chart showing processing of the endoscope processor according to the third embodiment
  • FIG. 5 is a block diagram showing a configuration example of a discriminator according to the second embodiment of the present invention
  • 9 is a flowchart showing processing of the endoscope processor according to the second embodiment
  • FIG. 11 is a block diagram showing a configuration example of a discriminator according to the third embodiment of the present invention
  • FIG. 11 is a flow chart showing processing of the endoscope processor according to the third embodiment
  • FIG. 1 to 6 show a first embodiment of the present invention
  • FIG. 1 is a perspective view showing an example of the configuration of an endoscope device 1.
  • FIG. An endoscope apparatus 1 of this embodiment includes an endoscope 2 , a light source device 3 , an endoscope processor 4 and a monitor 5 .
  • the endoscope 2 includes an elongated insertion portion 9 to be inserted into a subject, an operation portion 10 for performing various operations related to the endoscope 2, a light source device 3 and an endoscope processor. and a universal cable 17 for connecting to .
  • the insertion portion 9 includes a distal end portion 6, a bending portion 7, and a flexible tube portion 8 in order from the distal end toward the proximal end.
  • the distal end portion 6 includes an illumination window through which illumination light is emitted to the subject, and an observation window through which return light from the subject is incident.
  • the endoscope 2 of the present embodiment is configured as an electronic endoscope, and an imaging device 21 (see FIG. 2) is provided at the distal end portion 6 .
  • the imaging device 21 includes an imaging optical system and an imaging device. The imaging optical system forms an optical image of a subject (subject image) on the imaging element with the light incident through the observation window.
  • the imaging device is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging device photoelectrically converts a subject image to generate and output an imaging signal.
  • the imaging signal is transmitted to the endoscope processor 4 via the signal line.
  • the bending portion 7 is a bendable portion connected to the proximal end side of the distal end portion 6, and bends to change the direction in which the distal end portion 6 faces.
  • the flexible tube part 8 is a part that is connected to the proximal end side of the bending part 7 and has a possibility.
  • a bending wire for bending the bending portion 7 and a treatment instrument channel for inserting a treatment instrument are arranged in the insertion section 9 and the operation section 10 . Further, the above-described signal line connected to the imaging element and a light guide for transmitting illumination light are arranged in the insertion portion 9, the operation portion 10, and the universal cable 17 of the endoscope 2. ing.
  • the operation section 10 is provided with various switches including a bending operation section 14 for bending the bending section 7 via a bending wire, and a focus switch 15 .
  • a bending operation section 14 for bending the bending section 7 via a bending wire
  • a focus switch 15 When the imaging optical system has a variable power optical system, operating the focus switch 15 changes the focus position to the near point or the far point, and the subject image is magnified.
  • the bending operation section 14 includes a UD bending operation knob 12 for bending the bending section 7 in the vertical direction, and an RL bending operation knob 13 for bending the bending section 7 in the horizontal direction.
  • the bending portion 7 can bend in an oblique direction by combining bending in the vertical direction and bending in the horizontal direction.
  • a gripping portion 11 for gripping the endoscope 2 by an operator's hand and a treatment instrument channel insertion port 16 serving as an opening on the base end side of the treatment instrument channel are provided on the distal side of the operation section 10 . It is
  • the universal cable 17 extends from, for example, the proximal side surface of the operation section 10 .
  • a scope connector 17 a is provided at the proximal end of the universal cable 17 .
  • the scope connector 17 a detachably connects the endoscope 2 to the light source device 3 . By connecting the scope connector 17a to the light source device 3, it becomes possible to transmit the illumination light through the light guide.
  • a coiled electrical cable 18 extends from the side of the scope connector 17a.
  • An electrical connector 18 a provided at the extending end of the electrical cable 18 is detachably connected to the endoscope processor 4 .
  • the imaging device is electrically connected to the endoscope processor 4 .
  • the endoscope processor 4 is electrically connected to a monitor 5 that is a display device.
  • the endoscope processor 4 processes the imaging signal output from the imaging element of the endoscope 2 to generate image information for display.
  • the display image information is output from the endoscope processor 4 to the monitor 5 and displayed on the monitor 5 as a display image including an endoscopic image.
  • the monitor 5 also includes a speaker 5a for outputting sound.
  • FIG. 2 is a block diagram showing an example of the configuration of the endoscope device 1. As shown in FIG.
  • the endoscope 2 includes the imaging device 21 as described above.
  • the imaging device 21 acquires first image information (white light image information, which will be described later) by capturing an image of the subject irradiated with the first illumination light from the light source device 3, and irradiates the second illumination light from the light source device 3.
  • Second image information (first special light image information and second special light image information described later) is acquired by imaging the object to be examined.
  • the light source device 3 can emit a plurality of types of illumination light including first illumination light and second illumination light having a spectrum different from that of the first illumination light.
  • the light source device 3 of this embodiment includes a white light source 31 , a first special light source 32 and a second special light source 33 .
  • the white light source 31 emits white light for observation.
  • the first special light source 32 emits first special light having a spectrum different from that of white light.
  • the second special light source 33 emits white light and second special light having a spectrum different from that of the first special light.
  • the white light is the first illumination light, and the first special light and the second special light are the second illumination light.
  • the light source device 3 includes a plurality of light sources that emit light of each color such as R (red), G (green), B (blue), V (violet), A (amber), and the light sources of each color are combined.
  • the white light source 31, the first special light source 32, and the second special light source 33 described above are configured.
  • the light source device 3 includes a light emitting device such as an LED (Light Emitting Diode) or an LD (Laser Diode).
  • the light source device 3 includes a V-LED that emits violet (V) light with a center wavelength of about 405 nm, a B-LED that emits blue (B) light with a center wavelength of about 445 nm, and a B-LED with a center wavelength of about 445 nm.
  • a G-LED that emits green (G) light with a wavelength of 540 nm and an R-LED that emits red (R) light with a center wavelength of about 630 nm are provided.
  • the light source device 3 is equipped with a prism, a mirror, an optical fiber, or an optical filter for adjusting the wavelength band or the amount of light, etc., as required.
  • the light source device 3 of this embodiment sequentially emits white light, first special light, and second special light for each frame.
  • the imaging device 21 captures white light image information (hereinafter referred to as a white light image), first special light image information (hereinafter referred to as a first special light image), second special light image information (hereinafter referred to as a second special light image). (referred to as a light image) are sequentially acquired, and after the second special light image, a white light image is acquired again.
  • white light image and the first special light image are acquired in one frame each, while the second special light image is acquired in two frames, and so on.
  • the endoscope processor 4 includes an image processing unit 41, a white light discriminator 42, a first special light discriminator 43, a second special light discriminator 44, a lesion area selection unit 45, and a display processing unit 46. , a bus 47 and a control unit 48 .
  • the number may be two or four or more.
  • it functions as any of the white light discriminator 42, the first special light discriminator 43, and the second special light discriminator 44. It may be configured to
  • FIG. 3 is a block diagram showing an electrical configuration example of the endoscope processor 4. As shown in FIG. Although the functional configuration of the endoscope processor 4 is shown in FIG. 2, the endoscope processor 4 includes, for example, a processor 4a and a memory 4b as an electrical configuration.
  • the processor 4a includes, for example, an ASIC (Application Specific Integrated Circuit) including a CPU (Central Processing Unit) or the like, or an FPGA (Field Programmable Gate Array).
  • the memory 4b is a storage medium such as RAM (Random Access Memory), flash memory, or disk storage medium.
  • the memory 4b includes a computer-readable non-transitory storage medium for recording a processing program.
  • the processor 4a reads and executes the processing program stored in the memory 4b, thereby fulfilling the functions of the units shown in FIG.
  • the configuration is not limited to this, and the processor 4a may be configured as a dedicated electronic circuit that performs the function of each section.
  • FIG. 4 is a block diagram showing a configuration example of the discriminators 42, 43, and 44.
  • Each of the white light discriminator 42, the first special light discriminator 43, and the second special light discriminator 44 is a lesion discriminator 4c that detects a lesion candidate area from image information obtained by irradiating illumination light. It has The lesion discriminator 4c includes, for example, artificial intelligence (AI) that has learned lesion images.
  • AI artificial intelligence
  • the image processing unit 41 performs various types of processing such as demosaicing, noise correction, color correction, contrast correction, and gamma correction on the image information output from the imaging device 21, and outputs an image signal in a format that can be output to the monitor 5 (display image information).
  • the white light discriminator 42 is the first discriminator, and the first special light discriminator 43 and the second special light discriminator 44 are the second discriminators.
  • the white light discriminator 42 includes an AI learned by machine learning, deep learning, or the like from lesion images captured as white light images.
  • the white light discriminator 42 detects a lesion candidate region (first area).
  • the white light discriminator 42 also calculates a reliability score of the detected lesion candidate region.
  • the confidence score indicates the degree of certainty (certainty) that the lesion candidate region is actually a lesion.
  • the first special light discriminator 43 includes an AI learned by machine learning, deep learning, etc., from the lesion image captured as the first special light image.
  • the first special light discriminator 43 irradiates the subject with the first special light emitted from the first special light source 32 and detects the lesion from the endoscopic image (first special light image) acquired by the imaging device 21 .
  • a candidate region (the second region of the lesion candidate) is detected.
  • the first special optical discriminator 43 calculates a reliability score of the detected lesion candidate region.
  • the second special light discriminator 44 includes an AI learned by machine learning, deep learning, etc., from the lesion image captured as the second special light image.
  • the second special light discriminator 44 irradiates the subject with the second special light emitted from the second special light source 33, and identifies the lesion from the endoscopic image (second special light image) acquired by the imaging device 21.
  • a candidate region (the second region of the lesion candidate) is detected.
  • the second special optical discriminator 44 calculates a reliability score of the detected lesion candidate region.
  • the first special optical discriminator 43 and the second special optical discriminator 44 can be configured, for example, as discriminators that detect lesion candidate regions at different depths from the mucosal surface (superficial layer, middle layer, deep layer). Detection of a lesion candidate region is performed, for example, based on an image in which blood vessel information at a target depth is emphasized.
  • As special light for emphasizing blood vessel information wavelengths of narrow-band light that sufficiently reaches the target depth and have a difference in the absorption coefficient ⁇ a of oxidized and reduced hemoglobin, and wavelengths of narrow-band light at an isosbestic point where there is no difference.
  • Illumination light of such a wavelength set is known as illumination light for NBI (Narrow Band Imaging).
  • the discriminator for superficial lesions identifies superficial lesions on the mucosal surface or relatively shallow from the mucosal surface (depth of several tens of ⁇ m from the mucosal surface).
  • the special light that emphasizes superficial blood vessel information includes, for example, violet light (405 nm) as reference light and blue light (445 nm) as measurement light, and the amount of violet light is greater than that of blue light. It's a big light.
  • the superficial lesion discriminator is a discriminator learned from lesion images captured with special light that emphasizes superficial blood vessel information.
  • the discriminator for intermediate-layer lesions identifies intermediate-layer lesions that are intermediate in depth from the mucosal surface (depth of several tens to several hundred ⁇ m).
  • the special light for emphasizing middle-layer blood vessel information includes, for example, blue light (473 nm) as measurement light, green light as reference light, and red light as reference light, where the amount of blue light is the amount of green light. and the amount of green light is greater than that of red light.
  • the discriminator for intermediate-layer lesions is a discriminator learned from lesion images captured with special light that emphasizes intermediate-layer blood vessel information.
  • the deep-type lesion discriminator identifies deep-type lesions that are deep from the mucosal surface (from the muscularis mucosae to the submucosa layer).
  • Special light for emphasizing deep-layer blood vessel information includes, for example, blue light as reference light, green light as reference light, and red light (630 nm) as measurement light, and the amount of green light is the amount of blue light. , and the amount of blue light is greater than that of red light, and is learned from lesion images captured with special light.
  • the second discriminator is a special light (RDI (Red Dichromatic Imaging ) may be a discriminator learned from lesion images captured with illumination light for ).
  • RDI illumination light for example, three colors of green, amber, and red light of specific wavelengths are used. Therefore, the plurality of types of second illumination light preferably includes at least one of the NBI illumination light and the RDI illumination light.
  • the first special optical discriminator 43 is a superficial lesion discriminator
  • the second special optical discriminator 44 is a middle layer lesion discriminator.
  • the lesion area selection unit 45 selects the lesion candidate area detected by the white light discriminator 42, the lesion candidate area detected by the first special light discriminator 43, and the lesion candidate detected by the second special light discriminator 44.
  • a lesion candidate display area is selected based on the area and the area.
  • the following methods (1) to (3) can be used as the display area selection method by the lesion area selection unit 45.
  • the following methods (1) to (3) are all based on the reliability score of the lesion candidate region (first region) of the white light image and the reliability score of the lesion candidate region (second region) of the first special light image.
  • a method of calculating a plurality of reliability scores of a reliability score and a reliability score of a lesion candidate region (second region) in a second special light image, and selecting a display region based on the plurality of reliability scores. is.
  • region 1 is the lesion candidate region detected by the white light discriminator 42
  • region 2 is the lesion candidate region detected by the first special light discriminator 43
  • region 2 is the lesion candidate region detected by the second special light discriminator 44.
  • the candidate area is called area 3 .
  • region 1 there are cases where no lesion candidate is detected and region 1 does not exist, and there are cases where one or more lesion candidates are detected in one image and one or more regions 1 exist. .
  • areas 2 and 3 may have 0, 1, or a plurality of areas.
  • regions that do not overlap are selected as display regions as they are.
  • regions 1 to 3 first extract the region whose reliability score is equal to or higher than a predetermined threshold (specified value), and among the extracted regions, for multiple regions whose positions overlap each other, the highest reliability score is selected as the display area.
  • regions that do not overlap are selected as display regions as they are.
  • the reliability score is weighted according to the observation target part of the subject (the organ targeted for endoscopic examination), and the method of (2) is applied based on the weighted reliability score to display Select the area for use.
  • the reliability score of region 1 is referred to as score 1
  • the reliability score of region 2 is referred to as score 2
  • the reliability score of region 3 is referred to as score 3.
  • a weighting factor by which score 1 is multiplied is called weighting factor 1
  • a weighting factor by which score 2 is multiplied is called weighting factor 2
  • a weighting factor by which score 3 is multiplied is called weighting factor 3.
  • the weighting factor 2 is made larger than the weighting factors 1 and 3, and the method (2) is applied to select the display area.
  • the weighting factor 1 and the weighting factor 3 are set to 0, only the area 2 detected by the first special optical discriminator 43, which is a discriminator for superficial lesions, is selected. is the same as selecting the first special optical discriminator 43 as .
  • the weighting factor 3 is made larger than the weighting factors 1 and 2, and the method (2) is applied to select the display area.
  • the weighting factor 1 and the weighting factor 2 are set to 0, only the area 3 detected by the second special optical discriminator 44, which is a medium-layer lesion discriminator, will be selected. is the same as selecting the second special optical discriminator 44 as .
  • a lesion candidate area (first area) in the white light image, a lesion candidate area (second area) in the first special light image, and a lesion candidate area (second area) in the second special light image ) is selected as the display area.
  • the weighting according to the organ may be switched according to a user instruction (that is, manually), or may be determined automatically by the control unit 48 based on the characteristics of the endoscopic image, or may be switched automatically according to the endoscopic image.
  • the insertion length of the insertion portion 9 of the endoscope 2 may be detected, and the control portion 48 may make a determination based on the detection result and perform the operation automatically. The determination may be made automatically by the control unit 48 based on the detection result of the detection sensor.
  • a white light image is transmitted from the image processing unit 41 to the display processing unit 46 via the white light discriminator 42 and the lesion area selection unit 45 . Furthermore, the display area selected by the lesion area selection unit 45 is transmitted to the display processing unit 46 .
  • a bus 47 is a transmission path through which each unit in the endoscope processor 4 transmits and receives commands and information.
  • the control unit 48 controls the image processing unit 41 , the white light discriminator 42 , the first special light discriminator 43 , the second special light discriminator 44 , the lesion area selection unit 45 , and the display processing unit 46 via the bus 47 . and control them.
  • the control unit 48 includes a motion detection unit 48a.
  • the motion detector 48a detects motion among the white light image, the first special light image, and the second special light image. Motion detection by the control unit 48 may be performed, for example, by image analysis, or may be performed based on the detection result of the sensor by incorporating an acceleration sensor or the position detection sensor described above into the distal end portion 6 of the endoscope 2. .
  • the motion of the image is caused by the movement of the imaging device 21 provided at the distal end portion 6 of the endoscope 2 relative to the subject.
  • the types of image movement include, for example, vertical and horizontal movement on the screen, rotational movement of the imaging device 21 relative to the subject, and movement of the tip portion 6 toward or away from the subject.
  • the control unit 48 transmits the image motion information detected by the motion detection unit 48 a to the lesion area selection unit 45 and the display processing unit 46 .
  • the lesion area selection unit 45 aligns the images (corrects the positional deviation) (thus aligns the candidate lesion areas in the images). ), select a display area from areas 1 to 3.
  • the display processing unit 46 aligns the display area with the white light image based on the image motion information transmitted from the control unit 48 . However, the alignment of the display area with respect to the white light image may be performed by the lesion area selection section 45 . Then, the display processing unit 46 superimposes the display area on the white light image to generate display image information, and outputs it to the monitor 5 .
  • the display area superimposed on the white light image may be, for example, the outline of the merged area, or may be a marker (for example, a square frame) indicating the range of the merged area.
  • the monitor 5 displays the display image on the monitor screen according to the display image information input from the display processing unit 46 .
  • FIG. 5 is a chart showing an example of image information in each classifier 42, 43, 44 and the monitor 5.
  • the white light discriminator 42 detects the lesion candidate region 51 a from the white light image 51 .
  • the first special light discriminator 43 detects a lesion candidate region 52a from the first special light image 52.
  • the second special light discriminator 44 detects a lesion candidate region 53 a from the second special light image 53 .
  • the monitor 5 displays the display image 50 on which the display area 50a is superimposed on the monitor screen.
  • the display area 50a is an area obtained by merging, for example, the lesion candidate area 51a, the lesion candidate area 52a, and the lesion candidate area 53a.
  • the display of the discrimination result 50b and the degree of progress 50c shown in FIG. 5 will be described in a later embodiment.
  • FIG. 6 is a flowchart showing the processing of the endoscope processor 4.
  • FIG. FIG. 6 shows an example of sequentially acquiring a white light image, a first special light image, and a second special light image every three frames.
  • the light source device 3 emits white light
  • the imaging device 21 acquires a white light image.
  • the acquired white light image is input to the endoscope processor 4 (step S1).
  • the input white light image is processed by the image processing unit 41 and then sent to the white light discriminator 42 and the display processing unit 46 .
  • the white light discriminator 42 detects a lesion candidate region from the white light image by the lesion discriminator 4c in the white light discriminator 42, and calculates a reliability score for each detected lesion candidate region (step S2 ).
  • the control unit 48 determines whether or not the reliability score calculated by the white light discriminator 42 is equal to or greater than a specified value (threshold value) for each lesion candidate region. (Step S3). If no lesion candidate region is detected, the control unit 48 skips the processing of step S3 and proceeds to step S4.
  • control unit 48 determines that there is no lesion (step S4), and detects the lesion candidate region. is not transmitted from the white light discriminator 42 to the lesion area selection unit 45 even if there is.
  • control unit 48 causes the white light discriminator 42 to transmit the lesion candidate area to the lesion area selection unit 45 .
  • the light source device 3 emits the first special light that emphasizes the superficial blood vessels, and the imaging device 21 acquires the first special light image.
  • the acquired first special light image is input to the endoscope processor 4 (step S5).
  • the input first special light image is processed by the image processing unit 41 and then sent to the first special light discriminator 43 .
  • the first special light discriminator 43 detects a lesion candidate region from the first special light image by the lesion discriminator 4c in the first special light discriminator 43, and calculates a reliability score for each detected lesion candidate region. (step S6).
  • the control unit 48 determines whether the reliability score calculated by the first special light discriminator 43 is equal to or greater than a specified value (threshold value) for each lesion candidate region. Determine (step S7). If no lesion candidate region is detected, the control unit 48 skips the processing of step S7 and proceeds to step S8.
  • control unit 48 determines that there is no lesion (step S8), and detects the lesion candidate region. is not transmitted from the first special optical discriminator 43 to the lesion area selection unit 45.
  • control unit 48 causes the first special optical discriminator 43 to transmit the lesion candidate area to the lesion area selection unit 45 .
  • the light source device 3 emits second special light that emphasizes the middle-layer blood vessels, and the imaging device 21 acquires a second special light image.
  • the acquired second special light image is input to the endoscope processor 4 (step S9).
  • the input second special light image is processed by the image processing unit 41 and then sent to the second special light discriminator 44 .
  • the second special light discriminator 44 detects a lesion candidate region from the second special light image by the lesion discriminator 4c in the second special light discriminator 44, and calculates a reliability score for each detected lesion candidate region. (step S10).
  • the control unit 48 determines whether the reliability score calculated by the second special light discriminator 44 is equal to or greater than a specified value (threshold value) for each lesion candidate region. Determine (step S11). If no lesion candidate region is detected, the control unit 48 skips the processing of step S11 and proceeds to step S12.
  • control unit 48 determines that there is no lesion (step S12), and detects the lesion candidate region. is not transmitted from the second special optical discriminator 44 to the lesion area selection unit 45 even if there is.
  • control unit 48 causes the second special optical discriminator 44 to transmit the lesion candidate area to the lesion area selection unit 45 .
  • the lesion area selection unit 45 selects a display area from the lesion candidate areas obtained based on the n to (n+2) frame images (step S13).
  • the lesion area selection unit 45 aligns and merges all the input candidate lesion areas as described above to form a display area.
  • the lesion candidate regions processed by the lesion region selection unit 45 are all regions with a reliability score equal to or higher than a specified value.
  • the display processing unit 46 aligns the display areas and performs image synthesis to superimpose them on the white light image (first image information) to generate display image information (step S14).
  • the generated display image information is output from the endoscope processor 4 to the monitor 5 , and the display image is displayed on the monitor screen of the monitor 5 .
  • the subsequent (n+3), (n+4), and (n+5)-th frames are processed in the same manner as the above-described n, (n+1), and (n+2)-th frames. The same applies thereafter.
  • the frame rate will decrease. Therefore, if the display image is displayed based on the image of the n to (n+2) frames, then the display image is displayed based on the image of the (n+1) to (n+3) frames, and then the image of the (n+2) to (n+4) frames is displayed.
  • the frame rate may be prevented from lowering by sequentially performing such operations as displaying the display image based on the frame rate.
  • a plurality of lesion candidate regions are detected from a plurality of image information obtained by irradiating a plurality of illumination lights having different spectra including white light, and from the plurality of lesion candidate regions, Since display image information is generated by selecting a display area and superimposing the selected display area on a white light image, a function of detecting a lesion that may be overlooked with white light can be realized. In addition, details of the subject that are dark and difficult to see with the special light image can be visually recognized with the white light image.
  • the first special light and the second special light for example, lesions with different depths from the mucosal surface can be detected from each image.
  • illumination light for NBI Near Band Imaging
  • RDI Red Dichromatic Imaging
  • the lesion detection accuracy can be improved.
  • the operator can concentrate on observing the area that is highly likely to be a lesion.
  • a lesion for which a diagnostic method has been established by varying which lesion candidate region detected from image information related to illumination light is selected as a display region according to the organ that is the observation target site of the subject.
  • Accurate computer aided imaging diagnosis CAD: Computer Aided Detection/Diagnosis
  • the lesion candidate regions detected from a plurality of image information are aligned in accordance with the results of motion detection, a display region is selected and display image information is generated. Even if there is movement, marker display or the like can be performed at an appropriate position on the white light image.
  • a computer-assisted image diagnosis in which a display area of a lesion candidate is selected by comprehensively judging from a plurality of types of images including a white light image and a special light image, and the display area is displayed on the white light image with a marker or the like.
  • FIG. 7 and 8 show a second embodiment of the present invention
  • FIG. 7 is a block diagram showing a configuration example of discriminators 42, 43, and 44.
  • FIG. 7 portions that are the same as those in the first embodiment described above are assigned the same reference numerals, and the description thereof is omitted as appropriate, and only the points of difference will be mainly described.
  • the discrimination result for the lesion candidate region is displayed.
  • each of the white light discriminator 42, the first special light discriminator 43, and the second special light discriminator 44 of this embodiment includes the lesion discriminator 4c and the differential discriminator 4d. It has
  • the differential classifier 4d includes, for example, an AI that has learned lesion images.
  • the differential discriminator 4d discriminates each lesion type for one or more lesion candidate regions detected by the lesion discriminator 4c, and calculates a reliability score of the discriminated lesion type.
  • the differential discriminator 4d discriminates, for example, that the lesion candidate region is "polyp” and calculates that the reliability score for "polyp” is, for example, "60%".
  • the differential classifier 4d does not always output one discrimination result, for example, “Polyp confidence score is 60%”, “Ulcerative colitis confidence score is 10%”, “Clone It is also possible to output a discrimination result for multiple types of lesions, such as "a disease with a confidence score of less than 1%".
  • lesion discriminator 4c and the differential discriminator 4d are shown as separate blocks in FIG. 7, one AI may function as both blocks.
  • FIG. 8 is a flowchart showing the processing of the endoscope processor 4. FIG. In FIG. 8, portions different from FIG. 6 will be described below.
  • the white light discriminator 42 performs the process of step S2 on the white light image acquired in the n-th frame, and the lesion candidate region detected by the lesion discriminator 4c in the white light discriminator 42 is classified into a white light image. Discrimination is performed by the discriminating discriminator 4 d in the optical discriminator 42 .
  • the differential classifier 4d calculates a differential result of the lesion candidate region and a reliability score for the differential result (step S21). Note that the differential classifier 4d skips the processing of step S21 when the lesion candidate region is not detected by the lesion classifier 4c.
  • the first special light discriminator 43 performs the process of step S6, and the lesion discriminator 4c in the first special light discriminator 43 detects The lesion candidate region is discriminated by the discrimination discriminator 4 d in the first special optical discriminator 43 .
  • the differential classifier 4d calculates a differential result of the lesion candidate region and a reliability score for the differential result (step S22). Note that the differential classifier 4d skips the process of step S22 when no lesion candidate region is detected by the lesion classifier 4c.
  • the second special light discriminator 44 performs the process of step S10, and the lesion discriminator 4c in the second special light discriminator 44 detects The lesion candidate region is discriminated by the discrimination discriminator 4 d in the second special optical discriminator 44 .
  • the differential discriminator 4d calculates the discrimination result of the lesion candidate region and the reliability score for the discrimination result (step S23). Note that the differential classifier 4d skips the process of step S23 when no lesion candidate region is detected by the lesion classifier 4c.
  • the lesion area selection unit 45 performs the process of step S13, and also determines the reliability score of the discrimination result obtained in step S21, the reliability score of the discrimination result obtained in step S22, and the discrimination result obtained in step S23. The results are compared with the reliability score to determine which discrimination result to display, and the determined discrimination result is output to the display processing unit 46 (step S24).
  • the lesion area selection unit 45 may determine, for example, the discrimination result with the highest reliability score as the discrimination result to be displayed. In addition, the lesion area selection unit 45 determines several (that is, a plurality of) discrimination results in order from the highest reliability score as the discrimination results to be displayed, and displays the reliability scores side by side with the discrimination results to be displayed. I don't mind.
  • the display processing unit 46 aligns the display area and performs image synthesis to superimpose it on the white light image (first image information), and further performs image synthesis to include the discrimination result in the vicinity of the white light image to create an image for display.
  • Information is generated (step S14A).
  • the generated display image information is output from the endoscope processor 4 to the monitor 5 , and the display image is displayed on the monitor screen of the monitor 5 . As a result, a discrimination result 50b as shown in FIG. 5 is displayed.
  • FIG. 9 and 10 show a third embodiment of the present invention
  • FIG. 9 is a block diagram showing a configuration example of discriminators 42, 43, and 44.
  • FIG. 9 portions that are the same as those in the above-described first and second embodiments are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate, and only different points are mainly described.
  • the degree of progression of the lesion is displayed.
  • the white light discriminator 42, the first special light discriminator 43, and the second special light discriminator 44 of this embodiment are all in addition to the lesion discriminator 4c and the differential discriminator 4d. , and a progress discriminator 4e.
  • the progress classifier 4e includes, for example, an AI that has learned lesion images.
  • the progress discriminator 4e discriminates the progress of the lesion discriminated by the discrimination discriminator 4d with respect to the lesion candidate region, and calculates the reliability score of the progress.
  • the lesion discriminator 4c, the differential discriminator 4d, and the progress discriminator 4e are described as separate blocks, but one AI may be configured to function as three blocks.
  • the endoscopic classification of polyps includes the NICE (The Narrow-band imaging International Colorectal Endoscopic) classification and the JNET (The Japan NBI (Narrow Band Imaging) Expert Team) classification.
  • NICE Type 1 represents hyperplastic lesions
  • NICE Type 2 represents adenoma to intramucosal cancer (so-called M cancer)
  • NICE Type 3 represents submucosal invasion cancer (so-called SM cancer).
  • endoscopic findings classification of ulcerative colitis includes Mayo classification, Matts classification, and UCEIS (Ulcerative Colitis Endoscopic. Index of Severity) classification.
  • Mayo0 is a grade representing normal or inactive (including remission).
  • Mayo 1 is a grade representing mild disease, which generally presents with redness, poor vascularity, or mild hemorrhage.
  • Mayo2 is a grade representing moderate disease, and is generally characterized by marked redness, disappearance of blood vessels, easy bleeding, adhesion of purulent secretions, coarse mucous membranes, erosions, or partial ulcers.
  • Mayo 3 is a grade representing severe (active stage), and is generally a condition in which obvious spontaneous bleeding, edema, ulcers (including extensive ulcers), etc. are observed. Also, dysplasia associated with ulcerative colitis may be identified.
  • the endoscopic classification of Crohn's disease includes SESCD (Simple Endoscopic Score for Crohn's Disease).
  • SESCD Simple Endoscopic Score for Crohn's Disease
  • the lesion area selection unit 45 determines the multiple discrimination results to be displayed in descending order of reliability score, the degree of progression is also identified for each of the multiple discrimination results.
  • FIG. 10 is a flowchart showing the processing of the endoscope processor 4. FIG. In FIG. 10, portions different from FIG. 8 will be described below.
  • the white light discriminator 42 performs the processing of steps S2 and S21.
  • the degree of progress is discriminated by the degree of progress discriminator 4 e in the white light discriminator 42 .
  • the progress discriminator 4e calculates a progress discrimination result and a reliability score for the discriminated progress (step S31).
  • the differential classifier 4d skips the process of step S31 when no lesion candidate region is detected by the lesion classifier 4c.
  • the first special light discriminator 43 performs the processing of steps S6 and S22, and the discrimination discriminator 4d in the first special light discriminator 43
  • the degree of progression of the differentiated lesion is identified by the degree of progression identifier 4 e in the first special optical identifier 43 .
  • the progress discriminator 4e calculates the discrimination result of the progress and the reliability score for the discriminated progress (step S32). Note that the differential classifier 4d skips the process of step S32 when no lesion candidate region is detected by the lesion classifier 4c.
  • the second special light discriminator 44 performs the processing of steps S10 and S23, and the discrimination discriminator 4d in the second special light discriminator 44
  • the degree of progression of the differentiated lesion is identified by the degree of progression identifier 4 e in the second special optical identifier 44 .
  • the progress discriminator 4e calculates the discrimination result of the progress and the reliability score for the discriminated progress (step S33). Note that the differential classifier 4d skips the process of step S33 when no lesion candidate region is detected by the lesion classifier 4c.
  • the lesion area selection unit 45 performs the processes of steps S13 and S24, determines the degree of progression corresponding to the discrimination result determined to be displayed in step S24 based on the reliability score, and displays the determined degree of progression. It outputs to the processing unit 46 (step S34).
  • the lesion area selection unit 45 determines, for example, “Mayo1” with the highest reliability score as the degree of progress, and outputs it to the display processing unit 46 .
  • the display processing unit 46 aligns the display area and performs image synthesis to superimpose it on the white light image (first image information), and further performs image synthesis to include the discrimination result and the degree of progress in the vicinity of the white light image.
  • image information for display is generated (step S14B).
  • the generated display image information is output from the endoscope processor 4 to the monitor 5 , and the display image is displayed on the monitor screen of the monitor 5 .
  • a discrimination result 50b and a degree of progress 50c as shown in FIG. 5 are displayed.
  • substantially the same effects as those of the above-described first and second embodiments can be obtained, and the degree of progression of a lesion can be identified and image information for display including the degree of progression can be generated. Therefore, it is possible to reduce variations in the subjective diagnosis of the operator with respect to the degree of progression of the lesion.
  • the present invention has been mainly described above as an endoscope processor and an endoscope apparatus having the endoscope processor, the present invention is not limited to this.
  • the present invention may be a diagnostic image generation method that performs the same processing as the endoscope processor.
  • the present invention may be a computer program for causing a computer to perform processing similar to that of an endoscope processor, a non-temporary computer-readable recording medium for recording the computer program, or the like.
  • the present invention is not limited to the above-described embodiment as it is, and in the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
  • various aspects of the invention can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all components shown in the embodiments. Furthermore, components across different embodiments may be combined as appropriate. As described above, it goes without saying that various modifications and applications are possible without departing from the gist of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡プロセッサ（４）は、プロセッサ（４ａ）を備える。プロセッサ（４ａ）は、第１照明光を照射して取得された第１画像情報から病変候補の第１領域を検出し、第１照明光とはスペクトルの異なる第２照明光を照射して取得された第２画像情報から病変候補の第２領域を検出し、第１領域および第２領域に基づき病変候補の表示用領域を選定し、表示用領域を第１画像情報に重ねた表示用画像情報を生成する。

Description

内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法
　本発明は、画像情報から病変領域を検出する内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法に関する。
　従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野で内視鏡を用いると、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見および鑑別し、病変部に対する処置具を用いた処置を行える。
　近年、術者による病変部の見落としを抑制し、診断し易くするために、内視鏡画像をコンピュータで定量的に解析して、内視鏡画像に病変候補の位置、鑑別情報などを表示するコンピュータ支援画像診断（ＣＡＤ：Computer Aided Detection/Diagnosis）が開発されている。ＣＡＤにより病変部が発見された場合、内視鏡画像上に強調表示（例えば枠などのマーカ表示）を行うことで、病変部が存在すること、および存在する位置を術者に報知する内視鏡装置が提案されている。
　例えば、ＷＯ２０１９／０８７９７１号公報には、第１の照明光で病変領域を検出し、第２の照明光で病変の種類を鑑別し、第３の照明光で進行度を特定する医療画像処理装置および内視鏡装置が記載されている。
　しかし、ＷＯ２０１９／０８７９７１号公報において、病変領域を検出する第１の照明光は、具体的に、該公報の図５に記載されたようなパターン１の鑑別用照明光である。この鑑別用照明光は、肉眼で観察する色に近い白色光（＝通常光）であり、病変部を比較的認識し易い特殊光ではないため、病変を見落とす可能性があった。
　本発明は上記事情に鑑みてなされたものであり、白色光では見落とす可能性がある病変も検出する機能を実現できる、内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法を提供することを目的としている。
　本発明の一態様による内視鏡プロセッサは、プロセッサを備え、前記プロセッサは、第１照明光を照射して取得された第１画像情報から病変候補の第１領域を検出し、前記第１照明光とはスペクトルの異なる第２照明光を照射して取得された第２画像情報から病変候補の第２領域を検出し、前記第１領域および前記第２領域に基づき病変候補の表示用領域を選定し、前記表示用領域を前記第１画像情報に重畳した表示用画像情報を生成する。
　本発明の一態様による内視鏡装置は、第１照明光と、前記第１照明光とはスペクトルの異なる第２照明光とを含む複数種類の照明光を照射可能な光源装置と、前記光源装置から前記第１照明光を照射して第１画像情報を取得し、前記光源装置から前記第２照明光を照射して第２画像情報を取得する撮像装置を備える内視鏡と、前記第１画像情報から病変候補の第１領域を検出し、前記第２画像情報から病変候補の第２領域を検出し、前記第１領域および前記第２領域に基づき病変候補の表示用領域を選定し、前記表示用領域を前記第１画像情報に重畳した表示用画像情報を生成するプロセッサを備える内視鏡プロセッサと、前記表示用画像情報を表示するモニタと、を備える。
　本発明の一態様による診断用画像生成方法は、第１照明光を照射して取得された第１画像情報から病変候補の第１領域を検出し、前記第１照明光とはスペクトルの異なる第２照明光を照射して取得された第２画像情報から病変候補の第２領域を検出し、前記第１領域および前記第２領域に基づき病変候補の表示用領域を選定し、前記表示用領域を前記第１画像情報に重畳した表示用画像情報を生成する。
本発明の第１の実施形態に係わる内視鏡装置の外観の一例を示す斜視図。 上記第１の実施形態に係わる内視鏡装置の構成の一例を示すブロック図。 上記第１の実施形態に係わる内視鏡プロセッサの電気的な構成例を示すブロック図。 上記第１の実施形態に係わる識別器の構成例を示すブロック図。 上記第１の実施形態において、各識別器とモニタとにおける画像情報の例を示す図表。 上記第１の実施形態に係わる内視鏡プロセッサの処理を示すフローチャート。 本発明の第２の実施形態に係わる識別器の構成例を示すブロック図。 上記第２の実施形態に係わる内視鏡プロセッサの処理を示すフローチャート。 本発明の第３の実施形態に係わる識別器の構成例を示すブロック図。 上記第３の実施形態に係わる内視鏡プロセッサの処理を示すフローチャート。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。なお、図面の記載において、同一または対応する要素には、適宜、同一の符号を付している。
［第１の実施形態］
　図１から図６は本発明の第１の実施形態を示したものであり、図１は内視鏡装置１の構成の一例を示す斜視図である。本実施形態の内視鏡装置１は、内視鏡２と、光源装置３と、内視鏡プロセッサ４と、モニタ５と、を備えている。
　内視鏡２は、被検体へ挿入される細長の挿入部９と、内視鏡２に係る各種の操作を行うための操作部１０と、内視鏡２を光源装置３および内視鏡プロセッサ４へ接続するためのユニバーサルケーブル１７と、を備えている。
　挿入部９は、先端から基端側へ向かって順に、先端部６と、湾曲部７と、可撓管部８と、を備えている。先端部６は、図示を省略するが、照明光を被検体へ出射する照明窓と、被検体からの戻り光が入射される観察窓と、を備えている。本実施形態の内視鏡２は電子内視鏡として構成されており、先端部６に撮像装置２１（図２参照）が設けられている。撮像装置２１は、撮像光学系と、撮像素子とを備えている。撮像光学系は、観察窓から入射した光を、被写体の光学像（被写体像）として撮像素子上に結像する。撮像素子は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサである。撮像素子は、被写体像を光電変換して撮像信号を生成し、出力する。撮像信号は、信号線を経由して、内視鏡プロセッサ４へ伝送される。
　湾曲部７は、先端部６の基端側に連設された湾曲可能な部位であり、湾曲することで先端部６が向く方向を変更する。先端部６の方向を変更することで、被検体の観察部位を変更し、または内視鏡２の挿入性を向上する。
　可撓管部８は、湾曲部７の基端側に連設された、可能性を有する部位である。
　挿入部９および操作部１０内には、湾曲部７を湾曲するための湾曲ワイヤと、処置具を挿通するための処置具チャンネルと、が配設されている。また、内視鏡２の、挿入部９、操作部１０、およびユニバーサルケーブル１７内には、撮像素子と接続される上述した信号線と、照明光を伝送するためのライトガイドとが配設されている。
　操作部１０には、湾曲ワイヤを経由して湾曲部７を湾曲操作するための湾曲操作部１４、フォーカススイッチ１５を含む各種のスイッチ類などが設けられている。撮像光学系が変倍光学系を備える場合、フォーカススイッチ１５を操作することでフォーカス位置が近点または遠点に変更され、被検体像の変倍が行われる。湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とを備える。湾曲部７は、上下方向の湾曲と左右方向の湾曲とを組み合わせることで、斜め方向の湾曲も行える。
　操作部１０の先端側には、術者が手で内視鏡２を把持するための把持部１１と、上述した処置具チャネルの基端側の開口となる処置具チャネル挿入口１６とが設けられている。
　ユニバーサルケーブル１７は、操作部１０の例えば基端側の側面から延出されている。ユニバーサルケーブル１７の基端には、スコープコネクタ１７ａが設けられている。スコープコネクタ１７ａは、内視鏡２を光源装置３に着脱自在に接続する。スコープコネクタ１７ａが光源装置３に接続されることで、ライトガイドによる照明光の伝送が可能となる。
　スコープコネクタ１７ａは、側面からコイル状の電気ケーブル１８が延出されている。電気ケーブル１８の延出端に設けられた電気コネクタ１８ａは、内視鏡プロセッサ４と着脱自在に接続される。電気コネクタ１８ａが内視鏡プロセッサ４と接続されることで、撮像素子が内視鏡プロセッサ４と電気的に接続される。
　内視鏡プロセッサ４は、表示装置であるモニタ５と電気的に接続されている。内視鏡プロセッサ４は、内視鏡２の撮像素子から出力された撮像信号を処理して、表示用画像情報を生成する。表示用画像情報は、内視鏡プロセッサ４からモニタ５へ出力され、モニタ５に内視鏡画像を含む表示画像として表示される。また、モニタ５は、音声を出力するスピーカ５ａを備えている。
　図２は、内視鏡装置１の構成の一例を示すブロック図である。
　内視鏡２は、上述したように、撮像装置２１を備えている。撮像装置２１は、光源装置３から第１照明光が照射された被検体を撮像することにより第１画像情報（後述する白色光画像情報）を取得し、光源装置３から第２照明光が照射された被検体を撮像することにより第２画像情報（後述する第１特殊光画像情報と第２特殊光画像情報）を取得する
　光源装置３は、第１照明光と、第１照明光とはスペクトルの異なる第２照明光とを含む複数種類の照明光を照射可能である。本実施形態の光源装置３は、白色光源３１と、第１特殊光源３２と、第２特殊光源３３と、を備えている。白色光源３１は、観察用の白色光を発光する。第１特殊光源３２は、白色光とはスペクトルの異なる第１特殊光を発光する。第２特殊光源３３は、白色光および第１特殊光とはスペクトルの異なる第２特殊光を発光する。白色光は第１照明光であり、第１特殊光および第２特殊光は第２照明光である。
　具体的に、光源装置３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｖ（バイオレット）、Ａ（アンバー）等の各色光を発光する複数の光源を備え、各色光源を組み合わせることで、上述した白色光源３１、第１特殊光源３２、および第２特殊光源３３が構成される。
　光源装置３は、例えば、ＬＥＤ（Light Emitting Diode）、またはＬＤ（Laser Diode）等の発光デバイスを備える。一例として、光源装置３は、中心波長が約４０５ｎｍの紫色（Ｖ）光を発光するＶ－ＬＥＤと、中心波長が約４４５ｎｍの青色（Ｂ）光を発光するＢ－ＬＥＤと、中心波長が約５４０ｎｍの緑色（Ｇ）光を発光するＧ－ＬＥＤと、中心波長が約６３０ｎｍの赤色（Ｒ）光を発光するＲ－ＬＥＤと、を備える。また、光源装置３は、プリズム、ミラー、光ファイバ、または、波長帯域もしくは光量等を調節する光学フィルタ等、を必要に応じて備える。
　本実施形態の光源装置３は、例えば、白色光、第１特殊光、第２特殊光を、フレーム毎に順次発光するようになっている。これにより、撮像装置２１は、白色光画像情報（以下、白色光画像という）、第１特殊光画像情報（以下、第１特殊光画像という）、第２特殊光画像情報（以下、第２特殊光画像という）を順に取得し、第２特殊光画像の次はまた白色光画像を取得することを繰り返して行う。ただし、各画像を１フレームで取得することに限定されず、複数フレームで何れかの画像を取得するようにしても構わない。例えば、白色光画像および第１特殊光画像は各１フレームで取得するが、第２特殊光画像は２フレームで取得する、等である。
　内視鏡プロセッサ４は、画像処理部４１と、白色光識別器４２と、第１特殊光識別器４３と、第２特殊光識別器４４と、病変領域選定部４５と、表示処理部４６と、バス４７と、制御部４８と、を備えている。
　なお、図２には、白色光識別器４２、第１特殊光識別器４３、および第２特殊光識別器４４の３つを設けたが、２つ、もしくは４つ以上であっても構わない。また、複数の識別機能を有する識別器を１つ設けて、識別機能を切り替えることで、白色光識別器４２、第１特殊光識別器４３、および第２特殊光識別器４４の何れとしても機能するように構成しても構わない。
　図３は内視鏡プロセッサ４の電気的な構成例を示すブロック図である。図２には、内視鏡プロセッサ４の機能的な構成を示したが、内視鏡プロセッサ４は、電気的な構成として、例えば、プロセッサ４ａと、メモリ４ｂとを備えている。
　プロセッサ４ａは、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、またはＦＰＧＡ（Field Programmable Gate Array）を備えている。メモリ４ｂは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ディスク記憶媒体などの記憶媒体である。メモリ４ｂは、処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記憶媒体を含む。
　プロセッサ４ａは、メモリ４ｂに記憶された処理プログラムを読み込んで実行することにより、図２に示す各部の機能を果たす。ただし、この構成に限定されるものではなく、プロセッサ４ａは、各部の機能を果たす専用の電子回路として構成されていても構わない。
　また、図４は、識別器４２，４３，４４の構成例を示すブロック図である。白色光識別器４２、第１特殊光識別器４３、および第２特殊光識別器４４は、何れも、照明光を照射して取得された画像情報から病変候補の領域を検出する病変識別器４ｃを備えている。病変識別器４ｃは、例えば、病変画像を学習した人工知能（ＡＩ：Artificial Intelligence）を含む。
　画像処理部４１は、撮像装置２１から出力された画像情報に、デモザイキング、ノイズ補正、色補正、コントラスト補正、ガンマ補正などの各種処理を行い、モニタ５へ出力可能なフォーマットの画像信号（表示用画像情報）に変換する。
　白色光識別器４２は第１識別器であり、第１特殊光識別器４３および第２特殊光識別器４４は第２識別器である。
　白色光識別器４２は、白色光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。白色光識別器４２は、白色光源３１から発光された白色光を被検体に照射して撮像装置２１により取得された内視鏡画像（白色光画像）から、病変候補領域（病変候補の第１領域）を検出する。また、白色光識別器４２は、検出した病変候補領域の信頼度スコアを算出する。信頼度スコアは、病変候補領域が実際に病変である確度（確信度）を示す。
　第１特殊光識別器４３は、第１特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。第１特殊光識別器４３は、第１特殊光源３２から発光された第１特殊光を被検体に照射して撮像装置２１により取得された内視鏡画像（第１特殊光画像）から、病変候補領域（病変候補の第２領域）を検出する。また、第１特殊光識別器４３は、検出した病変候補領域の信頼度スコアを算出する。
　第２特殊光識別器４４は、第２特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。第２特殊光識別器４４は、第２特殊光源３３から発光された第２特殊光を被検体に照射して撮像装置２１により取得された内視鏡画像（第２特殊光画像）から、病変候補領域（病変候補の第２領域）を検出する。また、第２特殊光識別器４４は、検出した病変候補領域の信頼度スコアを算出する。
　第１特殊光識別器４３と第２特殊光識別器４４は、例えば、粘膜表面からの深さが異なる位置（表層、中層、深層）にある病変候補領域を検出する識別器として構成できる。病変候補領域の検出は、例えば、狙いの深さにある血管情報を強調した画像に基づき行う。血管情報を強調する特殊光として、狙いの深さに十分に深達し、酸化、還元ヘモグロビンの吸光係数μａに差がある狭帯域光の波長と、差がない等吸収点の狭帯域光の波長と、のセット（表層、中層、深層の各深さの血管の酸素飽和度を算出するときに最適な狭帯域光の波長セット）が例えば選ばれる。こうした波長セットの照明光は、ＮＢＩ（Narrow Band Imaging）用照明光として知られている。
　表層型病変の識別器は、粘膜表面、または粘膜表面からの深さが比較的浅い（粘膜表面から数十μｍ程度の深さの）表層型病変を識別する。表層型の血管情報を強調する特殊光は、例えば、参照光としての紫色光（４０５ｎｍ）、および測定光としての青色光（４４５ｎｍ）を含み、かつ、紫色光の光量が青色光の光量よりも大きい光である。表層型病変の識別器は、表層型の血管情報を強調する特殊光で撮像された病変画像により学習した識別器である。
　中層型病変の識別器は、粘膜表面からの深さが中程度（数十～数百μｍの深さ）の中層型病変を識別する。中層型の血管情報を強調する特殊光は、例えば、測定光としての青色光（４７３ｎｍ）、参照光としての緑色光、および参照光としての赤色光を含み、青色光の光量は緑色光の光量よりも大きく、かつ、緑色光の光量は赤色光の光量よりも大きい光である。中層型病変の識別器は、中層型の血管情報を強調する特殊光で撮像された病変画像により学習した識別器である。
　深層型病変の識別器は、粘膜表面からの深さが深い（粘膜筋板から粘膜下組織層の深さの）深層型病変を識別する。深層型の血管情報を強調する特殊光は、例えば、参照光としての青色光、参照光としての緑色光、および測定光としての赤色光（６３０ｎｍ）を含み、緑色光の光量は青色光の光量よりも大きく、かつ、青色光の光量は赤色光の光量よりも大きい特殊光で撮像された病変画像で学習された識別器などである。
　なお、粘膜表面からの深さが異なる病変の識別器を第２識別器（第１特殊光識別器４３、第２特殊光識別器４４）の例として挙げたが、これに限定されない。第２識別器は、例えば、粘膜上の残渣もしくは胆汁、または出血による粘膜上の血液などの、白色光では病変候補領域を検出する障害物となるものを透過する特殊光（ＲＤＩ（Red Dichromatic Imaging）用照明光）で撮像された病変画像で学習された識別器であっても構わない。ＲＤＩ用照明光は、例えば、緑、アンバー、および赤の３色の特定の波長の光を用いる。従って、複数種類の第２照明光は、ＮＢＩ用照明光と、ＲＤＩ用照明光と、の少なくとも一方を含むとよい。
　なお、本実施形態では、一例として、第１特殊光識別器４３が表層型病変の識別器であり、第２特殊光識別器４４が中層型病変の識別器であるとして説明する。
　病変領域選定部４５は、白色光識別器４２により検出された病変候補領域と、第１特殊光識別器４３により検出された病変候補領域と、第２特殊光識別器４４により検出された病変候補領域と、に基づいて、病変候補の表示用領域を選定する。
　病変領域選定部４５による表示用領域の選定方法は、例えば、以下のような（１）～（３）の方法を用いることができる。以下に示す（１）～（３）の方法は、何れも、白色光画像の病変候補領域（第１領域）の信頼度スコアと、第１特殊光画像の病変候補領域（第２領域）の信頼度スコアと、第２特殊光画像の病変候補領域（第２領域）の信頼度スコアと、の複数の信頼度スコアを算出し、複数の信頼度スコアに基づき、表示用領域を選定する方法である。
　以下では適宜、白色光識別器４２により検出された病変候補領域を領域１、第１特殊光識別器４３により検出された病変候補領域を領域２、第２特殊光識別器４４により検出された病変候補領域を領域３という。なお、領域１に関して、病変候補が検出されず領域１が存在しない場合があるし、１つの画像内に１つまたは複数の病変候補が検出されて領域１が１つまたは複数存在する場合がある。領域２，３についても領域１と同様に、０、１、または複数存在する場合がある。
（１）領域１～３の内の、信頼度スコアが所定の閾値（規定値）以上である領域をまず抽出し、抽出した領域の中で位置が重なる複数の領域については、全ての領域をマージして、表示用領域として選定する。また、抽出した領域の中で位置が重ならない領域については、そのまま表示用領域として選定する。
（２）領域１～３の内の、信頼度スコアが所定の閾値（規定値）以上である領域をまず抽出し、抽出した領域の中で位置が重なる複数の領域については、最も信頼度スコアが高い領域を表示用領域として選定する。また、抽出した領域の中で位置が重ならない領域については、そのまま表示用領域として選定する。
（３）被検体の観察対象部位（内視鏡検査の対象となる臓器）に応じて、信頼度スコアに重み付けを行い、重み付けした信頼度スコアに基づき（２）の方法を適用して、表示用領域を選定する。
　（３）の方法について、さらに説明する。以下では適宜、領域１の信頼度スコアをスコア１、領域２の信頼度スコアをスコア２、領域３の信頼度スコアをスコア３という。また、スコア１に乗算する重み係数を重み係数１、スコア２に乗算する重み係数を重み係数２、スコア３に乗算する重み係数を重み係数３という。
　食道や大腸などの臓器は、表層型の血管情報を強調する特殊光で撮像された画像による診断方法が確立されつつある。そこで、臓器が食道または大腸である場合には、重み係数２を重み係数１および重み係数３よりも大きくして（２）の方法を適用し、表示用領域を選定する。このとき、重み係数１および重み係数３を０に設定すれば、表層型病変の識別器である第１特殊光識別器４３により検出された領域２のみを選定対象とすることになり、識別器として第１特殊光識別器４３を選択するのと同じである。
　また、臓器が胃であって病変がスキルス胃癌である場合、中層型の血管情報を強調する特殊光で撮像された画像による診断方法が確立されつつある。そこで、臓器が胃である場合には、重み係数３を重み係数１および重み係数２よりも大きくして（２）の方法を適用し、表示用領域を選定する。このとき、重み係数１および重み係数２を０に設定すれば、中層型病変の識別器である第２特殊光識別器４４により検出された領域３のみを選定対象とすることになり、識別器として第２特殊光識別器４４を選択するのと同じである。
　従って、臓器に応じて、白色光画像の病変候補領域（第１領域）と、第１特殊光画像の病変候補領域（第２領域）と、第２特殊光画像の病変候補領域（第２領域）との内の、何れが表示用領域に選定されるかが異なる。
　臓器に応じた重み付けの切替は、ユーザ指示に応じて（つまり手動で）行ってもよいし、内視鏡画像の特徴に基づき制御部４８が判定して自動で行ってもよいし、内視鏡２の挿入部９の挿入長を検出して、検出結果に基づき制御部４８が判定して自動で行ってもよいし、内視鏡２の先端部６に位置検出センサを組み込んで、位置検出センサの検出結果に基づき制御部４８が判定して自動で行ってもよい。
　表示処理部４６には、白色光識別器４２および病変領域選定部４５を経由して、画像処理部４１から白色光画像が送信される。さらに、表示処理部４６には、病変領域選定部４５により選定された表示用領域が送信される。
　バス４７は、内視鏡プロセッサ４内の各部が命令や情報の送受信を行う伝送路である。
　制御部４８は、バス４７を経由して、画像処理部４１、白色光識別器４２、第１特殊光識別器４３、第２特殊光識別器４４、病変領域選定部４５、および表示処理部４６と接続されており、これらを制御する。
　制御部４８は、動き検出部４８ａを備えている。動き検出部４８ａは、白色光画像と、第１特殊光画像と、第２特殊光画像との動きを検出する。制御部４８による動き検出は、例えば画像解析により行ってもよいし、内視鏡２の先端部６に加速度センサまたは上述した位置検出センサを組み込んで、センサの検出結果に基づき行っても構わない。
　画像の動きは、内視鏡２の先端部６に設けられた撮像装置２１の、被検体に相対する移動により生じる。画像の動きの種類としては、例えば、画面上における上下方向、左右方向の動き、被検体に相対する撮像装置２１の回転の動きの他、被検体に対して先端部６が近接／離隔することによる（または撮像装置２１が変倍光学系を備える場合には、変倍による）画像の拡大／縮小の動きがある。制御部４８は、動き検出部４８ａにより検出した画像の動き情報を、病変領域選定部４５および表示処理部４６へ送信する。
　病変領域選定部４５は、制御部４８から送信された画像の動き情報に基づき、画像同士を位置合わせ（位置ズレ補正）してから（従って、画像中の病変候補領域同士を位置合わせしてから）、領域１～３から表示用領域を選定する。
　表示処理部４６は、制御部４８から送信された画像の動き情報に基づき表示用領域を白色光画像に位置合わせする。ただし、白色光画像に対する表示用領域の位置合わせは、病変領域選定部４５により行っても構わない。そして、表示処理部４６は、白色光画像に表示用領域を重畳して表示用画像情報を生成し、モニタ５へ出力する。なお、白色光画像に重畳される表示用領域は、例えばマージされた領域の輪郭線でもよいが、マージされた領域の範囲を示すマーカ（例えば、四角枠）であっても構わない。
　モニタ５は、表示処理部４６から入力した表示用画像情報により、表示画像をモニタ画面上に表示する。
　図５は、各識別器４２，４３，４４とモニタ５とにおける画像情報の例を示す図表である。
　白色光識別器４２は、白色光画像５１から病変候補領域５１ａを検出する。
　第１特殊光識別器４３は、第１特殊光画像５２から病変候補領域５２ａを検出する。
　第２特殊光識別器４４は、第２特殊光画像５３から病変候補領域５３ａを検出する。
　モニタ５は、表示用領域５０ａが重畳された表示画像５０を、モニタ画面上に表示する。ここで、表示用領域５０ａは、例えば、病変候補領域５１ａ、病変候補領域５２ａ、および病変候補領域５３ａを例えばマージして得られた領域である。なお、図５に記載された鑑別結果５０ｂおよび進行度５０ｃの表示については、後の実施形態で説明する。
　図６は、内視鏡プロセッサ４の処理を示すフローチャートである。図６は、３フレーム毎に白色光画像、第１特殊光画像、第２特殊光画像を順に取得する例を示している。
　例えばｎ（ｎは整数）フレーム目に、光源装置３から白色光を発光して、撮像装置２１により白色光画像を取得する。取得された白色光画像は、内視鏡プロセッサ４に入力される（ステップＳ１）。入力された白色光画像は、画像処理部４１により処理された後に、白色光識別器４２と、表示処理部４６とへ送られる。
　白色光識別器４２は、白色光識別器４２内の病変識別器４ｃにより、白色光画像から病変候補領域を検出すると共に、信頼度スコアを、検出された病変候補領域毎に算出する（ステップＳ２）。
　制御部４８は、病変候補領域が検出された場合には、白色光識別器４２により算出された信頼度スコアが規定値（閾値）以上であるか否かを、病変候補領域毎にそれぞれ判定する（ステップＳ３）。なお、制御部４８は、病変候補領域が検出されない場合には、ステップＳ３の処理をスキップして、ステップＳ４へ進む。
　制御部４８は、病変候補領域が検出されないか、または全ての病変候補領域の信頼度スコアが規定値未満であると判定された場合は、病変なしと判定して（ステップＳ４）、病変候補領域があっても白色光識別器４２から病変領域選定部４５へ送信させない。
　一方、制御部４８は、信頼度スコアが規定値以上である病変候補領域があると判定された場合は、その病変候補領域を白色光識別器４２から病変領域選定部４５へ送信させる。
　続く（ｎ＋１）フレーム目に、光源装置３から表層血管が強調される第１特殊光を発光して、撮像装置２１により第１特殊光画像を取得する。取得された第１特殊光画像は、内視鏡プロセッサ４に入力される（ステップＳ５）。入力された第１特殊光画像は、画像処理部４１により処理された後に、第１特殊光識別器４３へ送られる。
　第１特殊光識別器４３は、第１特殊光識別器４３内の病変識別器４ｃにより、第１特殊光画像から病変候補領域を検出すると共に、信頼度スコアを、検出された病変候補領域毎に算出する（ステップＳ６）。
　制御部４８は、病変候補領域が検出された場合には、第１特殊光識別器４３により算出された信頼度スコアが規定値（閾値）以上であるか否かを、病変候補領域毎にそれぞれ判定する（ステップＳ７）。なお、制御部４８は、病変候補領域が検出されない場合には、ステップＳ７の処理をスキップして、ステップＳ８へ進む。
　制御部４８は、病変候補領域が検出されないか、または全ての病変候補領域の信頼度スコアが規定値未満であると判定された場合は、病変なしと判定して（ステップＳ８）、病変候補領域があっても第１特殊光識別器４３から病変領域選定部４５へ送信させない。
　一方、制御部４８は、信頼度スコアが規定値以上である病変候補領域があると判定された場合は、その病変候補領域を第１特殊光識別器４３から病変領域選定部４５へ送信させる。
　その後の（ｎ＋２）フレーム目に、光源装置３から中層血管が強調される第２特殊光を発光して、撮像装置２１により第２特殊光画像を取得する。取得された第２特殊光画像は、内視鏡プロセッサ４に入力される（ステップＳ９）。入力された第２特殊光画像は、画像処理部４１により処理された後に、第２特殊光識別器４４へ送られる。
　第２特殊光識別器４４は、第２特殊光識別器４４内の病変識別器４ｃにより、第２特殊光画像から病変候補領域を検出すると共に、信頼度スコアを、検出された病変候補領域毎に算出する（ステップＳ１０）。
　制御部４８は、病変候補領域が検出された場合には、第２特殊光識別器４４により算出された信頼度スコアが規定値（閾値）以上であるか否かを、病変候補領域毎にそれぞれ判定する（ステップＳ１１）。なお、制御部４８は、病変候補領域が検出されない場合には、ステップＳ１１の処理をスキップして、ステップＳ１２へ進む。
　制御部４８は、病変候補領域が検出されないか、または全ての病変候補領域の信頼度スコアが規定値未満であると判定された場合は、病変なしと判定して（ステップＳ１２）、病変候補領域があっても第２特殊光識別器４４から病変領域選定部４５へ送信させない。
　一方、制御部４８は、信頼度スコアが規定値以上である病変候補領域があると判定された場合は、その病変候補領域を第２特殊光識別器４４から病変領域選定部４５へ送信させる。
　ステップＳ３において信頼度スコアが規定値以上であると判定された場合、ステップＳ７において信頼度スコアが規定値以上であると判定された場合、ステップＳ１１において信頼度スコアが規定値以上であると判定された場合に、病変領域選定部４５は、ｎ～（ｎ＋２）フレームの画像に基づき得られた病変候補領域から、表示用領域を選定する（ステップＳ１３）。ここでは、病変領域選定部４５が、例えば、入力された全ての病変候補領域を上述したように位置合わせした上でマージして、表示用領域とする。すなわち、病変領域選定部４５により処理される病変候補領域は、何れも、信頼度スコアが規定値以上の領域である。
　続いて、表示処理部４６が、表示用領域を位置合わせして白色光画像（第１画像情報）に重畳する画像合成を行って表示用画像情報を生成する（ステップＳ１４）。生成された表示用画像情報は、内視鏡プロセッサ４からモニタ５へ出力され、表示画像がモニタ５のモニタ画面上に表示される。
　（ｎ＋２）フレーム目の処理を行ったら、その後の（ｎ＋３），（ｎ＋４），（ｎ＋５）フレーム目の処理は上述したｎ，（ｎ＋１），（ｎ＋２）フレーム目と同様の処理を行い、さらにその後も同様である。
　なお、３フレーム毎に表示用画像情報を１回生成して表示画像を表示すると、フレームレートが低下する。そこで、ｎ～（ｎ＋２）フレームの画像に基づき表示画像を表示したら、次は（ｎ＋１）～（ｎ＋３）フレームの画像に基づき表示画像を表示し、さらに（ｎ＋２）～（ｎ＋４）フレームの画像に基づき表示画像を表示する、等を順次行うことで、フレームレートが低下しないようにしても構わない。
　このような第１の実施形態によれば、白色光を含むスペクトルの異なる複数の照明光を照射して取得された複数の画像情報から複数の病変候補領域を検出し、複数の病変候補領域から表示用領域を選定して、選定した表示用領域を白色光画像に重畳した表示用画像情報を生成するようにしたために、白色光では見落とす可能性がある病変を検出する機能を実現できる。また、特殊光画像では暗くて見難い被検体の細部を、白色光画像により視認できる。
　さらに、複数種類の第２照明光、つまり、第１特殊光および第２特殊光を用いることで、例えば粘膜表面からの深さが異なる病変を、それぞれの画像から検出可能となる。
　このとき、第２照明光としてＮＢＩ（Narrow Band Imaging）用照明光を用いると、血管を強調することができる。また、第２照明光としてＲＤＩ（Red Dichromatic Imaging）用照明光を用いると、残渣、胆汁、血液などの障害物を透過して病変を検出できる。
　そして、信頼度スコアに基づき病変候補の表示用領域を選定することで、病変の検出精度を高められる。このとき、信頼度スコアが閾値よりも高い領域から表示用領域を選定することで、術者は、病変である可能性が高い領域の観察に集中できる。
　また、被検体の観察対象部位である臓器に応じて、どの照明光に係る画像情報から検出された病変候補領域を表示用領域に選定するかを異ならせることで、診断方法が確立された病変に対応した、適確なコンピュータ支援画像診断（ＣＡＤ：Computer Aided Detection/Diagnosis）を行える。
　そして、動き検出の結果に応じて複数の画像情報から検出された病変候補領域を位置合わせしてから、表示用領域を選定し表示用画像情報を生成するようにしたために、複数の画像間に動きがあった場合でも、白色光画像上の適確な位置にマーカ表示等を行える。
　こうして、白色光画像および特殊光画像を含む複数種類の画像から総合的に判断して病変候補の表示用領域を選定し、白色光画像上に表示用領域をマーカ等で表示するコンピュータ支援画像診断を行うことで、病変の見落としが減って病変を発見し易くなり、かつ病変の規模を正確に把握し易くなる。これにより、術者が表示画像を見て、診断を下し易くなる。
［第２の実施形態］
　図７および図８は本発明の第２の実施形態を示したものであり、図７は識別器４２，４３，４４の構成例を示すブロック図である。この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　本実施形態は、上述した第１の実施形態の病変候補領域の表示に加えて、病変候補領域に対する鑑別結果を表示するようにしたものとなっている。
　図７に示すように、本実施形態の白色光識別器４２、第１特殊光識別器４３、および第２特殊光識別器４４は、何れも、病変識別器４ｃに加えて、鑑別識別器４ｄを備えている。
　鑑別識別器４ｄは、例えば、病変画像を学習したＡＩを含む。鑑別識別器４ｄは、病変識別器４ｃにより検出された１つ以上の病変候補領域に対して、それぞれの病変の種類を鑑別し、鑑別した病変の種類の信頼度スコアを算出する。
　鑑別識別器４ｄは、例えば、病変候補領域が「ポリープ」であると鑑別し、「ポリープ」である信頼度スコアが例えば「６０％」であると算出する。
　ただし、鑑別識別器４ｄは、１つの鑑別結果を出力するとは限らず、例えば、「ポリープである信頼度スコアが６０％」、「潰瘍性大腸炎である信頼度スコアが１０％」、「クローン病である信頼度スコアが１％未満」などのような複数種類の病変に対する鑑別結果を出力しても構わない。
　なお、図７においては、病変識別器４ｃと鑑別識別器４ｄを別のブロックとして記載したが、１つのＡＩが両方のブロックとして機能するように構成しても構わない。
　図８は、内視鏡プロセッサ４の処理を示すフローチャートである。図８において、図６と異なる部分を以下に説明する。
　ｎフレーム目で取得された白色光画像に関して、白色光識別器４２は、ステップＳ２の処理を行うと共に、白色光識別器４２内の病変識別器４ｃにより検出された病変候補領域に対して、白色光識別器４２内の鑑別識別器４ｄにより鑑別を行う。鑑別識別器４ｄは、病変候補領域の鑑別結果と、鑑別結果に対する信頼度スコアとを算出する（ステップＳ２１）。なお、鑑別識別器４ｄは、病変識別器４ｃにより病変候補領域が検出されない場合には、ステップＳ２１の処理をスキップする。
　（ｎ＋１）フレーム目で取得された第１特殊光画像に関して、第１特殊光識別器４３は、ステップＳ６の処理を行うと共に、第１特殊光識別器４３内の病変識別器４ｃにより検出された病変候補領域に対して、第１特殊光識別器４３内の鑑別識別器４ｄにより鑑別を行う。鑑別識別器４ｄは、病変候補領域の鑑別結果と、鑑別結果に対する信頼度スコアとを算出する（ステップＳ２２）。なお、鑑別識別器４ｄは、病変識別器４ｃにより病変候補領域が検出されない場合には、ステップＳ２２の処理をスキップする。
　（ｎ＋２）フレーム目で取得された第２特殊光画像に関して、第２特殊光識別器４４は、ステップＳ１０の処理を行うと共に、第２特殊光識別器４４内の病変識別器４ｃにより検出された病変候補領域に対して、第２特殊光識別器４４内の鑑別識別器４ｄにより鑑別を行う。鑑別識別器４ｄは、病変候補領域の鑑別結果と、鑑別結果に対する信頼度スコアとを算出する（ステップＳ２３）。なお、鑑別識別器４ｄは、病変識別器４ｃにより病変候補領域が検出されない場合には、ステップＳ２３の処理をスキップする。
　病変領域選定部４５は、ステップＳ１３の処理を行うと共に、ステップＳ２１で得られた鑑別結果に対する信頼度スコアと、ステップＳ２２で得られた鑑別結果に対する信頼度スコアと、ステップＳ２３で得られた鑑別結果に対する信頼度スコアとを比較して、どの鑑別結果を表示するかを決定し、決定した鑑別結果を表示処理部４６へ出力する（ステップＳ２４）。
　ここで、病変領域選定部４５は、例えば、信頼度スコアが最も高い鑑別結果を、表示する鑑別結果として決定してもよい。また、病変領域選定部４５は、信頼度スコアが高い方から順に幾つかの（つまり複数の）鑑別結果を、表示する鑑別結果として決定し、表示する鑑別結果に信頼度スコアを並べて表示しても構わない。
　表示処理部４６は、表示用領域を位置合わせして白色光画像（第１画像情報）に重畳する画像合成を行い、さらに白色光画像の近傍に鑑別結果を含める画像合成を行って表示用画像情報を生成する（ステップＳ１４Ａ）。生成された表示用画像情報は、内視鏡プロセッサ４からモニタ５へ出力され、表示画像がモニタ５のモニタ画面上に表示される。これにより、図５に示すような鑑別結果５０ｂが表示される。
　このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、病変の種類を鑑別して、鑑別結果を含む表示用画像情報を生成するようにしたために、病変の種類に対する、術者の主観による診断のバラツキを減らすことが可能となる。
［第３の実施形態］
　図９および図１０は本発明の第３の実施形態を示したものであり、図９は識別器４２，４３，４４の構成例を示すブロック図である。この第３の実施形態において、上述の第１，２の実施形態と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　本実施形態は、上述した第２の実施形態の病変候補領域および鑑別結果の表示に加えて、病変の進行度を表示するようにしたものとなっている。
　図９に示すように、本実施形態の白色光識別器４２、第１特殊光識別器４３、および第２特殊光識別器４４は、何れも、病変識別器４ｃおよび鑑別識別器４ｄに加えて、進行度識別器４ｅを備えている。
　進行度識別器４ｅは、例えば、病変画像を学習したＡＩを含む。進行度識別器４ｅは、病変候補領域に対して鑑別識別器４ｄにより鑑別された病変の進行度を識別し、進行度の信頼度スコアを算出する。
　なお、図９においては、病変識別器４ｃと鑑別識別器４ｄと進行度識別器４ｅを別のブロックとして記載したが、１つのＡＩが３つのブロックとして機能するように構成しても構わない。
　例えば、ポリープ（癌を含む）の内視鏡所見分類には、ＮＩＣＥ（The Narrow-band imaging International Colorectal Endoscopic）分類、およびＪＮＥＴ（The Japan NBI（Narrow Band Imaging） Expert Team）分類などがある。
　例えばＮＩＣＥ分類に従ってポリープの進行度を識別する場合、「ＮＩＣＥ　Ｔｙｐｅ１」、「ＮＩＣＥ　Ｔｙｐｅ２」、および「ＮＩＣＥ　Ｔｙｐｅ３」の何れかに識別する。「ＮＩＣＥ　Ｔｙｐｅ１」は過形成病変を表し、「ＮＩＣＥ　Ｔｙｐｅ２」は腺腫（アデノーマ）から粘膜内癌（いわゆるＭ癌）を表し、かつ、「ＮＩＣＥ　Ｔｙｐｅ３」は粘膜下層浸潤癌（いわゆるＳＭ癌）を表す。
　また、潰瘍性大腸炎（Ulcerative Colitis）の内視鏡所見分類には、Ｍａｙｏ分類、Ｍａｔｔｓ分類、およびＵＣＥＩＳ（Ulcerative Colitis Endoscopic. Index of Severity）分類などがある。
　例えばＭａｙｏ分類に従って潰瘍性大腸炎の進行度を識別する場合、Ｍａｙｏ０（グレード０）、Ｍａｙｏ１（グレード１）、Ｍａｙｏ２（グレード２）、およびＭａｙｏ３（グレード３）の４段階のグレードの何れかに識別する。Ｍａｙｏ０は、正常または非活動性（寛解期を含む）を表すグレードである。Ｍａｙｏ１は、軽症を表すグレードであり、一般に、発赤、血管像不明瞭、または、軽度の易出血性が認められる状態である。Ｍａｙｏ２は、中等症を表すグレードであり、一般に、顕著な発赤、血管像の消失、易出血性、膿性分泌物の付着、粘膜粗造、糜爛、または、部分的な潰瘍等が認められる状態である。Ｍａｙｏ３は、重症（活動期）を表すグレードであり、一般に、明らかな自然出血、浮腫、潰瘍（広範な潰瘍を含む）等が認められる状態である。また、潰瘍性大腸炎にともなう異形成（dysplasia）を識別してもよい。
　クローン病の内視鏡所見分類には、ＳＥＳＣＤ（Simple Endoscopic Score for Crohn's Disease）などがある。ＳＥＳＣＤに従ってクローン病の進行度を識別する場合、「ＳＥＳＣＤ　０」、「ＳＥＳＣＤ　１」、「ＳＥＳＣＤ　２」、および「ＳＥＳＣＤ　３」の何れかに識別する。
　なお、病変領域選定部４５が、信頼度スコアが高い方から順に、複数の鑑別結果を表示する鑑別結果として決定した場合、進行度も複数の鑑別結果のそれぞれに対して識別する。
　図１０は、内視鏡プロセッサ４の処理を示すフローチャートである。図１０において、図８と異なる部分を以下に説明する。
　ｎフレーム目で取得された白色光画像に関して、白色光識別器４２は、ステップＳ２およびステップＳ２１の処理を行うと共に、白色光識別器４２内の鑑別識別器４ｄにより鑑別された病変に対して、白色光識別器４２内の進行度識別器４ｅにより進行度の識別を行う。進行度識別器４ｅは、進行度の識別結果と、識別された進行度に対する信頼度スコアとを算出する（ステップＳ３１）。なお、鑑別識別器４ｄは、病変識別器４ｃにより病変候補領域が検出されない場合には、ステップＳ３１の処理をスキップする。
　（ｎ＋１）フレーム目で取得された第１特殊光画像に関して、第１特殊光識別器４３は、ステップＳ６およびステップＳ２２の処理を行うと共に、第１特殊光識別器４３内の鑑別識別器４ｄにより鑑別された病変に対して、第１特殊光識別器４３内の進行度識別器４ｅにより進行度の識別を行う。進行度識別器４ｅは、進行度の識別結果と、識別された進行度に対する信頼度スコアとを算出する（ステップＳ３２）。なお、鑑別識別器４ｄは、病変識別器４ｃにより病変候補領域が検出されない場合には、ステップＳ３２の処理をスキップする。
　（ｎ＋２）フレーム目で取得された第２特殊光画像に関して、第２特殊光識別器４４は、ステップＳ１０およびステップＳ２３の処理を行うと共に、第２特殊光識別器４４内の鑑別識別器４ｄにより鑑別された病変に対して、第２特殊光識別器４４内の進行度識別器４ｅにより進行度の識別を行う。進行度識別器４ｅは、進行度の識別結果と、識別された進行度に対する信頼度スコアとを算出する（ステップＳ３３）。なお、鑑別識別器４ｄは、病変識別器４ｃにより病変候補領域が検出されない場合には、ステップＳ３３の処理をスキップする。
　病変領域選定部４５は、ステップＳ１３およびステップＳ２４の処理を行うと共に、ステップＳ２４で表示すると決定された鑑別結果に対応する進行度を、信頼度スコアに基づき決定して、決定した進行度を表示処理部４６へ出力する（ステップＳ３４）。
　例えば、表示する鑑別結果が潰瘍性大腸炎（Ulcerative Colitis）である場合、進行度がＭａｙｏ０（グレード０）である信頼度スコアが３０％、Ｍａｙｏ１（グレード１）である信頼度スコアが６０％、Ｍａｙｏ２（グレード２）である信頼度スコアが１０％、およびＭａｙｏ３（グレード３）である信頼度スコアが１％未満であるとする。このとき、病変領域選定部４５は、例えば信頼度スコアが最も高い「Ｍａｙｏ１」を進行度として決定して、表示処理部４６へ出力する。
　表示処理部４６は、表示用領域を位置合わせして白色光画像（第１画像情報）に重畳する画像合成を行い、さらに白色光画像の近傍に鑑別結果と進行度とを含める画像合成を行って表示用画像情報を生成する（ステップＳ１４Ｂ）。生成された表示用画像情報は、内視鏡プロセッサ４からモニタ５へ出力され、表示画像がモニタ５のモニタ画面上に表示される。これにより、図５に示すような鑑別結果５０ｂおよび進行度５０ｃが表示される。
　このような第３の実施形態によれば、上述した第１，２の実施形態とほぼ同様の効果を奏するとともに、病変の進行度を識別し、進行度を含む表示用画像情報を生成するようにしたために、病変の進行度に対する、術者の主観による診断のバラツキを減らすことが可能となる。
　なお、上述では本発明が内視鏡プロセッサ、および内視鏡プロセッサを有する内視鏡装置である場合を主として説明したが、これに限定されるものではない。本発明は、内視鏡プロセッサと同様の処理を行う診断用画像生成方法であっても構わない。また、本発明は、内視鏡プロセッサと同様の処理をコンピュータに行わせるためのコンピュータプログラム、該コンピュータプログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

Claims (15)

  1. 　プロセッサを備え、前記プロセッサは、
    　　第１照明光を照射して取得された第１画像情報から病変候補の第１領域を検出し、
    　　前記第１照明光とはスペクトルの異なる第２照明光を照射して取得された第２画像情報から病変候補の第２領域を検出し、
    　　前記第１領域および前記第２領域に基づき病変候補の表示用領域を選定し、
    　　前記表示用領域を前記第１画像情報に重畳した表示用画像情報を生成する、
    　内視鏡プロセッサ。
  2. 　前記第１照明光は白色光である、
    　請求項１に記載の内視鏡プロセッサ。
  3. 　前記プロセッサは、
    　　互いにスペクトルの異なる複数種類の第２照明光を照射して取得された複数の第２画像情報から複数の第２領域を検出し、
    　　前記第１領域および前記複数の第２領域に基づき前記表示用領域を選定する、
    　請求項１に記載の内視鏡プロセッサ。
  4. 　前記複数種類の第２照明光は、Narrow Band Imaging 用照明光と、Red Dichromatic Imaging 用照明光と、の少なくとも一方を含む、
    　請求項３に記載の内視鏡プロセッサ。
  5. 　前記プロセッサは、
    　　前記第１領域の信頼度スコアと、前記第２領域の信頼度スコアと、の複数の信頼度スコアを算出し、
    　　前記複数の信頼度スコアに基づき、前記表示用領域を選定する、
    　請求項１に記載の内視鏡プロセッサ。
  6. 　前記プロセッサは、
    　　前記信頼度スコアが閾値よりも高い前記第１領域および前記第２領域に基づき、前記表示用領域を選定する、
    　請求項５に記載の内視鏡プロセッサ。
  7. 　前記プロセッサは、
    　　前記第１領域の位置と前記第２領域の位置とが重なる場合、前記第１領域と前記第２領域との内の、前記信頼度スコアが最も高い領域を前記表示用領域に選定する、
    　請求項６に記載の内視鏡プロセッサ。
  8. 　前記プロセッサは、
    　　前記第１領域の位置と前記第２領域の位置とが重なる場合、前記第１領域と前記第２領域とをマージした領域を前記表示用領域に選定する、
    　請求項６に記載の内視鏡プロセッサ。
  9. 臓器によって識別器を選択
    　前記プロセッサは、
    　　前記第１領域および前記複数の第２領域の何れを前記表示用領域に選定するかを、被検体の観察対象部位に応じて異ならせる、
    　請求項３に記載の内視鏡プロセッサ。
  10. 臓器によってウェイトを変えて結果を得る、
    　前記プロセッサは、
    　　前記第１領域の信頼度スコアと、前記複数の第２領域それぞれの信頼度スコアと、の複数の信頼度スコアを算出し、
    　　前記被検体の前記観察対象部位に応じた複数の重み係数を前記複数の信頼度スコアにそれぞれ乗算し、
    　　前記重み係数を乗算した前記複数の信頼度スコアに基づき、前記表示用領域を選定する、
    　請求項９に記載の内視鏡プロセッサ。
  11. 　前記プロセッサは、
    　　前記第１画像情報と前記第２画像情報との動き検出を行い、
    　　動き検出の結果に応じて前記第１領域と前記第２領域とを位置合わせしてから、前記表示用領域を選定し、前記表示用画像情報を生成する、
    　請求項１に記載の内視鏡プロセッサ。
  12. 　前記プロセッサは、
    　　前記表示用領域の病変の種類を鑑別し、
    　　鑑別結果を含む前記表示用画像情報を生成する、
    　請求項１に記載の内視鏡プロセッサ。
  13. 　前記プロセッサは、
    　　前記鑑別結果として得られた病変の進行度を識別し、
    　　前記進行度を含む前記表示用画像情報を生成する、
    　請求項１２に記載の内視鏡プロセッサ。
  14. 　第１照明光と、前記第１照明光とはスペクトルの異なる第２照明光とを含む複数種類の照明光を照射可能な光源装置と、
    　前記光源装置から前記第１照明光を照射して第１画像情報を取得し、前記光源装置から前記第２照明光を照射して第２画像情報を取得する撮像装置を備える内視鏡と、
    　　前記第１画像情報から病変候補の第１領域を検出し、
    　　前記第２画像情報から病変候補の第２領域を検出し、
    　　前記第１領域および前記第２領域に基づき病変候補の表示用領域を選定し、
    　　前記表示用領域を前記第１画像情報に重畳した表示用画像情報を生成するプロセッサを備える内視鏡プロセッサと、
    　前記表示用画像情報を表示するモニタと、
    　を備える内視鏡装置。
  15. 　第１照明光を照射して取得された第１画像情報から病変候補の第１領域を検出し、
    　前記第１照明光とはスペクトルの異なる第２照明光を照射して取得された第２画像情報から病変候補の第２領域を検出し、
    　前記第１領域および前記第２領域に基づき病変候補の表示用領域を選定し、
    　前記表示用領域を前記第１画像情報に重畳した表示用画像情報を生成する、
    　診断用画像生成方法。
PCT/JP2021/025365 2021-07-05 2021-07-05 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法 WO2023281607A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023532905A JPWO2023281607A1 (ja) 2021-07-05 2021-07-05
CN202180097925.0A CN117241719A (zh) 2021-07-05 2021-07-05 内窥镜处理器、内窥镜装置以及诊断用图像生成方法
PCT/JP2021/025365 WO2023281607A1 (ja) 2021-07-05 2021-07-05 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法
US18/382,556 US20240046599A1 (en) 2021-07-05 2023-10-23 Endoscope processor, endoscope device, and method of generating diagnostic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025365 WO2023281607A1 (ja) 2021-07-05 2021-07-05 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/382,556 Continuation US20240046599A1 (en) 2021-07-05 2023-10-23 Endoscope processor, endoscope device, and method of generating diagnostic image

Publications (1)

Publication Number Publication Date
WO2023281607A1 true WO2023281607A1 (ja) 2023-01-12

Family

ID=84800437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025365 WO2023281607A1 (ja) 2021-07-05 2021-07-05 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法

Country Status (4)

Country Link
US (1) US20240046599A1 (ja)
JP (1) JPWO2023281607A1 (ja)
CN (1) CN117241719A (ja)
WO (1) WO2023281607A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2012005512A (ja) * 2010-06-22 2012-01-12 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
WO2017104046A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 内視鏡装置
WO2018221033A1 (ja) * 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019083019A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
WO2020008834A1 (ja) * 2018-07-05 2020-01-09 富士フイルム株式会社 画像処理装置、方法及び内視鏡システム
WO2020017213A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2012005512A (ja) * 2010-06-22 2012-01-12 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
WO2017104046A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 内視鏡装置
WO2018221033A1 (ja) * 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019083019A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
WO2020008834A1 (ja) * 2018-07-05 2020-01-09 富士フイルム株式会社 画像処理装置、方法及び内視鏡システム
WO2020017213A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム

Also Published As

Publication number Publication date
JPWO2023281607A1 (ja) 2023-01-12
US20240046599A1 (en) 2024-02-08
CN117241719A (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
US8303494B2 (en) Electronic endoscope system, processing apparatus for electronic endoscope, and image processing method
JP6577088B2 (ja) 内視鏡システム
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
JP5452300B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
US20180218499A1 (en) Image processing apparatus, endoscope system, and image processing method
JP4689767B2 (ja) 蛍光画像装置および蛍光画像装置の作動方法
JPWO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
JPWO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JPWO2017057021A1 (ja) 画像解析装置、画像解析システム、画像解析装置の作動方法
JP2012152333A (ja) 内視鏡システム及びその光源制御方法
WO2021229684A1 (ja) 画像処理システム、内視鏡システム、画像処理方法及び学習方法
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
CN112689469A (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2023281607A1 (ja) 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法
WO2016151675A1 (ja) 生体観察装置および生体観察方法
JP2013048646A (ja) 診断システム
JP7105300B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2023276158A1 (ja) 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP2023039245A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21949243

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023532905

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180097925.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE