WO2023276158A1 - 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法 - Google Patents

内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法 Download PDF

Info

Publication number
WO2023276158A1
WO2023276158A1 PCT/JP2021/025205 JP2021025205W WO2023276158A1 WO 2023276158 A1 WO2023276158 A1 WO 2023276158A1 JP 2021025205 W JP2021025205 W JP 2021025205W WO 2023276158 A1 WO2023276158 A1 WO 2023276158A1
Authority
WO
WIPO (PCT)
Prior art keywords
image information
area
image
processor
light
Prior art date
Application number
PCT/JP2021/025205
Other languages
English (en)
French (fr)
Inventor
明広 窪田
大和 神田
恵仁 森田
尚久 高畑
隆志 河野
央樹 谷口
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN202180095720.9A priority Critical patent/CN117042669A/zh
Priority to JP2023531333A priority patent/JPWO2023276158A5/ja
Priority to PCT/JP2021/025205 priority patent/WO2023276158A1/ja
Publication of WO2023276158A1 publication Critical patent/WO2023276158A1/ja
Priority to US18/224,651 priority patent/US20230360298A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Definitions

  • the present invention relates to an endoscope processor, an endoscope apparatus, and a diagnostic image display method.
  • endoscopes have been widely used in the medical and industrial fields.
  • an operator can find and distinguish a lesion by viewing an endoscopic image of the inside of a subject displayed on a display device, and perform treatment on the lesion using a treatment tool.
  • Japanese Patent Application Laid-Open No. 2014-221168 describes an endoscopy that uses bluish special light to make various structures such as blood vessels that exist under non-interesting substances such as residues transparent. A mirror system has been proposed.
  • the present invention has been made in view of the circumstances described above, and provides an endoscope processor, an endoscope apparatus, and a diagnostic image display capable of realizing a function of detecting a lesion without removing residue or blood.
  • the purpose is to provide a method.
  • An endoscope processor has a processor, and the processor includes a first region image composed of a subject of interest in first image information acquired by irradiating first illumination light. information and second area image information composed of a non-interesting subject, and obtained by irradiating a second illumination light having a wavelength different from that of the first illumination light and passing through the non-interesting subject. Of the second image information obtained, third area image information of the same area as the area of the second area image information is generated, and the first area image information and the third area image information are combined to generate the third area image information. A partially transparent image is created in which the non-interesting object is transmitted through one piece of image information.
  • an endoscope apparatus includes a light source device capable of irradiating first illumination light and second illumination light having a wavelength different from that of the first illumination light and passing through a non-interesting subject; an endoscope including an imaging device that acquires first image information by irradiating the first illumination light with a device and acquires second image information by irradiating the second illumination light with the light source device; A first area image information composed of a subject of interest and a second area image information composed of a non-interesting subject are discriminated from one image information, and the second area image information is selected from the second image information.
  • an endoscope processor including a processor for producing a partially transparent image that is processed; and a monitor for displaying the partially transparent image.
  • the first image information obtained by irradiating the first illumination light includes the first area image information composed of the object of interest and the non-object of interest.
  • the third area image information of the same area as the area of the second area image information is generated, and the first area image information and the third area image information are combined.
  • a partially transparent image in which a non-interesting subject is transparent is created.
  • FIG. 1 is a perspective view showing an example of a configuration of an endoscope device 1;
  • FIG. 1 is a block diagram showing an example of the configuration of an endoscope apparatus 1;
  • FIG. 2 is a block diagram showing an example of another configuration of the endoscope device 1;
  • FIG. 3 is a block diagram showing an example of the electrical configuration of an endoscope processor 4;
  • FIG. 4 is a block diagram showing a configuration example of discriminators 43 and 44.
  • FIG. It is a figure which shows an example of a display process when there exists a residue, blood, etc. in a white light image.
  • 4 is a flowchart showing processing of the endoscope processor 4; It is a block diagram which shows an example of a structure of the endoscope apparatus 1 concerning 2nd Embodiment.
  • FIG. 11 is a block diagram showing an example of the configuration of an endoscope apparatus 1 according to a third embodiment; FIG. It is a flow chart which shows processing of endoscope processor 4C.
  • FIG. 11 is a block diagram showing an example of the configuration of an endoscope apparatus 1 according to a fourth embodiment; FIG. It is a flow chart which shows processing of endoscope processor 4D.
  • FIG. 11 is a block diagram showing an example of the configuration of an endoscope apparatus 1 according to a fifth embodiment; FIG. It is a figure which shows an example of the display screen displayed on a monitor by display processing.
  • FIG. 10 is a diagram showing another example of a display screen displayed on a monitor by display processing;
  • FIG. 1 is a perspective view showing an example of the configuration of an endoscope device 1.
  • FIG. An endoscope apparatus 1 of this embodiment includes an endoscope 2 , a light source device 3 , an endoscope processor 4 and a monitor 5 .
  • the endoscope 2 includes an elongated insertion portion 9 to be inserted into a subject, an operation portion 10 for performing various operations related to the endoscope 2, a light source device 3 and an endoscope processor. and a universal cable 17 for connecting to .
  • the insertion portion 9 includes a distal end portion 6, a bending portion 7, and a flexible tube portion 8 in order from the distal end toward the proximal end.
  • the distal end portion 6 includes an illumination window through which illumination light is emitted to the subject, and an observation window through which return light from the subject is incident.
  • the endoscope 2 of the present embodiment is configured as an electronic endoscope, and an imaging device 21 (see FIG. 2) is provided at the distal end portion 6 .
  • the imaging device 21 includes an imaging optical system and an imaging device. The imaging optical system forms an image of the subject on the imaging element with the light incident from the observation window.
  • the imaging device is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging device photoelectrically converts a subject image to generate and output an imaging signal.
  • the imaging signal is transmitted to the endoscope processor 4 via the signal line.
  • the bending portion 7 is a bendable portion connected to the proximal end side of the distal end portion 6, and bends to change the direction in which the distal end portion 6 faces.
  • the operation section 10 is provided with various switches including a bending operation section 14 for bending the bending section 7 via a bending wire, and a focus switch 15 .
  • the bending operation section 14 includes a UD bending operation knob 12 for bending the bending section 7 in the vertical direction, and an RL bending operation knob 13 for bending the bending section 7 in the horizontal direction.
  • the bending portion 7 can bend in an oblique direction by combining bending in the vertical direction and bending in the horizontal direction.
  • a gripping portion 11 for gripping the endoscope 2 by an operator's hand and a treatment instrument channel insertion port 16 serving as an opening on the base end side of the treatment instrument channel are provided on the distal side of the operation section 10 . It is
  • the universal cable 17 extends from, for example, the proximal side surface of the operation section 10 .
  • a scope connector 17 a is provided at the proximal end of the universal cable 17 .
  • the scope connector 17 a detachably connects the endoscope 2 to the light source device 3 . By connecting the scope connector 17a to the light source device 3, it becomes possible to transmit the illumination light through the light guide.
  • a coiled coil cable 18 extends from the side surface of the scope connector 17a.
  • a scope connector 18 a provided at the extension end of the coil cable 18 is detachably connected to the endoscope processor 4 .
  • the imaging device is electrically connected to the endoscope processor 4 .
  • the endoscope processor 4 is electrically connected to a monitor 5 that is a display device.
  • the endoscope processor 4 processes the imaging signal output from the imaging element of the endoscope 2 to generate image information for display.
  • the display image information is output from the endoscope processor 4 to the monitor 5 and displayed on the monitor 5 as a display image including an endoscopic image.
  • the monitor 5 also includes a speaker 5a for outputting sound.
  • FIG. 2 is a block diagram showing an example of the configuration of the endoscope apparatus 1.
  • the endoscope 2 includes the imaging device 21 as described above.
  • the imaging device 21 emits first illumination light from the light source device 3 to acquire first image information (white light image information described later), emits second illumination light from the light source device 3 to obtain second image information ( Special light image information (to be described later) is acquired.
  • the light source device 3 can irradiate the first illumination light and the second illumination light having a wavelength different from that of the first illumination light.
  • the light source device 3 of this embodiment includes a white light source 31 and a special light source 32 .
  • the white light source 31 emits white light for observation.
  • the special light source 32 emits special light having a spectrum different from that of white light.
  • the white light is the first illumination light, and the special light is the second illumination light.
  • the light source device 3 includes a plurality of light sources that emit light of each color such as R (red), G (green), B (blue), V (violet), A (amber), and the light sources of each color are combined.
  • the white light source 31 and the special light source 32 described above are configured.
  • the light source device 3 includes a light emitting device such as an LED (Light Emitting Diode) or an LD (Laser Diode).
  • the light source device 3 includes a V-LED that emits violet (V) light with a center wavelength of about 405 nm, a B-LED that emits blue (B) light with a center wavelength of about 445 nm, and a B-LED with a center wavelength of about 445 nm.
  • a G-LED that emits green (G) light with a wavelength of 540 nm and an R-LED that emits red (R) light with a center wavelength of about 630 nm are provided.
  • the light source device 3 is equipped with a prism, a mirror, an optical fiber, or an optical filter for adjusting the wavelength band or the amount of light, etc., as required.
  • the light source device 3 of this embodiment is designed to sequentially emit white light and special light, for example, for each frame.
  • the imaging device 21 acquires white light image information (hereinafter referred to as a white light image) and special light image information (hereinafter referred to as a special light image) in order, and then acquires a white light image again after the special light image. Repeat what you do.
  • the endoscope processor 4 includes an image processing unit 41, an area discrimination unit 42, a white light discriminator 43, a special light discriminator 44, a display processing unit 46, a bus 47, and a control unit 48. ing.
  • the number may be three or more.
  • FIG. 3 is a block diagram showing an example of another configuration of the endoscope device 1.
  • the endoscope processor 4A of FIG. 3 has a configuration in which three discriminators are provided.
  • the endoscope processor 4A is configured using a first special optical discriminator 45A and a second special optical discriminator 45B instead of the special optical discriminator 44 of FIG.
  • the light source device 3A is configured using a first special light source 33 that outputs first special light and a second special light source 34 that outputs second special light, instead of the special light source 32 in FIG. .
  • one discriminator having a plurality of discriminating functions may be provided and configured to function as either the white light discriminator 43 or the special light discriminator 44 by switching the discriminating functions.
  • FIG. 4 is a block diagram showing an electrical configuration example of the endoscope processor 4. As shown in FIG. Although the functional configuration of the endoscope processor 4 is shown in FIG. 2, the endoscope processor 4 includes, for example, a processor 4a and a memory 4b as an electrical configuration.
  • the processor 4a includes, for example, an ASIC (Application Specific Integrated Circuit) including a CPU (Central Processing Unit) or the like, or an FPGA (Field Programmable Gate Array).
  • the memory 4b is a storage medium such as RAM (Random Access Memory), flash memory, or disk storage medium.
  • the memory 4b includes a computer-readable non-transitory storage medium for recording a processing program.
  • the processor 4a reads and executes the processing program stored in the memory 4b, thereby fulfilling the functions of the units shown in FIG.
  • the configuration is not limited to this, and the processor 4a may be configured as a dedicated electronic circuit that performs the function of each section.
  • the imaging device 21 acquires white light image information (hereinafter referred to as a white light image) and special light image information (hereinafter referred to as a special light image) in order, and acquires a white light image again after the special light image. Repeat.
  • white light image information hereinafter referred to as a white light image
  • special light image information hereinafter referred to as a special light image
  • the white light image and the special light image sequentially acquired by the imaging device 21 are input to the image processing unit 41 .
  • the image processing unit 41 performs various types of processing such as demosaicing, noise correction, color correction, contrast correction, and gamma correction on the image information output from the imaging device 21, and outputs an image signal in a format that can be output to the monitor 5 (display image information).
  • the area discriminating unit 42 discriminates whether it is an area (or image) that can be observed with the white light image or an area (or image) that is difficult to observe.
  • the regions that can be observed with white light images are regions where mucous membranes, blood vessels, lesions, etc. are visible
  • the regions that are difficult to observe with white light images are those with bile/residue, blood, etc. This is an area where mucous membranes, blood vessels, lesions, etc. cannot be observed.
  • the area determination unit 42 determines whether the color of the white light image is yellow or red, so that the area such as the mucous membrane that can be observed with the white light image and the bile that is difficult to observe with the white light image. ⁇ Distinguish areas such as residues and blood. More specifically, the area determination unit 42 divides the area into predetermined areas, and if the ratio of yellow or red in each predetermined area is less than a specified value, determines that the area can be observed with a white light image, If the ratio of yellow or red in each region is equal to or greater than a specified value, it is determined that the region is difficult to observe in the white light image.
  • the area discriminating unit 42 outputs image information of areas that can be observed in the white light image to the white light discriminator 43 .
  • the region discriminating unit 42 generates image information of the same region in the special light image as the region difficult to observe in the white light image, and the special light discriminator 44 output to
  • the white light discriminator 43 that constitutes the first discriminator is a discriminator that detects a lesion from a white light image captured with white light.
  • the white light discriminator 43 includes an AI learned by machine learning, deep learning, or the like from a lesion image captured as a white light image.
  • the white light discriminator 43 detects whether or not there is a lesion candidate (or lesion) in a region of the white light image determined by the region discriminator 42 as a mucous membrane region that can be observed in the white light image.
  • the white light discriminator 43 also calculates a reliability score of the detected lesion candidate.
  • the confidence score indicates the degree of certainty (confidence) that the lesion candidate is actually a lesion.
  • the special optical discriminator 44 learns by adaptively switching learning data between bile/residue and blood. Note that each special light may have a discriminator as in the configuration of FIG.
  • the endoscope processor 4A serves as a discriminator for detecting a lesion from a first special light image captured by a first special light emitted from a first special light source 33 that transmits bile/residue.
  • a special light discriminator 45A and a second special light discriminator 45B are provided as discriminators for detecting lesions from the second special light image captured by the second special light emitted from the second special light source 34 that transmits blood.
  • the first special light discriminator 45A uses only the first special light that passes through the bile/residue (excluding the light in the blue band, and only the light in the green band and the red band) to transmit the bile/residue. It is a discriminator that detects lesions from images (in which mucous membranes can be observed).
  • the first special light discriminator 45A includes an AI learned by machine learning, deep learning, or the like from a lesion image captured as a first special light image in which bile/residue is transmitted.
  • the second special light discriminator 45B is a second special light that passes through blood (amber light with a peak near 600 nm and light in the red band are used to allow thin blood to pass through and mucous membranes to be observed). It is a discriminator that detects lesions from images.
  • the second special light discriminator 45B includes an AI learned by machine learning, deep learning, or the like from a lesion image captured as a second special light image in which blood is transmitted.
  • the display processing unit 46 combines the image information input via the white light discriminator 43 and the special light discriminator 44 to create a partially transparent image, which will be described later, and outputs a video signal to the monitor 5 . Further, the display processing unit 46 performs image synthesis processing for displaying lesion information (presence or absence of lesion, position) detected by the white light discriminator 43 and/or the special light discriminator 44 on the partially transmitted image. Output a signal.
  • a bus 47 is a transmission path through which each unit in the endoscope processor 4 transmits and receives commands and information.
  • the control unit 48 is connected to the image processing unit 41, the area discrimination unit 42, the white light discriminator 43, the special light discriminator 44, and the display processing unit 46 via the bus 47, and controls these. .
  • FIG. 6 is a diagram showing an example of display processing when a white light image contains residue, blood, or the like.
  • the region discriminating unit 42 detects first region image information (hereinafter referred to as First area image 80 is discriminated from second area image information (hereinafter referred to as second area image) 81 in which non-interesting objects such as residues and blood are shown. That is, the first area image 80 is an area image in which mucous membranes, blood vessels, lesions, etc. can be observed with white light, and the second area image 81 is an area image in which mucous membranes, blood vessels, lesions, etc. can be observed with white light. It is an area image that cannot be The area discriminator 42 outputs a first area image 80 that can be observed with white light to the white light discriminator 43 .
  • first area image 80 is an area image in which mucous membranes, blood vessels, lesions, etc. can be observed with white light
  • second area image 81 is an area image in which mucous membranes, blood vessels, lesions, etc. can be observed with white light. It is an area image that cannot be
  • the area discriminator 42 outputs a first
  • the area discriminating unit 42 determines third area image information (hereinafter referred to as third area image) 82 .
  • the area discriminating unit 42 outputs to the special light discriminator 44 a third area image 82 in which residues, blood, etc. are transmitted by the special light.
  • the white light discriminator 43 detects and calculates lesion candidates and reliability scores for the first region image 80 using AI.
  • the white light discriminator 43 outputs the first area image 80 to the display processing unit 46 in addition to the detected lesion candidate and the calculated reliability score.
  • the special optical discriminator 44 uses AI to detect and calculate lesion candidates and reliability scores for the third region image.
  • the special light discriminator 44 outputs the detected lesion candidate, the calculated reliability score, and the third region image 82 to the display processing unit 46 .
  • the display processing unit 46 combines the first area image 80 and the third area image 82 to obtain partially transmitted image information (hereinafter referred to as A partially transparent image) 90 is generated. Further, when the lesion candidate 83 is detected in the first area image 80 and the lesion candidate 84 is detected in the third area image 82, the display processing unit 46 adds markers indicating positions, sizes, etc., to the lesion candidates 83 and 84. Display 85 and 86.
  • FIG. 7 is a flowchart showing the processing of the endoscope processor 4.
  • FIG. 7 is repeatedly executed while the image captured by the imaging device 21 is input to the endoscope processor 4.
  • FIG. 7 is repeatedly executed while the image captured by the imaging device 21 is input to the endoscope processor 4.
  • the light source device 3 sequentially switches between white light and special light to emit light, so that the white light image and the special light image are alternately captured by the imaging device 21 and input to the image processing unit 41 of the endoscope processor 4 . . Then, image processing is performed by the image processing unit 41 , and the white light image and the special light image are input to the area determination unit 42 .
  • the region discriminating unit 42 divides the white light image into predetermined regions (S1), and discriminates the color of each predetermined region of the divided white light image (S2).
  • the area determination unit 42 determines whether yellow or red is equal to or greater than a specified value for each predetermined area (S3).
  • the region determination unit 42 When determining that yellow or red is equal to or greater than the specified value for each predetermined region, the region determination unit 42 generates a region image of the same region as the region determined to be equal to or greater than the specified value in the special light image.
  • Output to discriminator 44 S4.
  • the special light discriminator 44 detects a lesion candidate for each predetermined area (S5).
  • the special light discriminator 44 outputs the input region image and the detected lesion candidates to the display processing unit 46 .
  • the area determination unit 42 determines that the yellow or red color is not equal to or greater than the specified value, it outputs the area image determined as not having the yellow or red color equal to or greater than the specified value to the white light discriminator 43 ( S6).
  • the white light discriminator 43 detects a lesion candidate for each predetermined area (S7).
  • the white light discriminator 43 outputs the input region image and the detected lesion candidates to the display processing unit 46 .
  • the display processing unit 46 performs display processing to generate a partially transparent image by combining each area image and display it on the monitor 5 (S8). As a result, the monitor 5 displays a partially transparent image through which residue, blood, etc. are transmitted. Further, in the process of S8, the display processing unit 46 performs a display process of displaying a marker on the lesion candidate when a lesion candidate is detected by the process of S5 and/or S7.
  • the endoscope processor 4 inputs a white light image to the white light discriminator 43 to detect a lesion in a region image (first region image) in which yellow or red is not included in a specified value or more. However, for an area image (second area image) containing more than the specified value of yellow or red, an area image (third area image) existing in the same area as the second area image among the special light images is selected as the special light image. Input to the discriminator 44 to detect lesions.
  • the endoscope processor 4 combines the first region image and the third region image to create a partially transmitted image in which residues, blood, etc. are transmitted from the white light image.
  • the endoscope processor 4 can realize the function of detecting lesions without removing debris or blood.
  • the second embodiment In the first embodiment, white light and special light are emitted alternately to acquire a white light image and a special light image.
  • the second embodiment is different in that special light is emitted to acquire a special light image when it is determined that observation is difficult with a white light image.
  • the endoscope processor 4B is configured using an area determination section 42A and a control section 48A instead of the area determination section 42 and control section 48 of FIG.
  • the area determination section 42A When determining that there is a second area image 81 in which it is difficult to detect a lesion or the like due to residue, blood, or the like in a white light image captured with white light, the area determination section 42A outputs the determination result to the control section 48A.
  • the area determination unit 42A divides the white light image into predetermined areas, determines whether yellow or red is greater than or equal to a specified value for each of the predetermined areas, and determines whether yellow or red is greater than or equal to the specified value.
  • the control unit 48A If so, it outputs to the control unit 48A a determination result indicating that there is a second region image in which detection of a lesion or the like is difficult. At this time, if there is a second area image, the area discrimination section 42A outputs to the white light discriminator 43 a first area image from which a lesion or the like can be detected with a white light image.
  • the control unit 48A Upon receiving the determination result indicating that there is a second area image, the control unit 48A controls the light source device 3 to emit special light. That is, the control unit 48A controls the light source device 3 to emit white light in a normal state, and emits special light when receiving a determination result indicating that there is a second area image from the area determination unit 42A.
  • the light source device 3 is controlled as follows.
  • the light source device 3 emits light by switching from white light to special light according to control from the control unit 48A. Thereby, the special light image captured by the imaging device 21 is input to the processor 4A.
  • the area discriminator 42A generates a third area image in the same area as the second area image among the input special light images, and outputs the third area image to the special light identifier 44 .
  • FIG. 9 is a flowchart showing the processing of the endoscope processor 4B. The process of FIG. 9 is repeatedly executed while the image captured by the imaging device 21 is input to the endoscope processor 4B.
  • the area determination unit 42A determines whether yellow or red is equal to or greater than a specified value for each predetermined area (S13). When determining that yellow or red is equal to or greater than the specified value for each predetermined area, the area determination unit 42A outputs the determination result to the control unit 48A and acquires a special light image (S14). The area determination unit 42A generates an area image of the same area as the area determined to be equal to or greater than the specified value in the acquired special light image, and outputs it to the special light identifier 44 (S15). The special light discriminator 44 detects a lesion candidate for each predetermined area (S16). The special light discriminator 44 outputs the input region image and the detected lesion candidates to the display processing unit 46 .
  • the region discriminating units 42 and 42A discriminate whether or not the region image is difficult to observe by discriminating the color of each predetermined region of the white light image.
  • the difference is that the white light discriminator 43 and the special light discriminator 44 perform discrimination based on the reliability score (certainty) of the lesion discrimination.
  • FIG. 10 is a block diagram showing an example of the configuration of the endoscope device 1 according to the third embodiment. 10, the same components as in FIG. 2 are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the display processing unit 46A compares the reliability score for each same area of the white light image and the special light image divided into predetermined areas, and displays the area with the high reliability score.
  • FIG. 11 is a flowchart showing the processing of the endoscope processor 4C. The process of FIG. 11 is repeatedly executed while the image captured by the imaging device 21 is input to the endoscope processor 4C.
  • the light source device 3 sequentially switches between the white light and the special light to emit light, so that the white light image and the special light image are alternately captured by the imaging device 21 and input to the image processing unit 41 of the endoscope processor 4C. . Then, image processing is performed by the image processing unit 41, and the white light image and the special light image are input to the area determination unit 42B.
  • the area discriminating unit 42B divides the special light image into predetermined areas (S23) and outputs them to the special light discriminator 44.
  • the special light discriminator 44 detects a lesion candidate and calculates a reliability score for each predetermined area (S24). Information on lesion candidates and reliability scores is input to the display processing unit 46A.
  • the display processing unit 46A determines whether the reliability score of the special light discriminator 44 is high (S25). When the display processing unit 46A determines that the reliability score of the special light identifier 44 is high, it selects a predetermined region of the special light image, and when it determines that the reliability score of the special light identifier 44 is not high, A display process is performed to select and display a predetermined area of the white light image (S26). Further, in the processing of S26, the display processing unit 46A performs display processing of displaying a marker on the lesion candidate when a lesion candidate is detected by the processing of S22 and/or S24.
  • the endoscope processor 4C can display on the monitor 5 a partially transmitted image in which residue, blood, etc. are transmitted, as in the first embodiment.
  • FIG. 12 is a block diagram showing an example of the configuration of the endoscope apparatus 1 according to the fourth embodiment. 12, the same components as in FIG. 2 are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the display processing unit 46B determines whether the reliability score of the special light discriminator 44 is high. The display processing unit 46B performs display processing to display the special light image on the monitor 5 when determining that the score in the special light discriminator 44 is high. On the other hand, when the display processing unit 46B determines that the score of the special light discriminator 44 is not high, the display processing unit 46B performs display processing to display the white light image on the monitor 5 .
  • FIG. 13 is a flowchart showing the processing of the endoscope processor 4D. The process of FIG. 13 is repeatedly executed while the image captured by the imaging device 21 is input to the endoscope processor 4D.
  • the light source device 3 sequentially switches between white light and special light to emit light, so that the white light image and the special light image are alternately captured by the imaging device 21 and input to the image processing unit 41 of the endoscope processor 4 . . Then, image processing is performed by the image processing unit 41 , and the white light image and the special light image are input to the white light discriminator 43 and the special light discriminator 44 .
  • the white light discriminator 43 detects lesion candidates from the white light image and calculates reliability scores (S31). Information on lesion candidates and reliability scores is input to the display processing unit 46B.
  • the special light discriminator 44 detects lesion candidates from the special light image and calculates reliability scores (S32). Information on lesion candidates and reliability scores is input to the display processing unit 46B.
  • the display processing unit 46B determines whether the reliability score of the special light discriminator 44 is high (S33). When the display processing unit 46B determines that the reliability score of the special light discriminator 44 is high, the display processing unit 46B performs display processing for displaying a special light image (S34). Further, in the process of S34, the display processing unit 46B performs a display process of displaying a marker on the lesion candidate when a lesion candidate is detected by the process of S32.
  • the display processing unit 46B determines that the reliability score of the special light discriminator 44 is not high, it performs display processing to display a white light image (S35). Further, in the processing of S35, the display processing unit 46B performs display processing of displaying a marker on the lesion candidate when a lesion candidate is detected by the processing of S31.
  • the endoscope processor 4D can display on the monitor 5 one of the white light image and the special light image, which has a high possibility of observing the lesion candidate.
  • FIG. 14 is a block diagram showing an example of the configuration of the endoscope apparatus 1 according to the fifth embodiment. 14, the same components as in FIG. 2 are given the same reference numerals, and the description thereof is omitted.
  • the endoscope processor 4E includes a white light discriminator 43A, a special light discriminator 44A and a display processing unit 46C instead of the white light discriminator 43, the special light discriminator 44 and the display processing unit 46 of FIG. It is
  • the white light discriminator 43A and the special light discriminator 44A learn discrimination information together with lesion images. As a result, the white light discriminator 43A and the special light discriminator 44A can detect lesion candidates and output discrimination information (discrimination results) in descending order of reliability score (confidence).
  • FIG. 15 is a diagram showing an example of the display screen displayed on the monitor by the display processing
  • FIG. 16 is a diagram showing another example of the display screen displayed on the monitor by the display processing.
  • the display processing unit 46C displays the discrimination information together with the image that allows observation of the lesion. As shown in FIG. 15, the display processing unit 46C displays an image (white light image or special light image) in which lesion candidates are detected, and discrimination information 91 with a high reliability score adjacent to the image. Although the display processing unit 46C displays one disease name as the identification information 91 in the example of FIG. good. Further, the display processing unit 46C is not limited to displaying the name of the disease as the identification information 91, and may display, for example, the progress of the disease.
  • the endoscope processor 4E can display the discrimination information on the monitor 5 in addition to detecting and displaying the position of the lesion candidate.
  • each step in the flow charts in this specification may be executed in a different order, may be executed at the same time, or may be executed in a different order for each execution, as long as it does not contradict its nature.

Abstract

内視鏡プロセッサは、プロセッサを有する。プロセッサは、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、第１照明光と異なる波長であり、非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、第１領域画像情報と、第３領域画像情報とを組み合わせることで第１画像情報のうち非関心物被写体が透過された部分透過画像を作成する。

Description

内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
　本発明は、内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法に関する。
　従来より、医療分野や工業分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処置を行うことができる。
　近年、術者が病変部の見落としを抑制するために、内視鏡の動画画像に対して病変候補の位置を示したり、鑑別情報を表示したりする、コンピュータ支援画像診断（ＣＡＤ：Computer Aided Detection/Diagnosis）が開発されている。例えば、日本国特許第６２４６４３１号公報には、ＣＡＤにより病変部が発見されると、内視鏡画像上に枠などのマーカによる強調表示を行うことで、病変部が存在する位置を術者に報知する内視鏡装置が提案されている。
　しかし、日本国特許第６２４６４３１号公報に提案されている内視鏡装置は、光源が肉眼で観察する色に近い白色光（通常光）のため、病変上に血液や残渣等があった場合、病変部を発見できない。
　一方、日本国特開２０１４－２２１１６８号公報には、青味を帯びた特殊光を用いて、　残渣等の非関心物質の下に存在する血管などの各種構造が透けて見えるようにする内視鏡システムが提案されている。
　しかしながら、日本国特開２０１４－２２１１６８号公報に提案されている内視鏡システムは、非関心物質が血液の場合、血管などの各種構造を見ることができなかった。
　本発明は、前述した事情に鑑みてなされたものであり、残渣や血液を除去することなく、病変を検出する機能を実現することができる内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法を提供することを目的とする。
　本発明の一態様の内視鏡プロセッサは、プロセッサを有し、前記プロセッサは、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する。
　また、本発明の一態様の内視鏡装置は、第１照明光および前記第１照明光とは波長が異なり非関心物被写体を透過する第２照明光を照射可能な光源装置と、前記光源装置により前記第１照明光を照射して第１画像情報を取得し、前記光源装置により前記第２照明光を照射して第２画像情報を取得する撮像装置を備える内視鏡と、前記第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、前記第２画像情報のうち、前記第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成するプロセッサを備える内視鏡プロセッサと、前記部分透過画像を表示するモニタと、を備える。
　また、本発明の一態様の診断用画像表示方法は、第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する。
内視鏡装置１の構成の一例を示す斜視図である。 内視鏡装置１の構成の一例を示すブロック図である。 内視鏡装置１の他の構成の一例を示すブロック図である。 内視鏡プロセッサ４の電気的な構成例を示すブロック図である。 識別器４３，４４の構成例を示すブロック図である。 白色光画像に残渣や血液等がある場合の表示処理の一例を示す図である。 内視鏡プロセッサ４の処理を示すフローチャートである。 第２の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。 内視鏡プロセッサ４Ｂの処理を示すフローチャートである。 第３の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。 内視鏡プロセッサ４Ｃの処理を示すフローチャートである。 第４の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。 内視鏡プロセッサ４Ｄの処理を示すフローチャートである。 第５の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。 表示処理によってモニタに表示される表示画面の一例を示す図である。 表示処理によってモニタに表示される表示画面の他の例を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。なお、図面の記載において、同一または対応する要素には、適宜、同一の符号を付している。
（第１の実施形態）
　図１は、内視鏡装置１の構成の一例を示す斜視図である。本実施形態の内視鏡装置１は、内視鏡２と、光源装置３と、内視鏡プロセッサ４と、モニタ５と、を備えている。
　内視鏡２は、被検体へ挿入される細長の挿入部９と、内視鏡２に係る各種の操作を行うための操作部１０と、内視鏡２を光源装置３および内視鏡プロセッサ４へ接続するためのユニバーサルケーブル１７と、を備えている。
　挿入部９は、先端から基端側へ向かって順に、先端部６と、湾曲部７と、可撓管部８と、を備えている。先端部６は、図示を省略するが、照明光を被検体へ出射する照明窓と、被検体からの戻り光が入射される観察窓と、を備えている。本実施形態の内視鏡２は電子内視鏡として構成されており、先端部６に撮像装置２１（図２参照）が設けられている。撮像装置２１は、撮像光学系と、撮像素子とを備えている。撮像光学系は、観察窓から入射した光を、被写体像として撮像素子上に結像する。撮像素子は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサである。撮像素子は、被写体像を光電変換して撮像信号を生成し、出力する。撮像信号は、信号線を経由して、内視鏡プロセッサ４へ伝送される。
　湾曲部７は、先端部６の基端側に連設された湾曲可能な部位であり、湾曲することで先端部６が向く方向を変更する。先端部６の方向を変更することで、被検体の観察部位を変更し、または内視鏡２の挿入性を向上する。
　可撓管部８は、湾曲部７の基端側に連設された、可能性を有する部位である。
　挿入部９および操作部１０内には、湾曲部７を湾曲するための湾曲ワイヤと、処置具を挿通するための処置具チャンネルと、が配設されている。また、内視鏡２の、挿入部９、操作部１０、およびユニバーサルケーブル１７内には、撮像素子と接続される上述した信号線と、照明光を伝送するためのライトガイドとが配設されている。
　操作部１０には、湾曲ワイヤを経由して湾曲部７を湾曲操作するための湾曲操作部１４、フォーカススイッチ１５を含む各種のスイッチ類などが設けられている。湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とを備える。湾曲部７は、上下方向の湾曲と左右方向の湾曲とを組み合わせることで、斜め方向の湾曲も行える。
　操作部１０の先端側には、術者が手で内視鏡２を把持するための把持部１１と、上述した処置具チャネルの基端側の開口となる処置具チャネル挿入口１６とが設けられている。
　ユニバーサルケーブル１７は、操作部１０の例えば基端側の側面から延出されている。ユニバーサルケーブル１７の基端には、スコープコネクタ１７ａが設けられている。スコープコネクタ１７ａは、内視鏡２を光源装置３に着脱自在に接続する。スコープコネクタ１７ａが光源装置３に接続されることで、ライトガイドによる照明光の伝送が可能となる。
　スコープコネクタ１７ａは、側面からコイル状のコイルケーブル１８が延出されている。コイルケーブル１８の延出端に設けられたスコープコネクタ１８ａは、内視鏡プロセッサ４と着脱自在に接続される。スコープコネクタ１８ａが内視鏡プロセッサ４と接続されることで、撮像素子が内視鏡プロセッサ４と電気的に接続される。
　内視鏡プロセッサ４は、表示装置であるモニタ５と電気的に接続されている。内視鏡プロセッサ４は、内視鏡２の撮像素子から出力された撮像信号を処理して、表示用画像情報を生成する。表示用画像情報は、内視鏡プロセッサ４からモニタ５へ出力され、モニタ５に内視鏡画像を含む表示画像として表示される。また、モニタ５は、音声を出力するスピーカ５ａを備えている。
　図２は、内視鏡装置１の構成の一例を示すブロック図である。　
　内視鏡２は、上述したように、撮像装置２１を備えている。撮像装置２１は、光源装置３から第１照明光を照射して第１画像情報（後述する白色光画像情報）を取得し、光源装置３から第２照明光を照射して第２画像情報（後述する特殊光画像情報）を取得する。
　光源装置３は、第１照明光と、第１照明光とは波長の異なる第２照明光とを照射可能である。本実施形態の光源装置３は、白色光源３１と、特殊光源３２と、を備えている。白色光源３１は、観察用の白色光を発光する。特殊光源３２は、白色光とはスペクトルの異なる特殊光を発光する。白色光は第１照明光であり、特殊光は第２照明光である。
　具体的に、光源装置３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｖ（バイオレット）、Ａ（アンバー）等の各色光を発光する複数の光源を備え、各色光源を組み合わせることで、上述した白色光源３１および特殊光源３２が構成される。
　光源装置３は、例えば、ＬＥＤ（Light Emitting Diode）、またはＬＤ（Laser Diode）等の発光デバイスを備える。一例として、光源装置３は、中心波長が約４０５ｎｍの紫色（Ｖ）光を発光するＶ－ＬＥＤと、中心波長が約４４５ｎｍの青色（Ｂ）光を発光するＢ－ＬＥＤと、中心波長が約５４０ｎｍの緑色（Ｇ）光を発光するＧ－ＬＥＤと、中心波長が約６３０ｎｍの赤色（Ｒ）光を発光するＲ－ＬＥＤと、を備える。また、光源装置３は、プリズム、ミラー、光ファイバ、または、波長帯域もしくは光量等を調節する光学フィルタ等、を必要に応じて備える。
　本実施形態の光源装置３は、例えば、白色光、特殊光を、フレーム毎に順次発光するようになっている。これにより、撮像装置２１は、白色光画像情報（以下、白色光画像という）、特殊光画像情報（以下、特殊光画像という）を順に取得し、特殊光画像の次はまた白色光画像を取得することを繰り返して行う。
　内視鏡プロセッサ４は、画像処理部４１と、領域判別部４２と、白色光識別器４３と、特殊光識別器４４と、表示処理部４６と、バス４７と、制御部４８と、を備えている。
　なお、図２には、白色光識別器４３および特殊光識別器４４の２つを設けたが、３つ以上であっても構わない。
　図３は、内視鏡装置１の他の構成の一例を示すブロック図である。図３の内視鏡プロセッサ４Ａは、識別器を３つ設けた構成である。内視鏡プロセッサ４Ａは、図２の特殊光識別器４４に代わり、第１特殊光識別器４５Ａおよび第２特殊光識別器４５Ｂを用いて構成されている。また、光源装置３Ａは、図２の特殊光源３２に代わり、第１特殊光を出力する第１特殊光源３３、および、第２特殊光を出力する第２特殊光源３４を用いて構成されている。
　また、複数の識別機能を有する識別器を１つ設けて、識別機能を切り替えることで、白色光識別器４３および特殊光識別器４４の何れとしても機能するように構成しても構わない。
　図４は、内視鏡プロセッサ４の電気的な構成例を示すブロック図である。図２には、内視鏡プロセッサ４の機能的な構成を示したが、内視鏡プロセッサ４は、電気的な構成として、例えば、プロセッサ４ａと、メモリ４ｂとを備えている。
　プロセッサ４ａは、例えば、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、またはＦＰＧＡ（Field Programmable Gate Array）を備えている。メモリ４ｂは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ディスク記憶媒体などの記憶媒体である。メモリ４ｂは、処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記憶媒体を含む。
　プロセッサ４ａは、メモリ４ｂに記憶された処理プログラムを読み込んで実行することにより、図２に示す各部の機能を果たす。ただし、この構成に限定されるものではなく、プロセッサ４ａは、各部の機能を果たす専用の電子回路として構成されていても構わない。
　また、図５は、識別器４３，４４の構成例を示すブロック図である。白色光識別器４３および特殊光識別器４４は、何れも、照明光を照射して取得された画像情報から病変候補の領域を検出する病変識別器４ｃを備えている。なお、図３に示す第１特殊光識別器４５Ａおよび第２特殊光識別器４５Ｂも同様の構成である。病変識別器４ｃは、例えば、病変画像を学習した人工知能（ＡＩ：Artificial Intelligence）を含む。
撮像装置２１は、白色光画像情報（以下、白色光画像という）、特殊光画像情報（以下、特殊光画像という）を順に取得し、特殊光画像の次はまた白色光画像を取得することを繰り返して行う。

　画像処理部４１には、撮像装置２１により順次取得された白色光画像及び特殊光画像が入力される。画像処理部４１は、撮像装置２１から出力された画像情報に、デモザイキング、ノイズ補正、色補正、コントラスト補正、ガンマ補正などの各種処理を行い、モニタ５へ出力可能なフォーマットの画像信号（表示用画像情報）に変換する。
　領域判別部４２は、白色光画像の色を判別することで、白色光画像で観察が可能な領域（あるいは画像）か、観察が困難な領域（あるいは画像）かを判別する。ここで、白色光画像で観察が可能な領域は、粘膜、血管、病変等が映っている領域であり、白色光画像で観察が困難な領域は、胆汁・残渣、血液等によって、それらの下の粘膜、血管、病変等が観察できない領域である。
　具体的には、領域判別部４２は、白色光画像の色が黄色又は赤色かを判別することで、白色光画像で観察が可能な粘膜等の領域と、白色光画像で観察が困難な胆汁・残渣、血液等の領域を判別する。より具体的には、領域判別部４２は、所定の領域に分割し、所定の領域毎に黄色又は赤色の割合が規定値未満の場合、白色光画像で観察が可能な領域と判別し、所定の領域毎に黄色又は赤色の割合が規定値以上の場合、白色光画像で観察が困難な領域と判別する。
　領域判別部４２は、白色光画像で観察が可能な領域の画像情報を白色光識別器４３に出力する。一方、領域判別部４２は、白色光画像で観察が困難な領域については、特殊光画像のうち、白色光画像で観察が困難な領域と同じ領域の画像情報を生成し、特殊光識別器４４に出力する。
　第１識別器を構成する白色光識別器４３は、白色光により撮像された白色光画像から病変を検出する識別器である。白色光識別器４３は、白色光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。白色光識別器４３は、白色光画像のうち、領域判別部４２により白色光画像で観察が可能な粘膜領域と判別された領域に病変候補（あるいは病変）があるか否かを検出する。また、白色光識別器４３は、検出した病変候補の信頼度スコアを算出する。信頼度スコアは、病変候補が実際に病変である確度（確信度）を示す。
　第２識別器を構成する特殊光識別器４４は、白色光画像で観察が困難な胆汁・残渣、血液等を透過する（光が吸収されない）特殊光により撮像された特殊光画像から病変を検出する識別器である。特殊光識別器４４は、特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。特殊光識別器４４は、特殊光画像のうち、白色で観察が困難な領域に病変候補（あるいは病変）があるか否かを検出する。また、特殊光識別器４４は、検出した病変候補の信頼度スコアを算出する。
　なお、胆汁・残渣と血液とでは透過する特殊光が違うため学習データも違う。そのため、特殊光識別器４４は、胆汁・残渣と血液とで適応的に学習データを切り替えて学習している。なお、図３の構成のように、特殊光毎に識別器を持つようにしてもよい。
　具体的には、内視鏡プロセッサ４Ａは、胆汁・残渣を透過する第１特殊光源３３から出射された第１特殊光により撮像された第１特殊光画像から病変を検出する識別器として第１特殊光識別器４５Ａ、血液を透過する第２特殊光源３４から出射された第２特殊光により撮像された第２特殊光画像から病変を検出する識別器として第２特殊光識別器４５Ｂを設けている。
　この場合、第１特殊光識別器４５Ａは、胆汁・残渣を透過する第１特殊光（青色帯域の光を除く、緑色帯域と赤色帯域の光のみを用いることで、胆汁・残渣を透過して粘膜を観察することができる）画像から病変を検出する識別器である。第１特殊光識別器４５Ａは、胆汁・残渣が透過された第１特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。
　第２特殊光識別器４５Ｂは、血液を透過する第２特殊光（６００ｎｍ付近にピークを有するアンバー光と赤色帯域の光を用いることで薄い血液を透過して、粘膜を観察することができる）画像から病変を検出する識別器である。第２特殊光識別器４５Ｂは、血液が透過された第２特殊光画像として撮像された病変画像を、機械学習、ディープラーニング等により学習したＡＩを含む。
　表示処理部４６は、白色光識別器４３および特殊光識別器４４を経由して入力された画像情報を組み合わせることで後述する部分透過画像を作成し、モニタ５に映像信号を出力する。また、表示処理部４６は、部分透過画像に白色光識別器４３及び／又は特殊光識別器４４により検出された病変情報（病変の有無、位置）を表示する画像合成処理を行いモニタ５に映像信号を出力する。
　バス４７は、内視鏡プロセッサ４内の各部が命令や情報の送受信を行う伝送路である。
　制御部４８は、バス４７を経由して、画像処理部４１、領域判別部４２、白色光識別器４３、特殊光識別器４４、及び、表示処理部４６と接続されており、これらを制御する。
　次に、図６を用いて、内視鏡プロセッサ４の表示処理について説明する。図６は、白色光画像に残渣や血液等がある場合の表示処理の一例を示す図である。
　領域判別部４２は、第１照明光である白色光を照射して取得された白色光画像６０のうち、粘膜、血管、病変等の関心物被写体が映っている第１領域画像情報（以下、第１領域画像という）８０と、残渣や血液等の非関心物被写体が映っている第２領域画像情報（以下、第２領域画像という）８１とを判別する。すなわち、第１領域画像８０は、白色光によって粘膜、血管、病変等を観察することができる領域画像であり、第２領域画像８１は、白色光によって粘膜、血管、病変等を観察することができない領域画像である。領域判別部４２は、白色光によって観察することができる第１領域画像８０を白色光識別器４３に出力する。
　また、領域判別部４２は、第２照明光である特殊光を照射して取得された特殊光画像７０のうち、第２領域画像と同じ領域にある第３領域画像情報（以下、第３領域画像という）８２を生成する。領域判別部４２は、特殊光によって残渣や血液等が透過された第３領域画像８２を特殊光識別器４４に出力する。
　白色光識別器４３は、第１領域画像８０についてＡＩを用いて病変候補および信頼度スコアを検出および算出する。白色光識別器４３は、検出した病変候補、算出した信頼度スコアに加え、第１領域画像８０を表示処理部４６に出力する。
　また、特殊光識別器４４は、第３領域画像についてＡＩを用いて病変候補および信頼度スコアを検出および算出する。特殊光識別器４４は、検出した病変候補、算出した信頼度スコアに加え、第３領域画像８２を表示処理部４６に出力する。
　表示処理部４６は、第１領域画像８０と第３領域画像８２とを組み合わせて、白色光画像６０のうち、非関心物被写体である残渣や血液等が透過された部分透過画像情報（以下、部分透過画像という）９０を生成する。また、表示処理部４６は、第１領域画像８０において病変候補８３が検出され、第３領域画像８２において病変候補８４が検出された場合、病変候補８３および８４に位置や大きさ等を示すマーカ８５および８６を表示する。
　図７は、内視鏡プロセッサ４の処理を示すフローチャートである。なお、図７の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４に入力されている間は、繰り返し実行される。
　光源装置３が白色光と特殊光を順次切り替えて発光することで、白色光画像と特殊光画像とが撮像装置２１によって交互に撮像され、内視鏡プロセッサ４の画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像と特殊光画像が領域判別部４２に入力される。
　領域判別部４２は、白色光画像を所定の領域に分割し（Ｓ１）、分割した白色光画像の所定の領域毎の色を判別する（Ｓ２）。
　次に、領域判別部４２は、所定の領域毎に黄色又は赤色が規定値以上か否かを判別する（Ｓ３）。領域判別部４２は、所定の領域毎に黄色又は赤色が規定値以上であると判別した場合、特殊光画像のうち、規定値以上と判別した領域と同じ領域の領域画像を生成し、特殊光識別器４４に出力する（Ｓ４）。特殊光識別器４４は、所定の領域毎に病変候補を検出する（Ｓ５）。特殊光識別器４４は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。
　一方、領域判別部４２は、黄色又は赤色が規定値以上でないと判別した場合、白色光画像のうち、黄色又は赤色が規定値以上でないと判別した領域画像を白色光識別器４３に出力する（Ｓ６）。白色光識別器４３は、所定の領域毎に病変候補を検出する（Ｓ７）。白色光識別器４３は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。
　表示処理部４６は、各領域画像を組み合わせた部分透過画像を生成し、モニタ５に表示する表示処理を行う（Ｓ８）。これにより、残渣や血液等が透過された部分透過画像がモニタ５に表示される。また、表示処理部４６は、Ｓ８の処理において、Ｓ５及び／又はＳ７の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。
　以上のように、内視鏡プロセッサ４は、黄色又は赤色が規定値以上含まれていない領域画像（第１領域画像）については、白色光画像を白色光識別器４３に入力して病変を検出し、黄色又は赤色が規定値以上含まれている領域画像（第２領域画像）については、特殊光画像のうち第２領域画像と同じ領域に存在する領域画像（第３領域画像）を特殊光識別器４４に入力して病変を検出する。
　そして、内視鏡プロセッサ４は、第１領域画像と第３領域画像とを組み合わせることで、白色光画像のうち残渣や血液等が透過された部分透過画像を作成する。この結果、内視鏡プロセッサ４は、残渣や血液を除去することなく、病変を検出する機能を実現することができる。
（第２の実施形態）
　第１の実施形態では、白色光と特殊光を交互に発光し、白色光画像と特殊光画像を取得していた。これに対し、第２の実施形態では、白色光画像で観察が困難と判断されたときに特殊光を発光して特殊光画像を取得する点が異なっている。
　図８は、第２の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図８において、図２と同じ構成要素については、同じ符号を付して説明を省略する。
　内視鏡プロセッサ４Ｂは、図２の領域判別部４２及び制御部４８に代わり、領域判別部４２Ａ及び制御部４８Ａを用いて構成されている。領域判別部４２Ａは、白色光により撮像された白色光画像で残渣や血液等により病変等の検出が困難な第２領域画像８１があると判別した場合、判別結果を制御部４８Ａに出力する。具体的には、領域判別部４２Ａは、白色光画像を所定の領域に分割し、所定の領域毎に黄色又は赤色が規定値以上か否かを判別し、黄色又は赤色が規定値以上と判別した場合、病変等の検出が困難な第２領域画像があることを示す判別結果を制御部４８Ａに出力する。このとき、領域判別部４２Ａは、第２領域画像がある場合、白色光画像で病変等の検出ができる第１領域画像を白色光識別器４３に出力する。
　制御部４８Ａは、第２領域画像があることを示す判別結果を受けると、特殊光を発光するように光源装置３を制御する。すなわち、制御部４８Ａは、通常状態では白色光を発光するように光源装置３を制御し、領域判別部４２Ａから第２領域画像があることを示す判別結果を受けた場合、特殊光を発光するように光源装置３を制御する。
　光源装置３は、制御部４８Ａからの制御に応じて、白色光から特殊光に切り替えて発光する。これにより、プロセッサ４Ａには、撮像装置２１により撮像された特殊光画像が入力される。領域判別部４２Ａは、入力された特殊光画像のうち、第２領域画像と同じ領域にある第３領域画像を生成し、特殊光識別器４４に出力する。
　白色光識別器４３、特殊光識別器４４及び表示処理部４６の動作は第１の実施形態と同様であり、モニタ５には図６に示す部分透過画像９０が表示される。
　図９は、内視鏡プロセッサ４Ｂの処理を示すフローチャートである。図９の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４Ｂに入力されている間は、繰り返し実行される。
　光源装置３が白色光を発光することで、白色光画像が撮像装置２１によって撮像され、内視鏡プロセッサ４Ｂの画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像が領域判別部４２Ａに入力される。
　領域判別部４２Ａは、白色光画像を所定の領域に分割し（Ｓ１１）、分割した白色光画像の所定の領域毎の色を判別する（Ｓ１２）。
　次に、領域判別部４２Ａは、所定の領域毎に黄色又は赤色が規定値以上か否かを判別する（Ｓ１３）。領域判別部４２Ａは、所定の領域毎に黄色又は赤色が規定値以上であると判別した場合、判別結果を制御部４８Ａに出力し、特殊光画像を取得する（Ｓ１４）。領域判別部４２Ａは、取得した特殊光画像のうち、規定値以上と判別した領域と同じ領域の領域画像を生成し、特殊光識別器４４に出力する（Ｓ１５）。特殊光識別器４４は、所定の領域毎に病変候補を検出する（Ｓ１６）。特殊光識別器４４は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。
　一方、領域判別部４２Ａは、黄色又は赤色が規定値以上でないと判別した場合、白色光画像のうち、黄色又は赤色が規定値以上でないと判別した領域画像を白色光識別器４３に出力する（Ｓ１７）。白色光識別器４３は、所定の領域毎に病変候補を検出する（Ｓ１８）。白色光識別器４３は、入力された領域画像と検出した病変候補とを表示処理部４６に出力する。
　表示処理部４６は、各領域画像を組み合わせた部分透過画像を生成し、モニタ５に表示する表示処理を行う（Ｓ１９）。また、表示処理部４６は、Ｓ１９の処理において、Ｓ１６及び／又はＳ１８の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。
　以上の処理により、内視鏡プロセッサ４Ｂは、第１の実施形態と同様に、残渣や血液等が透過された部分透過画像をモニタ５に表示することができる。
（第３の実施形態）
　第１及び第２の実施形態では、領域判別部４２及び４２Ａは白色光画像の所定の領域毎の色を判別することで、観察が困難な領域画像か否かを判別していた。これに対し、第３の実施形態では、白色光識別器４３、特殊光識別器４４の病変判別の信頼度スコア（確信度）で判別する点が異なっている。
　図１０は、第３の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図１０において、図２と同じ構成要素については、同じ符号を付して説明を省略する。
　内視鏡プロセッサ４Ｃは、図２の領域判別部４２及び表示処理部４６に代わり、領域判別部４２Ｂ及び表示処理部４６Ａを用いて構成されている。領域判別部４２Ｂには白色光画像、特殊光画像が入力される。領域判別部４２Ｂは、白色光画像を所定の領域に分割して白色光識別器４３に出力し、特殊光画像を所定の領域に分割して特殊光識別器４４に出力する。
　白色光識別器４３は分割された白色光画像の所定の領域毎に病変候補を検出および信頼度スコアを算出する。白色光識別器４３は、病変候補の検出結果および信頼度スコアの算出結果を表示処理部４６Ａに出力する。特殊光識別器４４は分割された特殊光画像の所定の領域毎に病変候補を検出および信頼度スコアを算出する。特殊光識別器４４は、病変候補の検出結果および信頼度スコアの算出結果を表示処理部４６Ａに出力する。
　表示処理部４６Ａは、所定の領域に分割された白色光画像及び特殊光画像の同じ領域毎に信頼度スコアを比較し、信頼度スコアが高い領域を表示する。
　図１１は、内視鏡プロセッサ４Ｃの処理を示すフローチャートである。図１１の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４Ｃに入力されている間は、繰り返し実行される。
　光源装置３が白色光と特殊光を順次切り替えて発光することで、白色光画像と特殊光画像とが撮像装置２１によって交互に撮像され、内視鏡プロセッサ４Ｃの画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像と特殊光画像が領域判別部４２Ｂに入力される。
　領域判別部４２Ｂは、白色光画像を所定の領域に分割し（Ｓ２１）、白色光識別器４３に出力する。白色光識別器４３は、所定の領域毎に病変候補を検出及び信頼度スコアを算出する（Ｓ２２）。病変候補及び信頼度スコアの情報は、表示処理部４６Ａに入力される。
　また、領域判別部４２Ｂは、特殊光画像を所定の領域に分割し（Ｓ２３）、特殊光識別器４４に出力する。特殊光識別器４４は、所定の領域毎に病変候補を検出及び信頼度スコアを算出する（Ｓ２４）。病変候補及び信頼度スコアの情報は、表示処理部４６Ａに入力される。
　表示処理部４６Ａは、特殊光識別器４４の信頼度スコアが高いか否かを判定する（Ｓ２５）。表示処理部４６Ａは、特殊光識別器４４の信頼度スコアが高いと判定した場合、特殊光画像の所定の領域を選択し、特殊光識別器４４の信頼度スコアが高くないと判定した場合、白色光画像の所定の領域を選択して表示するように表示処理を行う（Ｓ２６）。また、表示処理部４６Ａは、Ｓ２６の処理において、Ｓ２２及び／又はＳ２４の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。
　以上の処理により、内視鏡プロセッサ４Ｃは、第１の実施形態と同様に、残渣や血液等が透過された部分透過画像をモニタ５に表示することができる。
（第４の実施形態）
　第１～第３の実施形態では、１枚の画像を分割して領域毎に判別していた。これに対して、第４の実施形態では、画像単位で判別する。
　図１２は、第４の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図１２において、図２と同じ構成要素については、同じ符号を付して説明を省略する。
　内視鏡プロセッサ４Ｄは、図２の領域判別部４２が削除されるとともに、表示処理部４６に代わり、表示処理部４６Ｂを用いて構成されている。
　画像処理部４１は、白色光画像及び特殊光画像を白色光識別器４３及び特殊光識別器４４に出力する。白色光識別器４３は、白色光画像から病変候補を検出及び信頼度スコアを算出し、表示処理部４６Ｂに出力する。特殊光識別器４４は、特殊光画像から病変候補を検出及び信頼度スコアを算出し、表示処理部４６Ｂに出力する。
　表示処理部４６Ｂは、特殊光識別器４４での信頼度スコアが高いか否かを判定する。表示処理部４６Ｂは、特殊光識別器４４でのスコアが高いと判定した場合、特殊光画像をモニタ５に表示するように表示処理する。一方、表示処理部４６Ｂは、特殊光識別器４４でのスコアが高くないと判定した場合、白色光画像をモニタ５に表示するように表示処理する。
　図１３は、内視鏡プロセッサ４Ｄの処理を示すフローチャートである。図１３の処理は撮像装置２１によって撮像された画像が内視鏡プロセッサ４Ｄに入力されている間は、繰り返し実行される。
　光源装置３が白色光と特殊光を順次切り替えて発光することで、白色光画像と特殊光画像とが撮像装置２１によって交互に撮像され、内視鏡プロセッサ４の画像処理部４１に入力される。そして、画像処理部４１により画像処理が施され、白色光画像および特殊光画像が白色光識別器４３および特殊光識別器４４に入力される。
　白色光識別器４３は、白色光画像から病変候補を検出及び信頼度スコアを算出する（Ｓ３１）。病変候補及び信頼度スコアの情報は、表示処理部４６Ｂに入力される。特殊光識別器４４は、特殊光画像から病変候補を検出及び信頼度スコアを算出する（Ｓ３２）。病変候補及び信頼度スコアの情報は、表示処理部４６Ｂに入力される。
　表示処理部４６Ｂは、特殊光識別器４４の信頼度スコアが高いか否かを判定する（Ｓ３３）。表示処理部４６Ｂは、特殊光識別器４４の信頼度スコアが高いと判定した場合、特殊光画像を表示する表示処理を行う（Ｓ３４）。また、表示処理部４６Ｂは、Ｓ３４の処理において、Ｓ３２の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。
　一方、表示処理部４６Ｂは、特殊光識別器４４の信頼度スコアが高くない判定した場合、白色光画像を表示する表示処理を行う（Ｓ３５）。また、表示処理部４６Ｂは、Ｓ３５の処理において、Ｓ３１の処理によって病変候補が検出された場合、病変候補にマーカを表示する表示処理を行う。
　以上の処理により、内視鏡プロセッサ４Ｄは、白色光画像及び特殊光画像のうち、病変候補が観察できる可能性が高い一方の画像をモニタ５に表示することができる。
（第５の実施形態）
　第１～第４の実施形態では、病変位置の検出および表示を行っていた。これに対し、第５の実施形態では、病変の鑑別結果を表示する点が異なっている。
　図１４は、第５の実施形態に係わる内視鏡装置１の構成の一例を示すブロック図である。なお、図１４において、図２と同じ構成要素については、同じ符号を付して説明を省略する。
　内視鏡プロセッサ４Ｅは、図２の白色光識別器４３、特殊光識別器４４および表示処理部４６に代わり、それぞれ白色光識別器４３Ａ、特殊光識別器４４Ａおよび表示処理部４６Ｃを用いて構成されている。
　白色光識別器４３Ａ及び特殊光識別器４４Ａは、病変画像とともに鑑別情報を学習させる。これにより、白色光識別器４３Ａ及び特殊光識別器４４Ａは、病変候補の検出に加え、信頼度スコア（確信度）の高い順に鑑別情報（鑑別結果）を出力することができる。
　図１５は、表示処理によってモニタに表示される表示画面の一例を示す図であり、図１６は、表示処理によってモニタに表示される表示画面の他の例を示す図である。
　表示処理部４６Ｃは、病変を観察できる画像とともに鑑別情報を表示する。表示処理部４６Ｃは、図１５に示すように、病変候補を検出した画像（白色光画像又は特殊光画像）と、その画像に隣接して信頼度スコアの高い鑑別情報９１を表示する。なお、表示処理部４６Ｃは、図１５の例では、鑑別情報９１として１つの病名を表示しているが、これに限定されることなく、複数の病名と各病名の確率等を表示してもよい。また、表示処理部４６Ｃは、鑑別情報９１として病名を表示することに限定されることなく、例えば病気の進行度を表示するようにしてもよい。
　また、表示処理部４６Ｃは、白色光画像と、病変が観察された画像とを表示してもよい。表示処理部４６Ｃは、例えば図１６に示すように、メイン画面に白色光画像１０１と病変候補の位置及び大きさ等を示すマーカ１０２及び１０３を表示し、病変候補を検出した特殊光画像１０４をメイン画面より小さいサブ画面に表示する。なお、表示処理部４６Ｃは、病変候補を検出した画像が白色光画像１０１の場合、サブ画面には特殊光画像１０４を表示しなくてもよい。
　以上の処理により、内視鏡プロセッサ４Ｅは、病変候補の位置の検出及び表示に加え、鑑別情報をモニタ５に表示するができる。
　なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
　本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更、組み合わせや応用が可能であることは勿論である。

Claims (9)

  1. 　プロセッサを有し、前記プロセッサは、
    　第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、
    　前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、
    　前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する、
    　内視鏡プロセッサ。
  2. 　前記第１照明光は白色光である、請求項１に記載の内視鏡プロセッサ。
  3. 　前記プロセッサは、
    　前記第１領域画像情報に対して病変候補を検出し、
    　前記第３領域画像情報に対して病変候補を検出し、
    　検出結果を前記部分透過画像に加える、請求項１に記載の内視鏡プロセッサ。
  4. 　前記プロセッサは、前記第１照明光を照射して取得された前記第１画像情報を所定の領域に分割し、前記関心物被写体で構成された第１分割画像情報と、前記非関心物被写体で構成された第２分割画像情報とを判別する、請求項１に記載の内視鏡プロセッサ。
  5. 　前記プロセッサは、前記所定の領域に分割された前記第１画像情報のうち、所定色の割合が所定値未満のものを前記第１分割画像情報、前記所定色の割合が前記所定値以上のものを前記第２分割画像情報と判別する、請求項４に記載の内視鏡プロセッサ。
  6. 　前記プロセッサは、
    　前記第１領域画像情報の病変候補に対して第１信頼度スコアを算出し、
    　前記第３領域画像情報の病変候補に対して第２信頼度スコアを算出する、請求項３に記載の内視鏡プロセッサ。
  7. 　前記プロセッサは、前記病変候補の鑑別情報を取得し、前記病変候補が検出された前記第１画像情報又は前記第２画像情報とともに前記鑑別情報をモニタに表示する、請求項３に記載の内視鏡プロセッサ。
  8. 　第１照明光および前記第１照明光とは波長が異なり非関心物被写体を透過する第２照明光を照射可能な光源装置と、
    　前記光源装置により前記第１照明光を照射して第１画像情報を取得し、前記光源装置により前記第２照明光を照射して第２画像情報を取得する撮像装置を備える内視鏡と、
    　前記第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、
    　前記第２画像情報のうち、前記第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、
    　前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成するプロセッサを備える内視鏡プロセッサと、
    　前記部分透過画像を表示するモニタと、
    　を備える内視鏡装置。
  9. 　第１照明光を照射して取得された第１画像情報のうち、関心物被写体で構成された第１領域画像情報と、非関心物被写体で構成された第２領域画像情報とを判別し、
    　前記第１照明光と異なる波長であり、前記非関心物被写体を透過する第２照明光を照射して取得された第２画像情報のうち、前記第２領域画像情報の領域と同じ領域の第３領域画像情報を生成し、
    　前記第１領域画像情報と、前記第３領域画像情報とを組み合わせることで前記第１画像情報のうち前記非関心物被写体が透過された部分透過画像を作成する、
    　診断用画像表示方法。
PCT/JP2021/025205 2021-07-02 2021-07-02 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法 WO2023276158A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180095720.9A CN117042669A (zh) 2021-07-02 2021-07-02 内窥镜处理器、内窥镜装置以及诊断用图像显示方法
JP2023531333A JPWO2023276158A5 (ja) 2021-07-02 内視鏡プロセッサ、内視鏡装置、診断用画像表示方法及び診断用画像処理プログラム
PCT/JP2021/025205 WO2023276158A1 (ja) 2021-07-02 2021-07-02 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
US18/224,651 US20230360298A1 (en) 2021-07-02 2023-07-21 Endoscope processor, endoscope apparatus, and diagnostic image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/025205 WO2023276158A1 (ja) 2021-07-02 2021-07-02 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/224,651 Continuation US20230360298A1 (en) 2021-07-02 2023-07-21 Endoscope processor, endoscope apparatus, and diagnostic image display method

Publications (1)

Publication Number Publication Date
WO2023276158A1 true WO2023276158A1 (ja) 2023-01-05

Family

ID=84691109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025205 WO2023276158A1 (ja) 2021-07-02 2021-07-02 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法

Country Status (3)

Country Link
US (1) US20230360298A1 (ja)
CN (1) CN117042669A (ja)
WO (1) WO2023276158A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086605A (ja) * 2006-10-03 2008-04-17 Pentax Corp 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
WO2013051431A1 (ja) * 2011-10-06 2013-04-11 オリンパス株式会社 蛍光観察装置
WO2017199509A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 生体観察システム
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
WO2019171615A1 (ja) * 2018-03-05 2019-09-12 オリンパス株式会社 内視鏡システム
WO2020045619A1 (ja) * 2018-08-31 2020-03-05 Hoya株式会社 内視鏡システム、および内視鏡システムを動作させる方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086605A (ja) * 2006-10-03 2008-04-17 Pentax Corp 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
WO2013051431A1 (ja) * 2011-10-06 2013-04-11 オリンパス株式会社 蛍光観察装置
WO2017199509A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 生体観察システム
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
WO2019171615A1 (ja) * 2018-03-05 2019-09-12 オリンパス株式会社 内視鏡システム
WO2020045619A1 (ja) * 2018-08-31 2020-03-05 Hoya株式会社 内視鏡システム、および内視鏡システムを動作させる方法

Also Published As

Publication number Publication date
US20230360298A1 (en) 2023-11-09
CN117042669A (zh) 2023-11-10
JPWO2023276158A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
US10362930B2 (en) Endoscope apparatus
US11602263B2 (en) Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US8137264B2 (en) Endoscope system having two endoscopes with different viewing angles
US11123150B2 (en) Information processing apparatus, assistance system, and information processing method
EP3142350A1 (en) Electric endoscope system, processing apparatus for electronic endoscope, and image processing method
US10765295B2 (en) Image processing apparatus for detecting motion between two generated motion detection images based on images captured at different times, method for operating such image processing apparatus, computer-readable recording medium, and endoscope device
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
WO2020008651A1 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US20170251915A1 (en) Endoscope apparatus
US20210405344A1 (en) Control apparatus, recording medium recording learned model, and movement support method
EP1743568A2 (en) Image processing device
WO2023276158A1 (ja) 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP6346501B2 (ja) 内視鏡装置
WO2022145424A1 (ja) コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
WO2021111756A1 (ja) 内視鏡システム、制御プログラム、及び表示方法
WO2023281607A1 (ja) 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP6663692B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の制御方法
JP7452177B2 (ja) 医療用観察システム、制御装置、制御方法、および撮像装置
WO2021149137A1 (ja) 画像処理装置、画像処理方法およびプログラム
KR101630364B1 (ko) 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법
JP2021171475A (ja) 内視鏡及び内視鏡システム
CN115023171A (zh) 学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948462

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023531333

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180095720.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE