WO2017073338A1 - 内視鏡画像処理装置 - Google Patents

内視鏡画像処理装置 Download PDF

Info

Publication number
WO2017073338A1
WO2017073338A1 PCT/JP2016/080310 JP2016080310W WO2017073338A1 WO 2017073338 A1 WO2017073338 A1 WO 2017073338A1 JP 2016080310 W JP2016080310 W JP 2016080310W WO 2017073338 A1 WO2017073338 A1 WO 2017073338A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
display
display image
image processing
Prior art date
Application number
PCT/JP2016/080310
Other languages
English (en)
French (fr)
Inventor
今泉　克一
橋本　進
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680060776.XA priority Critical patent/CN108135457B/zh
Priority to JP2017537996A priority patent/JP6315873B2/ja
Priority to EP16859573.4A priority patent/EP3357407A4/en
Publication of WO2017073338A1 publication Critical patent/WO2017073338A1/ja
Priority to US15/962,051 priority patent/US20180242817A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to an endoscopic image processing apparatus.
  • an operator determines the presence or absence of a lesion by looking at an observation image.
  • an alert image is added to a region of interest detected by image processing.
  • An endoscopic image processing apparatus that displays an observation image has been proposed.
  • an alert image may be displayed before the surgeon finds a lesion, reducing the operator's attention to the area not indicated by the alert image,
  • there is a concern that the surgeon's willingness to find a lesion is visually discouraged and hinders improvement in the ability to find a lesion.
  • an object of the present invention is to provide an endoscopic image processing device that presents a region of interest to an operator without suppressing a reduction in attention to an observation image and preventing an improvement in the ability to detect a lesion. To do.
  • An endoscope image processing apparatus includes a detection unit that receives an observation image of a subject and detects a feature region in the observation image based on a predetermined feature amount of the observation image; When the feature region is detected by the detecting unit, the feature region is detected by the notifying unit that generates a first display image, and the feature region is detected by the detecting unit. And an enhancement processing unit that performs enhancement processing on the feature region and generates a second display image when detected.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an endoscope system according to a first embodiment of the present invention. It is a block diagram which shows the structure of the detection assistance part of the endoscope system concerning the 1st Embodiment of this invention. It is explanatory drawing explaining the example of the screen structure of the display image of the endoscope system concerning the 1st Embodiment of this invention. It is explanatory drawing explaining the example of the screen transition of the endoscope system concerning the 1st Embodiment of this invention. It is explanatory drawing explaining the example of a screen structure of the 2nd display image of the endoscope system concerning the modification 1 of the 1st Embodiment of this invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscope system 1 according to the first embodiment of the present invention.
  • the endoscope system 1 includes a light source driving unit 11, an endoscope 21, a video processor 31, and a display unit 41.
  • the light source driving unit 11 is connected to the endoscope 21 and the video processor 31.
  • the endoscope 21 is connected to the video processor 31.
  • the video processor 31 is connected to the display unit 41.
  • the display unit 41 includes a first display unit 41a and a second display unit 41b.
  • the light source driving unit 11 is a circuit that drives the LED 23 provided at the distal end of the insertion unit 22 of the endoscope 21.
  • the light source driving unit 11 is connected to the control unit 32 of the video processor 31 and the LED 23 of the endoscope 21.
  • the light source drive unit 11 is configured to receive a control signal from the control unit 32, output a drive signal to the LED 23, and drive the LED 23 to emit light.
  • the endoscope 21 is configured so that the insertion unit 22 can be inserted into the subject and the inside of the subject can be imaged.
  • the endoscope 21 includes an imaging unit that includes an LED 23 and an imaging element 24.
  • the LED 23 is provided in the insertion unit 22 of the endoscope 21 and is configured to irradiate the subject with illumination light under the control of the light source driving unit 11.
  • the imaging device 24 is provided in the insertion portion 22 of the endoscope 21 and is arranged so that the reflected light of the subject irradiated with illumination can be taken in through an observation window (not shown).
  • the imaging device 24 photoelectrically converts the reflected light of the subject taken in from the observation window, converts the analog imaging signal into a digital imaging signal by an AD converter (not shown), and outputs it to the video processor 31.
  • the video processor 31 is an endoscopic image processing apparatus having an image processing circuit.
  • the video processor 31 includes a control unit 32 and a detection support unit 33.
  • the control unit 32 can transmit a control signal to the light source driving unit 11 to drive the LED 23.
  • the control unit 32 performs image adjustment, such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment, on the imaging signal input from the endoscope 21, and observes a subject to be described later.
  • image adjustment such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment, on the imaging signal input from the endoscope 21, and observes a subject to be described later.
  • the image G1 can be sequentially output to the detection support unit 33.
  • FIG. 2 is a block diagram showing a configuration of the detection support unit 33 of the endoscope system 1 according to the first embodiment of the present invention.
  • the detection support unit 33 includes a detection unit 34, a notification unit 35a, and an enhancement processing unit 35b.
  • the detection unit 34 is a circuit that receives the observation image G1 of the subject and detects a lesion candidate region L that is a feature region in the observation image G1 based on a predetermined feature amount of the observation image G1.
  • the detection unit 34 includes a feature amount calculation unit 34a and a lesion candidate detection unit 34b.
  • the feature amount calculation unit 34a is a circuit that calculates a predetermined feature amount for the observation image G1 of the subject.
  • the feature amount calculation unit 34a is connected to the control unit 32 and the lesion candidate detection unit 34b.
  • the feature amount calculation unit 34a can calculate a predetermined feature amount from the observation image G1 of the subject that is sequentially input from the control unit 32, and can output it to the lesion candidate detection unit 34b.
  • the predetermined feature amount is calculated for each predetermined small region on the observation image G1 by calculating a change amount between each pixel in the predetermined small region and a pixel adjacent to the pixel, that is, an inclination value.
  • the predetermined feature amount is not limited to a method calculated based on an inclination value with an adjacent pixel, and may be a value obtained by quantifying the observation image G1 by another method.
  • the lesion candidate detection unit 34b is a circuit that detects a lesion candidate region L of the observation image G1 from information of a predetermined feature amount.
  • the lesion candidate detection unit 34b includes a ROM 34c so that a plurality of polyp model information can be stored in advance.
  • the lesion candidate detection unit 34b is connected to the notification unit 35a and the enhancement processing unit 35b.
  • the polyp model information is composed of feature amounts of features common to many polyp images.
  • the lesion candidate detection unit 34b detects the lesion candidate region L based on the predetermined feature amount input from the feature amount calculation unit 34a and a plurality of polyp model information, and notifies the notification unit 35a and the enhancement processing unit 35b.
  • the lesion candidate information is output.
  • the lesion candidate detection unit 34b compares the predetermined feature amount for each predetermined small region input from the feature amount calculation unit 34a with the feature amount of the polyp model information stored in the ROM 34c, and When the feature amounts match, the lesion candidate region L is detected. When the lesion candidate region L is detected, the lesion candidate detection unit 34b sends the lesion candidate information including the position information and size information of the detected lesion candidate region L to the notification unit 35a and the enhancement processing unit 35b. Output.
  • FIG. 3 is an explanatory diagram illustrating an example of the screen configuration of the display image D of the endoscope system 1 according to the first embodiment of the present invention.
  • the display image D of the endoscope system 1 includes a first display image D1 and a second display image D2.
  • the first display image D1 is generated by the notification unit 35a.
  • the second display image D2 is generated by the enhancement processing unit 35b.
  • An observation image G1 is disposed in each of the first display image D1 and the second display image D2.
  • the observation image G1 represents the inner wall of the large intestine having the lesion candidate region L as an example.
  • the notification unit 35a When the lesion candidate region L is detected in the observation image G1 by the detection unit 34, the notification unit 35a notifies the surgeon that the lesion candidate region L has been detected by notification processing, and displays the first display image D1. This is a circuit to be generated.
  • the notification unit 35a is connected to the first display unit 41a.
  • the notification unit 35a generates a first display image D1 based on the lesion candidate information input from the lesion candidate detection unit 34b and the observation image G1 input from the control unit 32, and outputs the first display image D1 to the first display unit 41a.
  • the notification process is a process of displaying the notification image G3 in an area other than the lesion candidate area L.
  • a flag-pattern notification image G3 is shown as an example, but the notification image G3 may be any image such as a triangle, a circle, or a star.
  • the enhancement processing unit 35b is a circuit that performs enhancement processing on the lesion candidate region L and generates the second display image D2 when the lesion candidate region L is detected in the observation image G1 by the detection unit 34.
  • the enhancement processing unit 35b is connected to the second display unit 41b that is a separate body from the first display unit 41a.
  • the enhancement processing unit 35b generates a second display image D2 based on the lesion candidate information input from the lesion candidate detection unit 34b and the observation image G1 input from the control unit 32, and displays the second display image D2 on the second display unit 41b. Output.
  • the enhancement process is a process for displaying the position of the lesion candidate region L. More specifically, in the enhancement process, the marker image G2 surrounding the lesion candidate region L is applied to the observation image G1 input from the control unit 32 based on the position information and the size information included in the lesion candidate information. It is a process to add.
  • the marker image G ⁇ b> 2 is shown as a square, but may be any image such as a triangle, a circle, or a star.
  • the marker image G2 is a frame image surrounding the lesion candidate region L. However, as long as the position of the lesion candidate region L can be indicated, the marker image G2 does not surround the lesion candidate region L. It does not matter.
  • the position of the lesion candidate area L may be indicated by making the brightness and color tone of the lesion candidate area L different from the surrounding area.
  • the display unit 41 is configured to display the display image D input from the detection support unit 33 on the screen.
  • the display unit 41 includes a first display unit 41a and a second display unit 41b, which are separate monitors. More specifically, the first display unit 41a displays the first display image D1 input from the notification unit 35a, and the second display unit 41b displays the second display image D2 input from the enhancement processing unit 35b. indicate.
  • FIG. 4 is an explanatory diagram illustrating an example of screen transition of the endoscope system 1 according to the first embodiment of the present invention.
  • the observation of the subject by the endoscope 21 is started, and when the lesion candidate region L is not detected by the lesion candidate detection unit 34b, the notification unit 35a is notified based on the observation image G1 input from the control unit 32.
  • the first display image D1 is generated without processing and output to the first display unit 41a, and the emphasis processing unit 35b generates the second display image D2 without performing emphasis processing to generate the second display unit. To 41b.
  • the notification unit 35a when a lesion candidate area L is detected by the lesion candidate detection unit 34b, based on the lesion candidate information input from the lesion candidate detection unit 34b and the observation image G1 input from the control unit 32, the notification unit 35a generates a first display image D1 after performing notification processing and outputs the first display image D1 to the first display unit 41a, and the enhancement processing unit 35b generates a second display image D2 after performing enhancement processing. It outputs to the 2nd display part 41b.
  • the notification unit 35a when the lesion candidate region L is no longer detected, based on the observation image G1 input from the control unit 32, the notification unit 35a generates the first display image D1 without performing the notification process and generates the first display image D1.
  • the emphasis processing unit 35b generates the second display image D2 without performing the emphasis processing and outputs the second display image D2 to the second display unit 41b.
  • the surgeon observes the first display image D1 displayed on the first display unit 41a which is the main screen, and the second display image displayed on the second display unit 41b which is the sub screen as necessary. D2 can be observed.
  • the surgeon observes the subject using the first display image D1, and when the notification image G3 is displayed on the first display image D1, the surgeon observes the first display image D1 more carefully, and the surgeon visually observes the first display image D1. It is possible to find the lesion by. Further, when the surgeon cannot find a lesion on the first display image D1, the eye moves to the second display image D2 as necessary, and the lesion candidate region L is further determined based on the display position of the marker image G2. It is possible to check carefully.
  • the marker image G2 is displayed on the second display image D2, which suppresses a decrease in attention to the first display image D1 for the surgeon and hinders improvement of the lesion detection capability. It is possible to present the attention area without the need.
  • the second display image D2 is configured to include the observation image G1 displayed as a moving image, but the second display image D2 includes the observation image G1 and the still image G4. You may comprise.
  • FIG. 5 is an explanatory diagram illustrating an example of the screen configuration of the second display image D2 of the endoscope system 1 according to the first modification of the first embodiment of the present invention.
  • FIG. 6 is an explanatory diagram illustrating an example of a screen transition of the endoscope system 1 according to the first modification of the first embodiment of the present invention.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
  • the enhancement processing unit 35b includes a still image processing unit 35c and a memory 35d (one-dot chain line in FIG. 2).
  • the still image processing unit 35c is a circuit capable of generating a still image G4 in which enhancement processing is performed on a lesion candidate region L detected in an observation image input before the observation image G1.
  • the memory 35d is configured to temporarily store the still image G4.
  • the enhancement processing unit 35b When the lesion candidate area L is detected by the lesion candidate detection unit 34b, the enhancement processing unit 35b temporarily stores the still image G4 in the memory 35d. The enhancement processing unit 35b adds the marker image G2a to the still image G4 temporarily stored in the memory 35d, and causes the second display unit 41b to display the still image G4.
  • the enhancement processing unit 35b hides the still image G4.
  • the first modification of the first embodiment described above it is possible to more reliably indicate the position of the lesion candidate region L to the surgeon by the still image G4 in the second display image D2, It is possible to present a region of interest without suppressing a reduction in attention to the first display image D1 and without hindering improvement in the lesion finding ability.
  • the notification unit 35a displays the notification image G3 in a region other than the lesion candidate region L, but may display the image G5 surrounding the observation image G1. I do not care.
  • FIG. 7 is an explanatory diagram illustrating an example of the screen configuration of the first display image D1 of the endoscope system 1 according to the second modification of the first embodiment of the present invention.
  • the same components as those of the first embodiment and the first modification of the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
  • the notification unit 35a when the lesion candidate area L is detected by the lesion candidate detection unit 34b, the notification unit 35a is configured to display an image G5 surrounding the observation image G1 by notification processing.
  • the lesion candidate detection unit 34b allows the surgeon to focus on any part of the first display image D1. It is easy to notice that the lesion candidate area L has been detected.
  • reporting part 35a is output to the 1st display part 41a
  • the second display image D2 generated by the enhancement processing unit 35b is output to the second display unit 41b.
  • the output destination of the first display image D1 and the output destination of the second display image D2 can be switched with each other. It does not matter.
  • FIG. 8 is a block diagram showing the configuration of the detection support unit 33 and the operation unit 36 of the endoscope system 1 according to the second embodiment of the present invention.
  • the same components as those in the first embodiment, the first modification of the first embodiment, and the second modification of the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
  • the endoscope system 1 includes an operation unit 36 and a switching unit 37.
  • the operation unit 36 includes a changeover switch that allows an operator to input instructions.
  • the operation unit 36 is connected to the switching unit 37.
  • the operation unit 36 When there is an instruction input for switching the image output destination from the surgeon, the operation unit 36 outputs a switching instruction signal to the switching unit 37.
  • the switching unit 37 is a circuit capable of switching between the output destination of the first display image D1 and the output destination of the second display image D2.
  • the switching unit 37 is connected to the notification unit 35a, the enhancement processing unit 35b, the first display unit 41a, and the second display unit 41b.
  • the switching unit 37 outputs the first display image D1 input from the notification unit 35a and the output of the second display image D2 input from the enhancement processing unit 35b.
  • the first display image D1 is output to the second display unit 41b, and the second display image D2 is output to the first display unit 41a.
  • the surgeon moves the first display image D1 and the second display image D2 to which the marker image G2 is added without moving the line of sight between the first display unit 41a and the second display unit 41b.
  • Can be displayed and the attention area can be presented to the surgeon without suppressing a reduction in attention to the first display image D1 and without hindering improvement in the ability to detect a lesion.
  • the first modification of the first embodiment, the second modification of the first embodiment, and the second embodiment, the first display image D1 and the second display image D2 have the same size.
  • the first display image D1 and the second display image D2 may be configured with different sizes.
  • FIG. 9 is an explanatory diagram illustrating an example of the screen configuration of the display image D of the endoscope system 1 according to the third embodiment of the present invention.
  • the same components as those in the first embodiment, the first modification of the first embodiment, the second modification of the first embodiment, and the second embodiment are denoted by the same reference numerals. The description is omitted.
  • the first display image D1 is large and the second display image D2 is small.
  • the display screen of the first display unit 41a that displays the first display image D1 may be configured to be larger than the display screen of the second display unit 41b that displays the second display image D2.
  • the first display image D1 is generated as an image larger than the second display image D2, and the first display image D1 is displayed on the first display unit 41a and the second display unit 41b each having the same display screen. The image may be displayed larger than the second display image D2.
  • the first display image D1 is displayed in a large size
  • the second display image D2 to which the marker image G2 is added is displayed in a small size
  • the operator's line of sight is easily directed to the first display image D1.
  • the first modification of the first embodiment, the second modification of the first embodiment, the second embodiment, and the third embodiment, the first display image D1 and the second display image D2 are respectively displayed by separate first display unit 41a and second display unit 41b, but may be displayed by one display unit.
  • FIG. 10 is a block diagram showing a configuration of the detection support unit 33 of the endoscope system 1 according to the fourth embodiment of the present invention.
  • FIG. 11 is an explanatory diagram illustrating an example of a screen configuration of the composite image Da of the endoscope system 1 according to the fourth embodiment of the present invention.
  • the same configuration as that of the first embodiment, the first modification of the first embodiment, the second modification of the first embodiment, the second embodiment, and the third embodiment. are denoted by the same reference numerals and description thereof is omitted.
  • the detection support unit 33 includes the combining unit 38.
  • the combining unit 38 is a circuit that can generate the combined image Da by combining the first display image D1 and the second display image D2.
  • the combining unit 38 is connected to the notification unit 35a, the enhancement processing unit 35b, and the third display unit 41c.
  • the synthesizing unit 38 synthesizes the first display image D1 input from the notification unit 35a and the second display image D2 input from the enhancement processing unit 35b, and generates a synthesized image Da shown as an example in FIG. It outputs to the 3rd display part 41c.
  • the composite image Da obtained by combining the first display image D1 and the second display image D2 to which the marker image G2 is added can be displayed on the third display unit 41c. It is possible to present a region of interest without suppressing a reduction in attention to one display image D1 and without hindering improvement in the lesion finding ability.
  • the notification process and the enhancement process are performed on each lesion candidate region L.
  • the notification unit 35a notifies the surgeon by displaying the notification image G3.
  • the notification unit 35a may generate a sound from a speaker (not shown) and notify the surgeon.
  • control unit 32 performs image adjustment such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment on the imaging signal input from the endoscope 21,
  • image adjustment such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment on the imaging signal input from the endoscope 21,
  • the observation support image G1 after image adjustment is input to the detection support unit 33, but part or all of the image adjustment is not input to the detection support unit 33 but to the image signal output from the detection support unit 33. It may be done.
  • the enhancement processing unit 35b adds the marker image G2 to the lesion candidate area L.
  • the marker image G2 may be displayed in different colors depending on the probability of the detected lesion candidate area L. Absent.
  • the lesion candidate detection unit 34b outputs lesion candidate information including the probability information of the lesion candidate region L to the enhancement processing unit 35b, and the enhancement processing unit 35b performs color coding based on the probability information of the lesion candidate region L. Emphasize processing by. According to this configuration, when observing the lesion candidate region L, the surgeon can estimate the possibility of false positive (false detection) based on the color of the marker image G2.
  • the detection support unit 33 is disposed inside the video processor 31, but may be disposed outside the video processor 31, for example, between the video processor 31 and the display unit 41.
  • the detection support unit 33 is configured by a circuit, but each function of the detection support unit 33 may be configured by a processing program that realizes the function by processing of the CPU.
  • an endoscopic image processing apparatus that presents a region of interest to a surgeon while suppressing a reduction in attention to an observed image and preventing an improvement in the ability to detect a lesion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

内視鏡画像処理装置は、被検体の観察画像Ｇ１が入力され、観察画像Ｇ１についての所定の特徴量に基づいて、観察画像Ｇ１における特徴領域Ｌを検出する検出部３４と、検出部３４によって特徴領域Ｌが検出された場合、特徴領域Ｌが検出されたことを報知処理によって術者に報知するとともに、第１表示画像Ｄ１を生成する報知部３５ａと、検出部３４によって特徴領域Ｌが検出された場合、特徴領域Ｌに対する強調処理を行うとともに、第２表示画像Ｄ２を生成する強調処理部３５ｂと、を有する。

Description

内視鏡画像処理装置
　本発明は、内視鏡画像処理装置に関する。
　従来、内視鏡装置では、術者が、観察画像を見て病変部の有無等を判断している。術者が観察画像を見る際に病変部の見落としを抑止するため、例えば、日本国特開２０１１－２５５００６号公報に示されるように、画像処理により検出された注目領域にアラート画像を付加して観察画像を表示する内視鏡画像処理装置が提案されている。
　しかしながら、従来の内視鏡画像処理装置では、術者が病変部を発見する前にアラート画像が表示されることがあり、アラート画像によって示されていない領域に対する術者の注意力を低下させ、また、術者の目視による病変部発見意欲を削ぎ、病変部発見能力の向上を妨げる懸念がある。
　そこで、本発明は、術者に対し、観察画像に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示する内視鏡画像処理装置を提供することを目的とする。
　本発明の一態様の内視鏡画像処理装置は、被検体の観察画像が入力され、前記観察画像についての所定の特徴量に基づいて、前記観察画像における特徴領域を検出する検出部と、前記検出部によって前記特徴領域が検出された場合、前記特徴領域が検出されたことを報知処理によって術者に報知するとともに、第１表示画像を生成する報知部と、前記検出部によって前記特徴領域が検出された場合、前記特徴領域に対する強調処理を行うとともに、第２表示画像を生成する強調処理部と、を有する。
本発明の第１の実施形態に係わる、内視鏡システムの概略構成を示すブロック図である。 本発明の第１の実施形態に係わる、内視鏡システムの検出支援部の構成を示すブロック図である。 本発明の第１の実施形態に係わる、内視鏡システムの表示用画像の画面構成の例を説明する説明図である。 本発明の第１の実施形態に係わる、内視鏡システムの画面遷移の例を説明する説明図である。 本発明の第１の実施形態の変形例１に係わる、内視鏡システムの第２表示画像の画面構成の例を説明する説明図である。 本発明の第１の実施形態の変形例１に係わる、内視鏡システムの画面遷移の例を説明する説明図である。 本発明の第１の実施形態の変形例２に係わる、内視鏡システムの第１表示画像の画面構成の例を説明する説明図である。 本発明の第２の実施形態に係わる、内視鏡システムの検出支援部及び操作部の構成を示すブロック図である。 本発明の第３の実施形態に係わる、内視鏡システムの表示用画像の画面構成の例を説明する説明図である。 本発明の第４の実施形態に係わる、内視鏡システムの検出支援部の構成を示すブロック図である。 本発明の第４の実施形態に係わる、内視鏡システムの合成画像の画面構成の例を説明する説明図である。
　以下、図面を参照しながら、本発明の実施の形態を説明する。
　（第１の実施形態）
　（構成）
　図１は、本発明の第１の実施形態に係わる、内視鏡システム１の概略構成を示すブロック図である。
　内視鏡システム１は、光源駆動部１１と、内視鏡２１と、ビデオプロセッサ３１と、表示部４１とを有して構成される。光源駆動部１１は、内視鏡２１と、ビデオプロセッサ３１とに接続される。内視鏡２１は、ビデオプロセッサ３１に接続される。ビデオプロセッサ３１は、表示部４１に接続される。表示部４１は、後述するように、第１表示部４１ａと、第２表示部４１ｂとを有する。
　光源駆動部１１は、内視鏡２１の挿入部２２の先端に設けられたＬＥＤ２３を駆動する回路である。光源駆動部１１は、ビデオプロセッサ３１の制御部３２と、内視鏡２１のＬＥＤ２３とに接続される。光源駆動部１１は、制御部３２から制御信号が入力され、ＬＥＤ２３に対して駆動信号を出力し、ＬＥＤ２３を駆動して発光させることができるように構成される。
　内視鏡２１は、挿入部２２を被検体内に挿入し、被検体内を撮像できるように構成される。内視鏡２１は、ＬＥＤ２３と、撮像素子２４とを有して構成される撮像部を有している。
　ＬＥＤ２３は、内視鏡２１の挿入部２２に設けられ、光源駆動部１１の制御下において、被検体に照明光を照射できるように構成される。
　撮像素子２４は、内視鏡２１の挿入部２２に設けられ、照明が照射された被検体の反射光を、図示しない観察窓を介して取り込むことができるように配置される。
　撮像素子２４は、観察窓から取り込まれた被検体の反射光を、光電変換し、図示しないＡＤ変換器により、アナログの撮像信号からデジタルの撮像信号に変換し、ビデオプロセッサ３１に出力する。
　ビデオプロセッサ３１は、画像処理回路を有する内視鏡画像処理装置である。ビデオプロセッサ３１は、制御部３２と、検出支援部３３とを有して構成される。
　制御部３２は、光源駆動部１１に制御信号を送信し、ＬＥＤ２３を駆動可能である。
　制御部３２は、内視鏡２１から入力される撮像信号に対し、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整を行い、後述する被検体の観察画像Ｇ１を検出支援部３３に順次出力可能である。
　図２は、本発明の第１の実施形態に係わる、内視鏡システム１の検出支援部３３の構成を示すブロック図である。図２に示すように、検出支援部３３は、検出部３４と、報知部３５ａと、強調処理部３５ｂとを有して構成される。
　検出部３４は、被検体の観察画像Ｇ１が入力され、観察画像Ｇ１についての所定の特徴量に基づいて、観察画像Ｇ１における特徴領域である病変候補領域Ｌを検出する回路である。検出部３４は、特徴量算出部３４ａと、病変候補検出部３４ｂとを有して構成される。
　特徴量算出部３４ａは、被検体の観察画像Ｇ１についての所定の特徴量を算出する回路である。特徴量算出部３４ａは、制御部３２と、病変候補検出部３４ｂとに接続される。特徴量算出部３４ａは、制御部３２から順次入力される被検体の観察画像Ｇ１から所定の特徴量を算出し、病変候補検出部３４ｂに出力可能である。
　所定の特徴量は、観察画像Ｇ１上の所定小領域毎に、所定小領域内の各画素と、当該画素に隣接する画素との変化量、すなわち傾き値を演算して算出される。なお、所定の特徴量は、隣接画素との傾き値によって算出される方法に限られず、別の方法で観察画像Ｇ１を数値化させたものでも構わない。
　病変候補検出部３４ｂは、所定の特徴量の情報から観察画像Ｇ１の病変候補領域Ｌを検出する回路である。病変候補検出部３４ｂは、複数のポリープモデル情報を予め記憶できるように、ＲＯＭ３４ｃを有して構成される。病変候補検出部３４ｂは、報知部３５ａと、強調処理部３５ｂとに接続される。
　ポリープモデル情報は、多くのポリープ画像が共通して持つ特徴の特徴量によって構成される。
　病変候補検出部３４ｂは、特徴量算出部３４ａから入力される所定の特徴量と、複数のポリープモデル情報とに基づいて病変候補領域Ｌを検出し、報知部３５ａと、強調処理部３５ｂとに、病変候補情報を出力する。
　より具体的には、病変候補検出部３４ｂは、特徴量算出部３４ａから入力される所定小領域毎の所定の特徴量と、ＲＯＭ３４ｃに記憶されるポリープモデル情報の特徴量とを比較し、互いの特徴量が一致するとき、病変候補領域Ｌを検出する。病変候補領域Ｌが検出されると、病変候補検出部３４ｂは、報知部３５ａと、強調処理部３５ｂとに、検出された病変候補領域Ｌの位置情報、大きさ情報を含む、病変候補情報を出力する。
　図３は、本発明の第１の実施形態に係わる、内視鏡システム１の表示用画像Ｄの画面構成の例を説明する説明図である。
　内視鏡システム１の表示用画像Ｄは、第１表示画像Ｄ１及び第２表示画像Ｄ２を有して構成される。第１表示画像Ｄ１は、報知部３５ａによって生成される。第２表示画像Ｄ２は、強調処理部３５ｂによって生成される。第１表示画像Ｄ１及び第２表示画像Ｄ２の各々には、観察画像Ｇ１が配置される。図３では、観察画像Ｇ１は、一例として、病変候補領域Ｌを有する大腸の内壁を表している。
　報知部３５ａは、検出部３４によって観察画像Ｇ１中に病変候補領域Ｌが検出された場合、病変候補領域Ｌが検出されたことを報知処理によって術者に報知するとともに、第１表示画像Ｄ１を生成する回路である。報知部３５ａは、第１表示部４１ａに接続される。報知部３５ａは、病変候補検出部３４ｂから入力される病変候補情報と、制御部３２から入力される観察画像Ｇ１に基づいて、第１表示画像Ｄ１を生成して第１表示部４１ａに出力する。
　報知処理は、病変候補領域Ｌ以外の領域に報知画像Ｇ３を表示させる処理である。図３では、一例として旗模様の報知画像Ｇ３を示しているが、報知画像Ｇ３は、例えば、三角形、円形、星形等どのような画像でも構わない。
　強調処理部３５ｂは、検出部３４によって観察画像Ｇ１中に病変候補領域Ｌが検出された場合、病変候補領域Ｌに対する強調処理を行うとともに、第２表示画像Ｄ２を生成する回路である。強調処理部３５ｂは、第１表示部４１ａとは、別体である第２表示部４１ｂに接続される。強調処理部３５ｂは、病変候補検出部３４ｂから入力される病変候補情報と、制御部３２から入力される観察画像Ｇ１とに基づいて、第２表示画像Ｄ２を生成して第２表示部４１ｂに出力する。
　強調処理は、病変候補領域Ｌの位置を示す表示を行う処理である。より具体的には、強調処理は、制御部３２から入力される観察画像Ｇ１に対し、病変候補情報に含まれる、位置情報及び大きさ情報に基づいて、病変候補領域Ｌを囲むマーカ画像Ｇ２を付加する処理である。なお、図３では、一例として、マーカ画像Ｇ２は、四角形で示しているが、例えば、三角形、円形、星形等どのような画像でも構わない。また、図３では、一例として、マーカ画像Ｇ２は、病変候補領域Ｌを囲む枠画像であるが、病変候補領域Ｌの位置を示すことができるものであれば、病変候補領域Ｌを囲まない画像であっても構わない。例えば、病変候補領域Ｌの明るさや色調を周辺領域とは異なるものとすることによって病変候補領域Ｌの位置を示してもよい。
　表示部４１は、検出支援部３３から入力される表示用画像Ｄを画面上に表示できるように構成される。表示部４１は、それぞれ別体のモニタである第１表示部４１ａ及び第２表示部４１ｂを有して構成される。より具体的には、第１表示部４１ａは、報知部３５ａから入力される第１表示画像Ｄ１を表示し、第２表示部４１ｂは、強調処理部３５ｂから入力される第２表示画像Ｄ２を表示する。
　（作用）
　内視鏡システム１の動作を説明する。
　図４は、本発明の第１の実施形態に係わる、内視鏡システム１の画面遷移の例を説明する説明図である。
　まず、内視鏡２１による被検体の観察を開始し、病変候補検出部３４ｂによって病変候補領域Ｌが検出されないとき、制御部３２から入力される観察画像Ｇ１に基づいて、報知部３５ａは、報知処理をせずに第１表示画像Ｄ１を生成して第１表示部４１ａに出力し、また、強調処理部３５ｂは、強調処理をせずに第２表示画像Ｄ２を生成して第２表示部４１ｂに出力する。
　続いて、病変候補検出部３４ｂによって病変候補領域Ｌが検出されたとき、病変候補検出部３４ｂから入力される病変候補情報と、制御部３２から入力される観察画像Ｇ１とに基づいて、報知部３５ａは、報知処理をした上で第１表示画像Ｄ１を生成して第１表示部４１ａに出力し、また、強調処理部３５ｂは、強調処理をした上で第２表示画像Ｄ２を生成して第２表示部４１ｂに出力する。
　続いて、病変候補領域Ｌが検出されなくなったとき、制御部３２から入力される観察画像Ｇ１に基づいて、報知部３５ａは、報知処理をせずに第１表示画像Ｄ１を生成して第１表示部４１ａに出力し、また、強調処理部３５ｂは、強調処理をせずに第２表示画像Ｄ２を生成して第２表示部４１ｂに出力する。
　これにより、術者は、メイン画面である第１表示部４１ａに表示される第１表示画像Ｄ１を観察し、必要に応じてサブ画面である第２表示部４１ｂに表示される第２表示画像Ｄ２を観察可能である。例えば、術者は、第１表示画像Ｄ１によって被検体の観察を行い、第１表示画像Ｄ１に報知画像Ｇ３が表示されたとき、より注意深く第１表示画像Ｄ１を観察し、術者が自ら目視によって病変部を発見することが可能である。さらに、術者は、第１表示画像Ｄ１上で病変部を発見できないときには、必要に応じて第２表示画像Ｄ２に目を移し、マーカ画像Ｇ２の表示位置に基づいて、病変候補領域Ｌをより注意深く確認することが可能である。
　上述の第１の実施形態によれば、マーカ画像Ｇ２が第２表示画像Ｄ２に表示され、術者に対し、第１表示画像Ｄ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　（第１の実施形態の変形例１）
　上述の第１の実施形態では、第２表示画像Ｄ２は、動画像として表示される観察画像Ｇ１を有して構成されるが、第２表示画像Ｄ２は、観察画像Ｇ１と静止画像Ｇ４とを有して構成されても構わない。
　図５は、本発明の第１の実施形態の変形例１に係わる、内視鏡システム１の第２表示画像Ｄ２の画面構成の例を説明する説明図である。図６は、本発明の第１の実施形態の変形例１に係わる、内視鏡システム１の画面遷移の例を説明する説明図である。第１の実施形態の変形例１の説明では、第１の実施形態と同じ構成については同じ符号を付し、説明は省略する。
　第１の実施形態の変形例１では、強調処理部３５ｂは、静止画像処理部３５ｃと、メモリ３５ｄとを有して構成される（図２の１点鎖線）。
　静止画像処理部３５ｃは、観察画像Ｇ１よりも前に入力された観察画像において検出された病変候補領域Ｌに対して強調処理をした静止画像Ｇ４を生成可能な回路である。
　メモリ３５ｄは、静止画像Ｇ４を一時的に記憶できるように構成される。
　病変候補検出部３４ｂによって病変候補領域Ｌが検出されたとき、強調処理部３５ｂは、メモリ３５ｄに静止画像Ｇ４を一時的に記憶させる。強調処理部３５ｂは、メモリ３５ｄに一時的に記憶された静止画像Ｇ４に対してマーカ画像Ｇ２ａを付加し、第２表示部４１ｂに静止画像Ｇ４を表示させる。
　病変候補領域Ｌが検出されなくなったとき、強調処理部３５ｂは、静止画像Ｇ４を非表示にする。
　上述の第１の実施形態の変形例１によれば、第２表示画像Ｄ２における静止画像Ｇ４によってより確実に病変候補領域Ｌの位置を術者に示すことが可能であり、術者に対し、第１表示画像Ｄ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　（第１の実施形態の変形例２）
　第１の実施形態及び第１の実施形態の変形例１では、報知部３５ａは、報知画像Ｇ３を病変候補領域Ｌ以外の領域に表示させるが、観察画像Ｇ１を囲む画像Ｇ５を表示させても構わない。
　図７は、本発明の第１の実施形態の変形例２に係わる、内視鏡システム１の第１表示画像Ｄ１の画面構成の例を説明する説明図である。第１の実施形態の変形例２の説明では、第１の実施形態及び第１の実施形態の変形例１と同じ構成については同じ符号を付し、説明は省略する。
　第１の実施形態の変形例２では、病変候補検出部３４ｂによって病変候補領域Ｌが検出されると、報知部３５ａは、報知処理によって、観察画像Ｇ１を囲む画像Ｇ５を表示するように構成される。
　この構成によれば、第１表示画像Ｄ１における観察画像Ｇ１を囲む画像Ｇ５の表示により、術者が、第１表示画像Ｄ１のどの部分を注目しているときにおいても、病変候補検出部３４ｂによって病変候補領域Ｌが検出されていることに気づきやすい。
　（第２の実施形態）
　第１の実施形態、第１の実施形態の変形例１及び第１の実施形態の変形例２では、報知部３５ａによって生成された第１表示画像Ｄ１は、第１表示部４１ａに出力され、強調処理部３５ｂによって生成された第２表示画像Ｄ２は、第２表示部４１ｂに出力されるが、第１表示画像Ｄ１の出力先と、第２表示画像Ｄ２の出力先とを互いに切替え可能であっても構わない。
　図８は、本発明の第２の実施形態に係わる、内視鏡システム１の検出支援部３３及び操作部３６の構成を示すブロック図である。第２の実施形態の説明では、第１の実施形態、第１の実施形態の変形例１及び第１の実施形態の変形例２と同じ構成については同じ符号を付し、説明は省略する。
　第２の実施形態では、内視鏡システム１は、操作部３６と、切替部３７とを有して構成される。
　操作部３６は、術者の指示入力が可能である切替スイッチにより構成される。操作部３６は、切替部３７に接続される。操作部３６は、術者から画像出力先を切り替えるための指示入力があると、切替部３７に切替指示信号を出力する。
　切替部３７は、第１表示画像Ｄ１の出力先と、第２表示画像Ｄ２の出力先とを互いに切替え可能な回路である。切替部３７は、報知部３５ａと、強調処理部３５ｂと、第１表示部４１ａと、第２表示部４１ｂとに接続される。切替部３７は、操作部３６から切替指示信号が入力されると、報知部３５ａから入力される第１表示画像Ｄ１の出力先と、強調処理部３５ｂから入力される第２表示画像Ｄ２の出力先とを互いに切り替え、第１表示画像Ｄ１の出力先を第２表示部４１ｂにし、第２表示画像Ｄ２の出力先を第１表示部４１ａにする。
　この構成によれば、術者は、第１表示部４１ａ及び第２表示部４１ｂの間で視線を移すことなく、第１表示画像Ｄ１と、マーカ画像Ｇ２が付加される第２表示画像Ｄ２とを切り替えて表示させることができ、術者に対し、第１表示画像Ｄ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　（第３の実施形態）
　第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２及び第２の実施形態では、第１表示画像Ｄ１及び第２表示画像Ｄ２が同じ大きさで構成されるが、第１表示画像Ｄ１及び第２表示画像Ｄ２は、異なる大きさで構成されても構わない。
　図９は、本発明の第３の実施形態に係わる、内視鏡システム１の表示用画像Ｄの画面構成の例を説明する説明図である。第３の実施形態の説明では、第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２及び第２の実施形態と同じ構成については同じ符号を付し、説明は省略する。
　図９に示すように、第３の実施形態では、第１表示画像Ｄ１が大きく、第２表示画像Ｄ２が小さく構成される。第３の実施形態では、第１表示画像Ｄ１を表示する第１表示部４１ａの表示画面が、第２表示画像Ｄ２を表示する第２表示部４１ｂの表示画面よりも大きく構成されてもよいし、また、第１表示画像Ｄ１が第２表示画像Ｄ２よりも大きい画像として生成され、それぞれ同じ大きさの表示画面を有する第１表示部４１ａ及び第２表示部４１ｂにおいて、第１表示画像Ｄ１が、第２表示画像Ｄ２よりも大きく表示されてもよい。
　この構成によれば、第１表示画像Ｄ１が大きく表示され、マーカ画像Ｇ２が付加される第２表示画像Ｄ２が小さく表示され、第１表示画像Ｄ１に術者の視線が向きやすくなり、術者に対し、第１表示画像Ｄ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　（第４の実施形態）
　第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２、第２の実施形態及び第３の実施形態では、第１表示画像Ｄ１及び第２表示画像Ｄ２は、それぞれ別体の第１表示部４１ａ及び第２表示部４１ｂによって表示されるが、１つの表示部によって表示されても構わない。
　図１０は、本発明の第４の実施形態に係わる、内視鏡システム１の検出支援部３３の構成を示すブロック図である。図１１は、本発明の第４の実施形態に係わる、内視鏡システム１の合成画像Ｄａの画面構成の例を説明する説明図である。第４の実施形態の説明では、第１の実施形態、第１の実施形態の変形例１、第１の実施形態の変形例２、第２の実施形態及び第３の実施形態と同じ構成については同じ符号を付し、説明は省略する。
　第４の実施形態では、検出支援部３３は、合成部３８を有して構成される。
　合成部３８は、第１表示画像Ｄ１と、第２表示画像Ｄ２とを合成して合成画像Ｄａを生成可能な回路である。合成部３８は、報知部３５ａと、強調処理部３５ｂと、第３表示部４１ｃとに接続される。合成部３８は、報知部３５ａから入力される第１表示画像Ｄ１と、強調処理部３５ｂから入力される第２表示画像Ｄ２とを合成し、図１１に例として示す合成画像Ｄａを生成し、第３表示部４１ｃに出力する。
　この構成によれば、第１表示画像Ｄ１と、マーカ画像Ｇ２が付加される第２表示画像Ｄ２とを合成した合成画像Ｄａを第３表示部４１ｃに表示可能であり、術者に対し、第１表示画像Ｄ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　上述の実施形態によれば、術者に対し、観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　なお、実施形態では、説明のため観察画像Ｇ１に表示される病変候補領域Ｌは１つであるが、観察画像Ｇ１には複数の病変候補領域Ｌが表示される場合もある。その場合、報知処理及び強調処理は、各病変候補領域Ｌに対して行われる。
　なお、実施形態では、報知部３５ａは、報知画像Ｇ３を表示することによって術者に報知するが、報知部３５ａは、図示しないスピーカから音を発生させ、術者に報知しても構わない。
　なお、実施形態では、制御部３２は、内視鏡２１から入力される撮像信号に対し、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整を行い、画像調整後の観察画像Ｇ１を検出支援部３３に入力させるが、画像調整の一部又は全部は、検出支援部３３に入力される前ではなく、検出支援部３３から出力される画像信号に対して行われても構わない。
　なお、実施形態では、強調処理部３５ｂは、マーカ画像Ｇ２を病変候補領域Ｌに付加させるが、マーカ画像Ｇ２は、検出された病変候補領域Ｌの確からしさにより、色分けして表示されても構わない。この場合、病変候補検出部３４ｂは、病変候補領域Ｌの確からしさ情報を含む病変候補情報を強調処理部３５ｂに出力し、強調処理部３５ｂは、病変候補領域Ｌの確からしさ情報に基づいた色分けによって強調処理をする。この構成によれば、術者が、病変候補領域Ｌを観察する際、マーカ画像Ｇ２の色によってフォールスポジティブ（誤検出）の可能性の大小を推測可能である。
　なお、実施形態では、検出支援部３３は、ビデオプロセッサ３１の内部に配置されるが、例えば、ビデオプロセッサ３１と表示部４１の間等、ビデオプロセッサ３１の外部に配置されても構わない。
　なお、実施形態では、検出支援部３３は、回路により構成されるが、検出支援部３３の各機能は、ＣＰＵの処理によって機能が実現する処理プログラムによって構成されても構わない。
　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本発明によれば、術者に対し、観察画像に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示する内視鏡画像処理装置を提供することができる。
　本出願は、２０１５年１０月２６日に日本国に出願された特願２０１５－２０９８９１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

  1. 　被検体の観察画像が入力され、前記観察画像についての所定の特徴量に基づいて、前記観察画像における特徴領域を検出する検出部と、
    　前記検出部によって前記特徴領域が検出された場合、前記特徴領域が検出されたことを報知処理によって術者に報知するとともに、第１表示画像を生成する報知部と、
    　前記検出部によって前記特徴領域が検出された場合、前記特徴領域に対する強調処理を行うとともに、第２表示画像を生成する強調処理部と、
    　を有する、
    　ことを特徴とする内視鏡画像処理装置。
  2. 　前記報知処理は、前記特徴領域以外の領域に報知画像を表示させる処理であることを特徴とする請求項１に記載の内視鏡画像処理装置。
  3. 　前記強調処理は、前記特徴領域の位置を示す表示を行う処理であることを特徴とする請求項１に記載の内視鏡画像処理装置。
  4. 　前記観察画像よりも前に入力された前記観察画像において検出された前記特徴領域に対して前記強調処理をした静止画像を生成する静止画像処理部を有することを特徴とする請求項１に記載の内視鏡画像処理装置。
  5. 　前記報知処理は、前記観察画像を囲む画像を表示させる処理であることを特徴とする請求項１に記載の内視鏡画像処理装置。
  6. 　前記第１表示画像は、第１表示部に出力され、
    　前記第２表示画像は、第２表示部に出力される、
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  7. 　前記第１表示画像の出力先と、前記第２表示画像の出力先とを互いに切替え可能である切替部を有することを特徴とする請求項１に記載の内視鏡画像処理装置。
  8. 　前記第１表示画像は、前記第２表示画像よりも大きい画像として生成されることを特徴とする請求項１に記載の内視鏡画像処理装置。
  9. 　前記第１表示画像と、前記第２表示画像とを合成して合成画像を生成可能である合成部を有し、
    　前記合成部により合成された前記合成画像を第３表示部に出力する、
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
  10. 　前記検出部は、検出された前記特徴領域の確からしさ情報を出力可能であり、
    　前記強調処理部は、前記確からしさ情報に基づいた色分けによって前記強調処理をする、
    　ことを特徴とする請求項１に記載の内視鏡画像処理装置。
PCT/JP2016/080310 2015-10-26 2016-10-13 内視鏡画像処理装置 WO2017073338A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680060776.XA CN108135457B (zh) 2015-10-26 2016-10-13 内窥镜图像处理装置
JP2017537996A JP6315873B2 (ja) 2015-10-26 2016-10-13 内視鏡画像処理装置
EP16859573.4A EP3357407A4 (en) 2015-10-26 2016-10-13 PROCESSING DEVICE FOR ENDOSCOPIC IMAGES
US15/962,051 US20180242817A1 (en) 2015-10-26 2018-04-25 Endoscope image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015209891 2015-10-26
JP2015-209891 2015-10-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/962,051 Continuation US20180242817A1 (en) 2015-10-26 2018-04-25 Endoscope image processing apparatus

Publications (1)

Publication Number Publication Date
WO2017073338A1 true WO2017073338A1 (ja) 2017-05-04

Family

ID=58630313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080310 WO2017073338A1 (ja) 2015-10-26 2016-10-13 内視鏡画像処理装置

Country Status (5)

Country Link
US (1) US20180242817A1 (ja)
EP (1) EP3357407A4 (ja)
JP (1) JP6315873B2 (ja)
CN (1) CN108135457B (ja)
WO (1) WO2017073338A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
WO2018216188A1 (ja) * 2017-05-26 2018-11-29 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018235246A1 (ja) * 2017-06-22 2018-12-27 オリンパス株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
CN110663251A (zh) * 2017-06-02 2020-01-07 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
WO2020039968A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020040086A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020054541A1 (ja) 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020090731A1 (ja) 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
WO2020162275A1 (ja) * 2019-02-08 2020-08-13 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020174747A1 (ja) * 2019-02-26 2020-09-03 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021205778A1 (ja) 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JPWO2021210676A1 (ja) * 2020-04-16 2021-10-21

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019244255A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020040087A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
CN112584746B (zh) * 2018-08-23 2024-08-30 富士胶片株式会社 医用图像处理装置和内窥镜系统
CN112739250B (zh) * 2018-09-18 2024-10-15 富士胶片株式会社 医用图像处理装置、处理器装置及医用图像处理方法
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
WO2020110214A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US20220133129A1 (en) * 2019-02-13 2022-05-05 Nec Corporation Surgery assistance apparatus, surgery assistance method, and computer-readable recording medium
JP7166430B2 (ja) * 2019-03-08 2022-11-07 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7060536B2 (ja) * 2019-03-13 2022-04-26 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
CN110517745B (zh) * 2019-08-15 2023-06-27 中山大学肿瘤防治中心 医疗检查结果的展示方法、装置、电子设备及存储介质
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011177419A (ja) * 2010-03-03 2011-09-15 Olympus Corp 蛍光観察装置
JP2014161538A (ja) * 2013-02-26 2014-09-08 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050272971A1 (en) * 2002-08-30 2005-12-08 Olympus Corporation Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
JP2004135868A (ja) * 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出処理システム
JP5993237B2 (ja) * 2012-07-25 2016-09-14 オリンパス株式会社 蛍光観察装置
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011177419A (ja) * 2010-03-03 2011-09-15 Olympus Corp 蛍光観察装置
JP2014161538A (ja) * 2013-02-26 2014-09-08 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3357407A4 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018198327A1 (ja) * 2017-04-28 2020-03-12 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
US11341637B2 (en) 2017-05-26 2022-05-24 Olympus Corporation Endoscope image processing device and endoscope image processing method
WO2018216188A1 (ja) * 2017-05-26 2018-11-29 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
CN110663251A (zh) * 2017-06-02 2020-01-07 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置
WO2018235246A1 (ja) * 2017-06-22 2018-12-27 オリンパス株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
JP7125479B2 (ja) 2018-05-14 2022-08-24 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
US11985449B2 (en) 2018-05-14 2024-05-14 Fujifilm Corporation Medical image processing device, medical image processing method, and endoscope system
JPWO2019220916A1 (ja) * 2018-05-14 2021-05-27 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
US11616931B2 (en) 2018-05-14 2023-03-28 Fujifilm Corporation Medical image processing device, medical image processing method, and endoscope system
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
JP7270626B2 (ja) 2018-07-09 2023-05-10 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体
JPWO2020012872A1 (ja) * 2018-07-09 2021-08-02 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
WO2020040086A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020039968A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
US11862327B2 (en) 2018-08-20 2024-01-02 Fujifilm Corporation Medical image processing system
WO2020054541A1 (ja) 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
JPWO2020054541A1 (ja) * 2018-09-11 2021-08-30 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
JP7113903B2 (ja) 2018-09-11 2022-08-05 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム
JP7143436B2 (ja) 2018-11-01 2022-09-28 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置
WO2020090731A1 (ja) 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
JPWO2020090731A1 (ja) * 2018-11-01 2021-09-30 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
US11481944B2 (en) 2018-11-01 2022-10-25 Fujifilm Corporation Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
CN113395929A (zh) * 2019-02-08 2021-09-14 富士胶片株式会社 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
WO2020162275A1 (ja) * 2019-02-08 2020-08-13 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JPWO2020162275A1 (ja) * 2019-02-08 2021-12-02 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US12035879B2 (en) 2019-02-08 2024-07-16 Fujifilm Corporation Medical image processing apparatus, endoscope system, and medical image processing method
JP7143504B2 (ja) 2019-02-26 2022-09-28 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2020174747A1 (ja) * 2019-02-26 2020-09-03 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JPWO2020174747A1 (ja) * 2019-02-26 2021-12-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
US12106394B2 (en) 2019-02-26 2024-10-01 Fujifilm Corporation Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
US11954897B2 (en) 2020-04-08 2024-04-09 Fujifilm Corporation Medical image processing system, recognition processing processor device, and operation method of medical image processing system
WO2021205778A1 (ja) 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JPWO2021210676A1 (ja) * 2020-04-16 2021-10-21

Also Published As

Publication number Publication date
CN108135457A (zh) 2018-06-08
EP3357407A4 (en) 2019-04-17
US20180242817A1 (en) 2018-08-30
JPWO2017073338A1 (ja) 2017-11-09
JP6315873B2 (ja) 2018-04-25
EP3357407A1 (en) 2018-08-08
CN108135457B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
JP6315873B2 (ja) 内視鏡画像処理装置
JP6246431B2 (ja) 内視鏡装置
WO2017073337A1 (ja) 内視鏡装置
JP6602969B2 (ja) 内視鏡画像処理装置
US20200126223A1 (en) Endoscope diagnosis support system, storage medium, and endoscope diagnosis support method
US20200337540A1 (en) Endoscope system
US11025835B2 (en) Imaging device, endoscope apparatus, and method for operating imaging device
JP6013665B1 (ja) 診断支援装置及び診断支援情報表示方法
WO2018131141A1 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
JP6001219B1 (ja) 内視鏡システム
JP6448509B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP7230174B2 (ja) 内視鏡システム、画像処理装置および画像処理装置の制御方法
WO2017104192A1 (ja) 医用観察システム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP6489644B2 (ja) 撮像システム
JP6210923B2 (ja) 生体観察システム
WO2016136071A1 (ja) 撮像装置、撮像装置の作動方法
JP2014012037A (ja) 内視鏡装置
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP2014003990A (ja) 内視鏡装置および内視鏡観察システム
JP6209325B2 (ja) 内視鏡装置
JPWO2016017476A1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
KR101630364B1 (ko) 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법
WO2017085850A1 (ja) 内視鏡用画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16859573

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017537996

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016859573

Country of ref document: EP