WO2017081976A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2017081976A1
WO2017081976A1 PCT/JP2016/080307 JP2016080307W WO2017081976A1 WO 2017081976 A1 WO2017081976 A1 WO 2017081976A1 JP 2016080307 W JP2016080307 W JP 2016080307W WO 2017081976 A1 WO2017081976 A1 WO 2017081976A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
detected
predetermined time
endoscope apparatus
Prior art date
Application number
PCT/JP2016/080307
Other languages
English (en)
French (fr)
Inventor
今泉　克一
橋本　進
傑 岡庭
朋也 佐藤
岩城　秀和
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680065257.2A priority Critical patent/CN108348145B/zh
Priority to JP2017533371A priority patent/JP6246431B2/ja
Priority to EP16863940.9A priority patent/EP3360461A4/en
Publication of WO2017081976A1 publication Critical patent/WO2017081976A1/ja
Priority to US15/970,017 priority patent/US10863893B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscope apparatus.
  • an operator determines the presence or absence of a lesion by looking at an observation image.
  • an alert image is added to a region of interest detected by image processing.
  • An endoscope apparatus that displays an observation image has been proposed.
  • an alert image may be displayed before the surgeon finds a lesion, reducing the operator's attention to the area not indicated by the alert image, There is a concern that the surgeon's willingness to find a lesion will be cut off, and the ability to detect the lesion will be hindered.
  • an object of the present invention is to provide an endoscope apparatus that presents a region of interest to an operator without suppressing a reduction in attention to an observed image and preventing an improvement in lesion finding ability.
  • An endoscope apparatus includes: a detection unit that sequentially receives observation images of a subject and detects a feature region in the observation image based on a predetermined feature amount of the observation image; and the detection When the feature region is continuously detected in the unit, the position corresponding to the feature region is determined with respect to the observation image of the subject input after a first predetermined time has elapsed since the feature region was detected.
  • An enhancement processing unit that performs enhancement processing.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an endoscope system according to a first embodiment of the present invention. It is a block diagram which shows the structure of the detection assistance part of the endoscope system concerning the 1st Embodiment of this invention. It is explanatory drawing explaining the example of the screen structure of the display image of the endoscope system concerning the 1st Embodiment of this invention. It is a flowchart explaining the flow of the detection result output process of the endoscope system concerning the 1st Embodiment of this invention. It is explanatory drawing explaining the example of the screen transition in the detection result output process of the endoscope system concerning the 1st Embodiment of this invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscope system 1 according to the first embodiment of the present invention.
  • the schematic configuration of the endoscope system 1 that is an endoscope apparatus includes a light source driving unit 11, an endoscope 21, a video processor 31, and a display unit 41.
  • the light source driving unit 11 is connected to the endoscope 21 and the video processor 31.
  • the endoscope 21 is connected to the video processor 31.
  • the video processor 31 is connected to the display unit 41.
  • the light source driving unit 11 is a circuit that drives the LED 23 provided at the distal end of the insertion unit 22 of the endoscope 21.
  • the light source driving unit 11 is connected to the control unit 32 of the video processor 31 and the LED 23 of the endoscope 21.
  • the light source drive unit 11 is configured to receive a control signal from the control unit 32, output a drive signal to the LED 23, and drive the LED 23 to emit light.
  • the endoscope 21 is configured so that the insertion unit 22 can be inserted into the subject and the inside of the subject can be imaged.
  • the endoscope 21 includes an imaging unit that includes an LED 23 and an imaging element 24.
  • the LED 23 is provided in the insertion unit 22 of the endoscope 21 and is configured to irradiate the subject with illumination light under the control of the light source driving unit 11.
  • the imaging element 24 is provided in the insertion portion 22 of the endoscope 21 and is arranged so that the reflected light of the subject irradiated with the illumination light can be taken in through an observation window (not shown).
  • the imaging device 24 photoelectrically converts the reflected light of the subject taken in from the observation window, converts the analog imaging signal into a digital imaging signal by an AD converter (not shown), and outputs it to the video processor 31.
  • the video processor 31 is an endoscopic image processing apparatus having an image processing circuit.
  • the video processor 31 includes a control unit 32 and a detection support unit 33.
  • the control unit 32 can transmit a control signal to the light source driving unit 11 to drive the LED 23.
  • the control unit 32 performs image adjustment, such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment, on the imaging signal input from the endoscope 21, and observes a subject to be described later.
  • image adjustment such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment, on the imaging signal input from the endoscope 21, and observes a subject to be described later.
  • the image G1 can be sequentially output to the detection support unit 33.
  • FIG. 2 is a block diagram showing a configuration of the detection support unit 33 of the endoscope system 1 according to the first embodiment of the present invention.
  • the detection support unit 33 includes a detection unit 34, a continuation detection determination unit 35 that is a determination unit, and a detection result output unit 36.
  • the detection unit 34 is a circuit that sequentially receives the observation image G1 of the subject and detects a lesion candidate region L that is a feature region in the observation image G1 based on a predetermined feature amount of the observation image G1.
  • the detection unit 34 includes a feature amount calculation unit 34a and a lesion candidate detection unit 34b.
  • the feature amount calculation unit 34a is a circuit that calculates a predetermined feature amount for the observation image G1 of the subject.
  • the feature amount calculation unit 34a is connected to the control unit 32 and the lesion candidate detection unit 34b.
  • the feature amount calculation unit 34a can calculate a predetermined feature amount from the observation image G1 of the subject that is sequentially input from the control unit 32, and can output it to the lesion candidate detection unit 34b.
  • the predetermined feature amount is calculated for each predetermined small region on the observation image G1 by calculating a change amount between each pixel in the predetermined small region and a pixel adjacent to the pixel, that is, an inclination value.
  • the feature amount is not limited to the method calculated by the inclination value with the adjacent pixel, and may be a value obtained by quantifying the observation image G1 by another method.
  • the lesion candidate detection unit 34b is a circuit that detects the lesion candidate region L of the observation image G1 from the feature amount information.
  • the lesion candidate detection unit 34b includes a ROM 34c so that a plurality of polyp model information can be stored in advance.
  • the lesion candidate detection unit 34 b is connected to the detection result output unit 36 and the continuation detection determination unit 35.
  • the polyp model information is composed of feature amounts of features common to many polyp images.
  • the lesion candidate detection unit 34b detects the lesion candidate region L based on the predetermined feature amount input from the feature amount calculation unit 34a and the plurality of polyp model information, and the detection result output unit 36 and the continuous detection determination unit 35, the candidate lesion information is output.
  • the lesion candidate detection unit 34b compares the predetermined feature amount for each predetermined small region input from the feature amount detection unit with the feature amount of the polyp model information stored in the ROM 34c, and When the feature amounts match, a lesion candidate region L is detected. When the lesion candidate region L is detected, the lesion candidate detection unit 34b includes the position information and size information of the detected lesion candidate region L in the detection result output unit 36 and the continuous detection determination unit 35. Output candidate information.
  • the continuation detection determination unit 35 is a circuit that determines whether or not the lesion candidate region L is continuously detected.
  • the continuation detection determination unit 35 is configured to include a RAM 35a so that lesion candidate information of one frame before can be stored.
  • the continuation detection determination unit 35 is connected to the detection result output unit 36.
  • the continuation detection determination unit 35 is configured to track the first candidate on the first observation image so that the candidate lesion region L can be tracked even when the position of the candidate lesion region L is shifted on the observation image G1. It is determined whether or not the lesion candidate region and the second lesion candidate region on the second observation image input before the first observation image are the same lesion candidate region L, and a plurality of observations sequentially input When the same lesion candidate region L is detected continuously or intermittently on the image G1, it is determined that the detection of the lesion candidate region L is continued, and the determination result is output to the detection result output unit 36.
  • the detection result output unit 36 is a circuit that performs detection result output processing.
  • the detection result output unit 36 includes an enhancement processing unit 36a and a notification unit 36b.
  • the detection result output unit 36 is connected to the display unit 41.
  • the detection result output unit 36 emphasizes based on the observation image G1 input from the control unit 32, the lesion candidate information input from the lesion candidate detection unit 34b, and the determination result input from the continuous detection determination unit 35. Processing and notification processing can be performed.
  • the detection result output unit 36 outputs the display image G to the display unit 41.
  • FIG. 3 is an explanatory diagram illustrating an example of the screen configuration of the display image G of the endoscope system 1 according to the first embodiment of the present invention.
  • an observation image G1 is arranged as shown in FIG. FIG. 3 shows an inner wall of the large intestine having a lesion candidate region L as an example of the observation image G1.
  • the enhancement processing unit 36a receives the observation image G1 of the subject that is input after the first predetermined time has elapsed since the lesion candidate region L was detected. On the other hand, the position enhancement process corresponding to the lesion candidate area L is performed.
  • the enhancement processing is started.
  • the first predetermined time is a time during which an operator can find a lesion from the observation image G1 with high probability by visual observation, and is set in advance to 0.5 seconds, for example.
  • the first predetermined time is defined by the number of frames. For example, when the number of frames per second is 30, the first predetermined time is defined by 15 frames.
  • the emphasis process is performed for the second predetermined time at the longest and ends after the second predetermined time elapses. If the state in which the lesion candidate region L is continuously detected by the continuous detection determination unit 35 is finished before the second predetermined time has elapsed, the enhancement processing is also ended at that point.
  • the second predetermined time is a time during which the surgeon can sufficiently recognize the lesion candidate region L from the marker image G2, and is set in advance to 1.5 seconds, for example.
  • the second predetermined time is defined by the number of frames. For example, when the number of frames per second is 30, the second predetermined time is defined by 45 frames.
  • the enhancement process is a process for displaying the position of the lesion candidate region L. More specifically, in the enhancement process, the marker image G2 surrounding the lesion candidate region L is applied to the observation image G1 input from the control unit 32 based on the position information and the size information included in the lesion candidate information. It is a process to add.
  • the marker image G ⁇ b> 2 is shown as a square, but may be any image such as a triangle, a circle, or a star.
  • the marker image G2 is a frame image surrounding the lesion candidate region L. However, as long as the position of the lesion candidate region L can be indicated, the marker image G2 does not surround the lesion candidate region L. It does not matter.
  • the position of the lesion candidate area L may be indicated by making the brightness and color tone of the lesion candidate area L different from the surrounding area.
  • the notification unit 36b is configured to notify the surgeon that the lesion candidate region L exists in the observation image G1 by a notification process different from the enhancement process.
  • the notification process is performed after the second predetermined time after the enhancement process ends until the continuous detection of the lesion candidate region L by the detection unit 34 is completed.
  • the notification process is a process of displaying the notification image G3 in a region other than the observation image G1.
  • the two-dot chain line in FIG. 3 shows a flag-pattern notification image G3 as an example, but the notification image G3 may be any image such as a triangle, a circle, or a star.
  • the display unit 41 includes a monitor, and can display the display image G input from the detection result output unit 36 on the screen.
  • FIG. 4 is a flowchart for explaining the flow of detection result output processing of the endoscope system 1 according to the first embodiment of the present invention.
  • the control unit 32 When the subject is imaged by the endoscope 21, an image adjustment process is performed by the control unit 32, and then the observation image G 1 is input to the detection support unit 33.
  • the feature amount calculation unit 34a calculates a predetermined feature amount of the observation image G1 and outputs it to the lesion candidate detection unit 34b.
  • the lesion candidate detection unit 34b detects the lesion candidate region L by comparing the input predetermined feature amount with the feature amount of the polyp model information.
  • the detection result of the lesion candidate region L is output to the continuation detection determination unit 35 and the detection result output unit 36.
  • the continuous detection determination unit 35 determines whether or not the lesion candidate area L is continuously detected, and outputs the determination result to the detection result output unit 36.
  • the detection result output unit 36 determines whether the lesion candidate region L is continuously detected (S1). In S1, with reference to the determination result input from the continuous detection determination unit 35, when it is determined that the lesion candidate region L is continuously detected (S1: Yes), the process proceeds to S2. On the other hand, when it determines with the lesion candidate area
  • the detection result output unit 36 determines the elapsed time from the first detection of the lesion candidate region L (S2). In S2, the detection result output unit 36 determines an elapsed time from the first detection of the lesion candidate region L, and the elapsed time is less than a first predetermined time (for example, less than 0.5 seconds from the first detection, that is, 15 When it is determined that the frame is less than the frame, the process proceeds to S5.
  • the detection result output unit 36 after the elapse of the first predetermined time, is less than the second predetermined time (for example, 0.5 seconds or more and less than 2.0 seconds from the first detection, that is, 15 frames or more and 45 frames). When it is determined that it is less than (S), the process proceeds to S3. When the elapsed time is equal to or greater than the sum of the first predetermined time and the second predetermined time (for example, 2.0 seconds or more from the first detection, that is, 45 frames or more), the process proceeds to S4. move on.
  • the detection result output unit 36 performs enhancement processing.
  • the detection result output unit 36 adds the marker image G2 to the observation image G1. After the process of S3, the process proceeds to S5.
  • the detection result output unit 36 performs a notification process.
  • the detection result output unit 36 performs notification processing and adds the notification image G ⁇ b> 3 to the display image G. After the process of S4, the process proceeds to S5.
  • the display image G is output to the display unit 41 (S5).
  • the processing from S1 to S5 constitutes detection result output processing.
  • FIG. 5 is an explanatory diagram illustrating an example of screen transition in the detection result output process of the endoscope system 1 according to the first embodiment of the present invention.
  • the marker image G2 is not displayed until the first predetermined time has elapsed. Subsequently, when the lesion candidate region L is continuously detected for the first predetermined time, the enhancement processing unit 36a starts the enhancement processing, and the marker image G2 is displayed in the display image G. Subsequently, when the lesion candidate area L is continuously detected even after the second predetermined time has elapsed, the enhancement process is ended, and the notification process is started by the notification unit 36b. The image G2 is hidden and the notification image G3 is displayed. Subsequently, when the lesion candidate region L is no longer detected, the notification process is terminated and the notification image G3 is not displayed.
  • the surgeon there is a time for the surgeon to visually find a lesion portion between the time when the lesion candidate region L as the attention region is detected and the time when the marker image G2 is displayed. It is possible to present a region of interest to a person without suppressing a reduction in attention to the observation image G1 and without hindering improvement in the ability to find a lesion.
  • the display image G is configured to include the observation image G1 that is a moving image, but the display image G may be configured of the observation image G1 and the still image G4. I do not care.
  • FIG. 6 is an explanatory diagram illustrating an example of the screen configuration of the display image G of the endoscope system 1 according to the first embodiment of the present invention.
  • FIG. 7 is an explanatory diagram illustrating an example of screen transition in the detection result output process of the endoscope system 1 according to a modification of the first embodiment of the present invention.
  • the detection result output unit 36 includes a still image processing unit 36c and a memory 36d (two-dot chain line in FIG. 2).
  • the still image processing unit 36c is configured to display the still image G4 shown in FIG. 6 after the first predetermined time when the lesion candidate region L is detected by the detection unit 34.
  • the memory 36d is configured to be able to temporarily store the still image G4.
  • the detection result output unit 36 determines that the lesion candidate region L is continuously detected, the detection result output unit 36 temporarily stores the still image G4 in the memory 36d.
  • the detection result output unit 36 adds the marker image G2a to the still image G4 temporarily stored in the memory 36d and displays the still image G4 after the first predetermined time has elapsed.
  • the detection result output unit 36 hides the still image G4 when the second predetermined time has elapsed after the first predetermined time has elapsed.
  • the position of the lesion candidate region L can be more reliably shown to the surgeon, and a reduction in attention to the observation image G1 can be suppressed for the surgeon,
  • the region of interest can be presented without impeding the improvement of the lesion detection capability.
  • the enhancement processing unit 36a may start the enhancement processing.
  • FIG. 8 is a block diagram showing a schematic configuration of the endoscope system 1a according to the second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a configuration of the detection support unit 33 of the endoscope system 1a according to the second embodiment of the present invention.
  • the same reference numerals are given to the same configurations as those of the first embodiment and the modification of the first embodiment, and the description thereof is omitted.
  • the endoscope apparatus 1a includes an operation unit P and a detection result output unit 361.
  • the operation unit P is configured by a switch that can be switched between an ON state and an OFF state according to an operation instruction from the operator.
  • the operation unit P is connected to the detection result output unit 361.
  • the detection result output unit 361 is configured to detect the ON / OFF state of the operation unit P.
  • the enhancement processing unit 36a starts the enhancement processing.
  • FIG. 10 is a flowchart for explaining the flow of detection result output processing of the endoscope system 1a according to the second embodiment of the present invention.
  • the detection result output unit 361 determines whether the lesion candidate region L is continuously detected (S11). In S11, with reference to the determination result input from the continuous detection determination unit 35, when it is determined that the lesion candidate region L is continuously detected (S11: Yes), the process proceeds to S12. On the other hand, when it determines with the lesion candidate area
  • the detection result output unit 361 determines whether or not the first predetermined time has passed since the first detection of the lesion candidate region L (S12). In S12, when the detection result output unit 361 determines that the first predetermined time has elapsed since the first detection of the lesion candidate region L (S12: YES), the process proceeds to S13. When the detection result output unit 361 determines that the first predetermined time has not elapsed since the first detection of the lesion candidate region L (S12: NO), the process proceeds to S14.
  • the detection result output unit 361 performs enhancement processing on the observation image G1. After the process of S13, the process proceeds to S15.
  • the detection result output unit 361 performs a notification process on the display image G. After the process of S14, the process proceeds to S15.
  • the display image G is output to the display unit 41 (S15).
  • the processing from S11 to S15 constitutes the detection result output processing.
  • FIG. 11 is an explanatory diagram illustrating an example of screen transition in the detection result output process of the endoscope system 1a according to the second embodiment of the present invention.
  • the notification process is started by the notification unit 36b.
  • the display image G a notification image G3 is displayed.
  • the enhancement processing unit 36a starts the enhancement processing.
  • the marker image G2 is displayed.
  • the operation unit P is turned off by the operator's operation instruction and the detection result output unit 361 detects that the operation unit P is in the off state
  • the emphasis process is terminated, while the notification unit 36b.
  • the notification process is started.
  • the marker image G2 is not displayed, and the notification image G3 is displayed.
  • the notification image G3 is displayed.
  • the notification image G3 is not displayed.
  • the marker image G2 is not displayed.
  • the marker image G2 is displayed.
  • the endoscope system 1a if the first predetermined time has not elapsed since the first detection of the lesion candidate region L when the operation unit P is switched from the OFF state to the ON state by the operator, the lesion candidate region L The marker image G2 is displayed after the first predetermined time has elapsed since the first detection of.
  • the surgeon there is a time for the surgeon to visually find a lesioned part between the time when the candidate lesion region L is detected and the time when the marker image G2 is displayed. It is possible to hide the marker image G2 by an instruction, and it is possible to present a region of interest to an operator without suppressing a reduction in attention to the observation image G1 and preventing an improvement in lesion finding ability. it can. Further, since the operation unit P may be switched from the OFF state to the ON state only when necessary, the operation unit P is set to the OFF state when the marker image G2 is unnecessary, so that the lesion candidate region L that has already been noticed can be obtained. There is no troublesome display of the marker image G2.
  • the display unit 41 is configured with one monitor, but may be configured with two monitors. .
  • FIG. 12 is a block diagram showing a schematic configuration of the endoscope system 1b according to the third embodiment of the present invention.
  • FIG. 13 is a block diagram showing a configuration of the detection support unit 33 of the endoscope system 1b according to the third embodiment of the present invention.
  • FIG. 14 is an explanatory diagram illustrating an example of screen transition in the detection result output process of the endoscope system 1b according to the third embodiment of the present invention.
  • the same components as those in the first embodiment, the modified example of the first embodiment, and the second embodiment are denoted by the same reference numerals, and the description thereof is omitted.
  • the endoscope system 1b includes a first display unit 41a and a second display unit 41b.
  • the detection result output unit 362 of the endoscope system 1b includes a notification unit 362b and an enhancement processing unit 362a.
  • Each of the 1st display part 41a and the 2nd display part 41b is comprised by the monitor which can display an image.
  • the first display unit 41a is connected to the notification unit 362b and can display the first display image D1 output from the notification unit 362b.
  • the second display unit 41b is connected to the enhancement processing unit 362a and can display the second display image D2 output from the enhancement processing unit 362a.
  • the notification unit 362b When the detection unit 34 detects a lesion candidate area L in the observation image G1, the notification unit 362b performs a notification process to notify the surgeon that the lesion candidate area L has been detected, and the first display image D1. Is output to the first display unit 41a.
  • the enhancement processing unit 362a applies the observation image G1 of the subject input after the first predetermined time has elapsed since the lesion candidate region L was detected.
  • the position corresponding to the lesion candidate region L is enhanced, and the second display image D2 is generated and output to the second display unit 41b.
  • FIG. 14 is an explanatory diagram illustrating an example of screen transition in the detection result output process of the endoscope system 1b according to the third embodiment of the present invention.
  • the notification process is started by the notification unit 362b, and the notification image G3 is displayed in the first display image D1.
  • the enhancement processing unit 362a starts enhancement processing, and the marker image G2 is displayed in the second display image D2.
  • the enhancement process and the notification process are terminated, and the marker image G2 and the notification image G3 are not displayed.
  • the surgeon observes the first display image D1 displayed on the first display unit 41a that is the main screen, and the second display displayed on the second display unit 41b that is the sub screen as necessary.
  • the work image D2 can be observed.
  • the surgeon observes the subject with the first display image D1, and when the notification image G3 is displayed on the first display image D1, the surgeon observes the first display image D1 more carefully.
  • the surgeon cannot find a lesion on the first display image D1
  • the eye moves to the second display image D2 as necessary, and a first predetermined time has elapsed after the lesion candidate region L is detected. Based on the display position of the marker image G2 displayed later, the lesion candidate region L can be confirmed more carefully.
  • the surgeon there is a time for the surgeon to visually find a lesion portion after the lesion candidate region L is detected until the marker image G2 is displayed, and the marker image G2 Is displayed on the second display image D2, and the attention area is presented to the surgeon without suppressing a reduction in attention to the observation image G1 in the first display image D1 and without impairing the improvement of the lesion detection capability. be able to.
  • the second display image D2 on which the marker image G2 is displayed when necessary it is already noticed by looking at the first display image D1 without the marker image G2 when the marker image G2 is unnecessary.
  • the display of the marker image G2 in the lesion candidate area L is not bothersome.
  • one lesion candidate region L is displayed on the observation screen for the sake of explanation, but a plurality of lesion candidate regions L may be displayed on the observation screen.
  • the enhancement process is performed for each lesion candidate area L, and the enhancement process for each lesion candidate area L is performed on the observation image G1 input after the first predetermined time has elapsed since the detection of each lesion candidate area L. Is done.
  • the first predetermined time and the second predetermined time are set and fixed in advance, but can be changed by the operation unit P (FIGS. 8 and 9) or another operation unit (not shown). Any configuration may be used. According to this configuration, the surgeon can change the first predetermined time and the second predetermined time to a desired time.
  • control unit 32 performs image adjustment such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment on the imaging signal input from the endoscope 21,
  • image adjustment such as gain adjustment, white balance adjustment, gamma correction, contour enhancement correction, and enlargement / reduction adjustment on the imaging signal input from the endoscope 21,
  • the observation support image G1 after image adjustment is input to the detection support unit 33, but part or all of the image adjustment is not input to the detection support unit 33 but to the image signal output from the detection support unit 33. It may be done.
  • the detection support unit 33 is disposed inside the video processor 31, but may be disposed outside the video processor 31, for example, between the video processor 31 and the display unit 41.
  • the enhancement processing unit 36a adds the marker image G2 to the lesion candidate area L.
  • the marker image G2 may be displayed in different colors depending on the probability of the detected lesion candidate area L. I do not care.
  • the lesion candidate detection unit 34b outputs lesion candidate information including the probability information of the lesion candidate region L to the enhancement processing unit 36a, and the enhancement processing unit 36a performs color coding based on the probability information of the lesion candidate region L. Emphasize processing by. According to this configuration, when observing the lesion candidate region L, the surgeon can estimate the possibility of false positive (false detection) based on the color of the marker image G2.
  • the notification process is performed after the second predetermined time has elapsed until the lesion candidate region L is not detected by the detection unit 34.
  • the notification process may be performed after the lesion candidate region L is detected until the enhancement process is started. According to this configuration, after the lesion candidate region L is detected, until the marker image G2 is displayed, the operator can recognize that the lesion candidate region L has been detected somewhere on the observation image G1. This makes it easier to find the lesion.
  • the notification process may be performed in parallel with the enhancement process, or may be continuously performed until the lesion candidate area L is not detected by the detection unit 34 after the lesion candidate area L is detected.
  • the notification process is performed after the second predetermined time has elapsed until the lesion candidate region L is not detected by the detection unit 34.
  • the notification unit 36b may start the notification process after the enhancement process is started. According to this configuration, in addition to displaying the marker image G2, notification processing is performed, and the surgeon can more reliably recognize that the lesion candidate region L has been detected.
  • the notification unit 36b displays the notification image G3 in a region other than the observation image G1, but may display an image G5 surrounding the observation image G1, for example, as illustrated in FIG. According to this configuration, by displaying the image G5 surrounding the observation image G1, it is easy to notice that the lesion candidate region L is detected when the surgeon is paying attention to any part of the observation image G1.
  • the notification unit 36b notifies the surgeon by displaying the notification image G3.
  • the notification unit 36b may generate sound from a speaker (not shown) and notify the surgeon.
  • the detection support unit 33 is configured by a circuit, but each function of the detection support unit 33 may be configured by a processing program that realizes the function by processing of the CPU.
  • an endoscope apparatus that presents a region of interest to an operator without suppressing a reduction in attention to an observation image and without hindering improvement in lesion finding ability.

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡装置１は、被検体の観察画像Ｇ１が順次入力され、観察画像Ｇ１についての所定の特徴量に基づいて、観察画像Ｇ１における特徴領域Ｌを検出する検出部３４と、検出部３４において特徴領域Ｌが継続して検出された場合に、特徴領域Ｌを検出した時から第１所定時間経過後に入力される被検体の観察画像Ｇ１に対し、特徴領域Ｌに対応する位置の強調処理をする強調処理部３６ａと、を有する。

Description

内視鏡装置
　本発明は、内視鏡装置に関する。
　従来、内視鏡装置では、術者が、観察画像を見て病変部の有無等を判断している。術者が観察画像を見る際に病変部の見落としを抑止するため、例えば、日本国特開２０１１－２５５００６号公報に示されるように、画像処理により検出された注目領域にアラート画像を付加して観察画像を表示する内視鏡装置が提案されている。
　しかしながら、従来の内視鏡装置では、術者が病変部を発見する前にアラート画像が表示されることがあり、アラート画像によって示されていない領域に対する術者の注意力を低下させ、また、術者の目視による病変部発見意欲を削ぎ、病変部発見能力の向上を妨げる懸念がある。
　そこで、本発明は、術者に対し、観察画像に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示する内視鏡装置を提供することを目的とする。
　本発明の一態様の内視鏡装置は、被検体の観察画像が順次入力され、前記観察画像についての所定の特徴量に基づいて、前記観察画像における特徴領域を検出する検出部と、前記検出部において前記特徴領域が継続して検出された場合に、前記特徴領域を検出した時から第１所定時間経過後に入力される前記被検体の前記観察画像に対し、前記特徴領域に対応する位置の強調処理をする強調処理部と、を有する。
本発明の第１の実施形態に係わる、内視鏡システムの概略構成を示すブロック図である。 本発明の第１の実施形態に係わる、内視鏡システムの検出支援部の構成を示すブロック図である。 本発明の第１の実施形態に係わる、内視鏡システムの表示用画像の画面構成の例を説明する説明図である。 本発明の第１の実施形態に係わる、内視鏡システムの検出結果出力処理の流れを説明するフローチャートである。 本発明の第１の実施形態に係わる、内視鏡システムの検出結果出力処理における画面遷移の例を説明する説明図である。 本発明の第１の実施形態の変形例に係わる、内視鏡システムの表示用画像の画面構成の例を説明する説明図である。 本発明の第１の実施形態の変形例に係わる、内視鏡システムの検出結果出力処理における画面遷移の例を説明する説明図である。 本発明の第２の実施形態に係わる、内視鏡システムの概略構成を示すブロック図である。 本発明の第２の実施形態に係わる、内視鏡システムの検出支援部の構成を示すブロック図である。 本発明の第２の実施形態に係わる、内視鏡システムの検出結果出力処理の流れを説明するフローチャートである。 本発明の第２の実施形態に係わる、内視鏡システムの検出結果出力処理における画面遷移の例を説明する説明図である。 本発明の第３の実施形態に係わる、内視鏡システムの概略構成を示すブロック図である。 本発明の第３の実施形態に係わる、内視鏡システムの検出支援部の構成を示すブロック図である。 本発明の第３の実施形態に係わる、内視鏡システムの検出結果出力処理における画面遷移の例を説明する説明図である。 本発明の第１の実施形態に係わる、内視鏡システムの表示用画像の画面構成の例を説明する説明図である。
　以下、図面を参照しながら、本発明の実施の形態を説明する。
　（第１の実施形態）
　（構成）
　図１は、本発明の第１の実施形態に係わる、内視鏡システム１の概略構成を示すブロック図である。
　内視鏡装置である内視鏡システム１の概略構成は、光源駆動部１１と、内視鏡２１と、ビデオプロセッサ３１と、表示部４１とを有して構成される。光源駆動部１１は、内視鏡２１と、ビデオプロセッサ３１とに接続される。内視鏡２１は、ビデオプロセッサ３１に接続される。ビデオプロセッサ３１は、表示部４１に接続される。
　光源駆動部１１は、内視鏡２１の挿入部２２の先端に設けられたＬＥＤ２３を駆動する回路である。光源駆動部１１は、ビデオプロセッサ３１の制御部３２と、内視鏡２１のＬＥＤ２３とに接続される。光源駆動部１１は、制御部３２から制御信号が入力され、ＬＥＤ２３に対して駆動信号を出力し、ＬＥＤ２３を駆動して発光させることができるように構成される。
　内視鏡２１は、挿入部２２を被検体内に挿入し、被検体内を撮像できるように構成される。内視鏡２１は、ＬＥＤ２３と、撮像素子２４とを有して構成される撮像部を有している。
　ＬＥＤ２３は、内視鏡２１の挿入部２２に設けられ、光源駆動部１１の制御下において、被検体に照明光を照射できるように構成される。
　撮像素子２４は、内視鏡２１の挿入部２２に設けられ、照明光が照射された被検体の反射光を図示しない観察窓を介して取り込むことができるように配置される。
　撮像素子２４は、観察窓から取り込まれた被検体の反射光を、光電変換し、図示しないＡＤ変換器により、アナログの撮像信号からデジタルの撮像信号に変換し、ビデオプロセッサ３１に出力する。
　ビデオプロセッサ３１は、画像処理回路を有する内視鏡画像処理装置である。ビデオプロセッサ３１は、制御部３２と、検出支援部３３とを有して構成される。
　制御部３２は、光源駆動部１１に制御信号を送信し、ＬＥＤ２３を駆動可能である。
　制御部３２は、内視鏡２１から入力される撮像信号に対し、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整を行い、後述する被検体の観察画像Ｇ１を検出支援部３３に順次出力可能である。
　図２は、本発明の第１の実施形態に係わる、内視鏡システム１の検出支援部３３の構成を示すブロック図である。図２に示すように、検出支援部３３は、検出部３４と、判定部である継続検出判定部３５と、検出結果出力部３６とを有して構成される。
　検出部３４は、被検体の観察画像Ｇ１が順次入力され、観察画像Ｇ１についての所定の特徴量に基づいて、観察画像Ｇ１における特徴領域である病変候補領域Ｌを検出する回路である。検出部３４は、特徴量算出部３４ａと、病変候補検出部３４ｂとを有して構成される。
　特徴量算出部３４ａは、被検体の観察画像Ｇ１についての所定の特徴量を算出する回路である。特徴量算出部３４ａは、制御部３２と、病変候補検出部３４ｂとに接続される。特徴量算出部３４ａは、制御部３２から順次入力される被検体の観察画像Ｇ１から所定の特徴量を算出し、病変候補検出部３４ｂに出力可能である。
　所定の特徴量は、観察画像Ｇ１上の所定小領域毎に、所定小領域内の各画素と、当該画素に隣接する画素との変化量、すなわち、傾き値を演算して算出される。なお、特徴量は、隣接画素との傾き値によって算出される方法に限られず、別の方法で観察画像Ｇ１を数値化させたものでも構わない。
　病変候補検出部３４ｂは、特徴量の情報から観察画像Ｇ１の病変候補領域Ｌを検出する回路である。病変候補検出部３４ｂは、複数のポリープモデル情報を予め記憶できるように、ＲＯＭ３４ｃを有して構成される。病変候補検出部３４ｂは、検出結果出力部３６と、継続検出判定部３５に接続される。
　ポリープモデル情報は、多くのポリープ画像が共通して持つ特徴の特徴量によって構成される。
　病変候補検出部３４ｂは、特徴量算出部３４ａから入力される所定の特徴量と、複数のポリープモデル情報とに基づいて病変候補領域Ｌを検出し、検出結果出力部３６と、継続検出判定部３５とに、病変候補情報を出力する。
　より具体的には、病変候補検出部３４ｂは、特徴量検出部から入力される所定小領域毎の所定の特徴量と、ＲＯＭ３４ｃに記憶されるポリープモデル情報の特徴量とを比較し、互いの特徴量が一致するとき、病変候補領域Ｌを検出する。病変候補領域Ｌが検出されると、病変候補検出部３４ｂは、検出結果出力部３６と、継続検出判定部３５とに、検出された病変候補領域Ｌの位置情報、大きさ情報を含む、病変候補情報を出力する。
　継続検出判定部３５は、病変候補領域Ｌが継続して検出されているか否かを判定する回路である。継続検出判定部３５は、１フレーム前の病変候補情報を記憶できるように、ＲＡＭ３５ａを有して構成される。継続検出判定部３５は、検出結果出力部３６に接続される。
　継続検出判定部３５は、例えば、観察画像Ｇ１上において、病変候補領域Ｌの位置が、ずれたとき等であっても当該病変候補領域Ｌを追跡できるように、第１観察画像上の第１病変候補領域と、第１観察画像よりも前に入力された第２観察画像上の第２病変候補領域とが同じ病変候補領域Ｌであるか否かを判定し、順次入力される複数の観察画像Ｇ１上において同じ病変候補領域Ｌが連続的又は断続的に検出されるとき、病変候補領域Ｌの検出が継続していると判定し、判定結果を検出結果出力部３６に出力する。
　検出結果出力部３６は、検出結果の出力処理をする回路である。検出結果出力部３６は、強調処理部３６ａと、報知部３６ｂとを有して構成される。検出結果出力部３６は、表示部４１に接続される。検出結果出力部３６は、制御部３２から入力される観察画像Ｇ１と、病変候補検出部３４ｂから入力される病変候補情報と、継続検出判定部３５から入力される判定結果とに基づいて、強調処理及び報知処理を行うことが可能である。検出結果出力部３６は、表示用画像Ｇを表示部４１に出力する。
　図３は、本発明の第１の実施形態に係わる、内視鏡システム１の表示用画像Ｇの画面構成の例を説明する説明図である。検出結果出力部３６から出力される表示用画像Ｇ中には、図３に示すように、観察画像Ｇ１が配置される。図３は、観察画像Ｇ１の一例として、病変候補領域Ｌを有する大腸の内壁を表している。
　強調処理部３６ａは、病変候補検出部３４ｂにおいて病変候補領域Ｌが継続して検出された場合に、病変候補領域Ｌを検出した時から第１所定時間経過後に入力される被検体の観察画像Ｇ１に対し、病変候補領域Ｌに対応する位置の強調処理をする。
　より具体的には、継続検出判定部３５によって継続して検出されていると判定される病変候補領域Ｌが、第１所定時間継続して検出されるとき、強調処理は開始する。
　第１所定時間は、術者が、目視観察により、観察画像Ｇ１から病変部を高い確率で発見可能な時間であり、例えば、０．５秒に予め設定される。第１所定時間は、フレーム数によって規定され、例えば、１秒間のフレーム数が３０であるとき、第１所定時間は１５フレームによって規定される。
　強調処理は、最長で第２所定時間行われ、第２所定時間経過後に終了する。第２所定時間経過する前に、病変候補領域Ｌが継続検出判定部３５によって継続して検出されている状態が終わった場合には、その時点で強調処理も終了する。
　より具体的には、継続検出判定部３５によって継続して検出されていると判定される病変候補領域Ｌが、第１所定時間経過して強調処理を開始した後、第２所定時間経過した場合には、継続して検出されていても、強調処理は終了する。
　第２所定時間は、術者が、マーカ画像Ｇ２から病変候補領域Ｌを十分認識可能な時間であり、例えば、１．５秒に予め設定される。第２所定時間は、フレーム数によって規定され、例えば、１秒間のフレーム数が３０であるとき、第２所定時間は４５フレームによって規定される。
　強調処理は、病変候補領域Ｌの位置を示す表示を行う処理である。より具体的には、強調処理は、制御部３２から入力される観察画像Ｇ１に対し、病変候補情報に含まれる、位置情報及び大きさ情報に基づいて、病変候補領域Ｌを囲むマーカ画像Ｇ２を付加する処理である。なお、図３では、一例として、マーカ画像Ｇ２は、四角形で示しているが、例えば、三角形、円形、星形等どのような画像でも構わない。また、図３では、一例として、マーカ画像Ｇ２は、病変候補領域Ｌを囲む枠画像であるが、病変候補領域Ｌの位置を示すことができるものであれば、病変候補領域Ｌを囲まない画像であっても構わない。例えば、病変候補領域Ｌの明るさや色調を周辺領域とは異なるものとすることによって病変候補領域Ｌの位置を示してもよい。
　報知部３６ｂは、観察画像Ｇ１に病変候補領域Ｌが存在することを、強調処理とは異なる報知処理によって術者に報知できるように構成される。報知処理は、強調処理が終了する第２所定時間経過後から、検出部３４による病変候補領域Ｌの継続検出が終了するまで行われる。
　報知処理は、観察画像Ｇ１以外の領域に報知画像Ｇ３を表示させる処理である。図３の２点鎖線では、一例として旗模様の報知画像Ｇ３を示しているが、報知画像Ｇ３は、例えば、三角形、円形、星形等どのような画像でも構わない。
　表示部４１は、モニタによって構成され、検出結果出力部３６から入力される表示用画像Ｇを画面上に表示可能である。
　（作用）
　続いて、検出結果出力部３６の検出結果出力処理について説明をする。
　図４は、本発明の第１の実施形態に係わる、内視鏡システム１の検出結果出力処理の流れを説明するフローチャートである。
　内視鏡２１によって被検体が撮像されると、制御部３２によって画像調整処理がされた後、観察画像Ｇ１が検出支援部３３に入力される。検出支援部３３に観察画像Ｇ１が入力されると、特徴量算出部３４ａは、観察画像Ｇ１の所定の特徴量を算出し、病変候補検出部３４ｂに出力する。病変候補検出部３４ｂは、入力された所定の特徴量と、ポリープモデル情報の特徴量とを比較し、病変候補領域Ｌの検出をする。病変候補領域Ｌの検出結果は、継続検出判定部３５と、検出結果出力部３６とに出力される。継続検出判定部３５は、病変候補領域Ｌが継続して検出されているか否かを判定し、判定結果を検出結果出力部３６に出力する。
　検出結果出力部３６は、病変候補領域Ｌが継続検出されているかを判定する（Ｓ１）。Ｓ１では、継続検出判定部３５から入力される判定結果を参照し、病変候補領域Ｌが継続して検出されていると判定するとき（Ｓ１：Ｙｅｓ）、処理はＳ２に進む。一方、病変候補領域Ｌが継続して検出されていないと判定するとき（Ｓ１：Ｎｏ）、処理は、Ｓ５に進む。
　検出結果出力部３６は、病変候補領域Ｌの最初の検出からの経過時間を判定する（Ｓ２）。Ｓ２では、検出結果出力部３６は、病変候補領域Ｌの最初の検出からの経過時間を判定し、経過時間が、第１所定時間未満（例えば、最初の検出から０．５秒未満、すなわち１５フレーム未満）であると判定するとき、処理はＳ５に進む。検出結果出力部３６は、経過時間が、第１所定時間経過後、第２所定時間未満（例えば、最初の検出から０．５秒以上かつ２．０秒未満、すなわち、１５フレーム以上かつ４５フレーム未満）であると判定するとき、処理は、Ｓ３に進む。検出結果出力部３６は、経過時間が、第１所定時間及び第２所定時間の合計以上（例えば、最初の検出から２．０秒以上、すなわち、４５フレーム以上）であるとき、処理はＳ４に進む。
　Ｓ３では、検出結果出力部３６は、強調処理をする。Ｓ３では、検出結果出力部３６は、観察画像Ｇ１に、マーカ画像Ｇ２を付加する。Ｓ３の処理の後、処理はＳ５に進む。
　Ｓ４では、検出結果出力部３６は、報知処理をする。Ｓ４では、検出結果出力部３６は、報知処理をし、表示用画像Ｇに報知画像Ｇ３を付加する。Ｓ４の処理の後、処理はＳ５に進む。
　表示用画像Ｇを表示部４１に出力する（Ｓ５）。
　Ｓ１からＳ５の処理が検出結果出力処理を構成する。
　図５は、本発明の第１の実施形態に係わる、内視鏡システム１の検出結果出力処理における画面遷移の例を説明する説明図である。
　Ｓ１からＳ５の検出結果出力処理を繰り返すことにより、図５に示すように、表示用画像Ｇは遷移する。
　まず、病変候補領域Ｌが最初に検出された後、第１所定時間経過するまでは、マーカ画像Ｇ２は表示されない。続いて、病変候補領域Ｌが、第１所定時間継続して検出されるとき、強調処理部３６ａによって強調処理が開始され、表示用画像Ｇでは、マーカ画像Ｇ２が表示される。続いて、病変候補領域Ｌが、第２所定時間経過しても継続して検出されるとき、強調処理が終了されるとともに、報知部３６ｂによって報知処理が開始され、表示用画像Ｇでは、マーカ画像Ｇ２が非表示にされるとともに報知画像Ｇ３が表示される。続いて、病変候補領域Ｌが検出されなくなると、報知処理が終了され、報知画像Ｇ３が非表示になる。
　上述の第１の実施形態によれば、注目領域である病変候補領域Ｌが検出されてからマーカ画像Ｇ２が表示されるまでの間に術者自ら目視によって病変部を発見する時間があり、術者に対し、観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　（第１の実施形態の変形例）
　上述の第１の実施形態では、表示用画像Ｇは、動画像である観察画像Ｇ１を有して構成されるが、表示用画像Ｇは、観察画像Ｇ１と静止画像Ｇ４とによって構成されても構わない。
　図６は、本発明の第１の実施形態に係わる、内視鏡システム１の表示用画像Ｇの画面構成の例を説明する説明図である。図７は、本発明の第１の実施形態の変形例に係わる、内視鏡システム１の検出結果出力処理における画面遷移の例を説明する説明図である。
　第１の実施形態の変形例では、検出結果出力部３６は、静止画像処理部３６ｃと、メモリ３６ｄとを有して構成される（図２の２点鎖線）。
　静止画像処理部３６ｃは、検出部３４において病変候補領域Ｌが検出された場合に、図６に示す静止画像Ｇ４を第１所定時間経過後に表示させることができるように構成される。
　メモリ３６ｄは、静止画像Ｇ４を一時的に記憶できるように構成される。
　検出結果出力部３６は、病変候補領域Ｌが継続検出されていると判定するとき、メモリ３６ｄに静止画像Ｇ４を一時的に記憶させる。
　図７に示すように、検出結果出力部３６は、第１所定時間経過後に、メモリ３６ｄに一時的に記憶された静止画像Ｇ４に対してマーカ画像Ｇ２ａを付加し、静止画像Ｇ４を表示する。検出結果出力部３６は、第１所定時間経過後から、さらに第２所定時間経過したとき、静止画像Ｇ４を非表示にする。
　上述の第１の実施形態の変形例によれば、より確実に病変候補領域Ｌの位置を術者に示すことが可能であり、術者に対し、観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。
　（第２の実施形態）
　上述の第１の実施形態及び第１の実施形態の変形例では、病変候補領域Ｌが第１所定時間継続して検出されるとき、強調処理を開始するが、病変候補領域Ｌが第１所定時間継続して検出され、かつ操作部がＯＮ状態であるとき、強調処理部３６ａが強調処理を開始してもよい。
　図８は、本発明の第２の実施形態に係わる、内視鏡システム１ａの概略構成を示すブロック図である。図９は、本発明の第２の実施形態に係わる、内視鏡システム１ａの検出支援部３３の構成を示すブロック図である。第２の実施形態の説明においては、第１の実施形態及び第１の実施形態の変形例と同じ構成については、同じ符号を付し、説明を省略する。
　第２の実施形態の内視鏡装置１ａは、操作部Ｐと、検出結果出力部３６１を有して構成される。
　操作部Ｐは、術者の操作指示により、ＯＮ状態とＯＦＦ状態とを切替え可能なスイッチにより構成される。操作部Ｐは、検出結果出力部３６１に接続される。
　検出結果出力部３６１は、操作部ＰのＯＮ／ＯＦＦ状態を検出できるように構成される。病変候補領域Ｌが第１所定時間継続して検出され、かつ操作部ＰがＯＮ状態であることが検出されるとき、強調処理部３６ａは、強調処理を開始する。
　続いて、検出結果出力部３６１における検出結果出力処理について説明をする。
　図１０は、本発明の第２の実施形態に係わる、内視鏡システム１ａの検出結果出力処理の流れを説明するフローチャートである。
　検出結果出力部３６１は、病変候補領域Ｌが継続検出されているかを判定する（Ｓ１１）。Ｓ１１では、継続検出判定部３５から入力される判定結果を参照し、病変候補領域Ｌが継続して検出されていると判定するとき（Ｓ１１：Ｙｅｓ）、処理はＳ１２に進む。一方、病変候補領域Ｌが継続して検出されていないと判定するとき（Ｓ１１：Ｎｏ）、処理は、Ｓ１５に進む。
　検出結果出力部３６１は、病変候補領域Ｌの最初の検出から第１所定時間を経過しているか否かを判定する（Ｓ１２）。Ｓ１２では、検出結果出力部３６１が、病変候補領域Ｌの最初の検出から第１所定時間を経過していると判定するとき（Ｓ１２：ＹＥＳ）、処理はＳ１３に進む。検出結果出力部３６１が、病変候補領域Ｌの最初の検出から第１所定時間を経過していないと判定するとき（Ｓ１２：ＮＯ）、処理はＳ１４に進む。
　Ｓ１３では、検出結果出力部３６１は、観察画像Ｇ１に対して強調処理をする。Ｓ１３の処理の後、処理はＳ１５に進む。
　Ｓ１４では、検出結果出力部３６１は、表示用画像Ｇに対して報知処理をする。Ｓ１４の処理の後、処理はＳ１５に進む。
　表示用画像Ｇを表示部４１に出力する（Ｓ１５）。
　Ｓ１１からＳ１５の処理が検出結果出力処理を構成する。
　図１１は、本発明の第２の実施形態に係わる、内視鏡システム１ａの検出結果出力処理における画面遷移の例を説明する説明図である。
　Ｓ１１からＳ１５の検出結果出力処理を繰り返すことにより、図１１に示すように、表示用画像Ｇは遷移する。
　病変候補領域Ｌが継続して検出されると、報知部３６ｂによって報知処理が開始される。表示用画像Ｇでは、報知画像Ｇ３が表示される。続いて、病変候補領域Ｌが第１所定時間継続して検出され、かつ操作部ＰがＯＮ状態であることが検出されると、強調処理部３６ａによって強調処理が開始される。表示用画像Ｇの観察画像Ｇ１では、マーカ画像Ｇ２が表示される。続いて、術者の操作指示によって操作部ＰがＯＦＦ状態にされ、検出結果出力部３６１によって操作部ＰがＯＦＦ状態であることが検出されると、強調処理が終了され、一方、報知部３６ｂによって報知処理が開始される。表示用画像Ｇでは、マーカ画像Ｇ２が非表示になり、報知画像Ｇ３が表示される。続いて、病変候補領域Ｌが検出されなくなると、報知処理が終了される。表示用画像Ｇでは、報知画像Ｇ３が非表示になる。
　これにより、内視鏡システム１ａでは、術者の操作指示によって操作部ＰがＯＦＦ状態にされると、マーカ画像Ｇ２は非表示になる。内視鏡システム１ａでは、操作部ＰがＯＮ状態であり、かつ病変候補領域Ｌが第１所定時間継続して検出されたとき、マーカ画像Ｇ２は表示される。内視鏡システム１ａでは、術者によって操作部ＰがＯＦＦ状態からＯＮ状態に切り替えられたときに病変候補領域Ｌの最初の検出から第１所定時間経過していない場合には、病変候補領域Ｌの最初の検出から第１所定時間経過後にマーカ画像Ｇ２が表示される。
　上述の第２の実施形態によれば、病変候補領域Ｌが検出されてからマーカ画像Ｇ２が表示されるまでの間に術者自ら目視によって病変部を発見する時間があり、かつ術者の操作指示によってマーカ画像Ｇ２を非表示にすることが可能であり、術者に対し、観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。また、必要なときのみ操作部ＰをＯＦＦ状態からＯＮ状態に切り替えればよいので、マーカ画像Ｇ２が不要なときには操作部ＰをＯＦＦ状態にしておくことにより、既に気付いている病変候補領域Ｌへのマーカ画像Ｇ２の表示を煩わしく感じることも無い。
　（第３の実施形態）
　上述の第１の実施形態、第１の実施形態の変形例及び第２の実施形態では、表示部４１を構成するモニタは１つであるが、２つのモニタを有して構成されてもよい。
　図１２は、本発明の第３の実施形態に係わる、内視鏡システム１ｂの概略構成を示すブロック図である。図１３は、本発明の第３の実施形態に係わる、内視鏡システム１ｂの検出支援部３３の構成を示すブロック図である。図１４は、本発明の第３の実施形態に係わる、内視鏡システム１ｂの検出結果出力処理における画面遷移の例を説明する説明図である。第３の実施形態の説明においては、第１の実施形態、第１の実施形態の変形例及び第２の実施形態と同じ構成については、同じ符号を付し、説明を省略する。
　内視鏡システム１ｂは、図１２に示すように、第１表示部４１ａ及び第２表示部４１ｂを有して構成される。内視鏡システム１ｂの検出結果出力部３６２は、図１３に示すように、報知部３６２ｂ及び強調処理部３６２ａを有して構成される。
　第１表示部４１ａ及び第２表示部４１ｂの各々は、画像表示可能であるモニタによって構成される。
　第１表示部４１ａは、報知部３６２ｂに接続され、報知部３６２ｂから出力される第１表示用画像Ｄ１を表示可能である。
　第２表示部４１ｂは、強調処理部３６２ａに接続され、強調処理部３６２ａから出力される第２表示用画像Ｄ２を表示可能である。
　報知部３６２ｂは、検出部３４によって観察画像Ｇ１中に病変候補領域Ｌが検出されたとき、病変候補領域Ｌが検出されたことを術者に報知する報知処理をし、第１表示用画像Ｄ１を生成して第１表示部４１ａに出力する。
　強調処理部３６２ａは、病変候補検出部３４ｂにおいて病変候補領域Ｌが継続して検出されたとき、病変候補領域Ｌを検出した時から第１所定時間経過後に入力される被検体の観察画像Ｇ１に対し、病変候補領域Ｌに対応する位置の強調処理をし、第２表示用画像Ｄ２を生成して第２表示部４１ｂに出力する。
　図１４は、本発明の第３の実施形態に係わる、内視鏡システム１ｂの検出結果出力処理における画面遷移の例を説明する説明図である。
　病変候補領域Ｌが継続して検出されると、報知部３６２ｂによって報知処理が開始され、第１表示用画像Ｄ１では報知画像Ｇ３が表示される。続いて、病変候補領域Ｌが第１所定時間継続して検出されると、強調処理部３６２ａによって強調処理が開始され、第２表示用画像Ｄ２では、マーカ画像Ｇ２が表示される。続いて、病変候補領域Ｌが検出されなくなると、強調処理及び報知処理が終了され、マーカ画像Ｇ２及び報知画像Ｇ３が非表示になる。
　これにより、術者は、メイン画面である第１表示部４１ａに表示される第１表示用画像Ｄ１を観察し、必要に応じてサブ画面である第２表示部４１ｂに表示される第２表示用画像Ｄ２を観察可能である。例えば、術者は、第１表示用画像Ｄ１によって被検体の観察を行い、第１表示用画像Ｄ１に報知画像Ｇ３が表示されたとき、より注意深く第１表示用画像Ｄ１を観察し、術者が自ら目視によって病変部を発見することが可能である。さらに、術者は、第１表示用画像Ｄ１上で病変部を発見できないときには、必要に応じて第２表示用画像Ｄ２に目を移し、病変候補領域Ｌが検出されてから第１所定時間経過後に表示されるマーカ画像Ｇ２の表示位置に基づいて、病変候補領域Ｌをより注意深く確認することが可能である。
　上述の第３の実施形態によれば、病変候補領域Ｌが検出されてからマーカ画像Ｇ２が表示されるまでの間に術者自ら目視によって病変部を発見する時間があり、また、マーカ画像Ｇ２が第２表示用画像Ｄ２に表示され、術者に対し、第１表示用画像Ｄ１における観察画像Ｇ１に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示することができる。また、必要なときのみマーカ画像Ｇ２が表示される第２表示用画像Ｄ２を見ればよいので、マーカ画像Ｇ２が不要なときにはマーカ画像Ｇ２が無い第１表示用画像Ｄ１を見ることにより、既に気付いている病変候補領域Ｌへのマーカ画像Ｇ２の表示を煩わしく感じることも無い。
　なお、実施形態では、説明のため観察画面に表示される病変候補領域Ｌは１つであるが、観察画面には複数の病変候補領域Ｌが表示される場合もある。その場合、強調処理は、各病変候補領域Ｌに対して行われ、各病変候補領域Ｌの検出から第１所定時間経過後に入力される観察画像Ｇ１に対して各病変候補領域Ｌの強調処理がされる。
　なお、実施形態では、第１所定時間及び第２所定時間は、予め設定され、固定されているが、操作部Ｐ（図８、図９）、又は、図示しない他の操作部によって設定変更可能な構成にしてもよい。この構成によれば、術者は、第１所定時間と第２所定時間を所望の時間に変更可能である。
　なお、実施形態では、制御部３２は、内視鏡２１から入力される撮像信号に対し、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像調整を行い、画像調整後の観察画像Ｇ１を検出支援部３３に入力させるが、画像調整の一部又は全部は、検出支援部３３に入力される前ではなく、検出支援部３３から出力される画像信号に対して行われても構わない。
　なお、実施形態では、検出支援部３３は、ビデオプロセッサ３１の内部に配置されるが、例えば、ビデオプロセッサ３１と表示部４１の間等、ビデオプロセッサ３１の外部に配置されても構わない。
　さらになお、実施形態では、強調処理部３６ａは、マーカ画像Ｇ２を病変候補領域Ｌに付加させるが、マーカ画像Ｇ２は、検出された病変候補領域Ｌの確からしさにより、色分けして表示されても構わない。この場合、病変候補検出部３４ｂは、病変候補領域Ｌの確からしさ情報を含む病変候補情報を強調処理部３６ａに出力し、強調処理部３６ａは、病変候補領域Ｌの確からしさ情報に基づいた色分けによって強調処理をする。この構成によれば、術者が、病変候補領域Ｌを観察する際、マーカ画像Ｇ２の色によってフォールスポジティブ（誤検出）の可能性の大小を推測可能である。
　また、第１の実施形態、第１の実施形態の変形例及び第２の実施形態では、報知処理は、第２所定時間経過後から、検出部３４によって病変候補領域Ｌが検出されなくなるまで行われるが、報知処理は、病変候補領域Ｌが検出された後、強調処理の開始まで、行われても構わない。この構成によれば、病変候補領域Ｌが検出された後、マーカ画像Ｇ２が表示されるまでの間、術者は病変候補領域Ｌが観察画像Ｇ１上のどこかに検出されたことを認識可能であり、病変部が発見されやすくなる。また、報知処理は強調処理と並行して行なってもよく、病変候補領域Ｌが検出された後、検出部３４によって病変候補領域Ｌが検出されなくなるまで継続して行われても構わない。
　なお、第１の実施形態、第１の実施形態の変形例及び第２の実施形態では、報知処理は、第２所定時間経過後から、検出部３４によって病変候補領域Ｌが検出されなくなるまで、行われるが、報知部３６ｂは、強調処理が開始された後、報知処理を開始しても構わない。この構成によれば、マーカ画像Ｇ２の表示に加えて報知処理がされ、術者は、病変候補領域Ｌが検出されたことをより確実に認識可能である。
　なお、実施形態では、報知部３６ｂは、報知画像Ｇ３を観察画像Ｇ１以外の領域に表示させるが、例えば、図１５に示すように、観察画像Ｇ１を囲む画像Ｇ５を表示させても構わない。この構成によれば、観察画像Ｇ１を囲む画像Ｇ５の表示により、術者が、観察画像Ｇ１のどの部分を注目しているときにおいても、病変候補領域Ｌが検出されていることに気づきやすい。
　なお、実施形態では、報知部３６ｂは、報知画像Ｇ３を表示することによって術者に報知するが、報知部３６ｂは、図示しないスピーカから音を発生させ、術者に報知しても構わない。
　なお、実施形態では、検出支援部３３は、回路により構成されるが、検出支援部３３の各機能は、ＣＰＵの処理によって機能が実現する処理プログラムによって構成されても構わない。
　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本発明によれば、術者に対し、観察画像に対する注意力の低下を抑え、病変部発見能力の向上を妨げずに、注目領域を提示する内視鏡装置を提供することができる。
　本出願は、２０１５年１１月１０日に日本国に出願された特願２０１５－２２０５２１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (19)

  1. 　被検体の観察画像が順次入力され、前記観察画像についての所定の特徴量に基づいて、前記観察画像における特徴領域を検出する検出部と、
    　前記検出部において前記特徴領域が継続して検出された場合に、前記特徴領域を検出した時から第１所定時間経過後に入力される前記被検体の前記観察画像に対し、前記特徴領域に対応する位置の強調処理をする強調処理部と、
    　を有することを特徴とする内視鏡装置。
  2. 　前記強調処理は、第２所定時間行われ、前記第２所定時間経過後に終了することを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記観察画像に前記特徴領域が存在することを、前記強調処理とは異なる報知処理によって術者に報知する報知部を有することを特徴とする請求項２に記載の内視鏡装置。
  4. 　前記報知処理は、前記第２所定時間経過後から、前記検出部によって前記特徴領域が検出されなくなるまで行われることを特徴とする請求項３に記載の内視鏡装置。
  5. 　前記報知処理は、前記特徴領域が検出された後、前記強調処理の開始まで行われることを特徴とする請求項３に記載の内視鏡装置。
  6. 　前記報知処理は、前記特徴領域が検出された後、前記検出部によって前記特徴領域が検出されなくなるまで行われることを特徴とする請求項３に記載の内視鏡装置。
  7. 　前記第１所定時間及び前記第２所定時間は、フレーム数によって規定されることを特徴とする請求項２に記載の内視鏡装置。
  8. 　判定部を有し、
    　前記判定部は、第１観察画像上の第１特徴領域と、前記第１観察画像よりも前に入力された第２観察画像上の第２特徴領域とが同一の特徴領域であるか否かを判定する、
    　ことを特徴とする請求項２に記載の内視鏡装置。
  9. 　前記判定部は、前記特徴領域が連続的又は断続的に検出されるとき、前記特徴領域が継続して検出されていると判定することを特徴とする請求項８に記載の内視鏡装置。
  10. 　前記判定部によって継続して検出されていると判定される前記特徴領域が、第１所定時間継続して検出されるとき、前記強調処理部は、前記強調処理を開始することを特徴とする請求項８に記載の内視鏡装置。
  11. 　前記判定部によって継続して検出されていると判定される前記特徴領域が、第１所定時間経過後、第２所定時間経過しても継続して検出されるとき、前記強調処理部は、前記強調処理を終了することを特徴とする請求項８に記載の内視鏡装置。
  12. 　前記検出部は、検出された前記特徴領域の確からしさ情報を出力可能であり、
    　前記強調処理部は、前記確からしさ情報に基づいた色分けによって前記強調処理をする、
    　ことを特徴とする請求項１に記載の内視鏡装置。
  13. 　静止画像処理部を有し、
    　前記静止画像処理部は、前記検出部において前記特徴領域が検出された場合に、静止画像を第１所定時間経過後に表示させることを特徴とする、
    　請求項１に記載の内視鏡装置。
  14. 　操作部を有し、
    　前記第１所定時間及び前記第２所定時間は、前記操作部によって設定入力可能であることを特徴とする請求項２に記載の内視鏡装置。
  15. 　前記報知処理は、前記観察画像を囲む画像を表示させる処理であることを特徴とする請求項３に記載の内視鏡装置。
  16. 　前記強調処理は、前記特徴領域の位置を示す表示を行う処理であることを特徴とする請求項１に記載の内視鏡装置。
  17. 　操作部を有し、
    　前記操作部は、ＯＮ状態とＯＦＦ状態とを切替え可能であり、
    　前記強調処理部は、前記特徴領域が前記第１所定時間継続して検出され、かつ前記操作部がＯＮ状態であることが検出されるとき、前記強調処理を開始する、
    　ことを特徴とする請求項１に記載の内視鏡装置。
  18. 　第１表示部及び第２表示部を有し、
    　前記第１表示部は、前記報知部から出力される第１表示用画像を表示可能であり、
    　前記第２表示部は、前記強調処理部から出力される第２表示用画像を表示可能である、
    　ことを特徴とする請求項３に記載の内視鏡装置。
  19. 　前記報知部は、前記検出部によって前記特徴領域が検出された場合に、音を発生することを特徴とする請求項３に記載の内視鏡装置。
PCT/JP2016/080307 2015-11-10 2016-10-13 内視鏡装置 WO2017081976A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680065257.2A CN108348145B (zh) 2015-11-10 2016-10-13 内窥镜装置
JP2017533371A JP6246431B2 (ja) 2015-11-10 2016-10-13 内視鏡装置
EP16863940.9A EP3360461A4 (en) 2015-11-10 2016-10-13 ENDOSCOPE DEVICE
US15/970,017 US10863893B2 (en) 2015-11-10 2018-05-03 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-220521 2015-11-10
JP2015220521 2015-11-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/970,017 Continuation US10863893B2 (en) 2015-11-10 2018-05-03 Endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2017081976A1 true WO2017081976A1 (ja) 2017-05-18

Family

ID=58696009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080307 WO2017081976A1 (ja) 2015-11-10 2016-10-13 内視鏡装置

Country Status (5)

Country Link
US (1) US10863893B2 (ja)
EP (1) EP3360461A4 (ja)
JP (1) JP6246431B2 (ja)
CN (1) CN108348145B (ja)
WO (1) WO2017081976A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN110662476A (zh) * 2017-05-25 2020-01-07 日本电气株式会社 信息处理装置、控制方法和程序
CN110662477A (zh) * 2017-05-25 2020-01-07 日本电气株式会社 信息处理装置、控制方法和程序
CN110663251A (zh) * 2017-06-02 2020-01-07 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
WO2020021864A1 (ja) * 2018-07-27 2020-01-30 富士フイルム株式会社 医療画像処理装置
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020040086A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020054542A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020067105A1 (ja) * 2018-09-28 2020-04-02 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム
WO2020071086A1 (ja) 2018-10-04 2020-04-09 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP2020069300A (ja) * 2018-11-02 2020-05-07 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び医療診断支援方法
JPWO2019087790A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
CN111989025A (zh) * 2018-03-30 2020-11-24 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法和诊断辅助程序
US10893792B2 (en) 2016-10-25 2021-01-19 Olympus Corporation Endoscope image processing apparatus and endoscope image processing method
CN112584740A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 医疗图像处理装置
WO2021149169A1 (ja) * 2020-01-21 2021-07-29 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
WO2021201272A1 (ja) 2020-04-03 2021-10-07 富士フイルム株式会社 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
WO2022186109A1 (ja) 2021-03-01 2022-09-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP7411772B2 (ja) 2018-08-17 2024-01-11 富士フイルム株式会社 内視鏡システム
JP7488789B2 (ja) 2021-05-12 2024-05-22 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
JP6751815B2 (ja) * 2017-04-28 2020-09-09 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法
CN112584742B (zh) * 2018-08-20 2024-04-30 富士胶片株式会社 医疗图像处理系统
JP7232424B2 (ja) * 2018-09-11 2023-03-03 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2020110214A1 (ja) * 2018-11-28 2020-06-04 オリンパス株式会社 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020110310A1 (ja) * 2018-11-30 2020-06-04 オリンパス株式会社 表示装置及び内視鏡システム
WO2020136858A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
JP7438038B2 (ja) 2020-06-25 2024-02-26 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398685A (en) * 1992-01-10 1995-03-21 Wilk; Peter J. Endoscopic diagnostic system and associated method
US20050240882A1 (en) * 2004-04-21 2005-10-27 Ge Medical Systems Information Technologies, Inc. Method and system for displaying regions of pathological interest
JP6103827B2 (ja) * 2012-06-14 2017-03-29 オリンパス株式会社 画像処理装置および立体画像観察システム
JP5993237B2 (ja) * 2012-07-25 2016-09-14 オリンパス株式会社 蛍光観察装置
JP6265627B2 (ja) * 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6120762B2 (ja) * 2013-12-13 2017-04-26 オリンパス株式会社 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3360461A4 *

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893792B2 (en) 2016-10-25 2021-01-19 Olympus Corporation Endoscope image processing apparatus and endoscope image processing method
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム
EP3636134A4 (en) * 2017-05-25 2021-03-10 Nec Corporation INFORMATION PROCESSING DEVICE, ORDERING PROCESS AND PROGRAM
CN110662477A (zh) * 2017-05-25 2020-01-07 日本电气株式会社 信息处理装置、控制方法和程序
US11553829B2 (en) 2017-05-25 2023-01-17 Nec Corporation Information processing apparatus, control method and program
EP3632295A4 (en) * 2017-05-25 2021-03-10 Nec Corporation INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM
CN110662476A (zh) * 2017-05-25 2020-01-07 日本电气株式会社 信息处理装置、控制方法和程序
CN110662477B (zh) * 2017-05-25 2022-06-28 日本电气株式会社 信息处理装置、控制方法和程序
CN110663251A (zh) * 2017-06-02 2020-01-07 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
US10799098B2 (en) 2017-06-02 2020-10-13 Fujifilm Corporation Medical image processing device, endoscope system, diagnosis support device, and medical service support device
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置
JPWO2018221033A1 (ja) * 2017-06-02 2020-04-02 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
EP3633987A4 (en) * 2017-06-02 2020-04-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC AID, AND MEDICAL WORK AID
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US11426054B2 (en) 2017-10-18 2022-08-30 Fujifilm Corporation Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JPWO2019087790A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
US11302092B2 (en) 2017-10-31 2022-04-12 Fujifilm Corporation Inspection support device, endoscope device, inspection support method, and inspection support program
CN111989025A (zh) * 2018-03-30 2020-11-24 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法和诊断辅助程序
US11457876B2 (en) 2018-03-30 2022-10-04 Olympus Corporation Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
JPWO2019187049A1 (ja) * 2018-03-30 2021-03-18 オリンパス株式会社 診断支援装置、診断支援プログラム、及び、診断支援方法
US11881190B2 (en) 2018-07-27 2024-01-23 Fujifilm Corporation Medical image processing apparatus
JP7125987B2 (ja) 2018-07-27 2022-08-25 富士フイルム株式会社 医療画像処理装置
WO2020021864A1 (ja) * 2018-07-27 2020-01-30 富士フイルム株式会社 医療画像処理装置
CN112512398A (zh) * 2018-07-27 2021-03-16 富士胶片株式会社 医疗图像处理装置
US11605363B2 (en) 2018-07-27 2023-03-14 Fujifilm Corporation Medical image processing apparatus for reducing examination load
JPWO2020021864A1 (ja) * 2018-07-27 2021-07-01 富士フイルム株式会社 医療画像処理装置
CN112512398B (zh) * 2018-07-27 2024-03-29 富士胶片株式会社 医疗图像处理装置
JP7337073B2 (ja) 2018-08-17 2023-09-01 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2020036109A1 (ja) * 2018-08-17 2021-08-26 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7411772B2 (ja) 2018-08-17 2024-01-11 富士フイルム株式会社 内視鏡システム
CN112584739B (zh) * 2018-08-20 2024-04-05 富士胶片株式会社 医疗图像处理系统
CN112584740B (zh) * 2018-08-20 2024-04-05 富士胶片株式会社 医疗图像处理装置
CN112584740A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 医疗图像处理装置
CN112584739A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 医疗图像处理系统
JP7235912B2 (ja) 2018-08-20 2023-03-08 富士フイルム株式会社 医療画像処理システム、内視鏡システム
JPWO2020039968A1 (ja) * 2018-08-20 2021-08-12 富士フイルム株式会社 医療画像処理システム
JP7079849B2 (ja) 2018-08-20 2022-06-02 富士フイルム株式会社 医療画像処理システム
JPWO2020040086A1 (ja) * 2018-08-20 2021-08-12 富士フイルム株式会社 医療画像処理システム
JP2022103441A (ja) * 2018-08-20 2022-07-07 富士フイルム株式会社 医療画像処理システム、内視鏡システム
JP7116176B2 (ja) 2018-08-20 2022-08-09 富士フイルム株式会社 医療画像処理システム
US11950757B2 (en) 2018-08-20 2024-04-09 Fujifilm Corporation Medical image processing apparatus
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020040086A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
US11862327B2 (en) 2018-08-20 2024-01-02 Fujifilm Corporation Medical image processing system
JP7170050B2 (ja) 2018-09-11 2022-11-11 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム
JPWO2020054542A1 (ja) * 2018-09-11 2021-08-30 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020054542A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
JP7413585B2 (ja) 2018-09-28 2024-01-15 富士フイルム株式会社 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
US11910994B2 (en) 2018-09-28 2024-02-27 Fujifilm Corporation Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
WO2020067105A1 (ja) * 2018-09-28 2020-04-02 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム
JP7282796B2 (ja) 2018-09-28 2023-05-29 富士フイルム株式会社 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム
JPWO2020067105A1 (ja) * 2018-09-28 2021-09-16 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム
WO2020071086A1 (ja) 2018-10-04 2020-04-09 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7038641B2 (ja) 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
JP2020069300A (ja) * 2018-11-02 2020-05-07 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び医療診断支援方法
US11464394B2 (en) 2018-11-02 2022-10-11 Fujifilm Corporation Medical diagnosis support device, endoscope system, and medical diagnosis support method
JP7346693B2 (ja) 2019-03-08 2023-09-19 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
CN113543694B (zh) * 2019-03-08 2024-02-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
US11918176B2 (en) 2019-03-08 2024-03-05 Fujifilm Corporation Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
JP2022186872A (ja) * 2019-03-08 2022-12-15 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
WO2021149169A1 (ja) * 2020-01-21 2021-07-29 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
WO2021201272A1 (ja) 2020-04-03 2021-10-07 富士フイルム株式会社 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
WO2022186109A1 (ja) 2021-03-01 2022-09-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP7488789B2 (ja) 2021-05-12 2024-05-22 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法

Also Published As

Publication number Publication date
US10863893B2 (en) 2020-12-15
JPWO2017081976A1 (ja) 2017-11-16
JP6246431B2 (ja) 2017-12-13
EP3360461A1 (en) 2018-08-15
CN108348145B (zh) 2020-06-26
US20180249900A1 (en) 2018-09-06
CN108348145A (zh) 2018-07-31
EP3360461A4 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
JP6246431B2 (ja) 内視鏡装置
WO2017073337A1 (ja) 内視鏡装置
JP6315873B2 (ja) 内視鏡画像処理装置
JP6602969B2 (ja) 内視鏡画像処理装置
JP7045453B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法およびプログラム
WO2018078724A1 (ja) 内視鏡画像処理装置及び内視鏡画像処理方法
US20200126223A1 (en) Endoscope diagnosis support system, storage medium, and endoscope diagnosis support method
US11025835B2 (en) Imaging device, endoscope apparatus, and method for operating imaging device
WO2020008651A1 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US20210000327A1 (en) Endoscopic image processing apparatus, endoscopic image processing method, and recording medium
WO2017216922A1 (ja) 画像処理装置及び画像処理方法
US20170085762A1 (en) Endoscope system
US11642005B2 (en) Endoscope system, endoscope image processing method, and storage medium
US20210338042A1 (en) Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program
WO2018216188A1 (ja) 内視鏡画像処理装置及び内視鏡画像処理方法
JP6210923B2 (ja) 生体観察システム
JP6904727B2 (ja) 内視鏡装置
US20170205619A1 (en) Endoscope system
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
JP6209325B2 (ja) 内視鏡装置
KR101630364B1 (ko) 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법
JP5715315B1 (ja) 内視鏡システム、内視鏡システムの制御方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017533371

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16863940

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2016863940

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE