WO2018221033A1 - 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 - Google Patents

医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 Download PDF

Info

Publication number
WO2018221033A1
WO2018221033A1 PCT/JP2018/015361 JP2018015361W WO2018221033A1 WO 2018221033 A1 WO2018221033 A1 WO 2018221033A1 JP 2018015361 W JP2018015361 W JP 2018015361W WO 2018221033 A1 WO2018221033 A1 WO 2018221033A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
display
notification information
area
image processing
Prior art date
Application number
PCT/JP2018/015361
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18810485.5A priority Critical patent/EP3633987A4/en
Priority to CN201880033364.6A priority patent/CN110663251B/zh
Priority to JP2019522008A priority patent/JP6840846B2/ja
Publication of WO2018221033A1 publication Critical patent/WO2018221033A1/ja
Priority to US16/677,594 priority patent/US10799098B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a medical image processing apparatus, an endoscope system, a diagnosis support apparatus, and a medical service support apparatus that provide notification information for notifying a user using a medical image.
  • medical image processing apparatuses that use medical images, such as an endoscope system including a light source device, an endoscope, and a processor device, are widespread.
  • a region of interest to be diagnosed is detected by performing image analysis on a medical image and notified to a user.
  • an error about a subject or a medical image, an observation state of the subject, presence / absence of a lesion, a type, and the like are also reported.
  • Patent Document 1 When providing notification information for notifying the user as described above on a monitor, it is required that the observation of the medical image by the user is not hindered as much as possible.
  • Patent Document 2 a technique for preventing the operation cursor in the parent screen from overlapping with the child screen is referred to, so that the noticeable area in the medical image does not overlap with the notification information. Can be considered.
  • Patent Document 2 it is conceivable to refer to a technique for hiding the display of necessary information such as a clock after a lapse of a certain time and to hide the notification information after a lapse of a certain time.
  • Patent Document 3 it is conceivable to refer to a technique for switching from a normal image to an abnormal message when an abnormality is detected, and to stop displaying a medical image and display only notification information when an error occurs. .
  • the present invention is a medical image processing apparatus, an endoscope system, and a diagnosis that can prevent the user from observing a medical image, can prevent the attention area from being overlooked, and can maintain the attention required at the time of observation.
  • An object of the present invention is to provide a support device and a medical service support device.
  • the medical image processing apparatus of the present invention displays an image acquisition unit that acquires a medical image including a subject, a display unit that displays the medical image in the first display area, and notification information for notifying the user on the display unit. And a display control unit that performs control to hide the notification information on the display unit.
  • the display control unit performs control for displaying the notification information in the second display area different from the first display area, or control for not displaying the notification information being displayed.
  • the display control unit performs control to display the notification information in the first display area when the first condition is satisfied, and performs the first display when the second condition different from the first condition is satisfied. It is preferable to perform control to hide the notification information being displayed in the area and display the notification information in a second display area different from the first display area.
  • the first condition is a case where the area of the attention area is equal to or smaller than an area threshold value
  • the second condition is that the area of the attention area is an area threshold value It is preferable that this is the case.
  • An attention area detection unit for detecting an attention area from a medical image is provided.
  • the first condition is a case where the position of the attention area is out of the center range of the first display area
  • the second condition is an attention area. It is preferable that the position of the area falls within the center range of the first display area.
  • An attention area detection unit that detects an attention area from a medical image, the first condition is when the temporal change amount of the attention area exceeds a change amount threshold, and the second condition is the time of the attention area It is preferable that the amount of change is not more than the change amount threshold.
  • An attention area detection unit that detects an attention area from a medical image, the first condition is a case where the luminance value of the attention area is equal to or less than a threshold value for luminance value, and the second condition is that the amount of change of the attention area is It is preferable that the luminance value threshold is exceeded.
  • the first condition is that the first display time for displaying the notification information in the first display area is equal to or shorter than the display time limit, and the second condition is that the first display time exceeds the display time limit.
  • the first condition is a case where an area for displaying the notification information is designated as the first display area by a user input, and a second condition is that the area for displaying the notification information is a second input by the user input. It is preferable that the display area is designated.
  • An attention area detection unit that detects an attention area from a medical image
  • the first condition is that the area of the attention area, the position of the attention area, the temporal change amount of the attention area, the luminance value of the attention area, and the first
  • the combination information obtained by combining at least two of the first display times for displaying the notification information in the display area satisfies the combination condition
  • the second condition is that the combination information does not satisfy the combination condition.
  • the first condition is a case where the area luminance combination information obtained by combining the area of the attention area and the luminance value of the attention area satisfies the area luminance combination condition.
  • the second condition is that the area luminance combination information indicates that the area luminance combination information It is preferable that the combination conditions are not satisfied.
  • the display control unit performs control to hide the notification information being displayed in the second display area when a third condition different from the first condition and the second condition is satisfied.
  • the display control unit is either the first display area, the second display area different from the first display area, or both the first display area and the second display area. Control for displaying the notification information or control for not displaying the notification information, and when the specific condition is not satisfied, the control for displaying the notification information in a display area different from the case where the specific condition is satisfied, or It is preferable to perform control to hide the notification information.
  • the display control unit performs control to display the notification information superimposed on the medical image in the first display area.
  • an attention area detection unit that detects an attention area from a medical image
  • the notification information is notification information for notifying information on the attention area
  • an error detection unit that detects an error related to the subject or the medical image is included, and the notification information is an error.
  • the error detection unit is an error detection image analysis unit that analyzes a medical image and detects an error.
  • the error is preferably a blur appearing on the medical image.
  • the error is preferably the degree of contamination of the subject.
  • the error detection unit is preferably a sensor for error detection.
  • the notification information is preferably the observation state of the subject.
  • the observation state is at least one of an illumination mode related to illumination light irradiated to the subject, an image processing mode related to image processing performed on a medical image, magnified observation that magnifies the subject, and non-magnified observation that does not magnifi the subject. It is preferably represented.
  • the notification information is preferably the presence or absence of a lesion, the type of lesion, or the detection status of a treatment tool.
  • the notification information is preferably stored by being superimposed on the medical image.
  • the notification information is preferably stored together with the medical image in one data format.
  • the notification information and the medical image are preferably stored as at least two separate data.
  • the present invention it is possible to prevent a user from observing a medical image, to prevent a region of interest from being overlooked, and to maintain attention required for observation.
  • FIG. 1 It is an external view of an endoscope system. It is a block diagram of an endoscope system. It is a block diagram which shows the image process part of 1st Embodiment. It is explanatory drawing which shows the bounding box which is one of alerting
  • A is an image diagram that displays a bounding box as notification information when the area of the attention area is small
  • (B) is an image diagram that displays icons as notification information when the area of the attention area is large. .
  • (A) is an image diagram in which a bounding box is displayed as notification information when the attention area is out of the central range, and (B) is an icon as notification information when the attention area is in the central range. It is an image figure to display.
  • (A) is an image diagram that displays an icon as notification information when the movement of the attention area is slow, and
  • (B) is an image diagram that displays a bounding box as the notification information when the movement of the attention area is fast.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19.
  • the endoscope 12 irradiates a subject to be observed with illumination light and images the subject illuminated with the illumination light.
  • the light source device 14 generates illumination light for irradiating the subject.
  • the processor device 16 performs system control and image processing of the endoscope system 10.
  • the monitor 18 is a display unit that displays an image output from the processor device 16.
  • the console 19 is an input device for inputting settings to the processor device 16 and the like, such as a keyboard.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion 12d. ,have.
  • the bending portion 12c is bent by operating the angle knob 12e of the operation portion 12b.
  • the distal end portion 12d faces in a desired direction.
  • the distal end portion 12d is provided with an ejection port (not shown) that ejects air, water, or the like toward the subject.
  • the operation unit 12b is provided with a zoom operation unit 13 in addition to the angle knob 12e. By operating the zoom operation unit 13, it is possible to magnify or reduce the subject and take an image.
  • a forceps channel (not shown) for inserting a treatment instrument or the like is provided from the insertion portion 12a to the distal end portion 12d. The treatment tool is inserted into the forceps channel from the forceps inlet 12f.
  • the light source device 14 includes a light source unit 20 and a light source control unit 22.
  • the light source unit 20 emits illumination light for illuminating the subject.
  • the light source unit 20 includes one or a plurality of light sources.
  • the light source control unit 22 controls driving of the light source unit 20.
  • the light source control unit 22 independently controls the timing of turning on or off the light source constituting the light source unit 20, the light emission amount at the time of lighting, and the like. As a result, the light source unit 20 can emit a plurality of types of illumination light having different light emission amounts and light emission timings.
  • the illumination light emitted from the light source unit 20 enters the light guide 41.
  • the light guide 41 is built in the endoscope 12 and the universal cord, and propagates the illumination light to the distal end portion 12d of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16.
  • a multimode fiber can be used as the light guide 41.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of 0.3 to 0.5 mm including a protective layer serving as an outer skin can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 45, and illumination light is emitted toward the subject through the illumination lens 45.
  • the imaging optical system 30 b includes an objective lens 46, a zoom lens 47, and an image sensor 48.
  • the image sensor 48 is caused by reflected light or the like of illumination light returning from the subject via the objective lens 46 and the zoom lens 47 (in addition to reflected light, scattered light, fluorescence emitted from the subject, or a drug administered to the subject).
  • the subject is imaged using (including fluorescence and the like).
  • the zoom lens 47 moves by operating the zoom operation unit 13, and enlarges or reduces the subject to be imaged using the image sensor 48.
  • the image sensor 48 is a color sensor having a primary color filter, for example, and has a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R having a red color filter. There are three types of pixels (red pixels).
  • the blue color filter mainly transmits purple to blue light.
  • the green color filter mainly transmits green light.
  • the red color filter mainly transmits red light.
  • a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor can be used as the image sensor 48 .
  • the image sensor 48 of the present embodiment is a primary color sensor, but a complementary color sensor can also be used.
  • Complementary color sensors include, for example, a cyan pixel with a cyan color filter, a magenta pixel with a magenta color filter, a yellow pixel with a yellow color filter, and a green pixel with a green color filter.
  • a complementary color sensor is used, an image obtained from each color pixel can be converted into a B image, a G image, and an R image by performing complementary color-primary color conversion.
  • a monochrome sensor not provided with a color filter can be used as the image sensor 48 instead of the color sensor. In this case, the image of each color can be obtained by sequentially imaging the subject using illumination light of each color such as BGR.
  • the processor device 16 includes a control unit 52, an image acquisition unit 54, an image processing unit 61, a display control unit 66, a recording control unit 68, and a storage memory 69.
  • the control unit 52 performs overall control of the endoscope system 10 such as synchronous control of illumination light irradiation timing and imaging timing. Further, when various settings are input using the console 19 or the like, the control unit 52 changes the settings to the endoscope system 10 such as the light source control unit 22, the image sensor 48, or the image processing unit 61. Enter each part.
  • the image acquisition unit 54 acquires an image of the subject from the image sensor 48. Since the image acquired by the image acquisition unit 54 is an image obtained by a medical device such as the endoscope 12, it is referred to as a medical image.
  • the image acquisition unit 54 includes a DSP (Digital Signal Processor) 56, a noise reduction unit 58, and a conversion unit 59, and performs various processes on the acquired medical image as necessary.
  • the DSP 56 performs various processes such as a defect correction process, an offset process, a gain correction process, a linear matrix process, a gamma conversion process, a demosaic process, and a YC conversion process on the acquired medical image as necessary.
  • the defect correction process is a process for correcting the pixel value of the pixel corresponding to the defective pixel of the image sensor 48.
  • the offset process is a process for reducing the dark current component from the image subjected to the defect correction process and setting an accurate zero level.
  • the gain correction process is a process for adjusting the signal level of each image by multiplying the image subjected to the offset process by a gain.
  • the linear matrix process is a process for improving the color reproducibility of the image subjected to the offset process, and the gamma conversion process is a process for adjusting the brightness and saturation of the image after the linear matrix process.
  • demosaic processing is performed.
  • the demosaic process (also referred to as an isotropic process or a synchronization process) is a process of interpolating the pixel values of the missing pixels, and is applied to the image after the gamma conversion process.
  • the missing pixel is a pixel having no pixel value due to the arrangement of the color filters (because other color pixels are arranged in the image sensor 48). For example, since the B image is an image obtained by capturing an image of a subject at the B pixel, the pixel at the position corresponding to the G pixel or the R pixel has no pixel value.
  • the B image is interpolated to generate pixel values of the pixels at the positions of the G pixel and the R pixel of the image sensor 48.
  • the YC conversion process is a process for converting the demosaiced image into a luminance channel Y, a color difference channel Cb, and a color difference channel Cr.
  • the noise reduction unit 58 performs noise reduction processing on the luminance channel Y, the color difference channel Cb, and the color difference channel Cr using, for example, a moving average method or a median filter method.
  • the conversion unit 59 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into an image of each color of BGR again.
  • the image processing unit 61 performs various types of image processing on the medical image acquired by the image acquisition unit 54.
  • the image processing unit 61 generates notification information for notifying the user.
  • the image processing unit 61 sends the notification information and the medical image to the display control unit 66 or the recording control unit 68. Details of the image processing unit 61 will be described later.
  • the display control unit 66 uses the notification information and medical information sent from the image processing unit 61, converts the information into a format suitable for display on the monitor 18, and outputs it to the monitor 18. Thereby, at least the medical image and the notification information are displayed on the monitor 18. In the present embodiment, the display control unit 66 performs control to display the notification information on the monitor 18 or control to hide the notification information from the monitor 18. Details of the display control unit 66 will be described later.
  • the recording control unit 68 converts the notification information and the medical image sent from the image processing unit 61 into a format suitable for storage in the storage memory 69 and records it in the storage memory 69.
  • the recording control unit 68 there are a case where recording control is performed according to the control by the display control unit 66 and a case where recording control is performed regardless of the control by the display control unit 66.
  • the recording control is performed according to the control of the display control unit 66, for example, at the timing when the notification information is displayed by the display control unit 66, the notification information and the medical image at that time are stored in the storage memory by the recording control unit 68. 69 is stored.
  • the notification information and the medical image are stored in the storage memory 69
  • the notification information may be superimposed on the medical image and stored in the storage memory 69.
  • the data may be stored in the storage memory 69 as separate data. Further, when the notification information and the medical image are combined into one data and stored in the storage memory 69, it is preferable to store the information in a data format such as PNG, Exif, GIF, MP4.
  • the image processing unit 61 includes an attention area detection unit 70 and a notification information generation unit 72.
  • the attention area detection unit 70 detects an attention area that should be noted as an object of examination or diagnosis from a medical image.
  • the attention area detection unit 70 performs, for example, Convolutional ⁇ ⁇ Neural Network on the medical image, and also detects the attention region based on the feature amount obtained from the color information of the medical image, the gradient of the pixel value, and the like.
  • the gradient of the pixel value is, for example, the shape of the subject (global mucous undulation or local depression or bulge, etc.), color (color such as whitening caused by inflammation, bleeding, redness, or atrophy). Changes appear depending on the characteristics of the tissue (blood vessel thickness, depth, density, or a combination thereof), structural characteristics (pit pattern, etc.), and the like.
  • the attention area detected by the attention area detection unit 70 is, for example, a lesion part represented by cancer, a benign tumor part, or an inflammation part (including a part having changes such as bleeding or atrophy in addition to so-called inflammation). It is an area including a marking portion marked by burning caused by heating or a coloring agent, coloring by a fluorescent agent or the like, or a biopsy performing portion performing a biopsy (so-called biopsy).
  • an area including a lesion an area that may have a lesion, an area that has undergone some kind of treatment such as biopsy, a treatment tool such as a clip or a cannula, or a dark area (behind the folds or the back of the lumen)
  • an area where detailed observation is necessary regardless of the possibility of a lesion, such as an area where observation light is difficult to reach) can be the attention area.
  • the attention area detection unit 70 detects an area including at least one of a lesion part, a benign tumor part, an inflammation part, a marking part, or a biopsy performing part as the attention area.
  • the notification information generation unit 72 generates notification information for reporting information on the attention area based on the attention area detected by the attention area detection unit 70. Specifically, as shown in FIG. 4, a bounding box 74 on a rectangle that covers the region of interest ROI with a dotted line is generated as notification information. In addition, as the notification information, an arrow indicating the attention area, an icon indicating that the attention area is being detected (see icon 76 in FIG. 6), and the like may be generated. Moreover, it is good also as color information regarding the color which can distinguish an attention area
  • the display control unit 66 performs control to display a medical image in the first display area A1 of the monitor 18. Further, the display control unit 66 performs control to display the notification information on the monitor 18 and control to hide the notification information being displayed from the monitor 18. Specifically, the display control unit 66 performs control to display the notification information in the first display area A1 and to hide the currently displayed notification information from the first display area. In addition, the display control unit 66 performs control to display the notification information in the second display area A2 different from the first display area on the monitor 18 and to hide the displayed notification information. Note that when displaying the notification information in the first display area A1, it is preferable to display the notification information superimposed on the medical image.
  • the display control unit 66 displays the notification information in both the first display area A1 and the second display area A2, and displays the notification information being displayed in the first display area A1 or the second display area A2. Control to hide from at least one. In addition, when displaying the notification information in the first display area A1, the display control unit 66 performs control to display the notification information superimposed on the medical image being displayed in the first display area A1.
  • the first display area A1 is an area including an image of a subject at least in front of the endoscope 12.
  • the second display area A2 is an area that includes a subject that is at least approximately lateral or rearward of the endoscope 12.
  • the first display area A1 is a barrel-shaped area
  • the second display area A2 is an area obtained by removing the barrel-shaped first display area A2 from the entire screen of the monitor 18.
  • the display control unit 66 performs display control of the notification information so that the display of the notification information does not hinder observation of the attention area. Specifically, the display control unit 66 displays the notification information in the first display area A1 when the first condition is satisfied, and when the second condition different from the first condition is satisfied, The notification information being displayed in the first display area is not displayed, and the notification information is displayed in the second display area A2.
  • the first condition may be a case where the area of the attention area is equal to or smaller than the area threshold
  • the second condition may be a case where the area of the attention area exceeds the area threshold.
  • the display control unit 66 displays the attention area ROI as notification information.
  • the surrounding bounding box 74 is displayed so as to be superimposed on the first display area A1.
  • the display control unit 66 displays the bounding box 74 in the first display area A1 when the area of the attention area ROI exceeds the area threshold (when the second condition is satisfied). Hide from. Further, the display control unit 66 displays an icon 76 indicating that the attention area ROI is being detected as the notification information in the second display area A2. Thereby, even if the bounding box 74 is not displayed from the first display area A1, it is possible to prevent the attention area from being overlooked.
  • the first condition is a case where the position of the attention area is out of the center range of the first display area A1, and the second condition is that the position of the attention area is the center area of the first display area A1.
  • the center range CR of the first display area A1 refers to a range from the center CP of the first display area to a preset distance L1 (see FIG. 7A).
  • FIG. 7A when the position of the attention area ROI is out of the center range CR (when the first condition is satisfied), the user is difficult to recognize the attention area ROI.
  • a bounding box 74 surrounding the region of interest ROI is displayed in a superimposed manner.
  • the display control unit 66 moves the bounding box 74 from the first display area A1 when the attention area ROI enters the center range CR (when the second condition is satisfied). You want to hide. Further, the display control unit 66 displays an icon 76 indicating that the attention area ROI is being detected as the notification information in the second display area A2. Thereby, even if the bounding box 74 is not displayed from the first display area A1, it is possible to prevent the attention area from being overlooked.
  • the first condition is a case where the temporal change amount of the attention area exceeds the change amount threshold value
  • the second condition is a case where the temporal change amount of the attention area is equal to or less than the change amount threshold value.
  • the temporal change amount of the attention area refers to, for example, an amount of movement of the attention area within a specific time.
  • the display control unit 66 displays the attention area ROI as notification information.
  • An icon 76 indicating that detection is in progress is displayed in the second display area A2. In this way, when the movement of the attention area is slow, the user can grasp the attention area. Therefore, it is preferable to call attention only by displaying the icon 76.
  • the display control unit 66 is triggered by the temporal change amount of the attention area ROI exceeding the change amount threshold value.
  • a bounding box 74 surrounding the attention area ROI is displayed in the first display area A1 as notification information.
  • the first condition may be a case where the luminance value of the attention area is equal to or less than the threshold value for luminance value
  • the second condition may be a case where the luminance value of the attention area exceeds the threshold value for luminance value.
  • the luminance value of the attention area is a representative value such as an average value of pixel values of pixels included in the attention area or a mode value of pixel values obtained from the pixel values of pixels included in the attention area. is there.
  • the display control unit 66 uses a bounding box that surrounds the attention area (bounding box 74 in FIG. 6 or the like) as notification information. Are displayed in the first display area A1. As a result, even when the attention area is dark, the attention area can be recognized and the diagnosis can be performed reliably.
  • the display control unit 66 hides the bounding box being displayed in the first display area A1. To do. Further, the display control unit 66 displays an icon (similar to the icon 76 in FIG. 6) indicating that the attention area is being detected in the second display area A2 as the notification information. Thereby, even if the bounding box 74 is not displayed from the first display area A1, it is possible to prevent the attention area from being overlooked.
  • the first display time for displaying the notification information in the first display area A1 is set as the first condition.
  • the second condition may be a case where the first display time exceeds the display time limit.
  • the notification information time is counted when the display of the notification information is started in the first display area A1.
  • the display control unit 66 uses a bounding box that surrounds the attention area as notification information (similar to the bounding box 74 in FIG. 6 and the like). Is displayed in the first display area A1. In addition, when the first display time exceeds the display limit time (when the second condition is satisfied), the display control unit 66 hides the bounding box from the first display area A1. Further, the display control unit 66 displays an icon (similar to the icon 76 in FIG. 6) indicating that the attention area is being detected in the second display area A2 as the notification information. As a result, if the bounding box is displayed for a certain period of time, the user can recognize the attention area.
  • the bounding box 74 is hidden, thereby obstructing the observation of the medical image. None will happen. Further, even if the bounding box 74 is not displayed from the first display area A1, it is possible to prevent the attention area from being overlooked by displaying the icon in the second display area A2.
  • the first condition is a case where an area for displaying the notification information is designated as the first display area A1 by user input
  • the second condition is that the area for displaying the notification information is specified by the user input.
  • the display area A2 may be designated as the second display area A2.
  • User input is performed by a display area designating unit (not shown) provided in the operation unit 12 b of the endoscope 12 in addition to the console 19.
  • the display control unit 66 designates the first display area A1 (when the first condition is satisfied)
  • the display control unit 66 displays the notification information on the first display area on the condition that the attention area is being detected. Displayed on A1.
  • the display control unit 66 displays the notification information on the second display area on the condition that the attention area is being detected. Display on A2. In this case, when the notification information is displayed in the first display area A1 before the designation to the second display area A2, the notification information may be hidden from the first display area A1.
  • the first condition combination information combining at least two of the area of the attention area, the position of the attention area, the temporal change amount of the attention area, the luminance value of the attention area, and the first display time,
  • the condition for combination may be satisfied, and the second condition may be a case where the combination condition does not satisfy the condition for combination.
  • the area luminance combination information obtained by combining the area of the attention area and the luminance value of the attention area satisfies the area luminance combination condition
  • the second condition the area of the attention area and the attention area
  • the area luminance combination information obtained by combining the luminance values may not satisfy the area luminance combination condition.
  • the display control unit 66 displays a bounding box (similar to the bounding box 74 shown in FIG. 6) in the first display area A1 as the notification information.
  • the area of the attention area exceeds the area threshold, and the luminance value of the attention area is equal to or less than the luminance value threshold.
  • the area of the attention area is equal to or smaller than the area threshold and the luminance value of the attention area exceeds the luminance value threshold
  • the area of the attention area exceeds the area threshold and the luminance value of the attention area is for the luminance value.
  • the display control unit 66 hides the bounding box from the first display area A1. Further, the display control unit 66 displays an icon (similar to the icon 76 in FIG. 6) indicating that the attention area is being detected in the second display area A2 as the notification information.
  • the display control unit 66 When the display control of the notification information is performed using the first condition and the second condition, the display control unit 66 notifies using the third condition different from the first condition and the second condition. Information display control may be performed. When the third condition is satisfied, the display control unit 66 performs control to hide the notification information being displayed in the second display area A2. In a situation where the user can surely recognize the attention area, the notification information is prevented from observing the medical image by hiding the notification information in both the first display area A1 and the second display area A2. Can be prevented. In addition, as 3rd conditions, the 2nd display time which displays alerting
  • the display control unit 66 when the specific condition is satisfied, is either the first display area A1, the second display area A2, or both the first display area A1 and the second display area A2.
  • the control for displaying the notification information or the control for hiding the notification information may be performed.
  • the display control unit 66 when the specific condition is not satisfied, performs control to display the notification information or control to hide the notification information in a display area different from the case where the specific condition is satisfied. May be.
  • the case where the specific condition is satisfied may be “when the first condition is satisfied”, and the case where the specific condition is not satisfied may be “when the second condition is satisfied”.
  • the display control unit 66 displays the notification information in the first display area A1 and the notification in the second display area A2 on the condition that the attention area is being detected. Hide information. Further, the display control unit 66 displays the notification information in the second display area A2 on the condition that the attention area is being detected when the specific condition is not satisfied, and in the first display area A1. Hide notification information. Note that if the specific condition is not satisfied, the display control unit 66 provides notification information in both the first display area A1 and the second display area A2 on the condition that the attention area is being detected. You may make it display. As described above, the user input is performed by the display area designating unit provided in the operation unit 12b of the endoscope 12 in addition to the console 19.
  • the endoscope 12 irradiates a subject that is a subject with illumination light and images the subject.
  • a medical image is obtained by imaging the subject.
  • the attention area detection unit 70 detects the attention area from the medical image.
  • the notification information generating unit 72 generates notification information for notifying information about the attention area.
  • As the notification information for example, a bounding box surrounding the attention area is generated.
  • the medical image and the notification information are sent to the display control unit 66.
  • the display control unit 66 performs control to display a medical image in the first display area A1 of the monitor 18. Further, the display control unit 66 performs control to display the notification information on the monitor 18 and control to hide the notification information being displayed from the monitor 18. The display control unit 66 performs display control of the notification information so that the display of the notification information does not hinder observation of the attention area.
  • the display control unit 66 performs display in which the notification information is superimposed on the medical image in the first display area A1. For example, the region of interest is displayed surrounded by a bounding box. Further, the attention area may be filled with a specific color, or a translucent color may be superimposed and displayed on the attention area. At that time, the color to be superimposed may be changed according to the content of the notification information.
  • the display control unit 66 displays the notification information in the second display area A2 when the second condition is satisfied, for example, the area of the attention area is large.
  • the notification information in the first display area A1 is not displayed.
  • the bounding box is being displayed in the first display area A1
  • the bounding box is not displayed from the first display area A1, while the attention area is being detected in the second display area A2.
  • An icon indicating is displayed. Thereby, even if the bounding box is not displayed, it is possible to prevent the attention area from being overlooked.
  • the above-described display control of the notification information by the display control unit 66 is repeatedly performed until the observation of the attention area is finished. An instruction regarding the end of observation of the region of interest is performed by operating the console 19 or the like.
  • an error relating to a subject image or a medical image is displayed on the monitor 18 as notification information. Therefore, as shown in FIG. 10, in the image processing unit 61 of the second embodiment, in addition to the attention area detection unit 70, an error detection unit that detects an error from a medical image is used as an error detection unit that detects an error. A portion 80 is provided.
  • the error detection unit may detect an error using an error detection sensor.
  • the error detection sensor may be provided at the distal end portion 12d of the endoscope 12 or a treatment instrument inserted through the forceps channel. In the second embodiment, if an error can be detected, the attention area need not be detected. Therefore, the image processing section 61 does not have to provide the attention area detection section 70.
  • the error detection image analysis unit 80 detects blurring appearing on the medical image as an error. This blur occurs when at least one of the subject or the distal end portion of the endoscope 12 moves.
  • a blur detection method for example, there is a method in which a high frequency component of a medical image is calculated and a blur occurs when the high frequency component becomes a certain value or less.
  • the error detection image analysis unit 80 detects the degree of contamination of the subject as an error. Examples of dirt on the subject include residue and residual liquid.
  • color information for example, a ratio between a B image and a G image and a ratio between a G image and an R image
  • the notification information generation unit 72 of the second embodiment generates notification information for reporting an error.
  • the notification information includes, for example, character information indicating that an error has occurred and the type of error.
  • the error is a blur appearing on a medical image
  • the character information of “occurrence of contamination (medium)” indicating the occurrence of contamination and the degree of contamination.
  • the display control unit 66 performs display control of the notification information so that the display of the notification information does not hinder the observation of the medical image. Specifically, as shown in FIG. 11, the display control unit 66 displays notification information (“shake occurrence” in FIG. 11) in the second display area A2 when a specific condition used for error detection is satisfied. Character information).
  • the specific condition is preferably a condition related to error detection among the first condition and the second condition shown in the first embodiment.
  • the notification information When the specific condition is not satisfied due to a change in the situation thereafter, the notification information is hidden from the second display area A2. Even when the specific condition is not satisfied, the notification information may be continuously displayed in the second display area A2 when the error detection is continued for a certain time or more. The notification information may be displayed in the first display area A1 instead of or in addition to the second display area A2.
  • the observation state of the subject is displayed on the monitor 18 as notification information.
  • the endoscope system 10 it is possible to irradiate a subject with a plurality of types of illumination light having different wavelengths. Therefore, the observation state of the subject can change depending on a plurality of illumination modes having different types of illumination light.
  • the endoscope system 10 it is possible to perform a plurality of types of image processing on medical images obtained by imaging a subject. Therefore, the observation state of the subject can change depending on a plurality of image processing modes in which the types of image processing performed on the medical image are different.
  • the endoscope system 10 can enlarge the subject by operating the zoom operation unit 13. Therefore, the observation state of the subject can be changed by non-magnifying observation without enlarging the subject or enlarged observation with enlarging the subject.
  • an observation state acquisition unit 81 that acquires the observation state of the subject is provided in addition to the attention area detection unit 70 as shown in FIG.
  • the observation state acquisition unit 81 can communicate with not only the processor device 16 but also the endoscope 12 or the light source device 14. Therefore, the observation state acquisition unit 81 acquires the illumination mode or the image processing mode currently used by the image processing unit 61 as the observation state of the subject. Further, the observation state acquisition unit 81 acquires non-magnification observation or magnified observation as the observation state of the subject according to the operation state by the zoom operation unit 13.
  • the notification information generation unit 72 of the third embodiment generates notification information for notifying the observation state of the subject.
  • the notification information includes, for example, character information indicating the observation state of the subject.
  • the character information of the illumination mode currently in use for example, “white light mode” when white light is used as illumination light
  • the observation state of the subject is represented in the image processing mode
  • the character information of the image processing mode currently in use for example, a white image obtained by imaging the subject illuminated with white light is subjected to image processing. In this case, the “white image mode”
  • the text information is “non-magnification observation”.
  • the text information is “magnification observation”. preferable.
  • the display control unit 66 performs display control of the notification information so that the display of the notification information does not hinder the observation of the medical image. Specifically, as illustrated in FIG. 13, the display control unit 66 displays notification information (character information of “white light mode” in FIG. 13) in the second display area A ⁇ b> 2 when a specific condition is satisfied. indicate.
  • the specific condition is preferably a condition related to the observation state of the subject among the first condition and the second condition shown in the first embodiment.
  • the notification information When the specific condition is no longer satisfied due to a change in the situation thereafter, the notification information is hidden from the second display area A2. Even when the specific condition is not satisfied, the notification information may be continuously displayed in the second display area A2 if there is a separate designation by the user by operating the console 19 or the like. The notification information may be displayed in the first display area A1 instead of or in addition to the second display area A2. Also, the type of notification information may be switched when the observation state of the subject changes. For example, when the white light mode is changed to the special light mode using light in a specific band, the notification information is switched from the “white light mode” to the “special light mode”. The notification information may be hidden after the display is continued for a certain time.
  • the presence / absence of a lesion, the type of lesion, or the detection status of a treatment tool is displayed on the monitor 18 as notification information.
  • the presence / absence of the lesion and the type of the lesion are discriminated by the discrimination processing unit 82 based on the feature amount included in the region of interest.
  • the discrimination processing unit 82 uses a discrimination process such as Convolutional Neural Network to calculate the presence / absence of a lesion and the type of lesion for the region of interest.
  • the treatment tool is detected by the treatment tool detection unit 86 based on the feature amount included in the attention area.
  • the treatment tool detection unit 86 also detects whether or not the treatment tool is included in the region of interest using a treatment tool detection process such as Convolutional Neural Network.
  • the notification information generation unit 72 of the fourth embodiment generates notification information for notifying the observation state of the subject.
  • the notification information is the presence or absence of a lesion or the type of lesion, as shown in FIG. It is preferable to generate a moving seek bar 90.
  • the discrimination score value 88 indicates that the higher the score value, the higher the possibility of a lesion.
  • the seek bar 90 has a length Ls that increases as the discrimination score value 88 increases.
  • the notification information is the presence / absence of a treatment tool, it is preferable to generate character information indicating the presence / absence of the treatment tool (for example, “with treatment tool detected”) as the notification information.
  • the display control unit 66 performs display control of the notification information so that the display of the notification information does not hinder the observation of the medical image. Specifically, as shown in FIG. 16, the display control unit 66 displays the notification information (the discrimination score value 88 and the seek bar 90 in FIG. 13) in the second display area A2 when a specific condition is satisfied. To do. When the specific condition is no longer satisfied due to a change in the situation thereafter, the notification information is not displayed from the second display area A2. Even when the specific condition is not satisfied, the notification information may be continuously displayed in the second display area A2 if there is a separate designation by the user by operating the console 19 or the like. The notification information may be displayed in the first display area A1 instead of or in addition to the second display area A2.
  • notification information for notifying the user “information on a region of interest” shown in the first embodiment, “error on subject or medical image” shown in the second embodiment, and “information concerning the subject or medical image” shown in the third embodiment
  • the first display area A1 or the second display area two or more of “the observation state of the subject” and “the presence / absence of the lesion, the type of the lesion, and the detection status of the treatment tool” shown in the fourth embodiment are combined You may make it perform control which displays or does not display.
  • the present invention is applied to the endoscope system 10.
  • the present invention is not limited to the endoscope system 10 and is applicable to medical image processing apparatuses that process medical images.
  • the application of the present invention is possible.
  • the present invention can also be applied to a diagnosis support apparatus for providing diagnosis support to a user using a medical image.
  • the present invention can be applied to a medical work support apparatus for supporting medical work such as a diagnosis report using medical images.
  • the medical image used in the first to fourth embodiments is preferably a normal light image obtained by irradiating white band light or light of a plurality of wavelength bands as the white band light. .
  • the medical image used in the first to fourth embodiments is preferably a special light image obtained by irradiating light of a specific wavelength band.
  • the light of the specific wavelength band is preferably a band narrower than the white band.
  • the specific wavelength band is preferably included in the visible blue or green band.
  • the specific wavelength band preferably has a peak at 390 nm to 450 nm or 530 nm to 550 nm.
  • the specific wavelength band is preferably included in the visible red band.
  • the specific wavelength band preferably has a peak at 585 nm to 615 nm or 610 nm to 730 nm.
  • the specific wavelength band preferably has a peak in a band having different absorption coefficients between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band preferably has a peak at 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm.
  • the medical image used in the first to fourth embodiments is preferably an in-vivo image obtained by copying the in-vivo.
  • the in-vivo image preferably has information on fluorescence emitted by the fluorescent substance in the living body.
  • the fluorescence is preferably obtained by irradiating the living body with excitation light having a peak of 390 to 470 nm.
  • the medical image used in the first to fourth embodiments is preferably an in-vivo image obtained by copying the in-vivo.
  • the specific wavelength band is preferably an infrared light wavelength band.
  • the specific wavelength band preferably has a peak at 790 nm to 820 nm or 905 nm to 970 nm.
  • the image acquisition unit 54 that acquires the medical image used in the first to fourth embodiments is a normal light image obtained by irradiating light in a plurality of wavelength bands as light in the white band or light in the white band. Based on the above, it is preferable to have a special light image acquisition unit that acquires a special light image having a signal in a specific wavelength band.
  • the medical image is preferably a special light image.
  • the signal in the specific wavelength band is preferably obtained by calculation based on RGB or CMY color information included in the normal light image.
  • the medical image used in the first to fourth embodiments is preferably a feature amount image.
  • the feature amount image generating unit that generates the feature amount image includes a normal light image obtained by irradiating white band light or light of a plurality of wavelength bands as the white band light, and light of a specific wavelength band. It is preferable to generate the feature amount image by calculation based on at least one of the special light image obtained by irradiating the light.
  • Endoscope system (medical image processing device) 12 Endoscope 12a Insertion section 12b Operation section 12c Bending section 12d Tip section 12e Angle knob 12f Forceps inlet 13 Zoom operation section 14 Light source device 16 Processor device 18 Monitor 19 Console 20 Light source unit 22 Light source control unit 30a Illumination optical system 30b Imaging optical system System 41 Light guide 45 Illumination lens 46 Objective lens 47 Zoom lens 48 Image sensor 52 Control unit 54 Image acquisition unit 56 DSP (Digital Signal Processor) 58 noise reduction unit 59 conversion unit 61 image processing unit 66 display control unit 68 recording control unit 69 storage memory 70 attention area detection unit 72 notification information generation unit 74 bounding box 76 icon 80 error detection image analysis unit 81 observation state acquisition unit 82 Identification Processing Unit 86 Treatment Tool Detection Unit 88 Identification Score Value 90 Seek Bar

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

ユーザーによる医療画像の観察を阻害せず、且つ注目領域の見逃しを防止することができ、さらに、観察時に要する注意を持続できる医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置を提供する。画像取得部は、被写体を含む医療画像を取得する。医療画像は、モニタ（１８）の第１の表示領域（Ａ１）に表示される。報知情報であるバウンディングボックス（７４）は、第１の表示領域（Ａ１）において医療画像に重畳して表示される。注目領域（ＲＯＩ）の面積が大きくなった場合などには、報知情報は第１の表示領域（Ａ１）において非表示にされ、且つ、モニタ（１８）の第２の表示領域（Ａ２）に別の報知情報であるアイコン（７６）を表示する。

Description

医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
　本発明は、医療画像を用いて、ユーザーに報知するための報知情報を提供する医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置に関する。
　現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理装置が普及している。また、近年においては、医療画像に画像解析を行うことによって、診断の対象となる注目領域を検出し、ユーザーに報知することも行われている。その他、被写体や医療画像に関するエラーや、被写体の観察状態、病変の有無、種類などを報知することも行われている。
　以上のようなユーザーに報知するための報知情報をモニタに表示して提供する場合には、ユーザーによる医療画像の観察を極力阻害しないことが求められている。これに対して、例えば、特許文献１に示すように、親画面中の操作カーソルが子画面と重ならないようにする技術を参考にし、医療画像中の注目すべき領域と報知情報が重ならないようにすることが考えられる。また、特許文献２に示すように、時計などの必要情報の表示を一定時間経過後は非表示にする技術を参考にし、報知情報を一定時間経過後に非表示にすることが考えられる。また、特許文献３に示すように、異常の検出時は、通常画像から異常メッセージに切り替える技術を参考にし、エラー発生時には、医療画像の表示を停止し、報知情報のみを表示することが考えられる。
特開２０１１－９６０８４号公報 特開２００７－２４３２７５号公報 特公平７－２７４８１号公報
　ユーザーに対して報知情報を提供する場合には、上記したように、ユーザーによる医療画像の観察を極力阻害しないことに加え、注目領域の見逃しの防止や観察時に要する注意を持続させることが必要である。したがって、特許文献２のように、報知情報を非表示にした場合には、注目領域を見逃したりするおそれがある。また、特許文献３のように、医療画像の表示を停止した場合にも、注目領域を見逃すおそれがある。なお、特許文献１に関しては、操作カーソルが位置する領域が必ずしも注目領域とは限らないため、報知情報を表示する子画面と注目領域が重なってしまうおそれがある。
　本発明は、ユーザーによる医療画像の観察を阻害せず、且つ注目領域の見逃しを防止することができ、さらに、観察時に要する注意を持続させることができる医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置を提供することを目的とする。
　本発明の医療画像処理装置は、被写体を含む医療画像を取得する画像取得部と、医療画像を第１の表示領域に表示する表示部と、ユーザーに報知するための報知情報を表示部において表示する制御、又は報知情報を表示部において非表示にする制御を行う表示制御部と、を有する。
　表示制御部は、第１の表示領域と異なる第２の表示領域において、報知情報を表示する制御、又は表示中の報知情報を非表示にする制御を行うことが好ましい。表示制御部は、第１の条件を満たした場合に、第１の表示領域において報知情報を表示する制御を行い、第１の条件と異なる第２の条件を満たした場合に、第１の表示領域において表示中の報知情報を非表示にし、第１の表示領域と異なる第２の表示領域において、報知情報を表示する制御を行うことが好ましい。
　医療画像から注目領域を検出する注目領域検出部を有し、第１の条件は、注目領域の面積が面積用閾値以下の場合であり、第２の条件は、注目領域の面積が面積用閾値を超える場合であることが好ましい。医療画像から注目領域を検出する注目領域検出部を有し、第１の条件は、注目領域の位置が第１の表示領域の中心範囲から外れている場合であり、第２の条件は、注目領域の位置が第１の表示領域の中心範囲に入っている場合であることが好ましい。
　医療画像から注目領域を検出する注目領域検出部を有し、第１の条件は、注目領域の時間的変化量が変化量用閾値を超える場合であり、第２の条件は、注目領域の時間的変化量が変化量用閾値以下の場合であることが好ましい。医療画像から注目領域を検出する注目領域検出部を有し、第１の条件は、注目領域の輝度値が輝度値用閾値以下の場合であり、第２の条件は、注目領域の変化量が輝度値用閾値を超える場合であることが好ましい。
　第１の条件は、第１の表示領域に報知情報を表示する第１の表示時間が表示制限時間以下であり、第２の条件は、第１の表示時間が表示制限時間を超えた場合であることが好ましい。第１の条件は、ユーザー入力により、報知情報を表示する領域が第１の表示領域に指定された場合であり、第２の条件は、ユーザー入力により、報知情報を表示する領域が第２の表示領域に指定された場合であることが好ましい。
　医療画像から注目領域を検出する注目領域検出部を有し、第１の条件は、注目領域の面積、注目領域の位置、注目領域の時間的変化量、注目領域の輝度値、及び、第１の表示領域に報知情報を表示する第１の表示時間の少なくとも２つを組み合わせた組み合わせ情報が、組合せ用条件を満たす場合であり、第２の条件は、組み合わせ情報が、組合せ用条件を満たさない場合であることが好ましい。第１の条件は、注目領域の面積と注目領域の輝度値を組み合わせた面積輝度組合せ情報が、面積輝度用組合せ条件を満たす場合であり、第２の条件は、面積輝度組合せ情報が、面積輝度用組合せ条件を満たさない場合であることが好ましい。
　表示制御部は、第１の条件及び第２の条件と異なる第３の条件を満たした場合に、第２の表示領域において、表示中の報知情報を非表示にする制御を行うことが好ましい。
　表示制御部は、特定の条件を満たした場合に、第１の表示領域、第１の表示領域と異なる第２の表示領域、又は第１の表示領域及び第２の表示領域の両方のいずれかにおいて、報知情報を表示する制御、又は報知情報を非表示にする制御を行い、特定の条件を満たさない場合に、特定の条件を満たす場合と異なる表示領域において、報知情報を表示する制御、又は報知情報を非表示にする制御を行うことが好ましい。
　表示制御部は、第１の表示領域において、報知情報を医療画像に重畳させて表示する制御を行うことが好ましい。
　医療画像から注目領域を検出する注目領域検出部を有し、報知情報は、注目領域に関する情報を報知するための報知情報であることが好ましい。
　被写体又は医療画像に関するエラーを検出するエラー検出部を有し、報知情報はエラーであることが好ましい。エラー検出部は、医療画像を解析してエラーを検出するエラー検出用画像解析部である。エラーは医療画像上に表れるブレであることが好ましい。エラーは被写体の汚れ度合いであることが好ましい。エラー検出部はエラー検出用のセンサであることが好ましい。
　報知情報は被写体の観察状態であることが好ましい。観察状態は、被写体に対して照射する照明光に関する照明モード、医療画像に対して施す画像処理に関する画像処理モード、被写体を拡大する拡大観察、又は被写体を拡大しない非拡大観察のうち少なくともいずれかで表されることが好ましい。報知情報は、病変の有無、病変の種類、又は処置具の検出状況であることが好ましい。
　報知情報は、医療画像に重畳して保存されることが好ましい。報知情報は、医療画像とひとつのデータ形式にまとめて保存されることが好ましい。報知情報と医療画像は、少なくとも２つの別データとして保存されることが好ましい。
　本発明によれば、ユーザーによる医療画像の観察を阻害せず、且つ注目領域の見逃しを防止することができ、さらに、観察時に要する注意を持続させることができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 第１実施形態の画像処理部を示すブロック図である。 報知情報の一つであるバウンディングボックスを示す説明図である。 モニタにおける第１の表示領域Ａ１及び第２の表示領域Ａ２を示す画像図である。 （Ａ）は、注目領域の面積が小さい場合に報知情報としてバウンディングボックスを表示する画像図であり、（Ｂ）は、注目領域の面積が大きい場合に報知情報としてアイコンを表示する画像図である。 （Ａ）は、注目領域が中心範囲から外れている場合に報知情報としてバウンディングボックスを表示する画像図であり、（Ｂ）は、注目領域が中心範囲に入っている場合に報知情報としてアイコンを表示する画像図である。 （Ａ）は、注目領域の動きが遅い場合に報知情報としてアイコンを表示する画像図であり、（Ｂ）は、注目領域の動きが速い場合に報知情報としてバウンディングボックスを表示する画像図である。 報知情報の表示制御に関する一連の流れを示すフローチャートである。 第２実施形態の画像処理部を示すブロック図である。 報知情報として「ブレ発生」の文字情報を表示する画像図である。 第３実施形態の画像処理部を示すブロック図である。 報知情報として「白色光モード」の文字情報を表示する画像図である。 第４実施形態の画像処理部を示すブロック図である。 鑑別スコア値とシークバーを示す説明図である。 報知情報として鑑別スコア値及びシークバーを示す画像図である。
　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、観察対象である被写体に照明光を照射し、照明光で照射された被写体を撮像する。光源装置１４は、被写体に照射するための照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、プロセッサ装置１６から出力された画像を表示する表示部である。コンソール１９は、キーボードなどのように、プロセッサ装置１６等への設定入力等を行う入力デバイスである。
　内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。先端部１２ｄには、被写体に向けて空気や水等を噴射する噴射口（図示しない）が設けられている。
　また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３が設けられている。ズーム操作部１３を操作することによって、被写体を拡大または縮小して撮像することができる。また、挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）が設けられている。処置具は、鉗子入口１２ｆから鉗子チャンネル内に挿入される。
　図２に示すように、光源装置１４は、光源部２０と、光源制御部２２と、を備える。光源部２０は、被写体を照明するための照明光を発光する。光源部２０は、１又は複数の光源を備えている。光源制御部２２は、光源部２０の駆動を制御する。光源制御部２２は、光源部２０を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。
　光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用できる。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮像する。ズームレンズ４７は、ズーム操作部１３の操作をすることで移動し、イメージセンサ４８を用いて撮像する被写体を拡大または縮小する。
　イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて被写体を撮像すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。
　なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて被写体を順次撮像することにより、上記各色の画像を得ることができる。
　プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、記録制御部６８と、保存用メモリ６９と、を有する。制御部５２は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。また、コンソール１９等を用いて、各種設定の入力等をした場合には、制御部５２は、その設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。
　画像取得部５４は、イメージセンサ４８から、被写体を撮像した画像を取得する。この画像取得部５４で取得する画像は、内視鏡１２のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。ＤＳＰ５６は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。
　欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。
　なお、イメージセンサ４８がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において被写体を撮像して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。
　ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。
　画像処理部６１は、画像取得部５４が取得した医療画像に対して各種の画像処理を施す。本実施形態では、画像処理部６１において、ユーザーに報知するための報知情報を生成する。画像処理部６１は、報知情報と医療画像を表示制御部６６又は記録制御部６８に送る。画像処理部６１の詳細については後述する。
　表示制御部６６は、画像処理部６１から送られる報知情報及び医療情報を用い、モニタ１８での表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８には、医療画像と報知情報が少なくとも表示される。本実施形態では、表示制御部６６は、報知情報をモニタ１８に表示する制御、又は、報知情報をモニタ１８から非表示にする制御を行う。表示制御部６６の詳細については後述する。
　記録制御部６８は、画像処理部６１から送られる報知情報及び医療画像を、保存用メモリ６９での保存に適した形式に変換して、保存用メモリ６９に記録する。記録制御部６８においては、表示制御部６６での制御に従って記録制御する場合と、表示制御部６６での制御に関わらず、記録制御する場合とがある。表示制御部６６での制御に従って記録制御する場合としては、例えば、表示制御部６６により報知情報が表示されたタイミングで、その時点での報知情報及び医療画像が、記録制御部６８によって保存用メモリ６９に保存される。一方、表示制御部６６での制御に関わらず、記録制御する場合としては、例えば、画像処理部６１において注目領域が検出されたタイミングで、その時点での報知情報及び医療画像が、記録制御部６８によって保存用メモリ６９に保存される。
　なお、報知情報と医療画像を保存用メモリ６９に保存する場合には、報知情報を医療画像に重畳して保存用メモリ６９に保存するようにしてもよく、それら報知情報及び医療画像を少なくとも２つの別データとして保存用メモリ６９に保存するようにしてもよい。また、報知情報と医療画像とをひとつのデータにまとめて保存用メモリ６９に保存する場合には、ＰＮＧ、Ｅｘｉｆ、ＧＩＦ、ＭＰ４などのデータ形式にして保存することが好ましい。
　図３に示すように、画像処理部６１は、注目領域検出部７０と、報知情報生成部７２とを備えている。注目領域検出部７０は、医療画像から検査または診断の対象として注目すべき注目領域を検出する。注目領域検出部７０では、例えば、医療画像に対してConvolutional Neural Networkを行うことの他、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、注目領域の検出を行う。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。
　なお、注目領域検出部７０で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム１０においては、注目領域検出部７０は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。
　報知情報生成部７２は、注目領域検出部７０で検出した注目領域を元に、注目領域に関する情報を報知するための報知情報を生成する。具体的には、図４に示すように、報知情報として、注目領域ＲＯＩを点線で覆う矩形上のバウンディングボックス７４を生成する。その他、報知情報として、注目領域を示す矢印や、注目領域を検出中であることを示すアイコン（図６のアイコン７６参照）などを生成するようにしてもよい。また、報知情報として、注目領域をその他の領域と区別できる色に関する色情報としてもよい。なお、報知情報生成部７２は、表示制御部６６での表示制御に応じて異なる報知情報を表示できるようにするため、表示制御に適した複数の報知情報を生成することが好ましい。
　図５に示すように、表示制御部６６は、モニタ１８の第１の表示領域Ａ１に医療画像を表示する制御を行う。また、表示制御部６６は、報知情報をモニタ１８上に表示する制御と、表示中の報知情報をモニタ１８上から非表示にする制御を行う。具体的には、表示制御部６６は、第１の表示領域Ａ１に報知情報を表示し、表示中の報知情報を第１の表示領域から非表示にする制御を行う。また、表示制御部６６は、モニタ１８における第１の表示領域と異なる第２の表示領域Ａ２に報知情報を表示し、表示中の報知情報を非表示にする制御を行う。なお、報知情報を第１の表示領域Ａ１に表示する際は、医療画像に報知情報を重畳して表示することが好ましい。
　また、表示制御部６６は、第１の表示領域Ａ１及び第２の表示領域Ａ２の両方に報知情報を表示し、表示中の報知情報を第１の表示領域Ａ１又は第２の表示領域Ａ２の少なくとも一方から非表示にする制御を行う。なお、表示制御部６６は、第１の表示領域Ａ１に報知情報を表示する場合には、第１の表示領域Ａ１に表示中の医療画像に報知情報を重畳して表示する制御を行う。
　ここで、第１の表示領域Ａ１は、少なくとも内視鏡１２の前方にある被写体の像を含む領域である。第２の表示領域Ａ２は、少なくとも内視鏡１２の概ね側方または後方にある被写体を含む領域である。本実施形態においては、第１の表示領域Ａ１は樽型の領域であり、第２の表示領域Ａ２は、モニタ１８の全画面から樽型の第１の表示領域Ａ２を除いた領域である。
　表示制御部６６は、報知情報の表示が注目領域の観察を阻害しないように、報知情報の表示制御を行う。具体的には、表示制御部６６は、第１の条件を満たした場合に、第１の表示領域Ａ１に報知情報を表示し、第１の条件と異なる第２の条件を満たした場合に、第１の表示領域に表示中の報知情報を非表示にし、且つ、第２の表示領域Ａ２に報知情報を表示するようにする。
　例えば、第１の条件は、注目領域の面積が面積用閾値以下の場合であり、第２の条件は、注目領域の面積が面積用閾値を超える場合であってもよい。この場合、図６（Ａ）に示すように、表示制御部６６は、注目領域ＲＯＩの面積が面積用閾値以下となる場合（第１の条件を満たす場合）、報知情報として、注目領域ＲＯＩを囲むバウンディングボックス７４を第１の表示領域Ａ１に重畳して表示する制御を行う。このようにバウンディングボックス７４を重畳表示することにより、注目領域ＲＯＩが小さい場合であっても、ユーザーは、注目領域を確実に認識することができる。
　その後、内視鏡１２の操作により、第１の表示領域Ａ１に表示される医療画像が変化すると、それに伴って注目領域の面積も変化する。この場合、医療画像上における注目領域が大きくなると、それに合わせてバウンディングボックス７４も大きくなるため、このように大きくなったバウンディングボックス７４が医療画像の観察を阻害する場合がある。そこで、図６（Ｂ）に示すように、表示制御部６６は、注目領域ＲＯＩの面積が面積用閾値を超える場合（第２の条件を満たす場合）、バウンディングボックス７４を第１の表示領域Ａ１から非表示にする。また、表示制御部６６は、報知情報として、注目領域ＲＯＩを検出中であることを示すアイコン７６を第２の表示領域Ａ２に表示する。これにより、第１の表示領域Ａ１からバウンディングボックス７４が非表示になっても、注目領域の見逃しを防ぐことができる。
　また、第１の条件は、注目領域の位置が第１の表示領域Ａ１の中心範囲から外れている場合であり、第２の条件は、注目領域の位置が第１の表示領域Ａ１の中心範囲に入っている場合であってもよい。ここで、第１の表示領域Ａ１の中心範囲ＣＲとは、第１の表示領域の中心ＣＰから、予め設定した距離Ｌ１までの範囲のことをいう（図７（Ａ）参照）。図７（Ａ）に示すように、注目領域ＲＯＩの位置が中心範囲ＣＲから外れている場合（第１の条件を満たす場合）、ユーザーは注目領域ＲＯＩを認識し難いことから、報知情報として、注目領域ＲＯＩを囲むバウンディングボックス７４を重畳表示する。
　その後、内視鏡１２の操作により、第１の表示領域Ａ１に表示される医療画像が変化すると、それに伴って注目領域の位置も変化する。この場合、中心範囲ＣＲから外れていた注目領域が中心範囲ＣＲに入ると、バウンディングボックス７４が無くても、ユーザーは注目領域を認識できるようになる。そこで、表示制御部６６は、図７（Ｂ）に示すように、注目領域ＲＯＩが中心範囲ＣＲに入った場合（第２の条件を満たす場合）、バウンディングボックス７４を第１の表示領域Ａ１から非表示にする。また、表示制御部６６は、報知情報として、注目領域ＲＯＩを検出中であることを示すアイコン７６を第２の表示領域Ａ２に表示する。これにより、第１の表示領域Ａ１からバウンディングボックス７４が非表示になっても、注目領域の見逃しを防ぐことができる。
　また、第１の条件は、注目領域の時間的変化量が変化量用閾値を超える場合であり、第２の条件は、注目領域の時間的変化量が変化量用閾値以下の場合であってもよい。ここで、注目領域の時間的変化量とは、例えば、特定の時間内に注目領域が動いた移動量のことをいう。図８（Ａ）に示すように、表示制御部６６は、注目領域ＲＯＩの時間的変化量が変化量用閾値以下の場合（第２の条件を満たす場合）、報知情報として、注目領域ＲＯＩを検出中であることを示すアイコン７６を第２の表示領域Ａ２に表示する。このように注目領域の動きが遅い場合には、ユーザーは注目領域を把握することができるため、アイコン７６表示だけで注意を促したほうが好ましい。
　そして、注目領域の動きが速くなった場合などには、図８（Ｂ）に示すように、表示制御部６６は、注目領域ＲＯＩの時間的変化量が変化量用閾値を超えることを契機に（第１の条件を満たす場合）、報知情報として、注目領域ＲＯＩを囲むバウンディングボックス７４を第１の表示領域Ａ１に表示する。これにより、注目領域の動きが速くなったとしても、ユーザーは、注目領域の位置を把握して、確実に診断を行うことができるようになる。
　また、第１の条件は、注目領域の輝度値が輝度値用閾値以下の場合であり、第２の条件は、注目領域の輝度値が輝度値用閾値を超える場合であってもよい。ここで、注目領域の輝度値とは、例えば、注目領域に含まれる画素の画素値の平均値や、注目領域に含まれる画素の画素値から得られる画素値の最頻値などの代表値である。医療画像上に表示される注目領域を観察する際、注目領域の輝度値が低い場合には、ユーザーは注目領域を認識し難くなっている。そこで、表示制御部６６は、注目領域の輝度値が輝度値用閾値以下である場合（第１の条件を満たす場合）、報知情報として、注目領域を囲むバウンディングボックス（図６等のバウンディングボックス７４と同様）を第１の表示領域Ａ１に表示する。これにより、注目領域が暗い場合であっても、注目領域を認識して確実に診断を行うことができるようになる。
　一方、注目領域の輝度値が高い場合には、ユーザーは、バウンディングボックスなどの注目領域の位置を報知する情報が無くとも、注目領域を認識することができる。このような場合、表示制御部６６は、注目領域の輝度値が輝度値用閾値を超える場合（第２の条件を満たす場合）、第１の表示領域Ａ１に表示中のバウンディングボックスを非表示にする。また、表示制御部６６は、報知情報として、注目領域を検出中であることを示すアイコン（図６等のアイコン７６と同様）を第２の表示領域Ａ２に表示する。これにより、第１の表示領域Ａ１からバウンディングボックス７４が非表示になっても、注目領域の見逃しを防ぐことができる。
　また、注目領域の検出を契機に、報知情報を第１の表示領域Ａ１に表示する場合には、第１の条件を、報知情報を第１の表示領域Ａ１に表示する第１の表示時間が、予め設定した表示制限時間内である場合とし、第２の条件を、第１の表示時間が表示制限時間を超えた場合としてもよい。ここで、報知情報時間は、第１の表示領域Ａ１に報知情報の表示開始を契機にカウントされる。
　表示制御部６６は、第１の表示時間が表示制限時間内である場合（第１の条件を満たす場合）、報知情報として、注目領域を囲むバウンディングボックス（図６等のバウンディングボックス７４と同様）を第１の表示領域Ａ１に表示する。また、表示制御部６６は、第１の表示時間が表示制限時間を超えた場合（第２の条件を満たす場合）、バウンディングボックスを第１の表示領域Ａ１から非表示とする。また、表示制御部６６は、報知情報として、注目領域を検出中であることを示すアイコン（図６等のアイコン７６と同様）を第２の表示領域Ａ２に表示する。これにより、一定時間の間、バウンディングボックスを表示すれば、ユーザーは注目領域を認識することができるため、一定時間経過後は、バウンディングボックスを非表示とすることで、医療画像の観察を阻害することがなくなる。また、第１の表示領域Ａ１からバウンディングボックス７４が非表示になっても、第２の表示領域Ａ２にアイコンを表示することで、注目領域の見逃しを防ぐことができる。
　また、第１の条件は、ユーザー入力により、報知情報を表示する領域を第１の表示領域Ａ１に指定した場合であり、第２の条件は、ユーザー入力により、報知情報を表示する領域を第２の表示領域Ａ２に指定した場合であってもよい。ユーザー入力は、コンソール１９の他、内視鏡１２の操作部１２ｂに設けた表示領域指定部（図示しない）により行われる。表示制御部６６は、第１の表示領域Ａ１への指定が行われた場合（第１の条件を満たす場合）、注目領域の検出中であることを条件に、報知情報を第１の表示領域Ａ１に表示する。表示制御部６６は、第２の表示領域Ａ２への指定が行われた場合（第１の条件を満たす場合）、注目領域の検出中であることを条件に、報知情報を第２の表示領域Ａ２に表示する。この場合、第２の表示領域Ａ２への指定前に、第１の表示領域Ａ１に報知情報を表示している場合には、報知情報を第１の表示領域Ａ１から非表示にしてもよい。
　なお、第１の条件としては、注目領域の面積、注目領域の位置、注目領域の時間的変化量、注目領域の輝度値、及び第１の表示時間の少なくとも２つを組み合わせた組み合わせ情報が、組合せ用条件を満たす場合とし、第２の条件として、前記の組み合わせ条件が、組合せ用条件を満たさない場合としてもよい。例えば、第１の条件として、注目領域の面積と注目領域の輝度値を組み合わせた面積輝度組合せ情報が、面積輝度用組合せ条件を満たす場合とし、第２の条件として、注目領域の面積と注目領域の輝度値を組み合わせた面積輝度組合せ情報が、面積輝度用組合せ条件を満たさない場合としてもよい。
　ここで、面積輝度組合せ情報が面積輝度用組合せ条件を満たす場合（第１の条件を満たす場合）として、注目領域の面積が面積用閾値以下で、且つ注目領域の輝度値が輝度値用閾値以下とする。この場合には、表示制御部６６は、報知情報として、注目領域を囲むバウンディングボックス（図６等のバウンディングボックス７４と同様）を第１の表示領域Ａ１に表示する。
　一方、面積輝度組合せ情報が面積輝度用組合せ条件を満たさない場合（第２の条件を満たす場合）として、注目領域の面積が面積用閾値を超え、且つ注目領域の輝度値が輝度値用閾値以下である場合、注目領域の面積が面積用閾値以下、且つ注目領域の輝度値が輝度値用閾値を超える場合、注目領域の面積が面積用閾値を超え、且つ注目領域の輝度値が輝度値用閾値を超える場合とする。この場合には、表示制御部６６は、バウンディングボックスを第１の表示領域Ａ１から非表示とする。また、表示制御部６６は、報知情報として、注目領域を検出中であることを示すアイコン（図６等のアイコン７６と同様）を第２の表示領域Ａ２に表示する。
　表示制御部６６は、第１の条件と第２の条件を用いて、報知情報の表示制御を行う場合には、第１の条件及び第２の条件と異なる第３の条件を用いて、報知情報の表示制御を行うようにしてもよい。表示制御部６６は、第３の条件を満たす場合には、第２の表示領域Ａ２に表示中の報知情報を非表示にする制御を行う。ユーザーが注目領域を確実に認識できる状況下では、第１表示領域Ａ１及び第２表示領域Ａ２のいずれの領域においても、報知情報を非表示にすることで、報知情報が医療画像の観察の妨げになることを防止できる。なお、第３の条件としては、例えば、報知情報を第２の表示領域Ａ２に表示する第２の表示時間が表示制限時間を超えた場合がある。ここで、第２の表示時間は、報知情報が第２の表示領域Ａ２の表示開始を契機にカウントされる。
　また、表示制御部６６は、特定の条件を満たす場合に、第１の表示領域Ａ１、第２の表示領域Ａ２、又は、第１の表示領域Ａ１及び第２の表示領域Ａ２の両方のいずれかにおいて、報知情報を表示する制御、又は報知情報を非表示にする制御を行うようにしてもよい。また、表示制御部６６は、特定の条件を満たさない場合には、特定の条件を満たす場合と異なる表示領域において、報知情報を表示する制御、又は報知情報を非表示にする制御を行うようにしてもよい。なお、特定の条件を満たす場合とは「第１の条件を満たす場合」とし、特定の条件を満たさない場合とは「第２の条件を満たす場合」としてもよい。
　例えば、表示制御部６６は、特定の条件を満たす場合に、注目領域の検出中であることを条件に、第１の表示領域Ａ１において報知情報を表示し、且つ第２の表示領域Ａ２において報知情報を非表示にする。また、表示制御部６６は、特定の条件を満たさない場合に、注目領域の検出中であることを条件に、第２の表示領域Ａ２において報知情報を表示し、且つ第１の表示領域Ａ１において報知情報を非表示にする。なお、表示制御部６６は、特定の条件を満たさない場合には、注目領域の検出中であることを条件に、第１の表示領域Ａ１及び第２の表示領域Ａ２の両方において、報知情報を表示するようにしてもよい。なお、ユーザー入力は、上記したように、コンソール１９の他、内視鏡１２の操作部１２ｂに設けた表示領域指定部により行われる。
　次に、表示制御部６６による報知情報の表示制御について、図９に示すフローチャートに沿って説明を行う。内視鏡１２は、被写体である被写体に照明光を照射し、被写体を撮像する。この被写体の撮像により医療画像が得られる。注目領域検出部７０は、医療画像から注目領域を検出する。注目領域が検出されると、注目領域に関する情報を報知するための報知情報を報知情報生成部７２で生成する。報知情報としては、例えば、注目領域を囲むバウンディングボックスが生成される。医療画像と報知情報は表示制御部６６に送られる。
　表示制御部６６は、モニタ１８の第１の表示領域Ａ１に医療画像を表示する制御を行う。また、表示制御部６６は、報知情報をモニタ１８上に表示する制御と、表示中の報知情報をモニタ１８上から非表示にする制御を行う。表示制御部６６は、報知情報の表示が注目領域の観察を阻害しないように、報知情報の表示制御を行う。表示制御部６６は、注目領域の面積が小さいなど第１の条件を満たす場合には、第１の表示領域Ａ１において報知情報を医療画像に重畳する表示を行う。例えば、注目領域をバウンディングボックスで囲んで表示する。また、注目領域を特定の色で塗りつぶす、あるいは、注目領域に半透明の色を重畳して表示してもよい。その際、報知情報の内容に従って、重畳する色を変えてもよい。
　これに対して、表示制御部６６は、注目領域の面積が大きいなど第２の条件を満たす場合には、第２の表示領域Ａ２に報知情報を表示するようにする。この場合、報知情報を第１の表示領域Ａ１に表示中である場合には、第１の表示領域Ａ１における報知情報を非表示にする。例えば、第１の表示領域Ａ１にバウンディングボックスを表示中であれば、第１の表示領域Ａ１からバウンディングボックスを非表示にする一方、第２の表示領域Ａ２に、注目領域を検出中であることを示すアイコンを表示する。これにより、バウンディングボックスを非表示にしても、注目領域の見逃しを防ぐことができる。なお、以上の表示制御部６６による報知情報の表示制御は、注目領域の観察を終了するまで繰り返し行われる。注目領域の観察の終了に関する指示は、コンソール１９等を操作することにより行われる。
　［第２実施形態］
　第２実施形態では、報知情報として、被写体像又は医療画像に関するエラーをモニタ１８に表示する。したがって、図１０に示すように、第２実施形態の画像処理部６１では、注目領域検出部７０に加えて、エラーを検出するエラー検出部として、医療画像からエラーを検出するエラー検出用画像解析部８０が設けられている。なお、エラー検出部としては、エラー検出用のセンサを用いて、エラーを検出するようにしてもよい。エラー検出用のセンサは、内視鏡１２の先端部１２ｄに設ける他、鉗子チャンネルに挿通する処置具に設けるようにしてもよい。また、第２の実施形態では、エラーを検出できれば、注目領域の検出を行わなくてもよいため、画像処理部６１では注目領域検出部７０を設けなくてもよい。
　エラー検出用画像解析部８０では、エラーとして、医療画像上に表れるブレを検出する。このブレは、被写体又は内視鏡１２の先端部の少なくともいずれかが動くことによって発生する。ブレの検出方法としては、例えば、医療画像の高周波成分を算出し、高周波成分が一定値以下となった場合にブレが発生しているとする方法がある。また、エラー検出用画像解析部８０は、エラーとして、被写体の汚れ度合いを検出する。被写体の汚れとしては、残渣、残液などがある。被写体の汚れ度合いの検出方法としては、例えば、医療画像から色情報（例えば、Ｂ画像とＧ画像の比及びＧ画像とＲ画像の比）を算出し、算出した色情報と、被写体上の汚れに相当する汚れ色情報との比較によって、被写体の汚れ度合いを算出する方法がある。この場合、汚れ色情報と近ければ近いほど、被写体の汚れ度合いは大きくなる。
　また、第２実施形態の報知情報生成部７２では、エラーを報知するための報知情報を生成する。報知情報としては、例えば、エラーが発生していること及びエラーの種類を示す文字情報がある。エラーが医療画像上に表れるブレである場合には、ブレが発生していることを示す「ブレ発生」の文字情報とすることが好ましい。また、エラーが被写体の汚れである場合には、汚れの発生及び汚れ度合いを示す「汚れ発生（中程度）」の文字情報とすることが好ましい。
　表示制御部６６は、報知情報の表示が医療画像の観察を阻害しないように、報知情報の表示制御を行う。具体的には、図１１に示すように、表示制御部６６は、エラー検出用に用いられる特定の条件を満たした場合に、第２の表示領域Ａ２に報知情報（図１１では「ブレ発生」の文字情報）を表示する。ここで、特定の条件とは、第１実施形態で示した第１の条件、第２の条件のうちエラー検出に関する条件とすることが好ましい。
　その後の状況の変化により、特定の条件を満たさない場合に、第２の表示領域Ａ２から報知情報を非表示するようにする。なお、特定の条件を満たさない場合であっても、エラーの検出が一定時間以上継続するなどの場合には、報知情報を第２の表示領域Ａ２に表示し続けるようにしてもよい。また、報知情報は、第２の表示領域Ａ２に代えて又は加えて、第１の表示領域Ａ１に表示するようにしてもよい。
　［第３実施形態］
　第３実施形態では、報知情報として、被写体の観察状態をモニタ１８に表示する。内視鏡システム１０を用いる被写体の観察状態は、種々挙げられる。例えば、内視鏡システム１０においては、波長などが異なる複数種類の照明光を被写体に照射することが可能である。したがって、照明光の種類が異なる複数の照明モードによって、被写体の観察状態は変化し得る。
　また、内視鏡システム１０においては、被写体の撮像により得られた医療画像に対して、複数種類の画像処理を施すことが可能である。したがって、医療画像に施す画像処理の種類が異なる複数の画像処理モードによって、被写体の観察状態は変化し得る。また、内視鏡システム１０は、ズーム操作部１３の操作によって、被写体を拡大することが可能である。したがって、被写体を拡大しない非拡大観察又は被写体を拡大する拡大観察によって、被写体の観察状態は変化し得る。
　第３実施形態の画像処理部６１では、図１２に示すように、注目領域検出部７０に加えて、被写体の観察状態を取得する観察状態取得部８１が設けられている。観察状態取得部８１は、プロセッサ装置１６だけでなく、内視鏡１２又は光源装置１４との通信が可能となっている。したがって、観察状態取得部８１は、被写体の観察状態として、現在、画像処理部６１で使用中の照明モード又は画像処理モードを取得する。また、観察状態取得部８１は、ズーム操作部１３による操作状況により、被写体の観察状態として、非拡大観察又は拡大観察を取得する。
　また、第３実施形態の報知情報生成部７２では、被写体の観察状態を報知するための報知情報を生成する。報知情報としては、例えば、被写体の観察状態を示す文字情報がある。被写体の観察状態が照明モードで表される場合には、現在使用中の照明モードの文字情報（例えば、照明光として白色光を使用する場合であれば、「白色光モード」）とすることが好ましい。また、被写体の観察状態が画像処理モードで表される場合には、現在使用中の画像処理モードの文字情報（例えば、白色光で照明された被写体を撮像して得た白色画像を画像処理する場合には、「白色画像モード」）とすることが好ましい。また、被写体の観察状態が非拡大観察である場合には、「非拡大観察」の文字情報とし、被写体の観察状態が拡大観察である場合には、「拡大観察」の文字情報とすることが好ましい。
　表示制御部６６は、報知情報の表示が医療画像の観察を阻害しないように、報知情報の表示制御を行う。具体的には、図１３に示すように、表示制御部６６は、特定の条件を満たした場合に、第２の表示領域Ａ２に報知情報（図１３では「白色光モード」の文字情報）を表示する。ここで、特定の条件とは、第１実施形態で示した第１の条件、第２の条件のうち被写体の観察状態に関する条件とすることが好ましい。
　その後の状況の変化により、特定の条件を満たさなくなった場合に、第２の表示領域Ａ２から報知情報を非表示するようにする。なお、特定の条件を満たさない場合であっても、コンソール１９等の操作によりユーザーよる別途の指定がある場合には、報知情報を第２の表示領域Ａ２に表示し続けるようにしてもよい。また、報知情報は、第２の表示領域Ａ２に代えて又は加えて、第１の表示領域Ａ１に表示するようにしてもよい。また、被写体の観察状態が変わった場合に、報知情報の種類を切り替えるようにしてもよい。例えば、白色光モードから特定帯域の光を用いる特殊光モードに変わった場合には、報知情報を「白色光モード」から「特殊光モード」に切り替える。また、報知情報は一定時間の間表示を継続した後は非表示にしてもよい。
　［第４実施形態］
　第４実施形態では、報知情報として、病変の有無、病変の種類又は処置具の検出状況をモニタ１８に表示する。病変の有無及び病変の種類については、図１４に示すように、注目領域に含まれる特徴量を元に、鑑別処理部８２にて鑑別する。鑑別処理部８２では、Convolutional Neural Networkなどの鑑別処理を用いて、注目領域について病変の有無、病変の種類を算出する。また、処置具の検出については、注目領域に含まれる特徴量を元に、処置具検出部８６にて行う。処置具検出部８６についても、Convolutional Neural Networkなどの処置具検出処理を用いて、注目領域に処置具が含まれるか否かの検出を行う。
　また、第４実施形態の報知情報生成部７２では、被写体の観察状態を報知するための報知情報を生成する。報知情報が病変の有無又は病変の種類である場合には、図１５に示すように、報知情報として、病変の進行度や病変らしさを示す鑑別スコア値８８と、鑑別スコア値８８に連動して動くシークバー９０を生成することが好ましい。鑑別スコア値８８は、スコア値が高ければ高いほど、病変の可能性が高いことを示している。シークバー９０は、鑑別スコア値８８が高ければ高いほど、長さＬｓが大きくなる。また、報知情報が処置具の有無である場合には、報知情報として、処置具の有無を示す文字情報（例えば、「処置具検出有り」など）を生成することが好ましい。
　表示制御部６６は、報知情報の表示が医療画像の観察を阻害しないように、報知情報の表示制御を行う。具体的には、図１６に示すように、表示制御部６６は、特定の条件を満たした場合に、第２の表示領域Ａ２に報知情報（図１３では鑑別スコア値８８及びシークバー９０）を表示する。その後の状況の変化により、特定の条件を満たさなくなった場合に、第２の表示領域Ａ２から報知情報を非表示するようにする。なお、特定の条件を満たさない場合であっても、コンソール１９等の操作によりユーザーよる別途の指定がある場合には、報知情報を第２の表示領域Ａ２に表示し続けるようにしてもよい。また、報知情報は、第２の表示領域Ａ２に代えて又は加えて、第１の表示領域Ａ１に表示するようにしてもよい。
　なお、ユーザーに報知するための報知情報として、第１実施形態で示した「注目領域に関する情報」、第２実施形態で示した「被写体又は医療画像に関するエラー」、第３実施形態で示した「被写体の観察状態」、第４実施形態で示した「病変の有無、病変の種類、処置具の検出状況」のうち２つ以上を組み合わせて、第１の表示領域Ａ１又は第２の表示領域に表示又は非表示する制御を行うようにしてもよい。
　なお、第１～第４実施形態では、内視鏡システム１０に対して本発明の適用を行っているが、内視鏡システム１０に限らず、医療画像を処理する医療画像処理装置に対して、本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
　なお、第１～第４実施形態で使用する医療画像としては、白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像であることが好ましい。
　また、第１～第４実施形態で使用する医療画像としては、特定の波長帯域の光を照射して得た特殊光画像であることが好ましい。特定の波長帯域の光は白色帯域よりも狭い帯域であることが好ましい。特定の波長帯域は可視域の青色もしくは緑色帯域に含まれることが好ましい。特定の波長帯域はピークが３９０ｎｍ～４５０ｎｍ、または５３０ｎｍ～５５０ｎｍにあることが好ましい。
　特定の波長帯域は可視域の赤色帯域に含まれることが好ましい。特定の波長帯域は、ピークが５８５ｎｍ～６１５ｎｍ、または６１０ｎｍ～７３０ｎｍにあることが好ましい。
　特定の波長帯域は、ピークが、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる帯域にあることが好ましい。特定の波長帯域は、ピークが４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ～７５０ｎｍにあることが好ましい。
　また、第１～第４実施形態で使用する医療画像としては、生体内を写した生体内画像であることが好ましい。生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することが好ましい。蛍光は、ピークが３９０～４７０ｎｍである励起光を前記生体内に照射して得られることが好ましい。
　また、第１～第４実施形態で使用する医療画像としては、生体内を写した生体内画像であることが好ましい。特定の波長帯域は赤外光の波長帯域であることが好ましい。特定の波長帯域は、ピークが７９０ｎｍ～８２０ｎｍ、又は９０５ｎｍ～９７０ｎｍにあることが好ましい。
　また、第１～第４実施形態で使用する医療画像を取得する画像取得部５４は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することが好ましい。医療画像は特殊光画像であることが好ましい。特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得られることが好ましい。
　また、第１～第４実施形態で使用する医療画像は特徴量画像とすることが好ましい。この特徴量画像を生成する特徴量画像生成部は、白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成することが好ましい。
１０　内視鏡システム（医療画像処理装置）
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　鉗子入口
１３　ズーム操作部
１４　光源装置
１６　プロセッサ装置
１８　モニタ
１９　コンソール
２０　光源部
２２　光源制御部
３０ａ　照明光学系
３０ｂ　撮像光学系
４１　ライトガイド
４５　照明レンズ
４６　対物レンズ
４７　ズームレンズ
４８　イメージセンサ
５２　制御部
５４　画像取得部
５６　ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）
５８　ノイズ低減部
５９　変換部
６１　画像処理部
６６　表示制御部
６８　記録制御部
６９　保存用メモリ
７０　注目領域検出部
７２　報知情報生成部
７４　バウンディングボックス
７６　アイコン
８０　エラー検出用画像解析部
８１　観察状態取得部
８２　鑑別処理部
８６　処置具検出部
８８　鑑別スコア値
９０　シークバー

Claims (43)

  1. 　被写体を含む医療画像を取得する画像取得部と、
    　前記医療画像を第１の表示領域に表示する表示部と、
    　ユーザーに報知するための報知情報を前記表示部において表示する制御、又は前記報知情報を前記表示部において非表示にする制御を行う表示制御部と、
    を有し、
    　前記表示制御部は、前記第１の表示領域と異なる第２の表示領域において、前記報知情報を表示する制御、又は表示中の前記報知情報を非表示にする制御を行う医療画像処理装置。
  2. 　前記表示制御部は、第１の条件を満たした場合に、前記第１の表示領域において前記報知情報を表示する制御を行い、
    　前記第１の条件と異なる第２の条件を満たした場合に、前記第１の表示領域において表示中の前記報知情報を非表示にし、前記第２の表示領域において、前記報知情報を表示する制御を行う請求項１記載の医療画像処理装置。
  3. 　前記医療画像から注目領域を検出する注目領域検出部を有し、
    　前記第１の条件は、前記注目領域の面積が面積用閾値以下の場合であり、
    　前記第２の条件は、前記注目領域の面積が前記面積用閾値を超える場合である請求項２記載の医療画像処理装置。
  4. 　前記医療画像から注目領域を検出する注目領域検出部を有し、
    　前記第１の条件は、前記注目領域の位置が前記第１の表示領域の中心範囲から外れている場合であり、
    　前記第２の条件は、前記注目領域の位置が前記第１の表示領域の中心範囲に入っている場合である請求項２記載の医療画像処理装置。
  5. 　前記医療画像から注目領域を検出する注目領域検出部を有し、
    　前記第１の条件は、前記注目領域の時間的変化量が変化量用閾値を超える場合であり、
    　前記第２の条件は、前記注目領域の時間的変化量が前記変化量用閾値以下の場合である請求項２記載の医療画像処理装置。
  6. 　前記医療画像から注目領域を検出する注目領域検出部を有し、
    　前記第１の条件は、前記注目領域の輝度値が輝度値用閾値以下の場合であり、
    　前記第２の条件は、前記注目領域の輝度値が前記輝度値用閾値を超える場合である請求項２記載の医療画像処理装置。
  7. 　前記第１の条件は、前記第１の表示領域に前記報知情報を表示する第１の表示時間が表示制限時間以下の場合であり、
    　前記第２の条件は、前記第１の表示時間が前記表示制限時間を超えた場合である請求項２記載の医療画像処理装置。
  8. 　前記第１の条件は、ユーザー入力により、前記報知情報を表示する領域が前記第１の表示領域に指定された場合であり、
    　前記第２の条件は、ユーザー入力により、前記報知情報を表示する領域が前記第２の表示領域に指定された場合である請求項２記載の医療画像処理装置。
  9. 　前記医療画像から注目領域を検出する注目領域検出部を有し、
    　前記第１の条件は、前記注目領域の面積、前記注目領域の位置、前記注目領域の時間的変化量、前記注目領域の輝度値、及び、前記第１の表示領域に前記報知情報を表示する第１の表示時間の少なくとも２つを組み合わせた組み合わせ情報が、組合せ用条件を満たす場合であり、
    　前記第２の条件は、前記組み合わせ情報が、前記組合せ用条件を満たさない場合である請求項２記載の医療画像処理装置。
  10. 　前記第１の条件は、前記注目領域の面積と前記注目領域の輝度値を組み合わせた面積輝度組合せ情報が、面積輝度用組合せ条件を満たす場合であり、
    　前記第２の条件は、前記面積輝度組合せ情報が、前記面積輝度用組合せ条件を満たさない場合である請求項９記載の医療画像処理装置。
  11. 　前記表示制御部は、前記第１の条件及び前記第２の条件と異なる第３の条件を満たした場合に、前記第２の表示領域において、表示中の前記報知情報を非表示にする制御を行う請求項２記載の医療画像処理装置。
  12. 　前記表示制御部は、
    　特定の条件を満たした場合に、前記第１の表示領域、前記第２の表示領域、又は前記第１の表示領域及び前記第２の表示領域の両方のいずれかにおいて、前記報知情報を表示する制御、又は前記報知情報を非表示にする制御を行い、
    　前記特定の条件を満たさない場合に、前記特定の条件を満たす場合と異なる表示領域において、前記報知情報を表示する制御、又は前記報知情報を非表示にする制御を行う請求項１記載の医療画像処理装置。
  13. 　前記表示制御部は、前記第１の表示領域において、前記報知情報を前記医療画像に重畳させて表示する制御を行う請求項１ないし１２いずれか１項記載の医療画像処理装置。
  14. 　前記医療画像から注目領域を検出する注目領域検出部を有し、
    　前記報知情報は、前記注目領域に関する情報を報知するための報知情報である請求項１記載の医療画像処理装置。
  15. 　前記被写体又は前記医療画像に関するエラーを検出するエラー検出部を有し、
    　前記報知情報は前記エラーである請求項１記載の医療画像処理装置。
  16. 　前記エラー検出部は、前記医療画像を解析して前記エラーを検出するエラー検出用画像解析部である請求項１５記載の医療画像処理装置。
  17. 　前記エラーは前記医療画像上に表れるブレである請求項１６記載の医療画像処理装置。
  18. 　前記エラーは前記被写体の汚れ度合いである請求項１６記載の医療画像処理装置。
  19. 　前記エラー検出部はエラー検出用のセンサである請求項１５記載の医療画像処理装置。
  20. 　前記報知情報は被写体の観察状態である請求項１記載の医療画像処理装置。
  21. 　前記観察状態は、前記被写体に対して照射する照明光に関する照明モード、前記医療画像に対して施す画像処理に関する画像処理モード、前記被写体を拡大する拡大観察、又は前記被写体を拡大しない非拡大観察のうち少なくともいずれかで表される請求項２０記載の医療画像処理装置。
  22. 　前記報知情報は、病変の有無、病変の種類、又は処置具の検出状況である請求項１記載の医療画像処理装置。
  23. 　前記報知情報は、前記医療画像に重畳して保存される請求項１ないし２２いずれか１項記載の医療画像処理装置。
  24. 　前記報知情報は、前記医療画像とひとつのデータ形式にまとめて保存される請求項１ないし２２いずれか１項記載の医療画像処理装置。
  25. 　前記報知情報と前記医療画像は、少なくとも２つの別データとして保存される請求項１ないし２２いずれか１項記載の医療画像処理装置。
  26. 　前記医療画像は、白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像である請求項１ないし２５いずれか１項記載の医療画像処理装置。
  27. 　前記医療画像は、特定の波長帯域の光を照射して得た特殊光画像であり、
    　前記特定の波長帯域の光は白色帯域よりも狭い帯域である請求項１ないし２５いずれか１項記載の医療画像処理装置。
  28. 　前記特定の波長帯域は可視域の青色もしくは緑色帯域に含まれる請求項２７記載の医療画像処理装置。
  29. 　前記特定の波長帯域はピークが３９０ｎｍ～４５０ｎｍ、または５３０ｎｍ～５５０ｎｍにある請求項２８記載の医療画像処理装置。
  30. 　前記特定の波長帯域は可視域の赤色帯域に含まれる請求項２７記載の医療画像処理装置。
  31. 　前記特定の波長帯域は、ピークが５８５ｎｍ～６１５ｎｍ、または６１０ｎｍ～７３０ｎｍにある請求項３０記載の医療画像処理装置。
  32. 　前記特定の波長帯域は、ピークが、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる帯域にある請求項２７記載の医療画像処理装置。
  33. 　前記特定の波長帯域は、ピークが４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ～７５０ｎｍにある請求項３２記載の医療画像処理装置。
  34. 　前記医療画像は生体内を写した生体内画像であり、
    　前記生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する請求項２７記載の医療画像処理装置。
  35. 　前記蛍光は、ピークが３９０～４７０ｎｍである励起光を前記生体内に照射して得られる請求項３４記載の医療画像処理装置。
  36. 　前記医療画像は生体内を写した生体内画像であり、
    　前記特定の波長帯域は赤外光の波長帯域である請求項２７記載の医療画像処理装置。
  37. 　前記特定の波長帯域は、ピークが７９０ｎｍ～８２０ｎｍ、又は９０５ｎｍ～９７０ｎｍにある請求項３６記載の医療画像処理装置。
  38. 　前記画像取得部は、
    　白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有し、
    　前記医療画像は前記特殊光画像である請求項１ないし２５いずれか１項記載の医療画像処理装置。
  39. 　前記特定の波長帯域の信号は、前記通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得られる請求項３８記載の医療画像処理装置。
  40. 　白色帯域の光、又は前記白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を有し、
    　前記医療画像は前記特徴量画像である請求項１ないし２５いずれか１項記載の医療画像処理装置。
  41. 　被写体を含む医療画像を取得する画像取得部と、
    　前記医療画像を第１の表示領域に表示する表示部と、
    　ユーザーに報知するための報知情報を前記表示部において表示する制御、又は前記報知情報を前記表示部において非表示にする制御を行う表示制御部と、
    を有し、
    　前記表示制御部は、前記第１の表示領域と異なる第２の表示領域において、前記報知情報を表示する制御、又は表示中の前記報知情報を非表示にする制御を行う内視鏡システム。
  42. 　被写体を含む医療画像を取得する画像取得部と、
    　前記医療画像を第１の表示領域に表示する表示部と、
    　ユーザーに報知するための報知情報を前記表示部において表示する制御、又は前記報知情報を前記表示部において非表示にする制御を行う表示制御部と、
    を有し、
    　前記表示制御部は、前記第１の表示領域と異なる第２の表示領域において、前記報知情報を表示する制御、又は表示中の前記報知情報を非表示にする制御を行う診断支援装置。
  43. 　被写体を含む医療画像を取得する画像取得部と、
    　前記医療画像を第１の表示領域に表示する表示部と、
    　ユーザーに報知するための報知情報を前記表示部において表示する制御、又は前記報知情報を前記表示部において非表示にする制御を行う表示制御部と、
    を有し、
    　前記表示制御部は、前記第１の表示領域と異なる第２の表示領域において、前記報知情報を表示する制御、又は表示中の前記報知情報を非表示にする制御を行う医療業務支援装置。
PCT/JP2018/015361 2017-06-02 2018-04-12 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 WO2018221033A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18810485.5A EP3633987A4 (en) 2017-06-02 2018-04-12 MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC AID, AND MEDICAL WORK AID
CN201880033364.6A CN110663251B (zh) 2017-06-02 2018-04-12 医疗图像处理装置
JP2019522008A JP6840846B2 (ja) 2017-06-02 2018-04-12 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US16/677,594 US10799098B2 (en) 2017-06-02 2019-11-07 Medical image processing device, endoscope system, diagnosis support device, and medical service support device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-109923 2017-06-02
JP2017109923 2017-06-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/677,594 Continuation US10799098B2 (en) 2017-06-02 2019-11-07 Medical image processing device, endoscope system, diagnosis support device, and medical service support device

Publications (1)

Publication Number Publication Date
WO2018221033A1 true WO2018221033A1 (ja) 2018-12-06

Family

ID=64454494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015361 WO2018221033A1 (ja) 2017-06-02 2018-04-12 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置

Country Status (5)

Country Link
US (1) US10799098B2 (ja)
EP (1) EP3633987A4 (ja)
JP (1) JP6840846B2 (ja)
CN (2) CN110663251B (ja)
WO (1) WO2018221033A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162275A1 (ja) * 2019-02-08 2020-08-13 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020170809A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021029293A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 医用画像処理装置、内視鏡システム、及び医用画像処理方法
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
WO2021153471A1 (ja) * 2020-01-27 2021-08-05 富士フイルム株式会社 医療画像処理装置、医療画像処理方法、及びプログラム
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
WO2021220822A1 (ja) * 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
JP2022047319A (ja) * 2020-09-11 2022-03-24 富士フイルム株式会社 処置具管理システム、内視鏡システム及びその作動方法
WO2022181517A1 (ja) * 2021-02-25 2022-09-01 富士フイルム株式会社 医療画像処理装置、方法及びプログラム
JP2022159496A (ja) * 2019-03-08 2022-10-17 富士フイルム株式会社 内視鏡システム、内視鏡画像学習方法及びプログラム
WO2022239530A1 (ja) 2021-05-10 2022-11-17 富士フイルム株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
EP4094672A4 (en) * 2020-01-21 2023-01-11 NEC Corporation OPERATING ASSIST DEVICE, OPERATING ASSISTING METHOD AND COMPUTER READABLE RECORDING MEDIA
WO2023281607A1 (ja) * 2021-07-05 2023-01-12 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法
EP4088645A4 (en) * 2020-01-10 2023-03-29 NEC Corporation ENDOSCOPY ASSISTANT DEVICE, ENDOSCOPY ASSISTANT METHOD AND COMPUTER READABLE RECORDING MEDIA

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
WO2020012564A1 (ja) * 2018-07-10 2020-01-16 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2020036121A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
JP7009636B2 (ja) * 2018-08-17 2022-01-25 富士フイルム株式会社 内視鏡システム
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
JP6856594B2 (ja) * 2018-09-25 2021-04-07 株式会社メディカロイド 手術システムおよび表示方法
US20220296082A1 (en) * 2019-10-17 2022-09-22 Sony Group Corporation Surgical information processing apparatus, surgical information processing method, and surgical information processing program
US11910997B2 (en) * 2021-10-15 2024-02-27 Verb Surgical Inc. Apparatus, systems, and methods for intraoperative visualization
US20230181002A1 (en) * 2021-12-14 2023-06-15 Karl Storz Imaging, Inc. Frame processing of imaging scope data for user interface presentation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727481A (ja) 1993-07-08 1995-01-27 Nippon Steel Corp ２槽式アーク炉設備
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2007243275A (ja) 2006-03-06 2007-09-20 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置ならびに画面表示方法および画面表示プログラム
JP2011027911A (ja) * 2009-07-23 2011-02-10 Olympus Corp 内視鏡装置、計測方法、およびプログラム
JP2011096084A (ja) 2009-10-30 2011-05-12 Toshiba Corp 表示装置
WO2013146014A1 (ja) * 2012-03-29 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015177961A (ja) * 2014-02-27 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523718B2 (ja) * 2008-04-02 2014-06-18 株式会社東芝 医用撮像装置
DK3718922T3 (da) * 2009-08-31 2022-04-19 Abbott Diabetes Care Inc Glucoseovervågningssystem og fremgangsmåde
JP5220780B2 (ja) * 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
US9717471B2 (en) * 2010-11-23 2017-08-01 Mayo Foundtion For Medical Education And Research Method and apparatus for multiple-wave doppler velocity meter
US8579800B2 (en) * 2011-03-22 2013-11-12 Fabian Emura Systematic chromoendoscopy and chromocolonoscopy as a novel systematic method to examine organs with endoscopic techniques
WO2015049962A1 (ja) * 2013-10-02 2015-04-09 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2017073338A1 (ja) * 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727481A (ja) 1993-07-08 1995-01-27 Nippon Steel Corp ２槽式アーク炉設備
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2007243275A (ja) 2006-03-06 2007-09-20 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置ならびに画面表示方法および画面表示プログラム
JP2011027911A (ja) * 2009-07-23 2011-02-10 Olympus Corp 内視鏡装置、計測方法、およびプログラム
JP2011096084A (ja) 2009-10-30 2011-05-12 Toshiba Corp 表示装置
WO2013146014A1 (ja) * 2012-03-29 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015177961A (ja) * 2014-02-27 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633987A4

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395929A (zh) * 2019-02-08 2021-09-14 富士胶片株式会社 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
JPWO2020162275A1 (ja) * 2019-02-08 2021-12-02 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020162275A1 (ja) * 2019-02-08 2020-08-13 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2020170809A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JPWO2020170809A1 (ja) * 2019-02-19 2021-12-02 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
EP3932290A4 (en) * 2019-02-26 2022-03-23 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, PROCESSING DEVICE, ENDOSCOPE SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
US11978550B2 (en) 2019-03-08 2024-05-07 Fujifilm Corporation Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
US11918176B2 (en) 2019-03-08 2024-03-05 Fujifilm Corporation Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
EP3936026A4 (en) * 2019-03-08 2022-04-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, PROCESSOR, ENDOSCOPIC SYSTEM, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
JP2022159496A (ja) * 2019-03-08 2022-10-17 富士フイルム株式会社 内視鏡システム、内視鏡画像学習方法及びプログラム
CN113543694B (zh) * 2019-03-08 2024-02-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
JP7166430B2 (ja) 2019-03-08 2022-11-07 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
JPWO2020183770A1 (ja) * 2019-03-08 2020-09-17
JPWO2021029293A1 (ja) * 2019-08-13 2021-02-18
WO2021029293A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 医用画像処理装置、内視鏡システム、及び医用画像処理方法
EP4088645A4 (en) * 2020-01-10 2023-03-29 NEC Corporation ENDOSCOPY ASSISTANT DEVICE, ENDOSCOPY ASSISTANT METHOD AND COMPUTER READABLE RECORDING MEDIA
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
EP4094672A4 (en) * 2020-01-21 2023-01-11 NEC Corporation OPERATING ASSIST DEVICE, OPERATING ASSISTING METHOD AND COMPUTER READABLE RECORDING MEDIA
EP4099080A4 (en) * 2020-01-27 2023-07-12 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
WO2021153471A1 (ja) * 2020-01-27 2021-08-05 富士フイルム株式会社 医療画像処理装置、医療画像処理方法、及びプログラム
JPWO2021153471A1 (ja) * 2020-01-27 2021-08-05
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JPWO2021205778A1 (ja) * 2020-04-08 2021-10-14
JP7348386B2 (ja) 2020-04-08 2023-09-20 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
US11954897B2 (en) 2020-04-08 2024-04-09 Fujifilm Corporation Medical image processing system, recognition processing processor device, and operation method of medical image processing system
WO2021220822A1 (ja) * 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
JP7307709B2 (ja) 2020-09-11 2023-07-12 富士フイルム株式会社 処置具管理システム、内視鏡システム及びその作動方法
JP2022047319A (ja) * 2020-09-11 2022-03-24 富士フイルム株式会社 処置具管理システム、内視鏡システム及びその作動方法
WO2022181517A1 (ja) * 2021-02-25 2022-09-01 富士フイルム株式会社 医療画像処理装置、方法及びプログラム
WO2022239530A1 (ja) 2021-05-10 2022-11-17 富士フイルム株式会社 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2023281607A1 (ja) * 2021-07-05 2023-01-12 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法

Also Published As

Publication number Publication date
US10799098B2 (en) 2020-10-13
CN110663251A (zh) 2020-01-07
CN110663251B (zh) 2021-12-31
US20200069160A1 (en) 2020-03-05
JPWO2018221033A1 (ja) 2020-04-02
CN114145693A (zh) 2022-03-08
EP3633987A1 (en) 2020-04-08
JP6840846B2 (ja) 2021-03-10
EP3633987A4 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
WO2018221033A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN110325100B (zh) 内窥镜系统及其操作方法
US9872610B2 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
WO2018159461A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN110461209B (zh) 内窥镜系统及处理器装置
JP5562683B2 (ja) 蛍光観察装置
WO2017057574A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP4394356B2 (ja) 電子内視鏡装置
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017057573A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2012170639A (ja) 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
JP2014221168A (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6632961B2 (ja) 内視鏡システム及び内視鏡システムの駆動方法
JP2012170640A (ja) 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
JP2011005002A (ja) 内視鏡装置
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
US20210082568A1 (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program
JP4766935B2 (ja) 内視鏡装置
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6458142B2 (ja) 赤外蛍光観察装置
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18810485

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019522008

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018810485

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018810485

Country of ref document: EP

Effective date: 20200102