WO2020090729A1 - 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置 - Google Patents

医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置 Download PDF

Info

Publication number
WO2020090729A1
WO2020090729A1 PCT/JP2019/042158 JP2019042158W WO2020090729A1 WO 2020090729 A1 WO2020090729 A1 WO 2020090729A1 JP 2019042158 W JP2019042158 W JP 2019042158W WO 2020090729 A1 WO2020090729 A1 WO 2020090729A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
medical image
display
unit
information
Prior art date
Application number
PCT/JP2019/042158
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201980072091.0A priority Critical patent/CN112969403A/zh
Priority to JP2020553886A priority patent/JP7315576B2/ja
Priority to EP19878049.6A priority patent/EP3875021A4/en
Publication of WO2020090729A1 publication Critical patent/WO2020090729A1/ja
Priority to US17/229,966 priority patent/US20210233648A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a medical image processing device, a medical image processing method and program, and a diagnosis support device, and more particularly to a technique for controlling the presence or absence of notification of medical image notification information.
  • Patent Document 1 a marker of a CT (Computed Tomography) image to which a marker (corresponding to notification information) for a lesion candidate shadow is added by clicking a non-display icon is hidden, A technique for restoring the original CT image with a marker when a predetermined time has elapsed is disclosed. According to this technique, even when the marker is hidden, it is possible to prevent the examination from continuing with the marker hidden.
  • CT Compputed Tomography
  • Patent Document 1 has a drawback that a user operation is required to hide the marker.
  • the present invention has been made in view of such circumstances, and a medical image processing apparatus, a medical image processing method and a program, and a diagnostic support apparatus that appropriately control the presence or absence of notification of medical image notification information without a user operation.
  • the purpose is to provide.
  • one aspect of the medical image processing apparatus is a notification control unit for controlling the notification information included in the medical image to be either a notification state for notifying the notification unit or a non-notification state for notifying the notification information.
  • the notification control unit sets the notification information to the non-notification state when the medical image satisfies the non-notification condition, and the notification state after the non-notification maintenance time has elapsed from when the medical image satisfies the non-notification condition. It is a medical image processing device.
  • the notification information is set to the non-reporting state when the medical image satisfies the non-reporting condition, and the reporting state is set after the non-reporting maintenance time elapses after the medical image satisfies the non-reporting condition.
  • the notification state is set, when the non-reporting condition is satisfied, the non-reporting state is set, and the non-reporting condition is not satisfied until the non-reporting maintenance time elapses. Is maintained in the non-reporting state, and becomes the reporting state after the non-reporting maintenance time has elapsed. Therefore, the presence / absence of notification of the notification information of the medical image can be appropriately controlled without depending on the user operation.
  • An image acquisition unit that sequentially acquires medical images, a notification information acquisition unit that acquires notification information from the medical images, a determination unit that determines whether the medical images satisfy the non-notification condition, and the medical image is the non-notification condition. And a time measuring unit for measuring an elapsed time from when the condition is not satisfied. Accordingly, it is possible to appropriately perform the acquisition of the medical image, the acquisition of the notification information, the judgment of the non-notification condition, and the judgment of the elapsed time.
  • the non-notification condition is a condition for determining the image feature amount of the medical image, and it is preferable to include an image feature amount acquisition unit that acquires the image feature amount from the medical image. Thereby, the notification can be stopped according to the image feature amount.
  • the image feature amount preferably includes at least one of the brightness, color information, temporal change, and frequency information of the medical image. With this, the notification can be appropriately stopped.
  • the non-notification condition is a condition for determining the treatment state of the subject in the medical image, and it is preferable to include a treatment state estimation unit that estimates the treatment state from the medical image. Thereby, the notification can be stopped according to the treatment state.
  • non-notification maintaining time setting unit that sets the non-notification maintaining time according to the treatment state.
  • the non-notification maintaining time can be set appropriately.
  • the non-notification condition is a condition for determining the attention area feature amount, and includes a attention area detection unit that detects the attention region from the medical image, and an attention region feature amount acquisition unit that acquires the attention region feature amount from the attention region. Is preferred. Thereby, the notification can be stopped according to the attention area feature amount.
  • the attention area feature amount includes at least one of the area of the attention area, the position in the medical image, and the temporal change. With this, the notification can be appropriately stopped.
  • the notification unit includes a sound output unit that outputs sound
  • the notification control unit preferably includes a sound control unit that causes the sound output unit to output sound.
  • the notification information can be appropriately notified.
  • the notification unit includes a first display unit
  • the notification control unit includes a display control unit that displays the notification information on the first display unit. Thereby, the notification information can be appropriately notified.
  • the notification unit includes a second display unit different from the first display unit, and the display control unit causes the second display unit to display the notification information. Thereby, the notification information can be appropriately notified.
  • the display control unit preferably changes the display mode of the notification information on the second display unit according to the notification state and the non-notification state. Thereby, the notification information can be appropriately notified.
  • the display control unit preferably causes the second display unit to display the notification information in the non-notification state. Thereby, the medical image can be appropriately observed on the first display unit, and the notification information can be appropriately notified on the second display unit.
  • the display control unit causes the third display unit different from the first display unit to display the information indicating the non-notification state. This allows the user to know that the notification information is in the non-reporting state.
  • the display control unit displays information regarding the elapsed time since the medical image satisfies the non-notification condition on the fourth display unit different from the first display unit. This allows the user to know the information regarding the elapsed time.
  • one mode of the diagnostic support device is a diagnostic support device including the medical image processing device and the first display unit. According to this aspect, it is possible to appropriately control the presence or absence of the display of the notification information of the medical image regardless of the user operation.
  • one aspect of the medical image processing method is a notification control step of controlling the notification information included in the medical image to either a notification state for notifying in a notification unit or a non-notification state for notifying.
  • the notification control step the notification information in the non-notification state when the medical image satisfies the non-notification condition, and in the notification state after the non-notification maintenance time has elapsed since the medical image non-satisfaction the non-notification condition. It is a medical image processing method that does.
  • a program for causing a computer to execute the medical image processing method described above is also included in this aspect.
  • FIG. 1 is a schematic diagram showing the overall configuration of an endoscope system including a medical image processing apparatus.
  • FIG. 2 is a block diagram showing an example of the electrical configuration of the medical image processing apparatus.
  • FIG. 3 is a flowchart showing an example of each process of the medical image processing method.
  • FIG. 4 is a diagram showing a transition of display on the display.
  • FIG. 5 is a figure which shows an example of a display of an indicator in a notification state.
  • FIG. 6 is a diagram showing an example of display on the display unit in the notification state.
  • FIG. 7 is a figure which shows an example of a display of an indicator in an alerting
  • FIG. 8 is a figure which shows an example of a display of an indicator in a notification state.
  • FIG. 8 is a figure which shows an example of a display of an indicator in a notification state.
  • FIG. 9 is a diagram showing transition of display on the display unit.
  • FIG. 10 is a diagram showing a transition of display on the display unit.
  • FIG. 11 is a diagram showing a transition of display on the display.
  • FIG. 12 is a diagram showing a transition of display on the display.
  • FIG. 13 is a block diagram showing the electrical configuration of the medical image processing apparatus.
  • FIG. 14 is a figure which shows an example of the transition of the display of a 1st indicator and a 2nd indicator.
  • FIG. 15 is a figure which shows the other example of the transition of the display of a 1st indicator and a 2nd indicator.
  • FIG. 16 is a figure which shows the other example of the transition of the display of a 1st indicator and a 3rd indicator.
  • FIG. 17 is a figure which shows the other example of the transition of the display of a 1st indicator and a 4th indicator.
  • FIG. 18 is a block diagram showing an example of the electrical configuration of the medical image processing apparatus
  • FIG. 1 is a schematic diagram showing the overall configuration of an endoscope system 9 including a medical image processing apparatus according to this embodiment.
  • the endoscope system 9 includes an endoscope scope 10 which is an electronic endoscope, a light source device 11, an endoscope processor device 12, a display device 13, and a medical image processing device 14. And an operation unit 15 and a display unit 16.
  • the endoscope scope 10 is for capturing medical images in time series, and is, for example, a flexible endoscope.
  • the endoscope scope 10 is inserted into a subject and has an insertion portion 20 having a distal end and a proximal end, and is connected to a proximal end side of the insertion portion 20 and is gripped by a user (doctor) to perform various operations. It has a hand operation unit 21 for performing and a universal cord 22 connected to the hand operation unit 21.
  • the entire insertion portion 20 is thin and long.
  • the insertion part 20 has a flexible part 25 having flexibility in order from the base end side to the tip end side, a bending part 26 that can be bent by the operation of the hand operation part 21, and an imaging optical system (objective lens not shown). ) And the front end portion 27 in which the image pickup device 28 and the like are incorporated are continuously provided.
  • the image pickup device 28 is a CMOS (complementary metal oxide semiconductor) type or CCD (charge coupled device) type image pickup device.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image pickup device 28 picks up (converts into an electric signal) the image light of the observed region that has entered the image pickup surface, and outputs an image pickup signal.
  • the operation unit 21 at hand is provided with various operation members operated by the user.
  • the hand operation section 21 includes two types of bending operation knobs 29 used for bending operation of the bending section 26, an air / water supply button 30 for air / water supply operation, and a suction button 31 for suction operation. , Are provided.
  • a still image imaging instruction unit 32 for instructing the imaging of the still image 39 of the observed region and a treatment instrument insertion passage (not shown) inserted through the insertion unit 20 are provided.
  • a treatment instrument introduction port 33 for inserting a treatment instrument (not shown) is provided.
  • the universal cord 22 is a connection cord for connecting the endoscope scope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35 that is inserted through the insertion portion 20, a signal cable 36, and a fluid tube (not shown).
  • a connector 37a connected to the light source device 11 and a connector 37b branched from the connector 37a and connected to the endoscope processor device 12 are provided at the end of the universal cord 22.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11.
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 via the light guide 35 and the fluid tube (not shown).
  • the illumination light is emitted from the illumination window (not shown) on the tip surface of the tip portion 27 toward the observed region.
  • gas or water is jetted from an air / water supply nozzle (not shown) on the tip surface of the tip portion 27 toward an observation window (not shown) on the tip surface.
  • the signal cable 36 and the endoscope processor device 12 are electrically connected.
  • the image pickup device 28 of the endoscope scope 10 outputs the image pickup signal of the observed region to the endoscope processor device 12 via the signal cable 36, and the endoscope processor device 12 also outputs the image pickup signal.
  • a control signal is output to 10.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope scope 10 via the connector 37a.
  • Illumination light is white light (light of a white wavelength band or light of a plurality of wavelength bands), light of one or a plurality of specific wavelength bands, or light of various wavelength bands according to an observation purpose such as a combination thereof. Is selected.
  • the specific wavelength band is a band narrower than the white wavelength band.
  • a first example of a specific wavelength band is, for example, a visible blue band or a green band.
  • the wavelength band of the first example includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and the light of the first example has a peak wavelength within a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. ..
  • a second example of a specific wavelength band is, for example, the visible red band.
  • the wavelength band of the second example includes a wavelength band of 585 nm or more and 615 nm or less or 610 nm or more and 730 nm or less, and the light of the second example has a peak wavelength within the wavelength band of 585 nm or more and 615 nm or less or 610 nm or more and 730 nm or less. ..
  • the third example of the specific wavelength band includes a wavelength band in which oxyhemoglobin and reduced hemoglobin have different absorption coefficients, and the light of the third example has a peak wavelength in a wavelength band in which oxyhemoglobin and reduced hemoglobin have different absorption coefficients.
  • the wavelength band of the third example includes 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or a wavelength band of 600 nm or more and 750 nm or less, and the light of the third example is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470. It has a peak wavelength in a wavelength band of ⁇ 10 nm or 600 nm or more and 750 nm or less.
  • the fourth example of the specific wavelength band is the wavelength band (390 nm to 470 nm) of the excitation light used for observing the fluorescence emitted by the fluorescent substance in the living body (fluorescence observation) and exciting the fluorescent substance.
  • the fifth example of the specific wavelength band is the wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less, and the light of the fifth example has a peak wavelength in the wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.
  • the endoscope processor device 12 controls the operation of the endoscope scope 10 via the connector 37b and the signal cable 36.
  • the endoscope processor device 12 is composed of time-series frame images 38a (see FIG. 2) based on the image pickup signal obtained from the image pickup device 28 of the endoscope scope 10 via the connector 37b and the signal cable 36.
  • a moving image 38 which is a series of medical images, is generated.
  • the frame rate of the moving image 38 is, for example, 30 fps (frame per second).
  • the endoscope processor device 12 when the still image capturing instruction unit 32 is operated by the hand operation unit 21 of the endoscope scope 10, the endoscope processor device 12 generates one moving image 38 in parallel with the generation of the moving image 38.
  • the frame image 38a is acquired according to the timing of the imaging instruction, and is set as the still image 39.
  • the moving image 38 and the still image 39 are medical images of the inside of the subject, that is, the inside of the living body. Furthermore, when the moving image 38 and the still image 39 are images obtained by light (special light) in the above-mentioned specific wavelength band, both are special light images. Then, the endoscope processor device 12 outputs the generated moving image 38 and still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the endoscope processor device 12 may generate (acquire) the special light image having the information on the specific wavelength band described above, based on the normal light image obtained by the white light described above. In this case, the endoscope processor device 12 functions as a special light image acquisition unit. Then, the endoscope processor device 12 sends a signal of a specific wavelength band to RGB color information of red (Red), green (Green), and blue (Blue) included in the normal light image, or cyan (Cyan), It is obtained by performing an operation based on the CMY color information of magenta and yellow.
  • RGB color information of red (Red), green (Green), and blue (Blue) included in the normal light image or cyan (Cyan)
  • the endoscope processor device 12 is based on, for example, at least one of the normal light image obtained by the white light described above and the special light image obtained by the light in the specific wavelength band (special light) described above. Then, a characteristic amount image such as a known oxygen saturation image may be generated. In this case, the endoscope processor device 12 functions as a feature amount image generation unit.
  • the moving image 38 or the still image 39 including the in-vivo image, the normal light image, the special light image, and the feature amount image is the result of imaging or measuring the human body for the purpose of image diagnosis or inspection. It is an imaged medical image.
  • the display device 13 is connected to the endoscope processor device 12 and displays the moving image 38 and the still image 39 input from the endoscope processor device 12. While confirming the moving image 38 displayed on the display device 13, the user operates the insertion unit 20 to move back and forth, and if a lesion or the like is found in the observed region, operates the still image capturing instruction unit 32 to detect the lesion. A still image is picked up at the observation site, and diagnosis and biopsy are performed.
  • the medical image processing device 14 is a device for automatically recognizing and distinguishing a lesion, which is a region of interest, and notifies the user of notification information included in a medical image.
  • a personal computer is used as the medical image processing device 14.
  • a keyboard and a mouse that are connected to the personal computer by wire or wirelessly are used as the operation unit 15, and various monitors such as a liquid crystal monitor that can be connected to the personal computer are used as the display unit 16 (an example of the notification unit). ..
  • the medical image processing device 14 and the display device 16 function as a diagnostic support device that displays the moving image 38 and notification information on the display device 16.
  • FIG. 2 is a block diagram showing an example of the electrical configuration of the medical image processing apparatus 14 according to the first embodiment.
  • the medical image processing apparatus 14 illustrated in FIG. 2 mainly includes a time-series image acquisition unit 40, a region of interest detection unit 42, a coordinate calculation unit 44, an image information acquisition unit 46, a non-notification maintenance time setting unit 54, and a determination. It is composed of a unit 56, a timer unit 58, a control unit 60, a display control unit 62, and a storage unit 64.
  • the control unit 60 based on the program (medical image processing program) 68 stored in the storage unit 64, the time-series image acquisition unit 40, the attention area detection unit 42, the coordinate calculation unit 44, the image information acquisition unit 46, the non-notification maintenance. It integrally controls the time setting unit 54, the determination unit 56, the time counting unit 58, and the display control unit 62, and also functions as a part of each of these units.
  • program medical image processing program
  • the storage unit 64 is a storage device such as a hard disk device.
  • the storage unit 64 stores the detection result of the attention area detection unit 42 and the captured still image 39, and also stores the program 68, information regarding various controls of the medical image processing apparatus 14, and the like.
  • the storage unit 64 also includes a graphic storage unit 66.
  • the graphic storage unit 66 stores a graphic for notifying the user of the notification information.
  • the time-series image acquisition unit 40 sequentially acquires endoscopic images, which are an example of medical images.
  • the time-series image acquisition unit 40 uses the image input / output interface (not shown) that is wired or wirelessly connected to the endoscope processor device 12 (see FIG. 1), and the time-sequential image is acquired from the endoscope processor device 12 in time series.
  • the moving image 38 (in this example, the moving image 38 imaged by the endoscope 10) including the frame image 38a is acquired. Further, when the above-mentioned still image 39 is captured while the moving image 38 is being captured by the endoscope scope 10, the time-series image acquisition unit 40 acquires the moving image 38 and the still image 39 from the endoscope processor device 12. get.
  • time-series image acquisition unit 40 may acquire the moving image 38 via various information storage media such as a memory card and a hard disk device instead of directly acquiring the moving image 38 from the endoscope processor device 12. Further, the time-series image acquisition unit 40 may acquire the video 38 uploaded to a server or database on the Internet via the Internet.
  • the attention area detection unit 42 is an example of the notification information acquisition unit that acquires the notification information included in the medical image from the medical image, and detects the attention area from the moving image 38 captured during observation in the subject.
  • the attention area detection unit 42 calculates a feature amount of each frame image 38a (or thinned frame images 38a at regular intervals) of the moving image 38, and performs a convolutional neural network (CNN :) for performing recognition processing of the attention area in the image.
  • CNN convolutional neural network
  • Examples of areas of interest include polyps, cancer, large intestine diverticulum, inflammation, EMR (Endoscopic Mucosal Resection) scars, ESD (Endoscopic Submucosal Dissection) scars, clip points, bleeding points, perforations, vascular atypia, and treatment tools.
  • EMR Endoscopic Mucosal Resection
  • ESD Endoscopic Submucosal Dissection
  • the attention area detection unit 42 recognizes the category of the detected attention area to which one of a plurality of categories related to lesions such as “neoplastic”, “non-neoplastic”, and “other”, the recognition result. It is also possible to obtain
  • the attention area detection unit 42 is not limited to detecting the attention area by CNN, and detects the attention area by analyzing the feature amount such as the color in the image, the gradient of the pixel value, the shape, and the size by image processing. You can do it.
  • the coordinate calculation unit 44 is an example of a notification information acquisition unit, and calculates coordinate information indicating the position in the image of the attention area detected by the attention area detection unit 42.
  • the coordinate calculation unit 44 calculates, for example, one or more coordinate information on the outline of a polygon or a circle that surrounds the attention area.
  • the coordinate calculation unit 44 may calculate the coordinates of the vertices of the polygon or the coordinates of the midpoint of the sides of the polygon as the coordinate information, or the coordinates of the points that divide the circumference of the circle into a plurality of equal parts. May be calculated as
  • the image information acquisition unit 46 is an image processing unit that acquires, from the moving image 38, image information for estimating the timing when the notification information is unnecessary or the timing when the reliability of the detection result of the attention area detection unit 42 becomes low.
  • the image information acquisition unit 46 includes an image feature amount acquisition unit 48, a treatment state estimation unit 50, and an attention area feature amount acquisition unit 52.
  • the image feature amount acquisition unit 48 acquires the image feature amount that is the feature amount of each frame image 38 a of the moving image 38.
  • the treatment state estimation unit 50 analyzes each frame image 38a of the moving image 38 by image processing and estimates the treatment state for the subject.
  • the attention area feature amount acquisition unit 52 acquires the attention area feature amount which is the feature amount of the attention region detected by the attention region detection unit 42.
  • the non-reporting maintenance time setting unit 54 sets a non-reporting maintenance time described later.
  • the non-notification maintaining time is stored in the storage unit 64, for example.
  • the non-notification maintaining time setting unit 54 reads the non-notification maintaining time from the storage unit 64 and sets the read non-notification maintaining time.
  • the non-notification maintaining time setting unit 54 may set the non-notification maintaining time according to the treatment state estimated by the treatment state estimating unit 50, or may set the value input by the user as the non-notification maintaining time. ..
  • the determination unit 56 determines whether the video 38 satisfies the non-notification condition.
  • the determination unit 56 may determine whether or not the moving image 38 satisfies the non-notification condition, based on the image information acquired by the image information acquisition unit 46. That is, the determination unit 56 determines at least one of the image feature amount acquired by the image feature amount acquisition unit 48, the treatment state estimated by the treatment state estimation unit 50, and the attention area feature amount obtained by the attention area feature amount acquisition unit 52. It may be determined whether the moving image 38 satisfies the non-notification condition based on the above.
  • the timekeeping unit 58 measures the elapsed time since the video 38 satisfies the non-notification condition.
  • the time measuring unit 58 may measure the elapsed time by counting the number of frame images 38a (the number of frames) after the moving image 38 satisfies the non-notification condition.
  • the display control unit 62 controls the display on the display 16.
  • the display control unit 62 includes an image display control unit 62A and a notification information display control unit 62B.
  • the image display control unit 62A outputs the moving image 38 acquired by the time-series image acquisition unit 40 to the display device 16 and causes the display device 16 to display the moving image 38. That is, the plurality of frame images 38a are sequentially displayed on the display 16.
  • the notification information display control unit 62B is an example of a notification control unit that notifies the notification information included in the medical image in the notification unit.
  • the notification information display control unit 62B controls to either the notification state of notifying the notification information or the non-notification state of not notifying the notification information.
  • the notification information display control unit 62B causes the display 16 to display information regarding the attention area detected by the attention area detection unit 42 in the notification state as notification information.
  • the notification information display control unit 62B superimposes the graphic read from the graphic storage unit 66 on the position of the coordinate information calculated by the coordinate calculation unit 44 of the frame image 38a displayed on the display 16. As a result, the figure is superimposed and displayed at the position of the attention area of the moving image 38 displayed on the display 16, and the attention area is emphasized by the figure.
  • the notification information display control unit 62B sets the notification information to the non-notification state when the moving image 38 satisfies the non-notification condition. That is, when the moving image 38 satisfies the non-notification condition, the notification information display control unit 62B sets the non-notification state in which the graphic read from the graphic storage unit 66 is not displayed, and stops the notification of the notification information by the display 16.
  • the notification information display control unit 62B maintains the non-reporting state until the non-reporting maintenance time set by the non-reporting maintenance time setting unit 54 elapses after the non-reporting condition is not satisfied in the moving image 38.
  • a notification state is displayed in which notification information is displayed after the notification maintenance time has elapsed. That is, the non-notification maintaining time is a time for maintaining the non-notification state after the non-notification condition is not satisfied.
  • the notification information display control unit 62B determines whether or not the elapsed time after the video 38 satisfies the non-reporting condition exceeds the non-reporting maintenance time, and the elapsed time after the non-sufficiency is not reported. When the maintenance time is not exceeded, the broadcast information is kept in the non-reported state.
  • the notification information display control unit 62B puts the notification information in the notification state.
  • the notification information display control unit 62B superimposes the graphic read from the graphic storage unit 66 on the position of the coordinate information calculated by the coordinate calculation unit 44 in the frame image 38a displayed on the display 16.
  • the notification information display control unit 62B sets the notification information to the notification state when the moving image 38 satisfies the notification condition, and the moving image 38 does not satisfy the notification condition.
  • the notification information can be interpreted as a non-reporting state.
  • the notification information display control unit 62B maintains the non-notification state until the non-notification maintaining time elapses after the moving image 38 satisfies the notification condition. Further, the notification information display control unit 62B brings the moving image 38 into the notification state after the non notification period has elapsed after the notification condition is satisfied.
  • the medical image processing method is implemented by the control unit 60 executing the program 68 stored in the storage unit 64.
  • the notification information is the position of the attention area
  • the medical image processing device 14 displays a graphic indicating the position of the attention area on the display 16.
  • the notification information may be the presence or absence of the attention area, or may be the recognition result of the category classification of the detected attention area.
  • FIG. 3 is a flowchart showing an example of each process of the medical image processing method according to the first embodiment.
  • the medical image processing method includes an image acquisition step (step S1), an image display step (step S2), a region of interest detection step (step S3), a determination step (step S5), and a timing step (step S7). And a notification control step (step S9, step S10).
  • step S1 the time-series image acquisition unit 40 acquires the frame image 38a of the moving image 38.
  • step S2 the image display control unit 62A causes the display 16 to display the frame image 38a acquired in step S1.
  • step S3 the attention area detection unit 42 detects the attention area from the frame image 38a acquired in step S1.
  • step S4 the control unit 60 determines whether the attention area is detected from the frame image 38a in step S3.
  • step S4 If it is determined in step S4 that the attention area has not been detected, the processing of this flowchart ends. In this case, since the notification information does not exist, notification (display) of the notification information is not performed. Therefore, the display 16 does not display the graphic indicating the position of the attention area.
  • step S4 determines whether or not the attention area is detected. If it is determined in step S4 that the attention area is detected, the process proceeds to step S5. In step S5, the determination unit 56 determines whether or not the frame image 38a acquired in step S1 satisfies the non-notification condition.
  • step S5 If it is determined in step S5 that the frame image 38a satisfies the non-notification condition, the process proceeds to step S9.
  • step S9 the notification information display control unit 62B sets the notification information to the non-notification state (non-display state), and ends the process of this flowchart. Therefore, the display 16 does not display the graphic indicating the position of the attention area.
  • step S5 if it is determined in step S5 that the frame image 38a does not satisfy the non-notification condition, the process proceeds to step S6.
  • step S6 the determination unit 56 determines whether or not the frame image 38a older than the frame image 38a acquired in step S1 satisfies the non-notification condition.
  • step S6 If it is determined in step S6 that the past frame image 38a does not satisfy the non-notification condition, the process proceeds to step S10.
  • step S10 the notification information display control unit 62B sets the notification information in the notification state (display state), and ends the process of this flowchart. Therefore, the figure is superimposed on the position of the attention area of the frame image 38a displayed on the display 16.
  • step S6 If it is determined in step S6 that the past frame image 38a satisfies the non-notification condition, the process proceeds to step S7.
  • step S7 the timer unit 58 measures the elapsed time after the non-notification condition of the moving image 38 is not satisfied.
  • the notification information display control unit 62B determines whether the elapsed time measured by the time measuring unit 58 exceeds the non-notification maintaining time.
  • the non-notification maintaining time is set to a time predetermined by the non-notification maintaining time setting unit 54.
  • the non-notification maintenance time is set to a time greater than 0.
  • the non-notification maintaining time is, for example, 0.5 seconds or more and 30 seconds or less.
  • the non-notification maintaining time is preferably 1 second or more and 7 seconds or less, and more preferably 2 seconds or more and 4 seconds or less.
  • step S8 If it is determined in step S8 that the elapsed time does not exceed the non-notification maintaining time, the process proceeds to step S9.
  • step S9 the notification information display control unit 62B sets the notification information to the non-reporting state, and ends the process of this flowchart, as in the case of shifting from step S5. Therefore, the display 16 does not display the graphic indicating the position of the attention area.
  • step S8 If it is determined in step S8 that the elapsed time exceeds the non-notification maintaining time, the process proceeds to step S10.
  • step S10 the notification information display control unit 62B puts the notification information in the notification state, similarly to the case of shifting from step S6, and ends the processing of this flowchart. Therefore, the figure is superimposed on the position of the attention area of the frame image 38a displayed on the display 16.
  • the medical image processing method it is possible to appropriately control the presence / absence of notification (display) of the notification information of the medical image regardless of the user operation.
  • the attention area detection unit 42 detects the attention area for the frame image 38a regardless of the notification state and the non-notification state, but the attention area detection unit 42 detects the attention area only in the notification state. You may go.
  • FIG. 4 is a diagram showing the transition of the display on the display unit 16.
  • F4A shown in FIG. 4 indicates the display on the display 16 at a certain point of time.
  • F4B shown in FIG. 4 shows the display of the display 16 after a predetermined time has passed from F4A
  • F4C shown in FIG. 4 shows the display of the display 16 after a further predetermined time has passed from the F4B.
  • the frame images 38a displayed on the display device 16 in F4A, F4B, and F4C are different frame images 38a of one moving image 38 forming a constant frame rate.
  • F4A shows a case where the notification information is in the notification state because the frame image 38a does not satisfy the non-notification condition.
  • F4A a frame-shaped figure F1 surrounding the attention area R1 detected in the frame image 38a is displayed on the display 16 in a superimposed manner on the frame image 38a. In this way, by notifying the position of the attention area, it is possible to prevent the user from overlooking the attention area.
  • F4B shows a case where the notification information is in the non-notification state because the frame image 38a satisfies the non-notification condition.
  • the frame image 38a including the attention area R1 is displayed on the display 16, but the graphic F1 is not displayed because the notification information is hidden.
  • the figure F1 may hinder the observation of the frame image 38a depending on the situation. For example, after the user discovers the attention area R1, it only interferes with the observation. Therefore, as shown in F4B, when the notification information satisfies the non-notification condition considered to be unnecessary timing, the notification information is hidden so that the user can easily observe the medical image. Is possible.
  • the notification information is also hidden so that the user observes the medical image. It is possible to make it easier.
  • F4C shows a case where the notification information is in the notification state again after the non-notification maintaining time has passed since the non-notification condition was not satisfied in the frame image 38a. Similar to F4A, a frame-shaped figure F1 surrounding the attention area R1 detected in the frame image 38a is displayed on the display 16 while being superimposed on the frame image 38a.
  • the notification information is left in the non-notification state, the notification information is not displayed even when the screening of the attention area is restarted after that and the notification information needs to be displayed, and the user may overlook the attention area. .. Therefore, when the non-notification condition is not satisfied, the notification information is set to the notification state. As a result, it is possible to prevent the notification information from not being continuously displayed regardless of the user operation for restarting the display.
  • the non-reporting condition is set to the reporting state after the non-reporting maintenance time has elapsed since the non-reporting condition was not satisfied.
  • FIG. 5 to FIG. 8 are diagrams showing an example of display on the display unit 16 in the notification state, in which the frame image 38a including the attention area R1 is displayed.
  • the notification information display control unit 62B notifies the attention area R1 by displaying the information IN1 in which the attention area R1 is filled.
  • the color to be filled is not limited as long as it can be notified to the user. By filling the attention area in this way, the range of the attention area can be notified easily.
  • 6 and 7 show an example of notifying whether or not the attention area is detected regardless of the position of the attention area in the image.
  • the notification information display control unit 62B notifies that the attention area R1 has been detected by displaying the information IN2 that colors the periphery of the frame image 38a. In this way, by notifying with the color around the medical image, it is possible to notify the user without superimposing a figure that obstructs the observation on the medical image and reducing the line of sight of the user.
  • the notification information display control unit 62B notifies that the attention area R1 is detected by displaying the star-shaped graphic information IN3 at the upper right position outside the frame image 38a.
  • the shape of the figure and the position where it is arranged are not limited to this example. In this way, by displaying a specific figure at a specific position outside the medical image, it is possible to notify the user without superimposing a figure that obstructs the observation on the medical image and with less movement of the user's line of sight. .. Further, since the influence range on the display screen due to the notification is small, there is an advantage that the notification is not bothersome to the user.
  • the notification information display control unit 62B displays the information IN4 in which only the region (here, the upper right) near the attention region in the periphery of the frame image 38a is colored, so that the attention region R1 is approximated. The position of is notified. In this way, by notifying the area close to the attention area in the periphery of the medical image with a color, it is possible to notify the approximate position of the detection target without grasping a figure that obstructs the observation on the medical image. be able to.
  • FIG. 9 is a diagram showing a transition of display on the display 16.
  • F9A shown in FIG. 9 shows the display on the display 16 at a certain point of time.
  • F9B shown in FIG. 9 shows the display of the display 16 after 3 seconds have passed from F9A, and F9C shown in FIG.
  • the frame images 38a displayed on the display unit 16 in F9A, F9B, and F9C are different frame images 38a of one moving image 38 forming a constant frame rate.
  • the information IN5 of the notification state or the non-reporting state (an example of information indicating that the notification is in the non-reporting state), and the remaining time in which the notification information is in the non-reporting state, that is, the non-reporting maintenance time and the elapsed time
  • the time difference information IN6 (an example of information about the elapsed time after the medical image satisfies the non-notification condition) is the display area of the frame image 38a of the display 16 (an example of the first display unit). It is displayed in a display area (an example of the third display unit) different from.
  • F9A and F9B show the case of non-reporting state.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, but the notification information display control unit 62B does not notify the attention area R1.
  • the notification information display control unit 62B displays “off” indicating that it is in a non-notification state as information IN5, and displays “5 sec” indicating that the remaining time is 5 seconds as information IN6. Further, in F9B, the notification information display control unit 62B displays “off” indicating that the non-reporting state is present as the information IN5, and displays "2 sec” indicating that the remaining time is 2 seconds as the information IN6. ..
  • F9C shows the case where the non-notification maintenance time has elapsed and the notification state is entered.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, and the notification information display control unit 62B superimposes the frame-shaped figure F1 surrounding the attention area R1 on the frame image 38a.
  • the notification information display control unit 62B displays “on” indicating that the notification state is set as the information IN5, and displays “0 sec” indicating that the non-notification maintaining time has elapsed as the information IN6.
  • the notification information display control unit 62B may hide the information IN6 in the notification state.
  • FIGS 10 and 11 are diagrams showing the transition of the display on the display unit 16, respectively.
  • the transition timings of F10A, F10B, and F10C shown in FIG. 10 and the transition timings of F11A, F11B, and F11C shown in FIG. 11 are the same as the transition timings of F9A, F9B, and F9C shown in FIG. 9, respectively.
  • the frame image 38a displayed in F10A, F10B, and F10C and the frame image 38a displayed in F11A, F11B, and F11C are the frame images displayed in F9A, F9B, and F9C, respectively. It is the same.
  • information IN5 of the notification state or the non-notification state information IN5 of the notification state or the non-notification state
  • information IN7 of the remaining time when the notification information is in the non-notification state (related to the elapsed time from when the medical image satisfies the non-notification condition)
  • An example of information is displayed in a display area different from the display area of the frame image 38a of the display 16.
  • Information IN7 expresses the remaining time in the non-notification state using a bar (progress bar), and is set so that the length of the filled part of the bar and the elapsed time have a correlation.
  • F10A and F10B show the case of the non-notification state.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, but the notification information display control unit 62B does not notify the attention area R1.
  • the notification information display control unit 62B displays “off” indicating that it is in the non-reporting state as the information IN5, and displays the bar in which the remaining time of 5 seconds is filled as the information IN7.
  • the notification information display control unit 62B displays “off” indicating the non-reporting state as the information IN5, and displays the bar in which the remaining time of 2 seconds is filled as the information IN7.
  • F10C shows the case where the notification state is reached after the non notification period has elapsed.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, and the notification information display control unit 62B superimposes the frame-shaped figure F1 surrounding the attention area R1 on the frame image 38a.
  • the notification information display control unit 62B displays “on” indicating that it is in the notification state as the information IN5, and displays the bar filled with 0 seconds of the remaining time, that is, the bar not filled as the information IN7. is doing.
  • the notification information display control unit 62B may hide the information IN7 in the notification state.
  • information IN5 of the notification state or the non-notification state information IN5 of the notification state or the non-notification state
  • information IN8 of the remaining time when the notification information is in the non-notification state is displayed in a display area different from the display area of the frame image 38a of the display 16.
  • Information IN8 expresses the remaining time with the color information of a part of the display area, and the color becomes darker as the remaining time becomes shorter.
  • F11A and F11B indicate the case of non-reporting state.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, but the notification information display control unit 62B does not notify the attention area R1.
  • the notification information display control unit 62B displays “off” indicating that the non-reporting state is present as the information IN5, and displays the color of the density corresponding to the remaining time of 5 seconds as the information IN8.
  • the notification information display control unit 62B displays “off” indicating the non-reporting state as the information IN5, and displays the color of the density corresponding to the remaining time of 2 seconds as the information IN8.
  • F11C shows the case where the non-notification maintenance time has elapsed and the notification state is entered.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, and the notification information display control unit 62B superimposes the frame-shaped figure F1 surrounding the attention area R1 on the frame image 38a.
  • the notification information display control unit 62B displays “on” indicating that the notification state is set as the information IN5, and displays the color of the density corresponding to 0 seconds as the remaining time as the information IN8.
  • the color density of the information IN8 of F11B is relatively higher than the color density of the information IN8 of F11A
  • the color density of the information IN8 of F11C is higher than the color density of the information IN8 of F11B. Relatively high. The color may be darkened as the remaining time becomes shorter.
  • the user can grasp the remaining time without having to pay attention to a specific area, and there is an advantage that it does not hinder the observation.
  • FIG. 12 is a diagram showing the transition of the display on the display unit 16.
  • F12A shown in FIG. 12 shows the display of the display 16 at a certain time.
  • F12B shown in FIG. 12 shows the display of the display 16 after a predetermined time has passed from F12A
  • F12C shown in FIG. 12 shows the display of the display 16 after a further predetermined time has passed from the F12B.
  • the frame images 38a displayed on the display unit 16 in F12A, F12B, and F12C are different frame images 38a of one moving image 38 forming a constant frame rate.
  • information IN9 that collectively represents the information of the notification state or the non-reporting state and the information of the remaining time when the reporting information is in the non-reporting state is the display area of the frame image 38a of the display device 16. It is displayed in a display area different from.
  • Information IN9 indicates that when the character “AI” is grayed out, it is in a non-reporting state that satisfies the non-reporting condition.
  • the character “AI” is red with a certain density, it indicates that it is in the notification state.
  • the red concentration continuously changes according to the remaining time.
  • F12A shows the case of the non-notification state in which the non-notification condition is satisfied.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, but the notification information display control unit 62B does not notify the attention area R1.
  • the notification information display control unit 62B displays the grayed out “AI” character as the information IN9. This means that the notification of the detection of the attention area by AI (Artificial Intelligence) is not functioning.
  • F12B shows a case where the non-reporting condition is unsatisfied until the non-reporting maintenance time elapses.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, but the notification information display control unit 62B does not notify the attention area R1. Further, the notification information display control unit 62B displays, as the information IN9, a red character "AI" having a density corresponding to the remaining time.
  • F12C indicates the case of the notification state.
  • the frame image 38a including the attention area R1 is displayed on the display device 16, and the notification information display control unit 62B superimposes the frame-shaped figure F1 surrounding the attention area R1 on the frame image 38a.
  • the notification information display control unit 62B displays, as the information IN9, a red character "AI" having a certain density corresponding to the notification state. This indicates that the detection of the attention area is functioning.
  • the red density of F12C information IN9 is relatively higher than the red density of F12B information IN9.
  • the color in the non-reporting state that satisfies the non-reporting condition of the information IN9, the color and the density in the reporting state are not limited to this example.
  • the screen display is not complicated. Further, by changing the character color between the notification state and the non-notification state, the user can easily distinguish the notification state and the non-notification state. Furthermore, by continuously changing the density of the character color according to the remaining time, the user can grasp the remaining time. In the case of the non-notification state, the display itself may be stopped instead of being grayed out. Further, the remaining time may be expressed by shading of a figure such as an icon instead of the character.
  • the non-notification condition determined by the determination unit 56 is, for example, a condition for determining the image feature amount of the medical image.
  • the image feature amount includes at least one of luminance, color information, temporal change, and frequency information of the medical image.
  • the notification information is unnecessary when the user discovers the attention area from the moving image 38 and observes the attention area.
  • the temporal change of the moving image 38 is generally relatively smaller.
  • the image feature amount acquisition unit 48 detects temporal changes in the plurality of frame images 38a of the moving image 38 as the image feature amount.
  • the determination unit 56 compares the detected temporal change with the temporal change set as the non-notification condition. As a result, when it is determined that the detected temporal change is relatively smaller, the notification information display control unit 62B determines that the user is observing the region of interest after the discovery and determines that the notification information is not displayed. Inform the notification state.
  • the endoscope system 9 is sending or absorbing water, it is considered that the notification information is unnecessary.
  • the yellow component and the high-frequency component of the frame image 38a increase during the water supply and the water absorption.
  • the image feature amount acquisition unit 48 detects the color component of the frame image 38a as the image feature amount.
  • the determination unit 56 compares the detected yellow component with the yellow component set as the non-notification condition. As a result, when it is determined that the detected yellow component is relatively large, the notification information display control unit 62B determines that the endoscope system 9 is transmitting or absorbing water, and the notification information is not displayed. Inform the notification state.
  • the image feature amount acquisition unit 48 detects the frequency component of the frame image 38a as the image feature amount.
  • the determination unit 56 compares the detected high frequency component with the high frequency component set as the non-notification condition. As a result, when it is determined that the detected high-frequency component is relatively large, the notification information display control unit 62B determines that the endoscope system 9 is in water feeding or water absorption, and the notification information is not set. Inform the notification state.
  • the brightness of the frame image 38a is too high, too low, or if the blur of the frame image 38a is too large, it is considered to be the timing at which the reliability of the detection result of the attention area detection unit 42 decreases.
  • the image feature amount acquisition unit 48 detects the brightness of the frame image 38a as the image feature amount.
  • the determination unit 56 compares the detected brightness with the brightness range set as the non-notification condition. As a result, when it is determined that the detected luminance is not included in the set luminance range, the notification information display control unit 62B determines that the accuracy of the detection result of the attention area detection unit 42 deteriorates and the notification information is displayed. To the non-reporting state.
  • the image feature amount acquisition unit 48 detects the blur of the frame image 38a as the image feature amount.
  • the determination unit 56 compares the detected blur with the blur set as the non-notification condition. As a result, when it is determined that the detected blur is relatively large, the notification information display control unit 62B determines that the accuracy of the detection result of the attention area detection unit 42 deteriorates, and the notification information is in the non notification state. And
  • the non-notification condition is set to the image feature amount at the timing when the notification information is unnecessary or at the timing when the reliability of the attention area detection result becomes low, and the set image feature amount and the image feature amount acquisition unit 48 are set.
  • the determination unit 56 comparing the image feature amount acquired by the, the notification information can be automatically set to the non-notification state at an appropriate timing.
  • the notification state of the notification information should not be restarted immediately.
  • the temporal change of the frame image 38a is small, there are many situations in which the temporal change temporarily increases due to the influence of body movement and the amount of change immediately returns to a small amount. Screening is not restarted at the timing when such a temporal change is large, and it is not necessary to display the notification information. Further, if the display and the non-display are repeated at short intervals, there is a problem that the user is annoyed.
  • the non-reporting state is maintained until the non-reporting maintenance time elapses, and the report state is set after the non-reporting maintenance time passes, thereby avoiding such a problem. be able to.
  • the non-notification condition may be a condition for determining the treatment state of the subject of the medical image. It is considered that the notification information is unnecessary when the user is performing the treatment on the subject.
  • As the treatment state a case where the treatment tool is reflected in the frame image 38a, a case where bleeding is reflected, or a case where the endoscope system 9 is set in a magnifying mode for magnifying and imaging at a predetermined magnification are considered. Be done.
  • the treatment state estimation unit 50 detects the treatment tool from the frame image 38a.
  • the determination unit 56 compares the detected treatment tool with the biopsy forceps or the snare which is the treatment tool set as the non-notification condition.
  • the notification information display control unit 62B determines that the user is performing the treatment and sets the notification information to the non-notification state.
  • the notification information may be set to the non-notification state by determining that the user is performing the treatment regardless of the type of the treatment tool.
  • the determination unit 56 does not have to determine whether or not the non-reporting condition is satisfied, or may set all the treatment tools as the non-reporting condition and make the determination.
  • the treatment state estimation unit 50 also detects the amount of blood loss from the frame image 38a.
  • the determination unit 56 compares the detected bleeding amount with the bleeding amount set as the non-notification condition. When it is determined that the detected bleeding amount satisfies the non-notification condition, the notification information display control unit 62B determines that the user is under treatment and sets the notification information to the non-notification state.
  • the treatment state estimation unit 50 detects the mode in which the endoscope system 9 is set.
  • the determination unit 56 compares the detected mode with the expansion mode set as the non-notification condition. When it is determined that the detected mode satisfies the non-notification condition, the notification information display control unit 62B determines that the user is under treatment and sets the notification information to the non-notification state.
  • the treatment state estimation unit 50 also detects the color material scattered in the subject.
  • the determination unit 56 compares the detected color material with the color material set as the non-notification condition. When it is determined that the detected color material satisfies the non-notification condition, the notification information display control unit 62B determines that the user is in the process of diagnosis and sets the notification information to the non-notification state.
  • the notification information may be set to the non-notification state by determining that the user is under treatment regardless of the type of the color material.
  • the determination unit 56 does not have to determine whether or not the non-reporting condition is satisfied, or may set all color materials as the non-reporting condition and make the determination.
  • the non-notification condition is set to the treatment state at a timing when the notification information is unnecessary, and the determination unit 56 compares the set treatment state with the treatment state acquired by the treatment state estimation unit 50, The notification information can be automatically set to the non-notification state at an appropriate timing.
  • the display of the notification information should not be restarted immediately.
  • the display of the notification information should not be restarted immediately.
  • the display of the notification information should not be restarted immediately.
  • the non-reporting state is maintained until the non-reporting maintenance time elapses, and the notification state is set after the non-reporting maintenance time has passed, thereby avoiding such a problem. can do.
  • the non-notification maintenance time may be changed according to the treatment status. For example, when the frame image 38a includes the biopsy forceps, it can be determined that the biopsy procedure is completed when the biopsy monitoring does not come out from the forceps opening. Therefore, the non-notification maintaining time setting unit 54 may set the non-notification maintaining time after the biopsy monitoring is in a state where the biopsy monitoring is not out of the forceps opening to a relatively short time.
  • the treatment tool cannot be detected from the frame image 38a from the local injection to the time when the snare is taken out from the forceps opening, but during this time, the treatment operation is still in progress and the notification information should not be displayed again. Therefore, when a local injection is detected from the frame image 38a, the non-notification maintaining time setting unit 54 sets the non-notification maintaining time after the local injection is no longer detected to be a relatively long time, thereby performing a series of It is possible to avoid redisplaying the notification information during the work.
  • the non-notification condition may be a condition for determining the attention area feature amount of the medical image.
  • the attention area feature amount includes at least one of the area of the attention area, the position in the medical image, and the temporal change.
  • the ratio of the area of the attention area in the frame image 38a is large, the position of the attention area in the frame image 38a is at the center, and the temporal change of the attention area is small.
  • the attention area feature amount acquisition unit 52 detects the area of the attention area in the frame image 38a as the attention area feature amount.
  • the determination unit 56 compares the detected area with the area set as the non-notification condition. As a result, when it is determined that the detected area is relatively larger, the notification information display control unit 62B determines that the user is observing the region of interest after the discovery and determines that the notification information is not in the notification state.
  • the attention area feature amount acquisition unit 52 detects the position of the attention area in the frame image 38a as the attention area feature amount.
  • the determination unit 56 compares the detected position with the position set as the non-notification condition. As a result, when it is determined that the detected position of the attention area is closer to the center than the position set as the non-notification condition, the notification information display control unit 62B indicates that the user is observing the attention area after the observation. And the notification information is set to the non-notification state.
  • the attention area feature amount acquisition unit 52 detects a temporal change of the attention area of the moving image 38 as the attention area feature amount.
  • the determination unit 56 compares the detected temporal change with the temporal change set as the non-notification condition. As a result, when it is determined that the detected temporal change is relatively smaller, the notification information display control unit 62B determines that the user is observing the region of interest after the discovery and determines that the notification information is not displayed. Inform the notification state.
  • the non-notification condition is set to the attention area feature amount at a timing when the notification information is unnecessary, and the set attention area feature amount and the attention area feature amount acquired by the attention area feature amount acquisition unit 52 are determined.
  • the notification information can be automatically set to the non-notification state at an appropriate timing.
  • the display of the notification information should not be restarted immediately.
  • the area of interest is large and it is determined that the area of interest is temporarily covered with residual liquid or the like, or when the area of interest is small, the area of interest is located at the center of the frame image 38a.
  • the user temporarily moves to the end of the frame image 38a due to the influence of body movement. Therefore, even if the non-reporting condition is not satisfied, the non-reporting state is maintained until the non-reporting maintenance time elapses, and the notification state is set after the non-reporting maintenance time has passed, thereby avoiding such a problem. can do.
  • FIG. 13 is a block diagram showing an electrical configuration of the medical image processing apparatus 14 according to the second embodiment.
  • the medical image processing apparatus 14 is similar to the block diagram shown in FIG.
  • the display control unit 62 is connected to the first display 16A, the second display 16B, the third display 16C, and the fourth display 16D, and controls the respective displays.
  • the first indicator 16A, the second indicator 16B, the third indicator 16C, and the fourth indicator 16D are provided in the endoscope system 9, for example.
  • the first display 16A, the second display 16B, the third display 16C, and the fourth display 16D are display devices such as different liquid crystal monitors. Although four display devices are connected here, the number of display devices may be determined as needed. Further, the first display 16A, the second display 16B, the third display 16C, and the fourth display 16D may be different areas in the screen of a single display device.
  • FIG. 14 is a diagram showing an example of the transition of the display on the first display 16A and the second display 16B.
  • the notification information display control unit 62B controls the display of the first display 16A (an example of the first display) in the same manner as the display of the display 16 according to the first embodiment.
  • F14A, F14B, and F14C illustrated in FIG. 14 indicate the display of the first display 16A, and are similar to F4A, F4B, and F4C illustrated in FIG.
  • F14A and F14C indicate the case where the notification information is in the notification state.
  • a frame-shaped figure F1 surrounding the attention area R1 detected in the frame image 38a is superimposed on the frame image 38a.
  • F14B shows the case where the notification information is in the non-notification state.
  • the figure F1 is not displayed, but only the frame image 38a is displayed.
  • the notification information display control unit 62B changes the display mode of the notification information of the second display unit 16B (an example of the second display unit) according to the notification state and the non-notification state of the first display unit 16A.
  • the notification information display control unit 62B displays the notification information on the second display 16B when the notification information is in the non-notification state.
  • F14D, F14, and F14 illustrated in FIG. 14 indicate the display of the second display 16B at the same timing as F14A, F14, and F14, respectively.
  • the frame images 38a displayed in F14D, F14, and F14 are the same images as the frame images 38a displayed in F14A, F14B, and F14C, respectively.
  • the graphic F1 is not displayed in F14D and F14, which are the timings when the notification information is in the notification state.
  • F14 when the notification information is in the non-notification state, the frame-shaped figure F1 surrounding the attention area R1 is superimposed on the frame image 38a.
  • the notification information is displayed on the second display 16B only when the notification information is in the non-notification state.
  • the notification information can be confirmed when the user needs the notification information.
  • the frame image 38a is displayed on the second display 16B, but only the figure F1 which is the notification information may be displayed on the second display 16B.
  • FIG. 15 is a diagram showing another example of the transition of the display of the first display 16A and the second display 16B.
  • the notification information display control unit 62B changes the notification information displayed on the second display 16B to a display with a higher emphasis level when the notification information is in the non-reporting state.
  • the emphasis level is the ease with which the user can recognize the notification information, and the higher the emphasis level, the easier the user can recognize the notification information.
  • F15, F15B, and F15C shown in FIG. 15 show the display of the first display 16A, and are similar to F14A, F14B, and F14C shown in FIG. Further, F15, F15E, and F15F shown in FIG. 15 indicate the display of the second display 16B at the same timing as F15A, F15B, and F15C, respectively.
  • the frame images 38a displayed in F15D, F15E, and F15F are the same images as the frame images 38a displayed in F15A, F15B, and F15C, respectively.
  • F15D and F15F which are the timings of the notification state, as in F15A and F15C, a frame-shaped figure F1 surrounding the attention area R1 detected in the frame image 38a is superimposed on the frame image 38a.
  • F15E which is the timing of the non-notification state, a frame-shaped figure F2 surrounding the attention area R1 detected in the frame image 38a is superimposed on the frame image 38a.
  • the line thickness of the figure F2 is relatively thicker than the line thickness of the figure F1. Therefore, the emphasis level of the figure F2 is relatively higher than the emphasis level of the figure F1.
  • the notification information display control unit 62B may display the information IN1 to IN4 for notifying the attention area shown in FIGS. 5 to 8 on the second display 16B.
  • the notification information display control unit 62B may display the information IN1 to IN4 on the second display 16B only when the notification information is in the non-notification state.
  • the image display control unit 62A may display the medical image on the second display 16B or may not display the medical image.
  • FIG. 16 is a diagram showing another example of the transition of the display of the first indicator 16A and the third indicator 16C.
  • the notification information display control unit 62B displays information indicating that the notification information is in the non-notification state on the third display 16C (an example of the third display unit). ..
  • F16A, F16B, and F16C shown in FIG. 16 indicate the display of the first display 16A, and are the same as F14A, F14B, and F14C shown in FIG. Further, F16, F16E, and F16F shown in FIG. 16 indicate the display of the third display 16C at the same timing as F16A, F16B, and F16C, respectively.
  • the notification information display control unit 62B does not display on the third display 16C at the notification state timings F16D and F16F. Further, the notification information display control unit 62B displays the information IN10 indicating the non-notification state on the third display 16C at F16E which is the timing of the non-notification state.
  • the notification information display control unit 62B may display the information indicating the notification state on the third display 16C at F16D and F16F, which are the timings of the notification state.
  • the first display 16A may be immediately set to the notification state.
  • FIG. 17 is a diagram showing another example of the transition of the display of the first display 16A and the fourth display 16D.
  • the notification information display control unit 62B displays information on the elapsed time after the non-notification condition is not satisfied on the fourth display 16D (an example of the fourth display unit).
  • F17A, F17B, and F17C shown in FIG. 17 indicate the display of the first display 16A, and are similar to F14A, F14B, and F14C shown in FIG. Note that F17B indicates a case where the non-notification state of the notification information is maintained until the non-notification maintaining time elapses after the non-notification condition is not satisfied in the frame image 38a.
  • F17D, F17E, and F17F shown in FIG. 17 indicate the display of the fourth display 16D at the same timing as F17A, F17B, and F17C, respectively.
  • the notification information display control unit 62B does not display the fourth display 16D at F17D and F17, which are timings when the non-notification condition is not satisfied.
  • F17E which is the timing from when the frame image 38a satisfies the non-reporting condition to when the non-reporting maintenance time elapses
  • the remaining time for which the broadcast information is in the non-reporting state That is, the information IN11 of the time difference between the non-notification maintaining time and the elapsed time is displayed on the fourth display 16D.
  • the notification information display control unit 62B may display the remaining time information IN6 to IN9 shown in FIGS. 9 to 12 on the second display 16B.
  • the user can recognize the information regarding the elapsed time after the non-notification condition is not satisfied.
  • the user may operate the operation unit 15 while the information IN11 is displayed on the fourth display 16D to immediately bring the first display 16A into the notification state.
  • FIG. 18 is a block diagram showing an example of the electrical configuration of the medical image processing apparatus 14 according to the third embodiment.
  • the same parts as those in the block diagram shown in FIG. 2 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the medical image processing device 14 includes a sound control unit 70.
  • the sound control unit 70 is an example of a notification control unit that notifies the notification information included in the medical image of the subject by the notification unit.
  • the sound control unit 70 is connected to the sound output unit 17.
  • the sound output unit 17 functions as a notification unit that notifies the notification information, and is provided in the endoscope system 9 (see FIG. 1), for example.
  • the sound output unit 17 is configured to include a member that outputs sound, such as a buzzer or a speaker.
  • the sound control unit 70 causes the sound output unit 17 to output a sound in the notification state to notify the notification information.
  • the output sound may be an alarm sound or a sound related to the notification information.
  • the configuration including the display 16 and the sound output unit 17 as the notification unit that notifies the notification information has been described, but only the sound output unit 17 may be provided. Further, a mode in which a lamp that emits light, a vibrator that vibrates, or the like is used as the notification unit that notifies the notification information is also possible.
  • the medical image processing method described above is configured as a program for realizing each step in a computer, and is configured as a non-transitory recording medium such as a CD-ROM (Compact Disk-Read Only Memory) storing the program. Is also possible.
  • a CD-ROM Compact Disk-Read Only Memory
  • the endoscope processor device 12 and the medical image processing device 14 are described as different devices, but the endoscope processor device 12 and the medical image processing device 14 are configured as an integrated device, The endoscope processor device 12 having the function of the medical image processing device 14 may be used.
  • the hardware structure of the processing unit that executes various processes of the endoscope processor device 12 and the medical image processing device 14 is the following various processors.
  • CPUs Central Processing Units
  • GPUs Graphics Processing Units
  • Dedicated for executing specific processing such as Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacturing
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a CPU and Combination of GPUs). Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units by one processor, firstly, as represented by a computer such as a server and a client, one processor is configured by a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • a processor that realizes the functions of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip is used, as represented by a system on chip (SoC).
  • SoC system on chip
  • the various processing units are configured by using one or more various processors as a hardware structure.
  • the hardware-like structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • Region of interest detection unit 44 Coordinate calculation unit 46 ... Image information acquisition unit 48 ... Image feature amount acquisition unit 50 ... Treatment state estimation unit 52 ... Region of interest feature Quantity acquisition unit 54 ... Non-notification maintaining time setting unit 56 ... Judgment unit 58 ... Timing unit 60 ... Control unit 62 ... Display control unit 62A ... Image display control unit 62B ... Notification information display control unit 64 ... Storage unit 66 ... Graphic storage unit 68 ... Program 70 ... Sound control units F1, F2 ... Figures IN1 to IN11 ... Information R1 ... Regions of interest S1 to S10 ... Each step of medical image processing method

Abstract

ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御する医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置を提供する。医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、報知制御部は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理装置によって上記課題を解決する。

Description

医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
　本発明は医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置に係り、特に医療画像の報知情報の報知の有無を制御する技術に関する。
　内視鏡画像から病変等の注目領域を自動検出する技術が病変の見落とし防止につながるとして期待されている。この自動検出技術はあくまで見落とし防止が目的であり、ユーザが病変の存在を認識した後も検出結果を報知し続けることは観察の妨げになるため、好ましくない。そこで、ユーザ認識後は意図的に報知情報を報知しない非報知にすることが考えられる。
　しかしながら、非報知にされたことをユーザが気づかないまま検査を継続してしまう恐れがある。この場合、報知情報がユーザに報知されないため、病変が見落とされる可能性がある。
　このような課題に対し、特許文献１には、非表示アイコンをクリック操作することで病巣候補陰影に対するマーカ（報知情報に相当）が付加されたＣＴ（Computed Tomography）画像のマーカを非表示にし、所定時間経過した場合に元のマーカ付きのＣＴ画像に復帰させる技術が開示されている。この技術によれば、マーカを非表示にした場合であっても、マーカが非表示のままで検査が継続されることを防止することができる。
特許第４３９３０１６号
　しかしながら、特許文献１に記載された技術では、マーカを非表示にするためにはユーザの操作が必要であるという欠点があった。
　本発明はこのような事情に鑑みてなされたもので、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御する医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置を提供することを目的とする。
　上記目的を達成するために医療画像処理装置の一の態様は、医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、報知制御部は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理装置である。
　本態様によれば、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にするようにしたので、非報知条件を非充足の場合は報知状態となり、非報知条件を充足する場合は非報知状態となり、かつ非報知条件を非充足になってから非報知維持時間が経過するまでは非報知状態が維持され、非報知維持時間の経過後に報知状態になる。したがって、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。
　医療画像を順次取得する画像取得部と、医療画像から報知情報を取得する報知情報取得部と、医療画像が非報知条件を充足するか否かを判定する判定部と、医療画像が非報知条件を非充足になってからの経過時間を計時する計時部と、を備えることが好ましい。これにより、医療画像の取得、報知情報の取得、非報知条件の判定、及び経過時間の判定を適切に行うことができる。
　非報知条件は医療画像の画像特徴量を判定する条件であり、医療画像から画像特徴量を取得する画像特徴量取得部を備えることが好ましい。これにより、画像特徴量に応じて報知を停止することができる。
　画像特徴量は、医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも１つを含むことが好ましい。これにより、適切に報知を停止することができる。
　非報知条件は医療画像の被検体に対する処置状態を判定する条件であり、医療画像から処置状態を推定する処置状態推定部を備えることが好ましい。これにより、処置状態に応じて報知を停止することができる。
　処置状態に応じて非報知維持時間を設定する非報知維持時間設定部を備えることが好ましい。これにより、非報知維持時間を適切に設定することができる。
　非報知条件は注目領域特徴量を判定する条件であり、医療画像から注目領域を検出する注目領域検出部と、注目領域から注目領域特徴量を取得する注目領域特徴量取得部と、を備えることが好ましい。これにより、注目領域特徴量に応じて報知を停止することができる。
　注目領域特徴量は、注目領域の面積、医療画像内の位置、及び時間的変化の少なくとも１つを含むことが好ましい。これにより、適切に報知を停止することができる。
　報知部は音を出力する音出力部を含み、報知制御部は、音出力部に音を出力させる音制御部を備えることが好ましい。これにより、報知情報を適切に報知することができる。
　報知部は第１表示部を含み、報知制御部は、報知情報を第１表示部に表示させる表示制御部を備えることが好ましい。これにより、報知情報を適切に報知することができる。
　報知部は第１表示部とは異なる第２表示部を含み、表示制御部は、報知情報を第２表示部に表示させることが好ましい。これにより、報知情報を適切に報知することができる。
　表示制御部は、報知状態及び非報知状態に応じて第２表示部の報知情報の表示の態様を変更することが好ましい。これにより、報知情報を適切に報知することができる。
　表示制御部は、非報知状態の場合に報知情報を第２表示部に表示させることが好ましい。これにより、第１表示部において医療画像の観察を適切に行うことができ、第２表示部において報知情報を適切に報知することができる。
　表示制御部は、非報知状態である旨の情報を第１表示部とは異なる第３表示部に表示させることが好ましい。これにより、報知情報が非報知状態であることをユーザが知ることができる。
　表示制御部は、医療画像が非報知条件を非充足になってからの経過時間に関する情報を第１表示部とは異なる第４表示部に表示することが好ましい。これにより、経過時間に関する情報をユーザが知ることができる。
　上記目的を達成するために診断支援装置の一の態様は、上記の医療画像処理装置と、第１表示部と、を備えた診断支援装置である。本態様によれば、ユーザ操作によらずに医療画像の報知情報の表示の有無を適切に制御することができる。
　上記目的を達成するために医療画像処理方法の一の態様は、医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、報知制御工程は、医療画像が非報知条件を充足する場合に報知情報を非報知状態とし、かつ医療画像が非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする医療画像処理方法である。
　本態様によれば、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。上記の医療画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
　本発明によれば、ユーザ操作によらずに医療画像の報知情報の報知の有無を適切に制御することができる。
図１は、医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。 図２は、医療画像処理装置の電気的構成の一例を示すブロック図である。 図３は、医療画像処理方法の各処理の一例を示すフローチャートである。 図４は、表示器の表示の遷移を示す図である。 図５は、報知状態における表示器の表示の一例を示す図である。 図６は、報知状態における表示器の表示の一例を示す図である。 図７は、報知状態における表示器の表示の一例を示す図である。 図８は、報知状態における表示器の表示の一例を示す図である。 図９は、表示器の表示の遷移を示す図である。 図１０は、表示器の表示の遷移を示す図である。 図１１は、表示器の表示の遷移を示す図である。 図１２は、表示器の表示の遷移を示す図である。 図１３は、医療画像処理装置の電気的構成を示すブロック図である。 図１４は、第１表示器及び第２表示器の表示の遷移の一例を示す図である。 図１５は、第１表示器及び第２表示器の表示の遷移の他の例を示す図である。 図１６は、第１表示器及び第３表示器の表示の遷移の他の例を示す図である。 図１７は、第１表示器及び第４表示器の表示の遷移の他の例を示す図である。 図１８は、医療画像処理装置の電気的構成の一例を示すブロック図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　＜内視鏡システムの全体構成＞
　図１は、本実施形態に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。
　内視鏡スコープ１０は、時系列の医療画像を撮像するためのものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つユーザ（医師）が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
　手元操作部２１には、ユーザによって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮像指示を行うための静止画撮像指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせ等の観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、時系列のフレーム画像３８ａ（図２参照）からなる時系列の医療画像である動画３８を生成する。動画３８のフレームレートは、例えば３０ｆｐｓ（frame per second）である。
　更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮像指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮像指示のタイミングに応じて取得し、静止画３９とする。
　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
　なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報、或いはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。
　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医療画像である。
　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。ユーザは、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮像指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
　医療画像処理装置１４は、注目領域である病変の自動認識及び自動鑑別を行う装置であり、医療画像に含まれる報知情報をユーザに報知する。医療画像処理装置１４は、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６（報知部の一例）はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　医療画像処理装置１４と表示器１６（第１表示部の一例）とによって、動画３８及び報知情報を表示器１６に表示する診断支援装置として機能する。
　＜第１実施形態＞
　〔医療画像処理装置の構成〕
　図２は、第１実施形態に係る医療画像処理装置１４の電気的構成の一例を示すブロック図である。図２に示す医療画像処理装置１４は、主として時系列画像取得部４０と、注目領域検出部４２と、座標算出部４４と、画像情報取得部４６と、非報知維持時間設定部５４と、判定部５６と、計時部５８と、制御部６０と、表示制御部６２と、記憶部６４と、から構成されている。
　制御部６０は、記憶部６４に記憶されたプログラム（医療画像処理プログラム）６８に基づき、時系列画像取得部４０、注目領域検出部４２、座標算出部４４、画像情報取得部４６、非報知維持時間設定部５４、判定部５６、計時部５８、及び表示制御部６２を統括制御し、また、これらの各部の一部として機能する。
　記憶部６４は、ハードディスク装置等のストレージ装置である。記憶部６４は、注目領域検出部４２による検出結果及び撮像された静止画３９を記憶するとともに、プログラム６８及び医療画像処理装置１４の各種制御に係る情報等を記憶する。
　また、記憶部６４は、図形記憶部６６を備えている。図形記憶部６６には、報知情報をユーザに報知するための図形が記憶されている。
　時系列画像取得部４０は、医療画像の一例である内視鏡画像を順次取得する。ここでは、時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１参照）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に前述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
　なお、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。
　注目領域検出部４２は、医療画像から医療画像に含まれる報知情報を取得する報知情報取得部の一例であり、被検体内の観察中に撮像された動画３８から注目領域を検出する。注目領域検出部４２は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。
　注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具等がある。
　注目領域検出部４２は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
　なお、注目領域検出部４２は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
　座標算出部４４は、報知情報取得部の一例であり、注目領域検出部４２によって検出された注目領域の画像内の位置を示す座標情報を算出する。座標算出部４４は、例えば注目領域を囲む多角形又は円の輪郭線上の１つ以上の座標情報を算出する。座標算出部４４は、多角形の頂点の座標、又は多角形の辺の中点の座標を座標情報として算出してもよいし、円の円周を複数に等分割する点の座標を座標情報として算出してもよい。
　画像情報取得部４６は、報知情報が不必要なタイミング、又は注目領域検出部４２の検出結果の信頼度が低くなるタイミングを推定するための画像情報を動画３８から取得する画像処理部である。画像情報取得部４６は、画像特徴量取得部４８と、処置状態推定部５０と、注目領域特徴量取得部５２と、を備えている。
　画像特徴量取得部４８は、動画３８の各フレーム画像３８ａの特徴量である画像特徴量を取得する。処置状態推定部５０は、動画３８の各フレーム画像３８ａを画像処理により解析して被検体に対する処置状態を推定する。注目領域特徴量取得部５２は、注目領域検出部４２によって検出された注目領域の特徴量である注目領域特徴量を取得する。
　非報知維持時間設定部５４は、後述する非報知維持時間を設定する。非報知維持時間は、例えば記憶部６４に記憶されている。非報知維持時間設定部５４は、記憶部６４から非報知維持時間を読み出し、読み出した非報知維持時間を設定する。非報知維持時間設定部５４は、処置状態推定部５０が推定した処置状態に応じて非報知維持時間を設定してもよいし、ユーザが入力した値を非報知維持時間として設定してもよい。
　判定部５６は、動画３８が非報知条件を充足するか否かを判定する。判定部５６は、画像情報取得部４６が取得した画像情報に基づいて、動画３８が非報知条件を充足するか否かを判定してもよい。即ち、判定部５６は、画像特徴量取得部４８が取得した画像特徴量、処置状態推定部５０が推定した処置状態、注目領域特徴量取得部５２が取得した注目領域特徴量のうちの少なくとも１つに基づいて動画３８が非報知条件を充足するか否かを判定してもよい。
　計時部５８は、動画３８が非報知条件を非充足になってからの経過時間を計時する。計時部５８は、動画３８が非報知条件を非充足になってからのフレーム画像３８ａの数（フレーム数）を計数することで経過時間を計時してもよい。
　表示制御部６２は、表示器１６の表示を制御する。表示制御部６２は、画像表示制御部６２Ａ及び報知情報表示制御部６２Ｂを備えている。画像表示制御部６２Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。即ち、表示器１６には、複数のフレーム画像３８ａが順次表示される。
　報知情報表示制御部６２Ｂは、医療画像に含まれる報知情報を報知部において報知する報知制御部の一例である。報知情報表示制御部６２Ｂは、報知情報を報知する報知状態及び報知しない非報知状態のいずれかの状態に制御する。報知情報表示制御部６２Ｂは、報知状態において注目領域検出部４２によって検出された注目領域に関する情報を報知情報として表示器１６に表示させる。ここでは、報知情報表示制御部６２Ｂは、表示器１６に表示されたフレーム画像３８ａの座標算出部４４において算出された座標情報の位置に、図形記憶部６６から読み出した図形を重畳させる。これにより、表示器１６に表示される動画３８の注目領域の位置に図形が重畳表示され、注目領域は図形により強調される。
　また、報知情報表示制御部６２Ｂは、動画３８が非報知条件を充足する場合に報知情報を非報知状態とする。即ち、報知情報表示制御部６２Ｂは、動画３８が非報知条件を充足する場合は図形記憶部６６から読み出した図形を表示しない非報知状態とし、表示器１６による報知情報の報知を停止する。
　さらに、報知情報表示制御部６２Ｂは、動画３８が非報知条件を非充足になってから非報知維持時間設定部５４が設定した非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知情報を表示する報知状態にする。即ち、非報知維持時間は、非報知条件を非充足になってから非報知状態を維持する時間である。
　報知情報表示制御部６２Ｂは、動画３８が非報知条件を非充足になってからの経過時間が非報知維持時間を超えたか否かを判定し、非充足になってからの経過時間が非報知維持時間を超えていない場合は、報知情報を非報知状態を維持する。
　また、非充足になってからの経過時間が非報知維持時間を超えた場合は、報知情報表示制御部６２Ｂは報知情報を報知状態にする。ここでは、報知情報表示制御部６２Ｂは、表示器１６に表示されたフレーム画像３８ａ内の座標算出部４４において算出された座標情報の位置に、図形記憶部６６から読み出した図形を重畳させる。
　なお、非報知条件とは逆の条件を報知条件とすると、報知情報表示制御部６２Ｂは、動画３８が報知条件を充足する場合に報知情報を報知状態とし、動画３８が報知条件を非充足の場合に報知情報を非報知状態とする、と解釈することができる。この場合、報知情報表示制御部６２Ｂは、動画３８が報知条件を充足してから非報知維持時間が経過するまでは非報知状態を維持する。また、報知情報表示制御部６２Ｂは、動画３８が報知条件を充足してから非報知維持時間の経過後に報知状態にする。
　〔医療画像処理方法〕
　続いて、医療画像処理装置１４を用いた医療画像処理方法について説明する。医療画像処理方法は、記憶部６４に記憶されたプログラム６８を制御部６０が実行することで実施される。
　本実施形態では、報知情報は注目領域の位置であり、医療画像処理装置１４は、注目領域の位置を示す図形を表示器１６に表示する。報知情報は、注目領域の有無であってもよいし、検出された注目領域のカテゴリ分類の認識結果であってもよい。
　図３は、第１実施形態に係る医療画像処理方法の各処理の一例を示すフローチャートである。医療画像処理方法は、画像取得工程（ステップＳ１）と、画像表示工程（ステップＳ２）と、注目領域検出工程（ステップＳ３）と、判定工程（ステップＳ５）と、計時工程（ステップＳ７）と、報知制御工程（ステップＳ９、ステップＳ１０）と、を含む。
　ステップＳ１では、時系列画像取得部４０は、動画３８のフレーム画像３８ａを取得する。ステップＳ２では、画像表示制御部６２Ａは、ステップＳ１で取得したフレーム画像３８ａを表示器１６に表示させる。
　ステップＳ３では、注目領域検出部４２は、ステップＳ１で取得したフレーム画像３８ａから注目領域を検出する。ステップＳ４では、制御部６０は、ステップＳ３においてフレーム画像３８ａから注目領域が検出されたか否かを判定する。
　ステップＳ４において注目領域が検出されていないと判定された場合は、本フローチャートの処理を終了する。この場合は、報知情報が存在しないため、報知情報の報知（表示）は行われない。したがって、表示器１６には注目領域の位置を示す図形は表示されない。
　一方、ステップＳ４において注目領域が検出されたと判定された場合は、ステップＳ５に移行する。ステップＳ５では、判定部５６は、ステップＳ１で取得したフレーム画像３８ａが非報知条件を充足するか否かを判定する。
　ステップＳ５においてフレーム画像３８ａが非報知条件を充足すると判定された場合は、ステップＳ９に移行する。ステップＳ９では、報知情報表示制御部６２Ｂは報知情報を非報知状態（非表示状態）とし、本フローチャートの処理を終了する。したがって、表示器１６には注目領域の位置を示す図形は表示されない。
　一方、ステップＳ５においてフレーム画像３８ａが非報知条件を非充足であると判定された場合は、ステップＳ６に移行する。ステップＳ６では、判定部５６は、ステップＳ１で取得したフレーム画像３８ａよりも過去のフレーム画像３８ａが非報知条件を充足していたか否かを判定する。
　ステップＳ６において過去のフレーム画像３８ａが非報知条件を非充足であったと判定された場合は、ステップＳ１０に移行する。ステップＳ１０では、報知情報表示制御部６２Ｂは報知情報を報知状態（表示状態）とし、本フローチャートの処理を終了する。したがって、表示器１６に表示されたフレーム画像３８ａの注目領域の位置に図形が重畳される。
　また、ステップＳ６において過去のフレーム画像３８ａが非報知条件を充足していたと判定された場合は、ステップＳ７に移行する。ステップＳ７では、計時部５８は、動画３８が非報知条件を非充足になってからの経過時間を計時する。
　続くステップＳ８において、報知情報表示制御部６２Ｂは、計時部５８が計時した経過時間が非報知維持時間を超えたか否かを判定する。ここでは、非報知維持時間は、非報知維持時間設定部５４により予め定められた時間が設定される。
　非報知維持時間は、０より大きい時間が設定される。非報知維持時間は、例えば０．５秒以上３０秒以下の時間である。非報知維持時間は、好ましくは１秒以上７秒以下の時間であり、より好ましくは２秒以上４秒以下の時間である。
　ステップＳ８において、経過時間が非報知維持時間を超えていないと判定された場合は、ステップＳ９に移行する。ステップＳ９では、ステップＳ５から移行した場合と同様に、報知情報表示制御部６２Ｂは報知情報を非報知状態とし、本フローチャートの処理を終了する。したがって、表示器１６には注目領域の位置を示す図形は表示されない。
　ステップＳ８において、経過時間が非報知維持時間を超えていると判定された場合は、ステップＳ１０に移行する。ステップＳ１０では、ステップＳ６から移行した場合と同様に、報知情報表示制御部６２Ｂは報知情報を報知状態とし、本フローチャートの処理を終了する。したがって、表示器１６に表示されたフレーム画像３８ａの注目領域の位置に図形が重畳される。
　以上のように、第１実施形態に係る医療画像処理方法によれば、ユーザ操作によらずに医療画像の報知情報の報知（表示）の有無を適切に制御することができる。
　本フローチャートでは、注目領域検出部４２は、報知状態及び非報知状態にかかわらずフレーム画像３８ａに対して注目領域検出を行っているが、注目領域検出部４２は、報知状態の場合のみ注目領域検出を行ってもよい。
　図４は、表示器１６の表示の遷移を示す図である。図４に示すＦ４Ａは、ある時点における表示器１６の表示を示している。また、図４に示すＦ４ＢはＦ４Ａから一定時間経過後の表示器１６の表示を示しており、図４に示すＦ４ＣはＦ４Ｂからさらに一定時間経過後の表示器１６の表示を示している。Ｆ４Ａ、Ｆ４Ｂ、及びＦ４Ｃにおいて表示器１６に表示されるフレーム画像３８ａは、一定のフレームレートを構成する１つの動画３８のそれぞれ異なるフレーム画像３８ａである。
　Ｆ４Ａは、フレーム画像３８ａが非報知条件を非充足であるため、報知情報が報知状態である場合を示している。Ｆ４Ａでは、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１が、フレーム画像３８ａに重畳されて表示器１６に表示されている。このように、注目領域の位置を報知することで、ユーザが注目領域を見落とすことを防止することができる。
　Ｆ４Ｂは、フレーム画像３８ａが非報知条件を充足しているため、報知情報が非報知状態である場合を示している。Ｆ４Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報が非表示とされるため図形Ｆ１は表示されていない。
　表示器１６に図形Ｆ１が表示されていると、状況によってはフレーム画像３８ａの観察の妨げになりかねない。例えば、ユーザが注目領域Ｒ１を発見した後は観察の邪魔にしかならない。そこで、Ｆ４Ｂに示すように、報知情報が不必要なタイミングであると考えられる非報知条件を充足する場合には、報知情報を非表示にすることで、ユーザが医療画像を観察しやすくすることが可能となる。
　また、注目領域検出部４２の誤った検出結果によって図形Ｆ１が表示される場合も、フレーム画像３８ａの観察の妨げになる。したがって、注目領域検出部４２の検出結果の信頼度が低くなるタイミングであると考えられる非報知条件を充足する場合も同様に、報知情報を非表示にすることで、ユーザが医療画像を観察しやすくすることが可能となる。
　なお、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間が経過するまでの間も、報知情報の非報知状態が維持されるため、Ｆ４Ｂと同様に図形Ｆ１は表示されない。
　Ｆ４Ｃは、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間の経過後に、報知情報が再び報知状態となった場合を示している。Ｆ４Ａと同様に、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１が、フレーム画像３８ａに重畳されて表示器１６に表示されている。
　報知情報を非報知状態のままにすると、その後に注目領域のスクリーニングを再開して報知情報の表示が必要となった場合にも報知情報が表示されず、ユーザが注目領域を見落とす可能性がある。そこで、非報知条件を非充足になった場合には報知情報を報知状態にする。これにより、表示を再開させるためのユーザ操作によらずに、継続して報知情報の表示が行われなくなることを防止することができる。
　ここで、非報知条件を非充足になってから直ちに報知情報を表示すると、動画３８の画像情報によっては短い間隔で表示と非表示とを繰り返してしまい、ユーザにとって煩わしい場合が発生する。このため、非報知条件を非充足になってから非報知維持時間の経過後に報知状態にする。このように非表示から表示へ移行させることで、短い間隔で表示と非表示とを繰り返すことを防止することができる。
　＜表示の変形例＞
　〔注目領域の報知の態様〕
　表示器１６において注目領域を報知する態様は、枠形状の図形で注目領域を囲む例に限定されない。
　図５～図８は、報知状態における表示器１６の表示の一例を示す図であり、それぞれ注目領域Ｒ１を含むフレーム画像３８ａが表示されている。
　図５に示す場合は、報知情報表示制御部６２Ｂは、注目領域Ｒ１を塗りつぶした情報ＩＮ１を表示することで、注目領域Ｒ１を報知している。塗りつぶす色は、ユーザに報知できる色であれば限定されない。このように、注目領域を塗りつぶすことで、注目領域の範囲を認識しやすく報知することができる。
　図６及び図７は、注目領域の画像内の位置にかかわらず、注目領域が検出されたか否かを報知する例を示している。
　図６に示す場合は、報知情報表示制御部６２Ｂは、フレーム画像３８ａの周囲を着色した情報ＩＮ２を表示することで、注目領域Ｒ１が検出された旨を報知している。このように、医療画像の周囲の色で報知することで、医療画像に観察を妨げる図形を重畳することなく、かつ、ユーザの視線移動を少なくして報知することができる。
　図７に示す例では、報知情報表示制御部６２Ｂは、フレーム画像３８ａの外側の右上の位置に星形の図形の情報ＩＮ３を表示することで、注目領域Ｒ１が検出された旨を報知している。図形の形状及び配置する位置はこの例に限定されない。このように、医療画像の外側の特定の位置に特定の図形を表示することで、医療画像に観察を妨げる図形を重畳することなく、かつ、ユーザの視線移動を少なくして報知することができる。また、報知による表示画面内における影響範囲が小さくて済むため、ユーザにとって報知が煩わしくないという利点がある。
　図８に示す場合は、報知情報表示制御部６２Ｂは、フレーム画像３８ａの周囲のうち、注目領域に近い領域（ここでは右上）のみを着色した情報ＩＮ４を表示することで、注目領域Ｒ１のおおよその位置を報知している。このように、医療画像の周囲のうち注目領域に近い領域を色で報知することで、医療画像に観察を妨げる図形を重畳することなく、かつ、検出対象の大まかな位置を把握可能に報知することができる。
　〔その他の情報の表示〕
　図９は、表示器１６の表示の遷移を示す図である。図９に示すＦ９Ａは、ある時点における表示器１６の表示を示している。また、図９に示すＦ９ＢはＦ９Ａから３秒経過後の表示器１６の表示を示しており、図９に示すＦ９ＣはＦ９Ｂからさらに２秒経過後の表示器１６の表示を示している。Ｆ９Ａ、Ｆ９Ｂ、及びＦ９Ｃにおいて表示器１６に表示されるフレーム画像３８ａは、一定のフレームレートを構成する１つの動画３８のそれぞれ異なるフレーム画像３８ａである。
　Ｆ９Ａ、Ｆ９Ｂ、及びＦ９Ｃでは、報知状態又は非報知状態の情報ＩＮ５（非報知状態である旨の情報の一例）、及び報知情報を非報知状態とする残り時間、即ち非報知維持時間と経過時間との差分の時間の情報ＩＮ６（医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例）が、表示器１６のフレーム画像３８ａの表示領域（第１表示部の一例）とは異なる表示領域（第３表示部の一例）に表示されている。
　Ｆ９Ａ及びＦ９Ｂは、非報知状態の場合を示している。Ｆ９Ａ及びＦ９Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。
　Ｆ９Ａでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ６として残り時間が５秒である旨の「５ｓｅｃ」を表示している。また、Ｆ９Ｂでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ６として残り時間が２秒である旨の「２ｓｅｃ」を表示している。
　Ｆ９Ｃは、非報知維持時間が経過して報知状態となった場合を示している。Ｆ９Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、Ｆ９Ｃでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として報知状態である旨の「ｏｎ」を表示し、情報ＩＮ６として非報知維持時間が経過した旨の「０ｓｅｃ」を表示している。報知情報表示制御部６２Ｂは、報知状態の場合は情報ＩＮ６を非表示としてもよい。
　また、図１０及び図１１は、それぞれ表示器１６の表示の遷移を示す図である。図１０に示すＦ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃの遷移のタイミングと、図１１に示すＦ１１Ａ、Ｆ１１Ｂ、及びＦ１１Ｃの遷移のタイミングとは、それぞれ図９に示すＦ９Ａ、Ｆ９Ｂ、及びＦ９Ｃの遷移のタイミングと同様である。即ち、Ｆ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃにおいて表示されているフレーム画像３８ａと、Ｆ１１Ａ、Ｆ１１Ｂ、及びＦ１１Ｃにおいて表示されているフレーム画像３８ａとは、それぞれＦ９Ａ、Ｆ９Ｂ、及びＦ９Ｃにおいて表示されているフレーム画像と同様である。
　Ｆ１０Ａ、Ｆ１０Ｂ、及びＦ１０Ｃでは、報知状態又は非報知状態の情報ＩＮ５、及び報知情報を非報知状態とする残り時間の情報ＩＮ７（医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例）が、表示器１６のフレーム画像３８ａの表示領域とは異なる表示領域に表示されている。
　情報ＩＮ７は、バー（プログレスバー）を用いて非報知状態の残り時間を表現したものであり、バーの塗りつぶし部分の長さと経過時間とが相関を持つように設定される。
　Ｆ１０Ａ及びＦ１０Ｂは、非報知状態の場合を示している。Ｆ１０Ａ及びＦ１０Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。Ｆ１０Ａでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ７として残り時間の５秒分を塗りつぶしたバーを表示している。また、Ｆ１０Ｂでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ７として残り時間の２秒分を塗りつぶしたバーを表示している。
　Ｆ１０Ｃは、非報知維持時間が経過して報知状態となった場合を示している。Ｆ１０Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、Ｆ１０Ｃでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として報知状態である旨の「ｏｎ」を表示し、情報ＩＮ７として残り時間の０秒分を塗りつぶしたバー、即ち塗りつぶしのないバーを表示している。報知情報表示制御部６２Ｂは、報知状態の場合は情報ＩＮ７を非表示としてもよい。
　このように、塗りつぶし部分の長さと経過時間とが相関を持つバーを表示することで、ユーザは残り時間を図形的に解釈可能となる。
　Ｆ１１Ａ、Ｆ１１Ｂ、及びＦ１１Ｃでは、報知状態又は非報知状態の情報ＩＮ５、及び報知情報を非報知状態とする残り時間の情報ＩＮ８（医療画像が非報知条件を非充足になってからの経過時間に関する情報の一例）が、表示器１６のフレーム画像３８ａの表示領域とは異なる表示領域に表示されている。
　情報ＩＮ８は、表示領域の一部の色情報で残り時間を表現しており、残り時間が短くなるほど色が濃くなる。
　Ｆ１１Ａ及びＦ１１Ｂは、非報知状態の場合を示している。Ｆ１１Ａ及びＦ１１Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。Ｆ１１Ａでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ８として残り時間が５秒に相当する濃度の色を表示している。また、Ｆ１１Ｂでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として非報知状態である旨の「ｏｆｆ」を表示し、情報ＩＮ８として残り時間が２秒に相当する濃度の色を表示している。
　Ｆ１１Ｃは、非報知維持時間が経過して報知状態となった場合を示している。Ｆ１１Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、Ｆ１１Ｃでは、報知情報表示制御部６２Ｂは、情報ＩＮ５として報知状態である旨の「ｏｎ」を表示し、情報ＩＮ８として残り時間が０秒に相当する濃度の色を表示している。
　ここで、Ｆ１１Ａの情報ＩＮ８の色の濃度よりもＦ１１Ｂの情報ＩＮ８の色の濃度の方が相対的に高く、Ｆ１１Ｂの情報ＩＮ８の色の濃度よりもＦ１１Ｃの情報ＩＮ８の色の濃度の方が相対的に高い。なお、残り時間が短くなるほど色を濃くしてもよい。
　このように、医療画像の表示領域の周辺の色の濃度で残り時間を表現することで、ユーザは特定の領域を注視する必要なく残り時間を把握でき、観察の妨げにならないという利点がある。
　図１２は、表示器１６の表示の遷移を示す図である。図１２に示すＦ１２Ａは、ある時点における表示器１６の表示を示している。また、図１２に示すＦ１２ＢはＦ１２Ａから一定時間経過後の表示器１６の表示を示しており、図１２に示すＦ１２ＣはＦ１２Ｂからさらに一定時間経過後の表示器１６の表示を示している。Ｆ１２Ａ、Ｆ１２Ｂ、及びＦ１２Ｃにおいて表示器１６に表示されるフレーム画像３８ａは、一定のフレームレートを構成する１つの動画３８のそれぞれ異なるフレーム画像３８ａである。
　Ｆ１２Ａ、Ｆ１２Ｂ、及びＦ１２Ｃでは、報知状態又は非報知状態の情報と、報知情報を非報知状態とする残り時間の情報とをまとめて表現した情報ＩＮ９が、表示器１６のフレーム画像３８ａの表示領域とは異なる表示領域に表示されている。
　情報ＩＮ９は、「ＡＩ」の文字がグレーアウトしている場合は、非報知条件を充足している非報知状態であることを示す。また、「ＡＩ」の文字が一定の濃度の赤色の場合は、報知状態であることを表す。さらに、非報知条件を非充足となってから非報知維持時間が経過するまでの非報知状態では、残り時間に応じて赤色の濃度が連続的に変化する。
　Ｆ１２Ａは、非報知条件を充足している非報知状態の場合を示している。Ｆ１２Ａでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。また、報知情報表示制御部６２Ｂは、情報ＩＮ９としてグレーアウトさせた「ＡＩ」の文字を表示する。これは、ＡＩ（Artificial Intelligence）による注目領域の検出の報知が機能していないことを表す。
　Ｆ１２Ｂは、非報知条件を非充足となってから非報知維持時間が経過するまでの非報知状態の場合を示している。Ｆ１２Ｂでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されているが、報知情報表示制御部６２Ｂは注目領域Ｒ１の報知を行わない。また、報知情報表示制御部６２Ｂは、情報ＩＮ９として残り時間に応じた濃度の赤色の「ＡＩ」の文字を表示する。
　Ｆ１２Ｃは、報知状態の場合を示している。Ｆ１２Ｃでは、注目領域Ｒ１を含むフレーム画像３８ａが表示器１６に表示されており、報知情報表示制御部６２Ｂは注目領域Ｒ１を囲む枠形状の図形Ｆ１をフレーム画像３８ａに重畳する。また、報知情報表示制御部６２Ｂは、情報ＩＮ９として報知状態に相当する一定の濃度の赤色の「ＡＩ」の文字を表示する。これは、注目領域の検出が機能していることを表す。
　ここで、Ｆ１２Ｂの情報ＩＮ９の赤色の濃度よりもＦ１２Ｃの情報ＩＮ９の赤色の濃度の方が相対的に高い。なお、情報ＩＮ９の非報知条件を充足している非報知状態での色、報知状態での色及び濃度はこの例に限定されない。
　このように、報知状態又は非報知状態の情報と、残り時間の情報とをまとめて表現することで、画面表示が煩雑にならないという利点がある。また、報知状態と非報知状態とで文字の色を変化させることで、ユーザは報知状態及び非報知状態の識別が容易になる。さらに、残り時間に応じて文字の色の濃度を連続的に変化させることで、ユーザは残り時間を把握することが可能となる。非報知状態の場合の文字は、グレーアウトするのではなく表示自体をやめてもよい。また、残り時間は、文字ではなくアイコンなどの図の濃淡で表現してもよい。
　＜非報知条件の詳細＞
　〔画像特徴量を判定する場合〕
　判定部５６が判定する非報知条件は、例えば医療画像の画像特徴量を判定する条件である。画像特徴量は、医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも１つを含む。
　例えば、動画３８からユーザが注目領域を発見し、注目領域を観察している間は、報知情報が不必要なタイミングであると考えられる。注目領域の観察時は、一般に動画３８の時間的変化の方が相対的に小さくなる。
　したがって、画像特徴量取得部４８が画像特徴量として動画３８の複数のフレーム画像３８ａの時間的変化を検出する。判定部５６は、検出した時間的変化と非報知条件として設定された時間的変化とを比較する。その結果、検出した時間的変化の方が相対的に小さいと判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
　また、内視鏡システム９が送水中又は吸水中である間は、報知情報が不必要なタイミングであると考えられる。送水時及び吸水時は、一般にフレーム画像３８ａの黄色成分及び高周波成分が多くなる。
　したがって、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａの色成分を検出する。判定部５６は、検出した黄色成分と非報知条件として設定された黄色成分とを比較する。その結果、検出した黄色成分の方が相対的に多いと判定された場合は、報知情報表示制御部６２Ｂは、内視鏡システム９が送水中又は吸水中であると判断して報知情報を非報知状態とする。
　同様に、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａの周波数成分を検出する。判定部５６は、検出した高周波成分と非報知条件として設定された高周波成分とを比較する。その結果、検出した高周波成分の方が相対的に多いと判定された場合は、報知情報表示制御部６２Ｂは、内視鏡システム９が送水中又は吸水中であると判断して報知情報を非報知状態とする。
　また、フレーム画像３８ａの輝度が高すぎる場合、低すぎる場合、又はフレーム画像３８ａのボケが大きすぎる場合は、注目領域検出部４２の検出結果の信頼度が低下するタイミングであると考えられる。
　したがって、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａの輝度を検出する。判定部５６は、検出した輝度と非報知条件として設定された輝度の範囲とを比較する。その結果、検出した輝度が設定された輝度の範囲に含まれないと判定された場合は、報知情報表示制御部６２Ｂは、注目領域検出部４２の検出結果の精度が悪くなると判断して報知情報を非報知状態とする。
　同様に、画像特徴量取得部４８が画像特徴量としてフレーム画像３８ａのボケを検出する。判定部５６は、検出したボケと非報知条件として設定されたボケとを比較する。その結果、検出したボケの方が相対的に大きいと判定された場合は、報知情報表示制御部６２Ｂは、注目領域検出部４２の検出結果の精度が悪くなると判断して報知情報を非報知状態とする。
　このように、非報知条件を、報知情報が不必要なタイミング、又は注目領域検出結果の信頼度が低くなるタイミングの画像特徴量に設定し、設定された画像特徴量と画像特徴量取得部４８によって取得した画像特徴量とを判定部５６が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
　画像特徴量を判定する非報知条件が非充足になった場合、すぐに報知情報の報知状態を再開するべきではない。例えば、フレーム画像３８ａの時間的変化が小さい場合に、体動の影響で一時的に時間的変化が大きくなり、すぐに変化量が小さく戻るといった状況は多々ある。このような一時的な時間的変化が大きいタイミングはスクリーニングを再開したというわけではなく、報知情報を表示する必要はない。また、短い間隔で表示と非表示とを繰り返すと、ユーザにとって煩わしいという問題がある。そこで非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
　〔処置状態を判定する場合〕
　非報知条件は、医療画像の被検体に対する処置状態を判定する条件であってもよい。ユーザが被検体に対して処置を施している間は、報知情報が不必要なタイミングであると考えられる。処置状態として、フレーム画像３８ａに処置具が写っている場合、出血が映っている場合、又は内視鏡システム９が所定の倍率で拡大して撮像する拡大モードに設定されている場合等が考えられる。
　例えば、処置状態推定部５０がフレーム画像３８ａから処置具を検出する。判定部５６は、検出された処置具と非報知条件として設定された処置具である生検鉗子又はスネアとを比較する。検出された処置状態が非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが処置中と判断して報知情報を非報知状態とする。
　なお、フレーム画像３８ａから処置具が検出された場合は、処置具の種類に依らずユーザが処置中と判断して報知情報を非報知状態としてもよい。この場合、判定部５６は非報知条件を満たすか否かの判定を行わなくてもよいし、非報知条件として全ての処置具を設定して判定してもよい。
　また、処置状態推定部５０がフレーム画像３８ａから出血量を検出する。判定部５６は、検出された出血量と非報知条件として設定された出血量とを比較する。検出された出血量が非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが処置中と判断して報知情報を非報知状態とする。
　また、処置状態推定部５０において、内視鏡システム９が設定されているモードを検出する。判定部５６は、検出されたモードと非報知条件として設定された拡大モードとを比較する。検出されたモードが非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが処置中と判断して報知情報を非報知状態とする。
　また、処置状態推定部５０が、被検体内に散布されている色素材を検出する。判定部５６は、検出した色素材と非報知条件として設定された色素材とを比較する。検出された色素材が非報知条件を充足していると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが診断中と判断して報知情報を非報知状態とする。
　なお、色素材が検出された場合は、色素材の種類に依らずユーザが処置中と判断して報知情報を非報知状態としてもよい。この場合、判定部５６は非報知条件を満たすか否かの判定を行わなくてもよいし、非報知条件として全ての色素材を設定して判定してもよい。
　このように、非報知条件を、報知情報が不必要なタイミングの処置状態に設定し、設定された処置状態と処置状態推定部５０によって取得した処置状態とを判定部５６が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
　処置状態を判定する非報知条件が非充足になった場合、すぐに報知情報の表示を再開するべきではない。例えば、フレーム画像３８ａに生検鉗子が含まれていて非報知とされている場合に、粘膜又は残液によって鉗子が被覆されて一時的に写らなくなり、すぐに戻るといった状況は多々ある。このような一時的に鉗子が写らないタイミングにおいてすぐに表示を再開するのは、画像特徴量を判定する場合と同様の理由から好ましくない。したがって、非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
　また、処置状態に応じて非報知維持時間を変更してもよい。例えば、フレーム画像３８ａに生検鉗子が含まれている場合は、生検監視が鉗子口から出ていない状態になれば生検処置が終了したと判断することができる。したがって、非報知維持時間設定部５４は、生検監視が鉗子口から出ていない状態になった後の非報知維持時間を相対的に短い時間に設定すればよい。
　一方でＥＭＲ（Endoscopic Mucosal Resection）のような処置の場合は、局部注射、スネアによる切除、及びクリップによる止血という一連の流れがある。例えば、局部注射後からスネアを鉗子口から出すまでの間はフレーム画像３８ａから処置具を検出することはできないが、この間も処置作業中であり報知情報を再表示すべきではない。そこで、フレーム画像３８ａから局部注射を検出した場合は、非報知維持時間設定部５４は、局部注射が検出されなくなった後の非報知維持時間を相対的に長い時間に設定することで、一連の作業中に報知情報を再表示することを避けることが可能となる。
　〔注目領域特徴量を判定する場合〕
　非報知条件は、医療画像の注目領域特徴量を判定する条件であってもよい。注目領域特徴量は、注目領域の面積、医療画像内の位置、及び時間的変化の少なくとも１つを含む。
　注目領域の観察時は、一般にフレーム画像３８ａにおける注目領域の面積の割合が大きい、フレーム画像３８ａ内の注目領域の位置が中央部にある、及び注目領域の時間的変化が小さい。
　したがって、注目領域特徴量取得部５２が注目領域特徴量としてフレーム画像３８ａ内の注目領域の面積を検出する。判定部５６は、検出した面積と非報知条件として設定された面積とを比較する。その結果、検出した面積の方が相対的に大きいと判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
　また、注目領域特徴量取得部５２が、注目領域特徴量として注目領域のフレーム画像３８ａ内の位置を検出する。判定部５６は、検出した位置と非報知条件として設定された位置とを比較する。その結果、検出した注目領域の位置が非報知条件として設定された位置よりも中央部寄りにあると判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
　同様に、注目領域特徴量取得部５２が、注目領域特徴量として動画３８の注目領域の時間的変化を検出する。判定部５６は、検出した時間的変化と非報知条件として設定された時間的変化とを比較する。その結果、検出した時間的変化の方が相対的に小さいと判定された場合は、報知情報表示制御部６２Ｂは、ユーザが注目領域の発見後の観察中であると判断して報知情報を非報知状態とする。
　このように、非報知条件を、報知情報が不必要なタイミングの注目領域特徴量に設定し、設定された注目領域特徴量と注目領域特徴量取得部５２によって取得した注目領域特徴量とを判定部５６が比較することで、適切なタイミングで自動的に報知情報を非報知状態とすることができる。
　これまでと同様に、注目領域特徴量を判定する非報知条件が非充足になった場合、すぐに報知情報の表示を再開するべきではない。例えば、注目領域の面積が大きいにもかかわらず、一時的に残液などに注目領域の一部が被覆されて面積が小さいと判断されてしまう場合、又はフレーム画像３８ａの中央部に位置しているにもかかわらず体動の影響で一時的にフレーム画像３８ａの端部に移動してしまう場合等がある。したがって、非報知条件が非充足になってからも、非報知維持時間が経過するまでは非報知状態を維持し、非報知維持時間の経過後に報知状態にすることで、このような問題を回避することができる。
　＜第２実施形態＞
　〔医療画像処理装置の構成〕
　ここまでは医療画像処理装置１４に単一の表示器１６が接続されている例を説明したが、医療画像処理装置１４は複数の表示装置に接続されていてもよい。
　図１３は、第２実施形態に係る医療画像処理装置１４の電気的構成を示すブロック図である。医療画像処理装置１４は、図２に示すブロック図と同様である。表示制御部６２は、第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄに接続されており、それぞれの表示を制御する。
　第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄは、例えば内視鏡システム９に備えられる。第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄは、それぞれ異なる液晶モニタ等の表示装置である。ここでは、４つの表示装置に接続されているが、表示装置の数は必要に応じて決めればよい。また、第１表示器１６Ａ、第２表示器１６Ｂ、第３表示器１６Ｃ、及び第４表示器１６Ｄは、単一の表示装置の画面内のそれぞれ異なる領域であってもよい。
　図１４は、第１表示器１６Ａ及び第２表示器１６Ｂの表示の遷移の一例を示す図である。
　報知情報表示制御部６２Ｂは、第１表示器１６Ａ（第１表示部の一例）の表示については、第１実施形態に係る表示器１６の表示と同様に制御する。図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃは、第１表示器１６Ａの表示を示しており、図４に示すＦ４Ａ、Ｆ４Ｂ、及びＦ４Ｃと同様である。
　即ち、Ｆ１４Ａ及びＦ１４Ｃは、報知情報が報知状態である場合を示している。Ｆ１４Ａ及びＦ１４Ｃでは、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。また、Ｆ１４Ｂは、報知情報が非報知状態である場合を示している。Ｆ１４Ｂでは、図形Ｆ１は表示されず、フレーム画像３８ａのみが表示される。
　また、報知情報表示制御部６２Ｂは、第１表示器１６Ａの報知状態及び非報知状態に応じて第２表示器１６Ｂ（第２表示部の一例）の報知情報の表示の態様を変更する。ここでは、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に第２表示器１６Ｂに報知情報を表示する。
　図１４に示すＦ１４Ｄ、Ｆ１４、及びＦ１４は、それぞれＦ１４Ａ、Ｆ１４、及びＦ１４と同じタイミングにおける第２表示器１６Ｂの表示を示している。Ｆ１４Ｄ、Ｆ１４、及びＦ１４において表示されるフレーム画像３８ａは、それぞれＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃにおいて表示されるフレーム画像３８ａと同じ画像である。
　報知情報が報知状態のタイミングであるＦ１４Ｄ及びＦ１４では、図形Ｆ１は表示されていない。一方、報知情報が非報知状態のタイミングであるＦ１４において、注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。
　このように、報知情報が非報知状態の場合にのみ第２表示器１６Ｂに報知情報を表示させる。これにより、第１表示器１６Ａについては、報知情報が不必要なタイミングでユーザの観察を妨げる影響を抑えることができる。また、第２表示器１６Ｂについては、ユーザが報知情報を必要とした場合に報知情報を確認することができる。
　ここでは、第２表示器１６Ｂにフレーム画像３８ａを表示したが、第２表示器１６Ｂに表示させるのは報知情報である図形Ｆ１のみであってもよい。
　図１５は、第１表示器１６Ａ及び第２表示器１６Ｂの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に、第２表示器１６Ｂに表示させる報知情報をより強調レベルの高い表示に変更する。ここで、強調レベルとは、ユーザによる報知情報の認識のしやすさであり、強調レベルが相対的に高いほどユーザが報知情報を認識しやすい。
　図１５に示すＦ１５、Ｆ１５Ｂ、及びＦ１５Ｃは、第１表示器１６Ａの表示を示しており、図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同様である。また、図１５に示すＦ１５、Ｆ１５Ｅ、及びＦ１５Ｆは、それぞれＦ１５Ａ、Ｆ１５Ｂ、及びＦ１５Ｃと同じタイミングにおける第２表示器１６Ｂの表示を示している。Ｆ１５Ｄ、Ｆ１５Ｅ、及びＦ１５Ｆにおいて表示されるフレーム画像３８ａは、それぞれＦ１５Ａ、Ｆ１５Ｂ、及びＦ１５Ｃにおいて表示されるフレーム画像３８ａと同じ画像である。
　報知状態のタイミングであるＦ１５Ｄ及びＦ１５Ｆでは、Ｆ１５Ａ及びＦ１５Ｃと同様に、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ１がフレーム画像３８ａに重畳されている。また、非報知状態のタイミングであるＦ１５Ｅでは、フレーム画像３８ａにおいて検出された注目領域Ｒ１を囲む枠形状の図形Ｆ２がフレーム画像３８ａに重畳されている。ここで、図形Ｆ２の線の太さは、図形Ｆ１の線の太さよりも相対的に太い。このため、図形Ｆ２の強調レベルは、図形Ｆ１の強調レベルよりも相対的に高い。
　このように第２表示器１６Ｂの表示を制御することで、報知情報が非報知状態の際にユーザが報知情報を必要とした場合に、報知情報をより確認しやすくすることができる。
　報知情報表示制御部６２Ｂは、図５～図８に示した注目領域を報知するための情報ＩＮ１～ＩＮ４を第２表示器１６Ｂに表示させてもよい。また、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合にのみ、情報ＩＮ１～ＩＮ４を第２表示器１６Ｂに表示させてもよい。この場合、画像表示制御部６２Ａは、第２表示器１６Ｂに医療画像を表示してもよいし、医療画像を表示しなくてもよい。
　図１６は、第１表示器１６Ａ及び第３表示器１６Ｃの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部６２Ｂは、報知情報が非報知状態の場合に、報知情報が非報知状態である旨の情報を第３表示器１６Ｃ（第３表示部の一例）に表示する。
　図１６に示すＦ１６Ａ、Ｆ１６Ｂ、及びＦ１６Ｃは、第１表示器１６Ａの表示を示しており、図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同様である。また、図１６に示すＦ１６、Ｆ１６Ｅ、及びＦ１６Ｆは、それぞれＦ１６Ａ、Ｆ１６Ｂ、及びＦ１６Ｃと同じタイミングにおける第３表示器１６Ｃの表示を示している。
　報知情報表示制御部６２Ｂは、報知状態のタイミングであるＦ１６Ｄ及びＦ１６Ｆでは、第３表示器１６Ｃには表示を行わない。また、報知情報表示制御部６２Ｂは、非報知状態のタイミングであるＦ１６Ｅでは、非報知状態である旨の情報ＩＮ１０を第３表示器１６Ｃに表示する。
　ここでは、情報ＩＮ１０として文字を用いているが、記号、又は色等でもよい。また、報知情報表示制御部６２Ｂは、報知状態のタイミングであるＦ１６Ｄ及びＦ１６Ｆにおいて、報知状態である旨の情報を第３表示器１６Ｃに表示してもよい。
　このように第３表示器１６Ｃの表示を制御することで、非報知状態であることをユーザが認識することができる。非報知状態においてユーザが操作部１５による操作を行うことで、第１表示器１６Ａを直ちに報知状態にしてもよい。
　図１７は、第１表示器１６Ａ及び第４表示器１６Ｄの表示の遷移の他の例を示す図である。この例では、報知情報表示制御部６２Ｂは、非報知条件を非充足になってからの経過時間に関する情報を第４表示器１６Ｄ（第４表示部の一例）に表示する。
　図１７に示すＦ１７Ａ、Ｆ１７Ｂ、及びＦ１７Ｃは、第１表示器１６Ａの表示を示しており、図１４に示すＦ１４Ａ、Ｆ１４Ｂ、及びＦ１４Ｃと同様である。なお、Ｆ１７Ｂは、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間が経過するまでの間に報知情報の非報知状態が維持されている場合を示している。図１７に示すＦ１７Ｄ、Ｆ１７Ｅ、及びＦ１７Ｆは、それぞれＦ１７Ａ、Ｆ１７Ｂ、及びＦ１７Ｃと同じタイミングにおける第４表示器１６Ｄの表示を示している。
　報知情報表示制御部６２Ｂは、非報知条件を非充足のタイミングであるＦ１７Ｄ及びＦ１７では、第４表示器１６Ｄには表示を行わない。また、報知情報表示制御部６２Ｂは、フレーム画像３８ａが非報知条件を非充足になってから非報知維持時間が経過するまでのタイミングであるＦ１７Ｅでは、報知情報を非報知状態とする残り時間、即ち非報知維持時間と経過時間との差分の時間の情報ＩＮ１１を第４表示器１６Ｄに表示する。
　ここでは、情報ＩＮ１１として報知情報を非報知状態とする残り時間の文字情報、及び残り時間を間接的に表示した図形であって、順に領域の色が変化する図形を表示したが、非報知条件を非充足になってからの経過時間を表示してもよい。また、報知情報表示制御部６２Ｂは、図９～図１２に示した残り時間の情報ＩＮ６～ＩＮ９を第２表示器１６Ｂに表示させてもよい。
　このように第４表示器１６Ｄの表示を制御することで、非報知条件を非充足になってからの経過時間に関する情報をユーザが認識することができる。第４表示器１６Ｄに情報ＩＮ１１が表示されている状態においてユーザが操作部１５による操作を行うことで、第１表示器１６Ａを直ちに報知状態にしてもよい。
　＜第３実施形態＞
　〔医療画像処理装置の構成〕
　図１８は、第３実施形態に係る医療画像処理装置１４の電気的構成の一例を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　医療画像処理装置１４は、音制御部７０を備えている。音制御部７０は、被検体を撮像した医療画像に含まれる報知情報を報知部において報知する報知制御部の一例である。音制御部７０は、音出力部１７に接続される。音出力部１７は、報知情報を報知する報知部として機能し、例えば内視鏡システム９（図１参照）に備えられる。音出力部１７は、例えばブザー、又はスピーカ等の音を出力する部材を含んで構成される。音制御部７０は、報知状態において音出力部１７に音を出力させて報知情報を報知する。出力する音は、アラーム音でもよいし、報知情報に関する音声でもよい。
　ここでは、報知情報を報知する報知部として表示器１６及び音出力部１７を含む構成を説明したが、音出力部１７のみを備えていてもよい。また、報知情報を報知する報知部として、発光するランプ、又は振動するバイブレータ等を用いる態様も可能である。
　＜その他＞
　上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、内視鏡プロセッサ装置１２及び医療画像処理装置１４は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置１２及び医療画像処理装置１４を一体の装置として構成し、医療画像処理装置１４の機能を有する内視鏡プロセッサ装置１２としてもよい。
　内視鏡プロセッサ装置１２及び医療画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
９…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…医療画像処理装置
１５…操作部
１６…表示器
１６Ａ…第１表示器
１６Ｂ…第２表示器
１６Ｃ…第３表示器
１６Ｄ…第４表示器
１７…音出力部
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像素子
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮像指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４２…注目領域検出部
４４…座標算出部
４６…画像情報取得部
４８…画像特徴量取得部
５０…処置状態推定部
５２…注目領域特徴量取得部
５４…非報知維持時間設定部
５６…判定部
５８…計時部
６０…制御部
６２…表示制御部
６２Ａ…画像表示制御部
６２Ｂ…報知情報表示制御部
６４…記憶部
６６…図形記憶部
６８…プログラム
７０…音制御部
Ｆ１，Ｆ２…図形
ＩＮ１～ＩＮ１１…情報
Ｒ１…注目領域
Ｓ１～Ｓ１０…医療画像処理方法の各ステップ

Claims (19)

  1. 　医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御部を備え、
    　前記報知制御部は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にする医療画像処理装置。
  2. 　前記医療画像を順次取得する画像取得部と、
    　前記医療画像から前記報知情報を取得する報知情報取得部と、
    　前記医療画像が前記非報知条件を充足するか否かを判定する判定部と、
    　前記医療画像が前記非報知条件を非充足になってからの経過時間を計時する計時部と、
    　を備えた請求項１に記載の医療画像処理装置。
  3. 　前記非報知条件は前記医療画像の画像特徴量を判定する条件であり、
    　前記医療画像から前記画像特徴量を取得する画像特徴量取得部を備えた請求項１又は２に記載の医療画像処理装置。
  4. 　前記画像特徴量は、前記医療画像の輝度、色情報、時間的変化、及び周波数情報の少なくとも１つを含む請求項３に記載の医療画像処理装置。
  5. 　前記非報知条件は前記医療画像の被検体に対する処置状態を判定する条件であり、
    　前記医療画像から前記処置状態を推定する処置状態推定部を備えた請求項１から４のいずれか１項に記載の医療画像処理装置。
  6. 　前記処置状態に応じて前記非報知維持時間を設定する非報知維持時間設定部を備えた請求項５に記載の医療画像処理装置。
  7. 　前記非報知条件は注目領域特徴量を判定する条件であり、
    　前記医療画像から注目領域を検出する注目領域検出部と、
    　前記注目領域から前記注目領域特徴量を取得する注目領域特徴量取得部と、
    　を備えた請求項１から６のいずれか１項に記載の医療画像処理装置。
  8. 　前記注目領域特徴量は、前記注目領域の面積、前記医療画像内の位置、及び時間的変化の少なくとも１つを含む請求項７に記載の医療画像処理装置。
  9. 　前記報知部は音を出力する音出力部を含み、
    　前記報知制御部は、前記音出力部に前記音を出力させる音制御部を備えた請求項１から８のいずれか１項に記載の医療画像処理装置。
  10. 　前記報知部は第１表示部を含み、
    　前記報知制御部は、前記報知情報を前記第１表示部に表示させる表示制御部を備えた請求項１から９のいずれか１項に記載の医療画像処理装置。
  11. 　前記報知部は前記第１表示部とは異なる第２表示部を含み、
    　前記表示制御部は、前記報知情報を前記第２表示部に表示させる請求項１０に記載の医療画像処理装置。
  12. 　前記表示制御部は、前記報知状態及び前記非報知状態に応じて前記第２表示部の前記報知情報の表示の態様を変更する請求項１１に記載の医療画像処理装置。
  13. 　前記表示制御部は、前記非報知状態の場合に前記報知情報を前記第２表示部に表示させる請求項１２に記載の医療画像処理装置。
  14. 　前記表示制御部は、前記非報知状態である旨の情報を前記第１表示部とは異なる第３表示部に表示させる請求項１０から１３のいずれか１項に記載の医療画像処理装置。
  15. 　前記表示制御部は、前記医療画像が非報知条件を非充足になってからの経過時間に関する情報を前記第１表示部とは異なる第４表示部に表示する請求項１０から１４のいずれか１項に記載の医療画像処理装置。
  16. 　請求項１０から１５のいずれか１項に記載の医療画像処理装置と、
    　前記第１表示部と、
    　を備えた診断支援装置。
  17. 　医療画像に含まれる報知情報を報知部において報知する報知状態及び非報知にする非報知状態のいずれかに制御する報知制御工程を備え、
    　前記報知制御工程は、前記医療画像が非報知条件を充足する場合に前記報知情報を前記非報知状態とし、かつ前記医療画像が非報知条件を非充足になってから非報知維持時間の経過後に前記報知状態にする医療画像処理方法。
  18. 　請求項１７に記載の医療画像処理方法をコンピュータに実行させるためのプログラム。
  19. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１８に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/042158 2018-11-01 2019-10-28 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置 WO2020090729A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980072091.0A CN112969403A (zh) 2018-11-01 2019-10-28 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置
JP2020553886A JP7315576B2 (ja) 2018-11-01 2019-10-28 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
EP19878049.6A EP3875021A4 (en) 2018-11-01 2019-10-28 MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING PROCESS AND DIAGNOSIS ASSISTANCE APPARATUS
US17/229,966 US20210233648A1 (en) 2018-11-01 2021-04-14 Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018206758 2018-11-01
JP2018-206758 2018-11-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/229,966 Continuation US20210233648A1 (en) 2018-11-01 2021-04-14 Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus

Publications (1)

Publication Number Publication Date
WO2020090729A1 true WO2020090729A1 (ja) 2020-05-07

Family

ID=70463682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042158 WO2020090729A1 (ja) 2018-11-01 2019-10-28 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置

Country Status (5)

Country Link
US (1) US20210233648A1 (ja)
EP (1) EP3875021A4 (ja)
JP (1) JP7315576B2 (ja)
CN (1) CN112969403A (ja)
WO (1) WO2020090729A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
WO2022054400A1 (ja) * 2020-09-11 2022-03-17 富士フイルム株式会社 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
WO2023100446A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7285467B2 (ja) 2019-09-03 2023-06-02 パナソニックＩｐマネジメント株式会社 収穫ロボット

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4393016B2 (ja) 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
WO2011096279A1 (ja) * 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
JP2017086688A (ja) * 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104064A (ja) * 1997-10-01 1999-04-20 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
WO2012101888A1 (ja) 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
EP2687146A4 (en) * 2011-05-30 2014-11-05 Olympus Medical Systems Corp DEVICE FOR RECORDING MEDICAL INFORMATION
WO2012176886A1 (ja) 2011-06-24 2012-12-27 株式会社 日立メディコ 磁気共鳴イメージング装置および撮像位置設定支援方法
JP6045794B2 (ja) 2012-02-10 2016-12-14 Hoya株式会社 電子内視鏡システム
TW201623295A (zh) * 2014-04-11 2016-07-01 塩野義製藥股份有限公司 具有ｂａｃｅ１抑制活性之二氫噻及二氫衍生物
JP2016062488A (ja) * 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
WO2018142664A1 (ja) * 2017-02-02 2018-08-09 オリンパス株式会社 内視鏡画像観察支援システム
WO2019012586A1 (ja) * 2017-07-10 2019-01-17 オリンパス株式会社 医用画像処理装置及び医用画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4393016B2 (ja) 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
WO2011096279A1 (ja) * 2010-02-05 2011-08-11 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
JP2017086688A (ja) * 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3875021A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
WO2022054400A1 (ja) * 2020-09-11 2022-03-17 富士フイルム株式会社 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
WO2023100446A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Also Published As

Publication number Publication date
US20210233648A1 (en) 2021-07-29
CN112969403A (zh) 2021-06-15
JP7315576B2 (ja) 2023-07-26
EP3875021A4 (en) 2021-10-20
EP3875021A1 (en) 2021-09-08
JPWO2020090729A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
WO2020090729A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
US11910994B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7166430B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
WO2020170791A1 (ja) 医療画像処理装置及び方法
US20210174115A1 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system
JP2024023832A (ja) 画像処理装置及び内視鏡システム並びに画像処理プログラム
US11481944B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2020054541A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
EP4285810A1 (en) Medical image processing device, method, and program
JP2023014288A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
US20240049944A1 (en) Recording Medium, Method for Generating Learning Model, and Surgery Support Device
EP4101364A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP7256275B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
US20240156327A1 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
US11830185B2 (en) Medical image processing system and learning method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19878049

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553886

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019878049

Country of ref document: EP

Effective date: 20210601