WO2020054541A1 - 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム - Google Patents

医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム Download PDF

Info

Publication number
WO2020054541A1
WO2020054541A1 PCT/JP2019/034789 JP2019034789W WO2020054541A1 WO 2020054541 A1 WO2020054541 A1 WO 2020054541A1 JP 2019034789 W JP2019034789 W JP 2019034789W WO 2020054541 A1 WO2020054541 A1 WO 2020054541A1
Authority
WO
WIPO (PCT)
Prior art keywords
attention area
size
image processing
medical image
attention
Prior art date
Application number
PCT/JP2019/034789
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP19859938.3A priority Critical patent/EP3851022A4/en
Priority to CN201980058471.9A priority patent/CN112654282B/zh
Priority to JP2020545947A priority patent/JP7113903B2/ja
Publication of WO2020054541A1 publication Critical patent/WO2020054541A1/ja
Priority to US17/180,646 priority patent/US20210174557A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Definitions

  • the present invention relates to a medical image processing apparatus, a medical image processing method and a program, and an endoscope system, and particularly to a technique for notifying a region of interest of a time-series image.
  • the lesion When a lesion is detected from a time-series image by a recognizer during an inspection of an endoscope, the lesion can be notified by surrounding a lesion area of the time-series image displayed on a monitor with a frame.
  • An endoscope image processing device described in Patent Literature 1 when a detection unit detects a characteristic region such as a lesion, a notification unit that generates a first display image that notifies that a characteristic region has been detected; An emphasis processing unit that generates a second display image in which an emphasis process has been performed on the characteristic region.
  • the first display image generated by the notification unit includes an observation image and a notification image (for example, a flag) displayed in a display area different from the display area of the observation image.
  • a notification image for example, a flag
  • the flag is set on the first display image (when the notification image is displayed)
  • the surgeon observes the observation image more carefully, and the surgeon himself can visually find the lesion.
  • Patent Document 1 by displaying the first display image including the notification image displayed in the display area different from the display area of the observation image, observation of the observation image is hindered by the notification image. However, it is not possible to immediately confirm in which region of the observation image the lesion area exists only with the notification image. On the other hand, when switching from the first display image to the second display image, the switching operation becomes complicated, and when displaying the first display image and the second display image simultaneously, the first display image and the second display image are displayed. The display area of the image becomes smaller.
  • Patent Document 2 describes that a marking image formed by arranging a plurality of arrows is overlay-displayed so as to surround an area having a high score indicating the severity of a lesion in a living tissue. Since the calculation is performed and a plurality of arrows are arranged on the boundary of the region with a high score based on the calculation result, the number of arrows increases, and it may be difficult to compare the region with high severity with its surroundings.
  • the present invention has been made in view of such circumstances, and provides a medical image processing apparatus, a medical image processing method, a program, and an endoscope system that notify a region of interest without obstructing observation of a time-series image. Aim.
  • one aspect of a medical image processing apparatus calculates one or more attention coordinates indicating a position of an attention area in a time-series image based on attention area information indicating an attention area of the time-series image.
  • a coordinate calculation unit, and a notification information display control unit that superimposes a graphic on the time-series image based on the coordinate of interest the notification information display control unit increases the size of the figure as the size of the attention area increases, and
  • the larger the size of the region of interest the larger the size of the graphic and the smaller the ratio of the size of the graphic to the size of the region of interest, so that the size of the graphic is too large even for a large region of interest. Therefore, the comparison between the large attention area and the surrounding area is not hindered. Further, as the size of the attention area is smaller, the size of the figure is smaller and the ratio of the size of the figure to the size of the attention area is larger, so that the comparison between the small attention area and its surrounding area is not hindered. Therefore, the attention area can be notified without obstructing the observation of the time-series image.
  • a time-series image acquisition unit that acquires a time-series image including a subject image
  • an attention area detection unit that detects an attention area from the time-series image acquired by the time-series image acquisition unit
  • an attention area that indicates the attention area from the attention area detection unit.
  • a region-of-interest information acquisition unit that acquires region information. This makes it possible to appropriately acquire the time-series image, the attention area, and the attention area information.
  • the coordinate calculation unit preferably calculates one or more coordinates of interest on the outline of a polygon or a circle surrounding the region of interest. Thereby, the attention coordinates can be appropriately calculated.
  • the coordinate calculation unit calculates the coordinates of the vertices of the polygon as one or more coordinates of interest. Thereby, the attention coordinates can be appropriately calculated.
  • the coordinate calculation unit preferably calculates the coordinates of the midpoint of the polygon side as one or more coordinates of interest. Thereby, the attention coordinates can be appropriately calculated.
  • the polygon is preferably a quadrangle. Thereby, the attention coordinates can be appropriately calculated.
  • the coordinate calculation unit calculates the coordinates of a point at which the circumference of the circle is equally divided into a plurality of pieces as one or more coordinates of interest. Thereby, the attention coordinates can be appropriately calculated.
  • the notification information display control unit rotates or flips one figure and superimposes it on the time-series image. As a result, the target coordinates can be appropriately notified.
  • the notification information display control unit changes the color or the density of the graphic according to the size of the attention area. As a result, the target coordinates can be appropriately notified.
  • the image processing apparatus further includes a feature amount calculation unit that calculates an image feature amount around the attention area or the attention area, and changes the color or density of the graphic according to the image feature amount. As a result, the target coordinates can be appropriately notified.
  • the feature amount calculation unit calculates the image feature amount based on at least one of the color information, the luminance information, and the contrast. Thereby, the image feature amount can be appropriately calculated.
  • the notification information display control unit When there are a plurality of regions of interest, the notification information display control unit preferably assigns figures of different shapes to the plurality of regions of interest. Thereby, a plurality of attention coordinates can be appropriately notified.
  • the notification information display control unit assigns figures of different colors or densities to the plurality of regions of interest. Thereby, a plurality of attention coordinates can be appropriately notified.
  • the notification information display control unit connects the plurality of figures to each other when the interval between the plurality of target coordinates is equal to or smaller than a threshold corresponding to the size of the figure, and separates the plurality of figures according to the interval between the target coordinates when the interval is larger than the threshold. Is preferred. As a result, the target coordinates can be appropriately notified.
  • the size of the region of interest preferably includes at least one of the area of the region of interest and the major axis of the rectangle circumscribing the region of interest. Thereby, a figure having an appropriate size can be superimposed.
  • the size of the figure includes at least one of the area and the outer peripheral length of the figure. Thereby, a figure having an appropriate size can be superimposed.
  • the notification information display control unit continuously changes the size of the figure as the size of the attention area changes continuously. Thereby, a figure having an appropriate size can be superimposed.
  • the notification information display control unit changes the size of the figure stepwise as the size of the attention area changes continuously. Thereby, a figure having an appropriate size can be superimposed.
  • an endoscope scope that captures a time-series image
  • a display control unit that causes a display to display the time-series image captured by the endoscope scope
  • the notification information display control unit includes the medical image processing device described above, and is an endoscope system that superimposes and displays a graphic for notifying the attention area on the time-series image displayed on the display.
  • the attention area can be notified without obstructing the observation of the time-series image.
  • One embodiment of the medical image processing method for achieving the above object calculates one or more attention coordinates indicating the position of the attention area in the time-series image based on attention area information indicating the attention area of the time-series image.
  • the notification information display control step increases the size of the figure as the size of the attention area increases, and This is a medical image processing method for reducing the ratio of the figure size to the size of the attention area.
  • the attention area can be notified without obstructing the observation of the time-series image.
  • a program for causing a computer to execute the above-described medical image processing method is also included in the present embodiment.
  • the attention area can be notified without obstructing the observation of the time-series image.
  • FIG. 1 is a schematic diagram showing the entire configuration of the endoscope system.
  • FIG. 2 is a block diagram illustrating an electrical configuration of the medical image processing apparatus.
  • FIG. 3 is a diagram illustrating a coordinate calculation unit and a notification information display control unit.
  • FIG. 4 is a diagram illustrating the relationship between the size of the attention area and the necessity of notification.
  • FIG. 5 is a flowchart showing each process of the medical image processing method.
  • FIG. 6 is a diagram illustrating an image and notification information displayed on the display.
  • FIG. 7 is a diagram showing an image and notification information displayed on the display after a lapse of time from the state shown in FIG.
  • FIG. 8 is a diagram showing an image and notification information displayed on the display after a lapse of time from the state shown in FIG.
  • FIG. 1 is a schematic diagram showing the entire configuration of the endoscope system.
  • FIG. 2 is a block diagram illustrating an electrical configuration of the medical image processing apparatus.
  • FIG. 3 is a diagram illustrating
  • FIG. 9 is a diagram showing an image and notification information displayed on the display after a lapse of time from the state shown in FIG.
  • FIG. 10 is a graph showing the size of the figure with respect to the size of the region of interest and the ratio of the size of the figure with respect to the size of the region of interest.
  • FIG. 11 is a graph showing the size of the figure with respect to the size of the region of interest and the ratio of the size of the figure with respect to the size of the region of interest.
  • FIG. 12 is a diagram showing five types of notification information (A) to (E) applied when the polygon having a symmetric shape surrounding the attention area is a quadrangle.
  • FIG. 13 is a diagram showing two types of notification information displayed on the outline of a circle surrounding the attention area.
  • FIG. 14 is a diagram showing six types of notification information in which the position of the leading end of a figure is arranged on a rectangular outline having a symmetrical shape surrounding a region of interest.
  • FIG. 15 is a diagram showing four types of notification information in which each figure is arranged on a triangular contour having a symmetrical shape surrounding a region of interest.
  • FIG. 16 is a diagram showing notification information (A) composed of two figures, notification information (B) composed of five figures, and notification information (C) composed of six figures.
  • FIG. 17 is a diagram showing notification information composed of four figures.
  • FIG. 18 is a diagram illustrating another embodiment of an image and notification information displayed on a display device.
  • FIG. 1 is a schematic diagram illustrating an entire configuration of an endoscope system 9 including a medical image processing device according to the present embodiment.
  • the endoscope system 9 includes an endoscope scope 10, which is an electronic endoscope, a light source device 11, an endoscope processor device 12, a display device 13, and a medical image processing device 14. , An operation unit 15 and a display unit 16.
  • the endoscope scope 10 corresponds to a time-series image acquisition unit that acquires a time-series image including a subject image, and is, for example, a flexible endoscope.
  • the endoscope 10 is inserted into a subject and has a distal end and a proximal end.
  • the endoscope 10 is connected to the proximal end of the insert unit 20 and is used by the operator to perform various operations. It has an operation unit 21 and a universal cord 22 connected to the hand operation unit 21.
  • the insertion section 20 is formed in a small diameter and a long shape as a whole.
  • the insertion portion 20 includes a flexible portion 25 having flexibility in order from the base end side to the distal end side, a bending portion 26 that can be bent by operating the hand operation portion 21, and an imaging optical system (not shown) (not shown). ) And a tip portion 27 in which an image sensor 28 and the like are built in.
  • the image sensor 28 is a complementary metal oxide semiconductor (CMOS) or charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image light of the observed part is passed through an observation window (not shown) opened at the distal end surface of the distal end portion 27 and an objective lens (not shown) arranged behind the observation window. Is incident.
  • the imaging element 28 captures (converts to an electrical signal) image light of the observed part that has entered the imaging surface, and outputs an imaging signal.
  • the operating unit 21 is provided with various operating members operated by the operator.
  • the hand operation unit 21 includes two types of bending operation knobs 29 used for the bending operation of the bending unit 26, an air supply / water supply button 30 for an air supply / water supply operation, and a suction button 31 for a suction operation. , Are provided.
  • the hand operation unit 21 includes a still image shooting instruction unit 32 for instructing shooting of a still image 39 of the observed region, and a treatment tool insertion passage (not shown) inserted through the insertion unit 20. And a treatment instrument introduction port 33 into which a treatment instrument (not shown) is inserted.
  • the universal cord 22 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35, a signal cable 36, and a fluid tube (not shown) inserted through the insertion section 20.
  • a connector 37a connected to the light source device 11 and a connector 37b branched from the connector 37a and connected to the endoscope processor device 12 are provided.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11.
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 via the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from an illumination window (not shown) on the distal end surface of the distal end portion 27 toward the observation target site.
  • gas or water is injected from an air / water supply nozzle (not shown) on the distal end surface of the distal end portion 27 toward an observation window (not shown) on the distal end surface.
  • the signal cable 36 and the endoscope processor device 12 are electrically connected.
  • an imaging signal of the observed part is output from the imaging device 28 of the endoscope scope 10 to the endoscope processor device 12 via the signal cable 36, and the endoscope processor device 12 outputs the imaging signal of the endoscope scope.
  • a control signal is output to 10.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37a.
  • the illumination light may be white light (light in a white wavelength band or light in a plurality of wavelength bands), light in one or more specific wavelength bands, or light in various wavelength bands according to the observation purpose such as a combination thereof. Selected.
  • the specific wavelength band is a band narrower than the white wavelength band.
  • the first example of the specific wavelength band is, for example, a blue band or a green band in a visible region.
  • the wavelength band of the first example includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the first example has a peak wavelength in the wavelength band of 390 nm to 450 nm or 530 nm to 550 nm. .
  • a second example of the specific wavelength band is, for example, a red band in a visible region.
  • the wavelength band of the second example includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and the light of the second example has a peak wavelength in the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm. .
  • the third example of the specific wavelength band includes a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin, and the light of the third example has a peak wavelength in a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin.
  • the wavelength band of the third example includes 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or a wavelength band of 600 nm or more and 750 nm or less, and the light of the third example includes the above 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 nm. It has a peak wavelength in a wavelength band of ⁇ 10 nm, or 600 nm to 750 nm.
  • the fourth example of the specific wavelength band is a wavelength band (390 nm to 470 nm) of excitation light used for observing fluorescence emitted from a fluorescent substance in a living body (fluorescence observation) and for exciting this fluorescent substance.
  • the fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the fifth example has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
  • the endoscope processor device 12 controls the operation of the endoscope 10 via the connector 37b and the signal cable 36.
  • the endoscope processor device 12 generates a time-series frame image 38a including a subject image based on an imaging signal acquired from the imaging device 28 of the endoscope 10 via the connector 37b and the signal cable 36 (see FIG. 2). ) Is generated as a time-series image (endoscope image).
  • the still image photographing instruction unit 32 is operated by the operation unit 21 of the endoscope 10
  • the endoscope processor device 12 generates one of the moving images 38 in parallel with the generation of the moving image 38.
  • the frame image 38a is acquired according to the timing of the shooting instruction, and is set as a still image 39.
  • the moving image 38 and the still image 39 are medical images of the inside of the subject, that is, the inside of the living body. Further, when the moving image 38 and the still image 39 are images obtained by the light (special light) in the specific wavelength band described above, both are special light images. Then, the endoscope processor device 12 outputs the generated moving image 38 and the generated still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the endoscope processor device 12 may generate (acquire) the special light image having the information of the specific wavelength band based on the normal light image obtained by the white light.
  • the endoscope processor device 12 functions as a special light image acquisition unit. Then, the endoscope processor device 12 converts the signal of the specific wavelength band into RGB color information of red (Red), green (Green), and blue (Blue) included in the normal light image or cyan (Cyan), magenta (Magenta) and yellow (Yellow).
  • the endoscope processor device 12 is based on, for example, at least one of a normal light image obtained by the above-described white light and a special light image obtained by the light (special light) in the specific wavelength band described above.
  • a feature amount image such as a known oxygen saturation image may be generated.
  • the endoscope processor device 12 functions as a feature image generating unit.
  • the moving image 38 or the still image 39 including the in-vivo image, the normal light image, the special light image, and the feature image are all obtained by imaging or measuring a human body for the purpose of diagnosis and inspection using images. It is an imaged medical image.
  • the display device 13 is connected to the endoscope processor device 12, and displays the moving image 38 and the still image 39 input from the endoscope processor device 12.
  • the surgeon (physician) performs the reciprocating operation of the insertion unit 20 while checking the moving image 38 displayed on the display device 13, and if a lesion or the like is found in the observed part, the still image shooting instruction unit 32 is activated. The operation is performed to capture a still image of a region to be observed, and to perform a diagnosis, a biopsy, and the like.
  • the medical image processing apparatus 14 mainly informs an operator of a region of interest included in a time-series image.
  • a personal computer is used.
  • the operation unit 15 uses a keyboard and a mouse that are connected to the personal computer by wire or wirelessly.
  • the display 16 uses various monitors such as a liquid crystal monitor that can be connected to the personal computer.
  • FIG. 2 is a block diagram showing an electrical configuration of the medical image processing apparatus 14.
  • the medical image processing apparatus 14 illustrated in FIG. 2 mainly includes a time-series image acquisition unit 40, an attention area detection unit 41, an attention area information acquisition unit 42, a coordinate calculation unit 43, a control unit 44, and a display control unit 45. And a storage unit 47.
  • the control unit 44 is based on the program (medical image processing program) 51 stored in the storage unit 47, and acquires the time-series image acquisition unit 40, the attention area detection unit 41, the attention area information acquisition unit 42, the coordinate calculation unit 43, and the display.
  • the control unit 45 is integrally controlled, and functions as a part of these units.
  • the storage unit 47 stores a detection result by the attention area detection unit 41, stores a captured still image 39, and stores a graphic constituting notification information, a program storage unit 50, a program 51, and a medical image processing. This section stores information and the like related to various controls of the device 14.
  • the time-series image acquisition unit 40 uses the image input / output interface (not shown) wired or wirelessly connected to the endoscope processor device 12 (FIG. 1) to transmit a time-series image including the subject image from the endoscope processor device 12. (In this example, the moving image 38 captured by the endoscope 10). In addition, when the above-described still image 39 is captured during the capturing of the moving image 38 by the endoscope 10, the time-series image acquisition unit 40 transmits the moving image 38 and the still image 39 from the endoscope processor device 12. To get.
  • time-series image acquisition unit 40 may acquire the moving image 38 via various information storage media such as a memory card and a hard disk device instead of directly acquiring the moving image 38 from the endoscope processor device 12.
  • time-series image acquisition unit 40 may acquire the moving image 38 uploaded to a server or a database on the Internet via the Internet.
  • the attention area detection unit 41 is a part that detects an attention area from the moving image 38 captured during observation of the body cavity.
  • the attention area detection unit 41 calculates a feature amount (an example of an image feature amount) of each frame image 38a of the moving image 38 (or a thinned-out frame image 38a at a constant interval), and performs recognition processing of the attention area in the image. It includes a convolutional neural network (CNN: Convolutional Neural Network) to perform, and calculates a feature amount based on color information in an image, a gradient of pixel values, and the like.
  • CNN Convolutional Neural Network
  • region of interest examples include polyps, cancer, colon diverticulum, inflammation, EMR (Endoscopic Mucosal Resection) scars, ESD (Endoscopic Submucosal Dissection) scars, clipping points, bleeding points, perforations, vascular atypia, treatment tools, and the like.
  • EMR Endoscopic Mucosal Resection
  • ESD Endoscopic Submucosal Dissection
  • the attention area detection unit 41 recognizes a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification
  • the attention area detection unit 41 is not limited to the one that detects the attention area by the CNN, and detects the attention area by analyzing the feature amount such as the color, the gradient, the shape, and the size of the pixel value in the image by image processing. You may do it.
  • the attention area information acquisition unit 42 acquires attention area information indicating the attention area from the attention area detection unit 41 when the attention area detection unit 41 detects the attention area.
  • the attention area information can be, for example, coordinate information of the contour of the attention area in the image.
  • the coordinate calculation unit 43 acquires the attention area information from the attention area information acquisition unit 42, and calculates one or more attention coordinates indicating the position of the attention area in the moving image 38 based on the acquired attention area information.
  • the coordinate calculation unit 43 calculates, for example, one or more coordinates of interest on the outline of a polygon or a circle surrounding the region of interest.
  • the coordinates of the vertices of the polygon or the coordinates of the midpoint of the side of the polygon may be calculated as the coordinates of interest, or the coordinates of a point at which the circumference of the circle is equally divided into a plurality may be calculated as the coordinates of interest. .
  • the display control unit 45 includes an image display control unit 45A and a notification information display control unit 45B.
  • the image display control unit 45A outputs the moving image 38 acquired by the time-series image acquiring unit 40 to the display 16 and causes the display 16 to display the moving image 38.
  • the notification information display control unit 45B displays, on the display unit 16, notification information that is a figure for notifying the attention area based on the attention coordinates calculated by the coordinate calculation unit 43 and includes the same number of graphics as the plurality of attention coordinates. And superimpose on the notification information on the moving image 38 displayed on the display 16.
  • FIG. 3 is a diagram for explaining the coordinate calculation unit 43 and the notification information display control unit 45B.
  • the coordinate calculation unit 43 calculates the coordinates of the four vertices of the quadrilateral (the rectangle indicated by the broken line) inscribed by the attention area 60 as the attention coordinates P1 to P4 as shown in FIG.
  • the notification information display control unit 45B When the coordinates of interest P1 to P4 are input, the notification information display control unit 45B superimposes and displays notification information including the following figures. That is, the notification information display control unit 45B generates a line segment H that goes rightward in the horizontal direction from the target coordinate P1 in FIG. 3 and a line segment V that goes downward in the vertical direction from the target coordinate P1, and these line segments H and An L-shaped figure F1 composed of line segments V is generated.
  • the notification information display control unit 45B generates figures F2, F3, and F4 corresponding to the attention coordinates P2, P3, and P4 in the same manner as described above for the other attention coordinates P2, P3, and P4.
  • FIG. 4 is a diagram showing the relationship between the size of the attention area and the necessity of notification. As shown in FIG. 4, as the size of the region of interest is larger, it is easier for the operator to find the region of interest, and the necessity of notification is relatively smaller. In addition, the smaller the size of the attention area, the more difficult it is for the operator to find the attention area, so that the necessity of notification is relatively high.
  • the notification information display control unit 45B increases the size of the graphics F1 to F4 and reduces the ratio of the sizes of the graphics F1 to F4 to the size of the attention area as the size of the attention area increases. This makes it possible to relatively reduce the degree of influence of the superimposed figure as the region of interest increases. Therefore, the attention area can be notified without obstructing the observation of the time-series image.
  • the size of the region of interest may be the area of the region of interest itself, or the area of a polygon or circle inscribed in the region of interest.
  • the size of the region of interest may include at least one of the area of the region of interest and the major axis of the circumscribed rectangle of the region of interest.
  • the sizes of the figures F1 to F4 may be the length of at least one of the line segment H and the line segment V, or may be the thickness of at least one of the line segment H and the line segment V.
  • the size of the graphics F1 to F4 may include at least one of the area and the outer peripheral length of the graphics F1 to F4.
  • the notification information display control unit 45B outputs the generated image data indicating the graphics F1 to F4 to the display 16, and superimposes the notification information including the graphics F1 to F4 on the image. By displaying the figures F1 to F4 on the display 16, it is possible to notify the operator of the attention area of the image being displayed.
  • FIG. 5 is a flowchart showing each process of the medical image processing method.
  • the medical image processing method includes a time-series image acquisition step (step S1), a target area detection step (step S2), a target area information acquisition step (step S3), a coordinate calculation step (step S4), and notification information display. Control step (step S5).
  • step S ⁇ b> 1 the time-series image acquisition unit 40 acquires the moving image 38 captured by the endoscope 10.
  • step S2 the attention area detection unit 41 detects an attention area from the moving image 38 acquired in step S1.
  • step S3 the attention area information acquisition unit 42 acquires, from the attention area detected in step S2, coordinate information of the contour of the attention area in the image as attention area information indicating the attention area.
  • step S4 the coordinate calculation unit 43 calculates four attention coordinates of a square vertex surrounding the attention area as one or more attention coordinates indicating the position of the attention area, based on the attention area information acquired in step S3. .
  • step S5 the medical image processing apparatus 14 superimposes a graphic on the time-series image based on the coordinates of interest.
  • the moving image 38 is displayed on the display 16 in the image display control unit 45A.
  • the notification information display control unit 45B superimposes a graphic on the moving image 38 displayed on the display 16 at the position of the coordinate of interest.
  • the notification information display control unit 45B increases the size of the figure and reduces the ratio of the size of the figure to the size of the area of interest as the size of the area of interest increases.
  • step S6 the control unit 44 determines the end of the endoscopic examination. When the inspection is completed, the processing of this flowchart ends. If not, the process returns to step S1 to repeat the same processing.
  • ⁇ Display example of notification information (graphics)> 6 to 9 are diagrams illustrating examples of the image and the notification information (graphics) displayed on the display 16, respectively, and show the image and the notification information in a state where time has passed from FIG. 6 to FIG. ing.
  • images G1 to G4 shown in FIGS. 6 to 9 show a partial frame image 38a of the moving image 38 when the tip of the endoscope 10 is gradually approached to the same attention area in chronological order.
  • the images G1 to G4 are images of the same size.
  • the image G1 has a region of interest 61
  • the image G2 has a region of interest 62
  • the image G3 has a region of interest 63
  • the image G4 has a region of interest 64. Has been detected.
  • the attention area 61 is imaged small.
  • the size of the attention area 61 is R1.
  • the size of the graphics F1 to F4 superimposed and displayed on the image G1 is L1.
  • the attention area 61 is small, and the interval between the attention coordinates is a predetermined interval corresponding to the size of the graphics F1 to F4 (for example, when the horizontal size of the image is 1280 pixels and the vertical size is 1024 pixels, 48 pixels (Length) or less (an example of a value equal to or less than the threshold value), the figures F1 to F4 are connected to each other to form a rectangular frame.
  • the notification information composed of the figures F1 to F4 may be restricted so that the length of one side does not become less than a predetermined interval (48 pixels in this example) corresponding to the size of the figures F1 to F4. preferable. This is because the notification information becomes too small and inconspicuous, and a small attention area is likely to be missed.
  • the attention area 62 of the image G2 shown in FIG. 7 is larger than the attention area 61. Assuming that the size of the attention area 62 is R2, there is a relationship of R1 ⁇ R2. If the size of the graphics F1 to F4 superimposed and displayed on the image G2 is L2, there is a relationship of L1 ⁇ L2. Further, the size of the attention area and the size of the figure have a relationship of L1 / R1> L2 / R2.
  • the figures F1 to F4 are different in the thickness (vertical width) of the line segment H and the thickness (horizontal width) of the line segment V (that is, the area and the outer peripheral length are also different). Different), different sizes.
  • the interval between the attention coordinates is also large (an example of a case where the attention coordinate area is larger than the threshold value). Away from each other.
  • the figures F1 to F4 are separated from each other, but the attention area 62 is relatively small, and the figures F1 to F4 are denser and more conspicuous.
  • the attention area 63 of the image G3 shown in FIG. 8 is larger than the attention area 62.
  • the size of the attention area 63 is R3, there is a relationship of R2 ⁇ R3.
  • the size of the graphics F1 to F4 superimposed and displayed on the image G3 is L3, there is a relationship of L2 ⁇ L3.
  • the size of the attention area and the size of the figure have a relationship of L2 / R2> L3 / R3.
  • the attention area 64 of the image G4 shown in FIG. 9 is larger than the attention area 63. Assuming that the size of the attention area 64 is R4, there is a relationship of R3 ⁇ R4. Further, if the size of the graphics F1 to F4 superimposed and displayed on the image G4 is L4, the relationship L3 ⁇ L4 holds. Furthermore, the size of the attention area and the size of the figure have a relationship of L3 / R3> L4 / R4.
  • the figures F1 to F4 of the image G3 and the figures F1 to F4 of the image G4 are separated according to the size of the attention areas 63 and 64. Therefore, the figures F1 to F4 are largely separated from each other according to the size of the attention areas 63 and 64, and the figures F1 to F4 become sparse and inconspicuous. The comparison with the region is not hindered.
  • the sizes of the regions of interest 61, 62, 63, and 64 in the image have a relationship of R1 ⁇ R2 ⁇ R3 ⁇ R4, whereas the sizes of the regions of interest 61, 62, 63, and 64 overlap.
  • the sizes of the figures F1 to F4 to be displayed have a relationship of L1 ⁇ L2 ⁇ L3 ⁇ L4. That is, the larger the size of the attention area, the larger the size of the figure.
  • the size of the attention area and the size of the figure have a relationship of L1 / R1> L2 / R2> L3 / R3> L4 / R4. That is, the larger the size of the attention area, the smaller the ratio of the size of the figure to the size of the attention area.
  • the coordinate calculation unit 43 shown in FIG. 2 calculates the coordinates of the four vertices of the rectangle inscribed by the attention area 60 as attention coordinates P1 to P4 as shown in FIG. 3, but is not limited thereto.
  • the rectangle in which the attention area 60 is inscribed may be enlarged at a fixed ratio (for example, 1.2 times), and each vertex of the enlarged rectangle may be calculated as attention coordinates. May be calculated as the coordinates of interest, respectively, by moving the coordinates by a fixed amount in the direction away from each other.
  • the notification information display control unit 45B is not limited to the case where the figures F1 to F4 are generated in accordance with the size of the region of interest, and is transmitted from the figure storage unit 50 that stores the figures F1 to F4 (icon images) constituting the notification information.
  • the figures F1 to F4 corresponding to the size of the attention area are read out, and the figures F1 to F4 are arranged at positions corresponding to the attention coordinates P1 to P4 based on the attention coordinates P1 to P4, thereby forming the figures F1 to F4.
  • the notification information can be superimposed on the image.
  • the notification information display control unit 45B may continuously change the size of the figure as the size of the attention area changes continuously, or may change the size of the figure as the size of the attention area changes continuously. It may be changed stepwise.
  • FIGS. 10 and 11 are graphs showing the size of the figure with respect to the size of the region of interest and the ratio of the size of the figure with respect to the size of the region of interest.
  • FIG. 10 shows an example of the case where the size of the figure is continuously changed as the size of the attention area changes continuously.
  • FIG. 11 shows the size of the figure as the size of the attention area continuously changes.
  • FIG. 5 shows an example in which is changed stepwise.
  • a figure having an appropriate size can be superimposed on the time-series image.
  • FIG. 12 is a diagram showing five types of notification information (A) to (E) displayed on a rectangular outline having a symmetrical shape surrounding a region of interest.
  • the notification information (A) shown in FIG. 12 is notification information composed of the graphics F1 to F4 shown in FIG. 3 and the like, and the notification information (B) is a modified example of the notification information (A).
  • the notification information (C) is applied when the coordinates of the midpoint of each side of the rectangle surrounding the target area are set as the target coordinates, and is configured by a line segment having a fixed length.
  • the notification information (D) and (E) are applied when the polygon surrounding the attention area is a diamond, and the notification information (D) is applied when the coordinates of each vertex of the diamond are the attention coordinates.
  • the notification information (E) is applied when the coordinates of the midpoint of each side of the rhombus are set as the coordinates of interest.
  • FIG. 13 is a diagram showing two types of notification information (graphics) displayed on the outline of a circle surrounding the attention area.
  • the two types of notification information shown in FIG. 13 are obtained when coordinates of points at which the circumference of a circle surrounding a region of interest is equally divided into a plurality (in the example of FIG. 13, points divided into four) are set as coordinates of interest. It is applied and consists of four arc shapes.
  • FIG. 14 is a diagram showing six types of notification information in which the position of the leading end of a figure is arranged on a rectangular outline having a symmetrical shape surrounding a region of interest.
  • the notification information shown in FIG. 14 is composed of an arrow or a figure having the same meaning as the arrow.
  • the notification information shown in FIG. 14 is arranged such that the positions of the tips of a plurality of arrows and the like match the position of the attention coordinate, and the plurality of arrows and the like face the attention area.
  • FIG. 15 is a diagram showing four types of notification information in which each figure is arranged on a triangular contour having a symmetrical shape surrounding a region of interest.
  • the notification information shown in FIG. 15 is applied when the polygon surrounding the attention area is a triangle (regular triangle), and each vertex of the regular triangle or the midpoint of each side of the regular triangle is set as the coordinate of interest. It is composed of three figures to be arranged.
  • FIG. 16 is a diagram showing notification information (A) composed of two figures, notification information (B) composed of five figures, and notification information (C) composed of six figures.
  • the notification information (A) illustrated in FIG. 16 is notification information including two figures arranged at diagonal positions of a rectangle surrounding the attention area.
  • the notification information (B) shown in FIG. 16 is applied when the polygon surrounding the attention area is a pentagon (regular pentagon), and the notification information (C) indicates the polygon surrounding the attention area. This is applied when a hexagon (regular hexagon) is used.
  • FIGS. 12 to 16 A plurality of figures constituting each notification information shown in FIGS. 12 to 16 are figures obtained by rotating one figure. This is because the plurality of figures constituting the notification information are similar.
  • FIG. 17 is a diagram showing notification information including four figures F11 to F14.
  • the figures F11 and F13 shown in FIG. 17 are point-symmetric figures. When the figure F11 is rotated by 180 degrees, the figures F11 and F13 match. Further, the figures F11 and F12 and the figures F11 and F14 are line-symmetric figures, respectively. When the figure F11 is inverted in the direction around the horizontal axis in FIG. 17, the figures F11 and F12 become one. When inverted in the vertical direction, the figure F11 and the figure F14 match.
  • the four figures F11 to F14 shown in FIG. 17 are figures that can be generated by rotating or flipping one figure.
  • the graphic storage unit 50 shown in FIG. 2 can store one or a plurality of types of notification information shown in FIGS. 12 to 17, and among the plurality of graphics constituting one notification information, Only one figure is stored, and the notification information display control unit 45B acquires a plurality of figures forming the notification information by rotating or inverting one of the plurality of figures forming the notification information, It can be used for multiple attention coordinates. That is, a plurality of figures can be generated from one figure without individually preparing the figures.
  • the color or density of the figure is changed according to the attention area calculated by the attention area detection unit 41 (an example of a feature amount calculation unit) or the feature amount around the attention area.
  • the intellectual power and the degree of influence on observation may be adjusted. For example, when the size of the attention area is relatively small, adjustment is performed so that the informing power is relatively increased by performing at least one of the following (1) to (3).
  • the attention area when the attention area is relatively dark, at least one of the above (1) to (3) is performed to adjust so as to increase the informing power.
  • the region of interest is relatively dark, it is difficult for the operator to find the region of interest, and the need for notification is great. Therefore, by increasing the visibility of the figure relatively, it is possible to contribute to a reduction in the oversight rate. For the same reason, when the contrast of the attention area is relatively low and when the saturation is relatively low, the visibility of the graphic is set to be relatively increased.
  • At least one of the above (4) to (6) is performed to set the visibility so as to be relatively lowered, and to reduce the influence on the observation.
  • the characteristic referred to when changing the color or density of the figure may be any one of the size of the attention area, luminance information, color information (brightness, saturation), and contrast, or a combination thereof.
  • FIG. 18 is a diagram illustrating another embodiment of an image and notification information (graphics) displayed on the display 16.
  • the image G5 illustrated in FIG. 18 includes a plurality of attention areas 66 and 67.
  • the region of interest detection unit 41 shown in FIG. 2 can detect the plurality of regions of interest 66 and 67 by the CNN.
  • the attention area information acquisition unit 42 acquires the attention area information indicating the attention areas 66 and 67 from the attention area detection unit 41 when the attention area detection unit 41 detects the plurality of attention areas 66 and 67.
  • the coordinate calculation unit 43 acquires a plurality of pieces of attention area information from the attention area information acquisition unit 42, the coordinate calculation unit 43 assigns a plurality of attention areas 66 and 67 to each attention area based on the acquired plurality of attention area information. A plurality of attention coordinates surrounding the attention area are calculated.
  • the notification information display control unit 45B causes the notice information to be added to the plurality of attention areas 66 and 67, respectively. .
  • the notification information display control unit 45B assigns notification information composed of figures having different shapes to the plurality of attention areas 66 and 67, respectively.
  • a plurality of substantially L-shaped figures are assigned to the large attention area 66 on the near side, and a plurality of arrow figures are assigned to the small attention area 67 on the back side.
  • the above-mentioned medical image processing method is configured as a program for realizing each step in a computer, and is configured as a non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) storing the program. Is also possible.
  • a CD-ROM Compact Disk-Read Only Memory
  • the endoscope processor device 12 and the medical image processing device 14 have been described as different devices, but the endoscope processor device 12 and the medical image processing device 14 are configured as an integrated device, The endoscope processor device 12 having the function of the medical image processing device 14 may be used.
  • the hardware structure of the processing unit (processing unit) for executing various processes of the endoscope processor device 12 and the medical image processing device 14 is the following various processors.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a GPU (Graphics Processing Unit), a processor specialized in image processing, A dedicated processor for executing a specific process such as a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacturing an FPGA (Field Programmable Gate Array) or the like, or an ASIC (Application Specific Integrated Circuit).
  • PLD programmable logic device
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU and a CPU). (Combination of GPUs). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by computers such as servers and clients, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form using a processor that realizes the functions of the entire system including a plurality of processing units with one integrated circuit (IC) chip is used.
  • IC integrated circuit
  • the various processing units are configured using one or more various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • Endoscope system 10 Endoscope scope 11
  • Light source device 12
  • Endoscope processor device 13
  • Medical image processing device 15
  • Operation unit 16
  • Insertion unit 21
  • Hand operation unit 22
  • Universal cord 25
  • Flexible part 26
  • Bending part 27
  • Tip part 28
  • Image sensor 29
  • Bending operation knob 30
  • Air / water button 31
  • Suction button 32
  • Still image shooting instruction unit 33
  • Treatment tool introduction port 35
  • Light guide 36 ...
  • Signal cable 37a ... Connector 37b ... Connector 38
  • Video 38a ... Frame image 39
  • Still image 40
  • Time-series image acquisition unit 41
  • Attention area detection unit 42
  • Attention area information acquisition unit 43
  • Coordinate calculation unit 44 44 ...
  • Control unit 45 display control unit 45A image display control unit 45B notification information display control unit 47 storage unit 50 figure storage unit 51 program 60 attention area 61 Eye region 62 ... Attention region 63 ... Attention region 64 ... Attention region 66 ... Attention region 67 ... Attention regions F1 to F4, F11 to F14 ... Figures G1 to G5 ... Images H and V ... Line segments P1 to P4 ... Attention coordinates S1 to S6: Each step of the medical image processing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

時系列画像の観察を妨げることなく注目領域を報知する医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムを提供する。時系列画像の注目領域を示す注目領域情報に基づいて時系列画像における注目領域の位置を示す１つ以上の注目座標を算出する座標算出部と、注目座標に基づいて時系列画像に図形を重畳させる報知情報表示制御部と、を備え、報知情報表示制御部は、注目領域のサイズが大きいほど、図形のサイズを大きく、かつ注目領域のサイズに対する図形のサイズの比率を小さくする医療画像処理装置によって上記課題を解決する。

Description

医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
　本発明は医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムに係り、特に時系列画像の注目領域を報知する技術に関する。
　医療分野においては、内視鏡システムを用いた検査が行われている。近年、内視鏡スコープにより撮像された時系列画像（動画）をモニタに表示し、一方、時系列画像の画像解析によって時系列画像に含まれる病変領域などの注目領域の認識を行い、注目領域を報知することで検査を支援することが知られている。
　内視鏡の検査時に、認識器によって時系列画像から病変を検出した場合、モニタに表示されている時系列画像の病変領域を枠で囲むことで、病変を報知することができる。
　特許文献１に記載の内視鏡画像処理装置は、検出部によって病変部等の特徴領域が検出された場合、特徴領域が検出されたことを報知する第１表示画像を生成する報知部と、特徴領域に対する強調処理が行われた第２表示画像を生成する強調処理部と、を備えている。
　報知部により生成される第１表示画像は、観察画像と、観察画像の表示領域とは別の表示領域に表示される報知画像（例えば、フラグ等）とからなる。術者は、第１表示画像上にフラグが立つと（報知画像が表示されると）、より注意深く観察画像を観察し、術者が自ら目視によって病変部を発見することが可能になる。
　特許文献１に記載の発明によれば、観察画像の表示領域とは別の表示領域に表示される報知画像とからなる第１表示画像を表示することで、観察画像の観察が報知画像により阻害されることはないが、報知画像のみでは観察画像のいずれの領域に病変領域が存在するかを直ちに確認することができない。一方、第１表示画像から第２表示画像に切り替える場合にはその切り替え操作が煩雑になり、第１表示画像と第２表示画像とを同時に表示する場合には、第１表示画像及び第２表示画像の表示領域が小さくなる。
　また、特許文献２には、生体組織の病変の重症度を示すスコアが高い領域を囲むように、複数の矢印を配列してなるマーキング画像をオーバーレイ表示する記載があるが、画素毎にスコアを計算し、その計算結果に基づいて複数の矢印をスコアが高い領域の境界に配列するため、矢印の数が多くなり、重症度の高い領域とその周辺との比較が困難となる場合がある。
国際公開第２０１７／０７３３３８号 特開２０１６－１５８６８１号公報
　特許文献１に記載の第２表示画像のように、マーカ画像として四角形等の枠画像を使用し、枠画像により観察画像中の病変領域を囲ってしまうと、周辺との比較が困難となる場合がある。
　本発明はこのような事情に鑑みてなされたもので、時系列画像の観察を妨げることなく注目領域を報知する医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システムを提供することを目的とする。
　上記目的を達成するために医療画像処理装置の一の態様は、時系列画像の注目領域を示す注目領域情報に基づいて時系列画像における注目領域の位置を示す１つ以上の注目座標を算出する座標算出部と、注目座標に基づいて時系列画像に図形を重畳させる報知情報表示制御部と、を備え、報知情報表示制御部は、注目領域のサイズが大きいほど、図形のサイズを大きく、かつ注目領域のサイズに対する図形のサイズの比率を小さくする医療画像処理装置である。
　本態様によれば、注目領域のサイズが大きいほど、図形のサイズが大きく、かつ注目領域のサイズに対する図形のサイズの比率が小さくなるので、大きい注目領域であっても図形のサイズが大きくなり過ぎることがなく、大きい注目領域とその周辺領域との比較を阻害することがない。また、注目領域のサイズが小さいほど、図形のサイズが小さく、かつ注目領域のサイズに対する図形のサイズの比率が大きくなることで、小さい注目領域とその周辺領域との比較を阻害することがない。したがって、時系列画像の観察を妨げることなく注目領域を報知することができる。
　被写体像を含む時系列画像を取得する時系列画像取得部と、時系列画像取得部が取得した時系列画像から注目領域を検出する注目領域検出部と、注目領域検出部から注目領域を示す注目領域情報を取得する注目領域情報取得部と、を備えることが好ましい。これにより、時系列画像、注目領域、及び注目領域情報を適切に取得することができる。
　座標算出部は、注目領域を囲む多角形又は円の輪郭線上の１つ以上の注目座標を算出することが好ましい。これにより、注目座標を適切に算出することができる。
　座標算出部は、多角形の頂点の座標を、１つ以上の注目座標として算出することが好ましい。これにより、注目座標を適切に算出することができる。
　座標算出部は、多角形の辺の中点の座標を、１つ以上の注目座標として算出することが好ましい。これにより、注目座標を適切に算出することができる。
　多角形は四角形であることが好ましい。これにより、注目座標を適切に算出することができる。
　座標算出部は、円の円周を複数に等分割する点の座標を、１つ以上の注目座標として算出することが好ましい。これにより、注目座標を適切に算出することができる。
　報知情報表示制御部は、１つの図形を回転又は反転して時系列画像に重畳させることが好ましい。これにより、注目座標を適切に報知することができる。
　報知情報表示制御部は、注目領域のサイズに応じて図形の色又は濃度を変更することが好ましい。これにより、注目座標を適切に報知することができる。
　注目領域又は注目領域の周辺の画像特徴量を算出する特徴量算出部を備え、画像特徴量に応じて図形の色又は濃度を変更することが好ましい。これにより、注目座標を適切に報知することができる。
　特徴量算出部は、色情報、輝度情報、及びコントラストのうちの少なくとも１つに基づいて画像特徴量を算出することが好ましい。これにより、画像特徴量を適切に算出することができる。
　報知情報表示制御部は、注目領域が複数の場合、複数の注目領域にそれぞれ異なる形状の図形を割り当てることが好ましい。これにより、複数の注目座標を適切に報知することができる。
　報知情報表示制御部は、注目領域が複数の場合、複数の注目領域にそれぞれ異なる色又は濃度の図形を割り当てることが好ましい。これにより、複数の注目座標を適切に報知することができる。
　報知情報表示制御部は、複数の注目座標の間隔が図形のサイズに対応する閾値以下の場合は複数の図形が互いに連結し、閾値より大きい場合は複数の図形が注目座標の間隔に応じて離間することが好ましい。これにより、注目座標を適切に報知することができる。
　注目領域のサイズは、注目領域の面積及び注目領域の外接矩形の長径の少なくとも一方を含むことが好ましい。これにより、適切なサイズの図形を重畳させることができる。
　図形のサイズは、図形の面積及び外周長の少なくとも一方を含むことが好ましい。これにより、適切なサイズの図形を重畳させることができる。
　報知情報表示制御部は、注目領域のサイズが連続的に変化するに従って図形のサイズを連続的に変化させることが好ましい。これにより、適切なサイズの図形を重畳させることができる。
　報知情報表示制御部は、注目領域のサイズが連続的に変化するに従って図形のサイズを段階的に変化させることが好ましい。これにより、適切なサイズの図形を重畳させることができる。
　上記目的を達成するために内視鏡システムの一の態様は、時系列画像を撮像する内視鏡スコープと、内視鏡スコープが撮像した時系列画像を表示器に表示させる表示制御部と、上記の医療画像処理装置と、を備え、報知情報表示制御部は、表示器に表示された時系列画像に注目領域を報知する図形を重畳して表示させる内視鏡システムである。
　本態様によれば、時系列画像の観察を妨げることなく注目領域を報知することができる。
　上記目的を達成するために医療画像処理方法の一の態様は、時系列画像の注目領域を示す注目領域情報に基づいて時系列画像における注目領域の位置を示す１つ以上の注目座標を算出する座標算出工程と、注目座標に基づいて時系列画像に図形を重畳させる報知情報表示制御工程と、を備え、報知情報表示制御工程は、注目領域のサイズが大きいほど、図形のサイズを大きく、かつ注目領域のサイズに対する図形のサイズの比率を小さくする医療画像処理方法である。
　本態様によれば、時系列画像の観察を妨げることなく注目領域を報知することができる。上記の医療画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
　本発明によれば、時系列画像の観察を妨げることなく注目領域を報知することができる。
図１は、内視鏡システムの全体構成を示す概略図である。 図２は、医療画像処理装置の電気的構成を示すブロック図である。 図３は、座標算出部及び報知情報表示制御部を説明するための図である。 図４は、注目領域のサイズと報知の必要性の関係を示す図である。 図５は、医療画像処理方法の各処理を示すフローチャートである。 図６は、表示器に表示される画像及び報知情報を示す図である。 図７は、図６に示す状態から時間経過後に表示器に表示される画像及び報知情報を示す図である。 図８は、図７に示す状態から時間経過後に表示器に表示される画像及び報知情報を示す図である。 図９は、図８に示す状態から時間経過後に表示器に表示される画像及び報知情報を示す図である。 図１０は、注目領域のサイズに対する図形のサイズ、及び注目領域のサイズに対する図形のサイズの比率を示すグラフである。 図１１は、注目領域のサイズに対する図形のサイズ、及び注目領域のサイズに対する図形のサイズの比率を示すグラフである。 図１２は、注目領域を囲む対称な形状を有する多角形が四角形の場合に適用される、５種類の報知情報（Ａ）～（Ｅ）を示す図である。 図１３は、注目領域を囲む円の輪郭線上に表示される２種類の報知情報を示す図である。 図１４は、注目領域を囲む対称な形状を有する四角形の輪郭線上に、図形の先端の位置が配置される６種類の報知情報を示す図である。 図１５は、注目領域を囲む対称な形状を有する三角形の輪郭線上に、各図形が配置される４種類の報知情報を示す図である。 図１６は、２つの図形から構成される報知情報（Ａ）、５つの図形から構成される報知情報（Ｂ）、及び６つの図形から構成される報知情報（Ｃ）を示す図である。 図１７は、４つの図形からなる報知情報を示す図である。 図１８は、表示器に表示される画像及び報知情報の他の実施形態を示す図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　＜内視鏡システムの全体構成＞
　図１は、本実施形態に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。
　内視鏡スコープ１０は、被写体像を含む時系列画像を取得する時系列画像取得部に相当するものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
　手元操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａ（図２参照）からなる時系列画像（内視鏡画像）である動画３８を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮影指示のタイミングに応じて取得し、静止画３９とする。
　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。
　尚、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報あるいはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。
　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医療画像である。
　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。術者（医師）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
　＜医療画像処理装置の構成＞
　医療画像処理装置１４は、主として時系列画像に含まれる注目領域を術者に報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　図２は、医療画像処理装置１４の電気的構成を示すブロック図である。図２に示す医療画像処理装置１４は、主として時系列画像取得部４０と、注目領域検出部４１と、注目領域情報取得部４２と、座標算出部４３と、制御部４４と、表示制御部４５と、記憶部４７と、から構成されている。
　制御部４４は、記憶部４７に記憶されたプログラム（医療画像処理プログラム）５１に基づき、時系列画像取得部４０、注目領域検出部４１、注目領域情報取得部４２、座標算出部４３、及び表示制御部４５を統括制御し、また、これらの各部の一部として機能する。
　記憶部４７は、注目領域検出部４１による検出結果を記憶し、また、撮像された静止画３９を記憶するとともに、報知情報を構成する図形を記憶する図形記憶部５０、プログラム５１及び医療画像処理装置１４の各種制御に係る情報等を記憶する部分である。
　時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に既述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
　尚、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。
　注目領域検出部４１は、体腔の観察中に撮像された動画３８から注目領域を検出する部分である。注目領域検出部４１は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量（画像特徴量の一例）を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。注目領域検出部４１は、算出された特徴量を用いて画像内の病変等の注目領域を検出する。
　注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具などがある。
　注目領域検出部４１は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
　尚、注目領域検出部４１は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
　注目領域情報取得部４２は、注目領域検出部４１により注目領域が検出された場合、注目領域検出部４１から注目領域を示す注目領域情報を取得する。注目領域情報は、例えば画像内の注目領域の輪郭の座標情報とすることができる。
　座標算出部４３は、注目領域情報取得部４２から注目領域情報を取得し、取得した注目領域情報に基づいて動画３８における注目領域の位置を示す１つ以上の注目座標を算出する。座標算出部４３は、例えば注目領域を囲む多角形又は円の輪郭線上の１つ以上の注目座標を算出する。多角形の頂点の座標、又は多角形の辺の中点の座標を注目座標として算出してもよいし、円の円周を複数に等分割する点の座標を注目座標として算出してもよい。
　表示制御部４５は、画像表示制御部４５Ａ及び報知情報表示制御部４５Ｂを備えている。画像表示制御部４５Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。報知情報表示制御部４５Ｂは、座標算出部４３により算出された注目座標に基づいて、注目領域を報知する図形であって、複数の注目座標と同数の複数の図形からなる報知情報を表示器１６に出力し、表示器１６に表示される動画３８に報知情報に重畳させる。
　図３は、座標算出部４３及び報知情報表示制御部４５Ｂを説明するための図である。本例では、座標算出部４３は、図３に示すように注目領域６０が内接する四角形（破線で示した矩形）の４つの頂点の座標を、注目座標Ｐ１～Ｐ４として算出する。
　また、報知情報表示制御部４５Ｂは、注目座標Ｐ１～Ｐ４が入力されると、以下に示す図形からなる報知情報を重畳表示させる。即ち、報知情報表示制御部４５Ｂは、注目座標Ｐ１から図３において水平方向右に向かう線分Ｈと、注目座標Ｐ１から垂直方向下に向かう線分Ｖとを生成し、これらの線分Ｈ及び線分ＶからなるＬ字状の図形Ｆ１を生成する。報知情報表示制御部４５Ｂは、他の注目座標Ｐ２、Ｐ３及びＰ４に対し、上記と同様にして各注目座標Ｐ２、Ｐ３及びＰ４に対応する図形Ｆ２、Ｆ３及びＦ４を生成する。
　図４は、注目領域のサイズと報知の必要性の関係を示す図である。図４に示すように、注目領域のサイズが大きいほど、術者にとっては注目領域を発見しやすくなるため、報知の必要性は相対的に小さくなる。また、注目領域のサイズが小さいほど、術者にとっては注目領域を発見しにくくなるため、報知の必要性は相対的に高くなる。
　報知の必要性が相対的に小さくなるのにもかかわらず、注目領域のサイズが大きくなるのに対して重畳する図形サイズを大きくし過ぎてしまうと、画面上での重畳する図形の影響度が大きくなり、観察への悪影響が大きくなる。即ち、重要度が低いにもかかわらず、過大な強調処理を行ってしまうことになる。
　一方、報知の必要性が相対的に高くなるのにもかかわらず、注目領域のサイズが小さくなるのに比例して重畳する図形サイズを小さくし過ぎてしまうと、画面上での重畳する図形が見にくくなり、注目領域の見落としに繋がってしまう。
　したがって、報知情報である図形のサイズは、注目領域のサイズに応じて適切なサイズに設定する必要がある。本実施形態では、報知情報表示制御部４５Ｂは、注目領域のサイズが大きいほど、図形Ｆ１～Ｆ４のサイズを大きく、かつ注目領域のサイズに対する図形Ｆ１～Ｆ４のサイズの比率を小さくする。これにより、注目領域が大きくなるにつれて重畳する図形の影響度を相対的に小さくすることができる。したがって、時系列画像の観察を妨げることなく注目領域を報知することができる。
　注目領域のサイズは、注目領域そのものの面積であってもよいし、注目領域が内接する多角形又は円の面積であってもよい。注目領域のサイズは、注目領域の面積及び注目領域の外接矩形の長径の少なくとも一方を含んでもよい。
　また、図形Ｆ１～Ｆ４のサイズは、線分Ｈ及び線分Ｖの少なくとも一方の長さであってもよいし、線分Ｈ及び線分Ｖの少なくとも一方の太さであってもよい。図形Ｆ１～Ｆ４のサイズは、図形Ｆ１～Ｆ４の面積及び外周長の少なくとも一方を含んでもよい。
　報知情報表示制御部４５Ｂは、生成した図形Ｆ１～Ｆ４を示す画像データを表示器１６に出力し、図形Ｆ１～Ｆ４からなる報知情報を画像に重畳表示させる。表示器１６に図形Ｆ１～Ｆ４が表示されることで、表示中の画像の注目領域を術者に報知することができる。
　＜医療画像処理方法＞
　内視鏡システム９を用いた医療画像処理方法について説明する。図５は、医療画像処理方法の各処理を示すフローチャートである。医療画像処理方法は、時系列画像取得工程（ステップＳ１）と、注目領域検出工程（ステップＳ２）と、注目領域情報取得工程（ステップＳ３）と、座標算出工程（ステップＳ４）と、報知情報表示制御工程（ステップＳ５）と、を含む。
　ステップＳ１では、時系列画像取得部４０は、内視鏡スコープ１０により撮像される動画３８を取得する。
　ステップＳ２では、注目領域検出部４１は、ステップＳ１で取得した動画３８から注目領域を検出する。
　ステップＳ３では、注目領域情報取得部４２は、ステップＳ２で検出した注目領域から注目領域を示す注目領域情報として画像内の注目領域の輪郭の座標情報を取得する。
　ステップＳ４では、座標算出部４３は、ステップＳ３で取得した注目領域情報に基づいて、注目領域の位置を示す１つ以上の注目座標として注目領域を囲む四角形の頂点の４つの注目座標を算出する。
　ステップＳ５では、医療画像処理装置１４は、注目座標に基づいて時系列画像に図形を重畳させる。ここでは、画像表示制御部４５Ａにおいて、表示器１６に動画３８を表示させる。また、報知情報表示制御部４５Ｂにおいて、表示器１６に表示される動画３８に対して注目座標の位置に図形を重畳させる。上述したように、報知情報表示制御部４５Ｂは、注目領域のサイズが大きいほど、図形のサイズを大きく、かつ注目領域のサイズに対する図形のサイズの比率を小さくする。
　ステップＳ６では、制御部４４は、内視鏡検査の終了を判定する。検査が終了した場合は、本フローチャートの処理を終了する。終了していない場合は、ステップＳ１に戻り同様の処理を繰り返す。
　＜報知情報（図形）の表示例＞
　図６から図９は、それぞれ表示器１６に表示される画像及び報知情報（図形）の一例を示す図であり、図６から図９に向かって時間が経過した状態の画像及び報知情報に関して示している。
　即ち、図６から図９に示す画像Ｇ１～Ｇ４は、内視鏡スコープ１０の先端を同一の注目領域に徐々に近づけた場合の動画３８の一部のフレーム画像３８ａを時系列順に示している。画像Ｇ１～Ｇ４は同一の大きさの画像であり、画像Ｇ１からは注目領域６１が、画像Ｇ２からは注目領域６２が、画像Ｇ３からは注目領域６３が、及び画像Ｇ４からは注目領域６４が検出されている。
　図６に示す画像Ｇ１は、注目領域６１が内視鏡スコープ１０の先端から遠いため、注目領域６１は小さく撮像されている。注目領域６１のサイズをＲ１とする。また、画像Ｇ１に重畳表示される図形Ｆ１～Ｆ４のサイズをＬ１とする。
　画像Ｇ１では注目領域６１が小さく、各注目座標の間隔が図形Ｆ１～Ｆ４のサイズに対応する所定の間隔（例えば画像の水平方向サイズが１２８０ピクセル、垂直方向サイズが１０２４ピクセルの場合に、４８ピクセルの長さ）以下（閾値以下の場合の一例）となっているため、図形Ｆ１～Ｆ４は互いに連結して矩形の枠を構成している。尚、図形Ｆ１～Ｆ４からなる報知情報は、一辺の長さが、図形Ｆ１～Ｆ４のサイズに対応する所定の間隔（本例では、４８ピクセルの長さ）以下にならないように制限することが好ましい。報知情報が小さくなりすぎて目立たなくなり、小さな注目領域を見逃すおそれが高くなるからである。
　図７に示す画像Ｇ２の注目領域６２は、注目領域６１よりも大きくなっている。注目領域６２のサイズをＲ２とすると、Ｒ１＜Ｒ２の関係を有している。また、画像Ｇ２に重畳表示される図形Ｆ１～Ｆ４のサイズをＬ２とすると、Ｌ１＜Ｌ２の関係を有している。更に、注目領域のサイズと図形のサイズとは、Ｌ１／Ｒ１＞Ｌ２／Ｒ２の関係を有している。
　尚、本例では、図形Ｆ１～Ｆ４はそれぞれ線分Ｈの太さ（垂直方向の幅）及び線分Ｖの太さ（水平方向の幅）を異ならせることで（即ち、面積及び外周長も異なる）、サイズを異ならせている。
　注目領域６２は注目領域６１よりも大きいため、各注目座標の間隔も大きくなり（閾値より大きい場合の一例）、画像Ｇ２に重畳表示される図形Ｆ１～Ｆ４は、注目領域６２の大きさに応じてそれぞれ離間する。画像Ｇ２では、図形Ｆ１～Ｆ４は互いに離間しているが、注目領域６２が比較的小さく、各図形Ｆ１～Ｆ４が互いに密になり、目立ちやすくなっている。
　一方、図８に示す画像Ｇ３の注目領域６３は、注目領域６２よりも大きくなっている。注目領域６３のサイズをＲ３とすると、Ｒ２＜Ｒ３の関係を有している。また、画像Ｇ３に重畳表示される図形Ｆ１～Ｆ４のサイズをＬ３とすると、Ｌ２＜Ｌ３の関係を有している。更に、注目領域のサイズと図形のサイズとは、Ｌ２／Ｒ２＞Ｌ３／Ｒ３の関係を有している。
　また、図９に示す画像Ｇ４の注目領域６４は、注目領域６３よりも大きくなっている。注目領域６４のサイズをＲ４とすると、Ｒ３＜Ｒ４の関係を有している。また、画像Ｇ４に重畳表示される図形Ｆ１～Ｆ４のサイズをＬ４とすると、Ｌ３＜Ｌ４の関係を有している。更に、注目領域のサイズと図形のサイズとは、Ｌ３／Ｒ３＞Ｌ４／Ｒ４の関係を有している。
　画像Ｇ３の図形Ｆ１～Ｆ４、及び画像Ｇ４の図形Ｆ１～Ｆ４は、注目領域６３及び６４の大きさに応じて離間する。このため、図形Ｆ１～Ｆ４は、注目領域６３及び６４の大きさに応じて大きく離間していき、各図形Ｆ１～Ｆ４が互いに疎になって目立たなくなり、また、注目領域６３及び６４とその周辺領域との比較を阻害しないようになる。
　このように、注目領域６１、６２、６３、及び６４の画像内のサイズがＲ１＜Ｒ２＜Ｒ３＜Ｒ４の関係を有しているのに対し、注目領域６１、６２、６３、及び６４に重畳される図形Ｆ１～Ｆ４のサイズはＬ１＜Ｌ２＜Ｌ３＜Ｌ４の関係を有している。即ち、注目領域のサイズが大きいほど、図形のサイズは大きい。
　更に、注目領域のサイズと図形のサイズとは、Ｌ１／Ｒ１＞Ｌ２／Ｒ２＞Ｌ３／Ｒ３＞Ｌ４／Ｒ４の関係を有している。即ち、注目領域のサイズが大きいほど、注目領域のサイズに対する図形のサイズの比率は小さい。
　尚、図２に示した座標算出部４３は、図３に示したように注目領域６０が内接する矩形の４つの頂点の座標を、注目座標Ｐ１～Ｐ４として算出するが、これに限らず、注目領域６０が内接する矩形を一定の比率（例えば、１．２倍）で拡大し、拡大した矩形の各頂点を注目座標として算出してもよし、注目領域６０が内接する矩形の４つの頂点の座標を、互いに離間する方向に一定量移動させた座標を、それぞれ注目座標として算出してもよい。
　また、報知情報表示制御部４５Ｂは、注目領域のサイズに応じた図形Ｆ１～Ｆ４を生成する場合に限らず、報知情報を構成する図形Ｆ１～Ｆ４（アイコン画像）を記憶する図形記憶部５０から注目領域のサイズに応じた図形Ｆ１～Ｆ４を読み出し、注目座標Ｐ１～Ｐ４に基づいて各注目座標Ｐ１～Ｐ４に対応する位置に各図形Ｆ１～Ｆ４を配置することで、図形Ｆ１～Ｆ４からなる報知情報を画像に重畳させることができる。
　尚、報知情報表示制御部４５Ｂは、注目領域のサイズが連続的に変化するに従って図形のサイズを連続的に変化させてもよいし、注目領域のサイズが連続的に変化するに従って図形のサイズを段階的に変化させてもよい。
　図１０及び図１１は、注目領域のサイズに対する図形のサイズ、及び注目領域のサイズに対する図形のサイズの比率を示すグラフである。図１０は、注目領域のサイズが連続的に変化するに従って図形のサイズを連続的に変化させる場合の一例を示しており、図１１は、注目領域のサイズが連続的に変化するに従って図形のサイズを段階的に変化させる場合の一例を示している。
　いずれの場合であっても、時系列画像に適切なサイズの図形を重畳させることができる。
　＜報知情報（図形）のバリエーション＞
　報知情報である図形は、少なくとも１つの注目座標に重畳されればよいが、注目領域を囲む複数の注目座標に重畳されることが好ましい。図１２は、注目領域を囲む対称な形状を有する四角形の輪郭線上に表示される５種類の報知情報（Ａ）～（Ｅ）を示す図である。
　図１２に示す報知情報（Ａ）は、図３等に示した図形Ｆ１～Ｆ４からなる報知情報であり、報知情報（Ｂ）は、報知情報（Ａ）の変形例である。
　報知情報（Ｃ）は、注目領域を囲む矩形の各辺の中点の座標を、注目座標とした場合に適用されるもので、一定の長さの線分の図形により構成されている。
　報知情報（Ｄ）及び（Ｅ）は、それぞれ注目領域を囲む多角形を菱形とした場合に適用されるもので、報知情報（Ｄ）は菱形の各頂点の座標を注目座標とした場合に適用され、報知情報（Ｅ）は菱形の各辺の中点の座標を注目座標とした場合に適用される。
　図１３は、注目領域を囲む円の輪郭線上に表示される２種類の報知情報（図形）を示す図である。図１３に示す２種類の報知情報は、それぞれ注目領域を囲む円の円周を複数に等分割する点（図１３の例では、４等分する点）の座標を、注目座標とする場合に適用されるもので、４つの弧の図形から構成されている。
　図１４は、注目領域を囲む対称な形状を有する四角形の輪郭線上に、図形の先端の位置が配置される６種類の報知情報を示す図である。図１４に示す報知情報は、それぞれ矢印、又は矢印と同じ意味をもたせた図形から構成されている。図１４に示す報知情報は、複数の矢印等の先端の位置が注目座標の位置と一致し、かつ複数の矢印等が注目領域に向くように配置される。
　図１５は、注目領域を囲む対称な形状を有する三角形の輪郭線上に、各図形が配置される４種類の報知情報を示す図である。図１５に示す報知情報は、それぞれ注目領域を囲む多角形を三角形（正三角形）とした場合に適用されるもので、正三角形の各頂点、又は正三角形の各辺の中点を注目座標として配置される、３つの図形から構成されている。
　図１６は、２つの図形から構成される報知情報（Ａ）、５つの図形から構成される報知情報（Ｂ）、及び６つの図形から構成される報知情報（Ｃ）を示す図である。図１６に示す報知情報（Ａ）は、注目領域を囲む矩形の対角位置に配置される２つの図形からなる報知情報である。
　また、図１６に示す報知情報（Ｂ）は、注目領域を囲む多角形を五角形（正五角形）とした場合に適用されるものであり、報知情報（Ｃ）は、注目領域を囲む多角形を六角形（正六角形）とした場合に適用されるものである。
　図１２から図１６に示した各報知情報を構成する複数の図形は、１つの図形を回転した図形である。報知情報を構成する複数の図形は、相似形だからである。
　また、図１７は、４つの図形Ｆ１１～Ｆ１４からなる報知情報を示す図である。図１７に示す図形Ｆ１１とＦ１３とは、点対称の図形であり、図形Ｆ１１を１８０度回転させると、図形Ｆ１１と図形Ｆ１３とは一致する。また、図形Ｆ１１とＦ１２、及び図形Ｆ１１とＦ１４とは、それぞれ線対称の図形であり、図形Ｆ１１を、図１７上で水平方向の軸回り方向に反転させると、図形Ｆ１１と図形Ｆ１２とは一致し、垂直方向の軸回り方向に反転させると、図形Ｆ１１と図形Ｆ１４とは一致する。
　即ち、図１７に示す４つの図形Ｆ１１～Ｆ１４は、１つの図形を回転又は反転させることで、生成することができる図形である。
　図２に示した図形記憶部５０は、図１２から図１７に示した１乃至複数の種類の報知情報を記憶することが可能であるが、１つの報知情報を構成する複数の図形のうちの１つの図形のみを記憶し、報知情報表示制御部４５Ｂは、報知情報を構成する複数の図形のうちの１つの図形を回転又は反転させることで、報知情報を構成する複数の図形を取得し、複数の注目座標に対して使用することができる。即ち、複数の図形は、個別に準備することなく、１つの図形から複数の図形が生成することができる。
　＜報知情報（図形）の色・濃度＞
　図形のサイズを設定するのに加えて、注目領域検出部４１（特徴量算出部の一例）において算出された注目領域又は注目領域の周辺の特徴量に応じて図形の色又は濃度を変更し、報知力と観察への影響度を調節してもよい。例えば、注目領域のサイズが相対的に小さい場合は、下記の（１）～（３）のうち少なくとも１つを実施することで、報知力を相対的に大きくするように調整する。
（１）相対的に彩度が大きい色に変更する
（２）生体粘膜の色と比較して相対的に色差の大きい色に変更する
（３）相対的に濃度が高い色に変更する
　逆に、注目領域のサイズが相対的に大きい場合は、下記の（４）～（６）のうち少なくとも１つを実施することで、報知力を相対的に小さくし、観察への影響を小さくするように調整する。
（４）相対的に彩度が小さい色に変更する
（５）生体粘膜の色と比較して相対的に色差の小さい色に変更する
（６）相対的に濃度が低い色に変更する
　また、注目領域のサイズだけでなく、注目領域の特性に応じて色又は濃度を変更してもよい。具体的には、注目領域が相対的に暗い場合は、上記の（１）～（３）のうち少なくとも１つを実施することで、報知力を大きくするように調整する。注目領域が相対的に暗い場合は、術者が注目領域を発見しにくいため、報知の必要性が大きい。したがって、図形の視認性を相対的に上げることで、見落とし率低下に寄与することができる。同様の理由で、注目領域のコントラストが相対的に低い場合、及び彩度が相対的に低い場合も、図形の視認性を相対的に上げるように設定する。
　特性が逆の場合は、上記の（４）～（６）のうち少なくとも１つを実施することで、視認性を相対的に下げるように設定し、観察への影響を小さくする。
　図形の色又は濃度を変更する際に参照する特性は、注目領域のサイズ、輝度情報、色情報（明度、彩度）、コントラストのいずれか一つでもよいし、それらの組み合わせでもよい。
　＜注目領域が複数存在する場合＞
　図１８は、表示器１６に表示される画像及び報知情報（図形）の他の実施形態を示す図である。図１８に示す画像Ｇ５には、複数の注目領域６６及び６７が存在する。
　図２に示した注目領域検出部４１は、１フレームの画像内に複数の注目領域が存在する場合、ＣＮＮにより複数の注目領域６６及び６７を検出することが可能である。
　注目領域情報取得部４２は、注目領域検出部４１により複数の注目領域６６及び６７が検出された場合、注目領域検出部４１から注目領域６６及び６７を示す複数の注目領域情報を取得する。また、座標算出部４３は、注目領域情報取得部４２から複数の注目領域情報を取得すると、取得した複数の注目領域情報に基づいて複数の注目領域６６及び６７に対して注目領域毎に、その注目領域を囲む複数の注目座標を算出する。
　報知情報表示制御部４５Ｂは、注目領域情報取得部４２が複数の注目領域６６及び６７に対応する複数の注目領域情報を取得すると、複数の注目領域６６及び６７に対してそれぞれ報知情報を付加させる。この場合、報知情報表示制御部４５Ｂは、複数の注目領域６６及び６７にそれぞれ異なる形状の図形からなる報知情報を割り当てることが好ましい。
　図１８に示す例では、手前側の大きな注目領域６６には、複数の略Ｌ字状の図形を割り当て、奥側の小さな注目領域６７には、複数の矢印の図形を割り当てている。
　また、報知情報表示制御部４５Ｂは、複数の注目領域に対してそれぞれ図形を付加させる際に、複数の注目領域にそれぞれ異なる色の図形を割り当てるようにしてもよい。この場合、図形の形状は、同一でもよいし、異なるものでもよい。
　これにより、複数の注目領域を、異なる形状の図形又は異なる色の図形により区別しやすくなり、複数の注目領域が移動する場合に目視で追尾しやすくなる。
　＜その他＞
　上記の医療画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、内視鏡プロセッサ装置１２及び医療画像処理装置１４は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置１２及び医療画像処理装置１４を一体の装置として構成し、医療画像処理装置１４の機能を有する内視鏡プロセッサ装置１２としてもよい。
　また、内視鏡プロセッサ装置１２及び医療画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
９…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…医療画像処理装置
１５…操作部
１６…表示器
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像素子
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮影指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４１…注目領域検出部
４２…注目領域情報取得部
４３…座標算出部
４４…制御部
４５…表示制御部
４５Ａ…画像表示制御部
４５Ｂ…報知情報表示制御部
４７…記憶部
５０…図形記憶部
５１…プログラム
６０…注目領域
６１…注目領域
６２…注目領域
６３…注目領域
６４…注目領域
６６…注目領域
６７…注目領域
Ｆ１～Ｆ４、Ｆ１１～Ｆ１４…図形
Ｇ１～Ｇ５…画像
Ｈ，Ｖ…線分
Ｐ１～Ｐ４…注目座標
Ｓ１～Ｓ６…医療画像処理方法の各ステップ

Claims (22)

  1. 　時系列画像の注目領域を示す注目領域情報に基づいて前記時系列画像における前記注目領域の位置を示す１つ以上の注目座標を算出する座標算出部と、
    　前記注目座標に基づいて前記時系列画像に図形を重畳させる報知情報表示制御部と、
    　を備え、
    　前記報知情報表示制御部は、前記注目領域のサイズが大きいほど、前記図形のサイズを大きく、かつ前記注目領域のサイズに対する前記図形のサイズの比率を小さくする医療画像処理装置。
  2. 　被写体像を含む前記時系列画像を取得する時系列画像取得部と、
    　前記時系列画像取得部が取得した時系列画像から前記注目領域を検出する注目領域検出部と、
    　前記注目領域検出部から前記注目領域を示す注目領域情報を取得する注目領域情報取得部と、
    　を備える請求項１に記載の医療画像処理装置。
  3. 　前記座標算出部は、前記注目領域を囲む多角形又は円の輪郭線上の１つ以上の注目座標を算出する請求項１又は２に記載の医療画像処理装置。
  4. 　前記座標算出部は、前記多角形の頂点の座標を、前記１つ以上の注目座標として算出する請求項３に記載の医療画像処理装置。
  5. 　前記座標算出部は、前記多角形の辺の中点の座標を、前記１つ以上の注目座標として算出する請求項３又は４に記載の医療画像処理装置。
  6. 　前記多角形は四角形である請求項３から５のいずれか１項に記載の医療画像処理装置。
  7. 　前記座標算出部は、前記円の円周を複数に等分割する点の座標を、前記１つ以上の注目座標として算出する請求項３に記載の医療画像処理装置。
  8. 　前記報知情報表示制御部は、１つの図形を回転又は反転して前記時系列画像に重畳させる請求項１から７のいずれか１項に記載の医療画像処理装置。
  9. 　前記報知情報表示制御部は、前記注目領域のサイズに応じて前記図形の色又は濃度を変更する請求項１から８のいずれか１項に記載の医療画像処理装置。
  10. 　前記注目領域又は前記注目領域の周辺の画像特徴量を算出する特徴量算出部を備え、
    　前記画像特徴量に応じて前記図形の色又は濃度を変更する請求項１から９のいずれか１項に記載の医療画像処理装置。
  11. 　前記特徴量算出部は、色情報、輝度情報、及びコントラストのうちの少なくとも１つに基づいて前記画像特徴量を算出する請求項１０に記載の医療画像処理装置。
  12. 　前記報知情報表示制御部は、前記注目領域が複数の場合、前記複数の注目領域にそれぞれ異なる形状の図形を割り当てる請求項１から１１のいずれか１項に記載の医療画像処理装置。
  13. 　前記報知情報表示制御部は、前記注目領域が複数の場合、前記複数の注目領域にそれぞれ異なる色又は濃度の図形を割り当てる請求項１から１２のいずれか１項に記載の医療画像処理装置。
  14. 　前記報知情報表示制御部は、複数の注目座標の間隔が前記図形のサイズに対応する閾値以下のより小さい場合は複数の図形が互いに連結し、前記閾値より大きい以上の場合は前記複数の図形が前記注目座標の間隔に応じて離間する請求項１から１３のいずれか１項に記載の医療画像処理装置。
  15. 　前記注目領域のサイズは、前記注目領域の面積及び前記注目領域の外接矩形の長径の少なくとも一方を含む請求項１から１４のいずれか１項に記載の医療画像処理装置。
  16. 　前記図形のサイズは、前記図形の面積及び外周長の少なくとも一方を含む請求項１から１５のいずれか１項に記載の医療画像処理装置。
  17. 　前記報知情報表示制御部は、前記注目領域のサイズが連続的に変化するに従って前記図形のサイズを連続的に変化させる請求項１から１６のいずれか１項に記載の医療画像処理装置。
  18. 　前記報知情報表示制御部は、前記注目領域のサイズが連続的に変化するに従って前記図形のサイズを段階的に変化させる請求項１から１６のいずれか１項に記載の医療画像処理装置。
  19. 　前記時系列画像を撮像する内視鏡スコープと、
    　前記内視鏡スコープが撮像した前記時系列画像を表示器に表示させる表示制御部と、
    　請求項１から１８のいずれか１項に記載の医療画像処理装置と、を備え、
    　前記報知情報表示制御部は、前記表示器に表示された前記時系列画像に前記注目領域を報知する前記図形を重畳して表示させる内視鏡システム。
  20. 　時系列画像の注目領域を示す注目領域情報に基づいて前記時系列画像における前記注目領域の位置を示す１つ以上の注目座標を算出する座標算出工程と、
    　前記注目座標に基づいて前記時系列画像に図形を重畳させる報知情報表示制御工程と、
    　を備え、
    　前記報知情報表示制御工程は、前記注目領域のサイズが大きいほど、前記図形のサイズを大きく、かつ前記注目領域のサイズに対する前記図形のサイズの比率を小さくする医療画像処理方法。
  21. 　請求項２０に記載の医療画像処理方法をコンピュータに実行させるためのプログラム。
  22. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項２１に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/034789 2018-09-11 2019-09-04 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム WO2020054541A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19859938.3A EP3851022A4 (en) 2018-09-11 2019-09-04 MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING METHOD AND ENDOSCOPIC SYSTEM
CN201980058471.9A CN112654282B (zh) 2018-09-11 2019-09-04 医疗图像处理装置、医疗图像处理方法、内窥镜系统及记录介质
JP2020545947A JP7113903B2 (ja) 2018-09-11 2019-09-04 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、内視鏡システム
US17/180,646 US20210174557A1 (en) 2018-09-11 2021-02-19 Medical image processing apparatus, medical image processing method, program, and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018169398 2018-09-11
JP2018-169398 2018-09-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/180,646 Continuation US20210174557A1 (en) 2018-09-11 2021-02-19 Medical image processing apparatus, medical image processing method, program, and endoscope system

Publications (1)

Publication Number Publication Date
WO2020054541A1 true WO2020054541A1 (ja) 2020-03-19

Family

ID=69776600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034789 WO2020054541A1 (ja) 2018-09-11 2019-09-04 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Country Status (5)

Country Link
US (1) US20210174557A1 (ja)
EP (1) EP3851022A4 (ja)
JP (1) JP7113903B2 (ja)
CN (1) CN112654282B (ja)
WO (1) WO2020054541A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201272A1 (ja) * 2020-04-03 2021-10-07 富士フイルム株式会社 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
WO2022191059A1 (ja) 2021-03-09 2022-09-15 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2024171780A1 (ja) * 2023-02-16 2024-08-22 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079087A (ja) * 1998-09-03 2000-03-21 Olympus Optical Co Ltd 内視鏡形状検出装置
WO2007135913A1 (ja) * 2006-05-19 2007-11-29 Hitachi Medical Corporation 医用画像表示装置及びプログラム
JP2016158681A (ja) 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2017073338A1 (ja) 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925200B2 (en) * 2000-11-22 2005-08-02 R2 Technology, Inc. Graphical user interface for display of anatomical information
US20060173358A1 (en) * 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
JP2010035637A (ja) * 2008-07-31 2010-02-18 Olympus Medical Systems Corp 画像表示装置およびこれを用いた内視鏡システム
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
GB2527755B (en) * 2014-06-28 2019-03-27 Siemens Medical Solutions Usa Inc System and method for retrieval of similar findings from a hybrid image dataset
US10255507B2 (en) * 2016-12-19 2019-04-09 Canon Kabushiki Kaisha Detection of an object in a distorted image
JP2018137571A (ja) * 2017-02-21 2018-08-30 Eizo株式会社 画像処理装置、プログラム及び画像処理方法
CN112055555B (zh) * 2018-05-14 2024-08-16 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法及内窥镜系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079087A (ja) * 1998-09-03 2000-03-21 Olympus Optical Co Ltd 内視鏡形状検出装置
WO2007135913A1 (ja) * 2006-05-19 2007-11-29 Hitachi Medical Corporation 医用画像表示装置及びプログラム
JP2016158681A (ja) 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2017073338A1 (ja) 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3851022A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201272A1 (ja) * 2020-04-03 2021-10-07 富士フイルム株式会社 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
JPWO2021201272A1 (ja) * 2020-04-03 2021-10-07
EP4129152A4 (en) * 2020-04-03 2023-09-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, OPERATING METHOD FOR MEDICAL IMAGE PROCESSING APPARATUS, AND PROGRAM FOR MEDICAL IMAGE PROCESSING APPARATUS
JP7610582B2 (ja) 2020-04-03 2025-01-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
WO2022191059A1 (ja) 2021-03-09 2022-09-15 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2024171780A1 (ja) * 2023-02-16 2024-08-22 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Also Published As

Publication number Publication date
US20210174557A1 (en) 2021-06-10
JP7113903B2 (ja) 2022-08-05
JPWO2020054541A1 (ja) 2021-08-30
CN112654282B (zh) 2024-07-12
EP3851022A4 (en) 2021-10-27
CN112654282A (zh) 2021-04-13
EP3851022A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
US20230181001A1 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
US12185905B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
US12059123B2 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system
JP7315576B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム
US20210174557A1 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system
JP2023115352A (ja) 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム
JP2022136171A (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US12131513B2 (en) Medical image processing apparatus and medical image processing method for utilizing a classification result relating to a medical image
US11481944B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19859938

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020545947

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019859938

Country of ref document: EP

Effective date: 20210412