WO2020067105A1 - 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム - Google Patents

医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム Download PDF

Info

Publication number
WO2020067105A1
WO2020067105A1 PCT/JP2019/037482 JP2019037482W WO2020067105A1 WO 2020067105 A1 WO2020067105 A1 WO 2020067105A1 JP 2019037482 W JP2019037482 W JP 2019037482W WO 2020067105 A1 WO2020067105 A1 WO 2020067105A1
Authority
WO
WIPO (PCT)
Prior art keywords
attention area
medical image
emphasis
interest
time
Prior art date
Application number
PCT/JP2019/037482
Other languages
English (en)
French (fr)
Inventor
星矢 竹之内
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020549262A priority Critical patent/JP7282796B2/ja
Priority to CN201980063730.7A priority patent/CN112770662A/zh
Priority to EP19864705.9A priority patent/EP3858222B1/en
Priority to EP23204354.7A priority patent/EP4285809A3/en
Publication of WO2020067105A1 publication Critical patent/WO2020067105A1/ja
Priority to US17/204,904 priority patent/US11910994B2/en
Priority to JP2023065683A priority patent/JP7413585B2/ja
Priority to US18/418,326 priority patent/US20240156327A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a medical image processing apparatus, a medical image processing method, a program, a diagnosis support apparatus, and an endoscope system, and more particularly, to a technique for notifying an attention area of a time-series medical image.
  • a support function for automatically detecting a region of interest such as a lesion from a medical image such as an endoscope image captured by an endoscope has been expected to lead to prevention of oversight of a lesion.
  • Patent Literature 1 discloses an endoscope system that detects a lesion candidate region based on a feature amount of an observation image of a subject and performs an emphasis process on the lesion candidate region.
  • the endoscope system described in Patent Literature 1 terminates the emphasis processing when it is determined that the detection of the lesion candidate region has continued for a predetermined time.
  • ending the emphasis processing may not be sufficient as a support function.
  • the operation of the endoscope is difficult, and if the emphasis processing is completed while the user appropriately keeps the position to be observed, the user may not be able to fully recognize the attention area.
  • the present invention has been made in view of such circumstances, and a medical image processing apparatus, a medical image processing method, a program, a program, a diagnosis support apparatus, and an endoscope system that emphasize a region of interest of a medical image with an appropriate degree of enhancement.
  • the purpose is to provide.
  • one embodiment of the medical image processing apparatus includes an emphasis processing unit that emphasizes a region of interest included in a time-series medical image with a set degree of emphasis, and a cumulative time in which the region of interest is emphasized.
  • the medical image processing apparatus includes a cumulative time measuring unit for measuring and an emphasis degree setting unit for setting the emphasis degree to a relatively large value as the accumulated time is relatively long.
  • the attention area included in the time-series medical image is emphasized with the set emphasis degree, and the total time in which the attention area is emphasized is measured. Since a large value is set, the attention area of the medical image can be emphasized with an appropriate degree of emphasis.
  • the cumulative time measuring section measures the cumulative time of each attention area for each of the plurality of attention areas
  • the emphasis level setting section sets the emphasis degree of each attention area according to the cumulative time of each attention area. Is preferred. Thereby, an appropriate degree of emphasis can be set for each of the plurality of regions of interest.
  • a feature amount calculating unit that calculates the feature amount of the attention area, an attention area storage unit that stores the feature amount of the attention area in association with the cumulative time, a feature amount of the first attention area included in the first medical image, Based on the degree of similarity with the feature amount of the second region of interest emphasized in the second medical image chronologically before the first medical image stored in the region of interest storage unit, the first region of interest is regarded as the second region of interest.
  • An identical attention area determining unit that determines whether the first attention area is the same as the second attention area when the first attention area is determined to be the same as the second attention area. It is preferable to measure by taking over the cumulative time of the second attention area as the cumulative time.
  • the same degree of emphasis of the second region of interest as the first region of interest can be taken over as the degree of emphasis of the first region of interest.
  • the same region of interest determination unit determines that the first region of interest is not the same as the second region of interest, a time series of the feature amount of the first region of interest and the second medical image stored in the region of interest storage unit It is further determined whether or not the first region of interest is the same as the third region of interest from the similarity with the feature amount of the third region of interest emphasized in the previous third medical image, and a cumulative time measuring unit
  • the emphasis degree of the first attention area is the same as that of the first attention area. The degree can be taken over.
  • the same region of interest determination unit determines whether the first region of interest exists at a position within a predetermined range in the first medical image when it is determined that the first region of interest is not the same as the second region of interest.
  • the cumulative time measuring unit may determine that the cumulative time of the second attention area is taken over as the cumulative time of the first attention area when it is determined that the cumulative time of the first attention area is present at a position within a predetermined range. preferable. With this, even if the first region of interest and the second region of interest are different regions, if they exist at positions within a predetermined range, the degree of enhancement of the second region of interest is set as the degree of enhancement of the first region of interest. You can take over.
  • the emphasis processing unit superimposes the figure indicating the position of the attention area on the medical image, and the emphasis degree setting unit sets the transparency of the figure relatively small as the cumulative time is relatively long.
  • the attention area can be emphasized with an appropriate degree of emphasis.
  • the emphasis processing unit superimposes the figure indicating the position of the attention area on the medical image, and the emphasis degree setting unit relatively increases the color intensity of the figure based on the color intensity index as the cumulative time is relatively longer. It is preferable to set. Thus, the attention area can be emphasized with an appropriate degree of emphasis.
  • the emphasis processing section superimposes the figure indicating the position of the attention area on the medical image, and the emphasis degree setting section sets the figure size relatively large as the cumulative time is relatively long.
  • the attention area can be emphasized with an appropriate degree of emphasis.
  • the emphasis processing unit superimposes the frame-shaped figure surrounding the attention area on the medical image, and the emphasis degree setting unit sets the frame-shaped figure relatively thicker as the cumulative time is relatively longer. preferable. Thus, the attention area can be emphasized with an appropriate degree of emphasis.
  • the emphasis degree setting unit relatively increases the rate of increase of the emphasis degree with respect to the cumulative time as the number of regions of interest existing in one medical image is relatively large. Thus, the attention area can be emphasized with an appropriate degree of emphasis.
  • the emphasis degree setting unit changes at least one of the minimum value, the maximum value of the emphasis degree, and the increase rate of the emphasis degree with respect to the cumulative time based on the position of the attention area in the medical image.
  • the attention area can be emphasized with an appropriate degree of emphasis.
  • the enhancement degree setting unit is configured to determine a minimum value, a maximum value of the enhancement degree based on a luminance value of the attention area or a difference between the luminance value of the attention area and a luminance value outside the attention area, and an increase rate of the enhancement degree with respect to the cumulative time. Preferably, at least one is changed. Thus, the attention area can be emphasized with an appropriate degree of emphasis.
  • the enhancement degree setting unit is configured to determine a minimum value, a maximum value of the enhancement degree based on the color information of the attention area or a difference between the color information of the attention area and the color information outside the attention area, and an increase rate of the enhancement degree with respect to the cumulative time. Preferably, at least one is changed. Thus, the attention area can be emphasized with an appropriate degree of emphasis.
  • the emphasis degree setting unit changes at least one of the minimum value, the maximum value of the emphasis degree, and the rate of increase of the emphasis degree with respect to the cumulative time based on the movement amount of the attention area or the movement direction of the attention area.
  • the attention area can be emphasized with an appropriate degree of emphasis.
  • the display control unit sequentially displays the time-series medical images in which the attention area is emphasized on at least one of the plurality of display units.
  • the attention area can be notified on at least one of the plurality of display units.
  • diagnosis support device for achieving the above object is a diagnosis support device including the medical image processing device described above and a display unit. According to this aspect, the attention area of the time-series medical image can be emphasized with an appropriate degree of emphasis and displayed on the display unit.
  • an endoscope system for achieving the above object is an endoscope system including the medical image processing device described above and an endoscope scope that captures a time-series medical image.
  • the attention area of the medical image can be enhanced with an appropriate enhancement degree.
  • one aspect of the medical image processing method includes an emphasis processing step of emphasizing an attention area included in a time-series medical image with a set emphasis degree, and a cumulative time in which the attention area is emphasized.
  • the medical image processing method includes a cumulative time measuring step of measuring and an emphasis degree setting step of setting an emphasis degree to a larger value as the accumulated time is longer.
  • the attention area of the medical image can be emphasized with an appropriate degree of emphasis.
  • a program for causing a computer to execute the above-described medical image processing method is also included in the present embodiment.
  • the attention area of the medical image can be emphasized with an appropriate degree of emphasis.
  • FIG. 1 is a schematic diagram showing the entire configuration of the endoscope system.
  • FIG. 2 is a block diagram illustrating an electrical configuration of the medical image processing apparatus.
  • FIG. 3 is a flowchart illustrating an example of each process of the medical image processing method according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of the emphasis processing.
  • FIG. 5 is a diagram illustrating another example of the emphasis processing.
  • FIG. 6 is a graph showing an example of the relationship between the total time of the attention area and the degree of emphasis.
  • FIG. 7 is a diagram illustrating an example of a change in a figure according to the degree of emphasis.
  • FIG. 8 is a diagram illustrating another example of a change in a figure according to the degree of emphasis.
  • FIG. 1 is a schematic diagram showing the entire configuration of the endoscope system.
  • FIG. 2 is a block diagram illustrating an electrical configuration of the medical image processing apparatus.
  • FIG. 3 is a flowchart illustrating an example of each process of
  • FIG. 9 is a diagram illustrating another example of a change in a figure according to the degree of emphasis.
  • FIG. 10 is a diagram for explaining the cumulative time.
  • FIG. 11 is a diagram for explaining the cumulative time.
  • FIG. 12 is a diagram illustrating an example of a change in a figure when a plurality of attention areas are detected.
  • FIG. 13 is a graph showing a change in the degree of emphasis in the example shown in FIG.
  • FIG. 14 is a diagram for explaining visual characteristics.
  • FIG. 15 is a graph showing a change in the degree of emphasis according to the luminance value of the attention area.
  • FIG. 16 is a diagram for explaining regions of interest that are not the same, but exist around them.
  • FIG. 16 is a diagram for explaining regions of interest that are not the same, but exist around them.
  • FIG. 17 is a block diagram illustrating an electrical configuration of a medical image processing apparatus including a plurality of display units.
  • FIG. 18 is a diagram for explaining display contents on a plurality of display units.
  • FIG. 19 is a diagram for explaining display contents on a plurality of display units.
  • FIG. 20 is a diagram for explaining display contents on a plurality of display units.
  • FIG. 21 is a flowchart illustrating an example of each process of the medical image processing method according to the second embodiment.
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an endoscope system 9 including a medical image processing apparatus according to the present embodiment.
  • the endoscope system 9 includes an endoscope scope 10, which is an electronic endoscope, a light source device 11, an endoscope processor device 12, a display device 13, and a medical image processing device 14. , An operation unit 15 and a display unit 16.
  • the endoscope 10 is for capturing a medical image of a time-series image, and is, for example, a flexible endoscope.
  • the endoscope 10 is inserted into a subject and has an end and a base.
  • the endoscope 10 is connected to the base of the insertion unit 20 and held by a user (doctor) to perform various operations. It has a hand operation unit 21 for performing the operation and a universal cord 22 connected to the hand operation unit 21.
  • the insertion section 20 is formed in a small diameter and a long shape as a whole.
  • the insertion portion 20 includes a flexible portion 25 having flexibility in order from the base end side to the distal end side, a bending portion 26 that can be bent by operating the hand operation portion 21, and an imaging optical system (not shown) (not shown). ) And a tip portion 27 in which an image sensor 28 and the like are built in.
  • the image sensor 28 is a complementary metal oxide semiconductor (CMOS) or charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image light of the observed part is passed through an observation window (not shown) opened at the distal end surface of the distal end portion 27 and an objective lens (not shown) arranged behind the observation window. Is incident.
  • the imaging element 28 captures (converts to an electrical signal) image light of the observed part that has entered the imaging surface, and outputs an imaging signal.
  • the operation unit 21 is provided with various operation members operated by the user.
  • the hand operation unit 21 includes two types of bending operation knobs 29 used for the bending operation of the bending unit 26, an air supply / water supply button 30 for an air supply / water supply operation, and a suction button 31 for a suction operation. , Are provided.
  • the hand operation unit 21 includes a still image imaging instruction unit 32 for giving an instruction to image a still image 39 of the observed region, and a treatment tool insertion passage (not shown) inserted through the insertion unit 20. And a treatment instrument introduction port 33 into which a treatment instrument (not shown) is inserted.
  • the universal cord 22 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35, a signal cable 36, and a fluid tube (not shown) inserted through the insertion section 20.
  • a connector 37a connected to the light source device 11 and a connector 37b branched from the connector 37a and connected to the endoscope processor device 12 are provided.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11.
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 via the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from an illumination window (not shown) on the distal end surface of the distal end portion 27 toward the observation target site.
  • gas or water is injected from an air / water supply nozzle (not shown) on the distal end surface of the distal end portion 27 toward an observation window (not shown) on the distal end surface.
  • the signal cable 36 and the endoscope processor device 12 are electrically connected.
  • an imaging signal of the observed part is output from the imaging device 28 of the endoscope scope 10 to the endoscope processor device 12 via the signal cable 36, and the endoscope processor device 12 outputs the imaging signal of the endoscope scope.
  • a control signal is output to 10.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37a.
  • the illumination light is white light (light in a white wavelength band or light in a plurality of wavelength bands), light in one or a plurality of specific wavelength bands, or light in various wavelength bands according to an observation purpose such as a combination thereof. Is selected.
  • the specific wavelength band is a band narrower than the white wavelength band.
  • the first example of the specific wavelength band is, for example, a blue band or a green band in a visible region.
  • the wavelength band of the first example includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the first example has a peak wavelength in the wavelength band of 390 nm to 450 nm or 530 nm to 550 nm. .
  • a second example of the specific wavelength band is, for example, a red band in a visible region.
  • the wavelength band of the second example includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and the light of the second example has a peak wavelength in the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm. .
  • the third example of the specific wavelength band includes a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin, and the light of the third example has a peak wavelength in a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin.
  • the wavelength band of the third example includes 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or a wavelength band of 600 nm or more and 750 nm or less, and the light of the third example includes the above 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 nm. It has a peak wavelength in a wavelength band of ⁇ 10 nm, or 600 nm to 750 nm.
  • the fourth example of the specific wavelength band is a wavelength band (390 nm to 470 nm) of excitation light used for observing fluorescence emitted from a fluorescent substance in a living body (fluorescence observation) and for exciting this fluorescent substance.
  • the fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the fifth example has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
  • the endoscope processor device 12 controls the operation of the endoscope 10 via the connector 37b and the signal cable 36.
  • the endoscope processor device 12 generates a time-series frame image 38a including a subject image based on an imaging signal acquired from the imaging device 28 of the endoscope 10 via the connector 37b and the signal cable 36 (see FIG. 2). ) Is generated as a moving image 38 which is a time-series medical image.
  • the frame rate of the moving image 38 is, for example, 30 fps (frame @ per @ second).
  • the endoscope processor device 12 when the still image capturing instruction unit 32 is operated by the operation unit 21 of the endoscope 10, the endoscope processor device 12 generates one of the moving images 38 in parallel with the generation of the moving image 38.
  • the frame image 38a is acquired according to the timing of the imaging instruction, and is set as a still image 39.
  • the moving image 38 and the still image 39 are medical images of the inside of the subject, that is, the inside of the living body. Further, when the moving image 38 and the still image 39 are images obtained by the light (special light) in the specific wavelength band described above, both are special light images. Then, the endoscope processor device 12 outputs the generated moving image 38 and the generated still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the endoscope processor device 12 may generate (acquire) the special light image having the information on the specific wavelength band based on the normal light image obtained from the white light.
  • the endoscope processor device 12 functions as a special light image acquisition unit. Then, the endoscope processor device 12 converts the signal of the specific wavelength band into RGB color information of red (Red), green (Green), and blue (Blue) included in the normal light image, or cyan (Cyan), It is obtained by performing calculations based on CMY color information of magenta (Magenta) and yellow (Yellow).
  • the endoscope processor device 12 is based on, for example, at least one of a normal light image obtained by the above-described white light and a special light image obtained by the light (special light) in the specific wavelength band described above.
  • a feature amount image such as a known oxygen saturation image may be generated.
  • the endoscope processor device 12 functions as a feature image generating unit.
  • the moving image 38 or the still image 39 including the in-vivo image, the normal light image, the special light image, and the feature image are all obtained by imaging or measuring a human body for the purpose of image-based diagnosis and inspection. It is an imaged medical image.
  • the display device 13 is connected to the endoscope processor device 12, and displays the moving image 38 and the still image 39 input from the endoscope processor device 12.
  • the user performs an advance / retreat operation or the like of the insertion unit 20 while checking the moving image 38 displayed on the display device 13, and operates the still image imaging instruction unit 32 by operating the still image imaging instruction unit 32 when a lesion or the like is found in the observed region.
  • a still image of the observation site is captured, and a diagnosis, a biopsy, and the like are performed.
  • the medical image processing apparatus 14 notifies a user of a region of interest included in a time-series medical image.
  • a personal computer is used.
  • the operation unit 15 includes a keyboard and a mouse that are connected to the personal computer by wire or wirelessly, and the display 16 (an example of a display unit) includes various monitors such as a liquid crystal monitor that can be connected to the personal computer. .
  • FIG. 2 is a block diagram showing an electrical configuration of the medical image processing apparatus 14.
  • the medical image processing apparatus 14 illustrated in FIG. 2 mainly includes a time-series image acquisition unit 40, an attention area detection unit 41, an attention area information acquisition unit 42, a coordinate calculation unit 43, a cumulative time measurement unit 44,
  • the setting unit 45 includes the same attention area determination unit 46, a control unit 47, a display control unit 48, and a storage unit 49.
  • the control unit 47 based on the program (medical image processing program) 51 stored in the storage unit 49, acquires the time-series image acquisition unit 40, the attention area detection unit 41, the attention area information acquisition unit 42, the coordinate calculation unit 43, the total time
  • the measurement unit 44, the emphasis degree setting unit 45, the same attention area determination unit 46, and the display control unit 48 are collectively controlled, and function as a part of these units.
  • the storage unit 49 stores the detection result of the attention area detection unit 41, stores the captured still image 39, and stores the feature amount of the attention area and the accumulated time in association with each other. This is a part for storing information related to the program 51 and various controls of the medical image processing apparatus 14 and the like.
  • the time-series image acquisition unit 40 uses the image input / output interface (not shown) wired or wirelessly connected to the endoscope processor device 12 (FIG. 1) to transmit a time-series image including the subject image from the endoscope processor device 12. (In this example, the moving image 38 captured by the endoscope 10). In addition, when the above-described still image 39 is captured during the capturing of the moving image 38 by the endoscope 10, the time-series image acquisition unit 40 transmits the moving image 38 and the still image 39 from the endoscope processor device 12. To get.
  • time-series image acquisition unit 40 may acquire the moving image 38 via various information storage media such as a memory card and a hard disk device instead of directly acquiring the moving image 38 from the endoscope processor device 12.
  • time-series image acquisition unit 40 may acquire the moving image 38 uploaded to a server or a database on the Internet via the Internet.
  • the attention area detection unit 41 is an image processing unit that detects an attention area from the moving image 38 captured during observation inside the subject.
  • the attention area detection unit 41 calculates a feature amount of each frame image 38a of the moving image 38 (or a thinned-out frame image 38a at a fixed interval), and performs a recognition process of the attention area in the image. Convolutional Neural Network).
  • Examples of the attention area include polyps, cancer, colonic diverticulum, inflammation, EMR (Endoscopic Mucosal Resection) scars, ESD (Endoscopic Submucosal Dissection) scars, clip points, bleeding points, perforations, vascular atypia, treatment tools, and the like.
  • the attention area detection unit 41 recognizes a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification as to which of the plurality of categories relating to the lesion such as “neoplastic”, “non-neoplastic”, and “other” the detected attention area belongs to. It is also possible to obtain a recognition result such as a category classification
  • the attention area detection unit 41 is not limited to the one that detects the attention area by the CNN, and detects the attention area by analyzing features such as colors, gradients, shapes, and sizes of pixels in the image by image processing. You may do it.
  • the attention area information acquisition unit 42 acquires attention area information of the attention area detected by the attention area detection unit 41.
  • the attention area information can be, for example, coordinate information of the outline of the attention area in the image and the feature amount of the attention area. The coordinate information may be included in the feature amount.
  • the coordinate calculating unit 43 calculates coordinate information indicating a position in the image of the attention area detected by the attention area detection unit 41.
  • the coordinate calculation unit 43 calculates, for example, one or more pieces of coordinate information on the outline of a polygon or a circle surrounding the attention area.
  • the coordinates of the vertices of the polygon or the coordinates of the midpoint of the side of the polygon may be calculated as the coordinate information, or the coordinates of the points at which the circumference of the circle is equally divided into a plurality may be calculated as the coordinate information. .
  • the cumulative time measuring unit 44 measures the cumulative detection time in which the attention area is detected by the attention area detection unit 41 as the cumulative time.
  • the emphasis degree setting unit 45 sets the emphasis degree to a relatively large value as the cumulative time is relatively long. As the degree of emphasis, a minimum value, a maximum value, and an increase rate of the degree of emphasis with respect to the cumulative time are predetermined. Therefore, the degree of emphasis can be calculated from the cumulative time.
  • the emphasis degree setting unit 45 calculates and sets the emphasis degree corresponding to the attention area from the cumulative time measured by the cumulative time measuring unit 44.
  • the cumulative time measurement unit 44 measures the cumulative time of each attention area for each of the plurality of attention areas, and the emphasis degree setting unit 45 The emphasis level of each attention area is set according to the total time of the attention area.
  • the cumulative time measuring unit 44 may measure the cumulative time in which the attention area is emphasized.
  • the same attention area determination unit 46 determines whether the attention area included in the medical image in the moving image 38 is the same as the attention area emphasized in the medical image chronologically preceding the medical image. The same attention area determination unit 46 determines whether the attention area included in the medical image in the moving image 38 is the same as the attention area detected by the attention area detection unit 41 in the medical image chronologically preceding the medical image. It may be determined whether or not. This determination is performed using the feature amount of the attention area acquired by the attention area information acquisition unit 42.
  • the display control unit 48 includes an image display control unit 48A and a notification information display control unit 48B.
  • the image display control unit 48 ⁇ / b> A outputs the moving image 38 acquired by the time-series image acquiring unit 40 to the display 16, and causes the display 16 to display the moving image 38. That is, the display 16 sequentially displays the plurality of frame images 38a.
  • the notification information display control unit 48 ⁇ / b> B displays, on the display 16, notification information for notifying the attention area based on the coordinate information calculated by the coordinate calculation unit 43 and based on the emphasis degree set by the emphasis degree setting unit 45. Output.
  • a figure indicating the position of the attention area is superimposed on the position of the attention area as notification information.
  • a figure corresponding to the total time of the attention area is superimposed on the position of the attention area of the moving image 38 displayed on the display 16. Therefore, the attention area is emphasized with the degree of emphasis set by the superimposed figure.
  • the medical image processing device 14 and the display 16 function as a diagnosis support device.
  • FIG. 3 is a flowchart showing an example of each process of the medical image processing method according to the first embodiment.
  • the medical image processing method includes an image acquisition step (step S1), a noticed area detection step (step S2), an identical noticed area determination step (step S3), a cumulative time measurement step (step S4), an emphasis degree setting step (Step S5) and an emphasis processing step (Step S6).
  • step S1 the time-series image acquisition unit 40 acquires the frame image 38a of the moving image 38 captured by the endoscope 10. This frame image 38a is set as a first medical image.
  • step S2 the attention area detection unit 41 detects an attention area from the first medical image acquired in step S1.
  • the attention area detected from the first medical image is defined as a first attention area.
  • step S3 the attention area information acquisition unit 42 acquires the feature amount of the first attention area from the first medical image.
  • the attention area information acquisition unit 42 extracts the feature amount of the second attention area emphasized (detected) in the second medical image, which is the frame image 38a of the frame preceding the first medical image of the moving image 38, by the attention area. Read from the storage unit 50.
  • the same attention area determination unit 46 determines whether the first attention area is the same as the second attention area based on the similarity between the feature quantity of the first attention area and the feature quantity of the second attention area. .
  • the cumulative time measuring unit 44 measures the cumulative time of the first attention area.
  • the cumulative time is a time at which time measurement is started from the timing at which the attention area is emphasized.
  • the cumulative time may be a time at which clocking is started from the timing at which the attention area is detected.
  • the cumulative time may be counted as the number of frames of a time-series image from the timing when the attention area is emphasized or the timing when the attention area is detected.
  • step S3 If it is determined in step S3 that the first region of interest is not the same as the second region of interest, the cumulative time measurement unit 44 determines that the first region of interest is a newly detected region of interest, and Start a new measurement.
  • the cumulative time measuring unit 44 takes over the cumulative time of the second region of interest as the cumulative time of the first region of interest. measure. That is, the cumulative time measurement unit 44 reads the cumulative time of the second region of interest from the region of interest storage unit 50, and adds the time of one frame from the second medical image to the first medical image to the read cumulative time.
  • step S5 the emphasis degree setting unit 45 sets the emphasis degree of the first attention area.
  • the emphasis degree setting unit 45 sets the emphasis degree of the first area of interest. Is set to a predetermined minimum value.
  • the emphasis degree setting unit 45 takes over the degree of emphasis of the first region of interest and the cumulative time of the second region of interest. Set according to the measured total time.
  • the emphasis degree setting unit 45 reads the emphasis degree of the second attention area from the attention area storage unit 50, and preliminarily sets the read out emphasis degree of the second attention area and the elapsed time from the second medical image to the first medical image.
  • the emphasis degree of the first attention area may be calculated from the determined increase rate of the emphasis degree.
  • the display control unit 48 (an example of an emphasis processing unit) emphasizes the first attention area included in the first medical image with the set emphasis degree.
  • the image display control unit 48A outputs the first medical image to the display 16, and causes the display 16 to display the first medical image.
  • the notification information display control unit 48B transmits notification information for notifying the first attention area based on the coordinate information calculated by the coordinate calculation unit 43 and based on the emphasis degree set by the emphasis degree setting unit 45. Output to the display 16.
  • a figure corresponding to the cumulative time of the first region of interest is superimposed on the position of the first region of interest in the first medical image. Therefore, the first attention area is emphasized with the emphasis degree set by the superimposed graphic.
  • step S6 the control unit 47 causes the attention area storage unit 50 to store the feature amount, the cumulative time, and the degree of emphasis of the first attention area in association with the first attention area.
  • the attention area of the medical image can be appropriately notified.
  • FIG. 4 is a diagram illustrating an example of the emphasis processing performed in the display control unit 48.
  • F4A shown in FIG. 4 is a diagram illustrating the frame image 38a in which the attention area R1 has been detected.
  • F4B shown in FIG. 4 is a diagram showing a frame image 38a in which a frame-shaped figure E1 surrounding the region of interest R1 is superimposed on the frame image 38a shown in F4A at the position of the region of interest R1.
  • the display control unit 48 can emphasize the attention area R1 by superimposing the figure on the position of the attention area R1.
  • the shape of the frame-shaped figure to be superimposed on the image is not limited to a rectangle, and may be a circle, an ellipse, or a polygon. Further, the graphic to be superimposed on the image may be an arrow or the like indicating the attention area.
  • FIG. 5 is a diagram showing another example of the emphasis processing.
  • F5A illustrated in FIG. 5 is a diagram illustrating the frame image 38a in which the attention area R2 has been detected.
  • F5B shown in FIG. 5 has a frame image 38a shown in F5A, which has substantially the same shape as the region of interest R2, and a frame obtained by superimposing a figure E11 having a different pixel value brightness on the region of interest R2 with the region of interest R2. It is a figure showing image 38a.
  • the display control unit 48 may superimpose a graphic having a changed pixel value on the position of the attention area.
  • the process of making the pixel value of the graphic to be superimposed on the position of the region of interest different from the pixel value of the region of interest is not limited to the process of changing the brightness, but the hue change process, the saturation change process, the contrast process, the negative / positive inversion process, and the filtering. Processing and frequency processing may be used. These processes are preferably processes in which the region of interest stands out as compared to the region outside the region of interest.
  • FIG. 6 is a graph showing an example of the relationship between the total time of the attention area and the set emphasis degree, where the horizontal axis indicates time and the vertical axis indicates the emphasis degree.
  • FIG. 6 shows five examples of F6A to F6E.
  • time t1 is the timing at which the attention area is detected.
  • the degree of emphasis is set to the minimum value at time t1, and to the maximum value at time t2, which is a timing after time t1.
  • the emphasis degree is set to a relatively large value as the cumulative time is relatively long from time t1 to time t2.
  • the frame image 38a is displayed as it is.
  • the degree of emphasis may be increased in proportion to the cumulative time as indicated by F6A, or may be increased exponentially with respect to the cumulative time as indicated by F6B. Further, as shown in F6C, the size may be increased stepwise. That is, the rate of increase in the degree of emphasis with respect to the cumulative time (hereinafter referred to as the rate of increase) is not limited to a constant value, and may be a value obtained by a function with respect to the cumulative time.
  • the minimum value, the maximum value, and the increase rate of the degree of enhancement are stored in the storage unit 49 as predetermined fixed values.
  • the minimum value, the maximum value, and the increase rate of the degree of enhancement may be appropriately changed depending on the feature amount obtained from the image, or may be configured so that the user can set a desired value.
  • the maximum value may be maintained as shown in F6A to F6C.
  • the enhancement processing may be ended after the enhancement degree reaches the maximum value, that is, the enhancement degree may be set to 0. In this case, it is possible to prevent the time for performing the emphasis processing from being too long and hindering the user from observing the attention area.
  • the modes after the degree of emphasis reaches the maximum value may be appropriately selected according to the attention area, or may be configured so that the user can set a desired mode.
  • FIG. 7 is a diagram illustrating an example of a change in a figure according to the degree of emphasis.
  • F7A shown in FIG. 7 is a diagram showing a frame image 38a on which a figure E21 having a minimum emphasis degree is superimposed, which is a frame-shaped figure surrounding the attention area R3.
  • F7B shown in FIG. 7 is a frame-shaped figure surrounding the attention area R3, and is a diagram showing a frame image 38a on which a figure E22 having the maximum emphasis degree is superimposed.
  • the frame image 38a shown in F7B is a later frame image in time series than the frame image 38a shown in F7A.
  • the graphic E21 and the graphic E22 have the same line thickness and color, and have different transmittances.
  • the emphasis degree setting unit 45 sets the degree of emphasis to a relatively large value as the cumulative time is relatively long by setting the transparency of the figure to be relatively small as the cumulative time is relatively long. doing. Therefore, the transmittance of the graphic E22 is relatively smaller than the transmittance of the graphic E21.
  • FIG. 8 is a diagram showing another example of a change in a figure according to the degree of emphasis.
  • F8A shown in FIG. 8 is a diagram showing a frame image 38a on which a figure E31 having a minimum emphasis degree is superimposed, which is a frame-shaped figure surrounding the attention area R4.
  • F8B shown in FIG. 8 is a frame-shaped figure surrounding the attention area R4, and is a diagram showing a frame image 38a on which a figure E32 having the maximum emphasis degree is superimposed.
  • the frame image 38a shown in F8B is a later frame image in time series than the frame image 38a shown in F8A.
  • the graphic E31 and the graphic E32 have the same transparency and color, and have different line thicknesses.
  • the emphasis degree setting unit 45 sets the emphasis degree to a relatively large value as the cumulative time is relatively long by setting the thickness of the figure to be relatively thick as the cumulative time is relatively long. doing. Therefore, the line of the figure E32 is relatively thicker than the line of the figure E31.
  • FIG. 9 is a diagram showing another example of a change in a figure according to the degree of emphasis.
  • F9A shown in FIG. 9 is a diagram showing a frame image 38a in which a figure E41 having a minimum emphasis degree is superimposed, which is a frame-shaped figure surrounding the attention area R5.
  • F9B shown in FIG. 9 is a frame-shaped figure surrounding the attention area R5, and is a diagram showing the frame image 38a on which the figure E42 having the maximum emphasis degree is superimposed.
  • the frame image 38a shown in F9B is a later frame image in time series than the frame image 38a shown in F9A.
  • the graphic E41 and the graphic E42 have the same transmittance and the same line thickness, and have different colors (color temperatures).
  • the emphasis degree setting unit 45 sets the color of the figure to a color having a higher color intensity based on an arbitrary color intensity index as the cumulative time is relatively longer, so that the emphasis is increased as the cumulative time is relatively longer.
  • the degree is set to a relatively large value. Therefore, the color intensity of the graphic E42 is relatively higher than that of the graphic E41 based on an arbitrary color intensity index.
  • F9C shown in FIG. 9 is a diagram showing a transition from the color of the graphic E41 to the color of the graphic E42.
  • the intermediate color between the color of the graphic E41 and the color of the graphic E42 may be calculated by changing the equivalence, the difference, or the ratio of the respective color arrangements.
  • the emphasis degree setting unit 45 obtains the color of the frame image 38a, and sets the color of the figure to a color having a relatively higher contrast with the color of the frame image 38a as the cumulative time is relatively longer, thereby obtaining the cumulative time. May be set to a relatively large value as is longer.
  • the color of the frame image 38a differs depending on the color in the subject and the wavelength of the illumination light supplied from the light source device 11. Accordingly, the color of the graphic E41 and the color of the graphic E42 are appropriately determined according to the color of the acquired frame image 38a.
  • At least one of the brightness and the saturation of the graphic may be changed instead of the color of the graphic. It is preferable to change the region of interest so that the longer the cumulative time is, the more noticeable the region of interest is. As described above, by changing at least one of the color, lightness, and saturation of a graphic, it is possible to perform an emphasis process in consideration of a color difference from a surrounding, a light source, and the like.
  • At least one of the size and shape of the figure may be changed. Also in this case, it is preferable to change the region of interest so that the longer the cumulative time is, the more noticeable the region of interest looks.
  • the cumulative time measured by the cumulative time measuring unit 44 indicates, for example, the time during which the attention area is continuously detected from the timing when the attention area is first detected.
  • FIG. 10 is a diagram for explaining the cumulative time.
  • FIG. 10 shows an example of each frame image 38a at time t-1, time t, time t + 1, time t + 2, and time t + 3.
  • the attention area is not detected in the frame image 38a at the time t-1.
  • the same region of interest R6 is detected in the frame images 38a at time t, time t + 1, and time t + 2. Accordingly, a frame-shaped figure E51, a figure E52, and a figure E53 surrounding the region of interest R6 are superimposed on the frame images 38a at the times t, t + 1, and t + 2, respectively.
  • the total time of the attention area R6 in the frame image 38a at the time t is 0.
  • the emphasis degree (minimum value) corresponding to the cumulative time 0 is set for the graphic E51
  • the emphasis degree corresponding to the cumulative time 1 is set for the graphic E52
  • the emphasis degree corresponding to the cumulative time 2 is set for the graphic E53.
  • the cumulative time and the emphasis processing are not limited to being immediately reset when the detection of the attention area is interrupted.
  • the attention area detection unit 41 may not be able to detect the attention area.
  • the information of the attention area may be held for a certain period of time Tk, and the emphasis degree may be taken over when the same attention area is detected later.
  • FIG. 11 is a diagram for explaining the cumulative time.
  • FIG. 11 shows an example of each frame image 38a at time t, time t + 1, time t + 2, and time t + 3.
  • the attention area R7 is detected in the frame image 38a at the time t.
  • a frame-shaped figure E61 surrounding the attention area R7 is superimposed on the frame image 38a at the time t.
  • the graphic E61 is a graphic having a degree of emphasis according to the total time Tc.
  • the control unit 47 stores the feature amount, the total time, and the degree of emphasis of the attention area R7 in the attention area storage unit 50 in association with the attention area R7.
  • the attention area detection unit 41 detects the attention area in the frame image 38a at the time t + 3.
  • the same attention area determination unit 46 compares the feature amount of the attention area R7 stored in the attention area storage unit 50 with the feature amount of the attention area detected in the frame image 38a at time t + 3, and the two attention areas have the same It is determined whether or not the area is the attention area. Here, it is determined that they are the same.
  • the emphasis degree setting unit 45 takes over the cumulative time and the emphasis degree of the attention area R7 stored in the attention area storage unit 50 for the attention area R7 detected in the frame image 38a at time t + 3, and makes the accumulated time time t From the time t + 3 to the time t + 3. That is, as the total time, the time measurement is started from the timing when the attention area is emphasized, and the time is counted including the time when the attention area is not emphasized.
  • the total time of the attention area R7 is Tc + Tp
  • the degree of emphasis is the degree of emphasis according to the total time Tc + Tp.
  • a frame-shaped figure E62 having a degree of emphasis according to Tc + Tp which is a frame-shaped figure surrounding the attention area R7, is superimposed on the frame image 38a at time t + 3.
  • the predetermined time Tk for keeping the information of the attention area may be a predetermined fixed value, the amount of unevenness between the detected attention area and its surroundings, and the color difference between the detected attention area and its surroundings. It may be determined from the above. Further, the user may set a desired value.
  • the elapsed time Tp added to the accumulated total time Tc includes the time when the detection of the attention area is interrupted, but only the time during which the attention area is actually detected may be added. That is, as the total time, the time measurement may be started from the timing when the attention area is emphasized, and the time measured without the time where the attention area is not emphasized may be excluded.
  • the total time at the time t + 3 may be Tc + 1 excluding the time t + 1 and the time t + 2 in which the attention area R7 is not detected. In this case, the time at which the attention area R7 was not detected can be recognized by storing the time at which the attention area R7 was last detected in the attention area storage unit 50.
  • the attention area when the attention area is detected in the frame image 38a at the time t + 3, it is determined whether or not the attention area is the same as the attention area R7 of the last detected frame image 38a at the time t. If it is determined in this determination that the region of interest R7 is not the same region of interest, the frame image 38a (for example, time t-1) that is chronologically earlier (for example, time t-1) than the frame image 38a at time t. It is also possible to determine whether or not it is the same attention area as the third attention area which is the attention area of (example).
  • the emphasis degree setting unit 45 determines, for the attention area detected in the frame image 38a at the time t + 3, the third attention area stored in the attention area storage unit 50.
  • the cumulative time of the area and the degree of emphasis may be inherited, and the elapsed time Tp from time t-1 to time t + 3 may be added to the cumulative time.
  • FIG. 12 is a diagram illustrating an example of a change in a figure when a plurality of regions of interest are detected in one medical image.
  • F12A shown in FIG. 12 is a diagram illustrating a frame image 38a on which a graphic E71 surrounding the attention area R8 and a graphic E81 surrounding the attention area R9 are superimposed.
  • F12B shown in FIG. 12 is a diagram illustrating a frame image 38a on which a graphic E72 surrounding the attention area R8 and a graphic E82 surrounding the attention area R9 are superimposed.
  • the frame image 38a shown in F12B is a later frame image in time series than the frame image 38a shown in F12A.
  • the graphic E72 is set to have a relatively higher degree of emphasis than the graphic E71.
  • the emphasis degree of the graphic E82 is set to a relatively larger value than that of the graphic E81.
  • the minimum value, the maximum value, and the increase rate of the degree of emphasis are set to values that increase as the number of attention areas increases.
  • FIG. 13 is a graph showing an example of a change in the degree of emphasis when two attention areas are detected, in which the horizontal axis represents time and the vertical axis represents the degree of emphasis.
  • the first region of interest is emphasized by the minimum value min ⁇ , the maximum value max ⁇ , and the increase rate R ⁇ 1.
  • the second region of interest is emphasized by the minimum value min ⁇ , the maximum value max ⁇ , and the increase rate R ⁇ .
  • the relations are min ⁇ ⁇ min ⁇ , max ⁇ ⁇ max ⁇ , and R ⁇ 1 ⁇ R ⁇ .
  • the minimum value, the maximum value, and the increase rate are stored in the storage unit 49 in advance.
  • the emphasis degree setting unit 45 sets the emphasis degree of the minimum value min ⁇ at the time t1 with respect to the attention area R8, and then sets the emphasis degree to a value increased by the increase rate R ⁇ 1 with respect to the cumulative time.
  • the emphasis degree setting unit 45 sets the emphasis degree of the minimum value min ⁇ at the time t2 with respect to the attention area R9, and then sets the emphasis degree to a value increased by the increase rate R ⁇ with respect to the cumulative time. Further, the emphasis degree setting unit 45 sets the emphasis degree of the attention area R8 to a value increased by the increase rate R ⁇ 2 from time t2.
  • the increase rate R ⁇ 2 has a relationship of R ⁇ 1 ⁇ R ⁇ 2 ⁇ R ⁇ .
  • the emphasis degree setting unit 45 sets the emphasis degree of the attention area R9 to the maximum value max ⁇ at the time t3. After that, the emphasis of the attention area R9 is ended. The emphasis may be maintained at the emphasis degree of the maximum value max ⁇ . Further, at time t4, the emphasis degree setting unit 45 sets the emphasis degree of the attention area R8 to the maximum value max ⁇ . After that, similarly to the attention area R9, the enhancement of the attention area R8 is ended. The emphasis may be maintained at the emphasis degree of the maximum value max ⁇ .
  • the minimum value, the maximum value, and the increase rate of the degree of emphasis are set to be larger as the number of attention areas increases, but at least one of the minimum value, the maximum value, and the increase rate of the degree of emphasis is set to a larger value. Just set it.
  • the rate of increase of the degree of emphasis is set to a larger value and increasing the degree of emphasis earlier as the number of regions of interest increases, it is possible to make the user aware of the region of interest and prevent the user from overlooking the region of interest. it can.
  • the user may miss the attention area when the attention area is detected at a location that the user is not conscious of.
  • the possibility that the user misses the region of interest increases.
  • a minimum value, a maximum value, and an increase rate may be set according to the distance from the center of the image.
  • FIG. 14 is a diagram for explaining human visual characteristics.
  • the area A1 shown in FIG. 14 is an area including the point of regard, and is an area having the best visual acuity.
  • the area A2 is an area where information can be instantly received from the point of gaze only by eye movement.
  • the area A3 is an area where information can be reasonably received from the fixation point by the eyeball and the head movement.
  • the visual acuity is the highest at the point of gaze, and drops sharply as the distance increases, resulting in a blurred appearance.
  • the user often gazes at the center of the image, so it is preferable to enhance the support function at the end of the image. Since the above tendency is different between up, down, left, and right, the increase rate may be changed according to the direction. For example, since it is necessary to assist in the upward direction more than in the other directions, it is preferable to make at least one of the minimum value, the maximum value, and the increase rate relatively large.
  • the minimum value, the maximum value, and the increase rate of the degree of emphasis may be set based on the luminance value of the attention area or the difference between the luminance value of the attention area and the luminance value outside the attention area. As the region of interest is darker or the difference in brightness from the surroundings is smaller, the user is more likely to miss the region of interest. Therefore, in this case, at least one of the minimum value, the maximum value, and the increase rate of the degree of enhancement is set to a relatively large value.
  • At least one of the minimum value, the maximum value, and the increase rate of the degree of enhancement is set to a relatively small value.
  • FIG. 15 is a graph showing an example of a change in the degree of emphasis according to the brightness of the attention area.
  • the horizontal axis indicates time, and the vertical axis indicates the degree of emphasis.
  • the minimum value of the degree of emphasis is min0 and the maximum value is max0.
  • the minimum value, the maximum value, and the increase rate are stored in the storage unit 49 in advance.
  • the brightness of the attention area can be obtained from the luminance value of the attention area.
  • the change in the degree of emphasis according to the luminance value of the attention area is shown, but the same applies to the case where the difference between the luminance value of the attention area and the luminance value outside the attention area is used.
  • the saturation of the attention area is low, the color difference from the surrounding area is small, or the color difference from the color of the graphic used as the notification information is small, the user is likely to miss the attention area. Therefore, as in the case of the brightness, at least one of the minimum value, the maximum value, and the increase rate of the degree of enhancement is set to a relatively large value. For example, as shown in FIG. 15, the minimum value of the emphasis degree is set to min1, the maximum value is set to max1, and the increase rate is set to Ri1.
  • At least one of the minimum value, the maximum value, and the increase rate of the degree of enhancement is set to a relatively small value.
  • the minimum value of the emphasis degree is set to min2 and the maximum value is set to max2.
  • the increase rate be Ri2.
  • the color information is not limited to the RGB (Red, Green, Blue) color space.
  • RGB Red, Green, Blue
  • a device independent L * a * b * color system Lab color space a color system YMCK (Cyan, Magenta, Yellow, blacK) color space suitable for print processing, an HLS (Hue-Luminance-Saturation) A color space, a so-called YCbCr (Y: luminance, CbCr: color difference) color space including luminance and color difference may be used.
  • the color difference may be determined based on whether the color difference falls within an allowable range that can be identified by humans (JIS standard or generally used by various industrial associations).
  • the minimum value, the maximum value, and the increase rate of the degree of emphasis may be set based on the motion information such as the motion amount and the motion direction of the attention area.
  • the movement amount of the attention area is small, it is not necessary to make the attention area early.
  • the movement direction of the attention area is the direction toward the center of the image, the possibility that the user misses the attention area is low. Therefore, at least one of the minimum value, the maximum value, and the increase rate of the degree of enhancement is set to a relatively small value.
  • the shape may differ depending on the insertion angle of the insertion section 20 and the like.
  • the attention area detection unit 41 cannot detect the same attention area with 100% accuracy. For such a reason, when the same attention area is not determined as the same attention area in spite of the same attention area, the enhancement processing with the minimum degree of enhancement is continuously performed on each frame image. Such a situation impairs the user's attention and is not preferable.
  • the cumulative time and the degree of emphasis of the attention area detected before that may be inherited.
  • the fact that the attention area detection section 41 reacts even if the shape or the like is different indicates that the attention area around the attention area is high, and it is helpful to prevent the user from overlooking by paying attention to the user.
  • FIG. 16 is a diagram for explaining regions of interest that are not the same, but exist around them.
  • FIG. 16 shows an example of each frame image 38a at time t-1, time t, and time t + 1. These are continuous frame images in the moving image 38.
  • the attention area R10 is detected.
  • the graphic E91 of the degree of emphasis according to the total time of the attention area R10 is superimposed on the position of the attention area R10 in the frame image 38a. Further, the feature amount, the cumulative time, and the degree of emphasis of the attention area R10 are stored in the attention area storage unit 50 in association with the attention area R10.
  • the attention area detection unit 41 sets a certain range B1 around the attention area R10 for the attention area R10.
  • a frame shape representing the range B1 is illustrated in each frame image 38a for explanation, but the frame shape representing the range B1 is not displayed on the display 16.
  • the attention area detection unit 41 detects the attention area R11 from this frame image 38a.
  • the attention area information acquisition unit 42 acquires the feature amount of the attention area R11.
  • the same attention area determination unit 46 compares the feature amount of the attention area R10 stored in the attention area storage unit 50 with the feature amount of the attention area R11 calculated by the attention area information acquisition unit 42, and It is determined whether or not and the attention area R11 are the same attention area.
  • the feature amounts are different from each other, and the same attention area determination unit 46 determines that the two attention areas are not the same.
  • the same attention area determination unit 46 further determines whether or not the position of the attention area R11 in the frame image 38a is within the range B1 set in the attention area R10. I do.
  • the same attention area determination unit 46 determines that the position of the attention area R11 is a position within the range B1.
  • the cumulative time measuring unit 44 calculates the total of the attention area R10 stored in the attention area storage unit 50 as the cumulative time of the attention area R11. Time is taken over and measured.
  • the emphasis degree setting unit 45 sets the emphasis degree of the attention area R11 according to the accumulated time measured by taking over the accumulated time of the attention area R10.
  • the emphasis degree setting unit 45 determines the emphasis degree of the attention area R11 from the emphasis degree of the attention area R10 stored in the attention area storage unit 50, the elapsed time from time t to time t + 1, and a predetermined increase rate of the emphasis degree.
  • the degree of emphasis may be calculated and set.
  • a frame-shaped figure E92 that emphasizes the attention area R11 is superimposed on the position of the attention area R11.
  • the graphic E92 is a graphic whose emphasis degree is relatively larger than that of the graphic E91 by one frame time.
  • the attention area R11 can inherit the degree of emphasis of the attention area R10.
  • the control unit 47 stores the feature amount, the cumulative time, and the degree of emphasis of the attention area R11 in the attention area storage unit 50 in association with the attention area R11.
  • the attention area detection unit 41 detects the attention area R12 from this frame image 38a. Further, the attention area information acquisition unit 42 calculates a feature amount of the attention area R12.
  • the same attention area determination unit 46 compares the feature amount of the attention area R11 stored in the attention area storage unit 50 with the feature amount of the attention area R12 calculated by the attention area information acquisition unit 42, and calculates the attention area R11. It is determined whether or not and the attention area R12 are the same attention area. Here, the feature amounts are different from each other, and the same attention area determination unit 46 determines that the two attention areas are not the same.
  • the same attention area determination unit 46 further determines whether or not the position of the attention area R12 in the frame image 38a is within the range B1 set in the attention area R10. Here, the same attention area determination unit 46 determines that the position of the attention area R12 is a position within the range B1.
  • the cumulative time measuring unit 44 calculates the total of the attention area R11 stored in the attention area storage unit 50 as the cumulative time of the attention area R12. Time is taken over and measured.
  • the emphasis degree setting unit 45 sets the emphasis degree of the attention area R12 in accordance with the accumulated time measured by taking over the accumulated time of the attention area R11.
  • a frame-shaped figure E93 that emphasizes the attention area R12 is superimposed on the position of the attention area R12.
  • the graphic E93 is a graphic whose emphasis degree is relatively larger by one frame than the graphic E92.
  • the attention area R12 can inherit the degree of emphasis of the attention area R11.
  • the region of interest R12 is treated as a newly detected region of interest. That is, the cumulative time measuring unit 44 newly starts measuring the cumulative time of the attention area R12, and the emphasis degree setting unit 45 sets the emphasis degree of the attention area R12 to a predetermined minimum value.
  • the same attention area determination unit 46 determines whether or not the position of the attention area R12 within the frame image 38a is within the range B1 set for the attention area R10 detected first.
  • a new range may be set for the region R11, and it may be determined whether or not the region of interest R12 is located within the range set for the region of interest R11.
  • the same attention area determination unit 46 sets a certain range B1 centered on the attention area R10, but the range determined by the same attention area determination unit 46 for inheriting the degree of emphasis is a predetermined fixed area. It may be a range.
  • the attention area can be emphasized with an appropriate enhancement degree by inheriting the enhancement degree of the attention area detected before that.
  • the medical image processing apparatus 14 may include a plurality of display units. Some users do not want to superimpose the notification information on the image being observed. Therefore, an image in which the notification information is superimposed may be displayed on a display unit different from the display unit that displays the image under observation.
  • FIG. 17 is a block diagram illustrating an electrical configuration of the medical image processing apparatus 14 including a plurality of display units.
  • the display 16 includes a first display 16A and a second display 16B.
  • the first display 16A and the second display 16B may be two different monitors, or may be different areas of one monitor.
  • the image display control unit 48A outputs the moving image 38 acquired by the time-series image acquisition unit 40 to at least one of the first display 16A and the second display 16B.
  • the notification information display control unit 48B outputs notification information for notifying the attention area to at least one of the first display 16A and the second display 16B.
  • FIGS. 18 to 20 are diagrams for explaining display contents on a plurality of display units.
  • 18 to 20 show examples of display contents of the first display 16A in the upper part and the second display 16B in the lower part at time t, time t + 1, time t + 2, and time t + 3.
  • the first display 16A displays frame images 38a at time t, time t + 1, time t + 2, and time t + 3, which are continuous frame images of the moving image 38, at time t and time t + 1, respectively. , Time t + 2, and time t + 3.
  • the frame images 38a at time t, time t + 1, and time t + 2 include the same region of interest R13.
  • the attention area is not included in the frame image 38a at the time t + 3.
  • the second display 16B displays frame images 38a at time t, time t + 1, time t + 2, and time t + 3 on the time t, time t + 1, and time t + 2, similarly to the first display 16A. , And at time t + 3.
  • a graphic E101, a graphic E102, and a graphic E103 of the emphasis degree corresponding to the total time of the attention area R13 are respectively provided.
  • the figure E101, the figure E102, and the figure E103 are frame-shaped figures surrounding the position of the attention area R13, and have different line transmittances.
  • the frame image 38a is not displayed on the second display 16B, and only the graphic information is displayed.
  • the second display 16B displays a graphic E101, a graphic E102, and a graphic E103 of the degree of emphasis according to the total time of the region of interest R13 in the region of interest of each frame image 38a. It is displayed at a position corresponding to the position of R13.
  • no graphic is displayed.
  • the second display 16B displays, at time t, time t + 1, and time t + 2, a graphic E111, a graphic E112, and a graphic E113 having a degree of emphasis according to the total time of the region of interest R13, respectively, in the region of interest of each frame image 38a. It is displayed at a position corresponding to the position of R13.
  • the graphic E111, the graphic E112, and the graphic E113 are graphics having substantially the same shape as the attention area R13, and have different transmittances. At time t + 3, no graphic is displayed.
  • the user can observe the image on the first display 16A, and can confirm the notice of the attention area on the second display 16B as necessary.
  • FIG. 21 is a flowchart illustrating an example of each process of the medical image processing method according to the second embodiment.
  • step S11 the time-series image acquisition unit 40 acquires the frame image 38a of the moving image 38 captured by the endoscope 10 as data D1.
  • the attention area detection unit 41 detects an attention area from the data D1.
  • step S12 the control unit 47 determines whether or not the attention area detection unit 41 has detected the attention area.
  • step S13 the control unit 47 determines whether or not the continuous undetected time during which the attention area is not detected is smaller than the threshold time Th.
  • the continuous undetected time is determined, but the number of consecutive undetected frames may be determined. Alternatively, the total undetected time or the total number of undetected frames may be determined.
  • step S14 the control unit 47 resets the attention area storage unit 50 as a database. That is, the feature amount, the cumulative time, and the degree of emphasis of the attention area stored in the attention area storage unit 50 are deleted. By erasing the feature amount, the total time, and the degree of emphasis of the attention area, when the attention area is detected next time, it can be determined that the attention area is a newly detected attention area.
  • step S15 the control unit 47 updates the attention area storage unit 50, which is a database. That is, the feature amount, the total time, and the degree of emphasis of the attention area stored in the attention area storage unit 50 are updated to the latest state. Also, the continuous undetected time is updated.
  • the attention area storage unit 50 By updating the attention area storage unit 50 in this way, even when the detection of the attention area is interrupted, the emphasis degree and the like can be taken over when the same attention area is detected again. Further, it is possible to appropriately determine the continuous non-detection time.
  • step S12 determines whether the attention area detection unit 41 has detected the attention area. If it is determined in step S12 that the attention area detection unit 41 has detected the attention area, the process proceeds to step S16.
  • step S16 the same attention area determination unit 46 determines whether the attention area detected by the attention area detection unit 41 is the same as the attention area detected in the past frame image. This determination is made by comparing the feature amount of the past attention area stored in the attention area storage unit 50 with the feature amount calculated by the attention area information acquisition unit 42 for the attention area detected in step S11.
  • step S16 If it is determined in step S16 that both the attention areas are the same, the process proceeds to step S17. If it is determined in step S16 that the two regions of interest are not the same, the process proceeds to step S18.
  • step S18 the same attention area determination unit 46 further determines whether or not the position of the attention area detected in step S11 in the image is a position around the attention area detected in the past.
  • the peripheral position is, for example, a position within a certain range around the attention area detected in the past.
  • step S18 If it is determined in step S18 that the region of interest is present at a position around the region of interest detected in the past, the process proceeds to step S17.
  • step S17 the cumulative time measuring unit 44 measures the cumulative time of the attention area stored in the attention area storage unit 50 as the cumulative time of the attention area detected in step S11. As a result, the degree of emphasis according to the cumulative time can be taken over. Thereafter, the process proceeds to step S19.
  • step S18 if it is determined that the target area does not exist in the vicinity of the attention area detected in the past, the process proceeds to step S19.
  • step S19 the attention area information acquisition unit 42 acquires a frame image 38a that is earlier than the data D1 of the moving image 38 as data D2, and from the data D2, luminance values, colors, motion information, and the like of the attention area and the area outside the attention area. Is extracted.
  • the extraction of the feature amount may be performed for all frames, may be performed at certain intervals, or at a timing intended by the user. If not, the process may move from step S17 to step S20.
  • the attention area information acquisition unit 42 may acquire, as the data D2, a future frame image 38a than the data D1 of the moving image 38.
  • a delay occurs.
  • the extraction is performed with high accuracy by referring to the past frame image 38a and the future frame image 38a. Can be.
  • the frame images 38a to be referred to when acquiring the motion information are not limited to the frame images 38a immediately before and after the current frame image 38a, but also include an arbitrary number of frame images 38a centered on the current frame image 38a. All or a frame image 38a selected therefrom may be used. This is because the attention area is not always detected continuously in time series. As for the past frame image 38a, only the frame image 38a that has inherited the degree of emphasis may be targeted.
  • step S20 the emphasis degree setting unit 45 sets the emphasis degree of the attention area detected in step S11.
  • the emphasis degree setting unit 45 may set the emphasis degree inherited in step S17 as it is, or may change and set the inherited emphasis degree according to the feature amount extracted in step S19.
  • step S21 the feature amount, the cumulative time, and the degree of emphasis of the attention area are updated in the attention area storage unit 50, which is a database.
  • step S22 the image display control unit 48A outputs the frame image 38a that is the data D1 to the display 16. Further, the notification information display control unit 48 ⁇ / b> B outputs notification information for notifying the attention area to the display 16 based on the emphasis level set by the emphasis level setting unit 45.
  • the region of interest can be emphasized with a larger value of the degree of emphasis by increasing the cumulative total time by taking over the degree of enhancement.
  • the attention area can be emphasized with a larger value as the cumulative time of emphasis is longer.
  • the database is updated so that the same attention area is detected again before the threshold time Th elapses. In this case, the past emphasis degree of the attention area can be taken over.
  • the attention area of the medical image can be appropriately notified.
  • an endoscopic image has been described as an example of a medical image.
  • the medical image processing apparatus according to the present embodiment is not limited to an endoscopic image, and a time-series image such as a capsule endoscopic image or an ultrasonic image is used. It can be applied to medical images.
  • Non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) that stores a program 51 for causing a computer to execute the above-described medical image processing method.
  • CD-ROM Compact Disk-Read Only Memory
  • the endoscope processor device 12 and the medical image processing device 14 have been described as different devices, but the endoscope processor device 12 and the medical image processing device 14 are configured as an integrated device, The endoscope processor device 12 having the function of the medical image processing device 14 may be used.
  • the hardware structure of the processing unit (processing unit) for executing various processes of the endoscope processor device 12 and the medical image processing device 14 is the following various processors.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a GPU (Graphics Processing Unit), a processor specialized in image processing, Dedicated to execute specific processing such as Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacturing FPGA (Field Programmable Gate Array), etc., and ASIC (Application Specific Integrated Circuit).
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU and a CPU). (Combination of GPUs). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by computers such as servers and clients, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form using a processor that realizes the functions of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip is used.
  • the various processing units are configured using one or more various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • Endoscope system 10 Endoscope scope 11
  • Light source device 12
  • Endoscope processor device 13
  • Display device 14 Medical image processing device 15
  • Operation unit 16 Display unit 16A First display unit 16B 2 display 20 insertion part 21 hand operation part 22 universal cord 25 flexible part 26 bending part 27 tip part 28 imaging element 29 bending operation knob 30 air supply / water supply button 31 suction button 32 stationary Image capturing instruction unit 33 ...
  • Treatment tool introduction port 35 ... Light guide 36 ... Signal cable 37a ... Connector 37b ... Connector 38 ... Movie 38a ... Frame image 39 ... Still image 40 ... Time-series image acquisition unit 41 ... Attention area detection unit 42 ...
  • Attention area information acquisition unit 43 Coordinate calculation unit 44 Cumulative time measurement unit 45 Emphasis degree setting unit 46 Same attention area determination unit 47
  • Control unit 48 Display control unit 48A Image table Each step of the control unit 48B ... notification information display control unit 49 ... memory unit 50 ... attention region storage unit 51 ... program D1, D2 ... data E1 ⁇ E113 ... graphic R1 ⁇ R13 ... attention area S1 ⁇ S22 ... medical image processing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

医用画像の注目領域を適切な強調度で強調する医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システムを提供する。時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理部と、注目領域が強調された累計時間を計測する累計時間計測部と、累計時間が相対的に長いほど強調度を相対的に大きい値に設定する強調度設定部と、を備える医用画像処理装置によって上記課題を解決する。

Description

医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム
　本発明は医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システムに係り、特に時系列の医用画像の注目領域を報知する技術に関する。
　医療分野において、近年、内視鏡スコープにより撮像された内視鏡画像等の医用画像から病変等の注目領域を自動検出する支援機能が、病変の見落とし防止に繋がるとして期待されている。
　このような支援機能において、自動検出された結果のユーザへの報知方法として、検出結果を画像中の注目領域に重畳させる強調表示が知られている。
　特許文献１には、被検体の観察画像の特徴量に基づいて病変候補領域を検出し、病変候補領域の強調処理を行う内視鏡システムが開示されている。
国際公開第２０１７／０７３３３７号
　特許文献１に記載の内視鏡システムは、病変候補領域の検出が所定時間継続していると判定されると、強調処理を終了する。
　しかしながら、強調処理を終了させることは、支援機能として不十分な場合がある。例えば、内視鏡は操作が難しく、ユーザが観察したい箇所に的確に留めておく間に強調処理が終了してしまうと、ユーザが注目領域を認識しきれない場合がある。
　また、注目領域の検出時に強調度が相対的に大きい強調処理が行われると、強調処理が行われていない画像から強調処理が行われた画像への画像内の変化が大きくなり、画像の観察の妨げになるという問題点があった。
　本発明はこのような事情に鑑みてなされたもので、医用画像の注目領域を適切な強調度で強調する医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システムを提供することを目的とする。
　上記目的を達成するために医用画像処理装置の一の態様は、時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理部と、注目領域が強調された累計時間を計測する累計時間計測部と、累計時間が相対的に長いほど強調度を相対的に大きい値に設定する強調度設定部と、を備える医用画像処理装置である。
　本態様によれば、時系列の医用画像に含まれる注目領域を設定された強調度で強調し、注目領域が強調された累計時間を計測し、累計時間が相対的に長いほど強調度を相対的に大きい値に設定するようにしたので、医用画像の注目領域を適切な強調度で強調することができる。
　時系列の医用画像を取得する画像取得部と、医用画像から注目領域を検出する注目領域検出部と、を備えることが好ましい。これにより、取得した医用画像から注目領域を検出することができる。
　累計時間計測部は、複数の注目領域に対して各注目領域の累計時間をそれぞれ計測し、強調度設定部は、各注目領域の累計時間に応じて各注目領域の強調度をそれぞれ設定することが好ましい。これにより、複数の注目領域の各注目領域に適切な強調度をそれぞれ設定することができる。
　注目領域の特徴量を算出する特徴量算出部と、注目領域の特徴量と累計時間とを関連付けて記憶する注目領域記憶部と、第１医用画像に含まれる第１注目領域の特徴量と、注目領域記憶部に記憶された第１医用画像より時系列的に前の第２医用画像において強調された第２注目領域の特徴量との類似度から、第１注目領域が第２注目領域と同一であるか否かを判定する同一注目領域判定部と、を備え、累計時間計測部は、第１注目領域が第２注目領域と同一であると判定された場合に、第１注目領域の累計時間として第２注目領域の累計時間を引き継いで計測することが好ましい。これにより、第１注目領域の強調度として第１注目領域と同一の第２注目領域の強調度を引き継ぐことができる。
　同一注目領域判定部は、第１注目領域が第２注目領域と同一でないと判定された場合に、第１注目領域の特徴量と、注目領域記憶部に記憶された第２医用画像より時系列的に前の第３医用画像において強調された第３注目領域の特徴量との類似度から、第１注目領域が第３注目領域と同一であるか否かをさらに判定し、累計時間計測部は、第１注目領域が第３注目領域と同一であると判定された場合に、第１注目領域の累計時間として第３注目領域の累計時間を引き継いで計測することが好ましい。これにより、第２医用画像に第１注目領域と同一の注目領域が含まれていなかった場合であっても、第１注目領域の強調度として第１注目領域と同一の第３注目領域の強調度を引き継ぐことができる。
　同一注目領域判定部は、第１注目領域が第２注目領域と同一でないと判定された場合に、第１注目領域が第１医用画像内の予め定められた範囲内の位置に存在するか否かを判定し、累計時間計測部は、予め定められた範囲内の位置に存在すると判定された場合に、第１注目領域の累計時間として第２注目領域の累計時間を引き継いで計測することが好ましい。これにより、第１注目領域と第２注目領域が異なる領域であっても、予め定められた範囲内の位置に存在する場合は、第１注目領域の強調度として第２注目領域の強調度を引き継ぐことができる。
　強調処理部は、注目領域の位置を示す図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど図形の透過度を相対的に小さく設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調処理部は、注目領域の位置を示す図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど図形の色を色強度指標に基づいた色強度を相対的に高く設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調処理部は、注目領域の位置を示す図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど図形の大きさを相対的に大きく設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調処理部は、注目領域を囲む枠形状の図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど枠形状の図形の太さを相対的に太く設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調度設定部は、１枚の医用画像に存在する注目領域の数が相対的に多いほど、累計時間に対する強調度の増加率を相対的に大きくすることが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調度設定部は、注目領域の医用画像内の位置に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調度設定部は、注目領域の輝度値、又は注目領域の輝度値と注目領域外の輝度値との差分に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調度設定部は、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　強調度設定部は、注目領域の動き量、又は注目領域の動き方向に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。
　注目領域が強調された時系列の医用画像を表示部に順次表示させる表示制御部を備えることが好ましい。これにより、表示部において注目領域を報知することができる。
　表示制御部は、注目領域が強調された時系列の医用画像を複数の表示部のうち少なくとも１つの表示部に順次表示させることが好ましい。これにより、複数の表示部のうち少なくとも１つの表示部において注目領域を報知することができる。
　上記目的を達成するために診断支援装置の一の態様は、上記に記載の医用画像処理装置と、表示部と、を備えた診断支援装置である。本態様によれば、時系列の医用画像の注目領域を適切な強調度で強調して表示部に表示させることができる。
　上記目的を達成するために内視鏡システムの一の態様は、上記に記載の医用画像処理装置と、時系列の医用画像を撮像する内視鏡スコープと、を備えた内視鏡システムである。本態様によれば、医用画像の注目領域を適切な強調度で強調することができる。
　上記目的を達成するために医用画像処理方法の一の態様は、時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理工程と、注目領域が強調された累計時間を計測する累計時間計測工程と、累計時間が長いほど強調度を大きい値に設定する強調度設定工程と、を備える医用画像処理方法である。
　本態様によれば、医用画像の注目領域を適切な強調度で強調することができる。上記の医用画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
　本発明によれば、医用画像の注目領域を適切な強調度で強調することができる。
図１は、内視鏡システムの全体構成を示す概略図である。 図２は、医用画像処理装置の電気的構成を示すブロック図である。 図３は、第１実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。 図４は、強調処理の一例を示す図である。 図５は、強調処理の他の例を示す図である。 図６は、注目領域の累計時間と強調度との関係の一例を示すグラフである。 図７は、強調度に応じた図形の変化の一例を示す図である。 図８は、強調度に応じた図形の変化の他の例を示す図である。 図９は、強調度に応じた図形の変化の他の例を示す図である。 図１０は、累計時間を説明するための図である。 図１１は、累計時間を説明するための図である。 図１２は、複数の注目領域が検出された際の図形の変化の一例を示す図である。 図１３は、図１２に示した例の強調度の変更を示すグラフである。 図１４は、視覚特性を説明するための図である。 図１５は、注目領域の輝度値に応じた強調度の変化を示すグラフである。 図１６は、同一でないが周囲に存在する注目領域を説明するための図である。 図１７は、複数の表示部を備えた医用画像処理装置の電気的構成を示すブロック図である。 図１８は、複数の表示部に対する表示内容を説明するための図である。 図１９は、複数の表示部に対する表示内容を説明するための図である。 図２０は、複数の表示部に対する表示内容を説明するための図である。 図２１は、第２実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　〔内視鏡システムの全体構成〕
　図１は、本実施形態に係る医用画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医用画像処理装置１４と、操作部１５と、表示器１６と、を備える。
　内視鏡スコープ１０は、時系列画像の医用画像を撮像するためのものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つユーザ（医師）が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。
　挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。
　撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。
　手元操作部２１には、ユーザによって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮像指示を行うための静止画撮像指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。
　ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。
　コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。
　コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。
　光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせ等の観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。
　内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａ（図２参照）からなる時系列の医用画像である動画３８を生成する。動画３８のフレームレートは、例えば３０ｆｐｓ（frame per second）である。
　更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮像指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮像指示のタイミングに応じて取得し、静止画３９とする。
　動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医用画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医用画像処理装置１４とにそれぞれ出力する。
　なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報、或いはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。
　また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医用画像である。
　表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。ユーザは、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮像指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。
　〔医用画像処理装置の構成〕
　医用画像処理装置１４は、時系列の医用画像に含まれる注目領域をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６（表示部の一例）はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
　図２は、医用画像処理装置１４の電気的構成を示すブロック図である。図２に示す医用画像処理装置１４は、主として時系列画像取得部４０と、注目領域検出部４１と、注目領域情報取得部４２と、座標算出部４３と、累計時間計測部４４と、強調度設定部４５と、同一注目領域判定部４６と、制御部４７と、表示制御部４８と、記憶部４９と、から構成されている。
　制御部４７は、記憶部４９に記憶されたプログラム（医用画像処理プログラム）５１に基づき、時系列画像取得部４０、注目領域検出部４１、注目領域情報取得部４２、座標算出部４３、累計時間計測部４４、強調度設定部４５、同一注目領域判定部４６、及び表示制御部４８を統括制御し、また、これらの各部の一部として機能する。
　記憶部４９は、注目領域検出部４１による検出結果を記憶し、また、撮像された静止画３９を記憶するとともに、注目領域の特徴量と累計時間とを関連付けて記憶する注目領域記憶部５０、プログラム５１及び医用画像処理装置１４の各種制御に係る情報等を記憶する部分である。
　時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に既述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。
　なお、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。
　注目領域検出部４１は、被検体内の観察中に撮像された動画３８から注目領域を検出する画像処理部である。注目領域検出部４１は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。
　注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具等がある。
　注目領域検出部４１は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。
　なお、注目領域検出部４１は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。
　注目領域情報取得部４２（特徴量算出部の一例）は、注目領域検出部４１により検出された注目領域の注目領域情報を取得する。注目領域情報は、例えば注目領域の輪郭の画像内の座標情報、及び注目領域の特徴量とすることができる。座標情報を特徴量に含めてもよい。
　座標算出部４３は、注目領域検出部４１により検出された注目領域の画像内の位置を示す座標情報を算出する。座標算出部４３は、例えば注目領域を囲む多角形又は円の輪郭線上の１つ以上の座標情報を算出する。多角形の頂点の座標、又は多角形の辺の中点の座標を座標情報として算出してもよいし、円の円周を複数に等分割する点の座標を座標情報として算出してもよい。
　累計時間計測部４４は、注目領域が注目領域検出部４１により検出されている累計検出時間を累計時間として計測する。強調度設定部４５は、累計時間が相対的に長いほど強調度を相対的に大きい値に設定する。強調度は、最小値、最大値、及び累計時間に対する強調度の増加率が予め定められている。したがって、累計時間から強調度を算出することができる。強調度設定部４５は、累計時間計測部４４が計測した累計時間から注目領域に応じた強調度を算出して設定する。
　注目領域検出部４１によって複数の注目領域が検出された場合は、累計時間計測部４４は、複数の注目領域に対して各注目領域の累計時間をそれぞれ計測し、強調度設定部４５は、各注目領域の累計時間に応じて各注目領域の強調度をそれぞれ設定する。
　なお、後述するように、注目領域は強調度設定部４５により設定された強調度で強調される。累計時間計測部４４は、注目領域が強調された累計時間を計測してもよい。
　同一注目領域判定部４６は、動画３８のうちの医用画像に含まれる注目領域がその医用画像より時系列的に前の医用画像において強調された注目領域と同一であるか否かを判定する。同一注目領域判定部４６は、動画３８のうちの医用画像に含まれる注目領域がその医用画像より時系列的に前の医用画像において注目領域検出部４１により検出された注目領域と同一であるか否かを判定してもよい。この判定は、注目領域情報取得部４２により取得された注目領域の特徴量を用いて行う。
　表示制御部４８は、画像表示制御部４８Ａ及び報知情報表示制御部４８Ｂを備えている。画像表示制御部４８Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。即ち、表示器１６には、複数のフレーム画像３８ａが順次表示される。
　報知情報表示制御部４８Ｂは、座標算出部４３により算出された座標情報に基づいて、かつ強調度設定部４５により設定された強調度に基づいて、注目領域を報知する報知情報を表示器１６に出力する。ここでは、報知情報として注目領域の位置を示す図形を注目領域の位置に重畳させる。これにより、表示器１６に表示される動画３８の注目領域の位置に、注目領域の累計時間に応じた図形が重畳される。したがって、注目領域は重畳された図形により設定された強調度で強調される。
　このように、医用画像処理装置１４と表示器１６とで、診断支援装置として機能する。
　〔医用画像処理方法：第１実施形態〕
　内視鏡システム９を用いた医用画像処理方法について説明する。医用画像処理方法は、制御部４７が記憶部４９に記憶されたプログラム５１を実行することで実施される。
　図３は、第１実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。医用画像処理方法は、画像取得工程（ステップＳ１）と、注目領域検出工程（ステップＳ２）と、同一注目領域判定工程（ステップＳ３）と、累計時間計測工程（ステップＳ４）と、強調度設定工程（ステップＳ５）と、強調処理工程（ステップＳ６）と、を含む。
　ステップＳ１では、時系列画像取得部４０は、内視鏡スコープ１０により撮像される動画３８のフレーム画像３８ａを取得する。このフレーム画像３８ａを、第１医用画像とする。
　ステップＳ２では、注目領域検出部４１は、ステップＳ１で取得した第１医用画像から注目領域を検出する。第１医用画像から検出された注目領域を、第１注目領域とする。
　ステップＳ３では、注目領域情報取得部４２は、第１医用画像から第１注目領域の特徴量を取得する。また、注目領域情報取得部４２は、動画３８の第１医用画像より１つ前のフレームのフレーム画像３８ａである第２医用画像において強調（検出）された第２注目領域の特徴量を注目領域記憶部５０から読み出す。
　さらに、同一注目領域判定部４６は、第１注目領域の特徴量と第２注目領域の特徴量との類似度から、第１注目領域が第２注目領域と同一であるか否かを判定する。
　ステップＳ４では、累計時間計測部４４は、第１注目領域の累計時間を計測する。累計時間とは、注目領域が強調されたタイミングから計時を開始する時間である。また、累計時間として、注目領域が検出されたタイミングから計時を開始する時間であってもよい。累計時間は、注目領域が強調されたタイミング又は注目領域が検出されたタイミングからの時系列画像のフレーム数としてカウントしてもよい。
　ステップＳ３において第１注目領域が第２注目領域と同一でないと判定された場合は、累計時間計測部４４は、第１注目領域が新たに検出された注目領域であると判断して、累計時間の計測を新たに開始する。
　一方、ステップＳ３において第１注目領域が第２注目領域と同一であると判定された場合は、累計時間計測部４４は、第１注目領域の累計時間として第２注目領域の累計時間を引き継いで計測する。即ち、累計時間計測部４４は、第２注目領域の累計時間を注目領域記憶部５０から読み出し、読み出した累計時間に第２医用画像から第１医用画像までの１フレーム分の時間を加算する。
　ステップＳ５では、強調度設定部４５は、第１注目領域の強調度を設定する。
　ステップＳ３において第１注目領域が第２注目領域と同一でないと判定された場合は、累計時間の計測を新たに開始したばかりであるので、強調度設定部４５は、第１注目領域の強調度を予め定められた最小値に設定する。
　一方、ステップＳ３において第１注目領域が第２注目領域と同一であると判定された場合は、強調度設定部４５は、第１注目領域の強調度を第２注目領域の累計時間を引き継いで計測された累計時間に応じて設定する。
　なお、強調度設定部４５は、第２注目領域の強調度を注目領域記憶部５０から読み出し、読み出した第２注目領域の強調度と第２医用画像から第１医用画像までの経過時間と予め定められた強調度の増加率とから第１注目領域の強調度を算出してもよい。
　最後に、ステップＳ６では、表示制御部４８（強調処理部の一例）は、第１医用画像に含まれる第１注目領域を設定された強調度で強調する。ここでは、画像表示制御部４８Ａは、第１医用画像を表示器１６に出力し、表示器１６に第１医用画像を表示させる。また、報知情報表示制御部４８Ｂは、座標算出部４３により算出された座標情報に基づいて、かつ強調度設定部４５により設定された強調度に基づいて、第１注目領域を報知する報知情報を表示器１６に出力する。これにより、第１医用画像の第１注目領域の位置に、第１注目領域の累計時間に応じた図形が重畳される。したがって、第１注目領域が重畳された図形により設定された強調度で強調される。
　また、ステップＳ６では、制御部４７は、第１注目領域の特徴量、累計時間、及び強調度を第１注目領域と紐付けて注目領域記憶部５０に記憶させる。
　以上のように、医用画像処理方法によれば、医用画像の注目領域を適切に報知することができる。
　〔強調処理〕
　図４は、表示制御部４８において行われる強調処理の一例を示す図である。図４に示すＦ４Ａは、注目領域Ｒ１が検出されたフレーム画像３８ａを示す図である。また、図４に示すＦ４Ｂは、Ｆ４Ａに示すフレーム画像３８ａに注目領域Ｒ１を囲う枠形状の図形Ｅ１が注目領域Ｒ１の位置に重畳されたフレーム画像３８ａを示す図である。このように、表示制御部４８が注目領域Ｒ１の位置に図形を重畳させることで、注目領域Ｒ１を強調することができる。
　画像に重畳させる枠形状の図形の形状は、矩形に限定されず、円形、楕円形、多角形であってもよい。また、画像に重畳させる図形は、注目領域を指し示す矢印等であってもよい。
　また、図５は、強調処理の他の例を示す図である。図５に示すＦ５Ａは、注目領域Ｒ２が検出されたフレーム画像３８ａを示す図である。また、図５に示すＦ５Ｂは、Ｆ５Ａに示すフレーム画像３８ａに注目領域Ｒ２と略同形状であり、注目領域Ｒ２とは画素値の明度を異ならせた図形Ｅ１１を注目領域Ｒ２に重畳させたフレーム画像３８ａを示す図である。このように、表示制御部４８は、注目領域の位置に画素値を変化させた図形を重畳させてもよい。
　注目領域の位置に重畳させる図形の画素値を注目領域の画素値と異ならせる処理は、明度を変化させる処理に限定されず、色相変化処理、彩度変化処理、コントラスト処理、ネガポジ反転処理、フィルタリング処理、及び周波数処理等であってもよい。これらの処理は、注目領域が注目領域外の領域と比べて際立つような処理であることが好ましい。
　〔強調度の増加率〕
　図６は、注目領域の累計時間と設定される強調度との関係の一例を示すグラフであり、横軸は時間、縦軸は強調度を示している。図６では、Ｆ６Ａ～Ｆ６Ｅの５つの例について示している。
　Ｆ６Ａ～Ｆ６Ｅにおいて、時間ｔ１は注目領域が検出されたタイミングである。Ｆ６Ａ～Ｆ６Ｅに示すように、強調度は、時間ｔ１において最小値に設定され、時間ｔ１より後のタイミングである時間ｔ２において最大値に設定される。また、強調度は、時間ｔ１から時間ｔ２にかけて累計時間が相対的に長いほど相対的に大きい値に設定される。なお、強調度が０の場合は、フレーム画像３８ａがそのまま表示される。
　強調度は、Ｆ６Ａに示すように累計時間に比例して大きくしてもよいし、Ｆ６Ｂに示すように累計時間に対して指数関数的に大きくしてもよい。また、Ｆ６Ｃに示すように、段階的に大きくしてもよい。即ち、累計時間に対する強調度の増加率（以下、増加率と表記する）は、一定の値に限定されず、累計時間に対する関数で求められる値であってもよい。
　強調度の最小値、最大値、及び増加率は、予め定められた固定値として記憶部４９に記憶される。また、強調度の最小値、最大値、及び増加率は、画像から得られる特徴量によって適宜変更してもよいし、ユーザが所望の値を設定可能に構成してもよい。
　強調度が最大値に到達した後は、Ｆ６Ａ～Ｆ６Ｃに示すようにそのまま最大値を維持してもよい。一定時間が経過するまでは強調度を最大値として強調することで、ユーザが注目領域を認識しやすくなる。
　また、Ｆ６Ｄに示すように、強調度が最大値に到達した後に再度最小値から強調度の増加を繰り返してもよい。この場合、強調度が繰り返される点滅箇所は注意を引きやすくなるため、ユーザによる注目領域の見落とし防止に繋がる。
　さらに、Ｆ６Ｅに示すように、強調度が最大値に到達した後に強調処理を終了、即ち強調度を０に設定してもよい。この場合は、強調処理を行う時間が長過ぎてユーザによる注目領域の観察の邪魔になるということを防止することができる。
　これらの強調度が最大値に到達した後の態様は、注目領域に応じて適宜選択してもよいし、ユーザが所望の態様を設定可能に構成してもよい。
　〔報知情報の変化〕
　図７は、強調度に応じた図形の変化の一例を示す図である。図７に示すＦ７Ａは、注目領域Ｒ３を囲う枠形状の図形であって、強調度が最小値の図形Ｅ２１が重畳されたフレーム画像３８ａを示す図である。また、図７に示すＦ７Ｂは、注目領域Ｒ３を囲う枠形状の図形であって、強調度が最大値の図形Ｅ２２が重畳されたフレーム画像３８ａを示す図である。Ｆ７Ａに示すフレーム画像３８ａよりも、Ｆ７Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。
　図形Ｅ２１と図形Ｅ２２とは線の太さ及び色が同一の図形であり、それぞれ透過度が異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の透過度を相対的に小さく設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ２１の透過度よりも図形Ｅ２２の透過度の方が相対的に小さい。
　図８は、強調度に応じた図形の変化の他の例を示す図である。図８に示すＦ８Ａは、注目領域Ｒ４を囲う枠形状の図形であって、強調度が最小値の図形Ｅ３１が重畳されたフレーム画像３８ａを示す図である。また、図８に示すＦ８Ｂは、注目領域Ｒ４を囲う枠形状の図形であって、強調度が最大値の図形Ｅ３２が重畳されたフレーム画像３８ａを示す図である。Ｆ８Ａに示すフレーム画像３８ａよりも、Ｆ８Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。
　図形Ｅ３１と図形Ｅ３２とは透過度及び色が同一の図形であり、それぞれ線の太さが異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の太さを相対的に太く設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ３１の線よりも図形Ｅ３２の線の方が相対的に太い。
　図９は、強調度に応じた図形の変化の他の例を示す図である。図９に示すＦ９Ａは、注目領域Ｒ５を囲う枠形状の図形であって、強調度が最小値の図形Ｅ４１が重畳されたフレーム画像３８ａを示す図である。また、図９に示すＦ９Ｂは、注目領域Ｒ５を囲う枠形状の図形であって、強調度が最大値の図形Ｅ４２が重畳されたフレーム画像３８ａを示す図である。Ｆ９Ａに示すフレーム画像３８ａよりも、Ｆ９Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。
　図形Ｅ４１と図形Ｅ４２とは透過度及び線の太さが同一の図形であり、それぞれ色（色温度）が異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の色を任意の色強度指標に基づいた色強度の高い色に設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ４１の色よりも図形Ｅ４２の色の方が任意の色強度指標に基づいた色強度が相対的に高い。
　図９に示すＦ９Ｃは、図形Ｅ４１の色から図形Ｅ４２の色への遷移を示す図である。図形Ｅ４１の色及び図形Ｅ４２の色の中間色を、それぞれの配色の等比、等差、もしくは比率を可変にして算出してもよい。
　強調度設定部４５は、フレーム画像３８ａの色を取得し、累計時間が相対的に長いほど図形の色をフレーム画像３８ａの色とのコントラストが相対的に高い色に設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定してもよい。フレーム画像３８ａの色は、被検体内の色、及び光源装置１１から供給される照明光の波長に応じて異なる。したがって、取得したフレーム画像３８ａの色に応じて、図形Ｅ４１の色及び図形Ｅ４２の色を適宜決定する。
　また、図形の色ではなく、図形の明度及び彩度の少なくとも一方を変更してもよい。累計時間が長いほど、より注目領域が際立って見えるように変化させることが好ましい。このように、図形の色、明度、及び彩度の少なくとも１つを変更することで、周囲との色差や光源等を考慮した強調処理を行うことができる。
　また、図形の大きさ及び形状の少なくとも一方を変更してもよい。この場合も、累計時間が長いほど、より注目領域が際立って見えるように変化させることが好ましい。
　〔累計時間〕
　累計時間計測部４４が計測する累計時間は、例えば、注目領域が最初に検出されたタイミングから、継続して検出され続けている時間を示す。
　図１０は、累計時間を説明するための図である。図１０は、時間ｔ－１、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３におけるそれぞれのフレーム画像３８ａの一例を示している。ここでは、時間ｔ－１のフレーム画像３８ａでは注目領域が検出されていない。また、時間ｔ、時間ｔ＋１、時間ｔ＋２のフレーム画像３８ａにおいて同一の注目領域Ｒ６が検出されている。これに伴い、時間ｔ、時間ｔ＋１、時間ｔ＋２のフレーム画像３８ａには、それぞれ注目領域Ｒ６を囲う枠形状の図形Ｅ５１、図形Ｅ５２、及び図形Ｅ５３が重畳される。
　図１０に示す例では、時間ｔのフレーム画像３８ａにおける注目領域Ｒ６の累計時間は０である。また、時間ｔ＋１のフレーム画像３８ａにおける注目領域Ｒ６の累計時間は（ｔ＋１）－ｔ＝１であり、時間ｔ＋２のフレーム画像３８ａにおける注目領域Ｒ６の累計時間は（ｔ＋２）－ｔ＝２である。
　したがって、図形Ｅ５１は累計時間０に応じた強調度（最小値）、図形Ｅ５２は累計時間１に応じた強調度、及び図形Ｅ５３は累計時間２に応じた強調度が設定される。
　また、図１０に示すように、時間ｔ＋３のフレーム画像３８ａでは注目領域が検出されていない。したがって、時間ｔ＋３において、注目領域Ｒ６の累計時間は０にリセットされ、強調処理がリセットされる。
　なお、累計時間及び強調処理は、注目領域の検出が途切れた場合にただちにリセットされることに限定されない。
　内視鏡スコープ１０によって撮像される動画３８では、注目領域が腸のひだ等に隠れてしまい、あるタイミングだけ画像に写らない場合が存在する。その際に、同一の注目領域にもかかわらず隠れた前後の注目領域がそれぞれ別の注目領域と判断されて強調度がリセットされると、ユーザの意識に留まらない恐れがある。
　また、内視鏡スコープ１０の操作は難しく、注目領域を常に観察画像中に留めておくことは難しい。このため、注目領域が画面から外れるたびに異なる注目領域と認識した支援を行うと、ユーザの思考を阻害することになりかねない。
　さらに、先端部２７の先端面の観察窓（不図示）に汚れ等が付着することで、注目領域検出部４１が注目領域を検出することができない場合がある。
　このため、検出が途切れた場合であっても、ある一定時間Ｔｋは注目領域の情報を保持しておき、後に同一の注目領域を検出した場合に強調度を引き継がせてもよい。
　図１１は、累計時間を説明するための図である。図１１は、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３におけるそれぞれのフレーム画像３８ａの一例を示している。図１１に示すように、時間ｔのフレーム画像３８ａにおいて注目領域Ｒ７が検出されている。これに伴い、時間ｔのフレーム画像３８ａには、注目領域Ｒ７を囲う枠形状の図形Ｅ６１が重畳されている。時間ｔにおいて、注目領域Ｒ７の累計時間がＴｃであったとする。このため、図形Ｅ６１は、累計時間Ｔｃに応じた強調度の図形である。制御部４７は、注目領域Ｒ７の特徴量、累計時間、及び強調度を、注目領域Ｒ７と紐付けて注目領域記憶部５０に記憶させる。
　その後、図１１に示すように、時間ｔ＋１、及び時間ｔ＋２のフレーム画像３８ａでは注目領域が検出されていない。
　さらに時間が経過し、図１１に示すように、注目領域検出部４１は、時間ｔ＋３のフレーム画像３８ａにおいて注目領域を検出する。ここで、注目領域Ｒ７が最後に検出された時間ｔから時間ｔ＋３までの経過時間Ｔｐ＝（ｔ＋３）－ｔ＝３は、一定時間Ｔｋ未満であるとする。
　同一注目領域判定部４６は、注目領域記憶部５０に記憶された注目領域Ｒ７の特徴量と時間ｔ＋３のフレーム画像３８ａにおいて検出された注目領域の特徴量とを比較し、両注目領域が同一の注目領域であるか否かを判定する。ここでは、同一であると判定される。
　強調度設定部４５は、時間ｔ＋３のフレーム画像３８ａにおいて検出された注目領域Ｒ７について、注目領域記憶部５０に記憶された注目領域Ｒ７の累計時間、及び強調度を引き継がせ、累計時間に時間ｔから時間ｔ＋３までの経過時間Ｔｐを加算する。即ち、累計時間として、注目領域が強調されたタイミングから計時を開始し、注目領域を強調していなかった時間も含めて計時した時間とする。
　したがって、注目領域Ｒ７の累計時間はＴｃ＋Ｔｐとなり、強調度は累計時間Ｔｃ＋Ｔｐに応じた強調度となる。図１１に示すように、時間ｔ＋３のフレーム画像３８ａには、注目領域Ｒ７を囲う枠形状の図形であって、Ｔｃ＋Ｔｐに応じた強調度の図形Ｅ６２が重畳される。
　注目領域の検出されない時間が一定時間Ｔｋを超えた場合は、注目領域記憶部５０に記憶された注目領域の特徴量、累計時間、及び強調度をリセット（消去）する。注目領域の情報を保持し続ける一定時間Ｔｋは、予め定められた固定値でもよいし、検出されていた注目領域とその周囲との凹凸の量、検出されていた注目領域とその周囲との色差等から判断してもよい。また、ユーザが所望の値を設定してもよい。
　ここでは、引き継いだ累計時間Ｔｃに加算した経過時間Ｔｐは、注目領域の検出が途切れていた時間を含めていたが、実際に注目領域が検出されている時間のみを加算してもよい。即ち、累計時間として、注目領域が強調されたタイミングから計時を開始し、注目領域を強調しなかった時間を排除して計時した時間としてもよい。例えば、時間ｔ＋３における累計時間は、注目領域Ｒ７が検出されていなかった時間ｔ＋１及び時間ｔ＋２を排除し、Ｔｃ＋１としてもよい。この場合、注目領域記憶部５０に注目領域Ｒ７が最後に検出された時間を記憶しておくことで、注目領域Ｒ７が検出されていなかった時間を認識することができる。
　また、ここでは時間ｔ＋３のフレーム画像３８ａにおいて注目領域が検出された際に、最後に検出された時間ｔのフレーム画像３８ａの注目領域Ｒ７と同一の注目領域であるか否かを判定したが、この判定において注目領域Ｒ７とは同一の注目領域ではないと判定された場合に、さらに時間ｔのフレーム画像３８ａより時系列的に前（例えば時間ｔ－１）のフレーム画像３８ａ（第３医用画像の一例）の注目領域である第３注目領域と同一の注目領域であるか否かを判定してもよい。
　その結果、両注目領域が同一であると判定された場合は、強調度設定部４５は、時間ｔ＋３のフレーム画像３８ａにおいて検出された注目領域について、注目領域記憶部５０に記憶された第３注目領域の累計時間、及び強調度を引き継がせ、累計時間に例えば時間ｔ－１から時間ｔ＋３までの経過時間Ｔｐを加算すればよい。
　〔複数の注目領域の強調〕
　観察中の動画に複数の注目領域が検出された場合、ユーザが１つの注目領域に注目し過ぎると、その他の注目領域の存在が意識から外れてしまう可能性がある。特に、それぞれの注目領域が離れている、又はそれぞれの注目領域が画面端に存在する場合等は、ユーザの意識から外れる可能性が高く、見逃しに繋がってしまう。また、内視鏡スコープ１０を迅速に操作した場合、注目領域を複数検出しても強調度が高くなる前に画面外に外れてしまい、ユーザの意識に留まらない可能性がある。したがって、複数の注目領域を検出した場合には、強調度を大きくする、又は強調度の増加率を大きくする等により、この問題を回避してもよい。
　図１２は、１枚の医用画像に複数の注目領域が検出された際の図形の変化の一例を示す図である。図１２に示すＦ１２Ａは、注目領域Ｒ８を囲う図形Ｅ７１、及び注目領域Ｒ９を囲う図形Ｅ８１が重畳されたフレーム画像３８ａを示す図である。また、図１２に示すＦ１２Ｂは、注目領域Ｒ８を囲う図形Ｅ７２、及び注目領域Ｒ９を囲う図形Ｅ８２が重畳されたフレーム画像３８ａを示す図である。Ｆ１２Ａに示すフレーム画像３８ａよりも、Ｆ１２Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。
　これまでと同様に、図形Ｅ７１よりも図形Ｅ７２の方が、強調度が相対的に大きい値に設定されている。また、図形Ｅ８１よりも図形Ｅ８２の方が、強調度が相対的に大きい値に設定されている。また、ここでは、注目領域の数が多くなるほど強調度の最小値、最大値、及び増加率が大きい値に設定される。
　図１３は、２つの注目領域が検出された際の強調度の変更の一例を示すグラフであり、横軸は時間、縦軸は強調度を示している。図１３に示すように、１つ目の注目領域は、最小値ｍｉｎα、最大値ｍａｘα、増加率Ｒα１で強調される。また、２つ目の注目領域は、最小値ｍｉｎβ、最大値ｍａｘβ、増加率Ｒβで強調される。ここでは、ｍｉｎα＜ｍｉｎβ、ｍａｘα＜ｍａｘβ、Ｒα１＜Ｒβの関係を有している。これらの最小値、最大値、及び増加率は、記憶部４９に予め記憶されている。
　図１２に示す注目領域に対して、図１３に示すように強調度が変化するものとする。ここでは、時間ｔ１に１つ目の注目領域Ｒ８が検出され、時間ｔ１より後の時間ｔ２に注目領域Ｒ９が検出されたものとする。この場合、強調度設定部４５は、注目領域Ｒ８について、時間ｔ１において最小値ｍｉｎαの強調度を設定し、その後、累計時間に対して増加率Ｒα１で大きくした値に強調度を設定する。
　続いて、時間ｔ２において２つ目の注目領域Ｒ９が検出される。強調度設定部４５は、注目領域Ｒ９について、時間ｔ２において最小値ｍｉｎβの強調度を設定し、その後、累計時間に対して増加率Ｒβで大きくした値に強調度を設定する。また、強調度設定部４５は、時間ｔ２からは増加率Ｒα２で大きくした値に注目領域Ｒ８の強調度を設定する。増加率Ｒα２は、Ｒα１＜Ｒα２＜Ｒβの関係を有している。
　さらに時間が経過すると、強調度設定部４５は、時間ｔ３において、注目領域Ｒ９の強調度が最大値ｍａｘβに設定する。その後、注目領域Ｒ９の強調を終了させる。なお、最大値ｍａｘβの強調度で強調を維持させてもよい。また、強調度設定部４５は、時間ｔ４において、注目領域Ｒ８の強調度を最大値ｍａｘαに設定する。その後、注目領域Ｒ９と同様に、注目領域Ｒ８の強調を終了させる。なお、最大値ｍａｘαの強調度で強調を維持させてもよい。
　ここでは、注目領域の数が多くなるほど強調度の最小値、最大値、及び増加率が大きい値に設定したが、強調度の最小値、最大値、及び増加率の少なくとも１つを大きい値に設定すればよい。このように、注目領域の数が多くなるほど強調度の最小値及び最大値の少なくとも一方を大きい値に設定して強調度を高めることで、注目領域をユーザに意識させ、ユーザによる注目領域の見逃しを防止することができる。また、注目領域の数が多くなるほど強調度の増加率を大きい値に設定してより早期に強調度を高めることで、注目領域をユーザに意識させ、ユーザによる注目領域の見逃しを防止することができる。
　〔画像内の位置に応じた強調度の設定〕
　患者への負担を軽減するため、内視鏡検査は時間をかけずに迅速に行う必要がある。また、内視鏡スコープ１０の操作は煩雑である。このため、挿入部２０を素早く動かし過ぎてしまうことがある。
　挿入部２０の移動が速い場合には、ユーザが意識していない箇所で注目領域が検出された際に、ユーザが注目領域を見逃す恐れがある。特に画像の端部で注目領域が検出された場合は、ユーザが注目領域を見逃してしまう可能性が高くなる。
　このような見逃しを防止するため、画像の中心からの距離に応じて最小値、最大値、及び増加率を設定してもよい。
　図１４は、人間の視覚特性を説明するための図である。図１４に示す領域Ａ１は、注視点を含む領域であり、視力が最も優れている領域である。また、領域Ａ２は、注視点から眼球運動のみで瞬時に情報受容が可能な領域である。領域Ａ３は、注視点から眼球及び頭部運動により無理なく情報受容が可能な領域である。
　人間の視覚特性上、視力は注視点が一番高く、離れるにつれて急激に低下してぼんやりと見える状態になる。通常ユーザは画像の中心を注視していることが多いため、画像の端部の支援機能を高めた方が好ましい。上記の傾向は上下左右で異なるため、方向に応じて増加率を変えてもよい。例えば、上方向は他の方向よりも支援する必要があるため、最小値、最大値、増加率の少なくとも１つを相対的に大きくすることが好ましい。
　〔明るさに応じた強調度の設定〕
　注目領域の輝度値、又は注目領域の輝度値と注目領域外の輝度値との差分に基づいて、強調度の最小値、最大値、及び増加率を設定してもよい。注目領域が暗い、又は周囲との明るさの差分が小さいほど、ユーザが注目領域を見逃す可能性が高い。したがって、この場合は、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に大きい値に設定する。
　逆に、注目領域が明るい、又は周囲との明るさの差分が大きいほど、ユーザが注目領域を見逃す可能性は低い。したがって、画像の視認性を優先するために強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に小さい値に設定する。
　図１５は、注目領域の明るさに応じた強調度の変更の一例を示すグラフであり、横軸は時間、縦軸は強調度を示している。注目領域の明るさが標準の場合には、強調度の最小値はｍｉｎ０、最大値はｍａｘ０である。また、増加率Ｒｉ０は、図１５に示すように、Ｒｉ０＝（ｍａｘ０－ｍｉｎ０）／（ｔ３－ｔ１）である。
　注目領域の明るさが相対的に暗い場合には、強調度の最小値はｍｉｎ１、最大値はｍａｘ１である。また、増加率Ｒｉ１は、図１５に示すように、Ｒｉ１＝（ｍａｘ１－ｍｉｎ１）／（ｔ２－ｔ１）である。ここで、ｍｉｎ０＜ｍｉｎ１、ｍａｘ０＜ｍａｘ１、Ｒｉ０＜Ｒｉ１の関係を有している。
　注目領域の明るさが相対的に明るい場合には、強調度の最小値はｍｉｎ２、最大値はｍａｘ２である。また、増加率Ｒｉ２は、図１５に示すように、Ｒｉ２＝（ｍａｘ２－ｍｉｎ２）／（ｔ４－ｔ１）である。ここで、ｍｉｎ０＞ｍｉｎ２、ｍａｘ０＞ｍａｘ２、Ｒｉ＞Ｒｉ２の関係を有している。これらの最小値、最大値、及び増加率は、記憶部４９に予め記憶されている。
　ここで、注目領域の明るさは、注目領域の輝度値から取得することができる。ここでは、注目領域の輝度値に応じた強調度の変更を示したが、注目領域の輝度値と注目領域外の輝度値との差分を用いた場合でも同様である。
　〔色情報に応じた強調度の設定〕
　明るさに応じた強調度の設定の場合と同様に、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分に基づいて、強調度の最小値、最大値、及び増加率を設定してもよい。
　注目領域の彩度が低い、又は周囲との色差が小さい、報知情報として使用する図形の色との色差が小さい場合は、ユーザが注目領域を見逃す可能性が高い。したがって、明るさの場合と同様に、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に大きい値に設定する。例えば、図１５に示したように、強調度の最小値をｍｉｎ１、最大値をｍａｘ１、増加率をＲｉ１とする。
　逆に、注目領域の彩度が高い、又は周囲との色差が大きい、図形の色との色差が大きい場合は、ユーザが注目領域を見逃す可能性は低い。したがって、画像の視認性を優先するために、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に小さい値に設定する。例えば、図１５に示したように、強調度の最小値をｍｉｎ２、最大値をｍａｘ２とする。増加率をＲｉ２とする。
　色情報とは、ＲＧＢ（Red、Green、Blue）色空間に限定するものでない。例えば、デバイス非依存のＬ＊ａ＊ｂ＊表色系のＬａｂ色空間、印刷処理に適した表色系のＹＭＣＫ（Cyan、Magenta、Yellow、blacＫ）色空間、ＨＬＳ（Hue-Luminance-Saturation）色空間、輝度と色差から成るいわゆるＹＣｂＣｒ（Ｙ：輝度、ＣｂＣｒ：色差）色空間等であってもよい。
　また、色差に関しては、人間が識別できる許容範囲（ＪＩＳ規格、又は各種工業会で一般的に使用されているもの）に収まっているか否かで判定してもよい。
　〔動き情報に応じた強調度の設定〕
　明るさ及び色情報の場合と同様に、注目領域の動き量、動き方向等の動き情報に基づいて、強調度の最小値、最大値、及び増加率を設定してもよい。
　注目領域の動き量が大きいほど、より早期に検出したことをユーザに意識させる必要がある。また、注目領域の動き方向が画像の端部に向かう方向である場合は、ユーザが注目領域を見逃す可能性が高い。したがって、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に大きい値に設定する。
　逆に、注目領域の動き量が小さい場合は早期に意識させる必要はない。また、注目領域の動き方向が画像の中心に向かう方向である場合は、ユーザが注目領域を見逃す可能性は低い。したがって、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に小さい値に設定する。
　〔同一ではないが周囲に存在する注目領域〕
　同一の注目領域であっても、挿入部２０の挿入角度等により形状が異なって写る場合がある。また、注目領域検出部４１において、１００％の精度で同一の注目領域として検出することができない場合がある。このような理由により、同一の注目領域にもかかわらず同一の注目領域と判断されなかった場合、各フレーム画像で最小値の強調度による強調処理が行われ続けることになる。このような状況はユーザの注意力を阻害することになり、好ましくない。
　そこで、検出された注目領域がそれ以前に検出されていた注目領域と同一の注目領域と判断されなかった場合であっても、検出された注目領域がある一定の範囲内に存在した場合には、それ以前に検出されていた注目領域の累計時間及び強調度を引き継がせてもよい。形状等が異なっても注目領域検出部４１が反応するということは、その周辺の注目領域らしさが高いことを示しており、ユーザに注視させることで見逃し防止に役立つ。
　図１６は、同一でないが周囲に存在する注目領域を説明するための図である。図１６は、時間ｔ－１、時間ｔ、及び時間ｔ＋１におけるそれぞれのフレーム画像３８ａの一例を示している。これらは動画３８において連続するフレーム画像である。
　時間ｔ－１のフレーム画像３８ａにおいて、注目領域Ｒ１０が検出されている。この注目領域Ｒ１０の累計時間に応じた強調度の図形Ｅ９１が、フレーム画像３８ａの注目領域Ｒ１０の位置に重畳されている。また、注目領域Ｒ１０の特徴量、累計時間、及び強調度が注目領域Ｒ１０と紐付けて注目領域記憶部５０に記憶される。
　ここで、注目領域検出部４１は、注目領域Ｒ１０について、注目領域Ｒ１０を中心とした一定の範囲Ｂ１を設定する。図１６では、説明のために各フレーム画像３８ａに範囲Ｂ１を表す枠形状を図示しているが、この範囲Ｂ１を表す枠形状は表示器１６には表示されない。
　その後、注目領域検出部４１に時間ｔのフレーム画像３８ａが入力されると、注目領域検出部４１は、このフレーム画像３８ａから注目領域Ｒ１１を検出する。また、注目領域情報取得部４２は、注目領域Ｒ１１の特徴量を取得する。
　次に、同一注目領域判定部４６は、注目領域記憶部５０に記憶された注目領域Ｒ１０の特徴量と注目領域情報取得部４２が算出した注目領域Ｒ１１の特徴量とを比較し、注目領域Ｒ１０と注目領域Ｒ１１とが同一の注目領域であるか否かを判定する。ここでは、特徴量がそれぞれ異なっており、同一注目領域判定部４６は両注目領域が同一でないと判定する。
　両注目領域が同一でないと判定すると、同一注目領域判定部４６は、さらに、注目領域Ｒ１１のフレーム画像３８ａ内の位置が注目領域Ｒ１０に設定された範囲Ｂ１内の位置であるか否かを判定する。ここでは、同一注目領域判定部４６は、注目領域Ｒ１１の位置が範囲Ｂ１の範囲内の位置であると判定する。
　注目領域Ｒ１１の位置が範囲Ｂ１の範囲内の位置であると判定されると、累計時間計測部４４は、注目領域Ｒ１１の累計時間として注目領域記憶部５０に記憶されている注目領域Ｒ１０の累計時間を引き継いで計測する。
　また、強調度設定部４５は、注目領域Ｒ１１の強調度として、注目領域Ｒ１０の累計時間を引き継いで計測された累計時間に応じて設定する。強調度設定部４５は、注目領域記憶部５０に記憶されている注目領域Ｒ１０の強調度と時間ｔから時間ｔ＋１までの経過時間と予め定められた強調度の増加率とから、注目領域Ｒ１１の強調度を算出して設定してもよい。
　その結果、図１６に示すように、時間ｔのフレーム画像３８ａには、注目領域Ｒ１１を強調する枠形状の図形Ｅ９２が注目領域Ｒ１１の位置に重畳される。図形Ｅ９２は、図形Ｅ９１よりも１フレーム分の時間だけ強調度が相対的に大きい図形である。このように、注目領域Ｒ１１は、注目領域Ｒ１０の強調度を引き継ぐことができる。
　また、制御部４７は、注目領域Ｒ１１の特徴量、累計時間、及び強調度を注目領域Ｒ１１と紐付けて注目領域記憶部５０に記憶させる。
　続いて、注目領域検出部４１に時間ｔ＋１のフレーム画像３８ａが入力されると、注目領域検出部４１は、このフレーム画像３８ａから注目領域Ｒ１２を検出する。また、注目領域情報取得部４２は、注目領域Ｒ１２の特徴量を算出する。
　次に、同一注目領域判定部４６は、注目領域記憶部５０に記憶された注目領域Ｒ１１の特徴量と注目領域情報取得部４２が算出した注目領域Ｒ１２の特徴量とを比較し、注目領域Ｒ１１と注目領域Ｒ１２とが同一の注目領域であるか否かを判定する。ここでは、特徴量がそれぞれ異なっており、同一注目領域判定部４６は両注目領域が同一でないと判定する。
　同一注目領域判定部４６は、さらに、注目領域Ｒ１２のフレーム画像３８ａ内の位置が注目領域Ｒ１０に設定された範囲Ｂ１内の位置であるか否かを判定する。ここでは、同一注目領域判定部４６は、注目領域Ｒ１２の位置が範囲Ｂ１の範囲内の位置であると判定する。
　注目領域Ｒ１２の位置が範囲Ｂ１の範囲内の位置であると判定されると、累計時間計測部４４は、注目領域Ｒ１２の累計時間として注目領域記憶部５０に記憶されている注目領域Ｒ１１の累計時間を引き継いで計測する。
　また、強調度設定部４５は、注目領域Ｒ１２の強調度として、注目領域Ｒ１１の累計時間を引き継いで計測された累計時間に応じて設定する。
　その結果、図１６に示すように、時間ｔ＋１のフレーム画像３８ａには、注目領域Ｒ１２を強調する枠形状の図形Ｅ９３が注目領域Ｒ１２の位置に重畳される。図形Ｅ９３は、図形Ｅ９２よりも１フレーム分の時間だけ強調度が相対的に大きい図形である。このように、注目領域Ｒ１２は、注目領域Ｒ１１の強調度を引き継ぐことができる。
　なお、注目領域Ｒ１２の位置が範囲Ｂ１の範囲内の位置でないと判定された場合は、注目領域Ｒ１２は新たに検出された注目領域として扱われる。即ち、累計時間計測部４４は注目領域Ｒ１２の累計時間の計測を新たに開始し、強調度設定部４５は注目領域Ｒ１２の強調度を予め定められた最小値に設定する。
　ここでは、同一注目領域判定部４６は、注目領域Ｒ１２のフレーム画像３８ａ内の位置が最初に検出された注目領域Ｒ１０について設定された範囲Ｂ１内の位置であるか否かを判定したが、注目領域Ｒ１１について新たな範囲を設定し、注目領域Ｒ１２が注目領域Ｒ１１に設定した範囲内の位置であるか否かを判定してもよい。
　また、同一注目領域判定部４６は注目領域Ｒ１０を中心とした一定の範囲Ｂ１を設定したが、強調度の引き継ぎのために同一注目領域判定部４６が判定する範囲は、予め設定された固定の範囲でもよい。
　以上のように、検出された注目領域がそれ以前に検出されていた注目領域と同一の注目領域と判断されなかった場合であっても、検出された注目領域がある一定の範囲内に存在した場合には、それ以前に検出されていた注目領域の強調度を引き継がせることで、注目領域を適切な強調度で強調することができる。
　〔表示部が複数存在する場合〕
　ここまでは単一の表示部に動画３８を表示する例を説明したが、医用画像処理装置１４は複数の表示部を備えていてもよい。ユーザによっては、観察中の画像に報知情報を重畳させたくない場合がある。したがって、観察中の画像を表示する表示部とは異なる表示部に報知情報を重畳させた画像を表示させてもよい。
　図１７は、複数の表示部を備えた医用画像処理装置１４の電気的構成を示すブロック図である。表示器１６は、第１表示器１６Ａと第２表示器１６Ｂとを備えている。第１表示器１６Ａと第２表示器１６Ｂとは、それぞれ異なる２つのモニタであってもよいし、１つのモニタのそれぞれ異なる領域であってもよい。
　画像表示制御部４８Ａは、時系列画像取得部４０が取得した動画３８を第１表示器１６Ａ及び第２表示器１６Ｂの少なくとも一方に出力する。また、報知情報表示制御部４８Ｂは、注目領域を報知する報知情報を第１表示器１６Ａ及び第２表示器１６Ｂの少なくとも一方に出力する。
　図１８～図２０は、それぞれ複数の表示部に対する表示内容を説明するための図である。図１８～図２０は、上段に第１表示器１６Ａ、下段に第２表示器１６Ｂの、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３における表示内容の一例を示している。
　図１８～図２０に示すように、第１表示器１６Ａには、動画３８の連続するフレーム画像である時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３のフレーム画像３８ａがそれぞれ時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３において表示される。時間ｔ、時間ｔ＋１、及び時間ｔ＋２のフレーム画像３８ａは、同一の注目領域Ｒ１３を含んでいる。また、時間ｔ＋３のフレーム画像３８ａでは、注目領域は含まれていない。
　図１８に示す例では、第２表示器１６Ｂには、第１表示器１６Ａと同様に、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３のフレーム画像３８ａがそれぞれ時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３において表示されている。
　また、第２表示器１６Ｂに表示された時間ｔ、時間ｔ＋１、及び時間ｔ＋２のフレーム画像３８ａには、それぞれ注目領域Ｒ１３の累計時間に応じた強調度の図形Ｅ１０１、図形Ｅ１０２、及び図形Ｅ１０３が、注目領域Ｒ１３の位置に重畳されている。図形Ｅ１０１、図形Ｅ１０２、及び図形Ｅ１０３は、注目領域Ｒ１３の位置を囲う枠形状の図形であり、それぞれ線の透過度が異なっている。
　このように動画３８を表示することで、ユーザは第１表示器１６Ａによって画像の観察を行い、必要に応じて第２表示器１６Ｂによって注目領域の報知を確認することができる。
　また、図１９に示す例では、第２表示器１６Ｂにはフレーム画像３８ａは表示されておらず、報知情報である図形のみが表示されている。第２表示器１６Ｂには、時間ｔ、時間ｔ＋１、及び時間ｔ＋２において、それぞれ注目領域Ｒ１３の累計時間に応じた強調度の図形Ｅ１０１、図形Ｅ１０２、及び図形Ｅ１０３が、各フレーム画像３８ａの注目領域Ｒ１３の位置に相当する位置に表示されている。また、時間ｔ＋３においては、図形は表示されていない。
　また、図２０に示す例においても、第２表示器１６Ｂには報知情報である図形のみが表示されている。第２表示器１６Ｂには、時間ｔ、時間ｔ＋１、及び時間ｔ＋２において、それぞれ注目領域Ｒ１３の累計時間に応じた強調度の図形Ｅ１１１、図形Ｅ１１２、及び図形Ｅ１１３が、各フレーム画像３８ａの注目領域Ｒ１３の位置に相当する位置に表示されている。図形Ｅ１１１、図形Ｅ１１２、及び図形Ｅ１１３は、注目領域Ｒ１３と略同形状の図形であり、それぞれ透過度が異なっている。また、時間ｔ＋３においては、図形は表示されていない。
　このように表示した場合でも、ユーザは第１表示器１６Ａによって画像の観察を行い、必要に応じて第２表示器１６Ｂによって注目領域の報知を確認することができる。
　〔医用画像処理方法：第２実施形態〕
　第２実施形態に係る医用画像処理方法の他の例について説明する。図２１は、第２実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。
　ステップＳ１１では、時系列画像取得部４０は、内視鏡スコープ１０により撮像された動画３８のフレーム画像３８ａをデータＤ１として取得する。注目領域検出部４１は、データＤ１から注目領域を検出する。
　ステップＳ１２では、制御部４７は、注目領域検出部４１が注目領域を検出したか否かを判定する。
　注目領域検出部４１が注目領域を検出していない場合は、ステップＳ１３へ移行する。ステップＳ１３では、制御部４７は、さらに注目領域を検出しない連続未検出時間が閾値時間Ｔｈより小さいか否かを判定する。ここでは連続未検出時間を判定しているが、連続未検出フレーム数を判定してもよい。また、総計未検出時間、又は総計未検出フレーム数を判定してもよい。
　連続未検出時間が閾値時間Ｔｈ以上の場合はステップＳ１４に移行し、制御部４７は、データベースである注目領域記憶部５０をリセットする。即ち、注目領域記憶部５０に記憶されている注目領域の特徴量、累計時間、強調度を消去する。注目領域の特徴量、累計時間、強調度を消去しておくことで、次に注目領域を検出した場合に、新たに検出した注目領域であることを判断することができる。
　連続未検出時間が閾値時間Ｔｈより小さい場合はステップＳ１５に移行し、制御部４７は、データベースである注目領域記憶部５０を更新する。即ち、注目領域記憶部５０に記憶されている注目領域の特徴量、累計時間、強調度を最新の状態に更新する。また、連続未検出時間を更新する。このように注目領域記憶部５０を更新しておくことで、注目領域の検出が途切れてしまった場合であっても、同一の注目領域を再度検出した場合に強調度等を引き継ぐことができる。また、連続未検出時間の判定を適切に行うことができる。
　ステップＳ１４における注目領域記憶部５０のリセット、又はステップＳ１５における更新が終了したら、本フローチャートの処理を終了する。
　一方、ステップＳ１２において、注目領域検出部４１が注目領域を検出したと判定された場合は、ステップＳ１６へ移行する。
　ステップＳ１６では、同一注目領域判定部４６は、注目領域検出部４１が検出した注目領域が過去のフレーム画像において検出した注目領域と同一であるか否かを判定する。この判定は、注目領域記憶部５０に記憶された過去の注目領域の特徴量と、ステップＳ１１で検出された注目領域について注目領域情報取得部４２が算出した特徴量とを比較することで行う。
　ステップＳ１６において両注目領域が同一であると判定された場合は、ステップＳ１７へ移行する。また、ステップＳ１６において両注目領域が同一でないと判定された場合は、ステップＳ１８へ移行する。
　ステップＳ１８では、同一注目領域判定部４６は、さらに、ステップＳ１１で検出された注目領域の画像内の位置が過去に検出された注目領域の周辺の位置であるか否かを判定する。周辺の位置とは、例えば過去に検出された注目領域を中心とした一定の範囲内の位置である。
　ステップＳ１８において、注目領域が過去に検出された注目領域の周辺の位置に存在すると判定された場合は、ステップＳ１７に移行する。
　ステップＳ１７では、累計時間計測部４４は、ステップＳ１１で検出した注目領域の累計時間として注目領域記憶部５０に記憶されている注目領域の累計時間を引き継いで計測する。これにより、累計時間に応じた強調度を引き継ぐことができる。その後、ステップＳ１９へ移行する。
　また、ステップＳ１８において、過去に検出された注目領域の周辺の位置に存在しないと判定された場合も、ステップＳ１９に移行する。
　ステップＳ１９では、注目領域情報取得部４２は、動画３８のデータＤ１よりも過去のフレーム画像３８ａをデータＤ２として取得し、データＤ２から注目領域及び注目領域外の輝度値、色、及び動き情報等の特徴量を抽出する。この特徴量の抽出は、全フレームで実施してもよいし、ある一定間隔、もしくはユーザの意図したタイミング等で実施してもよい。実施しない場合は、ステップＳ１７からステップＳ２０へ移行すればよい。
　なお、注目領域情報取得部４２は、動画３８のデータＤ１よりも未来のフレーム画像３８ａをデータＤ２として取得してもよい。未来のフレーム画像３８ａを取得すると遅延が発生してしまうが、特徴量として動き情報を抽出する場合は、過去のフレーム画像３８ａ及び未来のフレーム画像３８ａを参照することで、高精度に抽出することができる。
　ちなみに、動き情報を取得する際に参照するフレーム画像３８ａは、現在のフレーム画像３８ａの直前及び直後のフレーム画像３８ａだけではなく、現在のフレーム画像３８ａを中心とした任意の数のフレーム画像３８ａの全て、もしくはそこから選択したフレーム画像３８ａを使用してもよい。これは、注目領域が時系列的に必ず連続して検出されるわけではないからである。また、過去のフレーム画像３８ａに関しては、強調度を引き継いだフレーム画像３８ａのみを対象にしてもよい。
　ステップＳ２０では、強調度設定部４５は、ステップＳ１１で検出した注目領域の強調度を設定する。強調度設定部４５は、ステップＳ１７で引き継いだ強調度をそのまま設定してもよいし、ステップＳ１９で抽出した特徴量に応じて引き継いだ強調度を変化させて設定してもよい。
　また、ステップＳ２１では、データベースである注目領域記憶部５０について、注目領域の特徴量、累計時間、強調度を更新する。
　次に、ステップＳ２２では、画像表示制御部４８Ａは、データＤ１であるフレーム画像３８ａを表示器１６に出力する。また、報知情報表示制御部４８Ｂは、強調度設定部４５により設定された強調度に基づいて、注目領域を報知する報知情報を表示器１６に出力する。
　これにより、表示器１６には、注目領域が強調されたフレーム画像３８ａが表示される。
　このように、検出した注目領域が過去の注目領域と同一である場合は強調度を引き継ぐことで、強調された累計時間が長いほど大きい値の強調度で注目領域を強調することができる。また、検出した注目領域が過去の注目領域と同一でない場合であっても、検出した注目領域の位置が過去の注目領域の位置の周辺に存在する場合は、同一の注目領域である場合と同様に強調度を引き継ぐことで、強調された累計時間が長いほど大きい値の強調度で注目領域を強調することができる。また、注目領域を検出しなかった場合であっても、未検出時間が閾値時間Ｔｈより小さい場合はデータベースを更新しておくことで、閾値時間Ｔｈが経過する前に同一の注目領域を再度検出した場合に、過去の注目領域の強調度等を引き継ぐことが可能となる。
　以上のように、医用画像の注目領域を適切に報知することができる。
　ここでは、医用画像として内視鏡画像を例に説明したが、本実施形態に係る医用画像処理装置は内視鏡画像に限定されず、カプセル内視鏡画像や超音波画像等の時系列の医用画像に適用することができる。
　〔その他〕
　上記の医用画像処理方法をコンピュータに実行させるためのプログラム５１を記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、内視鏡プロセッサ装置１２及び医用画像処理装置１４は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置１２及び医用画像処理装置１４を一体の装置として構成し、医用画像処理装置１４の機能を有する内視鏡プロセッサ装置１２としてもよい。
　また、内視鏡プロセッサ装置１２及び医用画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
９…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…医用画像処理装置
１５…操作部
１６…表示器
１６Ａ…第１表示器
１６Ｂ…第２表示器
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像素子
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮像指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４１…注目領域検出部
４２…注目領域情報取得部
４３…座標算出部
４４…累計時間計測部
４５…強調度設定部
４６…同一注目領域判定部
４７…制御部
４８…表示制御部
４８Ａ…画像表示制御部
４８Ｂ…報知情報表示制御部
４９…記憶部
５０…注目領域記憶部
５１…プログラム
Ｄ１，Ｄ２…データ
Ｅ１～Ｅ１１３…図形
Ｒ１～Ｒ１３…注目領域
Ｓ１～Ｓ２２…医用画像処理方法の各ステップ

Claims (22)

  1. 　時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理部と、
    　前記注目領域が強調された累計時間を計測する累計時間計測部と、
    　前記累計時間が相対的に長いほど前記強調度を相対的に大きい値に設定する強調度設定部と、
    　を備える医用画像処理装置。
  2. 　前記時系列の医用画像を取得する画像取得部と、
    　前記医用画像から注目領域を検出する注目領域検出部と、
    　を備えた請求項１に記載の医用画像処理装置。
  3. 　前記累計時間計測部は、複数の注目領域に対して各注目領域の累計時間をそれぞれ計測し、
    　前記強調度設定部は、前記各注目領域の累計時間に応じて前記各注目領域の強調度をそれぞれ設定する請求項１又は２に記載の医用画像処理装置。
  4. 　前記注目領域の特徴量を算出する特徴量算出部と、
    　前記注目領域の前記特徴量と前記累計時間とを関連付けて記憶する注目領域記憶部と、
    　第１医用画像に含まれる第１注目領域の特徴量と、前記注目領域記憶部に記憶された前記第１医用画像より時系列的に前の第２医用画像において強調された第２注目領域の特徴量との類似度から、前記第１注目領域が前記第２注目領域と同一であるか否かを判定する同一注目領域判定部と、
    　を備え、
    　前記累計時間計測部は、前記第１注目領域が前記第２注目領域と同一であると判定された場合に、前記第１注目領域の累計時間として前記第２注目領域の累計時間を引き継いで計測する請求項１から３のいずれか１項に記載の医用画像処理装置。
  5. 　前記同一注目領域判定部は、前記第１注目領域が前記第２注目領域と同一でないと判定された場合に、前記第１注目領域の特徴量と、前記注目領域記憶部に記憶された前記第２医用画像より時系列的に前の第３医用画像において強調された第３注目領域の特徴量との類似度から、前記第１注目領域が前記第３注目領域と同一であるか否かをさらに判定し、
    　前記累計時間計測部は、前記第１注目領域が前記第３注目領域と同一であると判定された場合に、前記第１注目領域の累計時間として前記第３注目領域の累計時間を引き継いで計測する請求項４に記載の医用画像処理装置。
  6. 　前記同一注目領域判定部は、前記第１注目領域が前記第２注目領域と同一でないと判定された場合に、前記第１注目領域が前記第１医用画像内の予め定められた範囲内の位置に存在するか否かを判定し、
    　前記累計時間計測部は、前記予め定められた範囲内の位置であると判定された場合に、前記第１注目領域の累計時間として前記第２注目領域の累計時間を引き継いで計測する請求項４又は５に記載の医用画像処理装置。
  7. 　前記強調処理部は、注目領域の位置を示す図形を前記医用画像に重畳し、
    　前記強調度設定部は、前記累計時間が相対的に長いほど前記図形の透過度を相対的に小さく設定する請求項１から６のいずれか１項に記載の医用画像処理装置。
  8. 　前記強調処理部は、注目領域の位置を示す図形を前記医用画像に重畳し、
    　前記強調度設定部は、前記累計時間が相対的に長いほど前記図形の色を色強度指標に基づいた色強度を相対的に高く設定する請求項１から７のいずれか１項に記載の医用画像処理装置。
  9. 　前記強調処理部は、注目領域の位置を示す図形を前記医用画像に重畳し、
    　前記強調度設定部は、前記累計時間が相対的に長いほど前記図形の大きさを相対的に大きく設定する請求項１から８のいずれか１項に記載の医用画像処理装置。
  10. 　前記強調処理部は、注目領域を囲む枠形状の図形を前記医用画像に重畳し、
    　前記強調度設定部は、前記累計時間が相対的に長いほど前記枠形状の図形の太さを相対的に太く設定する請求項１から９のいずれか１項に記載の医用画像処理装置。
  11. 　前記強調度設定部は、１枚の前記医用画像に存在する注目領域の数が相対的に多いほど、前記累計時間に対する前記強調度の増加率を相対的に大きくする請求項１から１０のいずれか１項に記載の医用画像処理装置。
  12. 　前記強調度設定部は、前記注目領域の前記医用画像内の位置に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１１のいずれか１項に記載の医用画像処理装置。
  13. 　前記強調度設定部は、前記注目領域の輝度値、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１２のいずれか１項に記載の医用画像処理装置。
  14. 　前記強調度設定部は、前記注目領域の色情報、又は前記注目領域の色情報と前記注目領域外の色情報との差分に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１３のいずれか１項に記載の医用画像処理装置。
  15. 　前記強調度設定部は、前記注目領域の動き量、又は前記注目領域の動き方向に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１４のいずれか１項に記載の医用画像処理装置。
  16. 　前記注目領域が強調された前記時系列の医用画像を表示部に順次表示させる表示制御部を備えた請求項１から１５のいずれか１項に記載の医用画像処理装置。
  17. 　前記表示制御部は、前記注目領域が強調された前記時系列の医用画像を複数の表示部のうち少なくとも１つの前記表示部に順次表示させる請求項１６に記載の医用画像処理装置。
  18. 　請求項１７に記載の医用画像処理装置と、
    　前記表示部と、
    　を備えた診断支援装置。
  19. 　請求項１から１７のいずれか１項に記載の医用画像処理装置と、
    　前記時系列の医用画像を撮像する内視鏡スコープと、
    　を備えた内視鏡システム。
  20. 　時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理工程と、
    　前記注目領域が強調された累計時間を計測する累計時間計測工程と、
    　前記累計時間が長いほど前記強調度を大きい値に設定する強調度設定工程と、
    　を備える医用画像処理方法。
  21. 　請求項２０に記載の医用画像処理方法をコンピュータに実行させるためのプログラム。
  22. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項２１に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2019/037482 2018-09-28 2019-09-25 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム WO2020067105A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020549262A JP7282796B2 (ja) 2018-09-28 2019-09-25 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム
CN201980063730.7A CN112770662A (zh) 2018-09-28 2019-09-25 医用图像处理装置、医用图像处理方法、及程序、诊断辅助装置以及内窥镜系统
EP19864705.9A EP3858222B1 (en) 2018-09-28 2019-09-25 Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system
EP23204354.7A EP4285809A3 (en) 2018-09-28 2019-09-25 Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system
US17/204,904 US11910994B2 (en) 2018-09-28 2021-03-17 Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
JP2023065683A JP7413585B2 (ja) 2018-09-28 2023-04-13 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
US18/418,326 US20240156327A1 (en) 2018-09-28 2024-01-21 Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-185057 2018-09-28
JP2018185057 2018-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/204,904 Continuation US11910994B2 (en) 2018-09-28 2021-03-17 Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system

Publications (1)

Publication Number Publication Date
WO2020067105A1 true WO2020067105A1 (ja) 2020-04-02

Family

ID=69949874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037482 WO2020067105A1 (ja) 2018-09-28 2019-09-25 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム

Country Status (5)

Country Link
US (2) US11910994B2 (ja)
EP (2) EP4285809A3 (ja)
JP (2) JP7282796B2 (ja)
CN (1) CN112770662A (ja)
WO (1) WO2020067105A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054400A1 (ja) * 2020-09-11 2022-03-17 富士フイルム株式会社 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
WO2022059293A1 (ja) * 2020-09-15 2022-03-24 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
WO2022186109A1 (ja) * 2021-03-01 2022-09-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2023162216A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
EP4129152A4 (en) * 2020-04-03 2023-09-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, OPERATING METHOD FOR MEDICAL IMAGE PROCESSING APPARATUS, AND PROGRAM FOR MEDICAL IMAGE PROCESSING APPARATUS

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11329842B2 (en) 2020-02-07 2022-05-10 Ademco Inc. Dynamic superframe slotting
US11582746B2 (en) 2021-04-01 2023-02-14 Ademco Inc. Dynamic, multi-frequency superframe slotting
US11658736B2 (en) 2021-07-13 2023-05-23 Ademco Inc. Keypad with repeater mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006255021A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 画像表示装置及び画像表示方法
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
WO2017073337A1 (ja) 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
US8542896B2 (en) * 2008-10-20 2013-09-24 Hitachi Medical Corporation Medical image processing device and medical image processing method
JP5220780B2 (ja) * 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP6150583B2 (ja) 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
WO2017221353A1 (ja) 2016-06-22 2017-12-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
EP3410393A1 (en) * 2017-06-01 2018-12-05 Siemens Healthcare GmbH Comparing medical images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006255021A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 画像表示装置及び画像表示方法
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
WO2017073337A1 (ja) 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4129152A4 (en) * 2020-04-03 2023-09-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, OPERATING METHOD FOR MEDICAL IMAGE PROCESSING APPARATUS, AND PROGRAM FOR MEDICAL IMAGE PROCESSING APPARATUS
WO2022054400A1 (ja) * 2020-09-11 2022-03-17 富士フイルム株式会社 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
WO2022059293A1 (ja) * 2020-09-15 2022-03-24 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP2022048866A (ja) * 2020-09-15 2022-03-28 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
JP7229210B2 (ja) 2020-09-15 2023-02-27 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
WO2022186109A1 (ja) * 2021-03-01 2022-09-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2023162216A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
EP3858222A1 (en) 2021-08-04
EP3858222B1 (en) 2023-11-22
US11910994B2 (en) 2024-02-27
CN112770662A (zh) 2021-05-07
EP4285809A2 (en) 2023-12-06
EP3858222A4 (en) 2021-11-03
US20210201486A1 (en) 2021-07-01
JP7282796B2 (ja) 2023-05-29
JPWO2020067105A1 (ja) 2021-09-16
EP4285809A3 (en) 2024-02-21
JP2023080276A (ja) 2023-06-08
US20240156327A1 (en) 2024-05-16
JP7413585B2 (ja) 2024-01-15

Similar Documents

Publication Publication Date Title
JP7282796B2 (ja) 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム
US11526986B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7411772B2 (ja) 内視鏡システム
US20210233648A1 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
JPWO2012114600A1 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
US20210174115A1 (en) Medical image processing apparatus, medical image processing method, program, and endoscope system
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
US11481944B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
WO2020184257A1 (ja) 医用画像処理装置及び方法
CN115361898A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序
CN112752535B (zh) 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
WO2020054541A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
WO2020067100A1 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
US20210196099A1 (en) Medical image processing apparatus, processor device, medical image processing method, and program
JPWO2017183201A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19864705

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020549262

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019864705

Country of ref document: EP

Effective date: 20210428