WO2022181517A1 - 医療画像処理装置、方法及びプログラム - Google Patents

医療画像処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2022181517A1
WO2022181517A1 PCT/JP2022/006858 JP2022006858W WO2022181517A1 WO 2022181517 A1 WO2022181517 A1 WO 2022181517A1 JP 2022006858 W JP2022006858 W JP 2022006858W WO 2022181517 A1 WO2022181517 A1 WO 2022181517A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
attention area
display
class information
image processing
Prior art date
Application number
PCT/JP2022/006858
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023502372A priority Critical patent/JPWO2022181517A1/ja
Priority to EP22759553.5A priority patent/EP4299015A4/en
Priority to CN202280014921.6A priority patent/CN116847788A/zh
Publication of WO2022181517A1 publication Critical patent/WO2022181517A1/ja
Priority to US18/366,635 priority patent/US20230394780A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the endoscopic image processing apparatus described in Patent Document 1 sequentially receives observation images of a subject, performs processing for detecting lesion candidate regions from the observation images, and detects lesion candidate regions continuously. Secondly, the lesion candidate region is emphasized by the marker image in the observed image of the subject input after the lapse of the first time from the start of detection of the lesion candidate region. Further, when the second time has elapsed after the first time has passed, the emphasis processing is ended, and the notification processing of adding a notification image (icon indicating a flag) to the area outside the observation image in the display image. I do.
  • class information indicating the classification class of a region of interest detected from a time-series medical image is displayed superimposed on the position of the detected region of interest, so that the position of the region of interest and the classified class can be presented to the user in an easy-to-understand manner, and the relative position of the class information with respect to the superimposed attention area is changed according to the elapsed time since the attention area was recognized. It can be made so as not to interfere with the user's observation.
  • the second display control causes the display unit to display emphasis information that emphasizes the attention area, and fixes the relative position of the emphasis information with respect to the attention area.
  • Emphasis information for emphasizing the attention area can be, for example, a rectangular frame surrounding the attention area.
  • Class information can be added to the rectangular frame by setting the color of the rectangular frame to a color corresponding to the class of the attention area.
  • the processor performs reception processing for receiving a freeze instruction from the user operation unit, and the first display control, when receiving the freeze instruction, changes the medical image to be displayed on the display unit. It is preferable that the process of switching the sequential display to the fixed display of one medical image is performed, and the second display control fixes the relative position of the class information with respect to the attention area during the period during which the display is switched to the fixed display.
  • the second display control step when changing the relative position of the class information according to the elapsed time, it is preferable to change in a direction away from the position of the attention area.
  • the second display control step changes the mode of change according to the classified class when changing the relative position of the class information according to the elapsed time. is preferred.
  • the second display control step changes the display form of the class information to another display form when changing the relative position of the class information according to the elapsed time. is preferred.
  • the class information includes at least one of character information indicating the classified class, markers, and graphics.
  • the second display control step causes the display unit to display emphasis information that emphasizes the attention area, and fixes the relative position of the emphasis information with respect to the attention area.
  • the medical image is preferably an ultrasound image.
  • An invention according to a nineteenth aspect is a medical image processing program that causes a processor to execute the processing of each step in the medical image processing method according to the tenth to eighteenth aspects.
  • the user by superimposing the class information indicating the classification class of the attention area detected from the time-series medical images on the position of the detected attention area, the user can understand the position of the attention area and the classified class.
  • the class information since the relative position of the class information with respect to the attention area superimposed and displayed is changed according to the elapsed time after the attention area is recognized, the class information can be displayed according to the user's observation. You can get it out of the way.
  • the ultrasonic scope 10 includes an insertion portion 20 to be inserted into the body cavity of the subject, a hand operation portion 22 connected to the proximal end portion of the insertion portion 20 and operated by the operator, and one end of the hand operation portion 22. and a universal cord 24 to which is connected.
  • the other end of the universal cord 24 is connected to an ultrasonic connector 26 connected to the ultrasonic processor device 12 , an endoscope connector 28 connected to the endoscope processor device 14 , and the light source device 16 .
  • a light source connector 30 is provided.
  • the monitor 18 receives each video signal generated by the ultrasound processor device 12 and the endoscope processor device 14 and displays an ultrasound image and an endoscopic image.
  • the display of the ultrasonic image and the endoscopic image it is possible to display either one of the images on the monitor 18 by appropriately switching between them, or to display both images at the same time.
  • An ultrasonic probe 62 and a bag-shaped balloon 64 covering the ultrasonic probe 62 are attached to the tip body 50 .
  • the balloon 64 can be inflated or deflated by being supplied with water from the water supply tank 70 or by sucking the water inside the balloon 64 with the suction pump 72 .
  • the balloon 64 is inflated until it abuts against the inner wall of the body cavity in order to prevent attenuation of ultrasonic waves and ultrasonic echoes (echo signals) during ultrasonic observation.
  • an endoscope observation section (not shown) having an observation section equipped with an objective lens, an imaging device, and the like, and an illumination section is attached to the distal end body 50 .
  • the endoscope observation section is provided behind the ultrasonic probe 62 (on the hand operation section 22 side).
  • the ultrasound processor device 12 shown in FIG. The processing of each unit is implemented by one or more processors.
  • the CPU 104 operates based on various programs including the medical image processing program according to the present invention stored in the memory 112. It centrally controls the display control unit 110 and functions as a part of these units.
  • the transmitting/receiving unit 100 and the image generating unit 102 functioning as a medical image acquisition processing unit sequentially acquire time-series medical images.
  • a transmission unit of the transmission/reception unit 100 generates a plurality of drive signals to be applied to a plurality of ultrasonic transducers of the ultrasonic probe 62 of the ultrasonic scope 10, and based on a transmission delay pattern selected by a scanning control unit (not shown). to apply the plurality of drive signals to the plurality of ultrasonic transducers by giving respective delay times to the plurality of drive signals.
  • the image generation unit 102 further corrects the attenuation due to distance according to the depth of the reflection position of the ultrasonic wave by STC (Sensitivity Timegain Control) for the sound ray data, and then performs envelope detection processing using a low-pass filter or the like.
  • Envelope data for one frame, preferably a plurality of frames, is stored in a cine memory (not shown).
  • the image generation unit 102 performs preprocessing such as log (logarithmic) compression and gain adjustment on the envelope data stored in the cine memory to generate a B-mode image.
  • the transmitting/receiving unit 100 and the image generating unit 102 sequentially acquire time-series B-mode images (hereinafter referred to as "medical images").
  • the attention area recognizing unit 106 recognizes the position of the attention area for each input medical image, outputs information about the position, and determines whether the attention area is one of a plurality of classes. and output information indicating the recognized class (class information).
  • the position of the attention area can be, for example, the center position of a rectangle surrounding the attention area.
  • the class information is information indicating the type of organ in this example.
  • the display control unit 110 is composed of a first display control unit 110A that displays time-series medical images on the monitor 18, which is a display unit, and a second display control unit 110B that causes the monitor 18 to display information about the attention area.
  • the first display control unit 110A causes the monitor 18 to display the medical images sequentially acquired by the transmission/reception unit 100 and the image generation unit 102 .
  • a moving image showing an ultrasonic tomographic image is displayed on the monitor 18 .
  • the first display control unit 110A also performs a reception process for accepting a freeze instruction from the hand operation unit 22 (user operation unit) of the ultrasonic scope 10. For example, when the freeze button of the hand operation unit 22 is operated, the freeze instruction is issued. When the request is accepted, processing is performed to switch the sequential display of the medical images displayed on the monitor 18 to the fixed display of one medical image (current medical image).
  • the second display control unit 110B superimposes the class information indicating the classification of the attention area recognized by the attention area recognition unit 106 on the position of the attention area of the medical image displayed on the monitor 18, but the time measurement processing unit The relative position of the class information with respect to the superimposed and displayed attention area is changed according to the elapsed time from the recognition of the attention area measured by 108 .
  • a display example of the class information indicating the classification of the attention area displayed on the monitor 18 by the second display control unit 110B will be described below.
  • FIG. 3 is a diagram showing a first display example of medical images and class information displayed on a monitor.
  • the region of interest R1 is the pancreas, and the region of interest R2 is the splenic vein.
  • the class information indicating the classification of the detected attention areas R1 and R2 can be notified to the user.
  • the attention areas R1 and R2 it is necessary to identify the accurate positions of the attention areas R1 and R2, so it is preferable to superimpose the class information near the center of each attention area R1 and R2.
  • FIG. 4 is a diagram showing a second display example of the medical image and class information displayed on the monitor.
  • the region of interest R1 is the pancreas
  • the region of interest R3 is the main pancreatic duct.
  • the class information (“Panc.”, “MPD”) indicating the classification of the attention areas R1 and R3 is transferred to the attention area. Move outside R1 and R3.
  • the class information (“MPD”) of the attention area R3 is moved outside the attention area R3.
  • the relative position of the class information (“Panc.”) indicating the classification of the attention area R1 with respect to the attention area R3 is fixed. That is, for class information indicating one or more specific class classifications among a plurality of classes ((“Panc.”) in this example), the relative position of the class information indicating the specific class classification with respect to the attention area is Fixed display without moving.
  • the attention area R1 and the attention area R3 are different in size, and the attention area R1 is relatively large, while the attention area R3 is small.
  • the attention area R3 is small, superimposing the class information (“MPD”) indicating the classification of the attention area on the position of the small attention area R3 greatly reduces the visibility of the attention area R3.
  • MPD class information
  • the attention area R1 is large, even if the class information (“Panc.”) indicating the classification of the attention area is superimposed on the position of the large attention area R1, the visibility of the attention area R3 is hardly lowered.
  • the class information indicating the classification of the attention area is superimposed on the attention area, the visibility of the attention area does not significantly decrease, and the specific class information does not significantly deteriorate the attention area. It may be arranged not to be moved afterward.
  • the attention area R3 and the class information (“MPD”) are connected with a leader line to clarify the relationship between the two.
  • the display example differs from the display example shown in FIG. 4(d).
  • FIG. 5 is a diagram showing a third display example of the medical image and class information displayed on the monitor.
  • FIG. 5(a) shows the screen of the monitor 18 when the attention areas R1 and R2 are detected
  • FIG. 5(b) shows the screen of the monitor 18 after a certain period of time has elapsed since the attention areas R1 and R2 were detected. showing.
  • the third display example shown in FIG. 5 differs from the first display example shown in FIG. 3 in the display form of the class information when the attention areas R1 and R2 are detected.
  • a marker (circle) indicating the pancreas is superimposed on the position of the attention area R1 as class information
  • a marker (circle) indicating the pancreas is superimposed on the attention area R2 as class information.
  • a marker (asterisk) indicating the splenic vein is displayed superimposed. Note that the type of class information indicating the classification of the attention area and the type of the marker are associated in advance, so that the user can visually recognize the type of the marker superimposed on the position of the attention area to obtain the class information. can be confirmed.
  • the marker can be displayed smaller than the character information, and accurate position information of the attention area can be displayed with good visibility. Further, by changing the class information from markers to character information after a certain period of time has elapsed, detailed information of the class information can be displayed in an easily interpretable manner.
  • the fourth display example shown in FIG. 6 is different from the first display example shown in FIG. 3 in that emphasis information for emphasizing the attention regions R1 and R2 is further displayed.
  • the emphasis information that emphasizes the attention areas R1 and R2 shown in FIG. 6 is displayed with the relative positions with respect to the attention areas R1 and R2 fixed regardless of the time elapsed since the attention areas R1 and R2 were detected. That is, when the attention regions R1 and R2 move in the moving image medical image, the emphasis information also moves along with the attention regions R1 and R2, but the relative positions of the emphasis information with respect to the attention regions R1 and R2 are fixed. be.
  • the emphasis information that emphasizes the attention areas R1 and R2 shown in FIG. 6 is a rectangular frame (bounding box) that surrounds the attention areas.
  • a bounding box surrounding the attention area can be obtained from the attention area recognition unit 106 .
  • the intersection of the diagonal lines of the bounding box can be set as the center position of the attention area.
  • the bounding box may have the same color (for example, white) and the same line type regardless of the class information indicating the classification of the attention area, or the color and/or Different line types may be used. In the latter case the bounding box will contain the class information.
  • the bounding box can be displayed so that the regions of interest R1 and R2 are inscribed or slightly larger than the regions of interest R1 and R2. Regardless of how long it has been since detection, there is no problem with fixed display.
  • the emphasis information for emphasizing each attention area is not limited to the bounding box. ), or an arrow indicating the position of the attention area.
  • the class information is displayed identifiably by character information (including abbreviations), markers, etc., but the class information is displayed identifiably by graphics. You may do so. For example, bounding boxes that are colored according to class information are included in the graphics. Further, there are cases where the display form of the marker and the figure cannot be clearly distinguished. For example, the markers (circles and stars) shown in FIG. 5A can be said to be figures.
  • the method of displaying class information and the method of transitioning the position of class information according to the elapsed time from the time of detection are not limited to the first to fourth display examples, and various methods are conceivable.
  • FIG. 7 is a flow chart showing the first embodiment of the medical image processing method according to the present invention, showing the processing procedure of each part of the ultrasonic processor device 12 shown in FIG.
  • i is a parameter indicating the type of organ from 1 to n, where n is the number of types of organ (the number of classes).
  • T1 is the timer corresponding to the first type of organ and Tn is the timer corresponding to the nth type of organ.
  • the transmitting/receiving unit 100 and the image generating unit 102 functioning as a medical image acquisition processing unit sequentially acquire time-series medical images (step S12).
  • the frame rate of time-series medical images is, for example, 30 fps (frames per second)
  • one frame of medical images is acquired every 1/30 (second).
  • the first display control unit 110A causes the monitor 18 to display the medical image acquired in step S12 (step S20 (first display control step S16)).
  • the CPU 104 determines whether or not the attention area Ri is recognized in step S14, and if the attention area Ri is recognized, the process proceeds to step S20 (second display control step S20) (step S18).
  • a region of interest R1 indicating the pancreas and a region of interest R2 indicating the splenic vein are recognized, and the region of interest R1 is classified at a position near the center of the region of interest R1.
  • class information C1 (“Panc.”) indicating the target region R2 is superimposed and displayed, and class information C2 (“SV”) indicating the classification of the target region R2 is superimposed and displayed at a position near the center of the target region R2.
  • the count value of the timer Ti in this example corresponds to the number of frames when the same attention area Ri is continuously detected from time-series medical images after the attention area Ri is first detected. Therefore, when the frame rate is 30 fps and the count value of the timer T1 is 30 when the attention area R1 is continuously detected, it means 1 second. That is, the count value of the timer Ti indicates the elapsed time since the attention area Ri was recognized.
  • the CPU 104 determines whether or not the count value of the timer Ti is greater than or equal to the threshold Th (step S24).
  • step S12 When the count value of the timer Ti is less than the threshold Th, the CPU 104 makes a transition to step S12. As a result, the processing from step S12 to step S24 is repeated.
  • step S26 when the count value of the timer Ti is equal to or greater than the threshold Th, the CPU 104 makes a transition to step S26.
  • step S26 the second display control unit 110B moves the relative position of the class information Ci with respect to the attention area Ri superimposed and displayed in step S20 in a direction away from the position near the center of the attention area Ri.
  • class information ( "Panc.”, "SV" are moved outside the attention areas R1 and R2 as shown in FIG. 3(b).
  • the class information Ci indicating the classification of the attention area Ri is moved outside the attention area Ri, The display of the class information Ci does not interfere with the diagnosis of the attention area Ri.
  • step S18 determines whether the attention area Ri has been recognized ("No")
  • the CPU 104 determines whether the attention area Ri was recognized in the previous (one frame previous) medical image. It is further determined whether or not (step S28).
  • step S12 determines that the region of interest Ri has been recognized in the previous medical image. If the CPU 104 determines that the region of interest Ri has not been recognized in the previous medical image as well, the process proceeds to step S12, and if it determines that the region of interest Ri has been recognized in the previous medical image, the process proceeds to step S30. .
  • step S30 the region of interest Ri was recognized in the previous medical image, but the region of interest Ri is not recognized in the current medical image. End the display.
  • the CPU 104 resets the count value of the timer Ti to zero (step S32), and transitions to step S12.
  • the class information Ci when the class information Ci is displayed superimposed on the position of the attention area Ri is not limited to character information indicating the name or abbreviation of the type of organ in the attention area Ri.
  • Other display forms, such as markers and graphics, may be used.
  • step S26 after a certain period of time has elapsed since the attention area Ri was recognized (when the count value of the timer Ti is equal to or greater than the threshold value Th), the class information Ci displayed at a position near the center of the attention area Ri becomes the attention area Ri. Although it is moved outside the region Ri, the direction of movement can be changed according to the class information Ci indicating the classification of the attention region Ri (see FIG. 4B).
  • the class information of the specific class (“Panc.” indicating pancreas) may not be moved from the position of the attention area even after a certain period of time has elapsed.
  • the moved class information (“MPD”) and the attention area R3 are connected by a line to clarify the relationship between the two.
  • the display form of the marker indicating the class information Ci before the lapse of a certain period of time may be changed to the display form of the character information indicating the class information Ci after the lapse of the certain period of time.
  • FIG. 8 is a flow chart showing a second embodiment of the medical image processing method according to the present invention.
  • the medical image processing method of the second embodiment shown in FIG. 8 differs from the medical image processing method of the first embodiment shown in FIG. 7 in that the process of step S40 is added.
  • Step S40 (second display control step S40) shown in FIG. 8 further indicates the classification of the attention area Ri after a certain period of time has elapsed since the attention area Ri was recognized (when the count value of the timer Ti is equal to or greater than the threshold value Th). It is determined whether or not the class information Ci is class information of a specific class.
  • step S40 If it is determined in step S40 that the class information Ci indicating the classification of the attention area Ri is class information of a specific class ("Yes"), the process proceeds to step S12. In this case, since the process does not proceed to step S26, the position of the class information indicating the specific class is fixed regardless of the elapsed time since the attention area of the specific class was detected.
  • class information indicating a specific class (“Panc.” indicating pancreas) is kept from moving from the position of the attention area even after a certain period of time has elapsed. .
  • FIG. 9 is a flow chart showing a third embodiment of a medical image processing method according to the present invention.
  • the medical image processing method of the third embodiment shown in FIG. 9 differs from the medical image processing method of the first embodiment shown in FIG. 7 in that the processes of steps S50 and S40 are added.
  • step S50 shown in FIG. 9 it is determined whether or not a freeze instruction has been received from the handheld operation unit 22 of the ultrasonic scope 10.
  • step S52 it is determined whether or not the freeze release instruction has been received. If it is determined in step S52 that the freeze release instruction has not been received ("No"), the process returns to step S50, and if it is determined that the freeze release instruction has been received ("Yes"), the process proceeds to step S22. transition.
  • step S12 when the freeze instruction is received, the transition to step S12 does not occur until the freeze release instruction is received, and as a result, acquisition of new medical images in step S12 and sequential display of new medical images in step S16 are stopped. Then, the monitor 18 displays (fixedly displays as a still image) the medical image at the time when the freeze instruction is received.
  • the class information Ci indicating the classification of the attention area Ri recognized from the medical image at the time the freeze instruction is accepted is also fixedly displayed during the period until the freeze release instruction is accepted.
  • the medical image displayed on the monitor 18 is fixed to the medical image at the time the freeze instruction is accepted, and the moving image display is switched to the still image display until the freeze instruction is canceled.
  • the display of the class information Ci indicating the classification of the attention area Ri is also fixed.
  • the ultrasound processor device 12 has the function as the medical image processing device according to the present invention, but the present invention is not limited to this, and a personal computer or the like separate from the ultrasound processor device 12 may be used. , acquires time-series medical images from the ultrasound processor 12 and functions as a medical image processing apparatus according to the present invention.
  • time-series medical images are not limited to ultrasonic images.
  • they are captured by an objective lens and an imaging element provided in the distal end main body 50 of the ultrasonic scope 10, and output from the endoscope processor device 14. It may be time-series endoscopic images.
  • the region of interest in the medical image is not limited to various organs, and may be, for example, a lesion region.
  • classes of lesion areas may include tumor, non-tumor, and others.
  • the hardware structure for executing various controls of the ultrasound processor device (medical image processing device) of the above embodiment is the following various processors.
  • the circuit configuration can be changed after manufacturing, such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes software (program) and functions as various control units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA).
  • a plurality of control units may be configured by one processor.
  • one processor is configured with a combination of one or more CPUs and software, as typified by a computer such as a client or a server.
  • a processor functions as multiple controllers.
  • SoC System On Chip
  • various control units are configured using one or more of the above various processors as a hardware structure.
  • the present invention includes a medical image processing program that, when installed in a computer, causes the computer to function as the medical image processing apparatus according to the present invention, and a non-volatile storage medium in which this medical image processing program is recorded.
  • Ultrasound Endoscope System 10 Ultrasound Scope 12 Ultrasound Processor Device 14 Endoscope Processor Device 16 Light Source Device 18 Monitor 20 Insertion Portion 20a Longitudinal Axis 22 Hand Operation Part 24 Universal Cord 26 Ultrasound Connector 28 Endoscopy Speculum connector 30 Light source connectors 32, 34 Tube 36 Air supply/water supply button 38 Suction button 42 Angle knob 44 Treatment instrument insertion port 50 Distal portion main body 52 Bending portion 54 Flexible portion 62 Ultrasonic probe 64 Balloon 70 Water supply tank 72 Suction Pump 100 Transmission/reception unit 102 Image generation unit 104 CPU 106 attention area recognition unit 108 time measurement processing unit 110 display control unit 110A first display control unit 110B second display control unit 112 memories C1, C2, Ci class information R1, R2, R3, Ri attention areas S10 to S32, S40, S50, S52 step

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

時系列の医療画像から検出した注目領域の位置及び分類したクラスの情報をユーザに分かりやすく提示しつつ、ユーザの観察の邪魔にならないようにすることができる医療画像処理装置、方法及びプログラムを提供する。プロセッサを備えた医療画像処理装置において、プロセッサは、時系列の医療画像を順次取得し、取得した医療画像を表示部に順次表示させる。また、取得した医療画像に基づいて医療画像内の注目領域の位置に関する情報の取得と、注目領域を複数のクラスのうちのいずれかのクラスに分類する処理とを行い、分類したクラスを示すクラス情報を、表示部に表示された医療画像の注目領域の位置に重畳表示させる。また、プロセッサは、重畳表示させた注目領域に対するクラス情報の相対位置を、注目領域が認識されてからの経過時間に応じて変更させる。

Description

医療画像処理装置、方法及びプログラム
　本発明は医療画像処理装置、方法及びプログラムに係り、特に医療画像の観察中に有用な情報をユーザに報知する技術に関する。
　従来、この種の機能を備えた画像処理装置として、特許文献１、２に記載のものが提案されている。
　特許文献１に記載の内視鏡画像処理装置は、被検体の観察画像が順次入力され、観察画像から病変候補領域を検出するための処理を行い、病変候補領域が継続して検出された場合に、病変候補領域の検出が開始されたタイミングから第１時間経過後に入力される被検体の観察画像に対し、マーカ画像により病変候補領域を強調処理する。また、第１時間が経過してから更に第２時間が経過すると、強調処理を終了するとともに、表示用画像内における観察画像の外側の領域に報知画像（フラグを示すアイコン）を付加する報知処理を行う。
国際公開第２０１７／２０３５６０号
　特許文献１に記載のマーカ画像は、検出された病変候補領域を囲むことで病変候補領域を強調表示し、病変候補領域の見逃しを防止するためのものであり、医療画像内の注目領域を分類したクラスに関する情報ではない。また、マーカ画像は、検出された病変候補領域を四角形等の枠で囲むことで病変候補領域を強調表示し、病変候補領域の位置に重畳表示されていない。
　ところで、時系列の医療画像から注目領域の位置及び分類したクラスをそれぞれ検出し、注目領域の位置及びクラスに関する情報を表示する場合、ユーザが視認しやすいように注目領域の位置にクラスに関する情報を重畳表示することが好ましい。
　しかしながら、注目領域の検出後にその注目領域のクラスに関する情報を注目領域の位置に重畳表示すると、ユーザが注目領域を観察する場合に、クラスに関する情報の表示が邪魔になる可能性がある。
　本発明はこのような事情に鑑みてなされたもので、時系列の医療画像から検出した注目領域の位置及び分類したクラスの情報をユーザに分かりやすく提示しつつ、ユーザの観察の邪魔にならないようにすることができる医療画像処理装置、方法及びプログラムを提供することを目的とする。
　上記目的を達成するために第１態様に係る発明は、プロセッサを備えた医療画像処理装置において、プロセッサは、時系列の医療画像を順次取得する医療画像取得処理と、医療画像を表示部に順次表示させる第１表示制御と、順次取得した医療画像に基づいて医療画像内の注目領域の位置に関する情報を認識する処理と、順次取得した医療画像に基づいて注目領域を複数のクラスのうちのいずれかのクラスに分類する処理と、分類したクラスを示すクラス情報を、表示部に表示された医療画像の注目領域の位置に重畳表示させる第２表示制御と、を行い、第２表示制御は、重畳表示させた注目領域に対するクラス情報の相対位置を、注目領域が認識されてからの経過時間に応じて変更させる。
　本発明の第１態様によれば、時系列の医療画像から検出した注目領域の分類クラスを示すクラス情報を、検出した注目領域の位置に重畳表示することで、注目領域の位置及び分類したクラスをユーザに分かりやすく提示することができ、また、重畳表示させた注目領域に対するクラス情報の相対位置を、その注目領域が認識されてからの経過時間に応じて変更させるようにしたため、クラス情報がユーザの観察の邪魔にならないようにすることができる。
　本発明の第２態様に係る医療画像処理装置において、第２表示制御は、クラス情報の相対位置を経過時間に応じて変化させる際に、注目領域の位置から離れる方向に変化させることが好ましい。これにより、ユーザが注目領域を観察する際に、クラス情報が邪魔にならないようにすることができる。
　本発明の第３態様に係る医療画像処理装置において、第２表示制御は、複数のクラスのうちの１つ以上の特定クラスを示すクラス情報については、特定クラスを示すクラス情報の注目領域に対する相対位置を固定することが好ましい。
　例えば、サイズが大きい注目領域の場合、その注目領域の位置にクラス情報を重畳表示しても観察の邪魔にならず、又は観察の邪魔になる程度が低いため、このような注目領域のクラス（特定クラス）を示すクラス情報は、認識されてからの経過時間にかかわらず固定することができる。
　本発明の第４態様に係る医療画像処理装置において、第２表示制御は、クラス情報の相対位置を経過時間に応じて変化させる際に、分類したクラスに応じて変化の態様を変更させることが好ましい。
　医療画像から検出される注目領域は、注目領域毎に周囲の状況（例えば、他の注目領域との位置関係）が異なる。したがって、注目領域の位置に重畳表示されたクラス情報を、経過時間に応じて変化させる場合、他の注目領域の観察の邪魔にならないように変化の態様（例えば、クラス情報を移動させる方向等）を変更させることが好ましい。
　本発明の第５態様に係る医療画像処理装置において、第２表示制御は、クラス情報の相対位置を経過時間に応じて変化させる際に、クラス情報の表示形態も他の表示形態に変更させることが好ましい。
　例えば、最初に注目領域が検出された場合には、注目領域の分類を示すクラス情報をマーカで表示し、その後の経過時間に応じてマーカを文字情報に変化させ、あるいは最初に注目領域が検出された場合には、注目領域の分類を示すクラス情報を文字情報で表示し、その後の経過時間に応じて文字情報をマーカに変化させるように表示形態を変化させることができる。
　本発明の第６態様に係る医療画像処理装置において、クラス情報は、分類したクラスを示す文字情報、マーカ、及び図形のうちの少なくとも１つを含む。
　本発明の第７態様に係る医療画像処理装置において、第２表示制御は、注目領域を強調する強調情報を表示部に表示させ、強調情報の注目領域に対する相対位置を固定することが好ましい。注目領域を強調する強調情報は、例えば、注目領域を囲む矩形枠とすることができる。また、矩形枠の色を注目領域のクラスに対応して設定した色にすることで、矩形枠にクラス情報を付加することができる。
　本発明の第８態様に係る医療画像処理装置において、プロセッサは、ユーザ操作部からフリーズ指示を受け付ける受付処理を行い、第１表示制御は、フリーズ指示を受け付けると、表示部に表示する医療画像の順次表示を１枚の医療画像による固定表示に切り替える処理を行い、第２表示制御は、固定表示に切り替えられている期間、クラス情報の注目領域に対する相対位置を固定することが好ましい。
　本発明の第９態様に係る医療画像処理装置において、医療画像は超音波画像であることが好ましい。超音波画像の場合、複数の注目領域（例えば、臓器、太い血管等）が同時に検出され、複数の注目領域にそれぞれ対応する複数のクラス情報が表示されるため、複数のクラス情報がユーザの観察の邪魔になりやすい。したがって、超音波画像の場合、注目領域が検出されてからの経過時間に応じて、注目領域に対するクラス情報の相対位置を変化させることが有効である。
　本発明の第１０態様に係る医療画像処理装置において、時系列の医療画像を順次取得するステップと、医療画像を表示部に順次表示させる第１表示制御ステップと、順次取得した医療画像に基づいて医療画像内の注目領域の位置に関する情報を認識するステップと、順次取得した医療画像に基づいて注目領域を複数のクラスのうちのいずれかのクラスに分類するステップと、分類したクラスを示すクラス情報を、表示部に表示された医療画像の注目領域の位置に重畳表示させる第２表示制御ステップであって、重畳表示させた注目領域に対するクラス情報の相対位置を、注目領域が認識されてからの経過時間に応じて変更させる第２表示制御ステップと、を含み、プロセッサが各ステップの処理を実行する。
　本発明の第１１態様に係る医療画像処理方法において、第２表示制御ステップ、クラス情報の相対位置を経過時間に応じて変化させる際に、注目領域の位置から離れる方向に変化させることが好ましい。
　本発明の第１２態様に係る医療画像処理方法において、第２表示制御ステップは、複数のクラスのうちの１つ以上の特定クラスを示すクラス情報については、特定クラスを示すクラス情報の注目領域に対する相対位置を固定することが好ましい。
　本発明の第１３態様に係る医療画像処理方法において、第２表示制御ステップは、クラス情報の相対位置を経過時間に応じて変化させる際に、分類したクラスに応じて変化の態様を変更させることが好ましい。
　本発明の第１４態様に係る医療画像処理方法において、第２表示制御ステップは、クラス情報の相対位置を経過時間に応じて変化させる際に、クラス情報の表示形態も他の表示形態に変更させることが好ましい。
　本発明の第１５態様に係る医療画像処理方法において、クラス情報は、分類したクラスを示す文字情報、マーカ、及び図形のうちの少なくとも１つを含む。
　本発明の第１６態様に係る医療画像処理方法において、第２表示制御ステップは、注目領域を強調する強調情報を表示部に表示させ、強調情報の注目領域に対する相対位置を固定することが好ましい。
　本発明の第１７態様に係る医療画像処理方法において、ユーザ操作部からフリーズ指示を受け付けるステップを含み、第１表示制御ステップは、フリーズ指示を受け付けると、表示部に表示する医療画像の順次表示を１枚の医療画像による固定表示に切り替え、第２表示制御ステップは、固定表示に切り替えられている期間、クラス情報の注目領域に対する相対位置を固定することが好ましい。
　本発明の第１８態様に係る医療画像処理方法において、医療画像は超音波画像であることが好ましい。
　第１９態様に係る発明は、第１０態様から第１８態様に係る医療画像処理方法における各ステップの処理を、プロセッサに実行させる医療画像処理プログラムである。
　本発明によれば、時系列の医療画像から検出した注目領域の分類クラスを示すクラス情報を、検出した注目領域の位置に重畳表示することで、注目領域の位置及び分類したクラスをユーザに分かりやすく提示することができ、また、重畳表示させた注目領域に対するクラス情報の相対位置を、その注目領域が認識されてからの経過時間に応じて変更させるようにしたため、クラス情報がユーザの観察の邪魔にならないようにすることができる。
図１は、本発明に係る医療画像処理装置を含む超音波内視鏡システムの全体構成を示す概略図である。 図２は、本発明に係る医療画像処理装置として機能する超音波用プロセッサ装置の実施形態を示すブロック図である。 図３は、モニタに表示される医療画像及びクラス情報の第１表示例を示す図である。 図４は、モニタに表示される医療画像及びクラス情報の第２表示例を示す図である。 図５は、モニタに表示される医療画像及びクラス情報の第３表示例を示す図である。 図６は、モニタに表示される医療画像及びクラス情報の第４表示例を示す図である。 図７は、本発明に係る医療画像処理方法の第１実施形態を示すフローチャートである。 図８は、本発明に係る医療画像処理方法の第２実施形態を示すフローチャートである。 図９は、本発明に係る医療画像処理方法の第３実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る医療画像処理装置、方法及びプログラムの好ましい実施形態について説明する。
　［医療画像処理装置を含む超音波内視鏡システムの全体構成］
　図１は、本発明に係る医療画像処理装置を含む超音波内視鏡システムの全体構成を示す概略図である。
　図１に示すように超音波内視鏡システム２は、超音波スコープ１０と、超音波画像を生成する超音波用プロセッサ装置１２と、内視鏡画像を生成する内視鏡用プロセッサ装置１４と、体腔内を照明するための照明光を超音波スコープ１０に供給する光源装置１６と、超音波画像及び内視鏡画像を表示するモニタ１８と、を備えている。
　超音波スコープ１０は、被検体の体腔内に挿入される挿入部２０と、挿入部２０の基端部に連設され、術者が操作を行う手元操作部２２と、手元操作部２２に一端が接続されたユニバーサルコード２４と、を備えている。ユニバーサルコード２４の他端には、超音波用プロセッサ装置１２に接続される超音波用コネクタ２６と、内視鏡用プロセッサ装置１４に接続される内視鏡用コネクタ２８と、光源装置１６に接続される光源用コネクタ３０とが設けられている。
　超音波スコープ１０は、これらの各コネクタ２６、２８、３０を介して超音波用プロセッサ装置１２、内視鏡用プロセッサ装置１４及び光源装置１６に着脱自在に接続される。また、光源用コネクタ３０には、送気送水用のチューブ３２と吸引用のチューブ３４とが接続される。
　モニタ１８は、超音波用プロセッサ装置１２及び内視鏡用プロセッサ装置１４により生成された各映像信号を受信して超音波画像及び内視鏡画像を表示する。超音波画像及び内視鏡画像の表示は、いずれか一方のみの画像を適宜切り替えてモニタ１８に表示したり、両方の画像を同時に表示したりすること等が可能である。
　手元操作部２２には、送気送水ボタン３６及び吸引ボタン３８が並設されるとともに、一対のアングルノブ４２及び処置具挿入口４４が設けられている。
　挿入部２０は、先端と基端と長手軸２０ａとを有し、先端側から順に、硬質部材で構成される先端部本体５０と、先端部本体５０の基端側に連設された湾曲部５２と、湾曲部５２の基端側と手元操作部２２の先端側との間を連結し、細長かつ長尺の可撓性を有する軟性部５４とから構成されている。即ち、先端部本体５０は、挿入部２０の長手軸２０ａ方向の先端側に設けられている。また、湾曲部５２は、手元操作部２２に設けられた一対のアングルノブ４２を回動することによって遠隔的に湾曲操作される。これにより、先端部本体５０を所望の方向に向けることができる。
　先端部本体５０には、超音波探触子６２と、超音波探触子６２を覆い包む袋状のバルーン６４が装着されている。バルーン６４は、送水タンク７０から水が供給され、又は吸引ポンプ７２によりバルーン６４内の水が吸引されることで、膨張又は収縮することができる。バルーン６４は、超音波観察時に超音波及び超音波エコー（エコー信号）の減衰を防ぐために、体腔内壁に当接するまで膨張させられる。
　また、先端部本体５０には、対物レンズ及び撮像素子等を備えた観察部と照明部とを有する、図示しない内視鏡観察部が装着されている。内視鏡観察部は、超音波探触子６２の後方（手元操作部２２側）に設けられている。
　［医療画像処理装置］
　図２は、本発明に係る医療画像処理装置として機能する超音波用プロセッサ装置の実施形態を示すブロック図である。
　図２に示す超音波用プロセッサ装置１２は、順次取得した時系列の医療画像に基づいて、医療画像内の注目領域を認識し、注目領域の認識結果を示す情報をユーザに報知するものであり、特に医療画像とともに表示する認識結果を示す情報を、注目領域を認識してからの経過時間に応じて表示形態を変更して報知する。
　図２に示す超音波用プロセッサ装置１２は、送受信部１００、画像生成部１０２、ＣＰＵ（Central Processing Unit）１０４、注目領域認識部１０６、時間計測処理部１０８、表示制御部１１０、及びメモリ１１２から構成され、各部の処理は、１又は複数のプロセッサにより実現される。
　ＣＰＵ１０４は、メモリ１１２に記憶された本発明に係る医療画像処理プログラムを含む各種のプログラムに基づいて動作し、送受信部１００、画像生成部１０２、注目領域認識部１０６、時間計測処理部１０８、及び表示制御部１１０を統括制御し、また、これらの各部の一部として機能する。
　医療画像取得処理部として機能する送受信部１００及び画像生成部１０２は、時系列の医療画像を順次取得する。
　送受信部１００の送信部は、超音波スコープ１０の超音波探触子６２の複数の超音波トランスデューサに印加する複数の駆動信号を生成し、図示しない走査制御部によって選択された送信遅延パターンに基づいて複数の駆動信号にそれぞれの遅延時間を与えて複数の駆動信号を複数の超音波トランスデューサに印加する。
　送受信部１００の受信部は、超音波探触子６２の複数の超音波トランスデューサからそれぞれ出力される複数の検出信号を増幅し、アナログの検出信号をディジタルの検出信号（ＲＦ（Radio Frequency）データともいう）に変換する。このＲＦデータは、画像生成部１０２に入力される。
　画像生成部１０２は、走査制御部により選択された受信遅延パターンに基づいて、ＲＦデータにより表される複数の検出信号にそれぞれの遅延時間を与え、それらの検出信号を加算することにより、受信フォーカス処理を行う。この受信フォーカス処理によって、超音波エコーの焦点が絞り込まれた音線データを形成する。
　画像生成部１０２は、更に音線データに対して、ＳＴＣ（Sensitivity Timegain Control）によって、超音波の反射位置の深度に応じて距離による減衰の補正をした後、ローパスフィルタ等によって包絡線検波処理を施すことにより包絡線データを生成し、１フレーム分、より好ましくは複数フレーム分の包絡線データを、図示しないシネメモリに格納する。画像生成部１０２は、シネメモリに格納された包絡線データに対して、Ｌｏｇ（対数）圧縮やゲイン調整等のプリプロセス処理を施してＢモード画像を生成する。
　このようにして、送受信部１００及び画像生成部１０２は、時系列のＢモード画像（以下、「医療画像」という）を順次取得する。
　注目領域認識部１０６は、医療画像に基づいて医療画像内の注目領域の位置に関する情報を認識する処理と、医療画像に基づいて注目領域を複数のクラスのうちのいずれかのクラスに分類する処理とを行うもので、例えば、ＡＩ（Artificial Intelligence）により行うことができる。
　本例の注目領域は、医療画像（Ｂモード画像の断層像）内の各種の臓器であり、例えば、膵臓、主膵管、脾臓、脾静脈、脾動脈、胆嚢等である。
　注目領域認識部１０６は、時系列の医療画像を順次入力すると、入力する医療画像毎に注目領域の位置を認識し、その位置に関する情報を出力するとともに、注目領域が複数のクラスのうちのいずれのクラスに属するかを認識し、その認識したクラスを示す情報（クラス情報）を出力する。
　注目領域の位置としては、例えば、注目領域を囲む矩形の中心位置とすることができる。また、クラス情報は、本例では臓器の種類を示す情報である。
　時間計測処理部１０８は、注目領域認識部１０６により注目領域が検出されてから、その注目領域が検出されなくなるまでの経過時間を計測する部分である。時間計測処理部１０８は、注目領域認識部１０６により種類の異なる複数の注目領域が検出（認識）される場合には、注目領域毎に検出期間を示す経過時間を個別に計測する。
　表示制御部１１０は、時系列の医療画像を表示部であるモニタ１８に表示させる第１表示制御部１１０Ａと、注目領域に関する情報をモニタ１８に表示させる第２表示制御部１１０Ｂとから構成されている。
　第１表示制御部１１０Ａは、送受信部１００及び画像生成部１０２により順次取得した医療画像をモニタ１８に表示させる。本例では、超音波断層像を示す動画がモニタ１８に表示される。
　また、第１表示制御部１１０Ａは、超音波スコープ１０の手元操作部２２（ユーザ操作部）からフリーズ指示を受け付ける受付処理を行い、例えば、手元操作部２２のフリーズボタンが操作され、フリーズ指示を受け付けると、モニタ１８に表示する医療画像の順次表示を１枚の医療画像（現時点の医療画像）による固定表示に切り替える処理を行う。
　第２表示制御部１１０Ｂは、注目領域認識部１０６により認識された注目領域の分類を示すクラス情報を、モニタ１８に表示された医療画像の注目領域の位置に重畳表示させるが、時間計測処理部１０８により測定された、その注目領域が認識されてからの経過時間に応じて、重畳表示させた注目領域に対するクラス情報の相対位置を変更させる。
　また、第２表示制御部１１０Ｂは、フリーズ指示を受け付けると、モニタ１８に表示された医療画像が静止画として固定表示されている期間、クラス情報の注目領域に対する相対位置も固定する。
　以下、第２表示制御部１１０Ｂによりモニタ１８に表示される注目領域の分類を示すクラス情報等の表示例について説明する。
　＜第１表示例＞
　図３は、モニタに表示される医療画像及びクラス情報の第１表示例を示す図である。
　図３（ａ）は、注目領域Ｒ１，Ｒ２の検出時のモニタ１８の画面を示し、図３（ｂ）は、注目領域Ｒ１，Ｒ２が検出されてから一定時間経過後のモニタ１８の画面を示している。
　図３において、注目領域Ｒ１は膵臓であり、注目領域Ｒ２は脾静脈である。
　図３（ａ）に示すように、注目領域Ｒ１，Ｒ２の検出時（又は検出してから一定時間未満の場合）には、注目領域Ｒ１の位置（中心位置又はその近傍位置）にクラス情報として膵臓（pancreas）の略語である“Panc.”を重畳表示させ、注目領域Ｒ２の位置に、クラス情報として脾静脈（splenic vein）の略語である“SV”を重畳表示させる。
　このように、注目領域Ｒ１、Ｒ２が検出された場合、検出された注目領域Ｒ１、Ｒ２の分類を示すクラス情報をユーザに報知することができる。特に、注目領域Ｒ１、Ｒ２が検出したタイミングでは、注目領域Ｒ１、Ｒ２の正確な位置の同定が求められるため、各注目領域Ｒ１、Ｒ２の中心付近にクラス情報を重畳表示することが好ましい。
　その後、図３（ｂ）に示すように、注目領域Ｒ１，Ｒ２が検出されてから一定時間（例えば、数秒（１～２秒程度））経過すると、注目領域Ｒ１、Ｒ２の分類を示すクラス情報（“Panc.”、“SV”）の表示を、注目領域Ｒ１、Ｒ２の位置から離れる方向に変化（移動）させる。図３（ｂ）の例では、クラス情報（“Panc.”、“SV”）をそれぞれ注目領域Ｒ１、Ｒ２の外側に移動させている。
　常に注目領域の中心付近にクラス情報を表示していては、注目領域の診断において邪魔になるという問題があるが、注目領域が検出されてから一定時間経過後は、注目領域の分類を示すクラス情報を、注目領域の外側に移動させることで、上記の問題を解決することができる。
　尚、クラス情報の移動方法は、上記のように離散的にある時間（一定時間）以降、位置を変更する方法でもよいし、時間に対して連続的に位置をずらす方法でもよい。また、図３に示す例では、クラス情報は、注目領域の臓器の種類の略語を示す文字情報であるが、注目領域の臓器の種類の正式名称を示す文字情報でもよい。
　＜第２表示例＞
　図４は、モニタに表示される医療画像及びクラス情報の第２表示例を示す図である。
　図４（ａ）は、注目領域Ｒ１，Ｒ３の検出時のモニタ１８の画面を示し、図４（ｂ）～図４（ｄ）は、それぞれ注目領域Ｒ１，Ｒ３が検出されてから一定時間経過後のモニタ１８の画面を示している。
　図４において、注目領域Ｒ１は膵臓であり、注目領域Ｒ３は主膵管である。
　図４（ａ）に示すように、注目領域Ｒ１，Ｒ３の検出時には、注目領域Ｒ１の位置に、クラス情報として膵臓（pancreas）の略語である“Panc.”を重畳表示させ、注目領域Ｒ３の位置に、クラス情報として主膵管（main pancreatic duct）の略語である“MPD”を重畳表示させる。
　図４（ｂ）に示す例では、注目領域Ｒ１，Ｒ３が検出されてから一定時間経過すると、注目領域Ｒ１、Ｒ３の分類を示すクラス情報（“Panc.”、“MPD”）を、注目領域Ｒ１、Ｒ３の外側に移動させる。
　この場合、クラス情報（“Panc.”、“MPD”）の位置を経過時間に応じて変化させる際に、分類したクラスに応じて変化の態様を変更させることが好ましい。即ち、図４（ｂ）に示す例では、注目領域Ｒ１の分類を示すクラス情報（“Panc.”）は、図４（ｂ）上で注目領域Ｒ１の左上に移動させ、注目領域Ｒ３のクラス情報（“MPD”）は、図４（ｂ）上で注目領域Ｒ３の右下に移動させる。複数のクラス情報をそれぞれ移動させた場合、これらのクラス情報が近接しないようにするためである。
　また、図４（ｃ）及び（ｄ）に示す例では、注目領域Ｒ１，Ｒ３が検出されてから一定時間経過すると、注目領域Ｒ３のクラス情報（“MPD”）を注目領域Ｒ３の外側に移動させ、一方、注目領域Ｒ１の分類を示すクラス情報（“Panc.”）の注目領域Ｒ３に対する相対位置は固定する。即ち、複数のクラスのうちの１つ以上の特定クラスの分類を示すクラス情報（本例では、（“Panc.”））については、特定クラスの分類を示すクラス情報の注目領域に対する相対位置は移動させずに固定表示とする。
　図４（ａ）に示すように、注目領域Ｒ１と注目領域Ｒ３とは大きさが異なり、注目領域Ｒ１は比較的に大きいが、注目領域Ｒ３は小さい。注目領域Ｒ３が小さい場合、小さい注目領域Ｒ３の位置に注目領域の分類を示すクラス情報（“MPD”）を重畳表示すると、注目領域Ｒ３の視認性が大きく低下する。一方、注目領域Ｒ１が大きい場合、大きい注目領域Ｒ１の位置に注目領域の分類を示すクラス情報（“Panc.”）を重畳表示させても、注目領域Ｒ３の視認性の低下は少ない。
　このように、注目領域にその注目領域の分類を示すクラス情報を重畳表示させても、注目領域の視認性が大幅に低下しない特定のクラス情報については、注目領域が検出されてから一定時間経過後も移動させないようにしてもよい。
　尚、図４（ｄ）に示す表示例は、クラス情報（“MPD”）の移動後、注目領域Ｒ３とクラス情報（“MPD”）とを引き出し線で接続し、両者の関係性を明確にしている点で、図４（ｃ）に示す表示例と相違する。
　＜第３表示例＞
　図５は、モニタに表示される医療画像及びクラス情報の第３表示例を示す図である。
　図５（ａ）は、注目領域Ｒ１，Ｒ２の検出時のモニタ１８の画面を示し、図５（ｂ）は、注目領域Ｒ１，Ｒ２が検出されてから一定時間経過後のモニタ１８の画面を示している。
　図５に示す第３表示例は、図３に示した第１表示例と比較して、注目領域Ｒ１，Ｒ２の検出時のクラス情報の表示形態が相違する。
　図５（ａ）に示すように注目領域Ｒ１，Ｒ２の検出時には、注目領域Ｒ１の位置にクラス情報として膵臓を示すマーカ（丸印）を重畳表示させ、注目領域Ｒ２の位置に、クラス情報として脾静脈を示すマーカ（星印）を重畳表示させる。尚、注目領域の分類を示すクラス情報の種類とマーカの種類とは、予め対応づけておくことで、ユーザは、注目領域の位置に重畳表示されたマーカの種類を視認することで、クラス情報を確認することができる。
　また、図５（ｂ）に示すように注目領域Ｒ１，Ｒ２が検出されてから一定時間経過後は、クラス情報を示すマーカを消去し、図３（ｂ）と同様に注目領域Ｒ１，Ｒ２の外側に注目領域Ｒ１、Ｒ２の分類を示すクラス情報（“Panc.”、“SV”）を表示させる。
　即ち、図５に示す第３表示例では、一定時間経過後は、クラス情報を移動させるとともに、クラス情報の表示形態もマーカから文字情報に表示形態も変化させている。
　図５の第３表示例によれば、マーカは、文字情報と比較して小さく表示することが可能であり、注目領域の正確な位置情報を視認性良く表示することができる。また、一定時間経過後にクラス情報をマーカから文字情報に変化させることで、クラス情報の詳細な情報が解釈容易な態様で示すことができる。
　＜第４表示例＞
　図６は、モニタに表示される医療画像及びクラス情報の第４表示例を示す図である。
　図６（ａ）は、注目領域Ｒ１，Ｒ２の検出時のモニタ１８の画面を示し、図６（ｂ）は、注目領域Ｒ１，Ｒ２が検出されてから一定時間経過後のモニタ１８の画面を示している。
　図６に示す第４表示例は、図３に示した第１表示例と比較して、注目領域Ｒ１，Ｒ２をそれぞれ強調する強調情報を更に表示する点で相違する。
　図６に示す注目領域Ｒ１，Ｒ２をそれぞれ強調する強調情報は、注目領域Ｒ１，Ｒ２が検出されてからの時間経過にかかわらず、注目領域Ｒ１，Ｒ２に対する相対位置を固定して表示する。即ち、動画である医療画像内で注目領域Ｒ１，Ｒ２が移動する場合には、注目領域Ｒ１，Ｒ２に伴って強調情報も移動するが、注目領域Ｒ１，Ｒ２に対する強調情報の相対位置は固定される。
　図６に示す注目領域Ｒ１，Ｒ２をそれぞれ強調する強調情報は、注目領域を囲む矩形枠（バウンディングボックス）である。注目領域を囲むバウンディングボックスは、注目領域認識部１０６から取得することができる。また、バウンディングボックスの対角線の交点を、注目領域の中心位置とすることができる。
　バウンディングボックスは、注目領域の分類を示すクラス情報にかかわらず、同一の色（例えば、白）及び同一の線種にしてよいし、注目領域の分類を示すクラス情報に対応して色及び／又は線種が異なるものでもよい。後者の場合、バウンディングボックスは、クラス情報を含むことになる。
　バウンディングボックスは、注目領域Ｒ１，Ｒ２が内接するように、又は注目領域Ｒ１，Ｒ２よりも僅かに大きく表示させることができ、これにより注目領域の視認性を低下させないため、注目領域Ｒ１，Ｒ２が検出されてからの時間経過にかかわらず、固定表示しても支障がない。
　尚、各注目領域を強調する強調情報は、バウンディングボックスに限らず、例えば、注目領域を囲む円や楕円、注目領域の中心に配置するマーカや図形（注目領域のクラスに依存せず、同じ形状のもの）、あるいは注目領域の位置を示す矢印などが考えられる。
　図３から図６に示した第１表示例から第４表示例は、クラス情報を文字情報（略語を含む）、マーカ等により識別可能に表示するが、クラス情報を図形により識別可能に表示するようにしてもよい。例えば、クラス情報に応じて色分けしたバウンディングボックスは、図形に含まれる。また、マーカと図形の表示形態は明確に区別できない場合があり、例えば、図５（ａ）に示したマーカ（丸印、星印）は、図形とも言える。
　また、クラス情報の表示方法、及び検出時からの経過時間に伴うクラス情報の位置等の遷移方法は、第１表示例から第４表示例に限らず、種々の方法が考えられる。
　［医療画像処理方法］
　＜第１実施形態＞
　図７は、本発明に係る医療画像処理方法の第１実施形態を示すフローチャートであり、図２に示した超音波用プロセッサ装置１２の各部の処理手順に関して示している。
　図７において、ＣＰＵ１０４は、まず、複数の注目領域（本例では、複数の臓器）がそれぞれ認識されてからの経過時間を示すタイマーＴｉのカウント値を、それぞれゼロ（Ｔｉ＝０）にリセットする（ステップＳ１０）。ここで、ｉは、臓器の種類の数（クラス数）をｎ個とした場合、１～ｎの臓器の種類を示すパラメータである。したがって、Ｔ１は、１番目の種類の臓器に対応するタイマーであり、Ｔｎは、ｎ番目の種類の臓器に対応するタイマーである。
　医療画像取得処理部として機能する送受信部１００及び画像生成部１０２は、時系列の医療画像を順次取得する（ステップＳ１２）。時系列の医療画像のフレームレートが、例えば、３０ｆｐｓ（frames per second）の場合、１／３０（秒）毎に１フレーム分の医療画像を取得する。
　続いて、注目領域認識部１０６は、ステップＳ１２で取得した医療画像に基づいて医療画像内に存在する注目領域（臓器）Ｒｉ（ｉ＝１～ｎ）の認識処理を行う（ステップＳ１４）。即ち、注目領域認識部１０６は、医療画像内に存在する注目領域Ｒｉの位置の認識と、その注目領域Ｒｉの分類を示すクラス（臓器の種類）の認識を行う。医療画像内に注目領域が複数存在する場合には、各注目領域の位置の認識と各注目領域のクラスの認識を行う。
　注目領域認識部１０６による注目領域Ｒｉの認識と並行して、第１表示制御部１１０Ａは、ステップＳ１２で取得した医療画像をモニタ１８に表示させる（ステップＳ２０（第１表示制御ステップＳ１６））。
　ＣＰＵ１０４は、ステップＳ１４により注目領域Ｒｉが認識されたか否かを判別し、注目領域Ｒｉが認識された場合、ステップＳ２０（第２表示制御ステップＳ２０）に遷移させる（ステップＳ１８）。
　ステップＳ２０において、第２表示制御部１１０Ｂは、注目領域Ｒｉの分類を示すクラス情報Ｃｉ（ｉ＝１～ｎ）をモニタ１８に表示された医療画像の注目領域Ｒｉの位置に重畳表示させる。例えば、図３に示した第１表示例の場合、膵臓を示す注目領域Ｒ１と、脾静脈を示す注目領域Ｒ２が認識されており、注目領域Ｒ１の中心付近の位置に注目領域Ｒ１の分類を示すクラス情報Ｃ１（“Panc.”）を重畳表示させ、注目領域Ｒ２の中心付近の位置に注目領域Ｒ２の分類を示すクラス情報Ｃ２（“SV”）を重畳表示させている。
　続いて、時間計測処理部１０８は、タイマーＴｉ（ｉ＝１～ｎ）のカウント値を１だけインクリメントする（ステップＳ２２）。本例のタイマーＴｉのカウント値は、注目領域Ｒｉが最初に検出されてから時系列の医療画像から同じ注目領域Ｒｉが連続して検出されている場合のフレーム数に対応している。したがって、フレームレートが３０ｆｐｓの場合に、注目領域Ｒ１が連続して検出されている場合のタイマーＴ１のカウント値が３０の場合、１秒を意味する。即ち、タイマーＴｉのカウント値は、注目領域Ｒｉが認識されてからの経過時間を示す。
　次に、ＣＰＵ１０４は、タイマーＴｉのカウント値が閾値Ｔｈ以上か否かを判別する（ステップＳ２４）。閾値Ｔｈは、例えば、４５にすることができる。閾値Ｔｈ（＝４５）を、フレームレートが３０ｆｐｓの場合の時間に換算すると、１．５秒である。
　ＣＰＵ１０４は、タイマーＴｉのカウント値が閾値Ｔｈ未満の場合、ステップＳ１２に遷移させる。これにより、ステップＳ１２からステップＳ２４の処理が繰り返し行われる。
　一方、ＣＰＵ１０４は、タイマーＴｉのカウント値が閾値Ｔｈ以上の場合、ステップＳ２６に遷移させる。
　ステップＳ２６において、第２表示制御部１１０Ｂは、ステップＳ２０により重畳表示させた注目領域Ｒｉに対するクラス情報Ｃｉの相対位置を、注目領域Ｒｉの中心付近の位置から離れる方向に移動させる。
　例えば、図３に示した第１表示例の場合、図３（ａ）に示すように注目領域Ｒ１、Ｒ２の中心付近の位置に重畳表示させた注目領域Ｒ１、Ｒ２の分類を示すクラス情報（“Panc.”、“SV”）の表示を、図３（ｂ）に示すように注目領域Ｒ１、Ｒ２の外側に移動させる。
　このように注目領域Ｒｉが検出されてから一定時間（本例では、１．５秒）経過後は、注目領域Ｒｉの分類を示すクラス情報Ｃｉを、注目領域Ｒｉの外側に移動させることで、注目領域Ｒｉの診断に、クラス情報Ｃｉの表示が邪魔にならないようにしている。
　一方、ステップＳ１８において、注目領域Ｒｉが認識されていないと判別されると（「No」の場合）、ＣＰＵ１０４は、前回（１フレーム前）の医療画像において、注目領域Ｒｉが認識されていたか否かを更に判別する（ステップＳ２８）。
　ＣＰＵ１０４は、前回の医療画像においても、注目領域Ｒｉが認識されていないと判別すると、ステップＳ１２に遷移させ、前回の医療画像において、注目領域Ｒｉが認識されていたと判別すると、ステップＳ３０に遷移させる。
　ステップＳ３０において、前回の医療画像では注目領域Ｒｉが認識されていたが、今回の医療画像では注目領域Ｒｉが認識されないため、第２表示制御部１１０Ｂは、モニタ１８に表示させたクラス情報Ｃｉの表示を終了させる。
　クラス情報Ｃｉの表示終了と同時にＣＰＵ１０４は、タイマーＴｉのカウント値をゼロにリセットさせ（ステップＳ３２）、ステップＳ１２に遷移させる。
　尚、ステップＳ２０において、注目領域Ｒｉの位置にクラス情報Ｃｉを重畳表示する場合のクラス情報Ｃｉは、注目領域Ｒｉである臓器の種類の名称又は略称を示す文字情報に限らず、臓器の種類を示すマーカ、図形等の他の表示形態でもよい。
　また、ステップＳ２６において、注目領域Ｒｉが認識されてから一定時間経過後（タイマーＴｉのカウント値が閾値Ｔｈ以上の場合）、注目領域Ｒｉの中心付近の位置に表示させたクラス情報Ｃｉは、注目領域Ｒｉの外側に移動させるが、注目領域Ｒｉの分類を示すクラス情報Ｃｉに応じて移動させる方向を変更することができる（図４（ｂ）参照）。
　また、図４（ｃ）及び（ｄ）に示すように特定クラスのクラス情報（膵臓を示す“Panc.”）は、一定時間経過後も注目領域の位置から移動させないようにしてもよい。また、図４（ｄ）に示すように移動させたクラス情報（“MPD”）と注目領域Ｒ３とをき出し線で接続し、両者の関係性を明確にすることができる。
　更に図５に示したように一定時間経過前のクラス情報Ｃｉを示すマーカによる表示形態から、一定時間経過後のクラス情報Ｃｉを示す文字情報による表示形態に変更してもよい。
　＜第２実施形態＞
　図８は、本発明に係る医療画像処理方法の第２実施形態を示すフローチャートである。
　尚、図８において、図７に示した第１実施形態のフローチャートと共通するステップには、同一のステップ番号を付し、その詳細な説明は省略する。
　図８に示す第２実施形態の医療画像処理方法は、ステップＳ４０の処理が追加されている点で、図７に示した第１実施形態の医療画像処理方法と相違する。
　図８に示すステップＳ４０（第２表示制御ステップＳ４０）は、注目領域Ｒｉが認識されてから一定時間経過後（タイマーＴｉのカウント値が閾値Ｔｈ以上の場合）、更に注目領域Ｒｉの分類を示すクラス情報Ｃｉが、特定クラスのクラス情報か否かを判別する。
　ステップＳ４０において、注目領域Ｒｉの分類を示すクラス情報Ｃｉが、特定クラスのクラス情報であると判別されると（「Yes」の場合）、ステップＳ１２に遷移させる。この場合、ステップＳ２６に遷移しないため、特定クラスを示すクラス情報の位置は、特定クラスの注目領域が検出されてからの経過時間にかかわらず、固定される。
　例えば、図４（ｃ）及び（ｄ）に示す表示例では、特定クラスを示すクラス情報（膵臓を示す“Panc.”）は、一定時間経過後も注目領域の位置から移動させないようにしている。
　膵臓のように比較的大きな注目領域の場合、注目領域にクラス情報を重畳表示しても注目領域の観察の邪魔にならず、又は観察の邪魔になる程度が低いためである。
　＜第３実施形態＞
　図９は、本発明に係る医療画像処理方法の第３実施形態を示すフローチャートである。
　尚、図９において、図７に示した第１実施形態のフローチャートと共通するステップには、同一のステップ番号を付し、その詳細な説明は省略する。
　図９に示す第３実施形態の医療画像処理方法は、ステップＳ５０、Ｓ４０の処理が追加されている点で、図７に示した第１実施形態の医療画像処理方法と相違する。
　図９に示すステップＳ５０は、超音波スコープ１０の手元操作部２２からフリーズ指示を受け付けたか否かを判別する。
　フリーズ指示を受け付けたと判別されると（「Yes」の場合）、ステップＳ５２に遷移させ、ここで、フリーズ解除指示を受け付けたか否かが判別される。ステップＳ５２において、フリーズ解除指示を受け付けていないと判別されると（「No」の場合）、ステップＳ５０に戻り、フリーズ解除指示を受け付けたと判別されると（「Yes」の場合）、ステップＳ２２に遷移させる。
　即ち、フリーズ指示を受け付けると、フリーズ解除指示を受け付けるまで、ステップＳ１２に遷移することがなく、その結果、ステップＳ１２における新たな医療画像の取得、及びステップＳ１６における新たな医療画像の順次表示が停止し、モニタ１８にはフリーズ指示を受け付けた時点の医療画像が表示（静止画として固定表示）される。
　また、フリーズ指示を受け付けると、フリーズ解除指示を受け付けるまでの期間、フリーズ指示を受け付けた時点の医療画像から認識された注目領域Ｒｉの分類を示すクラス情報Ｃｉも固定表示される。
　このようにフリーズ指示を受け付けると、フリーズ指示が解除されるまでの期間、モニタ１８に表示される医療画像は、フリーズ指示を受け付けた時点の医療画像に固定され、動画表示から静止画表示に切り替わる。また、フリーズ指示を受け付けた時点の医療画像から注目領域Ｒｉが認識されている場合には、その注目領域Ｒｉの分類を示すクラス情報Ｃｉの表示も固定される。
　［その他］
　本実施形態では、超音波用プロセッサ装置１２が、本発明に係る医療画像処理装置としての機能を備えているが、これに限らず、超音波用プロセッサ装置１２とは別体のパーソナルコンピュータ等が、超音波用プロセッサ装置１２から時系列の医療画像を取得し、本発明に係る医療画像処理装置として機能するものでもよい。
　また、時系列の医療画像は、超音波画像に限らず、例えば、超音波スコープ１０の先端部本体５０に設けられた対物レンズ及び撮像素子等により撮影され、内視鏡用プロセッサ装置１４から出力される時系列の内視鏡画像でもよい。
　更に、医療画像内の注目領域は、各種の臓器に限らず、例えば、病変領域でもよい。この場合、病変領域のクラスとしては、腫瘍、非腫瘍、その他等が考えられる。
　また、上記実施形態の超音波用プロセッサ装置（医療画像処理装置）の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る医療画像処理装置として機能させる医療画像処理プログラム、及びこの医療画像処理プログラムが記録された不揮発性の記憶媒体を含む。
　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２　超音波内視鏡システム
１０　超音波スコープ
１２　超音波用プロセッサ装置
１４　内視鏡用プロセッサ装置
１６　光源装置
１８　モニタ
２０　挿入部
２０ａ　長手軸
２２　手元操作部
２４　ユニバーサルコード
２６　超音波用コネクタ
２８　内視鏡用コネクタ
３０　光源用コネクタ
３２、３４　チューブ
３６　送気送水ボタン
３８　吸引ボタン
４２　アングルノブ
４４　処置具挿入口
５０　先端部本体
５２　湾曲部
５４　軟性部
６２　超音波探触子
６４　バルーン
７０　送水タンク
７２　吸引ポンプ
１００　送受信部
１０２　画像生成部
１０４　ＣＰＵ
１０６　注目領域認識部
１０８　時間計測処理部
１１０　表示制御部
１１０Ａ　第１表示制御部
１１０Ｂ　第２表示制御部
１１２　メモリ
Ｃ１、Ｃ２、Ｃｉ　クラス情報
Ｒ１、Ｒ２、Ｒ３、Ｒｉ　注目領域
Ｓ１０～Ｓ３２、Ｓ４０、Ｓ５０、Ｓ５２　ステップ

Claims (20)

  1. 　プロセッサを備えた医療画像処理装置において、
    　前記プロセッサは、
    　時系列の医療画像を順次取得する医療画像取得処理と、
    　前記医療画像を表示部に順次表示させる第１表示制御と、
    　前記順次取得した前記医療画像に基づいて前記医療画像内の注目領域の位置に関する情報を認識する処理と、
    　前記順次取得した前記医療画像に基づいて前記注目領域を複数のクラスのうちのいずれかのクラスに分類する処理と、
    　前記分類した前記クラスを示すクラス情報を、前記表示部に表示された前記医療画像の前記注目領域の位置に重畳表示させる第２表示制御と、を行い、
    　前記第２表示制御は、前記重畳表示させた前記注目領域に対する前記クラス情報の相対位置を、前記注目領域が認識されてからの経過時間に応じて変更させる、
    　医療画像処理装置。
  2. 　前記第２表示制御は、前記クラス情報の相対位置を前記経過時間に応じて変化させる際に、前記注目領域の位置から離れる方向に変化させる、
    　請求項１に記載の医療画像処理装置。
  3. 　前記第２表示制御は、前記複数のクラスのうちの１つ以上の特定クラスを示すクラス情報については、前記特定クラスを示すクラス情報の前記注目領域に対する相対位置を固定する、
    　請求項１又は２に記載の医療画像処理装置。
  4. 　前記第２表示制御は、前記クラス情報の相対位置を前記経過時間に応じて変化させる際に、前記分類した前記クラスに応じて前記変化の態様を変更させる、
    　請求項１から３のいずれか１項に記載の医療画像処理装置。
  5. 　前記第２表示制御は、前記クラス情報の相対位置を前記経過時間に応じて変化させる際に、前記クラス情報の表示形態も他の表示形態に変更させる、
    　請求項１から４のいずれか１項に記載の医療画像処理装置。
  6. 　前記クラス情報は、前記分類した前記クラスを示す文字情報、マーカ、及び図形のうちの少なくとも１つを含む、
    　請求項１から５のいずれか１項に記載の医療画像処理装置。
  7. 　前記第２表示制御は、前記注目領域を強調する強調情報を前記表示部に表示させ、前記強調情報の前記注目領域に対する相対位置を固定する、
    　請求項１から６のいずれか１項に記載の医療画像処理装置。
  8. 　前記プロセッサは、ユーザ操作部からフリーズ指示を受け付ける受付処理を行い、
    　前記第１表示制御は、前記フリーズ指示を受け付けると、前記表示部に表示する前記医療画像の順次表示を１枚の前記医療画像による固定表示に切り替える処理を行い、
    　前記第２表示制御は、前記固定表示に切り替えられている期間、前記クラス情報の前記注目領域に対する相対位置を固定する、
    　請求項１から７のいずれか１項に記載の医療画像処理装置。
  9. 　前記医療画像は超音波画像である、
    　請求項１から８のいずれか１項に記載の医療画像処理装置。
  10. 　時系列の医療画像を順次取得するステップと、
    　前記医療画像を表示部に順次表示させる第１表示制御ステップと、
    　前記順次取得した前記医療画像に基づいて前記医療画像内の注目領域の位置に関する情報を認識するステップと、
    　前記順次取得した前記医療画像に基づいて前記注目領域を複数のクラスのうちのいずれかのクラスに分類するステップと、
    　前記分類した前記クラスを示すクラス情報を、前記表示部に表示された前記医療画像の前記注目領域の位置に重畳表示させる第２表示制御ステップであって、前記重畳表示させた前記注目領域に対する前記クラス情報の相対位置を、前記注目領域が認識されてからの経過時間に応じて変更させる前記第２表示制御ステップと、を含み、
    　プロセッサが各ステップの処理を実行する医療画像処理方法。
  11. 　前記第２表示制御ステップ、前記クラス情報の相対位置を前記経過時間に応じて変化させる際に、前記注目領域の位置から離れる方向に変化させる、
    　請求項１０に記載の医療画像処理方法。
  12. 　前記第２表示制御ステップは、前記複数のクラスのうちの１つ以上の特定クラスを示すクラス情報については、前記特定クラスを示すクラス情報の前記注目領域に対する相対位置を固定する、
    　請求項１０又は１１に記載の医療画像処理方法。
  13. 　前記第２表示制御ステップは、前記クラス情報の相対位置を前記経過時間に応じて変化させる際に、前記分類した前記クラスに応じて前記変化の態様を変更させる、
    　請求項１０から１２のいずれか１項に記載の医療画像処理方法。
  14. 　前記第２表示制御ステップは、前記クラス情報の相対位置を前記経過時間に応じて変化させる際に、前記クラス情報の表示形態も他の表示形態に変更させる、
    　請求項１０から１３のいずれか１項に記載の医療画像処理方法。
  15. 　前記クラス情報は、前記分類した前記クラスを示す文字情報、マーカ、及び図形のうちの少なくとも１つを含む、
    　請求項１０から１４のいずれか１項に記載の医療画像処理方法。
  16. 　前記第２表示制御ステップは、前記注目領域を強調する強調情報を前記表示部に表示させ、前記強調情報の前記注目領域に対する相対位置を固定する、
    　請求項１０から１５のいずれか１項に記載の医療画像処理方法。
  17. 　ユーザ操作部からフリーズ指示を受け付けるステップを含み、
    　前記第１表示制御ステップは、前記フリーズ指示を受け付けると、前記表示部に表示する前記医療画像の順次表示を１枚の前記医療画像による固定表示に切り替え、
    　前記第２表示制御ステップは、前記固定表示に切り替えられている期間、前記クラス情報の前記注目領域に対する相対位置を固定する、
    　請求項１０から１６のいずれか１項に記載の医療画像処理方法。
  18. 　前記医療画像は超音波画像である、
    　請求項１０から１７のいずれか１項に記載の医療画像処理方法。
  19. 　請求項１０から１８のいずれか１項に記載の医療画像処理方法における各ステップの処理を、前記プロセッサに実行させる医療画像処理プログラム。
  20. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１９に記載のプログラムが記録された記録媒体。
PCT/JP2022/006858 2021-02-25 2022-02-21 医療画像処理装置、方法及びプログラム WO2022181517A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023502372A JPWO2022181517A1 (ja) 2021-02-25 2022-02-21
EP22759553.5A EP4299015A4 (en) 2021-02-25 2022-02-21 DEVICE, METHOD AND PROGRAM FOR PROCESSING MEDICAL IMAGES
CN202280014921.6A CN116847788A (zh) 2021-02-25 2022-02-21 医疗图像处理装置、方法及程序
US18/366,635 US20230394780A1 (en) 2021-02-25 2023-08-07 Medical image processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021028422 2021-02-25
JP2021-028422 2021-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/366,635 Continuation US20230394780A1 (en) 2021-02-25 2023-08-07 Medical image processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2022181517A1 true WO2022181517A1 (ja) 2022-09-01

Family

ID=83048015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006858 WO2022181517A1 (ja) 2021-02-25 2022-02-21 医療画像処理装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US20230394780A1 (ja)
EP (1) EP4299015A4 (ja)
JP (1) JPWO2022181517A1 (ja)
CN (1) CN116847788A (ja)
WO (1) WO2022181517A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198806A (ja) * 2014-04-09 2015-11-12 コニカミノルタ株式会社 超音波画像表示装置及びプログラム
WO2017203560A1 (ja) 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
WO2018221033A1 (ja) * 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021029153A1 (ja) * 2019-08-15 2021-02-18 富士フイルム株式会社 超音波診断装置、及び超音波診断装置の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040087A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
EP3932290B1 (en) * 2019-02-26 2023-08-16 FUJIFILM Corporation Medical image processing device, processor device, endoscope system, medical image processing method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198806A (ja) * 2014-04-09 2015-11-12 コニカミノルタ株式会社 超音波画像表示装置及びプログラム
WO2017203560A1 (ja) 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
WO2018221033A1 (ja) * 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021029153A1 (ja) * 2019-08-15 2021-02-18 富士フイルム株式会社 超音波診断装置、及び超音波診断装置の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4299015A4

Also Published As

Publication number Publication date
US20230394780A1 (en) 2023-12-07
JPWO2022181517A1 (ja) 2022-09-01
EP4299015A1 (en) 2024-01-03
EP4299015A4 (en) 2024-08-07
CN116847788A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US9173632B2 (en) Ultrasonic diagnosis system and image data display control program
US20060173327A1 (en) Ultrasound diagnostic system and method of forming arbitrary M-mode images
US20170095226A1 (en) Ultrasonic diagnostic apparatus and medical image diagnostic apparatus
US11250603B2 (en) Medical image diagnostic apparatus and medical image diagnostic method
US9610094B2 (en) Method and apparatus for ultrasonic diagnosis
JP7218425B2 (ja) 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
US20150173721A1 (en) Ultrasound diagnostic apparatus, medical image processing apparatus and image processing method
JP2012513238A (ja) 医療処置ガイダンスに関する自動的な３次元音響撮像
JP5527841B2 (ja) 医療画像処理システム
CN115484871A (zh) 脉管系统的可视化
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US8663110B2 (en) Providing an optimal ultrasound image for interventional treatment in a medical system
US20240000432A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20120095341A1 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
US20240062439A1 (en) Display processing apparatus, method, and program
KR20150000261A (ko) 초음파 영상에 대응하는 참조 영상을 제공하는 초음파 시스템 및 방법
JP2010088699A (ja) 医療画像処理システム
JP2019093123A (ja) 医用画像診断装置及び医用画像処理装置
JP2007268148A (ja) 超音波診断装置
WO2022181517A1 (ja) 医療画像処理装置、方法及びプログラム
JP2021035442A (ja) 超音波診断システムおよび超音波診断システムの作動方法
KR101143663B1 (ko) 중재적 시술을 위한 최적의 초음파 영상을 제공하는 의료 시스템 및 방법
JP2009297346A (ja) 超音波観測装置、超音波内視鏡装置、画像処理方法及び画像処理プログラム
JPWO2022202401A5 (ja)
US20240054707A1 (en) Moving image processing apparatus, moving image processing method and program, and moving image display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759553

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023502372

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280014921.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022759553

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022759553

Country of ref document: EP

Effective date: 20230925