WO2022234743A1 - 動画像処理装置、動画像処理方法及びプログラム、動画像表示システム - Google Patents

動画像処理装置、動画像処理方法及びプログラム、動画像表示システム Download PDF

Info

Publication number
WO2022234743A1
WO2022234743A1 PCT/JP2022/014346 JP2022014346W WO2022234743A1 WO 2022234743 A1 WO2022234743 A1 WO 2022234743A1 JP 2022014346 W JP2022014346 W JP 2022014346W WO 2022234743 A1 WO2022234743 A1 WO 2022234743A1
Authority
WO
WIPO (PCT)
Prior art keywords
display position
moving image
display
information
image processing
Prior art date
Application number
PCT/JP2022/014346
Other languages
English (en)
French (fr)
Inventor
侑也 濱口
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023518638A priority Critical patent/JPWO2022234743A1/ja
Publication of WO2022234743A1 publication Critical patent/WO2022234743A1/ja
Priority to US18/495,790 priority patent/US20240054707A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445—Details of catheter construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present invention relates to a moving image processing device, a moving image processing method and program, and a moving image display system, and more particularly to technology for displaying information on objects in moving images.
  • the scope With an ultrasound endoscope, the scope is operated so that the desired organ appears on the screen while confirming the positional relationship between organs and blood vessels on the screen, but this is a very difficult operation.
  • image recognition technology such as AI (artificial intelligence)
  • Patent Document 1 discloses a medical observation system that generates lesion candidate moving image data by synthesizing markers indicating lesion candidate regions detected from a moving image, and displays observation image data based on the lesion candidate moving image data on a display screen. is disclosed.
  • a display method for presenting the anatomical region to the user there is a method of displaying the name of the anatomical region in characters in the center of the detected anatomical region.
  • the normal character display is displayed following the frame surrounding the anatomical region.
  • EUS Endoscopic ultrasonography
  • body surface US ultrasonography
  • the present invention has been made in view of such circumstances, and provides a moving image processing apparatus, a moving image processing method, a program, and a moving image that superimpose information about an object contained in a moving image on the moving image and display the moving image with good visibility.
  • the object is to provide a display system.
  • a moving image processing apparatus includes at least one processor and at least one memory for storing instructions to be executed by the processor, the processor comprising: Images are sequentially acquired, position information indicating the position in the frame image of an object included in the frame image and type information indicating the type of the object are obtained, a first display position for displaying the position information is determined, and the type A second display position for displaying information is determined, the sequentially obtained frame images are sequentially displayed on the display, position information is superimposed on the first display position of the displayed frame images, and the displayed frame images are displayed.
  • the type information is superimposed and displayed at a second display position, the first display position is updated with a first update frequency, and the second display position is updated with a second update frequency lower than the first update frequency.
  • a moving image processing apparatus is the moving image processing apparatus according to the first aspect, wherein the first update frequency is for each frame image.
  • a moving image processing device is the moving image processing device according to the first aspect or the second aspect, wherein the processor changes the second display position from the first display position when the second display position is last updated. When the current first display position is separated by a threshold value or more, the second display position is updated.
  • a moving image processing device is the moving image processing device according to any one of the first to third aspects, wherein the position information is a bounding box indicating the range of the object.
  • a moving image processing device is the moving image processing device according to the fourth aspect, wherein the processor is configured such that the bounding box when the second display position was last updated and the current bounding box are different. Update the second presentation position in case of overlap.
  • a moving image processing device is the moving image processing device according to the fourth aspect, wherein the processor is configured to: When the area to be displayed is equal to or less than the threshold, the second display position is updated.
  • the moving image processing device in the moving image processing device according to any one of the first to sixth aspects, superimposes the type information only when the position information is superimposed on the frame image.
  • a moving image processing apparatus is the moving image processing apparatus according to any one of the first to seventh aspects, wherein the type information includes character information of at least one of the name and abbreviation of the object. include.
  • a moving image processing apparatus is the moving image processing apparatus according to any one of the first to eighth aspects, wherein the moving image is a medical moving image.
  • a moving image processing apparatus is the moving image processing apparatus according to any one of the first to ninth aspects, wherein the medical moving image is an ultrasound moving image.
  • a moving image processing apparatus is the moving image processing apparatus according to the tenth aspect, wherein the ultrasonic moving image is captured by an ultrasonic endoscope, and the object includes an organ.
  • a moving image display system includes a shooting device for shooting a moving image, a display, and a moving image processing device according to any one of the first to eleventh aspects.
  • a moving image processing method includes a moving image obtaining step of sequentially obtaining frame images of a moving image; a display position determination step of determining a first display position for displaying the position information and a second display position for displaying the type information; a display step of sequentially displaying on a display, superimposing position information on a first display position of the displayed frame image, and superimposing type information on a second display position of the displayed frame image; updating the first display position with a first update frequency and updating the second display position with a second update frequency lower than the first update frequency.
  • a program according to the fourteenth aspect of the present invention causes a computer to execute the moving image processing method according to the thirteenth aspect.
  • a computer-readable non-transitory storage medium in which this program is recorded may also be included in this embodiment.
  • information about an object included in a moving image can be superimposed on the moving image and displayed with good visibility.
  • FIG. 1 is a diagram showing display of moving images by a conventional ultrasonic endoscope system.
  • FIG. 2 is a schematic diagram showing the overall configuration of the ultrasonic endoscope system according to this embodiment.
  • FIG. 3 is a block diagram illustrating an embodiment of an ultrasound processor device.
  • FIG. 4 is a flow chart showing each step of the moving image processing method according to this embodiment.
  • FIG. 5 is a diagram showing display of moving images according to the first embodiment.
  • FIG. 6 is a diagram showing display of moving images according to the second embodiment.
  • FIG. 7 is a diagram showing display of moving images according to the third embodiment.
  • FIG. 8 is a diagram showing display of moving images according to the fourth embodiment.
  • FIG. 1 is a diagram showing display of moving images by a conventional ultrasonic endoscope system.
  • FIG. 1 shows an example in which three medical images I 1 , I 2 , and I 3 , which are time-series frame images of moving images, are sequentially displayed on a monitor.
  • position information F 1 indicating the position of the attention region R 1 detected from the medical images I 1 , I 2 , and I 3
  • type information T1 indicating the type of the attention area R1
  • the position information F1 is a bounding box indicating the range of the attention area R1
  • the type information T1 is character information indicating the abbreviation of the organ in the attention area R1 .
  • the position information F 1 and the type information T 1 are updated for each frame, and the type information T 1 is always displayed in the center of the position information F 1 .
  • an ultrasound processor functioning as a moving image processing apparatus according to the present invention superimposes information of a region of interest included in a medical image on an ultrasound moving image (an example of a medical moving image) to obtain a highly visible image. indicate.
  • FIG. 2 is a schematic diagram showing the overall configuration of the ultrasonic endoscope system according to this embodiment.
  • an ultrasonic endoscope system 2 (an example of a moving image display system) includes an ultrasonic scope 10, an ultrasonic processor 12 for generating ultrasonic images, and an endoscopic image. It includes an endoscope processor device 14, a light source device 16 that supplies illumination light for illuminating the inside of the body cavity to the ultrasonic scope 10, and a monitor 18 that displays an ultrasonic image and an endoscopic image. .
  • the ultrasonic scope 10 (an example of an imaging device) includes an insertion section 20 inserted into a body cavity of a subject, a hand operation section 22 connected to the proximal end of the insertion section 20 and operated by an operator, and a universal cord 24 one end of which is connected to the hand operation unit 22 .
  • the other end of the universal cord 24 is connected to an ultrasonic connector 26 connected to the ultrasonic processor device 12 , an endoscope connector 28 connected to the endoscope processor device 14 , and the light source device 16 .
  • a light source connector 30 is provided.
  • the ultrasound scope 10 is detachably connected to the ultrasound processor device 12, the endoscope processor device 14, and the light source device 16 via these connectors 26, 28, and 30, respectively. Further, the light source connector 30 is connected to an air/water supply tube 32 and a suction tube 34 .
  • a monitor 18 receives each video signal generated by the ultrasound processor device 12 and the endoscope processor device 14 and displays an ultrasound image and an endoscopic image.
  • the display of the ultrasonic image and the endoscopic image it is possible to display either one of the images on the monitor 18 by appropriately switching between them, or to display both images at the same time.
  • the hand operation unit 22 is provided with an air/water supply button 36 and a suction button 38 side by side, as well as a pair of angle knobs 42 and a treatment instrument insertion port 44 .
  • the insertion portion 20 has a distal end, a proximal end, and a longitudinal axis 20a, and includes, in order from the distal end side, a distal portion main body 50 made of a hard material, and a bending portion connected to the proximal end side of the distal portion main body 50. 52, and an elongated flexible flexible portion 54 that connects between the base end side of the bending portion 52 and the distal end side of the hand operation portion 22.
  • the distal end portion main body 50 is provided on the distal end side of the insertion portion 20 in the direction of the longitudinal axis 20a.
  • the bending portion 52 is remotely operated to bend by rotating a pair of angle knobs 42 provided on the hand operation portion 22 . This allows the tip body 50 to be oriented in a desired direction.
  • An ultrasonic probe 62 and a bag-shaped balloon 64 covering the ultrasonic probe 62 are attached to the tip body 50 .
  • the balloon 64 can be inflated or deflated by being supplied with water from the water supply tank 70 or by sucking the water inside the balloon 64 with the suction pump 72 .
  • the balloon 64 is inflated until it abuts against the inner wall of the body cavity in order to prevent attenuation of ultrasonic waves and ultrasonic echoes (echo signals) during ultrasonic observation.
  • an endoscope observation section (not shown) having an observation section equipped with an objective lens, an imaging device, and the like, and an illumination section is attached to the distal end body 50 .
  • the endoscope observation section is provided behind the ultrasonic probe 62 (on the hand operation section 22 side).
  • FIG. 3 is a block diagram showing an embodiment of an ultrasound processor that functions as a moving image processing device according to the present invention.
  • the ultrasound processor device 12 shown in FIG. 3 detects a region of interest in the frame image based on the frame images of the moving ultrasound image sequentially acquired, and outputs information indicating the detection result of the region of interest to the moving ultrasound image. It is superimposed and notified to the user.
  • the ultrasound processor device 12 includes a transmission/reception unit 100, an image generation unit 102, a CPU (Central Processing Unit) 104, an attention area recognition unit 106, a display position determination unit 108, a display control unit 110, and Includes memory 112 .
  • the processes of the transmission/reception unit 100, the image generation unit 102, the CPU (Central Processing Unit) 104, the attention area recognition unit 106, the display position determination unit 108, and the display control unit 110 are realized by at least one processor.
  • processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and acts as various functional units, a GPU (Graphics Processing Unit), which is a processor specialized for image processing, A circuit specially designed to execute specific processing such as PLD (Programmable Logic Device), which is a processor whose circuit configuration can be changed after manufacturing such as FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), etc. Also included are dedicated electrical circuits, which are processors with configuration, and the like.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or two or more processors of the same or different type (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU).
  • a plurality of functional units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor acts as a plurality of functional units.
  • SoC System On Chip
  • various functional units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the CPU 104 operates based on various programs including a moving image processing program according to the present invention stored in the memory 112, and includes a transmission/reception unit 100, an image generation unit 102, an attention area recognition unit 106, a display position determination unit 108, and a display position determination unit 108. It centrally controls the display control unit 110 and functions as a part of these units.
  • the transmitting/receiving unit 100 and the image generating unit 102 functioning as an ultrasound moving image acquisition processing unit sequentially acquire time-series frame images of ultrasound moving images.
  • a transmission unit of the transmission/reception unit 100 generates a plurality of drive signals to be applied to a plurality of ultrasonic transducers of the ultrasonic probe 62 of the ultrasonic scope 10, and based on a transmission delay pattern selected by a scanning control unit (not shown). to apply the plurality of drive signals to the plurality of ultrasonic transducers by giving respective delay times to the plurality of drive signals.
  • the receiving unit of the transmitting/receiving unit 100 amplifies a plurality of detection signals respectively output from the plurality of ultrasonic transducers of the ultrasonic probe 62, converts the analog detection signals into digital detection signals (also known as RF (Radio Frequency) data ). This RF data is input to the image generator 102 .
  • RF Radio Frequency
  • the image generation unit 102 Based on the reception delay pattern selected by the scanning control unit, the image generation unit 102 gives respective delay times to the plurality of detection signals represented by the RF data, and adds the detection signals to obtain a reception focus. process.
  • This reception focusing process forms sound ray data in which the focus of the ultrasonic echo is narrowed down.
  • the image generation unit 102 further corrects the attenuation due to distance according to the depth of the reflection position of the ultrasonic wave by STC (Sensitivity Timegain Control) for the sound ray data, and then performs envelope detection processing using a low-pass filter or the like.
  • Envelope data for one frame, preferably a plurality of frames, is stored in a cine memory (not shown).
  • the image generation unit 102 performs preprocessing such as Log (logarithmic) compression or gain adjustment on the envelope data stored in the cine memory to generate a B-mode image.
  • the transmission/reception unit 100 and the image generation unit 102 sequentially acquire time-series B-mode images (hereinafter referred to as "medical images").
  • the region-of-interest recognizing unit 106 recognizes (detects) a region of interest (an example of an object) included in an input medical image, and stores position information indicating the position of the region of interest in the medical image and a type indicating the type of the region of interest. to obtain information.
  • the attention area recognition unit 106 can apply AI (Artificial Intelligence), for example.
  • the region of interest in this example is various organs in a medical image (tomographic image of a B-mode image), such as the pancreas, main pancreatic duct, spleen, splenic vein, splenic artery, and gallbladder.
  • the position information is, for example, a bounding box that indicates the range of the attention area.
  • the position information is not limited to the bounding box, and the attention area may be surrounded by a shape other than a rectangle such as an ellipse, or the attention area may be filled with a color.
  • the type information is, for example, character information of at least one of the name and abbreviation of the organ in the region of interest.
  • the type information may be a symbol, a figure, a color, or a combination thereof, as long as the user can distinguish the organ in the region of interest.
  • the display position determination unit 108 determines a first display position where the position information of the attention area is superimposed on the medical image displayed on the monitor 18 .
  • the display position determination unit 108 also determines a second display position where the type information of the attention area is superimposed on the medical image displayed on the monitor 18 .
  • the display position determination unit 108 updates the first display position of the sequentially acquired medical images with the first update frequency, and updates the second display position with the second update frequency lower than the first update frequency. Update frequently.
  • the display control unit 110 is composed of a first display control unit 110A for displaying the ultrasonic moving image on the monitor 18, which is a display unit, and a second display control unit 110B for displaying information on the attention area on the monitor 18. .
  • the first display control unit 110A causes the monitor 18 to sequentially display the medical images sequentially acquired by the transmission/reception unit 100 and the image generation unit 102 .
  • a moving image showing an ultrasonic tomographic image is displayed on the monitor 18 .
  • the second display control unit 110B superimposes the position information of the region of interest on the medical image displayed on the monitor 18 by the first display control unit 110A at the first position determined by the display position determining unit 108. , the attention area type information is superimposed and displayed at the second position determined by the display position determination unit 108 .
  • the memory 112 is at least one memory that stores instructions for execution by the processor.
  • Memory 112 stores instructions for the processor to execute.
  • the memory 112 includes RAM (Random Access Memory) and ROM (Read Only Memory) (not shown).
  • the processor uses the RAM as a work area, executes software using various programs and parameters including a moving image processing program stored in the ROM, and uses the parameters stored in the ROM or the like to generate ultrasound waves.
  • Various processes of the processor unit 12 are executed.
  • FIG. 4 is a flow chart showing each step of the moving image processing method according to this embodiment.
  • the moving image processing method is implemented by CPU 104 executing a moving image processing program stored in memory 112 .
  • the moving image processing program may be provided by a computer-readable non-transitory storage medium.
  • the ultrasound processor device 12 may read the moving image processing program from the non-temporary storage medium and store it in the memory 112 .
  • step ST1 an example of a moving image acquiring process
  • the transmitting/receiving unit 100 and the image generating unit 102 sequentially acquire time-series medical images (an example of frame images) of ultrasound moving images.
  • step ST2 an example of an object information acquisition process
  • the attention area recognizing unit 106 recognizes the position information indicating the position in the medical image of the attention area included in the medical image obtained in step ST1 and the type indicating the type of the attention area.
  • step ST3 an example of the display position determination process
  • the display position determination unit 108 selects a first display position for displaying the position information acquired in step ST2 and a second display position for displaying the type information acquired in step ST2. determine the position and
  • step ST4 an example of the display process
  • the first display control unit 110A sequentially displays the medical images sequentially acquired in step ST1 on the monitor 18.
  • the second display control unit 110B superimposes the position information acquired in step ST2 on the first display position determined in step ST3 on the medical image displayed on the monitor 18, and displays the position information determined in step ST3.
  • the type information acquired in step ST2 is displayed superimposed on the second display position.
  • step ST5 the ultrasound processor device 12 determines whether or not to end the display of the ultrasound moving image. When ending, the ultrasound processor device 12 ends the processing of this flowchart. If not, the ultrasound processor 12 returns to the process of step ST1 and repeats the same process.
  • step ST3 the display position determination unit 108 updates the first display position with the first update frequency, and updates the second display position with the second display position lower than the first update frequency.
  • the update frequency may be controlled according to time, or may be controlled according to the location on the image.
  • the display position determining unit 108 updates the first display position of the position information every frame (an example of each frame image) that is the first update frequency, and updates the second display position of the type information.
  • the display position is updated every two frames at a second update frequency lower than the first update frequency.
  • FIG. 5 is a diagram showing display of moving images according to the first embodiment.
  • FIG. 5 shows an example in which four sequentially acquired medical images I 11 , I 12 , I 13 , and I 14 are sequentially displayed on the monitor 18 .
  • Position information F 2 of the detected attention area R 2 and type information of the attention area R 2 are displayed on the medical images I 11 , I 12 , and I 13 sequentially displayed on the monitor 18 .
  • T2 are superimposed on each other.
  • the position information F2 is a bounding box indicating the range of the region of interest R2
  • the type information T2 is character information indicating the abbreviation of the organ in the region of interest R2 .
  • the region of interest is not shown in the medical image I14.
  • medical image I11 is displayed.
  • Position information F 2 of the attention area R 2 and type information T 2 of the attention area R 2 are superimposed on the medical image I 11 . It is assumed that both the first display position of the position information F2 and the second display position of the type information T2 are updated at the timing when the medical image I11 is displayed. Therefore, the first display position of the position information F2 and the second display position of the type information T2 of the medical image I11 correspond to the position of the attention region R2 detected in the medical image I11 .
  • the second display position of the type information T2 is the center of the position information F2, but the second display position is not limited to this example, and can be determined by the display position determination unit 108 as appropriate.
  • the medical image I12 is displayed.
  • the position information F 2 of the attention area R 2 and the type information T 2 of the attention area R 2 are superimposed on the medical image I 12 .
  • the medical image I12 is displayed at the first display position corresponding to the position of the attention region R2 detected in the medical image I12 .
  • Position information F2 is superimposed and displayed.
  • the second display position of the type information T2 is updated every two frames, the second display position of the medical image I12 is the same as the second display position of the type information T2 of the medical image I11 . are the same. Therefore, the type information T2 of the medical image I11 is superimposed on the medical image I12 at the same position on the monitor 18 as the type information T2.
  • the medical image I13 is displayed. Further, the position information F 2 of the attention area R 2 and the type information T 2 of the attention area R 2 are superimposed on the medical image I 13 . At the timing when the medical image I13 is displayed, both the first display position of the position information F2 and the second display position of the type information T2 are updated. Therefore, the first display position of the position information F2 and the second display position of the type information T2 of the medical image I13 correspond to the position of the attention region R2 detected in the medical image I13 .
  • medical image I 14 is displayed. Since the region of interest is not detected from the medical image I14 , the position information F2 is not superimposed on the medical image I14 . Also, since the second display position of the type information T2 is updated every two frames, the timing at which the medical image I14 is displayed is not the update timing of the second display position of the type information T2. However, the second display control unit 110B superimposes the type information T2 only when the position information F2 is superimposed on the medical image. Therefore, the type information T2 is not superimposed on the medical image I14 on which the position information F2 is not superimposed.
  • the position information is caused to follow the position of the attention area while the type information is displayed. Visibility can be improved.
  • the update frequency of the second display position of the type information is every two frames, but it may be every three frames or more as long as it is lower than the first update frequency of the display position of the position information.
  • the display position determining unit 108 updates the first display position of the position information every frame, which is the first update frequency. Further, the display position determination unit 108 updates the second display position when the first display position when the second display position was last updated and the current first display position are separated by a threshold value or more.
  • FIG. 6 is a diagram showing display of moving images according to the second embodiment.
  • FIG. 6 shows an example in which three sequentially acquired medical images I 21 , I 22 , and I 23 are sequentially displayed on the monitor 18 .
  • Positional information F 3 of the detected attention area R 3 and type information of the attention area R 3 are displayed on the medical images I 21 , I 22 , and I 23 sequentially displayed on the monitor 18 . T3 are superimposed on each other. It should be noted that the broken - line frames shown in the medical images I22 and I23 in FIG. not a thing
  • the medical image I21 is displayed.
  • Position information F 3 of the attention area R 3 and type information T 3 of the attention area R 3 are superimposed on the medical image I 21 . It is assumed that both the first display position of the position information F3 and the second display position of the type information T3 are updated at the timing when the medical image I21 is displayed. Therefore, the first display position of the position information F3 and the second display position of the type information T3 of the medical image I21 correspond to the position of the attention region R3 detected in the medical image I21 .
  • Position information F 2 of the attention area R 3 and type information T 2 of the attention area R 3 are superimposed on the medical image I 22 . Since the first display position of the position information F3 is updated for each frame, the medical image I22 displays the first display position corresponding to the position of the attention region R3 detected in the medical image I22 . Position information F3 is superimposed on the position.
  • the "first display position when the second display position was last updated" at the time when the medical image I22 was displayed which is the reference display position that serves as the reference for updating the type information T3 is , corresponds to the first display position of the position information F3 superimposed on the medical image I21 .
  • the distance between the first display position of the position information F3 superimposed on the medical image I21 and the first display position of the position information F3 superimposed on the medical image I22 is , D1 .
  • the distance D 1 has a relationship of D TH >D 1 with respect to the threshold value D TH stored in the memory 112, and the second display position of the type information T 3 of the medical image I 22 is updated. not. Therefore , the type information T3 is superimposed on the medical image I22 at the same position as the type information T3 of the medical image I21 .
  • the threshold value DTH may be changed according to the size of the detected attention area on the image (the size of the bounding box) instead of a fixed value.
  • Position information F 3 of the attention area R 3 and type information T 3 of the attention area R 3 are superimposed on the medical image I 23 . Since the first display position of the position information F3 is updated for each frame, the medical image I23 is displayed at the first display position corresponding to the position of the attention region R3 detected in the medical image I23 . Position information F3 is superimposed and displayed.
  • the reference display position at the time when the medical image I23 is displayed also corresponds to the first display position of the position information F3 superimposed on the medical image I21 .
  • the distance between the first display position of the position information F3 superimposed on the medical image I21 and the first display position of the position information F3 superimposed on the medical image I23 is , D2 .
  • the second display position of the type information T 3 of the medical image I 23 is updated. Therefore , the type information T3 of the medical image I23 is displayed at the center of the position information F3 .
  • the reference display position is the first display position of the position information F3 superimposed on the medical image I23 .
  • the display position determining unit 108 updates the first display position of the position information every one frame, which is the first update frequency. Moreover, the display position determining unit 108 updates the second display position when the bounding box when the second display position was last updated and the current bounding box do not overlap.
  • FIG. 7 is a diagram showing display of moving images according to the third embodiment.
  • FIG. 7 shows an example in which three sequentially acquired medical images I 31 , I 32 , and I 33 are sequentially displayed on the monitor 18 .
  • Position information F 4 of the detected attention area R 4 and type information of the attention area R 4 are displayed on the medical images I 31 , I 32 , and I 33 sequentially displayed on the monitor 18 . T4 are superimposed on each other. It should be noted that the broken-line frames shown in the medical images I 32 and I 33 are for explaining the display position of the position information F 4 of the medical image I 31 and are not displayed on the monitor 18. .
  • Position information F 4 of the attention area R 4 and type information T 4 of the attention area R 4 are superimposed on the medical image I 32 . Since the first display position of the position information F4 is updated for each frame, the medical image I32 displays the first display position according to the position of the attention region R4 detected in the medical image I32 . Position information F4 is superimposed on the position.
  • the reference bounding box that serves as a reference for updating the type information T4 which is the "bounding box when the second display position was last updated" at the time when the medical image I32 was displayed, is the medical image It corresponds to the bounding box of the position information F4 superimposed on I31 .
  • the bounding box of the position information F4 superimposed on the medical image I31 and the bounding box of the position information F4 superimposed on the medical image I32 partially overlap. . Therefore, the second display position of the type information T4 of the medical image I32 is not updated, and the type information T4 is displayed superimposed on the medical image I32 at the same position as the type information T4 of the medical image I31 . be done.
  • Position information F 4 of the attention area R 4 and type information T 4 of the attention area R 4 are superimposed on the medical image I 33 . Since the first display position of the position information F4 is updated for each frame, the medical image I33 is displayed at the first display position corresponding to the position of the attention region R4 detected in the medical image I33 . Position information F4 is superimposed and displayed.
  • the reference bounding box when the medical image I33 is displayed corresponds to the bounding box of the position information F4 superimposed on the medical image I31.
  • the bounding box of the position information F4 superimposed on the medical image I31 and the bounding box of the position information F4 superimposed on the medical image I33 are non - overlapping. Therefore, the second display position of the type information T4 of the medical image I33 is updated, and the type information T4 of the medical image I33 is displayed in the center of the position information F4 . Further, for subsequent medical images, the reference bounding box is the bounding box of the position information F4 superimposed on the medical image I33 .
  • the third embodiment it is possible to improve the visibility of the type information while allowing the position information to follow the position of the attention area.
  • the display position determining unit 108 updates the first display position of the position information every one frame, which is the first update frequency. Further, the display position determining unit 108 updates the second display position when the overlapping area between the bounding box when the second display position was last updated and the current bounding box is equal to or less than the threshold.
  • FIG. 8 is a diagram showing display of moving images according to the fourth embodiment.
  • FIG. 8 shows an example in which three sequentially acquired medical images I 41 , I 42 , and I 43 are sequentially displayed on the monitor 18 .
  • medical image I 41 is displayed.
  • Position information F 5 of the attention area R 5 and type information T 5 of the attention area R 5 are superimposed on the medical image I 41 . It is assumed that both the first display position of the position information F5 and the second display position of the type information T5 are updated at the timing when the medical image I41 is displayed. Therefore, the first display position of the position information F5 and the second display position of the type information T5 of the medical image I41 correspond to the position of the attention region R5 detected in the medical image I41 .
  • the reference bounding box that serves as a reference for updating the type information T5 and is the "bounding box when the second display position was last updated" at the time when the medical image I42 was displayed is the third 2 corresponds to the bounding box of the position information F5 superimposed on the medical image I41 , as in the embodiment of FIG.
  • the bounding box of the positional information F5 superimposed on the medical image I41 and the bounding box of the positional information F5 superimposed on the medical image I42 partially overlap.
  • the area of overlap is S1.
  • the area S 1 has a relationship of S TH ⁇ S 1 with respect to the threshold value S TH stored in the memory 112, and the second display position of the type information T 5 of the medical image I 42 is updated. not. Therefore, the type information T5 is superimposed on the medical image I42 at the same position as the type information T5 of the medical image I41 .
  • the "overlapping area” considered here may be an absolute value on the image or a ratio to the area of the bounding box. Also, the threshold value S TH may be changed according to the size of the detected attention area on the image (the size of the bounding box).
  • medical image I 43 is displayed.
  • Position information F 5 of the attention area R 5 and type information T 5 of the attention area R 5 are superimposed on the medical image I 43 . Since the first display position of the position information F5 is updated for each frame, the medical image I43 is displayed at the first display position corresponding to the position of the attention region R5 detected in the medical image I43 . Position information F5 is superimposed and displayed.
  • the reference bounding box when the medical image I43 is displayed corresponds to the bounding box of the position information F5 superimposed on the medical image I41.
  • the bounding box of the positional information F5 superimposed on the medical image I41 and the bounding box of the positional information F5 superimposed on the medical image I43 partially overlap.
  • the area of overlap is S2.
  • the second display position of the type information T 5 of the medical image I 43 is updated. Therefore, the type information T5 of the medical image I43 is displayed at the center of the position information F5 .
  • the reference bounding box is the bounding box of the position information F5 superimposed on the medical image I43 .
  • the first display position of position information is updated every frame, but the first update frequency of the first display position of position information is not for each frame image.
  • the first update frequency may be determined according to the frequency with which the attention area recognition unit 106 acquires position information. For example, when the attention area recognition unit 106 acquires position information for each of a plurality of frames, the first update frequency may match the acquisition frequency of the position information of the attention area recognition unit 106 .
  • an ultrasonic moving image captured by an ultrasonic endoscope has been described as an example, but the present invention can be applied to medical moving images other than ultrasonic moving images. . Also, the present invention can be applied to a moving image of an object.
  • Ultrasonic endoscope system 10 Ultrasonic scope 12 Ultrasonic processor device 14 Endoscope processor device 16 Light source device 18 Monitor 20 Insertion section 20a Longitudinal shaft 22 Hand operation section 24 Universal cord 26 Connector for ultrasonic wave 28 Connector for endoscope 30 Connector for light source 32 Tube 34 Tube 36 Air supply/water supply button 38 Suction button 42 Angle knob 44 Treatment instrument insertion port 50 Tip Main body 52 Curved portion 54 Flexible portion 62 Ultrasonic probe 64 Balloon 70 Water supply tank 72 Suction pump 100 Transmission/reception unit 102 Image generation unit 106 Attention area recognition unit 108 Display position determination unit 110 Display control unit 110A First display control unit 110B Second display control unit 112 Memory F1 to F5 Position information I1 to I3 Medical images I11 to I14 Medical images I21 to I13 Medical images I 31 to I 13 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

動画像に含まれる物体の情報を動画像に重畳させて視認性よく表示する動画像処理装置、動画像処理方法、及びプログラム、動画像表示システムを提供する。取得した動画像のフレーム画像に含まれる物体の位置情報と種類情報とを取得し、位置情報を表示する第１の表示位置と種類情報を表示する第２の表示位置とを決定し、順次取得したフレーム画像をディスプレイに順次表示し、表示されたフレーム画像の第１の表示位置と第２の表示位置とに位置情報と種類情報とを重畳表示し、第１の表示位置を第１の更新頻度で更新し、第２の表示位置を第１の更新頻度より低い第２の更新頻度で更新する。

Description

動画像処理装置、動画像処理方法及びプログラム、動画像表示システム
　本発明は動画像処理装置、動画像処理方法及びプログラム、動画像表示システムに係り、特に動画像内の物体の情報を表示する技術に関する。
　超音波内視鏡は、臓器及び血管の位置関係を画面で確認しながら、所望の臓器が画面に映るようにスコープを操作するが、これは非常に難しい操作である。このようなスコープ操作を簡単にするために、ＡＩ（artificial intelligence）などの画像認識技術を用いて臓器及び血管等の解剖領域を検出し、ユーザーに提示することが考えられる。
　特許文献１には、動画像から検出された病変候補領域を示すマーカーを合成した病変候補動画像データを生成し、病変候補動画像データに基づく観察画像データが表示画面に表示される医用観察システムが開示されている。
国際公開第２０１７／１０４１９２号
　解剖領域をユーザーに提示する際の表示方法としては、検出した解剖領域の中心に解剖領域の名前を文字で表示する手段がある。通常文字表示は、解剖領域を囲む枠に追従して表示される。
　ここで、静止画に対する物体検出であれば、文字表示は固定されるので視認性に問題は生じにくい。一方、動画像に対する物体検出の場合、文字表示の移動量が大きいと内容をひと目で判断することが難しく、視認性が悪くなるという問題点があった。
　特に、ＥＵＳ（Endoscopic ultrasonography：超音波内視鏡検査）は、体表ＵＳ（ultrasonography：超音波検査）と異なり、両手を用いてスコープ操作を行っているため、常にユーザーの入力によって表示の有無の切り替えを行うことができる環境にあるとは限らない。したがって、表示はユーザーにとって邪魔にならないものである必要がある。
　本発明はこのような事情に鑑みてなされたもので、動画像に含まれる物体の情報を動画像に重畳させて視認性よく表示する動画像処理装置、動画像処理方法、及びプログラム、動画像表示システムを提供することを目的とする。
　上記目的を達成するために第１態様に係る動画像処理装置は、少なくとも１つのプロセッサと、プロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、プロセッサは、動画像のフレーム画像を順次取得し、フレーム画像に含まれる物体のフレーム画像内における位置を示す位置情報と物体の種類を示す種類情報とを取得し、位置情報を表示する第１の表示位置を決定し、種類情報を表示する第２の表示位置を決定し、順次取得したフレーム画像をディスプレイに順次表示し、表示されたフレーム画像の第１の表示位置に位置情報を重畳表示し、表示されたフレーム画像の第２の表示位置に種類情報を重畳表示し、第１の表示位置を第１の更新頻度で更新し、第２の表示位置を第１の更新頻度より低い第２の更新頻度で更新する。
　本発明の第２態様に係る動画像処理装置は、第１態様に係る動画像処理装置において、第１の更新頻度はフレーム画像ごとである。
　本発明の第３態様に係る動画像処理装置は、第１態様又は第２態様に係る動画像処理装置において、プロセッサは、第２の表示位置を最後に更新した際の第１の表示位置と現在の第１の表示位置とが閾値以上離れると第２の表示位置を更新する。
　本発明の第４態様に係る動画像処理装置は、第１態様から第３態様のいずれかに係る動画像処理装置において、位置情報は、物体の範囲を示すバウンディングボックスである。
　本発明の第５態様に係る動画像処理装置は、第４態様に係る動画像処理装置において、プロセッサは、第２の表示位置を最後に更新した際のバウンディングボックスと現在のバウンディングボックスとが非重複の場合に第２の表示位置を更新する。
　本発明の第６態様に係る動画像処理装置は、第４態様に係る動画像処理装置において、プロセッサは、第２の表示位置を最後に更新した際のバウンディングボックスと現在のバウンディングボックスとの重複する面積が閾値以下の場合に第２の表示位置を更新する。
　本発明の第７態様に係る動画像処理装置は、第１態様から第６態様のいずれかに係る動画像処理装置において、フレーム画像に位置情報を重畳表示した場合のみ種類情報を重畳表示する。
　本発明の第８態様に係る動画像処理装置は、第１態様から第７態様のいずれかに係る動画像処理装置において、種類情報は、物体の名称及び略称のうちの少なくとも一方の文字情報を含む。
　本発明の第９態様に係る動画像処理装置は、第１態様から第８態様のいずれかに係る動画像処理装置において、動画像は医用動画像である。
　本発明の第１０態様に係る動画像処理装置は、第１態様から第９態様のいずれかに係る動画像処理装置において、医用動画像は超音波動画像である。
　本発明の第１１態様に係る動画像処理装置は、第１０態様に係る動画像処理装置において、超音波動画像は超音波内視鏡によって撮影され、物体は臓器を含む。
　本発明の第１２態様に係る動画像表示システムは、動画像を撮影する撮影装置と、ディスプレイと、第１態様から第１１態様のいずれかに係る動画像処理装置と、を備える。
　本発明の第１３態様に係る動画像処理方法は、動画像のフレーム画像を順次取得する動画像取得工程と、フレーム画像に含まれる物体のフレーム画像内における位置を示す位置情報と物体の種類を示す種類情報とを取得する物体情報取得工程と、位置情報を表示する第１の表示位置と種類情報を表示する第２の表示位置とを決定する表示位置決定工程と、順次取得したフレーム画像をディスプレイに順次表示し、かつ表示されたフレーム画像の第１の表示位置に位置情報を重畳表示し、かつ表示されたフレーム画像の第２の表示位置に種類情報を重畳表示する表示工程と、第１の表示位置を第１の更新頻度で更新し、かつ第２の表示位置を第１の更新頻度より低い第２の更新頻度で更新する更新工程と、を備える。
　本発明の第１４態様に係るプログラムは、第１３態様に係る動画像処理方法をコンピュータに実行させる。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。
　本発明によれば、動画像に含まれる物体の情報を動画像に重畳させて視認性よく表示することができる。
図１は、従来の超音波内視鏡システムによる動画像の表示を示す図である。 図２は、本実施形態に係る超音波内視鏡システムの全体構成を示す概略図である。 図３は、超音波用プロセッサ装置の実施形態を示すブロック図である。 図４は、本実施形態に係る動画像処理方法の各ステップを示すフローチャートである。 図５は、第１の実施形態に係る動画像の表示を示す図である。 図６は、第２の実施形態に係る動画像の表示を示す図である。 図７は、第３の実施形態に係る動画像の表示を示す図である。 図８は、第４の実施形態に係る動画像の表示を示す図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　〔従来の動画像表示〕
　図１は、従来の超音波内視鏡システムによる動画像の表示を示す図である。図１では、動画像の時系列のフレーム画像である３枚の医用画像Ｉ１、Ｉ２、及びＩ３がモニタに順次表示される例を示している。
　医用画像Ｉ１、Ｉ２、及びＩ３には、医用画像Ｉ１、Ｉ２、及びＩ３から検出された注目領域Ｒ１に対して、注目領域Ｒ１の位置を示す位置情報Ｆ１、及び注目領域Ｒ１の種類を示す種類情報Ｔ１がそれぞれ重畳表示されている。図１に示す例では、位置情報Ｆ１は、注目領域Ｒ１の範囲を示すバウンディングボックスであり、種類情報Ｔ１は、注目領域Ｒ１の臓器の略称を示す文字情報である。ここでは、フレームごとに位置情報Ｆ１、及び種類情報Ｔ１が更新されており、種類情報Ｔ１は、常に位置情報Ｆ１の中心に表示されている。
　このように、動画像に対する物体検出において、文字表示等の種類情報がリアルタイムに移動すると視認性が悪くなり、内容をひと目で判断することが難しかった。これに対し、本発明に係る動画像処理装置として機能する超音波用プロセッサ装置は、医用画像に含まれる注目領域の情報を超音波動画像（医用動画像の一例）に重畳させて視認性よく表示する。
　〔超音波内視鏡システムの全体構成〕
　図２は、本実施形態に係る超音波内視鏡システムの全体構成を示す概略図である。図２に示すように超音波内視鏡システム２（動画像表示システムの一例）は、超音波スコープ１０と、超音波画像を生成する超音波用プロセッサ装置１２と、内視鏡画像を生成する内視鏡用プロセッサ装置１４と、体腔内を照明するための照明光を超音波スコープ１０に供給する光源装置１６と、超音波画像及び内視鏡画像を表示するモニタ１８と、を備えている。
　超音波スコープ１０（撮影装置の一例）は、被検体の体腔内に挿入される挿入部２０と、挿入部２０の基端部に連設され、術者が操作を行う手元操作部２２と、手元操作部２２に一端が接続されたユニバーサルコード２４と、を備えている。ユニバーサルコード２４の他端には、超音波用プロセッサ装置１２に接続される超音波用コネクタ２６と、内視鏡用プロセッサ装置１４に接続される内視鏡用コネクタ２８と、光源装置１６に接続される光源用コネクタ３０とが設けられている。
　超音波スコープ１０は、これらの各コネクタ２６、２８、３０を介して超音波用プロセッサ装置１２、内視鏡用プロセッサ装置１４及び光源装置１６に着脱自在に接続される。また、光源用コネクタ３０には、送気送水用のチューブ３２と吸引用のチューブ３４とが接続される。
　モニタ１８（ディスプレイの一例）は、超音波用プロセッサ装置１２及び内視鏡用プロセッサ装置１４により生成された各映像信号を受信して超音波画像及び内視鏡画像を表示する。超音波画像及び内視鏡画像の表示は、いずれか一方のみの画像を適宜切り替えてモニタ１８に表示したり、両方の画像を同時に表示したりすること等が可能である。
　手元操作部２２には、送気送水ボタン３６及び吸引ボタン３８が並設されるとともに、一対のアングルノブ４２及び処置具挿入口４４が設けられている。
　挿入部２０は、先端と基端と長手軸２０ａとを有し、先端側から順に、硬質部材で構成される先端部本体５０と、先端部本体５０の基端側に連設された湾曲部５２と、湾曲部５２の基端側と手元操作部２２の先端側との間を連結し、細長かつ長尺の可撓性を有する軟性部５４とから構成されている。即ち、先端部本体５０は、挿入部２０の長手軸２０ａ方向の先端側に設けられている。また、湾曲部５２は、手元操作部２２に設けられた一対のアングルノブ４２を回動することによって遠隔的に湾曲操作される。これにより、先端部本体５０を所望の方向に向けることができる。
　先端部本体５０には、超音波探触子６２と、超音波探触子６２を覆い包む袋状のバルーン６４が装着されている。バルーン６４は、送水タンク７０から水が供給され、又は吸引ポンプ７２によりバルーン６４内の水が吸引されることで、膨張又は収縮することができる。バルーン６４は、超音波観察時に超音波及び超音波エコー（エコー信号）の減衰を防ぐために、体腔内壁に当接するまで膨張させられる。
　また、先端部本体５０には、対物レンズ及び撮像素子等を備えた観察部と照明部とを有する、図示しない内視鏡観察部が装着されている。内視鏡観察部は、超音波探触子６２の後方（手元操作部２２側）に設けられている。
　〔動画像処理装置〕
　図３は、本発明に係る動画像処理装置として機能する超音波用プロセッサ装置の実施形態を示すブロック図である。図３に示す超音波用プロセッサ装置１２は、順次取得した超音波動画像のフレーム画像に基づいて、フレーム画像内の注目領域を検出し、注目領域の検出結果を示す情報を超音波動画像に重畳してユーザーに報知するものである。
　図３に示すように、超音波用プロセッサ装置１２は、送受信部１００、画像生成部１０２、ＣＰＵ（Central Processing Unit）１０４、注目領域認識部１０６、表示位置決定部１０８、表示制御部１１０、及びメモリ１１２を含む。
　送受信部１００、画像生成部１０２、ＣＰＵ（Central Processing Unit）１０４、注目領域認識部１０６、表示位置決定部１０８、及び表示制御部１１０の処理は、少なくとも１つのプロセッサにより実現される。
　プロセッサのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　ＣＰＵ１０４は、メモリ１１２に記憶された本発明に係る動画像処理プログラムを含む各種のプログラムに基づいて動作し、送受信部１００、画像生成部１０２、注目領域認識部１０６、表示位置決定部１０８、及び表示制御部１１０を統括制御し、また、これらの各部の一部として機能する。
　超音波動画像取得処理部として機能する送受信部１００及び画像生成部１０２は、超音波動画像の時系列のフレーム画像を順次取得する。
　送受信部１００の送信部は、超音波スコープ１０の超音波探触子６２の複数の超音波トランスデューサに印加する複数の駆動信号を生成し、図示しない走査制御部によって選択された送信遅延パターンに基づいて複数の駆動信号にそれぞれの遅延時間を与えて複数の駆動信号を複数の超音波トランスデューサに印加する。
　送受信部１００の受信部は、超音波探触子６２の複数の超音波トランスデューサからそれぞれ出力される複数の検出信号を増幅し、アナログの検出信号をディジタルの検出信号（ＲＦ（Radio Frequency）データともいう）に変換する。このＲＦデータは、画像生成部１０２に入力される。
　画像生成部１０２は、走査制御部により選択された受信遅延パターンに基づいて、ＲＦデータにより表される複数の検出信号にそれぞれの遅延時間を与え、それらの検出信号を加算することにより、受信フォーカス処理を行う。この受信フォーカス処理によって、超音波エコーの焦点が絞り込まれた音線データを形成する。
　画像生成部１０２は、更に音線データに対して、ＳＴＣ（Sensitivity Timegain Control）によって、超音波の反射位置の深度に応じて距離による減衰の補正をした後、ローパスフィルタ等によって包絡線検波処理を施すことにより包絡線データを生成し、１フレーム分、より好ましくは複数フレーム分の包絡線データを、図示しないシネメモリに格納する。画像生成部１０２は、シネメモリに格納された包絡線データに対して、Ｌｏｇ（対数）圧縮、又はゲイン調整等のプリプロセス処理を施してＢモード画像を生成する。
　このようにして、送受信部１００及び画像生成部１０２は、時系列のＢモード画像（以下、「医用画像」という）を順次取得する。
　注目領域認識部１０６は、入力された医用画像に含まれる注目領域（物体の一例）を認識（検出）し、注目領域の医用画像内における位置を示す位置情報と、注目領域の種類を示す種類情報とを取得するものである。注目領域認識部１０６は、例えば、ＡＩ（Artificial Intelligence）を適用することができる。
　本例の注目領域は、医用画像（Ｂモード画像の断層像）内の各種の臓器であり、例えば、膵臓、主膵管、脾臓、脾静脈、脾動脈、胆嚢等である。
　位置情報は、例えば注目領域の範囲を示すバウンディングボックスである。なお、位置情報はバウンディングボックスに限定されず、注目領域を楕円形などの矩形以外の形状で囲む態様でもよいし、注目領域を色で塗りつぶす態様でもよい。
　種類情報は、例えば注目領域の臓器の名称及び略称のうちの少なくとも一方の文字情報である。なお種類情報は、ユーザーが注目領域の臓器の区別ができればよく、記号、図形、色、それらの組み合わせであってもよい。
　表示位置決定部１０８は、モニタ１８に表示される医用画像に対して注目領域の位置情報を重畳表示する第１の表示位置を決定する。また、表示位置決定部１０８は、モニタ１８に表示される医用画像に対して注目領域の種類情報を重畳表示する第２の表示位置を決定する。ここで、表示位置決定部１０８は、順次取得した医用画像に対して第１の表示位置を第１の更新頻度で更新し、第２の表示位置を第１の更新頻度より低い第２の更新頻度で更新する。
　表示制御部１１０は、超音波動画像を表示部であるモニタ１８に表示させる第１表示制御部１１０Ａと、注目領域に関する情報をモニタ１８に表示させる第２表示制御部１１０Ｂとから構成されている。
　第１表示制御部１１０Ａは、送受信部１００及び画像生成部１０２により順次取得した医用画像をモニタ１８に順次表示させる。本例では、超音波断層像を示す動画像がモニタ１８に表示される。
　第２表示制御部１１０Ｂは、第１表示制御部１１０Ａによってモニタ１８に表示された医用画像に対して、注目領域の位置情報を表示位置決定部１０８により決定された第１の位置に重畳表示させ、注目領域の種類情報を表示位置決定部１０８により決定された第２の位置に重畳表示させる。
　メモリ１１２は、プロセッサに実行させるための命令を記憶する少なくとも１つのメモリである。メモリ１１２は、プロセッサに実行させるための命令を記憶する。メモリ１１２は、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサは、ＲＡＭを作業領域とし、ＲＯＭに記憶された動画像処理プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、超音波用プロセッサ装置１２の各種の処理を実行する。
　〔動画像処理方法〕
　図４は、本実施形態に係る動画像処理方法の各ステップを示すフローチャートである。動画像処理方法は、ＣＰＵ１０４がメモリ１１２に記憶された動画像処理プログラムを実行することで実現される。動画像処理プログラムは、コンピュータが読み取り可能な非一時的記憶媒体によって提供されてもよい。この場合、超音波用プロセッサ装置１２は、非一時的記憶媒体から動画像処理プログラムを読み取り、メモリ１１２に記憶させてもよい。
　ステップＳＴ１（動画像取得工程の一例）では、送受信部１００及び画像生成部１０２は、超音波動画像の時系列の医用画像（フレーム画像の一例）を順次取得する。
　ステップＳＴ２（物体情報取得工程の一例）では、注目領域認識部１０６は、ステップＳＴ１で取得した医用画像に含まれる注目領域の医用画像内における位置を示す位置情報と、注目領域の種類を示す種類情報とを取得する。
　ステップＳＴ３（表示位置決定工程の一例）では、表示位置決定部１０８は、ステップＳＴ２で取得した位置情報を表示する第１の表示位置と、ステップＳＴ２で取得した種類情報を表示する第２の表示位置とを決定する。
　ステップＳＴ４（表示工程の一例）では、第１表示制御部１１０Ａは、ステップＳＴ１で順次取得した医用画像をモニタ１８に順次表示する。さらに、第２表示制御部１１０Ｂは、モニタ１８に表示された医用画像に対して、ステップＳＴ３で決定した第１の表示位置にステップＳＴ２で取得した位置情報を重畳表示し、かつステップＳＴ３で決定した第２の表示位置にステップＳＴ２で取得した種類情報を重畳表示する。
　続いて、ステップＳＴ５では、超音波用プロセッサ装置１２は、超音波動画像の表示を終了するか否かを判定する。終了する場合は、超音波用プロセッサ装置１２は、本フローチャートの処理を終了する。終了しない場合は、超音波用プロセッサ装置１２は、ステップＳＴ１の処理に戻り、同様の処理を繰り返す。
　ここで、ステップＳＴ３（更新工程の一例）において、表示位置決定部１０８は、第１の表示位置を第１の更新頻度で更新し、かつ第２の表示位置を第１の更新頻度より低い第２の更新頻度で更新する。更新頻度は、後述するように、時間に応じて制御してもよいし、画像上の場所に応じて制御してもよい。
　〔第１の実施形態〕
　第１の実施形態では、表示位置決定部１０８は、位置情報の第１の表示位置を第１の更新頻度である１フレームごと（フレーム画像ごとの一例）に更新し、種類情報の第２の表示位置を第１の更新頻度より低い第２の更新頻度である２フレームごとに更新する。
　図５は、第１の実施形態に係る動画像の表示を示す図である。図５では、順次取得された４枚の医用画像Ｉ１１、Ｉ１２、Ｉ１３、及びＩ１４がモニタ１８に順次表示される例を示している。
　モニタ１８に順次表示された医用画像Ｉ１１、Ｉ１２、及びＩ１３には、検出された注目領域Ｒ２に対して、注目領域Ｒ２の位置情報Ｆ２、及び注目領域Ｒ２の種類情報Ｔ２がそれぞれ重畳表示されている。位置情報Ｆ２は、注目領域Ｒ２の範囲を示すバウンディングボックスであり、種類情報Ｔ２は、注目領域Ｒ２の臓器の略称を示す文字情報である。また、医用画像Ｉ１４には、注目領域が写っていない。
　最初に、医用画像Ｉ１１が表示される。また、医用画像Ｉ１１には、注目領域Ｒ２の位置情報Ｆ２、及び注目領域Ｒ２の種類情報Ｔ２がそれぞれ重畳表示される。なお、医用画像Ｉ１１が表示されるタイミングでは、位置情報Ｆ２の第１の表示位置と種類情報Ｔ２の第２の表示位置との両方が更新されているものとする。このため、医用画像Ｉ１１の位置情報Ｆ２の第１の表示位置及び種類情報Ｔ２の第２の表示位置は、医用画像Ｉ１１において検出された注目領域Ｒ２の位置に応じている。ここでは、種類情報Ｔ２の第２の表示位置は位置情報Ｆ２の中心であるが、第２の表示位置はこの例に限定されず、表示位置決定部１０８において適宜決めることができる。
　続いて、医用画像Ｉ１２が表示される。また、医用画像Ｉ１２には、注目領域Ｒ２の位置情報Ｆ２、及び注目領域Ｒ２の種類情報Ｔ２がそれぞれ重畳表示される。位置情報Ｆ２の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ１２には、医用画像Ｉ１２において検出された注目領域Ｒ２の位置に応じた第１の表示位置に位置情報Ｆ２が重畳表示される。また、種類情報Ｔ２の第２の表示位置は２フレームごとに更新されるため、医用画像Ｉ１２の第２の表示位置は、医用画像Ｉ１１の種類情報Ｔ２の第２の表示位置と同じである。このため、医用画像Ｉ１２には、医用画像Ｉ１１の種類情報Ｔ２とモニタ１８の同じ位置に種類情報Ｔ２が重畳表示される。
　続いて、医用画像Ｉ１３が表示される。また、医用画像Ｉ１３には、注目領域Ｒ２の位置情報Ｆ２、及び注目領域Ｒ２の種類情報Ｔ２がそれぞれ重畳表示される。医用画像Ｉ１３が表示されるタイミングでは、位置情報Ｆ２の第１の表示位置と種類情報Ｔ２の第２の表示位置との両方が更新される。このため、医用画像Ｉ１３の位置情報Ｆ２の第１の表示位置及び種類情報Ｔ２の第２の表示位置は、医用画像Ｉ１３において検出された注目領域Ｒ２の位置に応じている。
　さらに、医用画像Ｉ１４が表示される。医用画像Ｉ１４からは注目領域が検出されないため、医用画像Ｉ１４には位置情報Ｆ２は重畳表示されない。また、種類情報Ｔ２の第２の表示位置は２フレームごとに更新されるため、医用画像Ｉ１４が表示されるタイミングは、種類情報Ｔ２の第２の表示位置の更新タイミングではない。しかしながら、第２表示制御部１１０Ｂは、医用画像に位置情報Ｆ２を重畳表示した場合のみ種類情報Ｔ２を重畳表示する。このため、位置情報Ｆ２が重畳表示されない医用画像Ｉ１４には、種類情報Ｔ２についても重畳表示されない。
　このように、位置情報の第１の表示位置よりも種類情報の第２の表示位置を相対的に低い更新頻度で更新することで、位置情報を注目領域の位置に追従させつつ、種類情報の視認性を向上させることができる。
　また、医用画像には、位置情報を重畳表示した場合のみ種類情報を重畳表示することで、種類情報の更新頻度を相対的に低くした場合であっても、不要な種類情報が重畳表示されることを防止することができる。
　ここでは、種類情報の第２の表示位置の更新頻度を２フレームごととしたが、位置情報の表示位置の第１の更新頻度より低ければよく、３フレーム以上ごとであってもよい。
　〔第２の実施形態〕
　第２の実施形態では、表示位置決定部１０８は、位置情報の第１の表示位置を第１の更新頻度である１フレームごとに更新する。また、表示位置決定部１０８は、第２の表示位置を最後に更新した際の第１の表示位置と現在の第１の表示位置とが閾値以上離れると第２の表示位置を更新する。
　図６は、第２の実施形態に係る動画像の表示を示す図である。図６では、順次取得された３枚の医用画像Ｉ２１、Ｉ２２、及びＩ２３がモニタ１８に順次表示される例を示している。
　モニタ１８に順次表示された医用画像Ｉ２１、Ｉ２２、及びＩ２３には、検出された注目領域Ｒ３に対して、注目領域Ｒ３の位置情報Ｆ３、及び注目領域Ｒ３の種類情報Ｔ３がそれぞれ重畳表示されている。なお、図６の医用画像Ｉ２２、及びＩ２３に示した破線の枠は、医用画像Ｉ２１の位置情報Ｆ３の表示位置を説明のために図示したものであり、モニタ１８に表示されるものではない。
　最初に、医用画像Ｉ２１が表示される。また、医用画像Ｉ２１には、注目領域Ｒ３の位置情報Ｆ３、及び注目領域Ｒ３の種類情報Ｔ３がそれぞれ重畳表示される。なお、医用画像Ｉ２１が表示されるタイミングでは、位置情報Ｆ３の第１の表示位置と種類情報Ｔ３の第２の表示位置との両方が更新されているものとする。このため、医用画像Ｉ２１の位置情報Ｆ３の第１の表示位置及び種類情報Ｔ３の第２の表示位置は、医用画像Ｉ２１において検出された注目領域Ｒ３の位置に応じている。
　続いて、医用画像Ｉ２２が表示される。また、医用画像Ｉ２２には、注目領域Ｒ３の位置情報Ｆ２、及び注目領域Ｒ３の種類情報Ｔ２がそれぞれ重畳表示される。なお、位置情報Ｆ３の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ２２には、医用画像Ｉ２２において検出された注目領域Ｒ３の位置に応じた第１の表示位置に位置情報Ｆ３が重畳表示される。
　ここで、種類情報Ｔ３の更新の基準となる基準表示位置であって、医用画像Ｉ２２が表示された時点における「第２の表示位置を最後に更新した際の第１の表示位置」は、医用画像Ｉ２１に重畳表示された位置情報Ｆ３の第１の表示位置に相当する。図６に示すように、医用画像Ｉ２１に重畳表示された位置情報Ｆ３の第１の表示位置と医用画像Ｉ２２に重畳表示された位置情報Ｆ３の第１の表示位置との距離は、Ｄ１である。ここでは、距離Ｄ１はメモリ１１２に記憶された閾値ＤＴＨに対して、ＤＴＨ＞Ｄ１の関係を有しており、医用画像Ｉ２２の種類情報Ｔ３の第２の表示位置は更新されない。このため、医用画像Ｉ２２には、医用画像Ｉ２１の種類情報Ｔ３と同じ位置に種類情報Ｔ３が重畳表示される。
　なお、閾値ＤＴＨは、固定の値ではなく、検出された注目領域の画像上の大きさ（バウンディングボックスの大きさ）に応じて変更してもよい。
　続いて、医用画像Ｉ２３が表示される。また、医用画像Ｉ２３には、注目領域Ｒ３の位置情報Ｆ３、及び注目領域Ｒ３の種類情報Ｔ３がそれぞれ重畳表示される。位置情報Ｆ３の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ２３には、医用画像Ｉ２３において検出された注目領域Ｒ３の位置に応じた第１の表示位置に位置情報Ｆ３が重畳表示される。
　ここで、医用画像Ｉ２３が表示された時点における基準表示位置も、医用画像Ｉ２１に重畳表示された位置情報Ｆ３の第１の表示位置に相当する。図６に示すように、医用画像Ｉ２１に重畳表示された位置情報Ｆ３の第１の表示位置と医用画像Ｉ２３に重畳表示された位置情報Ｆ３の第１の表示位置との距離は、Ｄ２である。ここでは、距離Ｄ２は閾値ＤＴＨに対して、ＤＴＨ≦Ｄ２の関係を有しているため、医用画像Ｉ２３の種類情報Ｔ３の第２の表示位置が更新される。したがって、医用画像Ｉ２３の種類情報Ｔ３は、位置情報Ｆ３の中心に表示される。また、これ以降の医用画像については、基準表示位置は、医用画像Ｉ２３に重畳表示された位置情報Ｆ３の第１の表示位置となる。
　このように、第２の実施形態によれば、位置情報を注目領域の位置に追従させつつ、種類情報の視認性を向上させることができる。
　〔第３の実施形態〕
　第３の実施形態では、表示位置決定部１０８は、位置情報の第１の表示位置を第１の更新頻度である１フレームごとに更新する。また、表示位置決定部１０８は、第２の表示位置を最後に更新した際のバウンディングボックスと現在のバウンディングボックスとが非重複の場合に第２の表示位置を更新する。
　図７は、第３の実施形態に係る動画像の表示を示す図である。図７では、順次取得された３枚の医用画像Ｉ３１、Ｉ３２、及びＩ３３がモニタ１８に順次表示される例を示している。
　モニタ１８に順次表示された医用画像Ｉ３１、Ｉ３２、及びＩ３３には、検出された注目領域Ｒ４に対して、注目領域Ｒ４の位置情報Ｆ４、及び注目領域Ｒ４の種類情報Ｔ４がそれぞれ重畳表示されている。なお、医用画像Ｉ３２、及びＩ３３に示した破線の枠は、医用画像Ｉ３１の位置情報Ｆ４の表示位置を説明のために図示したものであり、モニタ１８に表示されるものではない。
　最初に、医用画像Ｉ３１が表示される。また、医用画像Ｉ３１には、注目領域Ｒ４の位置情報Ｆ４、及び注目領域Ｒ４の種類情報Ｔ４がそれぞれ重畳表示される。なお、医用画像Ｉ３１が表示されるタイミングでは、位置情報Ｆ４の第１の表示位置と種類情報Ｔ４の第２の表示位置との両方が更新されているものとする。このため、医用画像Ｉ３１の位置情報Ｆ４の第１の表示位置及び種類情報Ｔ４の第２の表示位置は、医用画像Ｉ３１において検出された注目領域Ｒ４の位置に応じている。
　続いて、医用画像Ｉ３２が表示される。また、医用画像Ｉ３２には、注目領域Ｒ４の位置情報Ｆ４、及び注目領域Ｒ４の種類情報Ｔ４がそれぞれ重畳表示される。なお、位置情報Ｆ４の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ３２には、医用画像Ｉ３２において検出された注目領域Ｒ４の位置に応じた第１の表示位置に位置情報Ｆ４が重畳表示される。
　ここで、種類情報Ｔ４の更新の基準となる基準バウンディングボックスであって、医用画像Ｉ３２が表示された時点における「第２の表示位置を最後に更新した際のバウンディングボックス」は、医用画像Ｉ３１に重畳表示された位置情報Ｆ４のバウンディングボックスに相当する。図７に示すように、医用画像Ｉ３１に重畳表示された位置情報Ｆ４のバウンディングボックスと医用画像Ｉ３２に重畳表示された位置情報Ｆ４のバウンディングボックスとは、一部が重複している。このため、医用画像Ｉ３２の種類情報Ｔ４の第２の表示位置は更新されず、医用画像Ｉ３２には、医用画像Ｉ３１の種類情報Ｔ４と同じ位置に種類情報Ｔ４が重畳表示される。
　続いて、医用画像Ｉ３３が表示される。また、医用画像Ｉ３３には、注目領域Ｒ４の位置情報Ｆ４、及び注目領域Ｒ４の種類情報Ｔ４がそれぞれ重畳表示される。位置情報Ｆ４の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ３３には、医用画像Ｉ３３において検出された注目領域Ｒ４の位置に応じた第１の表示位置に位置情報Ｆ４が重畳表示される。
　ここで、医用画像Ｉ３３が表示された時点における基準バウンディングボックスは、医用画像Ｉ３１に重畳表示された位置情報Ｆ４のバウンディングボックスに相当する。図７に示すように、医用画像Ｉ３１に重畳表示された位置情報Ｆ４のバウンディングボックスと医用画像Ｉ３３に重畳表示された位置情報Ｆ４のバウンディングボックスとは、非重複である。したがって、医用画像Ｉ３３の種類情報Ｔ４の第２の表示位置が更新され、医用画像Ｉ３３の種類情報Ｔ４は、位置情報Ｆ４の中心に表示される。また、これ以降の医用画像については、基準バウンディングボックスは、医用画像Ｉ３３に重畳表示された位置情報Ｆ４のバウンディングボックスとなる。
　このように、第３の実施形態によれば、位置情報を注目領域の位置に追従させつつ、種類情報の視認性を向上させることができる。
　〔第４の実施形態〕
　第４の実施形態では、表示位置決定部１０８は、位置情報の第１の表示位置を第１の更新頻度である１フレームごとに更新する。また、表示位置決定部１０８は、第２の表示位置を最後に更新した際のバウンディングボックスと現在のバウンディングボックスとの重複する面積が閾値以下の場合に第２の表示位置を更新する。
　図８は、第４の実施形態に係る動画像の表示を示す図である。図８では、順次取得された３枚の医用画像Ｉ４１、Ｉ４２、及びＩ４３がモニタ１８に順次表示される例を示している。
　モニタ１８に順次表示された医用画像Ｉ４１、Ｉ４２、及びＩ４３には、検出された注目領域Ｒ５に対して、注目領域Ｒ５の位置情報Ｆ５、及び注目領域Ｒ５の種類情報Ｔ５がそれぞれ重畳表示されている。なお、医用画像Ｉ４２、及びＩ４３に示した破線の枠は、医用画像Ｉ４１の位置情報Ｆ５の表示位置を説明のために図示したものであり、モニタ１８に表示されるものではない。
　最初に、医用画像Ｉ４１が表示される。また、医用画像Ｉ４１には、注目領域Ｒ５の位置情報Ｆ５、及び注目領域Ｒ５の種類情報Ｔ５がそれぞれ重畳表示される。なお、医用画像Ｉ４１が表示されるタイミングでは、位置情報Ｆ５の第１の表示位置と種類情報Ｔ５の第２の表示位置との両方が更新されているものとする。このため、医用画像Ｉ４１の位置情報Ｆ５の第１の表示位置及び種類情報Ｔ５の第２の表示位置は、医用画像Ｉ４１において検出された注目領域Ｒ５の位置に応じている。
　続いて、医用画像Ｉ４２が表示される。また、医用画像Ｉ４２には、注目領域Ｒ５の位置情報Ｆ５、及び注目領域Ｒ５の種類情報Ｔ５がそれぞれ重畳表示される。なお、位置情報Ｆ５の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ４２には、医用画像Ｉ４２において検出された注目領域Ｒ５の位置に応じた第１の表示位置に位置情報Ｆ５が重畳表示される。
　ここで、種類情報Ｔ５の更新の基準となる基準バウンディングボックスであって、医用画像Ｉ４２が表示された時点における「第２の表示位置を最後に更新した際のバウンディングボックス」は、第３の実施形態と同様に、医用画像Ｉ４１に重畳表示された位置情報Ｆ５のバウンディングボックスに相当する。図８に示すように、医用画像Ｉ４１に重畳表示された位置情報Ｆ５のバウンディングボックスと医用画像Ｉ４２に重畳表示された位置情報Ｆ５のバウンディングボックスとは一部が重複しており、重複する面積はＳ１である。ここでは、面積Ｓ１はメモリ１１２に記憶された閾値ＳＴＨに対して、ＳＴＨ＜Ｓ１の関係を有しており、医用画像Ｉ４２の種類情報Ｔ５の第２の表示位置は更新されない。このため、医用画像Ｉ４２には、医用画像Ｉ４１の種類情報Ｔ５と同じ位置に種類情報Ｔ５が重畳表示される。
　なお、ここで考慮している「重複する面積」は、画像上の絶対値であってもよいし、バウンディングボックスの面積に対する割合であってもよい。また、閾値ＳＴＨは、検出された注目領域の画像上の大きさ（バウンディングボックスの大きさ）に応じて変更してもよい。
　続いて、医用画像Ｉ４３が表示される。また、医用画像Ｉ４３には、注目領域Ｒ５の位置情報Ｆ５、及び注目領域Ｒ５の種類情報Ｔ５がそれぞれ重畳表示される。位置情報Ｆ５の第１の表示位置は１フレームごとに更新されるため、医用画像Ｉ４３には、医用画像Ｉ４３において検出された注目領域Ｒ５の位置に応じた第１の表示位置に位置情報Ｆ５が重畳表示される。
　ここで、医用画像Ｉ４３が表示された時点における基準バウンディングボックスは、医用画像Ｉ４１に重畳表示された位置情報Ｆ５のバウンディングボックスに相当する。図８に示すように、医用画像Ｉ４１に重畳表示された位置情報Ｆ５のバウンディングボックスと医用画像Ｉ４３に重畳表示された位置情報Ｆ５のバウンディングボックスとは一部が重複しており、重複する面積はＳ２である。ここでは、面積Ｓ２は閾値ＳＴＨに対して、ＳＴＨ＞Ｓ２の関係を有しているため、医用画像Ｉ４３の種類情報Ｔ５の第２の表示位置が更新される。したがって、医用画像Ｉ４３の種類情報Ｔ５は、位置情報Ｆ５の中心に表示される。また、これ以降の医用画像については、基準バウンディングボックスは、医用画像Ｉ４３に重畳表示された位置情報Ｆ５のバウンディングボックスとなる。
　このように、第４の実施形態によれば、位置情報を注目領域の位置に追従させつつ、種類情報の視認性を向上させることができる。
　〔その他〕
　第１～第４の実施形態では、位置情報の第１の表示位置はすべて１フレームごとに更新しているが、位置情報の第１の表示位置の第１の更新頻度はフレーム画像ごとでなくてもよい。例えば、第１の更新頻度は、注目領域認識部１０６が位置情報を取得する頻度に応じて決定してもよい。例えば、注目領域認識部１０６が複数のフレームごとに位置情報を取得する場合は、第１の更新頻度は、注目領域認識部１０６の位置情報の取得頻度に合わせてもよい。
　また、第１～第４の実施形態では、超音波内視鏡によって撮影された超音波動画像を例に説明したが、本発明は超音波動画像以外の医用動画像にも適用可能である。また、本発明は物体を撮影した動画像に適用可能である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
２…超音波内視鏡システム
１０…超音波スコープ
１２…超音波用プロセッサ装置
１４…内視鏡用プロセッサ装置
１６…光源装置
１８…モニタ
２０…挿入部
２０ａ…長手軸
２２…手元操作部
２４…ユニバーサルコード
２６…超音波用コネクタ
２８…内視鏡用コネクタ
３０…光源用コネクタ
３２…チューブ
３４…チューブ
３６…送気送水ボタン
３８…吸引ボタン
４２…アングルノブ
４４…処置具挿入口
５０…先端部本体
５２…湾曲部
５４…軟性部
６２…超音波探触子
６４…バルーン
７０…送水タンク
７２…吸引ポンプ
１００…送受信部
１０２…画像生成部
１０６…注目領域認識部
１０８…表示位置決定部
１１０…表示制御部
１１０Ａ…第１表示制御部
１１０Ｂ…第２表示制御部
１１２…メモリ
Ｆ１～Ｆ５…位置情報
Ｉ１～Ｉ３…医用画像
Ｉ１１～Ｉ１４…医用画像
Ｉ２１～Ｉ１３…医用画像
Ｉ３１～Ｉ１３…医用画像
Ｉ４１～Ｉ１３…医用画像
Ｒ１～Ｒ５…注目領域
ＳＴ１～ＳＴ５…動画像処理方法の各ステップ
Ｔ１～Ｔ５…種類情報

Claims (15)

  1. 　少なくとも１つのプロセッサと、
    　前記プロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
    　を備え、
    　前記プロセッサは、
    　動画像のフレーム画像を順次取得し、
    　前記フレーム画像に含まれる物体の前記フレーム画像内における位置を示す位置情報と前記物体の種類を示す種類情報とを取得し、
    　前記位置情報を表示する第１の表示位置を決定し、
    　前記種類情報を表示する第２の表示位置を決定し、
    　前記順次取得したフレーム画像をディスプレイに順次表示し、
    　前記表示されたフレーム画像の前記第１の表示位置に前記位置情報を重畳表示し、
    　前記表示されたフレーム画像の前記第２の表示位置に前記種類情報を重畳表示し、
    　前記第１の表示位置を第１の更新頻度で更新し、
    　前記第２の表示位置を前記第１の更新頻度より低い第２の更新頻度で更新する、
    　動画像処理装置。
  2. 　前記第１の更新頻度は前記フレーム画像ごとである、
    　請求項１に記載の動画像処理装置。
  3. 　前記プロセッサは、
    　前記第２の表示位置を最後に更新した際の前記第１の表示位置と現在の前記第１の表示位置とが閾値以上離れると前記第２の表示位置を更新する、
    　請求項１又は２に記載の動画像処理装置。
  4. 　前記位置情報は、前記物体の範囲を示すバウンディングボックスである、
    　請求項１から３のいずれか１項に記載の動画像処理装置。
  5. 　前記プロセッサは、
    　前記第２の表示位置を最後に更新した際のバウンディングボックスと現在のバウンディングボックスとが非重複の場合に前記第２の表示位置を更新する、
    　請求項４に記載の動画像処理装置。
  6. 　前記プロセッサは、
    　前記第２の表示位置を最後に更新した際のバウンディングボックスと現在のバウンディングボックスとの重複する面積が閾値以下の場合に前記第２の表示位置を更新する、
    　請求項４に記載の動画像処理装置。
  7. 　前記フレーム画像に前記位置情報を重畳表示した場合のみ前記種類情報を重畳表示する、
    　請求項１から６のいずれか１項に記載の動画像処理装置。
  8. 　前記種類情報は、前記物体の名称及び略称のうちの少なくとも一方の文字情報を含む、
    　請求項１から７のいずれか１項に記載の動画像処理装置。
  9. 　前記動画像は医用動画像である、
    　請求項１から８のいずれか１項に記載の動画像処理装置。
  10. 　前記医用動画像は超音波動画像である、
    　請求項９に記載の動画像処理装置。
  11. 　前記超音波動画像は超音波内視鏡によって撮影され、
    　前記物体は臓器を含む、
    　請求項１０に記載の動画像処理装置。
  12. 　動画像を撮影する撮影装置と、
    　ディスプレイと、
    　請求項１から１１のいずれか１項に記載の動画像処理装置と、
    　を備える動画像表示システム。
  13. 　動画像のフレーム画像を順次取得する動画像取得工程と、
    　前記フレーム画像に含まれる物体の前記フレーム画像内における位置を示す位置情報と前記物体の種類を示す種類情報とを取得する物体情報取得工程と、
    　前記位置情報を表示する第１の表示位置と前記種類情報を表示する第２の表示位置とを決定する表示位置決定工程と、
    　前記順次取得したフレーム画像をディスプレイに順次表示し、かつ前記表示されたフレーム画像の第１の表示位置に前記位置情報を重畳表示し、かつ前記表示されたフレーム画像の第２の表示位置に前記種類情報を重畳表示する表示工程と、
    　前記第１の表示位置を第１の更新頻度で更新し、かつ前記第２の表示位置を前記第１の更新頻度より低い第２の更新頻度で更新する更新工程と、
    　を備える動画像処理方法。
  14. 　請求項１３に記載の動画像処理方法をコンピュータに実行させるためのプログラム。
  15. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１４に記載のプログラムが記録された記録媒体。
PCT/JP2022/014346 2021-05-06 2022-03-25 動画像処理装置、動画像処理方法及びプログラム、動画像表示システム WO2022234743A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023518638A JPWO2022234743A1 (ja) 2021-05-06 2022-03-25
US18/495,790 US20240054707A1 (en) 2021-05-06 2023-10-27 Moving image processing apparatus, moving image processing method and program, and moving image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021078435 2021-05-06
JP2021-078435 2021-05-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/495,790 Continuation US20240054707A1 (en) 2021-05-06 2023-10-27 Moving image processing apparatus, moving image processing method and program, and moving image display system

Publications (1)

Publication Number Publication Date
WO2022234743A1 true WO2022234743A1 (ja) 2022-11-10

Family

ID=83932152

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014346 WO2022234743A1 (ja) 2021-05-06 2022-03-25 動画像処理装置、動画像処理方法及びプログラム、動画像表示システム

Country Status (3)

Country Link
US (1) US20240054707A1 (ja)
JP (1) JPWO2022234743A1 (ja)
WO (1) WO2022234743A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
JP2020175051A (ja) * 2019-04-23 2020-10-29 学校法人慈恵大学 診断支援システム、及び診断支援用プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
JP2020175051A (ja) * 2019-04-23 2020-10-29 学校法人慈恵大学 診断支援システム、及び診断支援用プログラム

Also Published As

Publication number Publication date
JPWO2022234743A1 (ja) 2022-11-10
US20240054707A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
JP5208495B2 (ja) 医療用システム
US9173632B2 (en) Ultrasonic diagnosis system and image data display control program
JP4868959B2 (ja) 体腔内プローブ装置
JP4119497B2 (ja) 超音波画像診断装置
JP4869197B2 (ja) 医用ガイド装置
US20240000432A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20110015523A1 (en) Ultrasound observation apparatus
JP2004215701A (ja) 超音波診断装置
US20120095341A1 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
JP2010088699A (ja) 医療画像処理システム
JP2007268148A (ja) 超音波診断装置
WO2022234743A1 (ja) 動画像処理装置、動画像処理方法及びプログラム、動画像表示システム
JP4869189B2 (ja) 医用ガイドシステム
WO2022234742A1 (ja) 表示処理装置、方法及びプログラム
JP2002315754A (ja) 細径プローブ型超音波診断装置
JPWO2022202401A5 (ja)
JP2007289720A (ja) 超音波画像診断装置
JP4098266B2 (ja) 超音波画像診断装置
JP4700434B2 (ja) 超音波診断装置
WO2022181517A1 (ja) 医療画像処理装置、方法及びプログラム
KR20110055432A (ko) 중재적 시술을 위한 최적의 초음파 영상을 제공하는 의료 시스템 및 방법
WO2022239529A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
WO2022186110A1 (ja) 機械学習システム、認識器、学習方法、及びプログラム
JP4700405B2 (ja) 超音波診断装置
EP4338683A1 (en) Image processing device, image processing system, image processing method, and image processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22798850

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023518638

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22798850

Country of ref document: EP

Kind code of ref document: A1