WO2024101255A1 - 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム - Google Patents

医療支援装置、超音波内視鏡、医療支援方法、及びプログラム Download PDF

Info

Publication number
WO2024101255A1
WO2024101255A1 PCT/JP2023/039522 JP2023039522W WO2024101255A1 WO 2024101255 A1 WO2024101255 A1 WO 2024101255A1 JP 2023039522 W JP2023039522 W JP 2023039522W WO 2024101255 A1 WO2024101255 A1 WO 2024101255A1
Authority
WO
WIPO (PCT)
Prior art keywords
size
medical support
observation target
ultrasound image
support device
Prior art date
Application number
PCT/JP2023/039522
Other languages
English (en)
French (fr)
Inventor
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024101255A1 publication Critical patent/WO2024101255A1/ja

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the technology disclosed herein relates to a medical support device, an ultrasonic endoscope, a medical support method, and a program.
  • an acoustic wave diagnostic device that includes a display unit, an operation unit, a measurement position designation receiving unit, a measurement target recognition unit, a measurement algorithm setting unit, and a measurement unit.
  • the display unit displays the acquired acoustic wave image.
  • the measurement position designation receiving unit accepts designation of a measurement position on the acoustic wave image displayed on the display unit from the user via the operation unit.
  • the measurement target recognition unit recognizes a measurement target included in the acoustic wave image in a recognition range determined based on the measurement position accepted by the measurement position designation receiving unit.
  • the measurement algorithm setting unit sets a measurement algorithm based on the measurement target recognized by the measurement target recognition unit.
  • the measurement unit measures the measurement target on the acoustic wave image based on the measurement algorithm set by the measurement algorithm setting unit, and displays the measurement results on the display unit.
  • International Publication No. WO 2020/008746 discloses an acoustic diagnostic device that sequentially displays multiple consecutive frames of acoustic images during imaging on a display unit.
  • the acoustic diagnostic device described in International Publication No. WO 2020/008746 includes a measurement target recognition unit, a measurement algorithm setting unit, and a measurement unit.
  • the measurement target recognition unit automatically recognizes a measurement target included in the acoustic wave image of the current frame displayed on the display unit.
  • the measurement algorithm setting unit sets a measurement algorithm for the measurement target recognized by the measurement target recognition unit.
  • the measurement unit measures the measurement target based on the measurement algorithm set by the measurement algorithm setting unit, and displays the measurement result on the display unit while superimposing it on the acoustic wave image of the current frame.
  • WO 2017/104263 discloses an ultrasound observation device in which the positions of two measurement points determined by instruction input from a touch panel are calculated, and then an inter-measurement distance calculation unit calculates the distance between the two measurement points and displays it on a display unit.
  • One embodiment of the technology disclosed herein provides a medical support device, an ultrasonic endoscope, a medical support method, and a program that enable a user observing an ultrasound image that shows the area to be observed and satisfies predetermined conditions to understand the size of the area to be observed.
  • a first aspect of the technology disclosed herein is a medical support device that includes a processor, and the processor displays on a screen a first ultrasound image, among a plurality of ultrasound images in a time series that show a common observation target area, that shows the observation target area in a manner that satisfies a predetermined condition, and outputs first size information that indicates a first size, the first size being the size of the observation target area shown in the first ultrasound image.
  • a second aspect of the technology disclosed herein is a medical support device according to the first aspect, in which outputting the first size information includes displaying the first size on a screen.
  • a third aspect of the technology disclosed herein is a medical support device according to the first or second aspect, in which the predetermined conditions include a condition that the image is one in which a target area to be observed is detected from a plurality of ultrasound images and the size of the detected target area to be observed is measured.
  • a fourth aspect of the technology disclosed herein is a medical support device according to the first or second aspect, in which the predetermined condition includes a condition that the image is one in which a specific observation target part among multiple observation target parts is detected from multiple ultrasound images, and the size of the specific observation target part is measured.
  • a fifth aspect of the technology disclosed herein is a medical support device according to any one of the first to fourth aspects, in which the processor outputs a plurality of ultrasound images in which a region to be observed is detected and the size of the region to be observed is measured.
  • a sixth aspect of the technology disclosed herein is a medical support device according to any one of the first to fifth aspects, in which the predetermined condition includes a condition that the length of the area to be observed is equal to or greater than a reference value.
  • a seventh aspect of the technology disclosed herein is a medical support device according to any one of the first to sixth aspects, in which the predetermined condition includes a condition that the length of the area to be observed is a maximum value or a mode value.
  • the eighth aspect of the technology disclosed herein is a medical support device according to the sixth or seventh aspect, in which, when the observation target area is a tube, the length is the radial length of the tube.
  • a ninth aspect of the technology disclosed herein is a medical support device according to any one of the first to seventh aspects, in which size information indicating the size of the area to be observed is provided to each ultrasound image, and the processor outputs the size information provided to the first ultrasound image as the first size information.
  • a tenth aspect of the technology disclosed herein is a medical support device according to any one of the first to ninth aspects, in which the first ultrasound image is an ultrasound image that satisfies a predetermined condition among ultrasound images in a time period that is determined based on a selected ultrasound image selected from a plurality of ultrasound images according to a given first instruction.
  • An eleventh aspect of the technology disclosed herein is a medical support device according to the tenth aspect, in which the selected ultrasound image is a frozen image, and the frozen image is an ultrasound image displayed in a frozen state on the screen in accordance with a first instruction under a situation in which a plurality of ultrasound images are displayed on the screen as moving images.
  • a twelfth aspect of the technology disclosed herein is a medical support device according to the tenth or eleventh aspect, in which the time period is a time period going back in time based on the time at which the selected ultrasound image was obtained.
  • a thirteenth aspect of the technology disclosed herein is a medical support device according to any one of the tenth to twelfth aspects, in which the length of the time period is determined according to a given second instruction.
  • a fourteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to thirteenth aspects, in which the processor outputs second size information indicating a second size, and the second size is the size of the area to be observed that appears in a second ultrasound image, which is different from the first ultrasound image, among the multiple ultrasound images.
  • a fifteenth aspect of the technology disclosed herein is a medical support device according to the fourteenth aspect, in which size information indicating the size of the area to be observed is provided to each ultrasound image, and the processor outputs the size information provided to the second ultrasound image as the second size information.
  • a sixteenth aspect of the technology disclosed herein is a medical support device according to the fourteenth or fifteenth aspect, in which outputting the second size information includes displaying the second size on a screen.
  • a seventeenth aspect of the technology disclosed herein is a medical support device according to any one of the fourteenth to sixteenth aspects, in which the processor outputs the first size information and the second size information in a manner that allows them to be distinguished.
  • An 18th aspect of the technology disclosed herein is a medical support device according to any one of the 1st to 17th aspects, in which the predetermined condition includes a condition that the image is one in which an observation target portion is detected from among a plurality of ultrasound images, and the size of the observation target portion is measured using a measurement method corresponding to the detected observation target portion.
  • a 19th aspect of the technology disclosed herein is a medical support device according to any one of the 1st to 17th aspects, in which the predetermined condition includes a condition that a specific observation target part among multiple observation target parts is detected in multiple ultrasound images, and the size of the observation target part is measured using a measurement method corresponding to the specific observation target part.
  • a twentieth aspect of the technology disclosed herein is a medical support device according to any one of the first to nineteenth aspects, in which a processor outputs a plurality of ultrasound images in which an observation target area is detected from the plurality of ultrasound images and the size of the observation target area is measured using a measurement method according to the observation target area.
  • a twenty-first aspect of the technology disclosed herein is a medical support device according to the twentieth aspect, in which the measurement method includes a first measurement method and/or a second measurement method, the first measurement method being a method for measuring the observation target area in one direction, and the second measurement method being a method for measuring the observation target area in multiple directions.
  • a twenty-second aspect of the technology disclosed herein is a medical support device according to any one of the first to twenty-first aspects, in which the first size is within a range of sizes according to the area to be observed.
  • a 23rd aspect of the technology disclosed herein is a medical support device according to the 22nd aspect, in which a caliper defining a range is displayed on the screen.
  • a twenty-fourth aspect of the technology disclosed herein is a medical support device according to the twenty-third aspect, in which the geometric characteristics of the caliper are changed according to a given third instruction, and the range is changed in accordance with the change in the geometric characteristics.
  • a 25th aspect of the technology disclosed herein is a medical support device according to any one of the 22nd to 24th aspects, in which, when a first ultrasound image is displayed on a screen, the processor outputs third size information indicating a third size of a range selected from a plurality of ranges in accordance with a given fourth instruction.
  • a 26th aspect of the technology disclosed herein is a medical support device according to the 25th aspect, in which the ranges are assigned a priority order, and calipers indicating the ranges are displayed on the screen in a state in which the priority order can be identified.
  • a 27th aspect of the technology disclosed herein is a medical support device according to the 26th aspect, in which the calipers are displayed on the screen in an order corresponding to the priority order, and the calipers displayed on the screen are switched according to a given 5th instruction.
  • a 28th aspect of the technology disclosed herein is a medical support device according to any one of the first to 27th aspects, in which the first size information and/or related information related to the first size information is stored in an external device and/or a medical record.
  • a 29th aspect of the technology disclosed herein is a medical support device according to any one of the first to 28th aspects, in which the ultrasound image is an ultrasound endoscopic image.
  • a 30th aspect of the technology disclosed herein is a medical support device that includes a processor, which detects an area to be observed by performing image recognition processing on an ultrasound image, and measures the detected area to be observed using a measurement method that corresponds to the area to be observed.
  • a thirty-first aspect of the technology disclosed herein is a medical support device according to the thirtieth aspect, in which the measurement method includes a first measurement method and/or a second measurement method, the first measurement method being a method for measuring the observation target area in one direction, and the second measurement method being a method for measuring the observation target area in multiple directions.
  • a thirty-second aspect of the technology disclosed herein is an ultrasound endoscope that includes a medical support device according to any one of the first to thirty-first aspects, and an ultrasound probe that, when inserted into the body, emits ultrasound waves within the body and receives reflected ultrasound waves, and generates an ultrasound image based on the reflected waves.
  • a thirty-third aspect of the technology disclosed herein is a medical support method that includes displaying on a screen a first ultrasound image, among a plurality of ultrasound images in a time series, that shows a region to be observed and satisfies a predetermined condition, and outputting first size information indicating a first size, the first size being the size of the region to be observed shown in the first ultrasound image.
  • a thirty-fourth aspect of the technology disclosed herein is a program for causing a computer to execute processing, the processing including displaying on a screen a first ultrasound image, among a plurality of ultrasound images in a time series, that shows a region to be observed and satisfies a predetermined condition, and outputting first size information indicating a first size, the first size being the size of the region to be observed shown in the first ultrasound image.
  • FIG. 1 is a conceptual diagram showing an example of an aspect in which an endoscope system is used.
  • 1 is a conceptual diagram showing an example of an overall configuration of an endoscope system.
  • FIG. 1 is a block diagram showing an example of the configuration of an ultrasonic endoscope.
  • FIG. 13 is a conceptual diagram illustrating an example of processing content of a generation unit.
  • 4 is a conceptual diagram showing an example of processing contents of a generating unit, a detecting unit, and a measuring unit.
  • FIG. FIG. 4 is a conceptual diagram illustrating an example of processing contents of a generating unit and a control unit. 4 is a conceptual diagram showing an example of processing contents of a generating unit and a measuring unit.
  • FIG. 4 is a conceptual diagram showing an example of processing contents of a generating unit, a measuring unit, and a control unit.
  • FIG. 13 is a flowchart showing an example of the flow of a medical support process. This is a continuation of the flowchart shown in FIG. 9A.
  • 10 is a conceptual diagram showing an example of a manner in which a first size and a second size are displayed on a screen in a distinguishable state.
  • FIG. 13 is a conceptual diagram showing an example of a manner in which the size is remeasured and displayed on the screen as the geometric characteristics of the caliper are changed.
  • FIG. 13 is a conceptual diagram showing a modified example of the processing contents of a generating unit, a detecting unit, and a measuring unit.
  • FIG. 13 is a flowchart showing an example of the flow of a medical support process. This is a continuation of the flowchart shown in FIG. 9A.
  • 10 is a conceptual diagram showing an example of a manner in which a first
  • FIG. 11 is a conceptual diagram showing an example of a manner in which the display of the caliper is switched in accordance with a switching instruction.
  • FIG. 13 is a conceptual diagram showing an example of a manner in which the size of a range selected in accordance with a selection instruction is displayed on a screen.
  • FIG. 13 is a conceptual diagram showing an example of an embodiment in which the lengths of the major and minor axes of a cross section of an internal organ shown in an ultrasound image are measured and displayed on a screen.
  • 1 is a conceptual diagram showing an example of how the size of the radial range of a cross-section of a tube shown in an ultrasound image is measured.
  • FIG. 13 is a conceptual diagram showing an example of how the size of the radial range of a cross-section of a tube shown in an ultrasound image is measured.
  • FIG. 1 is a conceptual diagram showing an example of a manner in which the size of the radial range of a vertical cross-sectional view of a tube shown in an ultrasound image is measured.
  • 1 is a conceptual diagram showing an example of an embodiment in which the size of a range from one end to the other end of a line segment that crosses the contour of a cross section of an annular lesion shown in an ultrasound image is measured.
  • 11 is a conceptual diagram showing an example of a manner in which a processing result of the medical support processing is output to an external device and a printer.
  • FIG. 2 is a conceptual diagram showing an example of a mode in which a function expansion device is connected to a processing device.
  • 13 is a conceptual diagram showing an example of a manner in which the display of the calipers for one observation target site is switched in accordance with a switching instruction.
  • FIG. 1 is a conceptual diagram showing an example of a manner in which the size of the radial range of a vertical cross-sectional view of a tube shown in
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • TPU is an abbreviation for "Tensor Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • NVM is an abbreviation for "Non-volatile memory”.
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip”.
  • SSD is an abbreviation for "Solid State Drive”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • HDD is an abbreviation for “Hard Disk Drive”.
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD is an abbreviation for "Charge Coupled Device”.
  • WAN is an abbreviation for "Wide Area Network”.
  • AI is an abbreviation for "Artificial Intelligence”.
  • BLI is an abbreviation for "Blue Light Imaging”.
  • LCI is an abbreviation for "Linked Color Imaging”.
  • NN is an abbreviation for "Neural Network”.
  • an endoscopic system 10 includes an ultrasonic endoscope 12 and a display device 14.
  • the ultrasonic endoscope 12 is a convex type ultrasonic endoscope, and includes an ultrasonic endoscope body 16 and a processing device 18.
  • a convex type ultrasonic endoscope is given as an example of the ultrasonic endoscope 12, but this is merely an example, and the technology of the present disclosure also applies to a radial type ultrasonic endoscope.
  • the ultrasonic endoscope 12 is an example of an "ultrasonic endoscope" according to the technology of the present disclosure.
  • the processing device 18 is an example of a "medical support device" according to the technology of the present disclosure.
  • the ultrasonic endoscope body 16 is used, for example, by a doctor 20.
  • the processing device 18 is connected to the ultrasonic endoscope body 16 and transmits and receives various signals between the ultrasonic endoscope body 16. That is, the processing device 18 controls the operation of the ultrasonic endoscope body 16 by outputting signals to the ultrasonic endoscope body 16, and performs various signal processing on signals input from the ultrasonic endoscope body 16.
  • the ultrasound endoscope 12 is a device that allows a doctor 20 to observe an observation target area 27 inside the body of a subject 22, and performs diagnosis and/or treatment of the observation target area 27, and generates and outputs an ultrasound image 24 that shows an area 28 including the observation target area 27.
  • an internal organ 27A is shown as an example of an observation target area 27 shown in an ultrasound image 24.
  • Examples of internal organ 27A include the gallbladder and pancreas.
  • internal organ 27A is shown as an example to facilitate understanding of the technology disclosed herein, but this is merely one example, and observation target area 27 may be a mass lesion (e.g., a single cyst, a tumor, or a mass, etc.) or a duct (e.g., a blood vessel, a lymphatic vessel, a bile duct, a pancreatic duct, or a medical artificial duct, etc.).
  • Observation target area 27 is an example of an "observation target area” according to the technology of the present disclosure.
  • Organ 27A is an example of an "organ” and a “specific observation target area” according to the technology of the present disclosure.
  • a mass lesion as observation target area 27 is an example of a “mass lesion” according to the technology of the present disclosure.
  • a tube as observation target area 27 is an example of a “tube” according to the technology of the present disclosure.
  • the doctor 20 when the doctor 20 observes an area 28 inside the body of the subject 22, the doctor 20 inserts the ultrasound endoscope body 16 into the body of the subject 22 through the mouth or nose (the mouth in the example shown in FIG. 1) and emits ultrasound at a position such as the stomach or duodenum.
  • the ultrasound endoscope body 16 emits ultrasound to the area 28 inside the body of the subject 22 and detects the reflected wave obtained when the emitted ultrasound is reflected by the area 28.
  • an upper gastrointestinal endoscopy is being performed, but the technology disclosed herein is not limited to this, and can also be applied to lower gastrointestinal endoscopy or bronchial endoscopy, etc.
  • the processing device 18 generates an ultrasound image 24 based on the reflected waves detected by the ultrasound endoscope body 16 and outputs it to the display device 14, etc.
  • the display device 14 displays various information including images under the control of the processing device 18.
  • Examples of the display device 14 include a liquid crystal display and an EL display.
  • the ultrasound image 24 generated by the processing device 18 is generated as a moving image according to a predetermined frame rate (e.g., several tens of frames per second) and displayed on the screen 26 of the display device 14.
  • Examples of the moving image include a live view image or a post view image.
  • the screen 26 is an example of a "screen" according to the technology of the present disclosure.
  • the ultrasound image 24 is displayed on the screen 26 of the display device 14, but this is merely one example, and the ultrasound image 24 may be displayed on the screen of a display device other than the display device 14 (e.g., the display of a tablet terminal).
  • the ultrasound image 24 may be stored in a computer-readable non-transitory storage medium (e.g., a flash memory, a HDD, and/or a magnetic tape, etc.).
  • the ultrasonic endoscope body 16 includes an operating section 29 and an insertion section 30.
  • the insertion section 30 is formed in a tubular shape.
  • the insertion section 30 has a tip section 32, a bending section 34, and a flexible section 36.
  • the tip section 32, the bending section 34, and the flexible section 36 are arranged in this order from the tip side to the base end side of the insertion section 30.
  • the flexible section 36 is formed of a long, flexible material, and connects the operation section 29 and the bending section 34.
  • the bending section 34 is partially bent or rotated around the axis of the insertion section 30 by operating the operation section 29.
  • the insertion section 30 is sent to the back side of the hollow organ while bending according to the shape of the hollow organ (for example, the shape of the duodenal duct) and rotating around the axis of the insertion section 30.
  • the tip portion 32 is provided with an ultrasonic probe 38 and a treatment opening 40.
  • the ultrasonic probe 38 is provided on the tip side of the tip portion 32.
  • the ultrasonic probe 38 is a convex type ultrasonic probe that emits ultrasonic waves and receives the reflected waves obtained when the emitted ultrasonic waves are reflected at the region 28 (see Figures 1 and 3).
  • the treatment opening 40 is formed closer to the base end of the tip 32 than the ultrasonic probe 38.
  • the treatment opening 40 is an opening for allowing a treatment tool 42 to protrude from the tip 32.
  • a treatment tool insertion port 44 is formed in the operation section 29, and the treatment tool 42 is inserted into the insertion section 30 from the treatment tool insertion port 44.
  • the treatment tool 42 passes through the insertion section 30 and protrudes from the treatment opening 40 to the outside of the ultrasonic endoscope body 16.
  • the treatment opening 40 also functions as a suction port for sucking blood, internal waste, etc.
  • a puncture needle is shown as the treatment tool 42.
  • the treatment tool 42 may also be a grasping forceps, a cannula, a wire, and/or a sheath, etc.
  • a lighting device 46 and a camera 48 are provided at the tip 32.
  • the lighting device 46 emits light.
  • Types of light emitted from the lighting device 46 include, for example, visible light (e.g., white light, etc.), non-visible light (e.g., near-infrared light, etc.), and/or special light.
  • special light include light for BLI and/or light for LCI.
  • Camera 48 captures images of the inside of a tubular organ using optical techniques.
  • One example of camera 48 is a CMOS camera.
  • the CMOS camera is merely one example, and other types of cameras such as a CCD camera may also be used.
  • the image captured by camera 48 may be displayed on display device 14, on a display device other than display device 14 (e.g., the display of a tablet terminal), or stored in a storage medium (e.g., a flash memory, a HDD, and/or a magnetic tape, etc.).
  • a storage medium e.g., a flash memory, a HDD, and/or a magnetic tape, etc.
  • the ultrasonic endoscope 12 is equipped with a processing device 18 and a universal cord 50.
  • the universal cord 50 has a base end 50A and a tip end 50B.
  • the base end 50A is connected to the operation unit 29.
  • the tip end 50B is connected to the processing device 18.
  • the ultrasonic endoscope body 16 and the processing device 18 are connected via the universal cord 50.
  • the endoscope system 10 includes a reception device 52.
  • the reception device 52 is connected to the processing device 18.
  • the reception device 52 receives instructions from a user.
  • Examples of the reception device 52 include an operation panel having multiple hard keys and/or a touch panel, a keyboard, a mouse, a trackball, a foot switch, a smart device, a microphone, and/or a remote control device.
  • the processing device 18 performs various signal processing and transmits and receives various signals between the ultrasonic endoscope body 16 and the like in accordance with the instructions received by the reception device 52.
  • the processing device 18 causes the ultrasonic probe 38 to emit ultrasonic waves in accordance with the instructions received by the reception device 52, and generates and outputs an ultrasonic image 24 (see FIG. 1) based on the reflected waves received by the ultrasonic probe 38.
  • the display device 14 is connected to the processing device 18.
  • the processing device 18 controls the display device 14 according to instructions received by the reception device 52. As a result, for example, an ultrasound image 24 generated by the processing device 18 is displayed on the screen 26 of the display device 14 (see FIG. 1).
  • the processing device 18 includes a computer 54, an input/output interface 56, a transmission/reception circuit 58, and a communication module 60.
  • the computer 54 is an example of a "computer" according to the technology disclosed herein.
  • the computer 54 includes a processor 62, a RAM 64, and an NVM 66.
  • the input/output interface 56, the processor 62, the RAM 64, and the NVM 66 are connected to a bus 68.
  • the processor 62 controls the entire processing device 18.
  • the processor 62 has a CPU and a GPU, and the GPU operates under the control of the CPU and is mainly responsible for executing image processing.
  • the processor 62 may be one or more CPUs with integrated GPU functionality, or one or more CPUs without integrated GPU functionality.
  • the processor 62 may also include a multi-core CPU or a TPU.
  • the processor 62 is an example of a "processor" according to the technology disclosed herein.
  • RAM 64 is a memory in which information is temporarily stored, and is used as a work memory by processor 62.
  • NVM 66 is a non-volatile storage device that stores various programs and various parameters. Examples of NVM 66 include flash memory (e.g., EEPROM) and/or SSD. Note that flash memory and SSD are merely examples, and may be other non-volatile storage devices such as HDDs, or may be a combination of two or more types of non-volatile storage devices.
  • the input/output interface 56 is connected to the reception device 52, and the processor 62 acquires instructions accepted by the reception device 52 via the input/output interface 56 and executes processing according to the acquired instructions.
  • a transmission/reception circuit 58 is connected to the input/output interface 56.
  • the transmission/reception circuit 58 generates an ultrasonic emission signal 70 of a pulse waveform according to instructions from the processor 62 and outputs it to the ultrasonic probe 38.
  • the ultrasonic probe 38 converts the ultrasonic emission signal 70 input from the transmission/reception circuit 58 into ultrasonic waves and emits the ultrasonic waves to the region 28 of the subject 22.
  • the ultrasonic probe 38 receives a reflected wave obtained by reflecting the ultrasonic waves emitted from the ultrasonic probe 38 at the region 28, converts the reflected wave into a reflected wave signal 74, which is an electrical signal, and outputs it to the transmission/reception circuit 58.
  • the transmission/reception circuit 58 digitizes the reflected wave signal 74 input from the ultrasonic probe 38, and outputs the digitized reflected wave signal 74 to the processor 62 via the input/output interface 56.
  • the processor 62 generates an ultrasonic image 24 (see FIG. 1) showing the appearance of the region 28 (i.e., the appearance of the cross section of the region 28) based on the reflected wave signal 74 input from the transmission/reception circuit 58 via the input/output interface 56.
  • the lighting device 46 (see FIG. 2) is also connected to the input/output interface 56.
  • the processor 62 controls the lighting device 46 via the input/output interface 56 to change the type of light emitted from the lighting device 46 and adjust the amount of light.
  • the camera 48 (see FIG. 2) is also connected to the input/output interface 56.
  • the processor 62 controls the camera 48 via the input/output interface 56 and acquires, via the input/output interface 56, images of the inside of the subject 22 captured by the camera 48.
  • a communication module 60 is connected to the input/output interface 56.
  • the communication module 60 is an interface that includes a communication processor and an antenna, etc.
  • the communication module 60 is connected to a network (not shown) such as a LAN or WAN, and controls communication between the processor 62 and an external device.
  • Examples of external devices include a server (e.g., an electronic medical record management server and/or an image management server), a tablet terminal, and/or a personal computer, etc.
  • the display device 14 is connected to the input/output interface 56, and the processor 62 controls the display device 14 via the input/output interface 56 to cause the display device 14 to display various information.
  • the input/output interface 56 is connected to the reception device 52, and the processor 62 acquires instructions accepted by the reception device 52 via the input/output interface 56 and executes processing according to the acquired instructions.
  • observation target area 27 it is important for doctor 20 observing ultrasound image 24 displayed on screen 26 to know the size of observation target area 27, for example, in order to perform some kind of medical treatment on observation target area 27 or to evaluate the progress of observation target area 27.
  • the size of observation target area 27 shown in ultrasound image 24 varies depending on how observation target area 27 is shown in ultrasound image 24.
  • the observation area 27 is shown in the ultrasound image 24 at its smallest size
  • the size of the observation area 27 is measured in some way and displayed on the screen 26
  • an ultrasound image 24 is selected from a plurality of ultrasound images 24 in time series displayed as a moving image on the screen 26 according to instructions from the doctor 20, and the size of the observation area 27 shown in the selected ultrasound image 24 is measured and displayed on the screen 26, it is not necessarily the case that the size of the observation area 27 that the doctor 20 wants to see will be displayed on the screen 26.
  • the doctor 20 intends to select the ultrasound image 24 in which the observation target area 27 is shown at its largest
  • an ultrasound image 24 that is earlier or later in time than the ultrasound image 24 in which the observation target area 27 is shown at its largest is selected because the moving images are displayed at a high speed
  • the size of the observation target area 27 that the doctor 20 does not want to be displayed on the screen 26 will be the result.
  • medical support processing is performed by the processor 62 of the processing device 18.
  • the medical support processing is processing that, for example, detects the observation target area 27 from the area 28 using an AI method, and supports medical care using the ultrasonic endoscope 12 (for example, medical care performed by the doctor 20 (see FIG. 1)) based on the detection result.
  • the NVM 66 stores a medical support program 76 and a part detection model 78.
  • the medical support program 76 is an example of a "program" related to the technology of the present disclosure.
  • the part detection model 78 is used by the processor 62 in the process of detecting the observation target part 27 from the ultrasound image 24.
  • the processor 62 reads the medical support program 76 from the NVM 66 and executes the read medical support program 76 on the RAM 64 to perform medical support processing. Detection of the observation target area 27 using the AI method is achieved by using an area detection model 78.
  • the medical support processing is achieved by the processor 62 operating as a generation unit 62A, a detection unit 62B, a measurement unit 62C, and a control unit 62D in accordance with the medical support program 76 executed by the processor 62 on the RAM 64.
  • the generation unit 62A acquires a reflected wave signal 74 from the transmission/reception circuit 58, and generates multiple ultrasound images 24 in time series based on the acquired reflected wave signal 74.
  • this embodiment will be described on the assumption that a common observation target area 27 is captured in the multiple ultrasound images 24 in time series.
  • the multiple ultrasound images 24 in time series generated by the generation unit 62A are an example of "multiple ultrasound images in time series” according to the technology disclosed herein.
  • the ultrasound images 24 are an example of "images generated by an ultrasound method” and “ultrasonic endoscopic images” according to the technology disclosed herein.
  • the control unit 62D displays the multiple time-series ultrasound images 24 generated by the generation unit 62A as a moving image on the screen 26 at a specific frame rate (e.g., several tens of frames per second).
  • a specific frame rate e.g., several tens of frames per second.
  • the detection unit 62B acquires ultrasound images 24 frame by frame in time series from the multiple time-series ultrasound images 24 generated by the generation unit 62A, and executes part detection processing 93 on the acquired ultrasound images 24.
  • the part detection processing 93 is processing for detecting the observation target part 27 shown in the ultrasound image 24 according to the part detection model 78.
  • the part detection processing 93 is an example of "image recognition processing" related to the technology disclosed herein.
  • the part detection model 78 is a trained model for object detection using an AI method, and is optimized by performing machine learning on the neural network using the first training data.
  • the first training data is a plurality of data (i.e., a plurality of frames of data) in which the first example data and the first answer data are associated with each other.
  • the first example data is an image equivalent to ultrasound image 24.
  • the first correct answer data is correct answer data (i.e., annotation) for the first example data.
  • an annotation capable of identifying a region corresponding to observation target region 27 in an image equivalent to ultrasound image 24 e.g., information indicating the name of observation target region 27, and multiple coordinates capable of identifying the position of the region corresponding to observation target region 27, etc. is used.
  • the detection unit 62B inputs the ultrasound image 24 acquired from the generation unit 62A to the part detection model 78.
  • the part detection model 78 detects the observation target part 27 shown in the input ultrasound image 24, and outputs detection result information 94 indicating the detection result.
  • the detection unit 62B acquires the detection result information 94 output from the part detection model 78.
  • the detection result information 94 includes part identification information 94A and position identification information 94B.
  • the part identification information 94 is information indicating the name of the observation target part 27 shown in the ultrasound image 24.
  • the name of the observation target part 27 refers to, for example, the name of an internal organ 27A shown in the ultrasound image 24 (e.g., pancreas).
  • the position identification information 94B is position information (e.g., multiple coordinates) that can identify the location in the ultrasound image 24 where the observation target part 27 is shown.
  • AI processing using the part detection model 78 is exemplified as the part detection processing 93, but the technology disclosed herein is not limited to this, and it is possible to realize the part detection processing 93 by combining AI processing and non-AI processing (e.g., processing using template matching, etc.), or by using non-AI processing instead of AI processing.
  • non-AI processing e.g., processing using template matching, etc.
  • the measurement unit 62C refers to the position identification information 94B to identify the observation target area 27 from the ultrasound image 24 that is the subject of the part detection process 93.
  • the measurement unit 62C refers to the part identification information 94A to identify a range 95 corresponding to the observation target area 27 identified from the ultrasound image 24.
  • the range 95 is determined for each observation target area 27.
  • the range 95 applied to the internal organ 27A is the range in which the length of the cross section of the internal organ 27A shown in the ultrasound image 24 is the maximum.
  • range 95 the range in which the cross-section of internal organ 27A has the greatest length is given as an example of range 95 applied to internal organ 27A, but this is merely one example, and even if processing target area 27 is a mass lesion, the range in which the cross-section of the mass lesion shown in ultrasound image 24 has the greatest length is applied as range 95. Also, as will be described in more detail later, when processing target area 27 is a duct (e.g., bile duct or pancreatic duct), the radial range of the duct (e.g., diameter) is applied as range 95.
  • a duct e.g., bile duct or pancreatic duct
  • the radial range of the duct e.g., diameter
  • the measuring unit 62C generates a caliper 96 that defines the range 95.
  • the caliper 96 is an image (e.g., a linear mark) that allows the user to visually recognize the extent of the range 95.
  • the range 95 is represented from one end 96A of the caliper 96 to the other end 96B.
  • the measurement unit 62C generates caliper drawing information 100, which is information capable of drawing the caliper 96 within the ultrasound image 24, and assigns the generated caliper drawing information 100 to the ultrasound image 24 showing the observation target area 27 to which the range 95 is applied. In other words, the measurement unit 62C assigns the caliper drawing information 100 to each of the multiple ultrasound images 24 that are the processing targets of the area detection process 93.
  • An example of the caliper drawing information 100 is a plurality of coordinates capable of identifying the position of the caliper 96 in the ultrasound image 24 (e.g., coordinates capable of identifying the position of one end 96A in the ultrasound image 24 and coordinates capable of identifying the position of the other end 96B).
  • the caliper drawing information 100 is added to the ultrasound image 24 by, for example, storing the caliper drawing information 100 in memory (e.g., RAM 64 and/or NVM 66, etc.) in a state in which an identifier capable of identifying the ultrasound image 24 is associated with the caliper drawing information 100.
  • the measuring unit 62C measures the size 98 (here, as an example, the length) of the range 95. Then, the measuring unit 62C assigns size information 102 indicating the measured size 98 to the ultrasound image 24 that is the subject of the part detection process 93 (i.e., the ultrasound image 24 that shows the observation target part 27 to which the range 95 is applied). That is, the measuring unit 62C assigns the size information 102 to each of the multiple ultrasound images 24 that are the subject of the part detection process 93.
  • the assignment of the size information 102 to the ultrasound image 24 is realized, for example, by storing the size information 102 in memory in a state in which an identifier capable of identifying the ultrasound image 24 is associated with the size information 102.
  • the control unit 62D freezes (i.e., pauses) the ultrasound image 24 on the screen 26 in accordance with a freeze instruction 103 given to the endoscope system 10 in a situation where a plurality of ultrasound images 24 in time series are displayed as moving images on the screen 26.
  • the freeze instruction 103 is an instruction to cause the ultrasound image 24 to be displayed in a frozen state.
  • the control unit 62D freezes the ultrasound image 24 on the screen 26.
  • the control unit 62D sets the time period 104 according to the time period instruction 106 given to the endoscope system 10 (in the example shown in FIG. 6, the time period instruction 106 received by the reception device 52) based on the freeze image 24A.
  • the freeze image 24A refers to the ultrasound image 24 displayed in a frozen state on the screen 26.
  • the time period instruction 106 refers to an instruction for the length of the time period 104.
  • the control unit 62D sets the time period 104 to a time period going back in time according to the time period instruction 106 based on the time when the freeze image 24A was obtained, among the multiple ultrasound images in time series generated by the generation unit 62A.
  • the control unit 62D selects the multiple ultrasound images 24 in time series included in the time period 104 as a group of images within the time period 108.
  • the freeze instruction 103 is an example of a "first instruction” according to the technology disclosed herein.
  • the time zone instruction 106 is an example of a "second instruction” according to the technology disclosed herein.
  • the freeze image 24A is an example of a "selected ultrasound image” and a “freeze image” according to the technology disclosed herein.
  • the time zone 104 is an example of a "time zone” according to the technology disclosed herein.
  • the measurement unit 62C measures a first size 98A, which is the size 98 of the observation target area 27 shown in a first ultrasound image 24B of the set of images within a time period 108. That is, the measurement unit 62C acquires a plurality of pieces of size information 102 (e.g., all of the size information 102) assigned to the set of images within a time period 108, and selects, from the acquired plurality of pieces of size information 102, first size information 110 indicating the first size 98A.
  • a plurality of pieces of size information 102 e.g., all of the size information 102
  • the first size 98A is the size 98 of the range 95 corresponding to the observation area 27 included in the first ultrasound image 24B.
  • the first ultrasound image 24B refers to an ultrasound image 24 in the group of images within a time period 108 that satisfies a preset condition.
  • the preset condition includes a condition that the observation area 27 (here, as an example, the internal organs 27A) in the group of images within a time period 108 is detected by the detection unit 62B, and the size 98 of the detected observation area 27 is an image measured by the measurement unit 62C.
  • the preset condition also includes, for example, a condition that the size 98 of the range 95 (i.e., the length of the range 95) is a maximum value.
  • a condition that the size 98 of range 95 is the maximum value has been given as an example of a default condition, but this is merely one example, and the default condition may be, for example, a condition that the size 98 of range 95 is the mode, or a condition that the size 98 of range 95 is equal to or greater than a reference value (e.g., a statistical value such as the average or median of the size 98 of range 95).
  • a condition may be that the size 98 of range 95 is equal to or greater than a reference value, and that the size 98 of range 95 is the maximum value or the mode.
  • the default condition may also include a condition that the image quality (e.g., brightness and/or contrast) is equal to or greater than default image quality.
  • the first size 98A is an example of a "first size” according to the technology of the present disclosure.
  • the first size information 110 is an example of a "first size information” according to the technology of the present disclosure.
  • the first ultrasound image 24B is an example of a "first ultrasound image” according to the technology of the present disclosure.
  • the control unit 62D acquires the first ultrasound image 24B from the generation unit 62A and displays the acquired first ultrasound image 24B on the screen 26.
  • the control unit 62D also acquires caliper drawing information 100 assigned to the first ultrasound image 24B.
  • the control unit 62D displays the caliper 96 in the first ultrasound image 24B by drawing the caliper 96 that defines the range 95 in the first ultrasound image 24B according to the acquired caliper drawing information 100.
  • the control unit 62D also acquires first size information 110 from the measurement unit 62C and outputs the acquired first size information 110 to the screen 26. That is, the control unit 62D displays the first size 98A indicated by the first size information 110 acquired from the measurement unit 62C on the screen 26.
  • FIGS. 9A and 9B are flowcharts showing an example of the flow of medical support processing performed by the processor 62.
  • the flow of medical support processing shown in FIGS. 9A and 9B is an example of a "medical support method" according to the technology of the present disclosure.
  • step ST10 the generation unit 62A determines whether or not the image display timing has arrived.
  • the image display timing is, for example, a timing separated by a time interval defined by the reciprocal of the frame rate. If the image display timing has not arrived in step ST10, the determination is negative, and the medical support process proceeds to step ST52 shown in FIG. 9B. If the image display timing has arrived in step ST10, the determination is positive, and the medical support process proceeds to step ST12.
  • step ST12 the generating unit 62A generates an ultrasound image 24 based on the reflected wave signal 74 input from the transmitting/receiving circuit 58 (see Figures 4 and 5). After the processing of step ST12 is executed, the medical support processing proceeds to step ST14.
  • step ST14 the detection unit 62B executes part detection processing 93 using the part detection model 78 on the ultrasound image 24 generated in step ST12 (see FIG. 6).
  • the detection unit 62B executes part detection processing 93 using the part detection model 78 on the ultrasound image 24 generated in step ST12 (see FIG. 6).
  • the detection result information 94 is output from the part detection model 78.
  • step ST16 the detection unit 62B acquires the detection result information 94 output from the body part detection model 78 (see FIG. 5). After the processing of step ST16 is executed, the medical support processing proceeds to step ST18.
  • step ST18 the measurement unit 62C identifies the observation target area 27 in the ultrasound image 24 that is the processing target of the part detection process 93 based on the detection result information 94 acquired in step ST16. Then, the measurement unit 62C performs a range measurement according to the identified observation target area 27.
  • step ST18 The area 95 is determined (see FIG. 5). After the processing of step ST18 is executed, the medical support processing proceeds to step ST20.
  • step ST20 the measurement unit 62C generates a caliper 96 that corresponds to the range 95 determined in step ST18 (see FIG. 5). After the processing of step ST20 is executed, the medical support processing proceeds to step ST22.
  • step ST22 the measurement unit 62C measures the size 98 of the range 95 determined in step ST18 (see FIG. 5). After the processing of step ST22 is executed, the medical support processing proceeds to step ST24.
  • step ST24 the measurement unit 62C assigns the caliper drawing information 100 regarding the caliper 96 generated in step ST20 to the ultrasound image 24 showing the observation target area 27 to which the range 95 whose size 98 was measured in step ST22 is applied (see FIG. 5).
  • step ST24 the medical support processing proceeds to step ST26.
  • step ST26 the measurement unit 62C assigns size information 102 indicating the size 98 measured in step ST22 to the ultrasound image 24 showing the observation target area 27 to which the range 95 for which the size 98 was measured in step ST22 is applied (see FIG. 5).
  • step ST28 the medical support processing proceeds to step ST28.
  • step ST28 the control unit 62D displays the ultrasound image 24 generated in step ST12 on the screen 26 (see FIG. 4). After the processing of step ST28 is executed, the medical support processing proceeds to step ST30.
  • step ST30 the control unit 62D determines whether or not a freeze instruction 103 (see FIG. 6) has been accepted by the reception device 52. If the freeze instruction 103 has not been accepted by the reception device 52 in step ST30, the determination is negative, and the medical support process proceeds to step ST10. If the freeze instruction 103 has been accepted by the reception device 52 in step ST30, the determination is positive, and the medical support process proceeds to step ST32.
  • step ST32 the control unit 62D freezes the ultrasound image 24 on the screen 26. As a result, the frozen image 24A is displayed on the screen 26 (see FIG. 6). After the processing of step ST32 is executed, the medical support processing proceeds to step ST34 shown in FIG. 9B.
  • step ST34 the control unit 62D determines whether or not the time period instruction 106 (see FIG. 6) has been accepted by the reception device 52. If the time period instruction 106 has not been accepted by the reception device 52 in step ST34, the determination is negative, and the determination of step ST34 is made again. If the time period instruction 106 has been accepted by the reception device 52 in step ST34, the determination is positive, and the medical support process proceeds to step ST36.
  • step ST36 the control unit 62D sets, as time period 104, a time period going back in time in accordance with time period instruction 106 based on the time point at which freeze image 24A was obtained, from among the multiple time-series ultrasound images generated by repeatedly executing the process of step ST12. Then, the control unit 62D selects the multiple time-series ultrasound images 24 included in time period 104 as a group of images within time period 108 (see FIG. 6). After the process of step ST36 is executed, the medical support process proceeds to step ST38.
  • step ST38 the measurement unit 62C acquires the multiple pieces of size information 102 that are assigned to the group of images within the time period 108 selected in step ST36 (see FIG. 7). After the processing of step ST38 is executed, the medical support processing proceeds to step ST40.
  • step ST40 the measurement unit 62C selects the size information 102 indicating the first size 98A as the first size information 110 from the multiple size information 102 acquired in step ST38 (see FIG. 7). After the processing of step ST40 is executed, the medical support processing proceeds to step ST42.
  • step ST42 the control unit 62D acquires an ultrasound image 24 in which the observation target area 27 is captured in a manner that satisfies the predetermined conditions, i.e., a first ultrasound image 24B, from the group of images within the time period selected in step ST36 (see FIG. 8).
  • the medical support processing proceeds to step ST44.
  • step ST44 the control unit 62D acquires the caliper drawing information 100 assigned to the first ultrasound image 24B (see FIG. 8). After the processing of step ST44 is executed, the medical support processing proceeds to step ST46.
  • step ST46 the control unit 62D displays the first ultrasound image 24B acquired in step ST42 on the screen 26 (see FIG. 8). After the processing of step ST46 is executed, the medical support processing proceeds to step ST48.
  • step ST48 the control unit 62D displays the caliper 96 within the first ultrasound image 24 by drawing the caliper 96 that defines the range 95 within the first ultrasound image 24 on the screen 26 based on the caliper drawing information 100 acquired in step ST44 (see FIG. 8).
  • step ST50 the medical support processing proceeds to step ST50.
  • step ST50 the control unit 62D displays the first size 98A indicated by the first size information 110 selected in step ST40 on the screen 26 (see FIG. 8). After the processing of step ST50 is executed, the medical support processing proceeds to step ST52.
  • step ST52 the control unit 62D determines whether or not a condition for terminating the medical support process has been satisfied.
  • a condition for terminating the medical support process is a condition in which an instruction to terminate the medical support process has been given to the endoscope system 10 (for example, a condition in which an instruction to terminate the medical support process has been accepted by the acceptance device 52).
  • step ST52 If the conditions for terminating the medical support process are not met in step ST52, the determination is negative, and the medical support process proceeds to step ST10 shown in FIG. 9A. If the conditions for terminating the medical support process are met in step ST52, the determination is positive, and the medical support process ends.
  • a first ultrasound image 24B in which the observation target area 27 is shown in a manner that satisfies the preset conditions is displayed on the screen 26.
  • first size information 110 indicating a first size 98A is output.
  • the first size 98A is the size of the observation target area 27 shown in the first ultrasound image 24B. Therefore, the doctor 20 observing the ultrasound image 24 in which the observation target area 27 is shown in a manner that satisfies the preset conditions (i.e., the first ultrasound image 24B) can be made to understand the size of the observation target area 27.
  • the first size 98A is displayed in a state corresponding to the first ultrasound image 24B on the screen 26 on which the first ultrasound image 24B is displayed. Therefore, the doctor 20 observing the first ultrasound image 24B can visually grasp the size of the observation target area 27.
  • the size 98 of the range 95 of the observation target area 27 detected by executing the area detection process 93 is measured as a first size 98A, and the first size 98A is displayed on the screen 26. Therefore, the doctor 20 can grasp the size 98 of the range 95 of the observation target area 27 that the doctor 20 intends to observe as the first size 98A without any trouble.
  • size information 102 is assigned to each ultrasound image 24 included in the within-time image group 108, and the size information 102 assigned to the first ultrasound image 24B (i.e., the size information 102 assigned to the first ultrasound image 24B in the background) is output as the first size information 110. Therefore, the doctor 20 observing the first ultrasound image 24B can quickly grasp the first size 98A.
  • a first ultrasound image 24B that shows the observation target area 27 in a manner that satisfies a preset condition is displayed on the screen 26.
  • the preset condition is that the length is a maximum value. This allows the doctor 20 to know the size 98 that the doctor 20 wants to know.
  • the preset condition may be that the length is equal to or greater than a reference value, or that the length is the most frequent value. In this case, too, it is possible to allow the doctor 20 to know the size 98 that the doctor 20 wants to know.
  • an ultrasound image 24 that shows the observation target area 27 in a manner that satisfies a preset condition is displayed on the screen 26 as a first ultrasound image 24B.
  • the length of the time period 104 is determined according to the time period instruction 106 received by the reception device 52. Therefore, the doctor 20 can understand the size 98 of the observation target area 27 that appears in the multiple ultrasound images 24 that are included in the time period 104 of the length intended by the doctor 20.
  • the size 98 of the range 95 corresponding to the observation target area 27 is measured as the first size 98A and displayed on the screen 26. Therefore, the doctor 20 observing the first ultrasound image 24B can understand the size 98 of the range 95 corresponding to the observation target area 27 as the first size 98A.
  • the size 98 of the range 95 corresponding to the observation target area 27 detected by executing the area detection process 93 is measured as the first size 98A. Therefore, the size 98 of the range 95 corresponding to the observation target area 27 intended by the doctor 20 can be measured as the first size 98A.
  • the cross-section of the internal organ 27A is applied as the range 95. Therefore, the doctor 20 observing the first ultrasound image 24B in which the internal organ 27A appears can understand the size of the cross-section of the internal organ 27A.
  • the observation target area 27 is a mass lesion
  • the cross-section of the mass lesion is also applied as the range 95, and the doctor 20 observing the first ultrasound image 24B in which the mass lesion appears can understand the size of the cross-section of the mass lesion.
  • a caliper 96 is displayed within the first ultrasound image 24B on the screen 26.
  • the caliper 96 defines a range 95. Therefore, when the doctor 20 observing the first ultrasound image 24B is asked to understand the size 98 of the observation target area 27, the doctor 20 can visually understand which range 95 of the observation target area 27 the size 98 belongs to.
  • control unit 62D outputs the first size information 110 to the display device 14, but the technology of the present disclosure is not limited to this.
  • second size information 115 which is size information 102 different from the first size information 110, may also be output to the display device 14 in a manner that is distinguishable from the first size information 110.
  • the second size information 115 is size information 102 assigned to an ultrasound image 24 different from the first ultrasound image 24B.
  • the second size information 115 is information indicating the second size 98B.
  • the second size 98B is the size 98 of the range 95 of the observation target area 27 shown in the ultrasound image 24 different from the first ultrasound image 24B.
  • a list of multiple ultrasound images 24 e.g., image group within a time period 108 (see FIG. 6) is displayed on the screen 26, and the first size 98A and the second size 98B are displayed in a distinguishable manner within the corresponding ultrasound image 24.
  • the second size 98B is displayed on the screen 26 in a state corresponding to a range 95 of the ultrasound image 24 that is different from the first ultrasound image 24B, and the first size 98A is displayed in a state corresponding to a range 95 in the first ultrasound image 24B and in a display manner that is more noticeable than the second size 98B.
  • the first size 98A is drawn with a thicker line than the second size 98B, but this is merely one example, and the first size 98A may be made more noticeable than the second size 98B, for example, by changing the brightness or adding a border.
  • the size 98 (i.e., second size 98B) indicated by the size information 102 (i.e., second size information 115) assigned to the ultrasound image 24 different from the first ultrasound image 24B is displayed on the screen 26, so that the doctor 20 can grasp the size 98 (i.e., second size 98B) of the range 95 of the observation target area 27 shown in the ultrasound image 24 different from the first ultrasound image 24B.
  • the size information 102 assigned to the ultrasound image 24 i.e., size information 102 assigned to the ultrasound image 24 in the background
  • the doctor 20 can discriminate between the size 98 of the range 95 of the first ultrasound image 24B (i.e., the first size 98A) and the size 98 of the range 95 of the ultrasound image 24 that is different from the first ultrasound image 24B (i.e., the second size 98B).
  • the second size 98B is an example of a "second size” according to the technology of the present disclosure.
  • the second size information 115 is an example of a "second size information” according to the technology of the present disclosure.
  • the ultrasound image 24 that is different from the first ultrasound image 24B is an example of a "second ultrasound image” according to the technology of the present disclosure.
  • the range 95 is constant, but the technology of the present disclosure is not limited to this, and the range 95 may be changed according to instructions given by the doctor 20.
  • a caliper change instruction 112 is received by the reception device 52 in a state in which the first ultrasound image 24B, the caliper 96, and the first size 98A are displayed on the screen 26.
  • the caliper change instruction 112 is an instruction to the control unit 62D to change the geometric characteristics (e.g., position, length, etc.) of the caliper 96.
  • the caliper change instruction 112 is an example of a "third instruction" related to the technology of the present disclosure.
  • the control unit 62D changes the range 95 by changing the geometric characteristics of the caliper 96 in accordance with the caliper change instruction 112 received by the reception device 52. Accordingly, the control unit 62D outputs re-measurement instruction information 114 to the measurement unit 62C.
  • the re-measurement instruction information 114 is an instruction to the measurement unit 62C to re-measure the changed range 95.
  • the re-measurement instruction information 114 includes information capable of identifying the geometric characteristics of the changed caliper 96 (e.g., information capable of identifying the position of one end 96A in the first ultrasound image 24B (e.g., coordinates, etc.) and information capable of identifying the position of the other end 96B in the first ultrasound image 24B (e.g., coordinates, etc.).
  • the measurement unit 62C performs a remeasurement process 116 according to the input remeasurement instruction information 114.
  • the remeasurement process 116 is a process for remeasuring the size 98 of the range 95 identified from the geometric characteristics of the changed caliper 96.
  • the measurement unit 62C outputs size information 102 indicating the remeasured size 98 by performing the remeasurement process 116 to the control unit 62D.
  • the control unit 62D displays the size 98 indicated by the input size information 102 on the screen 26 in correspondence with the caliper 96.
  • the size 98 of one range 95 applied to the first ultrasound image 24B i.e., the first size 98A
  • the technology of the present disclosure is not limited to this.
  • multiple ranges 95 may be identified from the first ultrasound image 24B, and size information 102 indicating the size 98 of the range 95 selected in accordance with instructions from the doctor 20 may be output to the display device 14.
  • the detection unit 62B acquires a first ultrasound image 24B and executes a part detection process 122 on the first ultrasound image 24B.
  • the part detection process 122 is a process for detecting a plurality of observation target parts 27 appearing in the first ultrasound image 24B according to a part detection model 124.
  • the part detection process 122 is executed by the detection unit 62B to detect the internal organs 27A, 27B, and 27C appearing in the first ultrasound image 24B.
  • the part detection process 122 is an example of "AI-based image recognition processing" according to the technology of the present disclosure.
  • the body part detection model 124 is a trained model for object detection using an AI method, and is optimized by performing machine learning on the neural network using second training data.
  • the second training data is a plurality of data (i.e., data for a plurality of frames) in which second example data and second answer data are associated with each other.
  • the second example data is an image equivalent to ultrasound image 24.
  • the second correct answer data is correct answer data (i.e., annotation) for the second example data.
  • an annotation capable of identifying a region corresponding to observation target region 27 in an image equivalent to ultrasound image 24 for example, information indicating the name of observation target region 27, multiple coordinates capable of identifying the position of the region corresponding to observation target region 27, and information indicating the priority of the region is used.
  • Detection unit 62B inputs first ultrasound image 24B to part detection model 124.
  • part detection model 124 detects multiple observation target parts 27 shown in the input first ultrasound image 24B, and outputs detection result information 126 indicating the detection results.
  • Detection unit 62B acquires detection result information 126 output from part detection model 124.
  • the detection result information 126 includes part information 128 for each detected observation target part 27.
  • the part information 128 includes part identification information 128A, position identification information 128B, and priority order information 128C.
  • the part identification information 128A is information synonymous with the part identification information 94A described in the above embodiment
  • the position identification information 128B is information synonymous with the position identification information 94B described in the above embodiment.
  • the priority order information 128C is information indicating the priority order of the detected observation target parts 27 (for example, the priority order determined in advance for each of the internal organs 27A, 27B, and 27C).
  • the measurement unit 62C performs various processes on each of the multiple observation target areas 27 detected from the first ultrasound image 24B based on the detection result information 126 acquired by the detection unit 62B.
  • the measurement unit 62C refers to the position identification information 128B to identify the internal organs 27A-27C from the first ultrasound image 24B that is the target of the part detection process 122.
  • the internal organs 27A-27C are illustrated, but this is merely one example, and the technology disclosed herein can be applied even if a mass lesion (e.g., a mass or tumor, etc.) or a duct (e.g., a bile duct or a pancreatic duct, etc.) is applied instead of the internal organs 27A, 27B, and/or 27C.
  • a mass lesion e.g., a mass or tumor, etc.
  • a duct e.g., a bile duct or a pancreatic duct, etc.
  • the measurement unit 62C also refers to the part identification information 128A to identify ranges 95 corresponding to the internal organs 27A, 27B, and 27C, respectively, for the internal organs 27A, 27B, and 27C identified from the first ultrasound image 24B.
  • the ranges 95 are determined in the same manner as in the above embodiment.
  • the measuring unit 62C measures the size 98 for each range 95 of the internal organs 27A, 27B, and 27C in the same manner as in the above embodiment, and assigns size information 102 to each of the internal organs 27A, 27B, and 27C.
  • the measuring unit 62C generates calipers 96 for each of the internal organs 27A, 27B, and 27C in the same manner as in the above embodiment, and assigns caliper drawing information 100 to each of the internal organs 27A, 27B, and 27C.
  • the measurement unit 62C refers to the detection result information 126 and assigns priority information 128C to each of the internal organs 27A, 27B, and 27C.
  • the control unit 62D displays the first ultrasound image 24B on the screen 26 in a manner similar to the above embodiment.
  • calipers 96 are displayed sequentially for each observation target area 27 based on the caliper drawing information 100 assigned to each observation target area 27.
  • the calipers 96 for each observation target area 27 are displayed sequentially according to the priority indicated by the priority information 128C assigned to the observation target area 27 to which the calipers 96 are applied.
  • the priority information 128C is displayed on the screen 26 as information that can identify the priority of the observation target area 27 to which the displayed caliper 96 is applied (text information such as "First Candidate,” “Second Candidate,” and “Third Candidate” in the example shown in FIG. 13) at the timing when the caliper 96 for each observation target area 27 is displayed on the screen 26. Since each observation target area 27 has a range 95 applied to it, the priority information 128C can also be said to be information that can identify the priority of the range 95.
  • the doctor 20 can visually recognize the priority of the range 95 defined by the caliper 96 displayed on the screen 26 (in other words, the priority of the observation target area 27 to which the caliper 96 is applied).
  • the reception device 52 receives a switching instruction 130 which is an instruction to switch the display of the calipers 96.
  • the control unit 62D switches the calipers 96 displayed on the screen 26 in an order (e.g., ascending or descending order) corresponding to the priority of the observation target area 27 to which the calipers 96 are applied.
  • the display of the caliper 96 applied to the internal organ 27A is switched to the display of the caliper 96 applied to the internal organ 27B, and the display of the caliper 96 applied to the internal organ 27C, in that order, each time the switching instruction 130 is received by the reception device 52.
  • the switching of the display of the caliper 96 is a circular switching. For example, when the switching instruction 130 is received by the reception device 52 while the caliper 96 applied to the internal organ 27C is displayed, the display is switched to the caliper 96 applied to the internal organ 27A.
  • the switching instruction 130 is an example of a "fifth instruction" according to the technology of the present disclosure.
  • one caliper 96 is applied to the observation target area 27, but this is merely one example.
  • multiple calipers 96 may be applied to the observation target area 27 (internal organs 27A in the example shown in FIG. 21), in which case a priority is assigned to each caliper 96, and the display of the calipers 96 may be switched in accordance with the switching instruction 130 in an order determined according to the priority. Also, the display of the calipers 96 may be switched randomly, regardless of the priority.
  • the display of the multiple calipers 96 applied to the internal organ 27A is switched, but this is merely one example, and the display of the multiple calipers 96 may be switched in a similar manner across multiple observation target areas 27 (e.g., internal organs 27A-27C).
  • the display of the multiple calipers 96 applied to each observation target area 27 may be switched from the observation target area 27 with the highest priority to the observation target area 27 with the lowest priority among the multiple observation target areas 27.
  • the reception device 52 receives a selection instruction 131.
  • the selection instruction 131 is an instruction to select the range 95 defined by the caliper 96 displayed on the screen 26.
  • the control unit 62D selects the range 95 defined by the caliper 96 currently displayed on the screen 26.
  • the control unit 62D then obtains size information 102 corresponding to the selected range 95 and outputs the obtained size information 102 to the display device 14.
  • the third size 98C is displayed on the screen 26 in a state corresponding to the range 95 defined by the caliper 96 on the screen 26.
  • the third size 98C refers to the size 98 of the range 95 selected in accordance with the selection instruction 131.
  • the size information 102 assigned to the internal organ 27B is acquired by the control unit 62D and output to the display device 14, and the size 98 of the range 95 defined by the caliper 96 applied to the internal organ 27B is displayed on the screen 26 as the third size 98C.
  • selection instruction 131 is an example of a "fourth instruction" according to the technology of the present disclosure
  • size information 102 provided to internal organ 27B is an example of a "third size information” according to the technology of the present disclosure
  • third size 98C is an example of a "third size” according to the technology of the present disclosure.
  • the calipers 96 are displayed on the screen 26 in an order corresponding to the priority indicated by the priority information 128C in accordance with the switching instruction 130, and the size 98 of the range 95 selected in accordance with the selection instruction 131 is displayed on the screen 26 as the third size 98C, so that the doctor 20 observing the first ultrasound image 24B can quickly grasp the size 98 of the range 95 intended by the doctor 20.
  • the display of the calipers 96 is switched in accordance with the switching instruction 130, but the technology of the present disclosure is not limited to this, and multiple calipers 96 may be displayed in a list on the screen 26 in a state in which the priority order can be specified.
  • one caliper 96 is selected from the multiple calipers 96 displayed in the list in accordance with the selection instruction 131, and the size 98 of the range 95 defined by the selected caliper 96 is displayed on the screen 26 as the third size 98C.
  • the first size 98A of the internal organ 27A shown in the first ultrasound image 24B is exemplified as the maximum cross-sectional length of the internal organ 27A, but the technology of the present disclosure is not limited to this.
  • an ultrasound image 24 that satisfies the condition that the size 98 of the observation target area 27 (e.g., internal organ 27A) is measured using a measurement method corresponding to the observation target area 27 detected by the detection unit 62B may be set as the first ultrasound image 24B, and the size 98 of the observation target area 27 (e.g., internal organ 27A) shown in the first ultrasound image 24B may be used as the first size 98A.
  • multiple ultrasound images 24 in which the size 98 of the observation area 27 (e.g., internal organs 27A) is measured using a measurement method corresponding to the observation area 27 detected by the detection unit 62B may be displayed on the screen 26, output to an external device 134, output to a printer 138, or stored in an electronic medical record 136 (see FIG. 19).
  • the measurement method may be, for example, one or more measurement methods including the first measurement method and/or the second measurement method.
  • the first measurement method as shown in FIG. 15, there is a method of measuring the observation target area 27 (internal organ 27A in the example shown in FIG. 15) in multiple directions (two directions in the example shown in FIG. 15). The multiple directions may be three or more directions.
  • the second measurement method there is a method of measuring the observation target area 27 in one direction.
  • a method of measuring in one direction there is a method of measuring in one direction as shown in FIGS. 16 to 18, in addition to the method of measuring the maximum length of the cross section, as in the above embodiment.
  • the measuring unit 62C may measure lengths 98A1 and 98A2 in two intersecting directions as the first size 98A.
  • the length 98A1 is the length of the long axis 120 of the cross section of the internal organ 27A
  • the length 98A2 is the length of the short axis 121 of the cross section of the internal organ 27A.
  • a caliper 96 is applied to each of the long axis 120 and the short axis 121, and the lengths 98A1 and 98A2 measured by the measuring unit 62C also change when the geometric characteristics of the caliper 96 are changed in a manner similar to the example shown in FIG. 11.
  • the lengths 98A1 and 98A2 measured by the measuring unit 62C are displayed on the screen 26 by the control unit 62D in the same manner as in the above embodiment. This allows the doctor 20 observing the first ultrasound image 24B to grasp the size 98 of the cross section of the internal organ 27A by the length 98A1 of the long axis 120 and the length 98A2 of the short axis 121 of the cross section of the internal organ 27A.
  • the length 98A1 of the long axis 120 and the length 98A2 of the short axis 121 are exemplified, but the technology of the present disclosure can be applied even if the length 98A1 of the long axis 120 or the length 98A2 of the short axis 121 is used.
  • the length of the long axis and/or the short axis of viscera 27B or viscera 27C may be measured and displayed on the screen 26, or the length of the long axis and/or the short axis of a mass lesion may be measured and displayed on the screen 26.
  • lengths 98A1 and 98A2 in two intersecting directions are exemplified as the first size 98A, but this is merely one example, and three or more intersecting lengths may be measured and displayed on the screen 26 as the first size 98A.
  • the size 98 of the internal organ 27A shown in the ultrasound image 24 is measured by the measuring unit 62C, but this is merely one example.
  • the size 98 of a tube 27D may be measured by the measuring unit 62C.
  • the tube 27D include blood vessels, lymphatic vessels, bile ducts, water ducts, and medical artificial tubes.
  • the tube 27D is an example of a "tube" according to the technology disclosed herein.
  • the measurement unit 62C identifies the pipe 27D as the observation target area 27 from the ultrasound image 24 in the same manner as in the above embodiment, and sets a range 95 for the pipe 27D according to the identified pipe 27D.
  • the measurement unit 62CD also generates a caliper 96 that defines the range 95 for the pipe 27D in the same manner as in the above embodiment.
  • the measuring unit 62C measures the size 98 of the range 95 corresponding to the tube 27D.
  • the length of the radial range of the tube 27D is measured as the size 98.
  • the diameter of the tube 27D is measured as the size 98.
  • the length of the minor axis of the tube 27D is measured as the size 98.
  • the maximum length of the cross section of the tube 27D shown in the ultrasound image 24 is measured as the size 98.
  • the measured size 98 is displayed on the screen 26 in a state corresponding to the range 95 of the tube 27D shown in the ultrasound image 24. This allows the doctor 20 observing the ultrasound image 24 (e.g., the first ultrasound image 24B) to know the maximum length of the cross section of the tube 27D shown in the ultrasound image 24.
  • an annular lesion 27E is a polycystic lesion (e.g., a multilocular cystic mass or a polycystic ovary).
  • the annular lesion 27E is an example of an "annular lesion" according to the technology of the present disclosure.
  • the measurement unit 62C identifies the annular lesion 27E as the observation target area 27 from the ultrasound image 24 in the same manner as in the above embodiment, and sets a range 95 in the annular lesion 27E according to the identified annular lesion 27E.
  • the measurement unit 62C also generates a caliper 96 that defines the range 95 for the annular lesion 27E in the same manner as in the above embodiment.
  • the measuring unit 62C measures the size 98 of the range 95 corresponding to the annular lesion 27E.
  • the measuring unit 62C measures the size 98 of the range 95 corresponding to the annular lesion 27E, which is the range from one end to the other end of the longest line segment that crosses the contour of the cross section of the annular lesion 27E shown in the ultrasound image 24.
  • the measured size 98 is displayed on the screen 26 in correspondence with the range 95 of the annular lesion 27E shown in the ultrasound image 24.
  • the doctor 20 observing the ultrasound image 24 (e.g., the first ultrasound image 24B) to understand the size 98 of the range from one end to the other end of the longest line segment that crosses the contour of the cross section of the annular lesion 27E shown in the ultrasound image 24.
  • the processing device 18 when the processing device 18 is connected to an external device 134 (e.g., a server or personal computer that manages an electronic medical record 136 and/or images, etc.) via a network 132 such as a LAN or WAN, the ultrasound image 24, the caliper drawing information 100, the size information 102 (e.g., the first size information 110), and/or related information related to the size information 102 (e.g., the first size information 110) may be stored in the external device 134 or stored in the electronic medical record 136.
  • an external device 134 e.g., a server or personal computer that manages an electronic medical record 136 and/or images, etc.
  • a network 132 such as a LAN or WAN
  • the ultrasound image 24, the caliper drawing information 100, the size information 102 (e.g., the first size information 110), and/or related information related to the size information 102 may be stored in the external device 134 or stored in the electronic medical record 136.
  • An example of related information related to the size information 102 is information that can identify the position of the observation target area 27 where the size 98 was measured (e.g., the name of the area or coordinates), or information that can identify the current position of the ultrasound probe 38 that emitted ultrasound to obtain the ultrasound image 24 showing the observation target area 27 where the size 98 was measured (e.g., the name of the area or coordinates).
  • the ultrasound image 24, the caliper drawing information 100, the size information 102, and/or related information related to the size information 102 are stored in the external device 134, or in the electronic medical record 136. This makes it possible to prevent the ultrasound image 24, the caliper drawing information 100, the size information 102, and/or related information related to the size information 102 from being lost.
  • the size information 102 and/or related information related to the size information 102 may be output as audio by an audio playback device.
  • the related information related to the size information 102 may be displayed on the screen 26.
  • the processing device 18 is connected to a printer 138 via the network 132, the ultrasound image 24, the caliper drawing information 100, the size information 102, and/or related information related to the size information 102 may be output to the printer 138.
  • the ultrasound image 24, the caliper 96, the size 98, and/or related information related to the size information 102 are printed on a recording medium 140 (e.g., paper) by the printer 138.
  • the time period 104 is set based on the freeze image 24A, but this is merely one example, and the time period 104 may be specified according to an instruction received by the reception device 52 or various conditions (e.g., the area shown in the ultrasound image 24 or the display mode of the ultrasound image 24) regardless of the freeze image 24A. Also, instead of specifying the time period 104, multiple ultrasound images 24 in chronological order may be specified.
  • the length of the range 95 was measured as the size 98, but this is merely one example, and the area and/or volume of a range corresponding to the observation target area 27 may be measured as the size 98.
  • the concept of size 98 includes area and volume in addition to length.
  • the medical support processing is performed by the computer 54 of the processing device 18, but the technology of the present disclosure is not limited to this.
  • the medical support processing may be performed by the computer 144 (e.g., a computer having a similar hardware configuration to the computer 54) of the function expansion device 142, which is an auxiliary processing device used to expand the functions of the processing device 18.
  • the processing device 18 and the display device 14 are connected to the function expansion device 142, and the function expansion device 142 executes the medical support processing under the control of the processing device 18, and outputs the ultrasound image 24, the caliper drawing information 100, the size information 102, and/or related information related to the size information 102 to the display device 14, etc.
  • the ultrasound image 24, the caliper 96, the size 98, and the related information related to the size information 102 are displayed on the screen 26 of the display device 14.
  • the size 98 is measured by the measuring unit 62C for each ultrasound image 24 generated by the generating unit 62A, but the technology of the present disclosure is not limited to this.
  • the measuring unit 62C may measure the size 98 for one or more frames of ultrasound images 24 within a time period (e.g., time period 104) specified by the doctor 20, or the measuring unit 62C may measure the size 98 in units of the number of frames specified by the doctor 20. The same can be said for the part detection processes 93 and/or 122.
  • the medical support program 76 is stored in the NVM 66, but the technology of the present disclosure is not limited to this.
  • the medical support program 76 may be stored in a computer-readable storage medium such as an SSD or a USB memory.
  • the storage medium is a stationary or portable non-transitory storage medium.
  • the medical support program 76 stored in the storage medium is installed in the computer 54.
  • the processor 62 executes the medical support process in accordance with the medical support program 76.
  • a computer 54 is exemplified, but the technology of the present disclosure is not limited to this, and devices including an ASIC, an FPGA, and/or a PLD may be applied instead of the computer 54. Also, a combination of a hardware configuration and a software configuration may be used instead of the computer 54.
  • processors listed below can be used as hardware resources for executing the medical support processing described in the above embodiment.
  • processors include general-purpose processors that function as hardware resources for executing medical support processing by executing software, i.e., programs.
  • processors also include dedicated electronic circuits, such as FPGAs, PLDs, or ASICs, which are processors with a circuit configuration designed specifically for executing specific processing. All of the processors have built-in or connected memory, and all of the processors execute the medical support processing by using the memory.
  • the hardware resource that executes the medical support processing may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs, or a combination of a processor and an FPGA). Also, the hardware resource that executes the medical support processing may be a single processor.
  • a configuration using a single processor first, there is a configuration in which one processor is configured using a combination of one or more processors and software, and this processor functions as a hardware resource that executes medical support processing. Secondly, there is a configuration in which a processor is used that realizes the functions of the entire system, including multiple hardware resources that execute medical support processing, on a single IC chip, as typified by SoCs. In this way, medical support processing is realized using one or more of the various processors listed above as hardware resources.
  • these various processors can be electronic circuits that combine circuit elements such as semiconductor elements.
  • the above medical support process is merely one example. It goes without saying that unnecessary steps can be deleted, new steps can be added, and the processing order can be changed without departing from the spirit of the invention.
  • a and/or B is synonymous with “at least one of A and B.”
  • a and/or B means that it may be just A, or just B, or a combination of A and B.
  • the same concept as “A and/or B” is also applied when three or more things are expressed by linking them with “and/or.”

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

医療支援装置は、プロセッサを備える。プロセッサは、時系列の複数の超音波画像のうち、観察対象部位が写っており、かつ、既定条件を満足する第1超音波画像を画面に表示し、第1サイズを示す第1サイズ情報を出力する。第1サイズは、第1超音波画像に写っている観察対象部位のサイズである。

Description

医療支援装置、超音波内視鏡、医療支援方法、及びプログラム
 本開示の技術は、医療支援装置、超音波内視鏡、医療支援方法、及びプログラムに関する。
 国際公開第2020/008743号には、表示部、操作部、計測位置指定受付部、計測対象認識部、計測アルゴリズム設定部、及び計測部を備える音響波診断装置が開示されている。
 国際公開第2020/008743号に記載の音響波診断装置において、表示部は、取得した音響波画像を表示する。計測位置指定受付部は、操作部を介してユーザから、表示部に表示された音響波画像上の計測位置の指定を受け付ける。計測対象認識部は、計測位置指定受付部により受け付けられた計測位置に基づいて決定される認識範囲の音響波画像に含まれる計測対象を認識する。計測アルゴリズム設定部は、計測対象認識部により認識された計測対象に基づいて計測アルゴリズムを設定する。計測部は、計測アルゴリズム設定部により設定された計測アルゴリズムに基づいて、音響波画像上の計測対象に対する計測を行い、計測結果を表示部に表示させる。
 国際公開第2020/008746号には、撮影中の連続する複数フレームの音響波画像を表示部に順次表示する音響波診断装置が開示されている。国際公開第2020/008746号に記載の音響波診断装置は、計測対象認識部、計測アルゴリズム設定部、及び計測部を備える。
 国際公開第2020/008746号に記載の音響波診断装置において、計測対象認識部は、表示部に表示されている現在フレームの音響波画像に含まれる計測対象を自動的に認識する。計測アルゴリズム設定部は、計測対象認識部により認識された計測対象に対して計測アルゴリズムを設定する。計測部は、計測アルゴリズム設定部により設定された計測アルゴリズムに基づいて計測対象を計測し、計測結果を現在フレームの音響波画像に重畳して表示部に表示させる。
 国際公開第2017/104263号には、タッチパネルからの指示入力により定められた二つの計測点の位置が算出された後、計測間距離演算部が、二つの計測点間の距離を算出して表示部に表示させる超音波観測装置が開示されている。
 本開示の技術に係る一つの実施形態は、観察対象部位が写っており、かつ、既定条件を満足する超音波画像を観察しているユーザに対して、観察対象部位のサイズを把握させることができる医療支援装置、超音波内視鏡、医療支援方法、及びプログラムを提供する。
 本開示の技術に係る第1の態様は、プロセッサを備え、プロセッサが、共通の観察対象部位が写っている時系列の複数の超音波画像のうち、既定条件を満足する態様で観察対象部位が写っている第1超音波画像を画面に表示し、第1サイズを示す第1サイズ情報を出力し、第1サイズが、第1超音波画像に写っている観察対象部位のサイズである、医療支援装置である。
 本開示の技術に係る第2の態様は、第1サイズ情報を出力することが、第1サイズを画面に表示することを含む、第1の態様に係る医療支援装置である。
 本開示の技術に係る第3の態様は、既定条件が、複数の超音波画像のうち観察対象部位が検出され、かつ、検出された観察対象部位のサイズが測定された画像であるという条件を含む、第1の態様又は第2の態様に係る医療支援装置である。
 本開示の技術に係る第4の態様は、既定条件が、複数の超音波画像のうち、複数の観察対象部位のうちの特定観察対象部位が検出され、かつ、特定観察対象部位のサイズが測定された画像であるという条件を含む、第1の態様又は第2の態様に係る医療支援装置である。
 本開示の技術に係る第5の態様は、プロセッサが、複数の超音波画像のうち、観察対象部位が検出され、かつ、観察対象部位のサイズが測定された複数の超音波画像を出力する、第1の態様から第4の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第6の態様は、既定条件が、観察対象部位の長さが基準値以上であるという条件を含む、第1の態様から第5の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第7の態様は、既定条件が、観察対象部位の長さが最大値又は最頻値であるという条件を含む、第1の態様から第6の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第8の態様は、観察対象部位が管の場合、長さが、管の径方向の長さである、第6の態様又は第7の態様に係る医療支援装置である。
 本開示の技術に係る第9の態様は、観察対象部位のサイズを示すサイズ情報が、各超音波画像に付与されており、プロセッサが、第1超音波画像に付与されているサイズ情報を第1サイズ情報として出力する、第1の態様から第7の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第10の態様は、第1超音波画像が、与えられた第1指示に従って複数の超音波画像から選択された選択超音波画像を基準にして定められた時間帯の超音波画像のうちの既定条件を満足する超音波画像である、第1の態様から第9の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第11の態様は、選択超音波画像が、フリーズ画像であり、フリーズ画像が、複数の超音波画像が動画像として画面に表示されている状況下で第1指示に従って画面にフリーズした状態で表示された超音波画像である、第10の態様に係る医療支援装置である。
 本開示の技術に係る第12の態様は、時間帯が、選択超音波画像が得られた時点を基準にして過去に遡った時間帯である、第10の態様又は第11の態様に係る医療支援装置である。
 本開示の技術に係る第13の態様は、時間帯の長さが、与えられた第2指示に従って定められる、第10の態様から第12の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第14の態様は、プロセッサが、第2サイズを示す第2サイズ情報を出力し、第2サイズが、複数の超音波画像のうち、第1超音波画像と異なる第2超音波画像に写っている観察対象部位のサイズである、第1の態様から第13の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第15の態様は、観察対象部位のサイズを示すサイズ情報が、各超音波画像に付与されており、プロセッサが、第2超音波画像に付与されているサイズ情報を第2サイズ情報として出力する、第14の態様に係る医療支援装置である。
 本開示の技術に係る第16の態様は、第2サイズ情報を出力することが、第2サイズを画面に表示することを含む、第14の態様又は第15の態様に係る医療支援装置である。
 本開示の技術に係る第17の態様は、プロセッサが、第1サイズ情報と第2サイズ情報とを弁別可能に出力する、第14の態様から第16の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第18の態様は、既定条件が、複数の超音波画像のうち観察対象部位が検出され、かつ、検出された観察対象部位に応じた測定方式で観察対象部位のサイズが測定された画像であるという条件を含む、第1の態様から第17の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第19の態様は、既定条件は、複数の超音波画像のうち、複数の観察対象部位のうちの特定観察対象部位が検出され、かつ、特定観察対象部位に応じた測定方式で観察対象部位のサイズが測定された画像であるという条件を含む、第1の態様から第17の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第20の態様は、プロセッサが、複数の超音波画像のうち、観察対象部位が検出され、かつ、観察対象部位に応じた測定方式で観察対象部位のサイズが測定された複数の超音波画像を出力する、第1の態様から第19の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第21の態様は、測定方式が、第1測定方式及び/又は第2測定方式を含み、第1測定方式は、観察対象部位を一方向で測定する方式であり、第2測定方式は、観察対象部位を複数方向で測定する方式である、第20の態様に係る医療支援装置である。
 本開示の技術に係る第22の態様は、第1サイズが、観察対象部位に応じた範囲のサイズである、第1の態様から第21の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第23の態様は、画面には、範囲を規定するキャリパが表示される、第22の態様に係る医療支援装置である。
 本開示の技術に係る第24の態様は、キャリパの幾何特性が、与えられた第3指示に従って変更され、幾何特性の変更に伴って範囲が変更される、第23の態様に係る医療支援装置である。
 本開示の技術に係る第25の態様は、画面に第1超音波画像が表示されている場合に、プロセッサが、複数の範囲から、与えられた第4指示に従って選択された範囲の第3サイズを示す第3サイズ情報を出力する、第22の態様から第24の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第26の態様は、範囲には、優先順位が付与されており、画面には、優先順位が特定可能な状態で、範囲を示すキャリパが表示される、第25の態様に係る医療支援装置である。
 本開示の技術に係る第27の態様は、画面には、キャリパが優先順位に対応した順序で表示され、画面に表示されるキャリパの切り替えが、与えられた第5指示に従って行われる、第26の態様に係る医療支援装置である。
 本開示の技術に係る第28の態様は、第1サイズ情報、及び/又は、第1サイズ情報に関連する関連情報が、外部装置及び/又はカルテに保存される、第1の態様から第27の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第29の態様は、超音波画像が、超音波内視鏡画像である、第1の態様から第28の態様の何れか1つの態様に係る医療支援装置である。
 本開示の技術に係る第30の態様は、プロセッサを備え、プロセッサが、超音波画像に対して画像認識処理を行うことにより観察対象部位を検出し、検出したが観察対象部位に応じた測定方式で、観察対象部位を測定する、医療支援装置である。
 本開示の技術に係る第31の態様は、測定方式が、第1測定方式及び/又は第2測定方式を含み、第1測定方式が、観察対象部位を一方向で測定する方式であり、第2測定方式が、観察対象部位を複数方向で測定する方式である、第30の態様に係る医療支援装置である。
 本開示の技術に係る第32の態様は、第1の態様から第31の態様の何れか1つの態様に係る医療支援装置と、体内に挿入された状態で、体内で超音波を放射し、かつ、超音波の反射波を受波する超音波プローブと、を備え、反射波に基づいて超音波画像を生成する、超音波内視鏡である。
 本開示の技術に係る第33の態様は、時系列の複数の超音波画像のうち、観察対象部位が写っており、かつ既定条件を満足する第1超音波画像を画面に表示すること、及び、第1サイズを示す第1サイズ情報を出力することを含み、第1サイズが、第1超音波画像に写っている観察対象部位のサイズである、医療支援方法である。
 本開示の技術に係る第34の態様は、コンピュータに処理を実行させるためのプログラムであって、処理が、時系列の複数の超音波画像のうち、観察対象部位が写っており、かつ、既定条件を満足する第1超音波画像を画面に表示すること、及び、第1サイズを示す第1サイズ情報を出力することを含み、第1サイズが、第1超音波画像に写っている観察対象部位のサイズである、プログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 超音波内視鏡の構成の一例を示すブロック図である。 生成部の処理内容の一例を示す概念図である。 生成部、検出部、及び測定部の処理内容の一例を示す概念図である。 生成部及び制御部の処理内容の一例を示す概念図である。 生成部及び測定部の処理内容の一例を示す概念図である。 生成部、測定部、及び制御部の処理内容の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 図9Aに示すフローチャートの続きである。 第1サイズと第2サイズとが弁別可能な状態で画面に表示される態様の一例を示す概念図である。 キャリパの幾何特性が変更されたことに伴ってサイズが再測定されて画面に表示される態様の一例を示す概念図である。 生成部、検出部、及び測定部の処理内容の変形例を示す概念図である。 キャリパの表示が切替指示に従って切り替えられる態様の一例を示す概念図である。 選択指示に従って選択された範囲のサイズが画面に表示される態様の一例を示す概念図である。 超音波画像に写っている内臓の断面の長軸の長さ及び短軸の長さが測定されて画面に表示される態様の一例を示す概念図である。 超音波画像に写っている管の横断面視の径方向範囲のサイズが測定される態様の一例を示す概念図である。 超音波画像に写っている管の縦断面視の径方向範囲のサイズが測定される態様の一例を示す概念図である。 超音波画像に写っている環状病変の断面の輪郭を横断する線分の一端から他端迄の範囲のサイズが測定される態様の一例を示す概念図である。 医療支援処理の処理結果が外部装置及びプリンタに出力される態様の一例を示す概念図である。 処理装置に機能拡張装置が接続されている態様の一例を示す概念図である。 1つの観察対象部位に対してキャリパの表示が切替指示に従って切り替えられる態様の一例を示す概念図である。
 以下、添付図面に従って本開示の技術に係る医療支援装置、超音波内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。
 先ず、以下の説明で使用される文言について説明する。
 CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。TPUとは、“Tensor Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。NVMとは、“Non-volatile memory”の略称を指す。EEPROMとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。WANとは、“Wide Area Network”の略称を指す。AIとは、“Artificial Intelligence”の略称を指す。BLIとは、“Blue Light Imaging”の略称を指す。LCIとは、“Linked Color Imaging”の略称を指す。NNとは、“Neural Network”の略称を指す。
 一例として図1に示すように、内視鏡システム10は、超音波内視鏡12及び表示装置14を備えている。超音波内視鏡12は、コンベックス型の超音波内視鏡であり、超音波内視鏡本体16及び処理装置18を備えている。本実施形態では、超音波内視鏡12の一例として、コンベックス型の超音波内視鏡を挙げているが、これはあくまでも一例に過ぎず、ラジアル型の超音波内視鏡であっても本開示の技術は成立する。超音波内視鏡12は、本開示の技術に係る「超音波内視鏡」の一例である。処理装置18は、本開示の技術に係る「医療支援装置」の一例である。
 超音波内視鏡本体16は、例えば、医師20によって用いられる。処理装置18は、超音波内視鏡本体16に接続されており、超音波内視鏡本体16との間で各種信号の授受を行う。すなわち、処理装置18は、超音波内視鏡本体16に信号を出力することで超音波内視鏡本体16の動作を制御したり、超音波内視鏡本体16から入力された信号に対して各種の信号処理を行ったりする。
 超音波内視鏡12は、被検体22の体内の観察対象部位27に対する観察を医師20に対して行わせたり、観察対象部位27の診断及び/又は治療等を行ったりする装置であり、観察対象部位27を含む領域28を示す超音波画像24を生成して出力する。
 図1に示す例では、超音波画像24に写っている観察対象部位27の一例として、内臓27Aが示されている。内臓27Aの一例としては、胆嚢又は膵臓等が挙げられる。ここでは、本開示の技術に対する理解を容易にするために、内臓27Aを例示しているが、これは、あくまでも一例に過ぎず、観察対象部位27は、塊状病変(例えば、単嚢胞、腫瘍、又は腫瘤等)であってもよいし、管(例えば、血管、リンパ管、胆管、膵管、又は医用人工管等)であってもよい。
 観察対象部位27は、本開示の技術に係る「観察対象部位」の一例である。また、内臓27Aは、本開示の技術に係る「内臓」及び「特定観察対象部位」の一例である。また、観察対象部位27としての塊状病変は、本開示の技術に係る「塊状病変」の一例である。また、観察対象部位27としての管は、本開示の技術に係る「管」の一例である。
 例えば、医師20は、被検体22の体内の領域28を観察する場合、超音波内視鏡本体16を被検体22の口又は鼻(図1に示す例では、口)から被検体22の体内に挿入し、胃又は十二指腸等の位置で超音波を放射する。超音波内視鏡本体16は、被検体22の体内の領域28に対して超音波を放射し、放射した超音波が領域28で反射することによって得られた反射波を検出する。
 なお、図1に示す例では、上部消化器内視鏡検査が行われている態様が示されているが、本開示の技術はこれに限定されず、下部消化器内視鏡検査又は気管支内視鏡検査等にも本開示の技術は適用可能である。
 処理装置18は、超音波内視鏡本体16によって検出された反射波に基づいて超音波画像24を生成して表示装置14等に出力する。
 表示装置14は、処理装置18の制御下で、画像を含めた各種情報を表示する。表示装置14の一例としては、液晶ディスプレイ又はELディスプレイ等が挙げられる。表示装置14の画面26には、処理装置18によって生成された超音波画像24が、既定のフレームレート(例えば、数十フレーム/秒)に従って動画像として生成されて画面26に表示される。動画像の一例としては、ライブビュー画像又はポストビュー画像が挙げられる。画面26は、本開示の技術に係る「画面」の一例である。
 なお、図1に示す例では、表示装置14の画面26に超音波画像24が表示される形態例が示されているが、これは、あくまでも一例に過ぎず、表示装置14以外の表示装置(例えば、タブレット端末のディスプレイ)の画面に表示されるようにしてもよい。また、超音波画像24は、コンピュータ読取可能な非一時的格納媒体(例えば、フラッシュメモリ、HDD、及び/又は磁気テープ等)に格納されるようにしてもよい。
 一例として図2に示すように、超音波内視鏡本体16は、操作部29及び挿入部30を備えている。挿入部30は、管状に形成されている。挿入部30は、先端部32、湾曲部34、及び軟性部36を有する。先端部32、湾曲部34、及び軟性部36は、挿入部30の先端側から基端側にかけて、先端部32、湾曲部34、及び軟性部36の順に配置されている。軟性部36は、長尺状の可撓性を有する素材で形成されており、操作部29と湾曲部34とを連結している。湾曲部34は、操作部29が操作されることにより部分的に湾曲したり、挿入部30の軸心周りに回転したりする。この結果、挿入部30は、管腔臓器の形状(例えば、十二指腸の管路の形状)に応じて湾曲したり、挿入部30の軸心周りに回転したりしながら管腔臓器の奥側に送り込まれる。
 先端部32には、超音波プローブ38及び処置用開口40が設けられている。超音波プローブ38は、先端部32の先端側に設けられている。超音波プローブ38は、コンベックス型の超音波プローブであり、超音波を放射し、放射した超音波が領域28(図1及び図3参照)で反射されて得られた反射波を受波する。
 処置用開口40は、超音波プローブ38よりも先端部32の基端側に形成されている。処置用開口40は、処置具42を先端部32から突出させるための開口である。操作部29には、処置具挿入口44が形成されており、処置具42は、処置具挿入口44から挿入部30内に挿入される。処置具42は、挿入部30内を通過して処置用開口40から超音波内視鏡本体16の外部に突出する。また、処置用開口40は、血液及び体内汚物等を吸引する吸引口としても機能する。
 図2に示す例では、処置具42として、穿刺針が示されている。なお、これは、あくまでも一例に過ぎず、処置具42は、把持鉗子、カニューレ、ワイヤ、及び/又はシース等であってもよい。
 図2に示す例では、先端部32に照明装置46及びカメラ48が設けられている。照明装置46は、光を照射する。照明装置46から照射される光の種類としては、例えば、可視光(例えば、白色光等)、非可視光(例えば、近赤外光等)、及び/又は特殊光が挙げられる。特殊光としては、例えば、BLI用の光及び/又はLCI用の光が挙げられる。
 カメラ48は、管腔臓器内を光学的手法で撮像する。カメラ48の一例としては、CMOSカメラが挙げられる。CMOSカメラは、あくまでも一例に過ぎず、CCDカメラ等の他種のカメラであってもよい。なお、カメラ48によって撮像されることによって得られた画像は表示装置14に表示されたり、表示装置14以外の表示装置(例えば、タブレット端末のディスプレイ)に表示されたり、格納媒体(例えば、フラッシュメモリ、HDD、及び/又は磁気テープ等)に格納されたりする。
 超音波内視鏡12は、処理装置18及びユニバーサルコード50を備えている。ユニバーサルコード50は、基端部50A及び先端部50Bを有する。基端部50Aは、操作部29に接続されている。先端部50Bは、処理装置18に接続されている。すなわち、超音波内視鏡本体16と処理装置18は、ユニバーサルコード50を介して接続されている。
 内視鏡システム10は、受付装置52を備えている。受付装置52は、処理装置18に接続されている。受付装置52は、ユーザからの指示を受け付ける。受付装置52の一例としては、複数のハードキー及び/又はタッチパネル等を有する操作パネル、キーボード、マウス、トラックボール、フットスイッチ、スマートデバイス、マイクロフォン、及び/又は遠隔操作機器等が挙げられる。
 処理装置18は、受付装置52によって受け付けられた指示に従って、各種の信号処理を行ったり、超音波内視鏡本体16等との間で各種信号の授受を行ったりする。例えば、処理装置18は、受付装置52によって受け付けられた指示に従って、超音波プローブ38に対して超音波を放射させ、超音波プローブ38によって受波された反射波に基づいて超音波画像24(図1参照)を生成して出力する。
 表示装置14は、処理装置18に接続されている。処理装置18は、受付装置52によって受け付けられた指示に従って表示装置14を制御する。これにより、例えば、処理装置18によって生成された超音波画像24が表示装置14の画面26に表示される(図1参照)。
 一例として図3に示すように、処理装置18は、コンピュータ54、入出力インタフェース56、送受信回路58、及び通信モジュール60を備えている。コンピュータ54は、本開示の技術に係る「コンピュータ」の一例である。
 コンピュータ54は、プロセッサ62、RAM64、及びNVM66を備えている。入出力インタフェース56、プロセッサ62、RAM64、及びNVM66は、バス68に接続されている。
 プロセッサ62は、処理装置18の全体を制御する。例えば、プロセッサ62は、CPU及びGPUを有しており、GPUは、CPUの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ62は、GPU機能を統合した1つ以上のCPUであってもよいし、GPU機能を統合していない1つ以上のCPUであってもよい。また、プロセッサ62には、マルチコアCPUが含まれていてもよいし、TPUが含まれていてもよい。プロセッサ62は、本開示の技術に係る「プロセッサ」の一例である。
 RAM64は、一時的に情報が格納されるメモリであり、プロセッサ62によってワークメモリとして用いられる。NVM66は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。NVM66の一例としては、フラッシュメモリ(例えば、EEPROM)及び/又はSSD等が挙げられる。なお、フラッシュメモリ及びSSDは、あくまでも一例に過ぎず、HDD等の他の不揮発性の記憶装置であってもよいし、2種類以上の不揮発性の記憶装置の組み合わせであってもよい。
 入出力インタフェース56には、受付装置52が接続されており、プロセッサ62は、受付装置52によって受け付けられた指示を、入出力インタフェース56を介して取得し、取得した指示に応じた処理を実行する。
 入出力インタフェース56には、送受信回路58が接続されている。送受信回路58は、プロセッサ62からの指示に従ってパルス波形の超音波放射信号70を生成して超音波プローブ38に出力する。超音波プローブ38は、送受信回路58から入力された超音波放射信号70を超音波に変換し、超音波を被検体22の領域28に放射する。超音波プローブ38は、超音波プローブ38から放射された超音波が領域28で反射されることで得られた反射波を受波し、反射波を、電気信号である反射波信号74に変換して送受信回路58に出力する。送受信回路58は、超音波プローブ38から入力された反射波信号74をデジタル化し、デジタル化した反射波信号74を、入出力インタフェース56を介してプロセッサ62に出力する。プロセッサ62は、送受信回路58から入出力インタフェース56を介して入力された反射波信号74に基づいて、領域28の態様(すなわち、領域28の断面の態様)を示す超音波画像24(図1参照)を生成する。
 図3での図示は省略されているが、入出力インタフェース56には、照明装置46(図2参照)も接続されている。プロセッサ62は、入出力インタフェース56を介して照明装置46を制御することで、照明装置46から照射される光の種類を変えたり、光量を調整したりする。また、図3での図示は省略されているが、入出力インタフェース56には、カメラ48(図2参照)も接続されている。プロセッサ62は、入出力インタフェース56を介してカメラ48を制御したり、カメラ48によって被検体22の体内が撮像されることで得られた画像を、入出力インタフェース56を介して取得したりする。
 入出力インタフェース56には、通信モジュール60が接続されている。通信モジュール60は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信モジュール60は、LAN又はWAN等のネットワーク(図示省略)に接続されており、プロセッサ62と外部装置との間の通信を司る。外部装置の一例としては、サーバ(例えば、電子カルテ管理サーバ及び/又は画像管理サーバ等)、タブレット端末、及び/又はパーソナル・コンピュータ等が挙げられる。
 入出力インタフェース56には、表示装置14が接続されており、プロセッサ62は、入出力インタフェース56を介して表示装置14を制御することで、表示装置14に対して各種情報を表示させる。
 入出力インタフェース56には、受付装置52が接続されており、プロセッサ62は、受付装置52によって受け付けられた指示を、入出力インタフェース56を介して取得し、取得した指示に応じた処理を実行する。
 ところで、画面26に表示されている超音波画像24を観察している医師20が観察対象部位27のサイズを把握することは、例えば、観察対象部位27に対して何らかの医療的な処置を行ったり、観察対象部位27の経過状況を評価したりする上で重要である。超音波画像24に写っている観察対象部位27のサイズは、超音波画像24での観察対象部位27の写り方次第で変わる。
 そのため、例えば、観察対象部位27が最小のサイズで超音波画像24に写っている状態で、観察対象部位27のサイズが何らかの方法で測定されて画面26に表示された場合、画面26に表示されたサイズは、実際に医師20が知りたいサイズでない可能性が高い。また、画面26に動画像として表示されている時系列の複数の超音波画像24から、医師20による指示に従って超音波画像24が選択され、選択された超音波画像24に写っている観察対象部位27のサイズが測定されて画面26に表示されたとしても、医師20が望む観察対象部位27のサイズが画面26に表示されるとは限らない。
 例えば、医師20が、観察対象部位27が最も大きく写っている超音波画像24を選択したつもりであっても、動画像の表示が高速であるために、観察対象部位27が最も大きく写っている超音波画像24よりも時間的に前後している超音波画像24が選択されてしまうと、結果的に、医師20が望んでいない観察対象部位27のサイズが画面26に表示されてしまうことになる。
 そこで、このような事情に鑑み、本実施形態では、一例として図3に示すように、処理装置18のプロセッサ62によって医療支援処理が行われる。医療支援処理は、例えば、領域28からAI方式で観察対象部位27を検出し、検出結果に基づいて、超音波内視鏡12を用いた医療(例えば、医師20(図1参照)によって行われる医療)を支援する処理である。
 NVM66には、医療支援プログラム76及び部位検出モデル78が格納されている。医療支援プログラム76は、本開示の技術に係る「プログラム」の一例である。部位検出モデル78は、プロセッサ62が超音波画像24から観察対象部位27を検出する処理に用いられる。
 プロセッサ62は、NVM66から医療支援プログラム76を読み出し、読み出した医療支援プログラム76をRAM64上で実行することにより医療支援処理を行う。AI方式での観察対象部位27の検出は、部位検出モデル78が用いられることによって実現される。医療支援処理は、プロセッサ62がRAM64上で実行する医療支援プログラム76に従って、生成部62A、検出部62B、測定部62C、及び制御部62Dとして動作することによって実現される。
 一例として図4に示すように、生成部62Aは、送受信回路58から反射波信号74を取得し、取得した反射波信号74に基づいて時系列の複数の超音波画像24を生成する。なお、本実施形態では、説明の便宜上、時系列の複数の超音波画像24に共通の観察対象部位27が写っていることを前提として説明する。また、本実施形態において、生成部62Aによって生成された時系列の複数の超音波画像24は、本開示の技術に係る「時系列の複数の超音波画像」の一例である。また、超音波画像24は、本開示の技術に係る「超音波方式で生成された画像」及び「超音波内視鏡画像」の一例である。
 制御部62Dは、生成部62Aによって生成された時系列の複数の超音波画像24を動画像として特定フレームレート(例えば、数十フレーム/秒)で画面26に表示する。
 一例として図5に示すように、検出部62Bは、生成部62Aによって生成された時系列の複数の超音波画像24から、時系列に沿って1フレーム単位で超音波画像24を取得し、取得した超音波画像24に対して部位検出処理93を実行する。部位検出処理93は、部位検出モデル78に従って、超音波画像24に写っている観察対象部位27を検出する処理である。本実施形態において、部位検出処理93は、本開示の技術に係る「画像認識処理」の一例である。
 部位検出モデル78は、AI方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第1教師データを用いた機械学習が行われることによって最適化されている。第1教師データは、第1例題データと第1正解データとが対応付けられた複数のデータ(すなわち、複数フレーム分のデータ)である。
 第1例題データは、超音波画像24に相当する画像である。第1正解データは、第1例題データに対する正解データ(すなわち、アノテーション)である。ここでは、第1正解データの一例として、超音波画像24に相当する画像での観察対象部位27に相当する部位を特定可能なアノテーション(例えば、観察対象部位27の名称を示す情報、及び、観察対象部位27に相当する部位の位置を特定可能な複数の座標等)が用いられている。
 検出部62Bは、生成部62Aから取得した超音波画像24を部位検出モデル78に入力する。これにより、部位検出モデル78は、入力された超音波画像24に写っている観察対象部位27を検出し、検出結果を示す検出結果情報94を出力する。検出部62Bは、部位検出モデル78から出力された検出結果情報94を取得する。
 検出結果情報94は、部位特定情報94Aと位置特定情報94Bとを含む。部位特定情報94は、超音波画像24に写っている観察対象部位27の名称を示す情報である。図5に示す例において、観察対象部位27の名称とは、例えば、超音波画像24に写っている内臓27Aの名称(例えば、膵臓)を指す。位置特定情報94Bは、超音波画像24内での観察対象部位27が写っている箇所を特定可能な位置情報(例えば、複数の座標)である。
 なお、本実施形態では、部位検出処理93として、部位検出モデル78を用いたAI方式の処理を例示しているが、本開示の技術は、これに限定されず、AI方式の処理と非AI方式の処理(例えば、テンプレートマッチング等を用いた処理)とを併用したり、AI方式の処理に代えて非AI方式の処理を用いたりすることによっても部位検出処理93を実現することが可能である。
 測定部62Cは、位置特定情報94Bを参照して、部位検出処理93の処理対象とされた超音波画像24から観察対象部位27を特定する。測定部62Cは、部位特定情報94Aを参照して、超音波画像24から特定した観察対象部位27に応じた範囲95を特定する。範囲95は、観察対象部位27毎に定められている。例えば、内臓27Aに対して適用される範囲95は、超音波画像24に写っている内臓27Aの断面のうちの長さが最大となる範囲である。
 なお、ここでは、内臓27Aに対して適用される範囲95の一例として、内臓27Aの断面のうちの長さが最大となる範囲を挙げているが、これは、あくまでも一例に過ぎず、処理対象部位27が塊状病変の場合であっても、範囲95として、超音波画像24に写っている塊状病変の断面のうちの長さが最大となる範囲が適用される。また、詳しくは後述するが、処理対象部位27が管(例えば、胆管又は膵管等)の場合、管の径方向の範囲(例えば、直径)が範囲95として適用される。
 測定部62Cは、範囲95を規定するキャリパ96を生成する。キャリパ96は、範囲95がどこからどこまでなのかを視覚的に認識可能にする画像(例えば、直線状のマーク)である。キャリパ96の一端96Aから他端96Bまでが範囲95を表している。
 測定部62Cは、キャリパ96を超音波画像24内に描画可能な情報であるキャリパ描画情報100を生成し、生成したキャリパ描画情報100を、範囲95が適用される観察対象部位27が写っている超音波画像24に付与する。すなわち、部位検出処理93の処理対象とされた複数の超音波画像24の各々に対して測定部62Cによってキャリパ描画情報100が付与される。
 キャリパ描画情報100の一例としては、超音波画像24内でのキャリパ96の位置を特定可能な複数の座標(例えば、超音波画像24内での一端96Aの位置を特定可能な座標、及び他端96Bの位置を特定可能な座標)が挙げられる。超音波画像24へのキャリパ描画情報100の付与は、例えば、超音波画像24を特定可能な識別子とキャリパ描画情報100とが関連付けられた状態でメモリ(例えば、RAM64及び/又はNVM66等)に格納されることによって実現される。
 測定部62Cは、範囲95のサイズ98(ここでは、一例として、長さ)を測定する。そして、測定部62Cは、測定したサイズ98を示すサイズ情報102を部位検出処理93の処理対象とされた超音波画像24(すなわち、範囲95が適用される観察対象部位27が写っている超音波画像24)に付与する。すなわち、部位検出処理93の処理対象とされた複数の超音波画像24の各々に対して測定部62Cによってサイズ情報102が付与される。超音波画像24へのサイズ情報102の付与は、例えば、超音波画像24を特定可能な識別子とサイズ情報102とが関連付けられた状態でメモリに格納されることによって実現される。
 一例として図6に示すように、制御部62Dは、画面26に時系列の複数の超音波画像24が動画像として表示している状況下で、内視鏡システム10に対して与えられたフリーズ指示103に従って、画面26内の超音波画像24をフリーズ(すなわち、一時停止)させる。フリーズ指示103は、超音波画像24のフリーズ表示を行わせる指示である。図6に示す例において、制御部62Dは、画面26に時系列の複数の超音波画像24が動画像として表示している状況下で、受付装置52によってフリーズ指示103が受け付けられた場合に、画面26内の超音波画像24をフリーズさせる。
 制御部62Dは、フリーズ画像24Aを基準にして、内視鏡システム10に対して与えられた時間帯指示106(図6に示す例では、受付装置52によって受け付けられた時間帯指示106)に従って時間帯104を設定する。ここで、フリーズ画像24Aとは、画面26内でフリーズした状態で表示された超音波画像24を指す。また、時間帯指示106とは、時間帯104の長さに対する指示を指す。図6に示す例において、制御部62Dは、生成部62Aによって生成された時系列の複数の超音波画像のうち、フリーズ画像24Aが得られた時点を基準にして、時間帯指示106に従って過去に遡った時間帯を時間帯104として設定する。そして、制御部62Dは、時間帯104内に含まれる時系列の複数の超音波画像24を時間帯内画像群108として選定する。
 本実施形態において、フリーズ指示103は、本開示の技術に係る「第1指示」の一例である。また、時間帯指示106は、本開示の技術に係る「第2指示」の一例である。また、フリーズ画像24Aは、本開示の技術に係る「選択超音波画像」及び「フリーズ画像」の一例である。また、時間帯104は、本開示の技術に係る「時間帯」の一例である。
 一例として図7に示すように、測定部62Cは、時間帯内画像群108のうちの第1超音波画像24Bに写っている観察対象部位27のサイズ98である第1サイズ98Aを測定する。すなわち、測定部62Cは、時間帯内画像群108に付与されている複数のサイズ情報102(例えば、全てのサイズ情報102)を取得し、取得した複数のサイズ情報102から、第1サイズ98Aを示す第1サイズ情報110を選定する。
 第1サイズ98Aの一例としては、第1超音波画像24Bに含まれている観察対象部位27に応じた範囲95のサイズ98が挙げられる。第1超音波画像24Bとは、時間帯内画像群108内のうちの既定条件を満足する超音波画像24を指す。ここで、既定条件には、時間帯内画像群108のうち、観察対象部位27(ここでは、一例として、内臓27A)が検出部62Bによって検出され、かつ、検出された観察対象部位27のサイズ98が測定部62Cによって測定された画像であるという条件が含まれる。また、既定条件には、例えば、範囲95のサイズ98(すなわち、範囲95の長さ)が最大値であるという条件も含まれる。
 ここでは、既定条件の一例として、範囲95のサイズ98が最大値であるという条件を挙げたが、これは、あくまでも一例に過ぎず、既定条件は、例えば、範囲95のサイズ98が最頻値であるという条件であってもよいし、範囲95のサイズ98が基準値(例えば、範囲95のサイズ98の平均値又は中央値等の統計値)以上であるという条件であってもよい。また、範囲95のサイズ98が基準値以上であり、かつ、範囲95のサイズ98が最大値又は最頻値であるという条件であってもよい。また、既定条件には、画質(例えば、輝度及び/又はコントラスト等)が既定画質以上であるという条件も含まれていてもよい。
 本実施形態において、第1サイズ98Aは、本開示の技術に係る「第1サイズ」の一例である。また、第1サイズ情報110は、本開示の技術に係る「第1サイズ情報」の一例である。また、第1超音波画像24Bは、本開示の技術に係る「第1超音波画像」の一例である。
 一例として図8に示すように、制御部62Dは、生成部62Aから第1超音波画像24Bを取得し、取得した第1超音波画像24Bを画面26に表示する。また、制御部62Dは、第1超音波画像24Bに対して付与されているキャリパ描画情報100を取得する。制御部62Dは、取得したキャリパ描画情報100に従って、第1超音波画像24B内に範囲95を規定するキャリパ96を描画することにより第1超音波画像24B内にキャリパ96を表示する。また、制御部62Dは、測定部62Cから第1サイズ情報110を取得し、取得した第1サイズ情報110を画面26に出力する。すなわち、制御部62Dは、測定部62Cから取得した第1サイズ情報110により示される第1サイズ98Aを画面26に表示する。
 次に、内視鏡システム10の本開示の技術に係る部分の作用について図9A及び図9Bを参照しながら説明する。
 図9A及び図9Bには、プロセッサ62によって行われる医療支援処理の流れの一例がフローチャートで示されている。図9A及び図9Bに示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。
 図9Aに示す医療支援方法では、先ず、ステップST10で、生成部62Aは、画像表示タイミングが到来した否かを判定する。画像表示タイミングとは、例えば、フレームレートの逆数で規定された時間間隔で区切られたタイミングである。ステップST10において、画像表示タイミングが到来していない場合は、判定が否定されて、医療支援処理は、図9Bに示すステップST52へ移行する。ステップST10において、画像表示タイミングが到来した場合は、判定が肯定されて、医療支援処理はステップST12へ移行する。
 ステップST12で、生成部62Aは、送受信回路58から入力された反射波信号74に基づいて超音波画像24を生成する(図4及び図5参照)。ステップST12の処理が実行された後、医療支援処理はステップST14へ移行する。
 ステップST14で、検出部62Bは、ステップST12で生成された超音波画像24に対して部位検出モデル78を用いた部位検出処理93を実行する(図6参照)。検出部62Bによって部位検出処理93が実行されることにより、超音波画像24に写っている観察対象部位27が検出され、検出結果情報94が部位検出モデル78から出力される。ステップST14の処理が実行された後、医療支援処理はステップST16へ移行する。
 ステップST16で、検出部62Bは、部位検出モデル78から出力された検出結果情報94を取得する(図5参照)。ステップST16の処理が実行された後、医療支援処理はステップST18へ移行する。
 ステップST18で、測定部62Cは、ステップST16で取得された検出結果情報94に基づいて、部位検出処理93の処理対象とされた超音波画像24に写っている観察対象部位27を特定する。そして、測定部62Cは、特定した観察対象部位27に応じた範
囲95を決定する(図5参照)。ステップST18の処理が実行された後、医療支援処理はステップST20へ移行する。
 ステップST20で、測定部62Cは、ステップST18で決定した範囲95に対応するキャリパ96を生成する(図5参照)。ステップST20の処理が実行された後、医療支援処理はステップST22へ移行する。
 ステップST22で、測定部62Cは、ステップST18で決定した範囲95のサイズ98を測定する(図5参照)。ステップST22の処理が実行された後、医療支援処理はステップST24へ移行する。
 ステップST24で、測定部62Cは、ステップST22でサイズ98を測定した範囲95が適用される観察対象部位27が写っている超音波画像24に対して、ステップST20で生成したキャリパ96に関するキャリパ描画情報100を付与する(図5参照)。ステップST24の処理が実行された後、医療支援処理はステップST26へ移行する。
 ステップST26で、測定部62Cは、ステップST22でサイズ98を測定した範囲95が適用される観察対象部位27が写っている超音波画像24に対して、ステップST22で測定したサイズ98を示すサイズ情報102を付与する(図5参照)。ステップST26の処理が実行された後、医療支援処理はステップST28へ移行する。
 ステップST28で、制御部62Dは、ステップST12で生成された超音波画像24を画面26に表示する(図4参照)。ステップST28の処理が実行された後、医療支援処理はステップST30へ移行する。
 ステップST30で、制御部62Dは、受付装置52によってフリーズ指示103(図6参照)が受け付けられたか否かを判定する。ステップST30において、受付装置52によってフリーズ指示103が受け付けられていない場合は、判定が否定されて、医療支援処理はステップST10へ移行する。ステップST30において、受付装置52によってフリーズ指示103が受け付けられた場合は、判定が肯定されて、医療支援処理はステップST32へ移行する。
 ステップST32で、制御部62Dは、画面26内の超音波画像24をフリーズさせる。これにより、画面26には、フリーズ画像24Aが表示される(図6参照)。ステップST32の処理が実行された後、医療支援処理は、図9Bに示すステップST34へ移行する。
 ステップST34で、制御部62Dは、受付装置52によって時間帯指示106(図6参照)が受け付けられたか否かを判定する。ステップST34において、受付装置52によって時間帯指示106が受け付けられていない場合は、判定が否定されて、ステップST34の判定が再び行われる。ステップST34において、受付装置52によって時間帯指示106が受け付けられた場合は、判定が肯定されて、医療支援処理はステップST36へ移行する。
 ステップST36で、制御部62Dは、ステップST12の処理が繰り返し実行されることによって生成された時系列の複数の超音波画像のうち、フリーズ画像24Aが得られた時点を基準にして、時間帯指示106に従って過去に遡った時間帯を時間帯104として設定する。そして、制御部62Dは、時間帯104内に含まれる時系列の複数の超音波画像24を時間帯内画像群108として選定する(図6参照)。ステップST36の処理が実行された後、医療支援処理はステップST38へ移行する。
 ステップST38で、測定部62Cは、ステップST36で選定された時間帯内画像群108に付与されている複数のサイズ情報102を取得する(図7参照)。ステップST38の処理が実行された後、医療支援処理はステップST40へ移行する。
 ステップST40で、測定部62Cは、ステップST38で取得した複数のサイズ情報102から、第1サイズ98Aを示すサイズ情報102を第1サイズ情報110として選定する(図7参照)。ステップST40の処理が実行された後、医療支援処理はステップST42へ移行する。
 ステップST42で、制御部62Dは、ステップST36で選定された時間帯内画像群から、既定条件を満足する態様で観察対象部位27が写っている超音波画像24、すなわち、第1超音波画像24Bを取得する(図8参照)。ステップST42の処理が実行された後、医療支援処理はステップST44へ移行する。
 ステップST44で、制御部62Dは、第1超音波画像24Bに対して付与されているキャリパ描画情報100を取得する(図8参照)。ステップST44の処理が実行された後、医療支援処理はステップST46へ移行する。
 ステップST46で、制御部62Dは、ステップST42で取得した第1超音波画像24Bを画面26に表示する(図8参照)。ステップST46の処理が実行された後、医療支援処理はステップST48へ移行する。
 ステップST48で、制御部62Dは、ステップST44で取得したキャリパ描画情報100に基づいて、画面26内の第1超音波画像24内に範囲95を規定するキャリパ96を描画することにより第1超音波画像24内にキャリパ96を表示する(図8参照)。ステップST48の処理が実行された後、医療支援処理はステップST50へ移行する。
 ステップST50で、制御部62Dは、ステップST40で選定された第1サイズ情報110により示される第1サイズ98Aを画面26に表示する(図8参照)。ステップST50の処理が実行された後、医療支援処理はステップST52へ移行する。
 ステップST52で、制御部62Dは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、内視鏡システム10に対して、医療支援処理を終了させる指示が与えられたという条件(例えば、医療支援処理を終了させる指示が受付装置52によって受け付けられたという条件)が挙げられる。
 ステップST52において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、図9Aに示すステップST10へ移行する。ステップST52において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
 以上説明したように、内視鏡システム10では、共通の観察対象部位27が写っている時系列の複数の超音波画像24のうち、既定条件を満足する態様で観察対象部位27が写っている第1超音波画像24Bが画面26に表示される。そして、第1サイズ98Aを示す第1サイズ情報110が出力される。第1サイズ98Aは、第1超音波画像24Bに写っている観察対象部位27のサイズである。従って、既定条件を満足する態様で観察対象部位27が写っている超音波画像24(すなわち、第1超音波画像24B)を観察している医師20に対して、観察対象部位27のサイズを把握させることができる。
 また、内視鏡システム10では、第1サイズ98Aが、第1超音波画像24Bが表示されている画面26内の第1超音波画像24Bに対応した状態で表示される。従って、第1超音波画像24Bを観察している医師20に対して、観察対象部位27のサイズを視覚的に把握させることができる。
 また、内視鏡システム10では、部位検出処理93が実行されることによって検出された観察対象部位27の範囲95のサイズ98が第1サイズ98Aとして測定され、第1サイズ98Aが画面26に表示される。従って、医師20に対して、手間をかけさせずに、医師20が意図する観察対象部位27の範囲95のサイズ98を第1サイズ98Aとして把握させることができる。
 また、内視鏡システム10では、時間帯内画像群108に含まれる各超音波画像24に対してサイズ情報102が付与されており、第1超音波画像24Bに付与されているサイズ情報102(すなわち、バックグラウンドで第1超音波画像24Bに付与されたサイズ情報102)が第1サイズ情報110として出力される。従って、第1超音波画像24Bを観察している医師20に対して、第1サイズ98Aを迅速に把握させることができる。
 また、内視鏡システム10では、共通の観察対象部位27が写っている時系列の複数の超音波画像24のうち、既定条件を満足する態様で観察対象部位27が写っている第1超音波画像24Bが画面26に表示される。ここでは、既定条件として、長さが最大値であるという条件が用いられている。従って、医師20が知りたいサイズ98を医師20に把握させることができる。なお、既定条件は、長さが基準値以上であるという条件であったり、長さが最頻値であるという条件であったりしてもよい。この場合も、医師20が知りたいサイズ98を医師20に把握させることができる。
 また、内視鏡システム10では、受付装置52によって受け付けられたフリーズ指示103に従って複数の超音波画像24から選択されたフリーズ画像24Aを基準にして定められた時間帯104内に含まれる複数の超音波画像24(すなわち、時間帯内画像群108)のうち、既定条件を満足する態様で観察対象部位27が写っている超音波画像24が第1超音波画像24Bとして画面26に表示される。従って、複数の超音波画像24を動画像として観察している医師20が意図する時間帯104に含まれる超音波画像24に写っている観察対象部位27のサイズ98を医師20に把握させることができる。
 また、内視鏡システム10では、時間帯104の長さが、受付装置52によって受け付けられた時間帯指示106に従って定められる。従って、医師20が意図する長さの時間帯104内に含まれる複数の超音波画像24に写っている観察対象部位27のサイズ98を医師20に把握させることができる。
 また、内視鏡システム10では、観察対象部位27に応じた範囲95のサイズ98が第1サイズ98Aとして測定されて画面26に表示される。従って、第1超音波画像24Bを観察している医師20に対して、観察対象部位27に応じた範囲95のサイズ98を第1サイズ98Aとして把握させることができる。
 また、内視鏡システム10では、部位検出処理93が実行されることによって検出された観察対象部位27に応じた範囲95のサイズ98が第1サイズ98Aとして測定される。従って、医師20が意図する観察対象部位27に応じた範囲95のサイズ98を第1サイズ98Aとして測定することができる。
 また、内視鏡システム10では、観察対象部位27が内臓27Aの場合、範囲95として、内臓27Aの断面が適用されている。従って、内臓27Aが写っている第1超音波画像24Bを観察している医師20に対して、内臓27Aの断面のサイズを把握させることができる。なお、観察対象部位27が塊状病変の場合も、範囲95として、塊状病変の断面が適用され、塊状病変が写っている第1超音波画像24Bを観察している医師20に対して、塊状病変の断面のサイズを把握させることができる。
 また、内視鏡システム10では、画面26内の第1超音波画像24B内にキャリパ96が表示される。キャリパ96は、範囲95を規定している。従って、第1超音波画像24Bを観察している医師20に対して、観察対象部位27のサイズ98を把握させる場合に、観察対象部位27の何れの範囲95のサイズ98なのかを視覚的に把握させることができる。
 上記実施形態では、制御部62Dによって、第1サイズ情報110が表示装置14に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図10に示すように、第1サイズ情報110と異なるサイズ情報102である第2サイズ情報115も、第1サイズ情報110と弁別可能に表示装置14に出力されるようにしてもよい。
 第2サイズ情報115は、第1超音波画像24Bと異なる超音波画像24に付与されているサイズ情報102である。第2サイズ情報115は、第2サイズ98Bを示す情報である。第2サイズ98Bは、第1超音波画像24Bと異なる超音波画像24に写っている観察対象部位27の範囲95のサイズ98である。図10に示す例において、画面26には、制御部62Dの制御下で、複数の超音波画像24(例えば、時間帯内画像群108(図6参照))が一覧表示されており、かつ、第1サイズ98Aと第2サイズ98Bとが弁別可能な表示態様で、各々が対応する超音波画像24内に表示されている。
 図10に示す例では、画面26に、第1超音波画像24Bと異なる超音波画像24の範囲95に対応させた状態で第2サイズ98Bが表示されており、第1超音波画像24B内の範囲95に対応させた状態で、かつ、第2サイズ98Bよりも目立つ表示態様で第1サイズ98Aが表示されている。図10に示す例では、第1サイズ98Aが第2サイズ98Bよりも太い線で描画されているが、これは、あくまでも一例に過ぎず、例えば、輝度を変えたり、縁取りしたりすることにより第1サイズ98Aを第2サイズ98Bよりも目立たせるようにしてもよい。
 このように、第1超音波画像24Bと異なる超音波画像24に付与されているサイズ情報102(すなわち、第2サイズ情報115)により示されるサイズ98(すなわち、第2サイズ98B)が画面26に表示されるので、第1超音波画像24Bと異なる超音波画像24に写っている観察対象部位27の範囲95のサイズ98(すなわち、第2サイズ98B)を医師20に把握させることができる。また、超音波画像24に付与されているサイズ情報102(すなわち、バックグラウンドで超音波画像24に付与されたサイズ情報102)が第2サイズ情報115として用いられるので、医師20に対して第2サイズ98Bを迅速に提示することができる。また、画面26に第1サイズ98Aと第2サイズ98Bとが弁別可能な表示態様で表示されるので、第1超音波画像24Bの範囲95のサイズ98(すなわち、第1サイズ98A)と第1超音波画像24Bと異なる超音波画像24の範囲95のサイズ98(すなわち、第2サイズ98B)とを弁別可能な状態で医師20に把握させることができる。
 なお、図10に示す例において、第2サイズ98Bは、本開示の技術に係る「第2サイズ」の一例である。また、第2サイズ情報115は、本開示の技術に係る「第2サイズ情報」の一例である。第1超音波画像24Bと異なる超音波画像24は、本開示の技術に係る「第2超音波画像」の一例である。
 上記実施形態では、範囲95が一定である場合を例示したが、本開示の技術はこれに限定されず、範囲95は医師20から与えられた指示に従って変更されるようにしてもよい。この場合、例えば、図11に示すように、画面26に、第1超音波画像24B、キャリパ96、及び第1サイズ98Aが表示されている状態で、受付装置52によってキャリパ変更指示112が受け付けられる。キャリパ変更指示112は、制御部62Dに対してキャリパ96の幾何特性(例えば、位置及び長さ等)を変更させる指示である。図11に示す例において、キャリパ変更指示112は、本開示の技術に係る「第3指示」の一例である。
 制御部62Dは、受付装置52によって受け付けられたキャリパ変更指示112に従ってキャリパ96の幾何特性を変更することにより範囲95を変更する。これに伴って、制御部62Dは、再測定指示情報114を測定部62Cに出力する。再測定指示情報114は、測定部62Cに対して変更後の範囲95を再測定させる指示である。再測定指示情報114には、変更後のキャリパ96の幾何特性を特定可能な情報(例えば、第1超音波画像24B内での一端96Aの位置を特定可能な情報(例えば、座標等)、及び第1超音波画像24B内での他端96Bの位置を特定可能な情報(例えば、座標等)が含まれている。
 測定部62Cは、入力された再測定指示情報114に従って再測定処理116を行う。再測定処理116は、変更後のキャリパ96の幾何特性から特定される範囲95のサイズ98を再測定する処理である。測定部62Cは、再測定処理116を行うことにより再測定したサイズ98を示すサイズ情報102を制御部62Dに出力する。制御部62Dは、入力されたサイズ情報102により示されるサイズ98をキャリパ96に対応させた状態で画面26に表示する。
 これにより、第1超音波画像24Bを観察している医師20に対して観察対象部位27の範囲95のサイズ98を把握させる場合に、医師20が意図する範囲95のサイズ98を医師20に把握させることができる。
 上記実施形態では、第1超音波画像24Bに対して適用された1つの範囲95のサイズ98(すなわち、第1サイズ98A)が画面26に表示される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図12~図14に示すように、第1超音波画像24Bから複数の範囲95が特定され、医師20からの指示に従って選択された範囲95のサイズ98を示すサイズ情報102が表示装置14に出力されるようにしてもよい。
 この場合、先ず、一例として図12に示すように、検出部62Bは、第1超音波画像24Bを取得し、第1超音波画像24Bに対して部位検出処理122を実行する。部位検出処理122は、部位検出モデル124に従って、第1超音波画像24Bに写っている複数の観察対象部位27を検出する処理である。図12に示す例では、部位検出処理122が検出部62Bによって実行されることにより、第1超音波画像24Bに写っている内臓27A、内臓27B、及び内臓27Cが検出される。図12に示す例において、部位検出処理122は、本開示の技術に係る「AI方式の画像認識処理」の一例である。
 部位検出モデル124は、AI方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第2教師データを用いた機械学習が行われることによって最適化されている。第2教師データは、第2例題データと第2正解データとが対応付けられた複数のデータ(すなわち、複数フレーム分のデータ)である。
 第2例題データは、超音波画像24に相当する画像である。第2正解データは、第2例題データに対する正解データ(すなわち、アノテーション)である。ここでは、第2正解データの一例として、超音波画像24に相当する画像での観察対象部位27に相当する部位を特定可能なアノテーション(例えば、観察対象部位27の名称を示す情報、観察対象部位27に相当する部位の位置を特定可能な複数の座標、及び部位に対する優先順位を示す情報)が用いられている。
 検出部62Bは、第1超音波画像24Bを部位検出モデル124に入力する。これにより、部位検出モデル124は、入力された第1超音波画像24Bに写っている複数の観察対象部位27を検出し、検出結果を示す検出結果情報126を出力する。検出部62Bは、部位検出モデル124から出力された検出結果情報126を取得する。
 検出結果情報126は、検出された観察対象部位27毎の部位情報128を含む。部位情報128は、部位特定情報128A、位置特定情報128B、及び優先順位情報128Cを含む。部位特定情報128Aは、上記実施形態で説明した部位特定情報94Aと同義の情報であり、位置特定情報128Bは、上記実施形態で説明した位置特定情報94Bと同義の情報である。優先順位情報128Cは、検出された観察対象部位27の優先順位(例えば、内臓27A、内臓27B、及び内臓27Cの各々に対して事前に定められている優先順位)を示す情報である。
 測定部62Cは、検出部62Bによって取得された検出結果情報126に基づいて、第1超音波画像24Bから検出された複数の観察対象部位27の各々に対して各種処理を行う。
 例えば、測定部62Cは、位置特定情報128Bを参照して、部位検出処理122の処理対象とされた第1超音波画像24Bから内臓27A~27Cを特定する。ここでは、説明の便宜上、内臓27A~27Cを例示しているが、これは、あくまでも一例に過ぎず、内臓27A、27B、及び/又は27Cに代えて、塊状病変(例えば、腫瘤又は腫瘍等)又は管(例えば、胆管又は膵管等)等を適用しても本開示の技術は成立する。
 また、測定部62Cは、部位特定情報128Aを参照して、第1超音波画像24Bから特定した内臓27A、内臓27B、及び内臓27Cの各々に対して、内臓27A、内臓27B、及び内臓27Cの各々に応じた範囲95を特定する。範囲95は、上記実施形態と同様の要領で定められる。
 また、測定部62Cは、上記実施形態と同様の要領で、内臓27A、内臓27B、及び内臓27Cの各々の範囲95毎のサイズ98を測定し、内臓27A、内臓27B、及び内臓27Cの各々に対してサイズ情報102を付与する。
 測定部62Cは、上記実施形態と同様の要領で、内臓27A、内臓27B、及び内臓27Cの各々に対してキャリパ96を生成し、内臓27A、内臓27B、及び内臓27Cの各々に対してキャリパ描画情報100を付与する。
 更に、測定部62Cは、検出結果情報126を参照して、内臓27A、内臓27B、及び内臓27Cの各々に対して優先順位情報128Cを付与する。
 一例として図13に示すように、制御部62Dは、上記実施形態と同様の要領で、第1超音波画像24Bを画面26に表示する。第1超音波画像24B内には、観察対象部位27毎に付与されたキャリパ描画情報100に基づいてキャリパ96が観察対象部位27毎に順次に表示される。また、観察対象部位27毎のキャリパ96は、キャリパ96が適用されている観察対象部位27に対して付与されている優先順位情報128Cにより示される優先順位に従って順次に表示される。
 優先順位情報128Cは、観察対象部位27毎のキャリパ96が画面26に表示されるタイミングで、表示されたキャリパ96が適用されている観察対象部位27の優先順位を特定可能な情報(図13に示す例では、「第1候補」、「第2候補」、及び「第3候補」というテキスト情報)として画面26に表示される。観察対象部位27には、範囲95が1つずつ適用されているので、優先順位情報128Cは、範囲95の優先順位を特定可能な情報とも言える。このように、優先順位情報128Cが画面26に表示されることにより、画面26に表示されたキャリパ96により規定されている範囲95の優先順位(換言すると、キャリパ96が適用されている観察対象部位27の優先順位)が医師20によって視覚的に認識される。
 画面26に第1超音波画像24Bが表示されている状態で、受付装置52は、キャリパ96の表示を切り替える指示である切替指示130を受け付ける。制御部62Dは、受付装置52によって受け付けられた切替指示130に応じて、画面26に表示されるキャリパ96を、キャリパ96が適用される観察対象部位27の優先順位に対応した順序(例えば、昇順又は降順)で切り替える。
 図13に示す例では、内臓27Aに対して適用されているキャリパ96の表示、内臓27Bに対して適用されているキャリパ96の表示、及び内臓27Cに対して適用されているキャリパ96の表示の順で、受付装置52によって切替指示130が受け付けられる毎に切り替えられる。また、キャリパ96の表示の切り替えは、循環切り替えである。例えば、内臓27Cに対して適用されているキャリパ96が表示されている状態で、受付装置52によって切替指示130が受け付けられると、内臓27Aに対して適用されているキャリパ96の表示に切り替えられる。図13に示す例において、切替指示130は、本開示の技術に係る「第5指示」の一例である。
 ここでは、観察対象部位27に対して1つのキャリパ96が適用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、図21に示すように、観察対象部位27(図21に示す例では、内臓27A)に対して複数のキャリパ96が適用されていてもよく、この場合、キャリパ96単位で優先順位が付与され、優先順位に応じて定められた順序でキャリパ96の表示が切替指示130に従って切り替えられるようにすればよい。また、優先順位とは無関係にキャリパ96の表示がランダムに切り替えられるようにしてもよい。
 また、図21に示す例では、内臓27Aに対して適用されている複数のキャリパ96の表示が切り替えられているが、これは、あくまでも一例に過ぎず、複数の観察対象部位27(例えば、内臓27A~27C)間を跨いで、同様の要領で複数のキャリパ96の表示が切り替えられるようにしてもよい。この場合、例えば、複数の観察対象部位27のうちの優先順位が高い観察対象部位27から優先順位が低い観察対象部位27にかけて、各々の観察対象部位27に対して適用されている複数のキャリパ96の表示が切り替えられるようにすればよい。
 一例として図14に示すように、受付装置52は、選択指示131を受け付ける。選択指示131は、画面26に表示されたキャリパ96によって規定された範囲95を選択する指示である。制御部62Dは、画面26にキャリパ96が表示されている状態で、受付装置52によって選択指示131が受け付けられると、現時点で画面26に表示されているキャリパ96によって規定された範囲95を選択する。そして、制御部62Dは、選択した範囲95に対応するサイズ情報102を取得し、取得したサイズ情報102を表示装置14に出力する。これにより、第3サイズ98Cが、画面26内のキャリパ96によって規定された範囲95に対応した状態で画面26に表示される。第3サイズ98Cとは、選択指示131に従って選択された範囲95のサイズ98を指す。
 図14に示す例では、内臓27Bに付与されているサイズ情報102が制御部62Dによって取得されて表示装置14に出力され、内臓27Bに適用されているキャリパ96によって規定されている範囲95のサイズ98が第3サイズ98Cとして画面26に表示されている。
 図14に示す例において、選択指示131は、本開示の技術に係る「第4指示」の一例であり、内臓27Bに付与されているサイズ情報102は、本開示の技術に係る「第3サイズ情報」の一例であり、第3サイズ98Cは、本開示の技術に係る「第3サイズ」の一例である。
 このように、第1超音波画像24Bに対して部位検出処理122が実行されることにより複数の範囲95が特定され、画面26に第1超音波画像24Bが表示されている場合に、与えられた選択指示131に従って選択された範囲95の第3サイズ98Cが画面26に表示されるので、第1超音波画像24Bを観察している医師20に対して、医師20が意図する範囲95のサイズ98を把握させることができる。
 また、図13及び図14に示す例では、優先順位情報128Cにより示される優先順位に対応した順序でキャリパ96が切替指示130に従って画面26に表示され、選択指示131に従って選択された範囲95のサイズ98が第3サイズ98Cとして画面26に表示されるので、第1超音波画像24Bを観察している医師20に対して、医師20が意図する範囲95のサイズ98を迅速に把握させることができる。
 また、図13に示す例では、切替指示130に従ってキャリパ96の表示が切り替えられる形態例を挙げたが、本開示の技術はこれに限定されず、複数のキャリパ96は、優先順位が特定可能な状態で画面26に一覧表示されていてもよい。この場合、一覧表示されている複数のキャリパ96から、選択指示131に従って1つのキャリパ96が選択され、選択されたキャリパ96によって規定されている範囲95のサイズ98が第3サイズ98Cとして画面26に表示されるようにすればよい。
 上記実施形態では、第1超音波画像24Bに写っている内臓27Aの第1サイズ98Aとして、内臓27Aの断面の最大の長さを例示したが、本開示の技術はこれに限定されない。例えば、図15~図18に示すように、検出部62Bによって検出された観察対象部位27に応じた測定方式で観察対象部位27(例えば、内蔵27A)のサイズ98が測定されたという条件を満足する超音波画像24を第1超音波画像24Bとし、第1超音波画像24Bに写っている観察対象部位27(例えば、内蔵27A)のサイズ98が第1サイズ98Aとして用いられるようにしてもよい。
 また、検出部62Bによって検出された観察対象部位27に応じた測定方式で観察対象部位27(例えば、内蔵27A)のサイズ98が測定された複数の超音波画像24が画面26に表示されたり、外部装置134に出力されたり、プリンタ138に出力されたり、電子カルテ136(図19参照)に保存されたりするようにしてもよい。
 ここで、測定方式としては、例えば、第1測定方式及び/又は第2測定方式を含む1つ以上の測定方式が挙げられる。第1測定方式の一例としては、図15に示すように、観察対象部位27(図15に示す例では、内臓27A)を複数方向(図15に示す例では、2つの方向)で測定する方式が挙げられる。複数方向は、3つ以上の方向であってもよい。第2測定方式の一例としては、観察対象部位27を一方向で測定する方式が挙げられる。一方向で測定する方式の一例としては、上記実施形態と同様に、断面の最大長を測定する方式の他に、図16~図18に示すように定められた一方向で測定する方式が挙げられる。
 一例として図15に示すように、測定部62Cは、第1サイズ98Aとして、交差する2つの方向の長さ98A1及び98A2を測定するようにしてもよい。長さ98A1は、内臓27Aの断面の長軸120の長さであり、長さ98A2は、内臓27Aの断面の短軸121の長さである。長軸120及び短軸121の各々に対しては、上記実施形態と同様に、キャリパ96が適用されており、図11に示す例と同様の要領でキャリパ96の幾何特性が変更されることにより、測定部62Cによって測定される長さ98A1及び98A2も変わる。
 測定部62Cによって測定される長さ98A1及び98A2は、上記実施形態と同様の要領で、制御部62Dによって画面26に表示される。これにより、第1超音波画像24Bを観察している医師20に対して、内臓27Aの断面のサイズ98を、内臓27Aの断面の長軸120の長さ98A1及び短軸121の長さ98A2で把握させることができる。
 ここでは、長軸120の長さ98A1及び短軸121の長さ98A2を例示したが、長軸120の長さ98A1又は短軸121の長さ98A2であっても本開示の技術は成立する。また、内臓27Aに代えて、内臓27B又は内臓27Cの長軸及び/又は短軸の長さが測定されて画面26に表示されてもよいし、塊状病変の長軸及び/又は短軸の長さが測定されて画面26に表示されてもよい。
 また、ここでは、第1サイズ98Aとして、交差する2つの方向の長さ98A1及び98A2を例示したが、これは、あくまでも一例に過ぎず、第1サイズ98Aとして、交差する3つ以上の長さが測定されて画面26に表示されてもよい。
 上記実施形態では、超音波画像24に写っている内臓27Aのサイズ98が測定部62Cによって測定される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、図16に示すように、管27Dのサイズ98が測定部62Cによって測定されてもよい。管27Dとしては、例えば、血管、リンパ管、胆管、水管、又は医用人工管等が挙げられる。管27Dは、本開示の技術に係る「管」の一例である。
 測定部62Cは、上記実施形態と同様の要領で、超音波画像24から観察対象部位27として管27Dを特定し、特定した管27Dに応じた範囲95を管27Dに設定する。また、測定部62CDは、上記実施形態と同様の要領で、管27Dに対して、範囲95を規定するキャリパ96も生成する。
 測定部62Cは、管27Dに応じた範囲95のサイズ98を測定する。この場合、管27Dの径方向範囲の長さがサイズ98として測定される。超音波画像24に写っている管27Dが横断面視で円形状の場合は、管27Dの直径がサイズ98として測定される。また、例えば、図17に示すように、超音波画像24に写っている管27Dが縦断面視で楕円状の場合は、管27Dの短軸の長さがサイズ98として測定される。つまり、超音波画像24に写っている管27Dの断面の最大長がサイズ98として測定される。測定されたサイズ98は、超音波画像24に写っている管27Dの範囲95と対応させた状態で画面26に表示される。これにより、超音波画像24(例えば、第1超音波画像24B)を観察している医師20に対して、超音波画像24に写っている管27Dの断面の最大長を把握させることができる。
 図16及び図17に示す例では、超音波画像24に写っている管27Dのサイズ98が測定部62Cによって測定される形態例を挙げたが、例えば、図18に示すように、超音波画像24に写っている環状病変27Eのサイズ98が測定部62Cによって測定されてもよい。環状病変27Eとしては、例えば、多胞性の病変(例えば、多房性嚢胞性腫瘤又は多嚢胞性卵巣等)が挙げられる。環状病変27Eは、本開示の技術に係る「環状病変」の一例である。
 測定部62Cは、上記実施形態と同様の要領で、超音波画像24から観察対象部位27として環状病変27Eを特定し、特定した環状病変27Eに応じた範囲95を環状病変27Eに設定する。また、測定部62Cは、上記実施形態と同様の要領で、環状病変27Eに対して、範囲95を規定するキャリパ96も生成する。
 測定部62Cは、環状病変27Eに応じた範囲95のサイズ98を測定する。例えば、環状病変27Eに応じた範囲95のサイズ98として、超音波画像24に写っている環状病変27Eの断面の輪郭を横断する最長の線分の一端から他端迄の範囲のサイズ98が測定部62Cによって測定される。測定されたサイズ98は、超音波画像24に写っている環状病変27Eの範囲95と対応させた状態で画面26に表示される。これにより、超音波画像24(例えば、第1超音波画像24B)を観察している医師20に対して、超音波画像24に写っている環状病変27Eの断面の輪郭を横断する最長の線分の一端から他端迄の範囲のサイズ98を把握させることができる。
 上記実施形態では、処理装置18のプロセッサ62によって医療支援処理が実行されることによって画面26に超音波画像24、キャリパ96、及びサイズ98が表示される形態例を挙げたが、本開示の技術はこれに限定されない。
 例えば、図19に示すように、処理装置18がLAN又はWAN等のネットワーク132を介して外部装置134(例えば、電子カルテ136及び/又は画像等を管理するサーバ又はパーソナル・コンピュータ等)に接続されている場合、外部装置134に、超音波画像24、キャリパ描画情報100、サイズ情報102(例えば、第1サイズ情報110)、及び/又はサイズ情報102(例えば、第1サイズ情報110)に関連する関連情報が保存されたり、電子カルテ136に保存されたりしてもよい。サイズ情報102に関連する関連情報の一例としては、サイズ98が測定された観察対象部位27の位置を特定可能な情報(例えば、部位名又は座標)、又は、サイズ98が測定された観察対象部位27が写っている超音波画像24を得るために超音波を放射した超音波プローブ38の現在位置を特定可能な情報(例えば、部位名又は座標)が挙げられる。
 このように、図19に示す例では、外部装置134に、超音波画像24、キャリパ描画情報100、サイズ情報102、及び/又はサイズ情報102に関連する関連情報が保存されたり、電子カルテ136に保存されたりする。これにより、超音波画像24、キャリパ描画情報100、サイズ情報102、及び/又はサイズ情報102に関連する関連情報の消失を防ぐことができる。
 また、サイズ情報102及び/又はサイズ情報102に関連する関連情報は、音声再生装置によって音声で出力されてもよい。サイズ情報102に関連する関連情報は、画面26に表示されてもよい。
 また、処理装置18がネットワーク132を介してプリンタ138が接続されている場合、プリンタ138に超音波画像24、キャリパ描画情報100、サイズ情報102、及び/又はサイズ情報102に関連する関連情報が出力されてもよい。この場合、例えば、プリンタ138によって、記録媒体140(例えば、用紙)に超音波画像24、キャリパ96、サイズ98、及び/又はサイズ情報102に関連する関連情報が印刷される。
 上記実施形態では、フリーズ画像24Aを基準にして時間帯104が設定される形態例を挙げているが、これは、あくまでも一例に過ぎず、フリーズ画像24Aとは無関係に、受付装置52によって受け付けられた指示、又は、各種条件(例えば、超音波画像24に写っている部位、又は、超音波画像24の表示態様等)に応じて、時間帯104が指定されてもよい。また、時間帯104が指定されるのではなく、時系列の複数の超音波画像24が指定されるようにしてもよい。
 上記実施形態では、サイズ98として範囲95の長さが測定される形態例を挙げて説明したが、これは、あくまでも一例に過ぎず、サイズ98として、観察対象部位27に応じた範囲の面積及び/又は体積が測定されるようにしてもよい。すなわち、サイズ98の概念には、長さの他に、面積及び体積も含まれる。
 上記実施形態では、処理装置18のコンピュータ54によって医療支援処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図20に示すように、処理装置18が有する機能を拡張させるために用いられる補助的な処理装置である機能拡張装置142のコンピュータ144(例えば、コンピュータ54と同様のハードウェア構成を有するコンピュータ)によって医療支援処理が実行されるようにしてもよい。機能拡張装置142には、処理装置18及び表示装置14が接続されており、機能拡張装置142は、処理装置18の制御下で医療支援処理を実行し、超音波画像24、キャリパ描画情報100、サイズ情報102、及び/又はサイズ情報102に関連する関連情報を表示装置14等に出力する。これにより、表示装置14の画面26に、超音波画像24が表示されたり、キャリパ96が表示されたり、サイズ98が表示されたり、サイズ情報102に関連する関連情報が表示されたりする。
 上記実施形態では、生成部62Aによって生成された超音波画像24毎に測定部62Cによってサイズ98が測定される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、医師20によって指示された時間帯(例えば、時間帯104)内の1フレーム以上の超音波画像24を対象として測定部62Cによってサイズ98が測定されるようにしてもよいし、医師20によって指示されたフレーム数単位で測定部62Cによってサイズ98が測定されるようにしてもよい。部位検出処理93及び/又は122についても同様のことが言える。
 上記実施形態では、NVM66に医療支援プログラム76が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援プログラム76がSSD又はUSBメモリなどのコンピュータ読取可能な格納媒体に記憶されていてもよい。格納媒体は、据置型又は可搬型の非一時的な格納媒体である。格納媒体に格納されている医療支援プログラム76は、コンピュータ54にインストールされる。プロセッサ62は、医療支援プログラム76に従って医療支援処理を実行する。
 上記実施形態では、コンピュータ54が例示されているが、本開示の技術はこれに限定されず、コンピュータ54に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ54に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 上記実施形態で説明した医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
 医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はプロセッサとFPGAとの組み合わせ)で構成されてもよい。また、医療支援処理を実行するハードウェア資源は1つのプロセッサであってもよい。
 1つのプロセッサで構成する例としては、第1に、1つ以上のプロセッサとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (34)

  1.  プロセッサを備え、
     前記プロセッサは、
     時系列の複数の超音波画像のうち、観察対象部位が写っており、かつ、既定条件を満足する第1超音波画像を画面に表示し、
     第1サイズを示す第1サイズ情報を出力し、
     前記第1サイズは、前記第1超音波画像に写っている前記観察対象部位のサイズである
     医療支援装置。
  2.  前記第1サイズ情報を出力することは、前記第1サイズを前記画面に表示することを含む
     請求項1に記載の医療支援装置。
  3.  前記既定条件は、前記複数の超音波画像のうち前記観察対象部位が検出され、かつ、検出された前記観察対象部位のサイズが測定された画像であるという条件を含む
     請求項1に記載の医療支援装置。
  4.  前記既定条件は、前記複数の超音波画像のうち、複数の前記観察対象部位のうちの特定観察対象部位が検出され、かつ、前記特定観察対象部位のサイズが測定された画像であるという条件を含む
     請求項1に記載の医療支援装置。
  5.  前記プロセッサは、前記複数の超音波画像のうち、前記観察対象部位が検出され、かつ、前記観察対象部位のサイズが測定された複数の超音波画像を出力する
     請求項1に記載の医療支援装置。
  6.  前記既定条件は、前記観察対象部位の長さが基準値以上であるという条件を含む
     請求項1に記載の医療支援装置。
  7.  前記既定条件は、前記観察対象部位の長さが最大値又は最頻値であるという条件を含む
     請求項1に記載の医療支援装置。
  8.  前記観察対象部位が管の場合、
     前記長さは、前記管の径方向の長さである
     請求項7に記載の医療支援装置。
  9.  前記観察対象部位のサイズを示すサイズ情報は、各前記超音波画像に付与されており、
     前記プロセッサは、前記第1超音波画像に付与されている前記サイズ情報を前記第1サイズ情報として出力する
     請求項1に記載の医療支援装置。
  10.  前記第1超音波画像は、与えられた第1指示に従って前記複数の超音波画像から選択された選択超音波画像を基準にして定められた時間帯の前記超音波画像のうちの前記既定条件を満足する超音波画像である
     請求項1に記載の医療支援装置。
  11.  前記選択超音波画像は、フリーズ画像であり、
     前記フリーズ画像は、前記複数の超音波画像が動画像として前記画面に表示されている状況下で前記第1指示に従って前記画面にフリーズした状態で表示された前記超音波画像
    である
     請求項10に記載の医療支援装置。
  12.  前記時間帯は、前記選択超音波画像が得られた時点を基準にして過去に遡った時間帯である
     請求項10に記載の医療支援装置。
  13.  前記時間帯の長さは、与えられた第2指示に従って定められる
     請求項11に記載の医療支援装置。
  14.  前記プロセッサは、第2サイズを示す第2サイズ情報を出力し、
     前記第2サイズは、前記複数の超音波画像のうち、前記第1超音波画像と異なる第2超音波画像に写っている前記観察対象部位のサイズである
     請求項1に記載の医療支援装置。
  15.  前記観察対象部位のサイズを示すサイズ情報は、各前記超音波画像に付与されており、
     前記プロセッサは、前記第2超音波画像に付与されている前記サイズ情報を前記第2サイズ情報として出力する
     請求項14に記載の医療支援装置。
  16.  前記第2サイズ情報を出力することは、前記第2サイズを前記画面に表示することを含む
     請求項14に記載の医療支援装置。
  17.  前記プロセッサは、前記第1サイズ情報と前記第2サイズ情報とを弁別可能に出力する
     請求項14に記載の医療支援装置。
  18.  前記既定条件は、前記複数の超音波画像のうち前記観察対象部位が検出され、かつ、検出された前記観察対象部位に応じた測定方式で前記観察対象部位のサイズが測定された画像であるという条件を含む
     請求項1に記載の医療支援装置。
  19.  前記既定条件は、前記複数の超音波画像のうち、複数の前記観察対象部位のうちの特定観察対象部位が検出され、かつ、前記特定観察対象部位に応じた測定方式で前記観察対象部位のサイズが測定された画像であるという条件を含む
     請求項1に記載の医療支援装置。
  20.  前記プロセッサは、前記複数の超音波画像のうち、前記観察対象部位が検出され、かつ、前記観察対象部位に応じた測定方式で前記観察対象部位のサイズが測定された複数の超音波画像を出力する
     請求項1に記載の医療支援装置。
  21.  前記測定方式は、第1測定方式及び/又は第2測定方式を含み、
     前記第1測定方式は、前記観察対象部位を一方向で測定する方式であり、
     前記第2測定方式は、前記観察対象部位を複数方向で測定する方式である
     請求項20に記載の医療支援装置。
  22.  前記第1サイズは、前記観察対象部位に応じた範囲のサイズである
     請求項1に記載の医療支援装置。
  23.  前記画面には、前記範囲を規定するキャリパが表示される
     請求項22に記載の医療支援装置。
  24.  前記キャリパの幾何特性は、与えられた第3指示に従って変更され、
     前記幾何特性の変更に伴って前記範囲が変更される
     請求項23に記載の医療支援装置。
  25.  前記画面に前記第1超音波画像が表示されている場合に、
     前記プロセッサは、複数の前記範囲から、与えられた第4指示に従って選択された前記範囲の第3サイズを示す第3サイズ情報を出力する
     請求項22に記載の医療支援装置。
  26.  前記範囲には、優先順位が付与されており、
     前記画面には、前記優先順位が特定可能な状態で、前記範囲を示すキャリパが表示される
     請求項25に記載の医療支援装置。
  27.  前記画面には、前記キャリパが前記優先順位に対応した順序で表示され、
     前記画面に表示される前記キャリパの切り替えは、与えられた第5指示に従って行われる
     請求項26に記載の医療支援装置。
  28.  前記第1サイズ情報、及び/又は、前記第1サイズ情報に関連する関連情報は、外部装置及び/又はカルテに保存される
     請求項1に記載の医療支援装置。
  29.  前記超音波画像は、超音波内視鏡画像である
     請求項1に記載の医療支援装置。
  30.  プロセッサを備え、
     前記プロセッサは、
     超音波画像に対して画像認識処理を行うことにより観察対象部位を検出し、
     検出した前記観察対象部位に応じた測定方式で、前記観察対象部位を測定する
     医療支援装置。
  31.  前記測定方式は、第1測定方式及び/又は第2測定方式を含み、
     前記第1測定方式は、前記観察対象部位を一方向で測定する方式であり、
     前記第2測定方式は、前記観察対象部位を複数方向で測定する方式である
     請求項30に記載の医療支援装置。
  32.  請求項1から請求項31の何れか一項に記載の医療支援装置と、
     体内に挿入された状態で、前記体内で超音波を放射し、かつ、前記超音波の反射波を受波する超音波プローブと、を備え、
     前記反射波に基づいて前記超音波画像を生成する
     超音波内視鏡。
  33.  時系列の複数の超音波画像のうち、観察対象部位が写っており、かつ、既定条件を満足する第1超音波画像を画面に表示すること、及び、
     第1サイズを示す第1サイズ情報を出力することを含み、
     前記第1サイズは、前記第1超音波画像に写っている前記観察対象部位のサイズである
     医療支援方法。
  34.  コンピュータに処理を実行させるためのプログラムであって、
     前記処理は、
     時系列の複数の超音波画像のうち、観察対象部位が写っており、かつ、既定条件を満足する第1超音波画像を画面に表示すること、及び、
     第1サイズを示す第1サイズ情報を出力することを含み、
     前記第1サイズは、前記第1超音波画像に写っている前記観察対象部位のサイズである
     プログラム。
PCT/JP2023/039522 2022-11-08 2023-11-01 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム WO2024101255A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022178952 2022-11-08
JP2022-178952 2022-11-08

Publications (1)

Publication Number Publication Date
WO2024101255A1 true WO2024101255A1 (ja) 2024-05-16

Family

ID=91032309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/039522 WO2024101255A1 (ja) 2022-11-08 2023-11-01 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024101255A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124063A (ja) * 2016-01-14 2017-07-20 国立大学法人 名古屋工業大学 動脈血管検出装置および動脈血管評価装置
JP2018061635A (ja) * 2016-10-12 2018-04-19 株式会社日立製作所 超音波撮像装置及び硬さの算出方法
US20180357770A1 (en) * 2017-06-12 2018-12-13 Verathon Inc. Active contour model using two-dimensional gradient vector for organ boundary detection
WO2019008867A1 (ja) * 2017-07-04 2019-01-10 富士フイルム株式会社 音響波診断装置及び音響波診断装置の作動方法
JP2019146875A (ja) * 2018-02-28 2019-09-05 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、及び計測キャリパ設定プログラム
WO2020008746A1 (ja) * 2018-07-02 2020-01-09 富士フイルム株式会社 音響波診断装置および音響波診断装置の制御方法
JP2020519369A (ja) * 2017-05-11 2020-07-02 ベラソン インコーポレイテッドVerathon Inc. 確率マップに基づいた超音波検査
JP2021013453A (ja) * 2019-07-10 2021-02-12 富士フイルム株式会社 計測装置、超音波診断装置、計測方法、計測プログラム
WO2021033446A1 (ja) * 2019-08-19 2021-02-25 富士フイルム株式会社 超音波診断装置、及び超音波診断装置の制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124063A (ja) * 2016-01-14 2017-07-20 国立大学法人 名古屋工業大学 動脈血管検出装置および動脈血管評価装置
JP2018061635A (ja) * 2016-10-12 2018-04-19 株式会社日立製作所 超音波撮像装置及び硬さの算出方法
JP2020519369A (ja) * 2017-05-11 2020-07-02 ベラソン インコーポレイテッドVerathon Inc. 確率マップに基づいた超音波検査
US20180357770A1 (en) * 2017-06-12 2018-12-13 Verathon Inc. Active contour model using two-dimensional gradient vector for organ boundary detection
WO2019008867A1 (ja) * 2017-07-04 2019-01-10 富士フイルム株式会社 音響波診断装置及び音響波診断装置の作動方法
JP2019146875A (ja) * 2018-02-28 2019-09-05 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、及び計測キャリパ設定プログラム
WO2020008746A1 (ja) * 2018-07-02 2020-01-09 富士フイルム株式会社 音響波診断装置および音響波診断装置の制御方法
JP2021013453A (ja) * 2019-07-10 2021-02-12 富士フイルム株式会社 計測装置、超音波診断装置、計測方法、計測プログラム
WO2021033446A1 (ja) * 2019-08-19 2021-02-25 富士フイルム株式会社 超音波診断装置、及び超音波診断装置の制御方法

Similar Documents

Publication Publication Date Title
US8292816B2 (en) Ultrasonic image diagnostic apparatus
US10157639B2 (en) Medical image diagnosis apparatus and medical image processing apparatus
CN109846513A (zh) 超声成像方法、系统和图像测量方法、处理系统及介质
WO2016175070A1 (ja) 医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラム
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
EP3228253B1 (en) Medical observation device, method for operating medical observation device, and program for operating medical observation device
US20180161063A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
WO2024101255A1 (ja) 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP2009189500A (ja) 超音波診断装置
JP5575370B2 (ja) 超音波診断装置
CN102068285B (zh) 具有彩色多普勒超声扫描功能的食管镜系统
WO2024004524A1 (ja) 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム
WO2024004542A1 (ja) 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム
US20240079100A1 (en) Medical support device, medical support method, and program
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2023038005A1 (ja) 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
WO2024004597A1 (ja) 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム
WO2023238609A1 (ja) 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
US20230363622A1 (en) Information processing apparatus, bronchoscope apparatus, information processing method, and program
CN202015192U (zh) 具有彩色多普勒超声扫描功能的食管镜系统
CN102018534B (zh) 一体化彩色多普勒超声电子支气管镜系统
US20240188799A1 (en) Endoscope system, medical information processing apparatus, medical information processing method, medical information processing program, and recording medium
US20240005500A1 (en) Medical image processing apparatus, medical image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888603

Country of ref document: EP

Kind code of ref document: A1