WO2022054805A1 - 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2022054805A1
WO2022054805A1 PCT/JP2021/032887 JP2021032887W WO2022054805A1 WO 2022054805 A1 WO2022054805 A1 WO 2022054805A1 JP 2021032887 W JP2021032887 W JP 2021032887W WO 2022054805 A1 WO2022054805 A1 WO 2022054805A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
interest
control unit
information processing
frame image
Prior art date
Application number
PCT/JP2021/032887
Other languages
English (en)
French (fr)
Inventor
聖 清水
耕一 井上
祐次郎 松下
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022547609A priority Critical patent/JPWO2022054805A1/ja
Publication of WO2022054805A1 publication Critical patent/WO2022054805A1/ja
Priority to US18/180,951 priority patent/US20230222760A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • This disclosure relates to information processing devices, information processing systems, information processing methods, and computer programs.
  • Patent Documents 1 to 3 describe techniques for processing intravascular ultrasound (IVUS) images.
  • IVUS is an abbreviation for Intravascular Ultrasound.
  • a catheter containing an imaging core that transmits and receives ultrasonic waves is rotatably and axially movable at the tip, and a catheter is passed through the lumen of the blood vessel, and the reflected signal of the ultrasonic signal received by the imaging core is transmitted. Obtained by analysis.
  • various blood cells such as red blood cells, white blood cells, lymphocytes, and platelets are present in the blood vessels. Therefore, in the IVUS image, the reflected signal mainly from the blood cell becomes noise, and it is difficult to distinguish and observe the region where blood flows and the region of the observation target such as the blood vessel branch, the guide wire, and the stent in detail. Is.
  • the purpose of the present disclosure is to identify the observation target with higher accuracy from the result of observing the cross section of the living tissue by ultrasonic waves.
  • the information processing apparatus as one aspect of the present disclosure is at least one generated using line data showing the intensity of reflected waves with respect to ultrasonic waves radially transmitted from an ultrasonic vibrator moving inside a living tissue.
  • a control unit that acquires a frame image and extracts a specific region from the at least one frame image based on the ratio of the average brightness in the region of interest contained in the at least one frame image to the dispersion of the brightness in the region of interest. Be prepared.
  • control unit acquires a plurality of frame images as the at least one frame image, and in addition to the ratio of the average brightness in the region of interest to the dispersion of the brightness in the region of interest, the plurality of images.
  • the specific region is extracted based on at least one of the feature amount in the time direction and the feature amount in the other spatial direction of the frame image.
  • control unit is based on the ratio of the average luminance in the first region of interest contained in the plurality of frame images to the variance of the luminance in the first region of interest, from the plurality of frame images.
  • a first region is extracted, and a second region is extracted from the plurality of frame images based on at least one of the feature quantities in the second region of interest contained in the plurality of frame images, and the first region is extracted.
  • a region commonly included in the region and the second region is determined to be the specific region.
  • control unit determines the ratio of the average luminance in the first region of interest to the dispersion of luminance in the first region of interest for the first pixel of interest included in the plurality of frame images. When the value is lower than the predetermined first value, it is determined that the first pixel of interest is included in the first region.
  • control unit calculates the luminance correlation between different frame images in the second region of interest for the second pixel of interest included in the plurality of frame images as the feature amount in the time direction. do.
  • control unit determines that the second attention pixel is included in the second region when the feature amount in the time direction is less than a predetermined second value.
  • control unit determines that the specific region is a blood flow region.
  • control unit enhances the contrast between the region included in the specific region and the region not included in the specific region in the at least one frame image.
  • control unit suppresses the brightness of a region included in the specific region in the at least one frame image.
  • control unit distinguishes between a region included in the specific region and a region not included in the specific region, and causes the display unit to display at least one frame image.
  • control unit causes the display unit to display at least one frame image by making the display color different between the area included in the specific area and the area not included in the specific area.
  • control unit increases the transparency of the area included in the specific area to be higher than the transparency of the area not included in the specific area, and causes the display unit to display the at least one frame image.
  • control unit measures the ratio of the average luminance in the first region of interest to the dispersion of luminance in the first region of interest for the first pixel of interest contained in the at least one frame image.
  • a plurality of types of the specific region are extracted from the at least one frame image based on which numerical range belongs to the plurality of predetermined numerical ranges.
  • control unit determines that the ratio of the average brightness of the first pixel of interest included in the plurality of frame images in the first region of interest to the dispersion of brightness in the first region of interest is determined.
  • Which numerical range belongs to a plurality of predetermined numerical ranges, and at least one of the above-mentioned feature quantities in the second area of interest for the second attention pixel included in the plurality of frame images. Extracts a plurality of types of the specific region from the plurality of frame images based on which of the plurality of predetermined numerical ranges belongs to the numerical range.
  • the information processing system as one aspect of the present disclosure includes the information processing apparatus and a probe having the ultrasonic vibrator.
  • control unit of the information processing apparatus uses line data indicating the intensity of the reflected wave with respect to the ultrasonic waves transmitted radially from the ultrasonic vibrator moving inside the living tissue. Obtains at least one frame image generated in Extract a specific area.
  • a computer program as an aspect of the present disclosure is at least one frame generated using line data showing the intensity of reflected waves for ultrasonic waves radially transmitted from an ultrasonic transducer moving inside a living tissue.
  • the observation object can be identified with higher accuracy from the result of observing the cross section of the living tissue by ultrasonic waves.
  • FIG. 1 is a perspective view of the diagnosis support system 10 according to the present embodiment.
  • the diagnostic support system 10 includes a diagnostic support device 11, a cable 12, a drive unit 13, a keyboard 14, a pointing device 15, and a display 16 as information processing devices.
  • the diagnosis support device 11 is a dedicated computer specialized for image diagnosis in the present embodiment, but may be a general-purpose computer such as a PC, WS, or tablet terminal.
  • PC is an abbreviation for Personal Computer.
  • WS is an abbreviation for Work Station.
  • the cable 12 is used to connect the diagnostic support device 11 and the drive unit 13 to transmit and receive information.
  • the drive unit 13 is used by connecting to the probe 20 described later, and is a device for driving the probe 20.
  • the drive unit 13 is also called an MDU.
  • MDU is an abbreviation for Motor Drive Unit.
  • the probe 20 is applied to IVUS.
  • the probe 20 is also called an IVUS catheter or a diagnostic imaging catheter. Details of the drive unit 13 and the probe 20 will be described later with reference to FIG.
  • the keyboard 14, the pointing device 15, and the display 16 are connected to the diagnostic support device 11 via an arbitrary cable or wirelessly.
  • the display 16 is, for example, an LCD, an organic EL display, or an HMD.
  • LCD is an abbreviation for Liquid Crystal Display.
  • EL is an abbreviation for ElectroLuminescence.
  • HMD is an abbreviation for Head-Mounted Display.
  • the diagnosis support system 10 further includes a connection terminal 17 and a cart unit 18 as options.
  • the connection terminal 17 is used to connect the diagnostic support device 11 and an external device.
  • the connection terminal 17 is, for example, a USB terminal.
  • USB is an abbreviation for Universal Serial Bus.
  • the external device is, for example, a recording medium such as a magnetic disk drive, a magneto-optical disk drive, or an optical disk drive.
  • the cart unit 18 is a cart with casters for movement.
  • a diagnostic support device 11, a cable 12, and a drive unit 13 are installed in the cart body of the cart unit 18.
  • a keyboard 14, a pointing device 15, and a display 16 are installed on the table at the top of the cart unit 18.
  • FIG. 2 is a perspective view of the probe 20 and the drive unit 13 according to the present embodiment.
  • the probe 20 includes a drive shaft 21, a hub 22, a sheath 23, an outer tube 24, an ultrasonic vibrator 25, and a relay connector 26.
  • the drive shaft 21 passes through the sheath 23 inserted into the body cavity of the living body and the outer tube 24 connected to the base end of the sheath 23, and extends to the inside of the hub 22 provided at the base end of the probe 20.
  • the drive shaft 21 has an ultrasonic vibrator 25 for transmitting and receiving signals at its tip, and is rotatably provided in the sheath 23 and the outer tube 24.
  • the relay connector 26 connects the sheath 23 and the outer pipe 24.
  • the hub 22, the drive shaft 21, and the ultrasonic vibrator 25 are integrally connected to each other so as to move forward and backward in the axial direction of the probe 20. Therefore, for example, when the hub 22 is pushed toward the tip side, the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side. For example, when the hub 22 is pulled toward the proximal end side, the drive shaft 21 and the ultrasonic transducer 25 move inside the sheath 23 toward the proximal end side as shown by arrows in FIG.
  • the drive unit 13 includes a scanner unit 31, a slide unit 32, and a bottom cover 33.
  • the scanner unit 31 is connected to the diagnostic support device 11 via the cable 12.
  • the scanner unit 31 includes a probe connecting portion 34 connected to the probe 20 and a scanner motor 35 which is a drive source for rotating the drive shaft 21.
  • the probe connecting portion 34 is detachably connected to the probe 20 via the insertion port 36 of the hub 22 provided at the base end of the probe 20. Inside the hub 22, the base end of the drive shaft 21 is rotatably supported, and the rotational force of the scanner motor 35 is transmitted to the drive shaft 21. Further, a signal is transmitted / received between the drive shaft 21 and the diagnosis support device 11 via the cable 12.
  • the diagnosis support device 11 generates a tomographic image of the living lumen and performs image processing based on the signal transmitted from the drive shaft 21.
  • the slide unit 32 mounts the scanner unit 31 so as to be able to move forward and backward, and is mechanically and electrically connected to the scanner unit 31.
  • the slide unit 32 includes a probe clamp portion 37, a slide motor 38, and a switch group 39.
  • the probe clamp portion 37 is provided at a position coaxial with the probe connecting portion 34 on the tip side thereof, and supports the probe 20 connected to the probe connecting portion 34.
  • the slide motor 38 is a drive source that generates a driving force in the axial direction of the probe 20.
  • the scanner unit 31 moves forward and backward by driving the slide motor 38, and the drive shaft 21 moves forward and backward in the axial direction of the probe 20 accordingly.
  • the slide motor 38 is, for example, a servo motor.
  • the switch group 39 includes, for example, a forward switch and a pullback switch that are pressed when the scanner unit 31 is moved forward and backward, and a scan switch that is pressed when the image rendering is started and ended. Not limited to the examples given here, various switches are included in the switch group 39 as needed.
  • the slide motor 38 rotates in the forward direction and the scanner unit 31 moves forward.
  • the hub 22 connected to the probe connection portion 34 of the scanner unit 31 is pushed out toward the tip side, and the drive shaft 21 and the ultrasonic vibrator 25 move inside the sheath 23 toward the tip side.
  • the pullback switch is pressed, the slide motor 38 rotates in the reverse direction, and the scanner unit 31 retracts.
  • the hub 22 connected to the probe connecting portion 34 is swept toward the proximal end side, and the drive shaft 21 and the ultrasonic transducer 25 move inside the sheath 23 toward the proximal end side.
  • the scanner motor 35 When the scan switch is pressed, image rendering is started, the scanner motor 35 is driven, and the slide motor 38 is driven to retract the scanner unit 31.
  • a user such as an operator connects the probe 20 to the scanner unit 31 in advance so that the drive shaft 21 moves to the axial base end side while rotating around the central axis of the probe 20 at the start of image rendering. do.
  • the scanner motor 35 and the slide motor 38 stop when the scan switch is pressed again, and the image drawing ends.
  • the bottom cover 33 covers the bottom surface of the slide unit 32 and the entire circumference of the side surface on the bottom surface side, and is freely close to and separated from the bottom surface of the slide unit 32.
  • the diagnosis support device 11 includes components such as a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, and an output unit 45.
  • the control unit 41 is one or more processors.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process.
  • CPU is an abbreviation for Central Processing Unit.
  • GPU is an abbreviation for Graphics Processing Unit.
  • the control unit 41 may include one or more dedicated circuits, or the control unit 41 may replace one or more processors with one or more dedicated circuits.
  • the dedicated circuit is, for example, FPGA or ASIC.
  • FPGA is an abbreviation for Field-Programmable Gate Array.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • the control unit 41 executes information processing related to the operation of the diagnosis support device 11 while controlling each unit of the diagnosis support system 10 including the diagnosis support device 11.
  • the storage unit 42 is one or more semiconductor memories, one or more magnetic memories, one or more optical memories, or a combination of at least two of them.
  • the semiconductor memory is, for example, RAM or ROM.
  • RAM is an abbreviation for Random Access Memory (writable memory).
  • ROM is an abbreviation for Read Only Memory.
  • the RAM is, for example, an SRAM or a DRAM.
  • SRAM is an abbreviation for Static Random Access Memory.
  • DRAM is an abbreviation for Dynamic Random Access Memory.
  • the ROM is, for example, EEPROM.
  • EEPROM is an abbreviation for Electrically Erasable Programmable Read Only Memory.
  • the storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • the storage unit 42 stores information used for the operation of the diagnosis support device 11 and information obtained by the operation of the diagnosis support device 11.
  • the communication unit 43 is one or more communication interfaces.
  • the communication interface is a wired LAN interface, a wireless LAN interface, or an image diagnostic interface that receives and A / D-converts IVUS signals.
  • LAN is an abbreviation for Local Area Network.
  • a / D is an abbreviation for Analog to Digital.
  • the communication unit 43 receives the information used for the operation of the diagnosis support device 11 and transmits the information obtained by the operation of the diagnosis support device 11.
  • the drive unit 13 is connected to the image diagnosis interface included in the communication unit 43.
  • the input unit 44 is one or more input interfaces.
  • the input interface is, for example, a USB interface or an HDMI® interface.
  • HDMI is an abbreviation for High-Definition Multimedia Interface.
  • the input unit 44 accepts an operation for inputting information used for the operation of the diagnosis support device 11.
  • the keyboard 14 and the pointing device 15 are connected to the USB interface included in the input unit 44, but the keyboard 14 and the pointing device 15 may be connected to the wireless LAN interface included in the communication unit 43.
  • the output unit 45 is one or more output interfaces.
  • the output interface is, for example, a USB interface or an HDMI® interface.
  • the output unit 45 outputs the information obtained by the operation of the diagnosis support device 11.
  • the display 16 is connected to the HDMI (registered trademark) interface included in the output unit 45.
  • the function of the diagnostic support device 11 is realized by executing the diagnostic support program (computer program) according to the present embodiment on the processor included in the control unit 41. That is, the function of the diagnostic support device 11 is realized by software.
  • the diagnosis support program is a program for causing a computer to execute a process of a step included in the operation of the diagnosis support device 11 so as to realize a function corresponding to the process of the step. That is, the diagnosis support program is a program for making the computer function as the diagnosis support device 11.
  • the program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, or a semiconductor memory.
  • the distribution of the program is performed, for example, by selling, transferring, or renting a portable recording medium such as a DVD or a CD-ROM in which the program is recorded.
  • DVD is an abbreviation for Digital Versatile Disc.
  • CD-ROM is an abbreviation for Compact Disc Read Only Memory.
  • the program may be distributed by storing the program in the storage of the server and transferring the program from the server to another computer via the network.
  • the program may be provided as a program product.
  • the computer temporarily stores the program recorded on the portable recording medium or the program transferred from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor.
  • the computer may read the program directly from the portable recording medium and perform processing according to the program.
  • the computer may sequentially execute processing according to the received program each time the program is transferred from the server to the computer.
  • the process may be executed by a so-called ASP type service that realizes the function only by the execution instruction and the result acquisition without transferring the program from the server to the computer.
  • "ASP" is an abbreviation for Application Service Provider.
  • the program includes information that is used for processing by a computer and is equivalent to the program. For example, data that is not a direct command to a computer but has a property that regulates computer processing falls under "information equivalent to a program".
  • a part or all the functions of the diagnosis support device 11 may be realized by a dedicated circuit included in the control unit 41. That is, some or all the functions of the diagnostic support device 11 may be realized by hardware. Further, the diagnostic support device 11 may be realized by a single information processing device or may be realized by the cooperation of a plurality of information processing devices.
  • FIGS. 4A to 4E are diagrams showing an example in which an IVUS image is acquired by the diagnostic support device 11 according to the present embodiment.
  • the drive shaft 21 is pulled back to the proximal end side where the drive unit 13 exists in accordance with the retreat of the scanner unit 31 while rotating around the central axis of the probe 20.
  • the ultrasonic vibrator 25 provided at the tip of the drive shaft 21 also rotates around the central axis of the probe 20 in conjunction with the drive shaft 21 while transmitting and receiving ultrasonic signals inside a living tissue such as a blood vessel. While moving to the proximal end side of the probe 20.
  • FIG. 4A schematically shows a plane orthogonal to the central axis of the probe 20 passing through the position where the ultrasonic transducer 25 exists.
  • the ultrasonic transducer 25 radially transmits ultrasonic pulse waves while rotating at a constant velocity around the central axis of the probe 20 in the living tissue, and receives reflected waves of pulse waves from each direction. To generate a received signal.
  • 4A to 4E show an example in which 512 pulse waves are transmitted at equal intervals while the ultrasonic vibrator 25 rotates 360 degrees, and reception signals of reflected waves from each direction are generated.
  • each direction in which the ultrasonic pulse is transmitted is called a line (scanning line) around the entire circumference of the ultrasonic transducer 25, and data showing the intensity of the reflected wave of the ultrasonic wave in each line is called line data.
  • FIG. 4B shows an example of acquiring a luminance image by converting the luminance of the received signal of the reflected wave in each line.
  • the received signal of each line is converted into a detection waveform indicating its amplitude, and logarithmic conversion is performed. Then, the luminance conversion is performed in order to associate the signal intensity with the luminance in the image.
  • the control unit 41 of the diagnostic support device 11 allocates 256 levels of grayscale colors according to the intensity of the reflected signal, and constructs luminance data for one line.
  • the horizontal axis of each figure of FIG. 4B shows time, and the vertical axis of the received signal, the detection waveform, and the logarithmic conversion shows the signal strength.
  • the line data obtained by the process of FIG. 4B is data showing the intensity of the reflected signal according to the distance from the ultrasonic transducer 25 by the brightness of the image.
  • FIG. 4C is an example in which the line data of each line 1 to 512 that has undergone luminance conversion are stacked and displayed.
  • a cross-sectional image of a living tissue as shown in FIG. 4D is acquired.
  • One cross-sectional image is generated from 512 line data acquired while the ultrasonic transducer 25 rotates 360 degrees around the central axis of the probe 20.
  • Such a single cross-sectional image is called a frame image, and the data is called frame data.
  • the position of each pixel included in the frame image related to the IVUS image is specified by the distance r from the ultrasonic vibrator 25 and the rotation angle ⁇ from the reference angle of the ultrasonic vibrator 25.
  • the acquisition of the IVUS image is performed while the ultrasonic transducer 25 is pulled back to the proximal end side of the probe 20. Therefore, as shown in FIG. 4E, when the ultrasonic transducer 25 moves in the blood vessel, the imaging catheter (probe 20) is swept (pulled back) in the long axis direction of the blood vessel to acquire continuous frame data. become.
  • the ultrasonic transducer 25 acquires frame data one by one while moving, the long axis direction of the blood vessel in the plurality of continuously acquired frame data corresponds to the time direction.
  • the two orthogonal directions in the same frame image are referred to as spatial directions to distinguish them from the time direction.
  • the x-direction and the y-direction correspond to the spatial direction
  • the z-direction corresponds to the time direction.
  • FIGS. 4A to 4E an example in which the number of line data acquired for each rotation of the probe 20 is 512 has been described, but the number of line data is not limited to 512, for example, 256 or 1024. Etc. may be used.
  • the IVUS image is at least one frame image generated using line data showing the intensity of the reflected wave to the ultrasonic waves radially transmitted from the ultrasonic transducer 25 moving inside the living tissue. Is obtained as.
  • the diagnostic support device 11 according to the present embodiment selects a specific region from the at least one frame image based on the ratio of the average luminance in the region of interest included in the at least one frame image to the dispersion of the luminance in the region of interest. Extract.
  • the operation of the diagnosis support system 10 according to the present embodiment will be described with reference to FIGS. 5A and 5B.
  • the operation of the diagnostic support device 11 described with reference to FIGS. 5A and 5B corresponds to the information processing method according to the present embodiment, and the operation of each step is executed under the control of the control unit 41.
  • the probe 20 Prior to the start of the flow of FIGS. 5A and 5B, the probe 20 is fitted into the probe connecting portion 34 and the probe clamp portion 37 of the drive unit 13 and connected and fixed to the drive unit 13. Then, the probe 20 is inserted to the target site in the blood vessel. Then, the diagnostic support system 10 pulls back the ultrasonic transducer 25 while rotating it around the central axis of the probe 20, and starts taking an IVUS image.
  • step S11 of FIG. 5A the control unit 41 generates frame data of the IVUS image.
  • the diagnostic support device 11 generates and acquires frame data before polar coordinate conversion and performs processing in each step of FIGS. 5A and 5B will be described, but after polar coordinate conversion is performed. The same processing may be performed on the frame data.
  • the target frame image to be processed in steps S12 to S30 is referred to as a “target frame”.
  • control unit 41 performs the processes of steps S12 to S17 for each pixel included in the target frame, and determines whether or not this pixel is included in a specific region such as a blood flow region.
  • a pixel of interest the pixel to be processed is referred to as a "pixel of interest”.
  • step S12 the control unit 41 determines whether or not the brightness of the pixel of interest is greater than the predetermined threshold value T 1 . If it is large (YES in step S12), the process proceeds to step S16, and if it is not large (NO in step S12), the process proceeds to step S13.
  • the threshold value T 1 can be determined, for example, according to the type of catheter, the frequency mode, and the like.
  • step S13 the control unit 41 extracts the region of interest (ROI: RegionOfInterest) from the frame data centering on the pixel of interest.
  • ROI RegionOfInterest
  • the region of interest is 15 ⁇ 15 ⁇ 15 pixels with respect to two spatial directions and one time direction, but the shape and size of the region of interest are not limited to this, and the resolution of the image and the like are not limited to this. It can be set as appropriate according to the above. Further, the shape and size of the region of interest may be different depending on the type of spatiotemporal features (spatiotemporal features amount) calculated in step S14.
  • step S14 the control unit 41 calculates (calculates) two spatiotemporal features a and b based on the luminance values of the pixels included in the region of interest.
  • the correlation coefficient R between the frame images is used as such a spatiotemporal feature a
  • the ratio q of the luminance average of the neighboring pixels and the luminance variance of the neighboring pixels is used as the spatiotemporal feature b. I will explain the example.
  • FIG. 6A shows an example of calculating the correlation coefficient between frame images.
  • f represents the target frame acquired at time t
  • g - is the previous frame image acquired at time (t-1)
  • g + is one acquired at time (t + 1).
  • R (d x , dy ) of the correlation coefficient in the pixel of interest is calculated by the following equation.
  • (d x , dy ) are the coordinates of the pixel of interest in the target frame.
  • the correlation coefficient between the adjacent frame images (the target frame image f and the adjacent frame image g + or g- ) is calculated with the height h and the width w as the window size centering on the pixel of interest. is doing.
  • the window size is 15 ⁇ 15, which is similar to, but is not limited to, the size of the region of interest in the spatial direction.
  • the window size can be, for example, the distance between two speckle noise peaks. This distance can be calculated from the duration of the pulse waveform calculated as the full width at half maximum of the autocorrelation coefficient including noise.
  • FIG. 6B shows an example of calculating the ratio of the brightness average of the neighboring pixels to the brightness dispersion of the neighboring pixels.
  • the ratio q 0 (t) of the brightness average of the neighboring pixels and the brightness dispersion of the neighboring pixels in the pixel of interest is calculated by the following equation.
  • Equation 3 q 0 (t) is calculated by dividing the square root of the luminance variance of the region of interest (ROI) by the luminance average of the region of interest (ROI). It is known that the ratio of luminance average to luminance dispersion is low in the bloodstream region, high in the tissue and fibrous plaque regions, and intermediate between these in the stent and calcified regions.
  • the value of the spatiotemporal feature calculated in step S14 differs depending on the type of the region in which the pixel of interest exists. Specifically, in the blood flow region, either spatiotemporal feature a (correlation coefficient between frame images) or spatiotemporal feature b (ratio of luminance average of neighboring pixels to luminance dispersion of neighboring pixels). Is also known to be smaller. Therefore, in the present embodiment, the control unit 41 determines a region in which both the spatiotemporal features a and b are below a predetermined threshold value as a blood flow region. Specifically, as shown in FIG.
  • the control unit 41 generates a map of the spatiotemporal features a and b from the IVUS image before the polar coordinate conversion, and all the values of the spatiotemporal features a and b are set.
  • a small range is determined as a blood flow region pixel, and the other range is determined as a non-blood flow region pixel.
  • r i is the distance from the ultrasonic transducer 25
  • ⁇ j is the angle of rotation from the reference angle.
  • step S15 the control unit 41 has the spatiotemporal feature a (correlation coefficient between frame images) below the predetermined threshold value T2, and the spatiotemporal feature b (luminance average of neighboring pixels and neighboring pixels). It is determined whether or not the ratio of the luminance dispersion of the above) is below the predetermined threshold value T 3 . If the spatiotemporal feature a does not fall below the threshold T 2 or the spatiotemporal feature b does not fall below the threshold T 3 (NO in step S15), the process proceeds to step S16. If the spatiotemporal feature a is below the threshold value T 2 and the spatiotemporal feature b is below the threshold value T 3 (YES in step S15), the process proceeds to step S17.
  • the spatiotemporal feature a correlation coefficient between frame images
  • T3 luminance average of neighboring pixels and neighboring pixels
  • step S18 the control unit 41 determines whether or not the processes of steps S12 to S17 have been performed for all the pixels of the target frame. If not performed (NO in step S18), the process returns to step S12, and the processes of steps S12 to S17 are executed with the unprocessed pixels as the pixels of interest. If so (YES in step S18), the process proceeds to step S19 in FIG. 5B.
  • the process of excluding from (that is, M ( ri, ⁇ j ) 0) is performed.
  • step S19 the control unit 41 counts the number of pixels included in the blood flow region continuously connected to one in the tissue property map.
  • the control unit 41 determines whether or not the counted value N exceeds a predetermined threshold value T 4 . If it does not exceed (NO in step S20), the process proceeds to step S21, and if it exceeds (YES in step S20), the process proceeds to step S22.
  • step S21 the control unit 41 sets the value M ( ri, ⁇ j ) of the texture map for the pixel of interest to 0, and proceeds to step S23.
  • step S22 the control unit 41 sets the value M ( ri, ⁇ j ) of the texture map for the pixel of interest to 1, and proceeds to step S23.
  • step S23 the control unit 41 determines whether or not the processing of steps S19 to S22 has been performed on all the pixels of the target frame. If so (YES in step S23), the process proceeds to step S24. If not performed (NO in step S23), the process returns to step S19, and the unprocessed pixels are processed after step S19.
  • step S24 the control unit 41 scans each line in the R direction, and sets the R coordinate r l , which has the maximum luminance value among the non-blood flow region pixels, as the boundary of the blood flow region.
  • step S26 it is determined whether or not the control unit 41 and all the lines have been processed in steps S24 and S25. If it is done (YES in step S26), it proceeds to step S27, and if it is not done (NO in step S26), it returns to step S24 and performs the same processing on the unprocessed line.
  • Perform suppression processing FIG. 8 shows examples of images before and after suppressing the luminance value in the blood flow region.
  • step S28 the control unit 41 applies a minimum value filter to perform a process of suppressing the luminance value, and proceeds to step S29.
  • step S29 the control unit 41 determines whether or not the processes of steps S27 and S28 have been performed on all the pixels of the target frame. If it has been done (YES in S29), it proceeds to step S30, and if it has not been done (NO in S29), it returns to step S27.
  • step S30 the control unit 41 outputs the blood cell noise reduction image I out (t) processed in steps S12 to S29. Then, in step S31, the control unit 41 determines whether or not there is the next frame image. If there is (YES in step S31), the process returns to step S12, and if not (NO in step S31), the process ends.
  • a specific region such as a blood flow region is extracted from the IVUS image based on the ratio of the average luminance in the region of interest included in the IVUS image to the dispersion of the luminance in the region of interest. Therefore, it is possible to identify the observation object with higher accuracy from the result of observing the cross section of the living tissue by ultrasonic waves.
  • the biological tissue to be observed is a blood vessel
  • an organ such as the heart or other biological tissue
  • the region to be distinguished as a specific region is the blood flow region of the observation object
  • the present invention is not limited to this, and the stent, the guide wire, the blood vessel wall, the calcified lesion, the plaque, or the like is not limited to this. It may be a reflector of.
  • the control unit 41 acquires a plurality of frame images as IVUS images. Then, the control unit 41 has at least one of a feature amount in the time direction and a feature amount in the spatial direction of the plurality of frame images, in addition to the ratio of the average brightness in the region of interest and the variance of the brightness in the region of interest. A specific area is extracted based on the feature amount of. Specifically, the control unit 41 extracts a specific region based on the correlation of the luminance between the frame images in addition to the ratio with the variance of the luminance. Therefore, it is possible to extract a specific region with higher accuracy by using a plurality of feature quantities instead of only one feature quantity.
  • control unit 41 may use, for example, frequency features (power spectral ratio of low frequency component to high frequency component, etc.), texture features (LBP feature amount, etc.), and the like. Further, in addition to these, the control unit 41 may also use general image features such as image statistics (normal distribution, Rayleigh distribution), histogram skewness, kurtosis, and secondary moments. .. "LBP" is an abbreviation for Local Binary Pattern.
  • the control unit 41 has an average luminance in the first region of interest included in the plurality of frame images and a dispersion of the luminance in the first region of interest.
  • a first region is extracted from a plurality of frame images based on the ratio.
  • the control unit 41 extracts a second region from the plurality of frame images based on at least one feature amount in the second region of interest included in the plurality of frame images. Then, the control unit 41 determines that the region commonly included in the first region and the second region is a specific region such as a blood flow region. Therefore, it is possible to extract a specific region with higher accuracy by using a plurality of feature quantities.
  • a specific region such as a blood flow region or a candidate thereof is determined. Therefore, according to the present embodiment, a specific region can be efficiently extracted.
  • the contrast between the region included in the specific region and the region not included in the specific region is enhanced in at least one frame image. Specifically, in at least one frame image, the brightness of the region included in the specific region was suppressed. Therefore, according to the present embodiment, by displaying the image subjected to such processing on the display 16, the user can easily distinguish and visually recognize a specific area such as a blood flow area.
  • the method of distinguishing between the area included in the specific area and the area not included and displaying at least one frame image on the display unit is not limited to the contrast adjustment.
  • the control unit 41 may display at least one frame image on the display unit by making the display color different between the area included in the specific area and the area not included in the specific area.
  • the control unit 41 may display at least one frame image on the display unit by increasing the transparency of the area included in the specific area to be higher than the transparency of the area not included in the specific area.
  • one identification of the blood flow region is based on the ratio of the average luminance in the region of interest to the dispersion of luminance in the region of interest for the pixels of interest included in the IVUS image. Extract the area.
  • the specific area to be extracted is not limited to one type, and a plurality of types of specific areas may be extracted (see FIG. 9).
  • the control unit 41 determines that the ratio of the average luminance in the region of interest to the dispersion of the luminance in the region of interest for the pixel of interest included in the frame image is any of a plurality of predetermined numerical ranges. A plurality of types of specific areas may be extracted from the frame image based on whether they belong to a numerical range. In the example of FIG.
  • control unit 41 compares the ratio of the average luminance and the variance of the luminance in the region of interest with the magnitudes of the threshold values 3 and 4 for each pixel of interest, and D, E, and F. Which numerical range belongs to is determined. Then, the control unit 41 may extract specific regions of blood cells, stents / calcifications, and tissues / fiber plaques based on such determination results for each pixel of interest.
  • the control unit 41 uses not only the ratio of the average luminance in the region of interest for the pixel of interest to the dispersion of the luminance in the region of interest, but also such properties for a plurality of spatiotemporal features. A plurality of specific areas may be extracted.
  • the ratio of the average luminance in the first region of interest to the dispersion of the luminance in the first region of interest for the first pixel of interest included in the plurality of frame images is predetermined. It is determined which numerical range of a plurality of numerical ranges (first numerical range) belongs to. Further, the control unit 41 has a plurality of predetermined numerical ranges (second numerical ranges) in which at least one feature amount in the second region of interest for the second attention pixel included in the plurality of frame images is set. Which numerical range belongs to is determined. Then, the control unit 41 may extract a plurality of specific regions from a plurality of types of frame images based on these determination results.
  • the control unit 41 compares the ratio of the average luminance and the variance of the luminance in the region of interest with the magnitudes of the threshold values 3 and 4 for each pixel of interest, and D, E, and F. Which numerical range belongs to is determined. Further, the control unit 41 compares the magnitude of the correlation coefficient between the frames in the region of interest with the threshold values 1 and 2 for each pixel of interest, and determines which of A, B, and C the numerical range belongs to. Is determined. Then, the control unit 41 may extract specific regions of blood cells, stents / calcifications, and tissues / fiber plaques based on these determination results.
  • the correlation coefficient between the frame images, the frequency feature, the texture feature, etc. may be used, and in addition to these, the image statistics, the skewness of the histogram, the kurtosis, 2
  • a general feature amount of the image such as the next moment may be used together.
  • the present disclosure is not limited to the above-described embodiment.
  • the plurality of blocks described in the block diagram may be integrated, or one block may be divided.
  • they may be executed in parallel or in a different order according to the processing capacity of the device that executes each step, or as necessary.
  • Other changes are possible without departing from the spirit of this disclosure.
  • Diagnostic support system 11 Diagnostic support device 12 Cable 13 Drive unit 14 Keyboard 15 Pointing device 16 Display 17 Connection terminal 18 Cart unit 20 Probe 21 Drive shaft 22 Hub 23 Sheath 24 Outer tube 25 Ultrasonic transducer 26 Relay connector 31 Scanner unit 32 Slide unit 33 Bottom cover 34 Probe connection part 35 Scanner motor 36 Outlet 37 Probe clamp part 38 Slide motor 39 Switch group 41 Control part 42 Storage part 43 Communication part 44 Input part 45 Output part

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Hematology (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

情報処理装置は、生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得し、前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する制御部を備える。

Description

情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム
　本開示は、情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラムに関する。
　特許文献１～３には、血管内超音波（ＩＶＵＳ）画像の処理に関する技術が記載されている。「ＩＶＵＳ」は、Intravascular Ultrasoundの略称である。
特表２００２－５２１１６８号公報 特表２０１５－５０３３６３号公報 特表２０１６－５１１０４３号公報
　ＩＶＵＳ画像は、超音波の送受信を行うイメージングコアを先端部に回転自在に、かつ軸方向に移動自在に収容したカテーテルを血管内腔において通過させ、イメージングコアが受信した超音波信号の反射信号を解析することで取得される。しかし、血管内には、赤血球、白血球、リンパ球、及び血小板等の様々な血球が存在する。そのため、ＩＶＵＳ画像においては、主に血球からの反射信号が雑音となり、血液が流れる領域と、血管分枝、ガイドワイヤ、ステント等の観察対象物の領域とを詳細に区別して観察することが困難である。
　本開示の目的は、超音波により生体組織の断面が観察された結果から、観察対象物をより高精度に識別することである。
　本開示の一態様としての情報処理装置は、生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得し、前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する制御部を備える。
　一実施形態として、前記制御部は、前記少なくとも１つのフレーム画像として、複数のフレーム画像を取得し、前記関心領域における輝度の平均と当該関心領域における輝度の分散との比に加えて、前記複数のフレーム画像の時間方向の特徴量と他の空間方向の特徴量とのうち少なくともいずれかの特徴量にも基づき、前記特定領域を抽出する。
　一実施形態として、前記制御部は、前記複数のフレーム画像に含まれる第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比に基づき、前記複数のフレーム画像から第１の領域を抽出し、前記複数のフレーム画像に含まれる第２の関心領域における前記少なくともいずれかの特徴量に基づき、前記複数のフレーム画像から第２の領域を抽出し、前記第１の領域及び前記第２の領域に共通して含まれる領域を前記特定領域と判定する。
　一実施形態として、前記制御部は、前記複数のフレーム画像に含まれる第１の注目画素についての前記第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が予め定められた第１の値を下回る場合に、当該第１の注目画素は前記第１の領域に含まれると判定する。
　一実施形態として、前記制御部は、前記複数のフレーム画像に含まれる第２の注目画素についての前記第２の関心領域における異なるフレーム画像の間の輝度の相関を前記時間方向の特徴量として算出する。
　一実施形態として、前記制御部は、前記時間方向の特徴量が予め定められた第２の値を下回る場合に、前記第２の注目画素は前記第２の領域に含まれると判定する。
　一実施形態として、前記制御部は、前記特定領域を血流領域と判定する。
　一実施形態として、前記制御部は、前記少なくとも１つのフレーム画像において、前記特定領域に含まれる領域と前記特定領域に含まれない領域とのコントラストを増強する。
　一実施形態として、前記制御部は、前記少なくとも１つのフレーム画像において、前記特定領域に含まれる領域の輝度を抑制する。
　一実施形態として、前記制御部は、前記特定領域に含まれる領域と、前記特定領域に含まれない領域とを区別して、前記少なくとも１つのフレーム画像を表示部に表示させる。
　一実施形態として、前記制御部は、前記特定領域に含まれる領域と、前記特定領域に含まれない領域とで表示色を異ならせて、前記少なくとも１つのフレーム画像を前記表示部に表示させる。
　一実施形態として、前記制御部は、前記特定領域に含まれる領域の透明度を、前記特定領域に含まれない領域の透明度よりも高めて、前記少なくとも１つのフレーム画像を前記表示部に表示させる。
　一実施形態として、前記制御部は、前記少なくとも１つのフレーム画像に含まれる第１の注目画素についての第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が、予め定められた複数の数値範囲のいずれの数値範囲に属するかに基づき、前記少なくとも１つのフレーム画像から複数種類の前記特定領域を抽出する。
　一実施形態として、前記制御部は、前記複数のフレーム画像に含まれる第１の注目画素についての第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が、予め定められた複数の第１の数値範囲のいずれの数値範囲に属するか、及び、前記複数のフレーム画像に含まれる第２の注目画素についての第２の関心領域における前記少なくともいずれかの特徴量が、予め定められた複数の第２の数値範囲のいずれの数値範囲に属するかに基づき、前記複数のフレーム画像から複数種類の前記特定領域を抽出する。
　本開示の一態様としての情報処理システムは、前記情報処理装置と、前記超音波振動子を有するプローブとを備える。
　本開示の一態様としての情報処理方法は、情報処理装置の制御部が、生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得し、前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する。
　本開示の一態様としてのコンピュータプログラムは、生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得する処理と、前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する処理とをコンピュータに実行させる。
　本開示の一実施形態によれば、超音波により生体組織の断面が観察された結果から、観察対象物をより高精度に識別することができる。
本開示の一実施形態に係る診断支援システムの斜視図である。 本開示の一実施形態に係るプローブ及び駆動ユニットの斜視図である。 本開示の一実施形態に係る診断支援装置の構成を示すブロック図である。 本開示の一実施形態に係る診断支援装置によってＩＶＵＳ画像が取得される例を示す図である。 本開示の一実施形態に係る診断支援装置によってＩＶＵＳ画像が取得される例を示す図である。 本開示の一実施形態に係る診断支援装置によってＩＶＵＳ画像が取得される例を示す図である。 本開示の一実施形態に係る診断支援装置によってＩＶＵＳ画像が取得される例を示す図である。 本開示の一実施形態に係る診断支援装置によってＩＶＵＳ画像が取得される例を示す図である。 本開示の一実施形態に係る診断支援装置の動作を示すフローチャートである。 本開示の一実施形態に係る診断支援装置の動作を示すフローチャートである。 ＩＶＵＳ画像における時空間的特徴の例を示す図である。 ＩＶＵＳ画像における時空間的特徴の例を示す図である。 複数の時空間的特徴に基づきＩＶＵＳ画像から血流領域を抽出する例を示す図である。 ＩＶＵＳ画像に対して後処理を適用する例を示す図である。 複数の時空間的特徴に基づきＩＶＵＳ画像から複数の領域を抽出する例を示す図である。
　以下、本開示の一実施形態について、図面を参照して説明する。各図面中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　（システム構成）
　図１を参照して、本実施形態に係る情報処理システムとしての診断支援システム１０の構成を説明する。図１は本実施形態に係る診断支援システム１０の斜視図である。診断支援システム１０は、情報処理装置としての診断支援装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、ポインティングデバイス１５、及びディスプレイ１６を備える。
　診断支援装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣ、ＷＳ、タブレット端末などの汎用のコンピュータでもよい。「ＰＣ」は、Personal Computerの略称である。ＷＳはWork Stationの略称である。
　ケーブル１２は、診断支援装置１１と駆動ユニット１３とを接続して情報を送受信するために用いられる。
　駆動ユニット１３は、後述するプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、Motor Drive Unitの略称である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。駆動ユニット１３及びプローブ２０の詳細については、図２を参照して後述する。
　キーボード１４、ポインティングデバイス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で診断支援装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、Liquid Crystal Display（液晶ディスプレイ）の略称である。「ＥＬ」は、Electro Luminescenceの略称である。「ＨＭＤ」は、Head-Mounted Displayの略称である。
　診断支援システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。接続端子１７は、診断支援装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略称である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
　カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、診断支援装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、ポインティングデバイス１５、及びディスプレイ１６が設置される。
　図２を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。図２は本実施形態に係るプローブ２０及び駆動ユニット１３の斜視図である。プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。
　駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。
　ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的にプローブ２０の軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５はシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、図２において矢印で示すように、シース２３の内部を基端側へ移動する。
　駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。スキャナユニット３１は、ケーブル１２を介して診断支援装置１１と接続する。
　スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と診断支援装置１１との間で信号が送受信される。診断支援装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
　スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的且つ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。
　プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸の位置に設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。
　スライドモータ３８は、プローブ２０の軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１がプローブ２０の軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。
　スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押下されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押下されるスキャンスイッチが含まれる。ここに挙げた例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。
　フォワードスイッチが押下されると、スライドモータ３８は正回転し、スキャナユニット３１は前進する。これによりスキャナユニット３１のプローブ接続部３４に接続するハブ２２は先端側に向けて押し出され、駆動シャフト２１及び超音波振動子２５はシース２３の内部を先端側へ移動する。一方、プルバックスイッチが押下されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。これにより、プローブ接続部３４に接続するハブ２２は基端側に掃引され、駆動シャフト２１及び超音波振動子２５は、シース２３の内部を基端側へ移動する。
　スキャンスイッチが押下されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１がプローブ２０の中心軸を中心に回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押下されると停止し、画像描写が終了する。
　ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。
　図３を参照して、本実施形態に係る診断支援装置１１の構成を説明する。診断支援装置１１は、制御部４１、記憶部４２、通信部４３、入力部４４、及び出力部４５などの構成要素を備える。
　制御部４１は、１つ以上のプロセッサである。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、Central Processing Unit（中央演算ユニット）の略称である。「ＧＰＵ」は、Graphics Processing Unit（グラフィックス演算ユニット）の略称である。制御部４１には、１つ以上の専用回路が含まれてもよいし、又は制御部４１において、１つ以上のプロセッサを１つ以上の専用回路に置き換えてもよい。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。「ＦＰＧＡ」は、Field-Programmable Gate Arrayの略称である。「ＡＳＩＣ」は、Application Specific Integrated Circuitの略称である。制御部４１は、診断支援装置１１を含む診断支援システム１０の各部を制御しながら、診断支援装置１１の動作に関わる情報処理を実行する。
　記憶部４２は、１つ以上の半導体メモリ、１つ以上の磁気メモリ、１つ以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせである。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、Random Access Memory（書込み可能メモリ）の略称である。「ＲＯＭ」は、Read Only Memory（読出し専用メモリ）の略称である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、Static Random Access Memoryの略称である。「ＤＲＡＭ」は、Dynamic Random Access Memoryの略称である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、Electrically Erasable Programmable Read Only Memoryの略称である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、診断支援装置１１の動作に用いられる情報と、診断支援装置１１の動作によって得られた情報とが記憶される。
　通信部４３は、１つ以上の通信用インタフェースである。通信用インタフェースは、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、Local Area Networkの略称である。「Ａ／Ｄ」は、Analog to Digitalの略称である。通信部４３は、診断支援装置１１の動作に用いられる情報を受信し、また診断支援装置１１の動作によって得られる情報を送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。
　入力部４４は、１つ以上の入力用インタフェースである。入力用インタフェースは、例えば、ＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースである。「ＨＤＭＩ」は、High-Definition Multimedia Interfaceの略称である。入力部４４は、診断支援装置１１の動作に用いられる情報を入力する操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェースにキーボード１４及びポインティングデバイス１５が接続されるが、通信部４３に含まれる無線ＬＡＮインタフェースにキーボード１４及びポインティングデバイス１５が接続されてもよい。
　出力部４５は、１つ以上の出力用インタフェースである。出力用インタフェースは、例えば、ＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースである。出力部４５は、診断支援装置１１の動作によって得られる情報を出力する。本実施形態では、出力部４５に含まれるＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。
　診断支援装置１１の機能は、本実施形態に係る診断支援プログラム（コンピュータプログラム）を、制御部４１に含まれるプロセッサで実行することにより実現される。すなわち、診断支援装置１１の機能は、ソフトウェアにより実現される。診断支援プログラムは、診断支援装置１１の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、診断支援プログラムは、コンピュータを診断支援装置１１として機能させるためのプログラムである。
　プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ又はＣＤ－ＲＯＭなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「ＤＶＤ」は、Digital Versatile Discの略称である。「ＣＤ－ＲＯＭ」は、Compact Disc Read Only Memoryの略称である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、Application Service Providerの略称である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずる情報が含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずる情報」に該当する。
　診断支援装置１１の一部又は全ての機能が、制御部４１に含まれる専用回路により実現されてもよい。すなわち、診断支援装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。また、診断支援装置１１は単一の情報処理装置により実現されてもよいし、複数の情報処理装置の協働により実現されてもよい。
　（ＩＶＵＳ画像の取得）
　図４Ａ～図４Ｅを参照して、ＩＶＵＳ画像を取得する原理を説明する。図４Ａ～図４Ｅは本実施形態に係る診断支援装置１１によってＩＶＵＳ画像が取得される例を示す図である。
　前述のように、ＩＶＵＳ画像の撮像中、駆動シャフト２１は、プローブ２０の中心軸を中心に回転しながら、スキャナユニット３１の後退に合わせて駆動ユニット１３が存在する基端側へプルバックされる。駆動シャフト２１の先端に設けられた超音波振動子２５も、血管等の生体組織の内部において、超音波信号を送受信しながら、駆動シャフト２１と連動してプローブ２０の中心軸を中心に回転しつつ、プローブ２０の基端側へ移動する。
　図４Ａは、超音波振動子２５が存在する位置を通過する、プローブ２０の中心軸に直行する平面を模式的に示している。超音波振動子２５は、生体組織の中においてプローブ２０の中心軸を中心に等速度で回転しながら、放射状に超音波のパルス波を送信し、各方向からのパルス波の反射波を受信して、受信信号を生成する。図４Ａ～図４Ｅは、超音波振動子２５が３６０度回転する間に５１２個のパルス波を等間隔で送信し、各方向からの反射波の受信信号を生成する例を示している。このように超音波振動子２５の全周において、超音波のパルスを送信する各方向をライン（走査ライン）といい、各ラインにおける超音波の反射波の強度を示すデータをラインデータという。
　図４Ｂは、各ラインにおける反射波の受信信号を輝度変換して輝度画像を取得する例を示している。図４Ｂに示すように、各ラインの受信信号は、その振幅を示す検波波形に変換され、対数変換が行われる。そして、信号強度を画像中の輝度に対応付けるために、輝度変換が行われる。診断支援装置１１の制御部４１は、例えば、反射信号の強度に応じて、２５６段階のグレースケールカラーを割り当てて１ライン分の輝度データを構築する。図４Ｂの各図の横軸は時間を示し、受信信号、検波波形、及び対数変換の縦軸は信号強度を示している。超音波が伝わる速度は一定であるため、超音波を送信してから反射波を受信するまでの時間は、超音波振動子２５と超音波を反射した物との間の距離に比例する。したがって、図４Ｂの処理により得られるラインデータは、超音波振動子２５からの距離に応じた反射信号の強度を画像の輝度により示すデータである。
　図４Ｃは、輝度変換がなされた各ライン１～５１２のラインデータを積み重ねて表示した例である。この画像を極座標変換することにより、図４Ｄのような生体組織の断面画像が取得される。超音波振動子２５がプローブ２０の中心軸を中心に３６０度回転する間に取得される５１２個のラインデータにより、１枚の断面画像が生成される。このような１枚の断面画像をフレーム画像といい、そのデータをフレームデータという。ＩＶＵＳ画像に係るフレーム画像に含まれる各画素の位置は、超音波振動子２５からの距離ｒと、超音波振動子２５の基準角度からの回転角θと、により特定される。
　前述のように、ＩＶＵＳ画像の取得は、超音波振動子２５がプローブ２０の基端側へプルバックされながら行われる。したがって、図４Ｅに示すように、超音波振動子２５が血管内を移動するときは、血管長軸方向にイメージングカテーテル（プローブ２０）を掃引（プルバック）して、連続したフレームデータを取得することになる。ここで、超音波振動子２５は移動しながら１枚ずつフレームデータを取得するため、連続して取得された複数のフレームデータにおける血管の長軸方向は、時間方向に対応することになる。以下、時間方向と区別して、同一フレーム画像内における直交する２つの方向を空間方向と称する。図４Ｅにおいて、ｘ方向及びy方向は空間方向、ｚ方向は時間方向に相当する。図４Ａ～図４Ｅでは、プローブ２０が１回転する毎に取得するラインデータの個数が５１２個である例を説明したが、ラインデータの個数は５１２個に限られず、例えば、２５６個又は１０２４個等でもよい。
　（動作例）
　前述のように、ＩＶＵＳ画像は、生体組織の内部において移動する超音波振動子２５から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像として取得される。本実施形態に係る診断支援装置１１は、この少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、当該少なくとも１つのフレーム画像から特定領域を抽出する。本実施形態に係る診断支援システム１０の動作について、図５Ａ及び図５Ｂを参照して説明する。図５Ａ及び図５Ｂを参照して説明する診断支援装置１１の動作は本実施形態に係る情報処理方法に相当し、各ステップの動作は制御部４１の制御に基づき実行される。
　図５Ａ及び図５Ｂのフローの開始前に、ユーザによって、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管内の目的部位まで挿入される。そして、診断支援システム１０は、超音波振動子２５をプローブ２０の中心軸を中心に回転させながら、プルバックさせて、ＩＶＵＳ画像の撮影を開始する。
　図５ＡのステップＳ１１において、制御部４１は、ＩＶＵＳ画像のフレームデータを生成する。本実施形態では、診断支援装置１１が、極座標変換をする前のフレームデータを生成して取得し、図５Ａ及び図５Ｂの各ステップの処理を行う例を説明するが、極座標変換をした後のフレームデータについて同様の処理を行うようにしてもよい。以下、ステップＳ１２～ステップＳ３０の処理を行う対象のフレーム画像を「対象フレーム」と称する。
　次に、制御部４１は、対象フレームに含まれる各画素に対して、ステップＳ１２～ステップＳ１７の処理を行い、この画素が血流領域等の特定領域に含まれるかどうかを判定する。以下、処理対象の画素を「注目画素」と称する。
　ステップＳ１２では、制御部４１は、注目画素の輝度が予め定められた閾値Ｔ1より大きいか否かを判定する。大きい場合（ステップＳ１２でＹＥＳ）はステップＳ１６へ進み、大きくない場合（ステップＳ１２でＮＯ）はステップＳ１３へ進む。閾値Ｔ1は、例えば、カテーテルの種別又は周波数モード等に応じて定めることができる。
　ステップＳ１３では、制御部４１は、注目画素を中心に、フレームデータから関心領域（ＲＯＩ：Region Of Interest）を抽出する。ここでは、関心領域が、２つの空間方向と１つの時間方向に関して１５×１５×１５画素である場合の例を説明するが、関心領域の形状および大きさはこれに限られず、画像の解像度等に応じて適宜設定することができる。また、関心領域の形状および大きさは、ステップＳ１４で計算する時空間的特徴（時空間的特徴量）の種類によって異ならせてもよい。
　ステップＳ１４では、制御部４１は、関心領域に含まれる画素の輝度値に基づき、２つの時空間的特徴ａ、ｂを計算（算出）する。本実施形態では、このような時空間的特徴ａとして、フレーム画像間の相関係数Ｒを使用し、時空間的特徴ｂとして、近傍画素の輝度平均と近傍画素の輝度分散の比ｑを使用した例を説明する。
　図６Ａはフレーム画像間の相関係数を算出する例を示している。図６Ａにおいて、ｆは時刻ｔに取得された対象フレームを表し、ｇ-は時刻（ｔ－１）に取得された一つ前のフレーム画像、ｇ+は時刻（ｔ＋１）に取得された一つ後のフレーム画像を表している。注目画素における相関係数の値Ｒ（ｄx，ｄy）は次式により計算される。
Figure JPOXMLDOC01-appb-M000001
　ただし、
Figure JPOXMLDOC01-appb-M000002
 である。
　また、（ｄx，ｄy）は対象フレームにおける注目画素の座標である。図６Ａの例では、注目画素を中心に、高さｈ、幅ｗをウィンドウサイズとして、隣接するフレーム画像（対象フレーム画像ｆと、隣接フレーム画像ｇ+又はｇ-）間の相関係数を算出している。本実施形態においてウィンドウサイズは、関心領域の空間方向の大きさと同様に１５×１５であるが、これに限られない。ウィンドウサイズは、例えば、２つのスペックルノイズピーク間の距離とすることができる。この距離はノイズを含む自己相関係数の半値全幅として計算されるパルス波形の持続時間から計算することが可能である。
　一般に血流領域においては様々な血球が存在するため、超音波画像の一様性が低く、フレーム画像間の相関係数は小さくなることが知られている。一方、ステント、石灰化した部分などはその中が均一に形成されているため、超音波画像の一様性が高く、フレーム画像間の相関係数は大きくなることが知られている。組織及び繊維プラークの部分ではフレーム画像間の相関係数はこれらの中間であることが知られている。
　図６Ｂは近傍画素の輝度平均と近傍画素の輝度分散の比を算出する例を示している。注目画素における近傍画素の輝度平均と近傍画素の輝度分散の比ｑ0（ｔ）は次式により計算される。
Figure JPOXMLDOC01-appb-M000003
　ただし、
Figure JPOXMLDOC01-appb-M000004
 である。
　数３に示すように、ｑ0（ｔ）は関心領域（ＲＯＩ）の輝度分散の平方根を関心領域の輝度平均で除算することにより算出される。輝度平均と輝度分散の比は、血流領域では低く、組織及び繊維プラークの領域では高く、ステント、石灰化した部分ではこれらの中間であることが知られている。
　前述のように、ステップＳ１４で計算した時空間的特徴の値は注目画素が存在する領域の種類によって異なることが知られている。具体的には、血流領域においては、時空間的特徴ａ（フレーム画像間の相関係数）と、時空間的特徴ｂ（近傍画素の輝度平均と近傍画素の輝度分散の比）とのいずれも小さくなることが知られている。そこで、本実施形態では、制御部４１は、時空間的特徴ａ，ｂの両方が予め定められた閾値を下回る領域を血流領域と判定する。具体的には、図７に示すように、制御部４１は、極座標変換前のＩＶＵＳ画像から時空間的特徴ａ，ｂのマップを生成し、時空間的特徴ａ，ｂの値のいずれもが小さい範囲を血流領域画素と判定し、それ以外の範囲を非血流領域画素として判定する。そして、制御部４１は、図７の血流領域（画素値＝１）とそれ以外の領域（画素値＝０）とからなる組織性状マップＭ（ｒi，θj）を生成する。ここで、ｒiは超音波振動子２５からの距離、θjは基準角度からの回転角である。
　ステップＳ１５では、制御部４１は、時空間的特徴ａ（フレーム画像間の相関係数）が予め定められた閾値Ｔ2を下回り、かつ、時空間的特徴ｂ（近傍画素の輝度平均と近傍画素の輝度分散の比）が予め定められた閾値Ｔ3を下回るか判定する。時空間的特徴ａが閾値Ｔ2を下回らないか、または、時空間的特徴ｂが閾値Ｔ3を下回らない場合（ステップＳ１５でＮＯ）はステップＳ１６へ進む。時空間的特徴ａが閾値Ｔ2を下回り、かつ、時空間的特徴ｂが閾値Ｔ3を下回る場合（ステップＳ１５でＹＥＳ）はステップＳ１７へ進む。
　ステップＳ１６では、制御部４１は、注目画素は血流領域ではないと判定し、Ｍ（ｒi，θj）＝０として、ステップＳ１８へ進む。ステップＳ１７では、制御部４１は、注目画素は血流領域であると判定し、Ｍ（ｒi，θj）＝１として、ステップＳ１８へ進む。
　ステップＳ１８では、制御部４１は、対象フレームの全ての画素についてステップＳ１２～ステップＳ１７の処理を行ったか否かを判定する。行っていない場合（ステップＳ１８でＮＯ）はステップＳ１２へ戻り、未処理の画素を注目画素としてステップＳ１２～ステップＳ１７の処理を実行する。行った場合（ステップＳ１８でＹＥＳ）は図５ＢのステップＳ１９へ進む。
　ステップＳ１９～ステップＳ２３では、制御部４１は、組織性状マップにおいて、血流領域と判定されている（Ｍ（ｒi，θj）＝１）が、その大きさが極めて小さい領域を血流領域から除外する（すなわち、Ｍ（ｒi，θj）＝０とする）処理を行う。
　ステップＳ１９では、制御部４１は、組織性状マップにおいて連続して一つにつながっている血流領域に含まれる画素数をカウントする。ステップＳ２０では、制御部４１は、カウントした値Ｎが予め定められた閾値Ｔ4を上回るか否かを判定する。上回らない場合（ステップＳ２０でＮＯ）はステップＳ２１へ進み、上回る場合（ステップＳ２０でＹＥＳ）はステップＳ２２へ進む。
　ステップＳ２１では、制御部４１は、注目画素についての組織性状マップの値Ｍ（ｒi，θj）を０とし、ステップＳ２３へ進む。ステップＳ２２では、制御部４１は、注目画素についての組織性状マップの値Ｍ（ｒi，θj）を１とし、ステップＳ２３へ進む。
　ステップＳ２３では、制御部４１は、ステップＳ１９～ステップＳ２２の処理を対象フレームの全ての画素に対して行ったか否かを判定する。行った場合（ステップＳ２３でＹＥＳ）はステップＳ２４へ進む。行っていない場合（ステップＳ２３でＮＯ）はステップＳ１９へ戻って、未処理の画素に対しステップＳ１９以後の処理を行う。
　ステップＳ２４では、制御部４１は、各ラインをＲ方向へ走査し、非血流領域画素のうち輝度値最大のＲ座標ｒlを血流領域の境界とする。次に、ステップＳ２５において、制御部４１は、血流領域の境界の外側は全て非血流領域とする。すなわち、ｒi≧ｒlとなる場合は、制御部４１は、組織性状マップＭ（ｒi，θj）＝０とする処理を行う。
　そしてステップＳ２６において、制御部４１、すべてのラインについてステップＳ２４及びステップＳ２５の処理を行ったか否かを判定する。行った場合（ステップＳ２６でＹＥＳ）はステップＳ２７へ進み、行っていない場合（ステップＳ２６でＮＯ）はステップＳ２４へ戻り、未処理のラインに対して同様の処理を行う。
　ステップＳ２７～ステップＳ２９では、制御部４１は、組織性状マップにおいて血流領域と判定されている（Ｍ（ｒi，θj）＝１）各画素について、最小値フィルタを適用して輝度値を抑制する処理を行う。図８は血流領域において輝度値を抑制する前と後の画像の例を示している。輝度値抑制のような後処理を行うことで、ユーザが血流領域とそれ以外を容易に目視で区別することが可能である。
　ステップＳ２７では、制御部４１は、ステップＳ２６までの処理により、組織性状マップにおいて血流領域（Ｍ（ｒi，θj）＝１）として設定されているか否かを判定する。血流領域として設定されている場合（ステップＳ２７でＹＥＳ）はステップＳ２８へ進み、血流領域として設定されていない場合（ステップＳ２７でＮＯ）はステップＳ２９へ進む。ステップＳ２８では、制御部４１は、最小値フィルタを適用して輝度値を抑制する処理を行い、ステップＳ２９へ進む。
　ステップＳ２９では、制御部４１は、対象フレームの全ての画素に対してステップＳ２７、ステップＳ２８の処理を行ったか否かを判定する。行った場合（Ｓ２９でＹＥＳ）はステップＳ３０へ進み、行っていない場合（Ｓ２９でＮＯ）はステップＳ２７へ戻る。
　ステップＳ３０では、制御部４１は、ステップＳ１２～ステップＳ２９の処理を行った血球ノイズ低減画像Ｉout(t)を出力する。そして、ステップＳ３１において、制御部４１は、次のフレーム画像があるか否かを判定する。ある場合（ステップＳ３１でＹＥＳ）はステップＳ１２へ戻り、ない場合（ステップＳ３１でＮＯ）は処理を終了する。
　以上のように、本実施形態では、ＩＶＵＳ画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、ＩＶＵＳ画像から血流領域等の特定領域を抽出する。したがって、超音波により生体組織の断面が観察された結果から、観察対象物をより高精度に識別することが可能となる。
　本実施形態では、観察対象の生体組織が血管である例を説明したが、心臓などの臓器、又はその他の生体組織でもよい。また、本実施形態では、特定領域として区別する領域が観察対象物の血流領域である例を説明したが、これに限らず、ステント、ガイドワイヤ、血管壁、石灰化病変、プラーク、又はその他の反射物でもよい。
　また、本実施形態では、制御部４１は、ＩＶＵＳ画像として複数のフレーム画像を取得する。そして、制御部４１は、関心領域における輝度の平均と当該関心領域における輝度の分散との比に加えて、複数のフレーム画像の時間方向の特徴量と空間方向の特徴量とのうち少なくともいずれかの特徴量にも基づき、特定領域を抽出する。具体的には、制御部４１は、輝度の分散との比に加えて、フレーム画像の間の輝度の相関に基づいて特定領域を抽出する。したがって、ただ一つの特徴量だけでなく、複数の特徴量を使用することで、より高精度に特定領域を抽出することが可能である。
　本実施形態では、特定領域を抽出するために用いる時空間的特徴として、関心領域における輝度の平均と当該関心領域における輝度の分散との比、及び、フレーム画像間の相関係数を用いる例を説明したが、これに限られない。制御部４１は、例えば、周波数特徴（低周波成分と高周波成分のパワースペクトル比など）、テクスチャ特徴（ＬＢＰ特徴量など）等を使用してもよい。さらに、これらに加えて、制御部４１は、画像の統計量（正規分布、レイリー分布）、ヒストグラムの歪度、尖度、２次モーメント等の画像の一般的な特徴量を併用してもよい。「ＬＢＰ」とは、Local Binary Patternの略称である。
　図７を参照して説明したように、本実施形態では、制御部４１は、複数のフレーム画像に含まれる第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比に基づき、複数のフレーム画像から第１の領域を抽出する。さらに、制御部４１は、複数のフレーム画像に含まれる第２の関心領域における少なくともいずれかの特徴量に基づき、複数のフレーム画像から第２の領域を抽出する。そして、制御部４１は、第１の領域及び第２の領域に共通して含まれる領域を血流領域等の特定領域と判定する。したがって、複数の特徴量を使用してより高精度に特定領域を抽出することが可能である。
　本実施形態では、関心領域における輝度の分散との比、フレーム画像の間の輝度の相関等の時空間的特徴が予め定められた閾値（第１の値、第２の値）未満であるか否かにより、注目画素が血流領域等の特定領域又はその候補に含まれるか否かを判定する。したがって、本実施形態によれば、効率的に特定領域を抽出することができる。
　本実施形態では、ステップＳ２７～ステップＳ２９において、少なくとも１つのフレーム画像において、特定領域に含まれる領域と特定領域に含まれない領域とのコントラストを増強する。具体的には、少なくとも１つのフレーム画像において、特定領域に含まれる領域の輝度を抑制した。したがって、本実施形態によれば、このような処理を施した画像をディスプレイ１６に表示させることにより、ユーザが血流領域等の特定領域を容易に区別して視認することが可能となる。
　特定領域に含まれる領域と含まれない領域とを区別して、少なくとも１つのフレーム画像を表示部に表示させる手法は、コントラスト調整に限られない。例えば、制御部４１は、特定領域に含まれる領域と、特定領域に含まれない領域とで表示色を異ならせて、少なくとも１つのフレーム画像を表示部に表示させてもよい。あるいは、制御部４１は、特定領域に含まれる領域の透明度を、特定領域に含まれない領域の透明度よりも高めて、少なくとも１つのフレーム画像を表示部に表示させてもよい。このように特定領域に含まれる領域と含まれない領域とを区別して表示することで、ユーザは、特定領域とそれ以外の領域を視認により容易に区別することができる。
　（変形例）
　図５Ａ及び図５Ｂを参照して説明した構成では、ＩＶＵＳ画像に含まれる注目画素についての関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、血流領域という１つの特定領域を抽出する。しかし、抽出する特定領域は１種類に限られず、複数種類の特定領域を抽出してもよい（図９参照）。
　前述のように、一般に血流領域ではフレーム画像間の相関係数は小さく、ステント、石灰化した部分ではフレーム画像間の相関係数は大きく、組織及び繊維プラークではフレーム画像間の相関係数はこれらの中間であることが知られている。そこで、制御部４１は、フレーム画像に含まれる注目画素についての関心領域における輝度の平均と当該関心領域における輝度の分散との比が、予め定められた予め定められた複数の数値範囲のいずれの数値範囲に属するかに基づき、フレーム画像から複数種類の特定領域を抽出するようにしてもよい。図９の例では、制御部４１は、各注目画素について、関心領域における輝度の平均と輝度の分散との比と、閾値３及び閾値４との大小を比較して、Ｄ、Ｅ、及びＦのいずれの数値範囲に属するかを判定する。そして、制御部４１は、各注目画素についてのそのような判定結果に基づき、血球、ステント・石灰化、及び組織・繊維プラークの特定領域を抽出してもよい。
　また、前述のように、輝度平均と輝度分散の比は、血流領域では低く、組織及び繊維プラークの領域では高く、ステント、石灰化した部分ではこれらの中間であることが知られている。したがって、制御部４１は、前述の注目画素についての関心領域における輝度の平均と当該関心領域における輝度の分散との比だけでなく、複数の時空間的特徴についてのこのような性質を併用して複数の特定領域を抽出してもよい。
　すなわち、制御部４１は、複数のフレーム画像に含まれる第１の注目画素についての第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が、予め定められた複数の数値範囲（第１の数値範囲）のいずれの数値範囲に属するかを判定する。さらに、制御部４１は、複数のフレーム画像に含まれる第２の注目画素についての第２の関心領域における少なくともいずれかの特徴量が、予め定められた複数の数値範囲（第２の数値範囲）のいずれの数値範囲に属するかを判定する。そして、制御部４１は、これらの判定結果に基づき複数種類のフレーム画像から複数の特定領域を抽出してもよい。これにより、複数の時空間的特徴に基づき複数の特定領域を高精度に抽出することができる。図９の例では、制御部４１は、各注目画素について、関心領域における輝度の平均と輝度の分散との比と、閾値３及び閾値４との大小を比較して、Ｄ、Ｅ、及びＦのいずれの数値範囲に属するかを判定する。さらに、制御部４１は、各注目画素について、関心領域におけるフレーム間の相関係数と、閾値１及び閾値２との大小を比較して、Ａ、Ｂ、及びＣのいずれの数値範囲に属するかを判定する。そして、制御部４１は、これらの判定結果に基づき、血球、ステント・石灰化、及び組織・繊維プラークの特定領域を抽出してもよい。
　時空間的特徴量としては、フレーム画像間の相関係数、周波数特徴、テクスチャ特徴等を使用してもよく、さらに、これらに加えて、画像の統計量、ヒストグラムの歪度、尖度、２次モーメント等の画像の一般的な特徴量を併用してもよい。
　本開示は上述の実施形態に限定されない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
　１０　診断支援システム
　１１　診断支援装置
　１２　ケーブル
　１３　駆動ユニット
　１４　キーボード
　１５　ポインティングデバイス
　１６　ディスプレイ
　１７　接続端子
　１８　カートユニット
　２０　プローブ
　２１　駆動シャフト
　２２　ハブ
　２３　シース
　２４　外管
　２５　超音波振動子
　２６　中継コネクタ
　３１　スキャナユニット
　３２　スライドユニット
　３３　ボトムカバー
　３４　プローブ接続部
　３５　スキャナモータ
　３６　差込口
　３７　プローブクランプ部
　３８　スライドモータ
　３９　スイッチ群
　４１　制御部
　４２　記憶部
　４３　通信部
　４４　入力部
　４５　出力部
 

Claims (17)

  1. 　生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得し、
    　前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する
    　制御部を備える情報処理装置。
  2. 　前記制御部は、
    　前記少なくとも１つのフレーム画像として、複数のフレーム画像を取得し、
    　前記関心領域における輝度の平均と当該関心領域における輝度の分散との比に加えて、前記複数のフレーム画像の時間方向の特徴量と他の空間方向の特徴量とのうち少なくともいずれかの特徴量にも基づき、前記特定領域を抽出する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記複数のフレーム画像に含まれる第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比に基づき、前記複数のフレーム画像から第１の領域を抽出し、
    　前記複数のフレーム画像に含まれる第２の関心領域における前記少なくともいずれかの特徴量に基づき、前記複数のフレーム画像から第２の領域を抽出し、
    　前記第１の領域及び前記第２の領域に共通して含まれる領域を前記特定領域と判定する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記複数のフレーム画像に含まれる第１の注目画素についての前記第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が予め定められた第１の値を下回る場合に、当該第１の注目画素は前記第１の領域に含まれると判定する請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記複数のフレーム画像に含まれる第２の注目画素についての前記第２の関心領域における異なるフレーム画像の間の輝度の相関を前記時間方向の特徴量として算出する請求項３又は４に記載の情報処理装置。
  6. 　前記制御部は、前記時間方向の特徴量が予め定められた第２の値を下回る場合に、前記第２の注目画素は前記第２の領域に含まれると判定する請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記特定領域を血流領域と判定する請求項１から６のいずれか１項に記載の情報処理装置。
  8. 　前記制御部は、前記少なくとも１つのフレーム画像において、前記特定領域に含まれる領域と前記特定領域に含まれない領域とのコントラストを増強する請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　前記制御部は、前記少なくとも１つのフレーム画像において、前記特定領域に含まれる領域の輝度を抑制する請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記特定領域に含まれる領域と、前記特定領域に含まれない領域とを区別して、前記少なくとも１つのフレーム画像を表示部に表示させる請求項１から９のいずれか１項に記載の情報処理装置。
  11. 　前記制御部は、前記特定領域に含まれる領域と、前記特定領域に含まれない領域とで表示色を異ならせて、前記少なくとも１つのフレーム画像を前記表示部に表示させる請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記特定領域に含まれる領域の透明度を、前記特定領域に含まれない領域の透明度よりも高めて、前記少なくとも１つのフレーム画像を前記表示部に表示させる請求項１０又は１１に記載の情報処理装置。
  13. 　前記制御部は、前記少なくとも１つのフレーム画像に含まれる第１の注目画素についての第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が、予め定められた複数の数値範囲のいずれの数値範囲に属するかに基づき、前記少なくとも１つのフレーム画像から複数種類の前記特定領域を抽出する請求項１に記載の情報処理装置。
  14. 　前記制御部は、前記複数のフレーム画像に含まれる第１の注目画素についての第１の関心領域における輝度の平均と当該第１の関心領域における輝度の分散との比が、予め定められた複数の第１の数値範囲のいずれの数値範囲に属するか、及び、前記複数のフレーム画像に含まれる第２の注目画素についての第２の関心領域における前記少なくともいずれかの特徴量が、予め定められた複数の第２の数値範囲のいずれの数値範囲に属するかに基づき、前記複数のフレーム画像から複数種類の前記特定領域を抽出する請求項２に記載の情報処理装置。
  15. 　請求項１から１４のいずれか１項に記載の情報処理装置と、
    　前記超音波振動子を有するプローブと
    　を備える情報処理システム。
  16. 　情報処理装置の制御部が、
    　生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得し、
    　前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する
    　情報処理方法。
  17. 　生体組織の内部において移動する超音波振動子から放射状に送信された超音波に対する反射波の強度を示すラインデータを用いて生成された、少なくとも１つのフレーム画像を取得する処理と、
    　前記少なくとも１つのフレーム画像に含まれる関心領域における輝度の平均と当該関心領域における輝度の分散との比に基づき、前記少なくとも１つのフレーム画像から特定領域を抽出する処理と
    　をコンピュータに実行させるコンピュータプログラム。
PCT/JP2021/032887 2020-09-14 2021-09-07 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム WO2022054805A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022547609A JPWO2022054805A1 (ja) 2020-09-14 2021-09-07
US18/180,951 US20230222760A1 (en) 2020-09-14 2023-03-09 Information processing device, information processing system, information processing method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020154131 2020-09-14
JP2020-154131 2020-09-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/180,951 Continuation US20230222760A1 (en) 2020-09-14 2023-03-09 Information processing device, information processing system, information processing method, and computer program

Publications (1)

Publication Number Publication Date
WO2022054805A1 true WO2022054805A1 (ja) 2022-03-17

Family

ID=80631860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032887 WO2022054805A1 (ja) 2020-09-14 2021-09-07 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20230222760A1 (ja)
JP (1) JPWO2022054805A1 (ja)
WO (1) WO2022054805A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189262A1 (ja) * 2022-03-31 2023-10-05 テルモ株式会社 プログラム、情報処理方法および情報処理装置
WO2024071251A1 (ja) * 2022-09-29 2024-04-04 テルモ株式会社 コンピュータプログラム、情報処理方法、情報処理装置、及び学習モデル

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009195283A (ja) * 2008-02-19 2009-09-03 Aloka Co Ltd 超音波画像処理装置
WO2011013346A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 超音波診断装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009195283A (ja) * 2008-02-19 2009-09-03 Aloka Co Ltd 超音波画像処理装置
WO2011013346A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 超音波診断装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189262A1 (ja) * 2022-03-31 2023-10-05 テルモ株式会社 プログラム、情報処理方法および情報処理装置
WO2024071251A1 (ja) * 2022-09-29 2024-04-04 テルモ株式会社 コンピュータプログラム、情報処理方法、情報処理装置、及び学習モデル

Also Published As

Publication number Publication date
US20230222760A1 (en) 2023-07-13
JPWO2022054805A1 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
US20230222760A1 (en) Information processing device, information processing system, information processing method, and computer program
JP6353038B2 (ja) 血管内撮像の信号処理
CN101919707B (zh) 超声波诊断装置、医用图像处理装置以及图像处理方法
CN103169500B (zh) 超声波诊断装置、医用图像诊断装置以及医用图像处理方法
WO2014081006A1 (ja) 超音波診断装置、画像処理装置および画像処理方法
WO2021048834A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
US10123780B2 (en) Medical image diagnosis apparatus, image processing apparatus, and image processing method
US20150087986A1 (en) Systems and methods for producing intravascular images
US10182793B2 (en) Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
KR20160056614A (ko) 영상 처리 장치, 영상 처리 장치 제어 방법 및 초음파 영상 장치
US20150173721A1 (en) Ultrasound diagnostic apparatus, medical image processing apparatus and image processing method
US20150086098A1 (en) Systems and methods for producing intravascular images
JP4119497B2 (ja) 超音波画像診断装置
JP2009261493A (ja) 超音波診断方法および装置
US9107631B2 (en) Ultrasonic imaging apparatus and a method for generating an ultrasonic image
JP2001128982A (ja) 超音波画像診断装置および画像処理装置
WO2021065750A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
Hyun et al. A GPU-based real-time spatial coherence imaging system
JP7225345B1 (ja) 超音波診断装置および表示方法
JP7480009B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム
JP2022032595A (ja) 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム
WO2024071054A1 (ja) 画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム
CN113645907B (zh) 诊断支援装置、诊断支援系统以及诊断支援方法
WO2023013601A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2022071250A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866764

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547609

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866764

Country of ref document: EP

Kind code of ref document: A1