WO2022107441A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2022107441A1
WO2022107441A1 PCT/JP2021/034785 JP2021034785W WO2022107441A1 WO 2022107441 A1 WO2022107441 A1 WO 2022107441A1 JP 2021034785 W JP2021034785 W JP 2021034785W WO 2022107441 A1 WO2022107441 A1 WO 2022107441A1
Authority
WO
WIPO (PCT)
Prior art keywords
blood vessel
unit
arteriovenous
determination
ultrasonic
Prior art date
Application number
PCT/JP2021/034785
Other languages
English (en)
French (fr)
Inventor
剛 松本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022563599A priority Critical patent/JPWO2022107441A1/ja
Priority to CN202180075812.0A priority patent/CN116528773A/zh
Priority to EP21894316.5A priority patent/EP4248879A4/en
Publication of WO2022107441A1 publication Critical patent/WO2022107441A1/ja
Priority to US18/312,023 priority patent/US20230274430A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Definitions

  • the techniques disclosed in this disclosure relate to information processing devices, information processing methods, and programs.
  • an ultrasonic diagnostic apparatus has been known as a device for obtaining an image of the inside of a subject.
  • An ultrasonic diagnostic apparatus generally has an ultrasonic probe provided with an oscillator array in which a plurality of ultrasonic oscillators are arranged.
  • This ultrasonic probe transmits an ultrasonic beam from the vibrator array toward the inside of the subject in a state of being in contact with the body surface of the subject, and receives an ultrasonic echo from the subject by the vibrator array.
  • the electric signal corresponding to the ultrasonic echo is acquired.
  • the ultrasonic diagnostic apparatus processes the acquired electric signal to generate an ultrasonic image of the site of the subject.
  • an arteriovenous determination At the time of puncture, the surgeon needs to accurately determine whether the blood vessel is an artery or a vein based on an ultrasonic image. Hereinafter, this determination is referred to as an arteriovenous determination.
  • the technique of the present disclosure is intended to provide an information processing device, an information processing method, and a program capable of improving the accuracy of blood vessel arteriovenous determination.
  • the information processing apparatus of the present disclosure performs information on an ultrasonic image generated by transmitting an ultrasonic beam from an oscillator array toward the living body and receiving an ultrasonic echo generated in the living body.
  • a processing device a blood vessel detection unit that detects a blood vessel region including a blood vessel from an ultrasonic image, a structure detection unit that detects a structure other than a blood vessel from the ultrasonic image, and a blood vessel region and a structure.
  • An arteriovenous determination unit for determining whether a blood vessel included in a blood vessel region is an artery or a blood vessel based on a relative positional relationship is provided.
  • the ultrasonic image displayed on the display device further includes a highlighting unit that clearly displays the blood vessel region as to whether the blood vessel included in the blood vessel region is an artery or a vein.
  • the blood vessel detection unit preferably determines whether the blood vessel contained in the blood vessel region is an artery or a vein.
  • the correction unit compares the certainty of the arteriovenous judgment by the blood vessel detection unit with the certainty of the arteriovenous judgment by the arteriovenous determination unit, and selects the judgment result having the higher certainty.
  • the highlighting unit displays the degree of certainty for the determination result selected by the correction unit on the display device.
  • the highlighting unit displays a message calling attention on the display device when the certainty of the determination result selected by the correction unit is lower than a certain value.
  • the information processing method of the present disclosure is information that processes an ultrasonic image generated by transmitting an ultrasonic beam from an oscillator array toward an in-vivo body and receiving an ultrasonic echo generated in the living body. It is a processing method that detects a blood vessel region including a blood vessel in an ultrasonic image, detects a structure other than a blood vessel in the ultrasonic image, and based on the relative positional relationship between the blood vessel region and the structure, the blood vessel region. It is determined whether the blood vessel contained in is an artery or a vein.
  • the program of the present disclosure causes a computer to perform processing on an ultrasonic image generated by transmitting an ultrasonic beam from an oscillator array toward an in-vivo body and receiving an ultrasonic echo generated in the living body. It is a program that detects a blood vessel region including a blood vessel from the ultrasound image, detects a structure other than the blood vessel from the ultrasound image, and creates a blood vessel region based on the relative positional relationship between the blood vessel region and the structure. Have the computer perform an determination as to whether the blood vessel involved is an artery or a vein.
  • an information processing device an information processing method, and a program capable of improving the accuracy of blood vessel arteriovenous determination.
  • FIG. 1 shows an example of the configuration of the ultrasonic diagnostic apparatus 2 according to the technique of the present disclosure.
  • the ultrasonic diagnostic apparatus 2 according to the present embodiment includes an ultrasonic probe 10 and an apparatus main body 20.
  • the ultrasonic probe 10 is held by the operator and comes into contact with the surface of the living body to be measured.
  • the ultrasonic probe 10 transmits and receives an ultrasonic beam UB to and from the inside of a living body.
  • the device main body 20 is, for example, a smartphone, a tablet terminal, or the like.
  • the device main body 20 images the signal output from the ultrasonic probe 10 by installing a program such as application software.
  • the ultrasonic probe 10 and the device main body 20 perform wireless communication (that is, wireless communication) with each other by, for example, WiFi or Bluetooth (registered trademark).
  • the device main body 20 is not limited to a mobile terminal such as a smartphone or a tablet terminal, and may be a PC (Personal Computer) or the like.
  • the device main body 20 is an example of an "information processing device" according to the technique of the present disclosure.
  • the ultrasonic probe 10 has a housing 11.
  • the housing 11 is composed of an array accommodating portion 11A and a grip portion 11B.
  • the array accommodating portion 11A accommodates the oscillator array 13 (see FIG. 3).
  • the grip portion 11B is connected to the array accommodating portion 11A and is gripped by the operator.
  • the direction from the grip portion 11B toward the array accommodating portion 11A is the + Y direction
  • the width direction of the ultrasonic probe 10 orthogonal to the Y direction is the X direction
  • the directions orthogonal to the X direction and the Y direction That is, the thickness direction of the ultrasonic probe 10) is the Z direction.
  • An acoustic lens is arranged at the + Y direction end of the array accommodating portion 11A.
  • a so-called acoustic matching layer (not shown) is arranged on the vibrator array 13, and an acoustic lens is arranged on the acoustic matching layer.
  • the plurality of oscillators included in the oscillator array 13 are arranged linearly along the X direction. That is, the ultrasonic probe 10 of the present embodiment is a linear type, and transmits an ultrasonic beam UB linearly.
  • the ultrasonic probe 10 may be a convex type in which the oscillator array 13 is arranged in a convex curved surface. In this case, the ultrasonic probe 10 transmits the ultrasonic beam UB radially. Further, the ultrasonic probe 10 may be a sector type.
  • a linear guide marker M extending along the Y direction is attached to the outer peripheral portion of the array accommodating portion 11A.
  • the guide marker M is used as a guide when the operator brings the ultrasonic probe 10 into contact with the living body.
  • the device main body 20 has a display device 21 for displaying an ultrasonic image based on a signal transmitted from the ultrasonic probe 10.
  • the display device 21 is, for example, a display device such as an organic EL (Organic Electro-Luminescence) display or a liquid crystal display.
  • the display device 21 has a built-in touch panel. The operator can perform various operations on the device main body 20 by using the touch panel.
  • FIG. 2 is a diagram illustrating an example of an echo-guided puncture method.
  • the ultrasonic probe 10 is used when the operator punctures the blood vessel B in the living body 30 with the puncture needle 31 while checking the ultrasonic image displayed on the device main body 20.
  • the living body 30 is, for example, a human arm.
  • the ultrasonic probe 10 is applied to the surface of the living body 30 so that the width direction (that is, the X direction) of the ultrasonic probe 10 crosses the traveling direction of the blood vessel B. This procedure is called the short axis method (or crossing method).
  • the ultrasonic image shows the cross section of the blood vessel B.
  • the surgeon punctures, for example, a vein among one or more blood vessels B displayed on the ultrasound image.
  • an anatomical structure exists in the living body 30.
  • a structure is a living tissue such as a tendon, a bone, a nerve, or a muscle.
  • the types and characteristics of the structures contained in the living body 30 differ depending on the parts of the living body 30 (arms, legs, abdomen, etc.).
  • the apparatus main body 20 After detecting the blood vessel from the ultrasonic image, the apparatus main body 20 determines the arteriovenous of the blood vessel, and displays the result of the arteriovenous determination in the ultrasonic image displayed on the display device 21 by the operator. Support puncture.
  • FIG. 3 shows an example of the configuration of the ultrasonic diagnostic apparatus 2.
  • the ultrasonic probe 10 includes an oscillator array 13, a transmission / reception circuit 14, and a communication unit 15.
  • the transmission / reception circuit 14 includes a transmission circuit 16 and a reception circuit 17.
  • the transmission circuit 16 and the reception circuit 17 are each connected to the oscillator array 13. Further, the transmission / reception circuit 14 inputs / outputs / outputs signals to / from the processor 25 of the apparatus main body 20 via the communication unit 15, respectively.
  • the oscillator array 13 has a plurality of oscillators (not shown) arranged one-dimensionally or two-dimensionally. Each of these oscillators transmits an ultrasonic beam UB according to a drive signal supplied from the transmission circuit 16 and receives an ultrasonic echo from the living body 30. The oscillator outputs a signal based on the received ultrasonic echo.
  • the oscillator is configured, for example, by forming electrodes at both ends of the piezoelectric body.
  • Piezoelectric materials include piezoelectric ceramics typified by PZT (Lead Zirconate Titanate), polymer piezoelectric elements typified by PVDF (Poly Vinylidene Di Fluoride), and piezoelectric typified by PMN-PT (Lead Magnetesium Niobate-Lead Titanate). It consists of a single crystal or the like.
  • the transmission circuit 16 includes, for example, a plurality of pulse generators.
  • the transmission circuit 16 adjusts the delay amount of the drive signal based on the transmission delay pattern selected according to the control signal transmitted from the processor 25 of the apparatus main body 20, and a plurality of oscillators included in the oscillator array 13. Supply to.
  • the delay amount of the drive signal is adjusted by the transmission circuit 16 so that the ultrasonic waves transmitted from the plurality of oscillators form the ultrasonic beam UB.
  • the drive signal is a pulsed or continuous wave voltage signal. When a drive signal is applied, the vibrator expands and contracts to transmit pulsed or continuous wave ultrasonic waves. By synthesizing ultrasonic waves transmitted from a plurality of oscillators, an ultrasonic beam UB as a synthesized wave is formed.
  • the ultrasonic beam UB transmitted into the living body 30 is reflected at a site such as a blood vessel B in the living body 30 to become an ultrasonic echo and propagates toward the vibrator array 13.
  • the ultrasonic echo propagating toward the vibrator array 13 in this way is received by a plurality of vibrators constituting the vibrator array 13.
  • the vibrator expands and contracts to generate an electric signal by receiving an ultrasonic echo.
  • the electric signal generated by the vibrator is output to the receiving circuit 17.
  • the receiving circuit 17 generates a sound line signal by processing an electric signal output from the vibrator array 13 according to a control signal transmitted from the processor 25 of the apparatus main body 20.
  • the receiving circuit 17 is configured by connecting an amplification unit 41, an A / D (Analog to Digital) conversion unit 42, and a beam former 43 in series.
  • the amplification unit 41 amplifies the signals input from the plurality of vibrators constituting the vibrator array 13, and transmits the amplified signal to the A / D conversion unit 42.
  • the A / D conversion unit 42 converts the signal transmitted from the amplification unit 41 into digital reception data, and transmits the converted reception data to the beam former 43.
  • Each of the beam formers 43 is converted by the A / D conversion unit 42 according to the sound velocity or the sound velocity distribution set based on the reception delay pattern selected according to the control signal transmitted from the processor 25 of the apparatus main body 20. Each delay is given to the received data and added. This addition process is called a receive focus process.
  • each received data converted by the A / D conversion unit 42 is phase-adjusted and added, and a sound line signal in which the focus of the ultrasonic echo is narrowed down is acquired.
  • the device main body 20 has a display device 21, an input device 22, a communication unit 23, a storage device 24, and a processor 25.
  • the input device 22 is, for example, a touch panel incorporated in the display device 21 or the like.
  • the input device 22 may be a keyboard, a mouse, a trackball, a touch pad, or the like.
  • the communication unit 23 performs wireless communication with the communication unit 15 of the ultrasonic probe 10.
  • the input device 22 and the storage device 24 are connected to the processor 25.
  • the processor 25 and the storage device 24 are connected so that information can be exchanged in both directions.
  • the storage device 24 is a device that stores a program 26 or the like that operates the ultrasonic diagnostic device 2, and is, for example, a flash memory, an HDD (Hard Disc Drive), or an SSD (Solid State Drive).
  • the storage device 24 is an FD (Flexible Disc), MO (Magneto-Optical) disc, magnetic tape, CD (Compact Disc), DVD (Digital Versatile Disc), SD (Secure).
  • a recording medium such as a Digital) card, a USB (Universal Serial Bus) memory, a server, or the like can be used.
  • the processor 25 is, for example, a CPU (Central Processing Unit). Based on the program 26, the processor 25 performs processing in cooperation with a RAM (RandomAccessMemory) memory (not shown) and the like, so that the main control unit 50, the image generation unit 51, the display control unit 52, and the image analysis unit It functions as 53 and the highlighting unit 54.
  • a CPU Central Processing Unit
  • RAM RandomAccessMemory
  • the processor 25 is not limited to the CPU, but uses FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), and other ICs (Integrated Circuit). It may be configured by the above, or it may be configured by combining them.
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • GPU Graphics Processing Unit
  • ICs Integrated Circuit
  • the main control unit 50 controls each unit of the ultrasonic diagnostic apparatus 2 based on an input operation by the operator via the input device 22.
  • the main control unit 50 transmits the above-mentioned control signal to the ultrasonic probe 10 via the communication unit 23.
  • a sound line signal generated by the receiving circuit 17 from the ultrasonic probe 10 is input to the processor 25 via the communication unit 23.
  • the image generation unit 51 acquires a sound line signal input from the ultrasonic probe 10 under the control of the main control unit 50, and generates an ultrasonic image U based on the acquired sound line signal.
  • the image generation unit 51 is configured by connecting a signal processing unit 61, a DSC (Digital Scan Converter) 62, and an image processing unit 63 in series.
  • DSC Digital Scan Converter
  • the signal processing unit 61 corrects the attenuation of the sound line signal generated by the receiving circuit 17 due to the distance according to the depth of the ultrasonic reflection position, and then performs the envelope detection process to perform the subject. Generates a B-mode image signal, which is tomographic image information about the tissue inside.
  • the DSC 62 converts the B-mode image signal generated by the signal processing unit 61 into an image signal according to a normal television signal scanning method (so-called raster conversion).
  • the image processing unit 63 performs various image processing such as gradation processing on the B mode image signal input from the DSC 62, and then outputs the B mode image signal to the display control unit 52 and the image analysis unit 53.
  • the B-mode image signal that has been image-processed by the image processing unit 63 is simply referred to as an ultrasonic image U.
  • the transmission / reception circuit 14 of the ultrasonic probe 10 and the image generation unit 51 are controlled by the main control unit 50 so that the ultrasonic image U is periodically generated at a constant frame rate.
  • the transmission / reception circuit 14 and the image generation unit 51 function as an image acquisition unit for acquiring the ultrasonic image U.
  • the display control unit 52 Under the control of the main control unit 50, the display control unit 52 performs a predetermined process on the ultrasonic image U generated by the image generation unit 51, and causes the display device 21 to display the processed ultrasonic image U. ..
  • the image analysis unit 53 generates a blood vessel information DB by image analysis of the ultrasonic image U input from the image generation unit 51 under the control of the main control unit 50, and highlights the generated blood vessel information DB. Output to 54.
  • the blood vessel information DB includes, for example, a detection result of a blood vessel region included in the ultrasonic image U and an arteriovenous determination result of the detected blood vessel.
  • the highlighting unit 54 controls the display control unit 52 based on the blood vessel information DB input from the image analysis unit 53 under the control of the main control unit 50, so that the ultrasonic image displayed on the display device 21 is displayed.
  • the vascular area is highlighted in U.
  • the highlighting unit 54 makes the blood vessel region identifiable whether the blood vessel contained in the blood vessel region is an artery or a vein based on the arteriovenous determination result.
  • the image analysis unit 53 is composed of a blood vessel detection unit 71, a structure detection unit 72, an arteriovenous determination unit 73, and a correction unit 74.
  • the ultrasonic image U generated by the image generation unit 51 is input to the blood vessel detection unit 71 and the structure detection unit 72.
  • the blood vessel detection unit 71 identifies the blood vessel region by individually detecting the blood vessels contained in the ultrasonic image U, and determines the arteries and veins of the blood vessels contained in the blood vessel region.
  • the blood vessel detection unit 71 outputs information including the detection result of the blood vessel region and the arteriovenous determination result for each blood vessel region to the correction unit 74 and the arteriovenous determination unit 73 as the blood vessel detection information D1. It is sufficient that at least the information regarding the blood vessel region detected by the blood vessel detection unit 71 is input to the arteriovenous determination unit 73.
  • the structure detection unit 72 detects a structure region including a structure such as a tendon, a bone, a nerve, or a muscle based on the ultrasonic image U, and provides information representing the detected structure region to the structure detection information D2. Is output to the arteriovenous determination unit 73.
  • the arteriovenous determination unit 73 moves the blood vessels included in the blood vessel region based on the anatomical relative positional relationship between the blood vessel region included in the blood vessel detection information D1 and the structure region included in the structure detection information D2. Make a vein judgment.
  • the arteriovenous determination unit 73 uses the structure region as a landmark, and makes an arteriovenous determination based on the relative positional relationship of blood vessels with respect to the landmark.
  • the arteriovenous determination unit 73 outputs information representing the result of the arteriovenous determination to the correction unit 74 as the arteriovenous determination information D3.
  • the correction unit 74 corrects the arteriovenous determination result included in the blood vessel detection information D1 based on the arteriovenous determination information D3.
  • the correction unit 74 outputs the corrected blood vessel detection information D1 to the highlighting unit 54 as the above-mentioned blood vessel information DB.
  • FIG. 7 shows an example of blood vessel detection processing by the blood vessel detection unit 71.
  • the blood vessel detection unit 71 uses a known algorithm to perform a process of detecting the blood vessel region Ra including the blood vessel B from the ultrasonic image U and determining the arteriovenous of the blood vessel B included in the blood vessel region Ra.
  • the blood vessel region Ra is represented by a broken line when the blood vessel B determined to be an artery is included. Further, the blood vessel region Ra is represented by a solid line when the blood vessel B determined to be a vein is included.
  • the blood vessel region Ra shown in FIG. 7 includes a blood vessel B determined to be an artery.
  • the blood vessel detection unit 71 detects the blood vessel region Ra for each of the blood vessels B.
  • the blood vessel region Ra is attached with a "label” indicating the arteriovenous determination result and a "score” indicating the certainty (that is, certainty) of the arteriovenous determination result.
  • the label indicates whether the blood vessel B contained in the blood vessel region Ra is an "artery” or a "vein”.
  • the score is a value in the range of 0 or more and 1 or less, and the closer it is to 1, the higher the certainty.
  • the labeled and scored blood vessel region Ra corresponds to the blood vessel detection information D1 described above.
  • ECRL Extensor Carpi Radialis Longus
  • ECRB Extensor Carpi Radialis Brevis
  • the blood vessel detection unit 71 performs blood vessel detection processing using the blood vessel detection model 71A (see FIG. 8), which is a learned model generated by machine learning.
  • the blood vessel detection model 71A is, for example, an algorithm for detecting an object using deep learning.
  • an object detection model composed of R-CNN (Regional CNN), which is a kind of convolutional neural network (CNN), can be used.
  • the blood vessel detection model 71A detects a region containing a single blood vessel as an object in the ultrasonic image U, and determines a label for the detected region. Then, the blood vessel detection model 71A outputs information representing the detected blood vessel region Ra together with a label and a score.
  • FIG. 8 is a diagram illustrating an example of a learning phase in which the blood vessel detection model 71A is learned by machine learning.
  • the blood vessel detection model 71A performs learning using the teacher data TD1.
  • the teacher data TD1 includes a plurality of teacher images P with a correct label L.
  • the teacher image P included in the teacher data TD1 is a sample image of a single blood vessel (artery and vein).
  • the teacher data TD1 includes various teacher images P having different shapes, sizes, and the like of blood vessels.
  • the teacher image P is input to the blood vessel detection model 71A.
  • the blood vessel detection model 71A outputs the determination result A for the teacher image P. Based on this determination result A and the correct label L, a loss operation using a loss function is performed. Then, various coefficients of the blood vessel detection model 71A are updated according to the result of the loss calculation, and the blood vessel detection model 71A is updated according to the update setting.
  • a series of processes of inputting the teacher image P to the blood vessel detection model 71A, outputting the determination result A from the blood vessel detection model 71A, loss calculation, update setting, and updating the blood vessel detection model 71A are repeatedly performed. ..
  • the repetition of this series of processes ends when the detection accuracy reaches a predetermined set level.
  • the blood vessel detection model 71A whose detection accuracy has reached a set level is stored in the storage device 24 and then used by the blood vessel detection unit 71 in the blood vessel detection process, which is an operation phase.
  • FIG. 9 shows an example of the structure detection process by the structure detection unit 72.
  • the structure detection unit 72 performs a process of detecting the structure region Rb including the structure from the ultrasonic image U by using a known algorithm.
  • the structure detection unit 72 performs the structure detection process using the structure detection model 72A (see FIG. 10), which is a trained model generated by machine learning.
  • the structure detection model 72A is, for example, an algorithm for detecting an object using deep learning.
  • As the structure detection model 72A for example, an object detection model composed of R-CNN, which is a kind of CNN, can be used.
  • the structure detection unit 72 detects the structure region Rb including the structure as an object from the ultrasonic image U.
  • the information representing the structure region Rb corresponds to the above-mentioned structure detection information D2.
  • the structure detection unit 72 detects the region including ECRL and ECRB as the structure region Rb.
  • the structure detection unit 72 may individually detect the region including the ECRL and the region containing the ECRB as the structure region Rb.
  • FIG. 10 is a diagram illustrating an example of a learning phase in which the structure detection model 72A is learned by machine learning.
  • the structure detection model 72A performs learning using the teacher data TD2.
  • the teacher data TD2 includes a plurality of teacher images P with the correct label L.
  • the teacher image P included in the teacher data TD2 is a sample image of the structure.
  • the teacher data TD2 includes teacher images P of various structures having different types (tendons, bones, nerves, muscles, etc.), numbers, shapes, sizes, textures, and the like of living tissues.
  • the teacher image P is input to the structure detection model 72A.
  • the structure detection model 72A outputs the determination result A for the teacher image P. Based on this determination result A and the correct label L, a loss operation using a loss function is performed. Then, various coefficients of the structure detection model 72A are updated according to the result of the loss calculation, and the structure detection model 72A is updated according to the update settings.
  • a series of processes of inputting the teacher image P to the structure detection model 72A, outputting the determination result A from the structure detection model 72A, loss calculation, update setting, and updating the structure detection model 72A are performed. It is repeated. The repetition of this series of processes ends when the detection accuracy reaches a predetermined set level.
  • the structure detection model 72A whose detection accuracy has reached the set level is stored in the storage device 24 and then used by the structure detection unit 72 in the structure detection process, which is the operation phase.
  • FIG. 11 shows an example of the arteriovenous determination process by the arteriovenous determination unit 73.
  • the arteriovenous determination unit 73 is included in the blood vessel region Ra based on the anatomical relative positional relationship between the blood vessel region Ra included in the blood vessel detection information D1 and the structure region Rb included in the structure detection information D2.
  • the arteriovenous determination of blood vessel B is performed.
  • the arteriovenous determination unit 73 obtains a score for each of "artery" and "vein" as labels for blood vessel B, and selects the label having the larger score.
  • the arteriovenous determination unit 73 generates the arteriovenous determination information D3 by obtaining a label and a score for the blood vessel B contained in the blood vessel region Ra.
  • the arteriovenous determination unit 73 performs arteriovenous determination processing using, for example, a trained model learned using teacher data representing the anatomical relative positional relationship between the blood vessel region Ra and the structure region Rb.
  • the arteriovenous determination unit 73 may perform arteriovenous determination using known data representing an anatomical relative positional relationship.
  • the blood vessel region Ra shown in FIG. 11 is located on the radial side (that is, the radial side) with respect to the structural region Rb including ECRL and ECRB, the blood vessel B included in the blood vessel region Ra is a vein (specifically, the radial cutaneous vein). ). In this way, the accuracy of the arteriovenous determination is improved by performing the arteriovenous determination of the blood vessel using the anatomical relative positional relationship with the structure.
  • FIG. 12 shows an example of the correction process by the correction unit 74.
  • the correction unit 74 compares the score included in the arteriovenous determination information D3 with the score included in the blood vessel detection information D1 for the corresponding blood vessel B, and selects the label having the higher score. For example, in the example shown in FIG. 12, for the blood vessel B, the score (0.90) included in the arteriovenous determination information D3 is higher than the score (0.75) included in the blood vessel detection information D1. Therefore, the correction unit 74 selects the label (vein) included in the arteriovenous determination information D3 instead of the label (artery) included in the blood vessel detection information D1 as the label of the blood vessel B.
  • the correction unit 74 outputs the corrected blood vessel detection information D1 with the modified label to the highlighting unit 54 as the above-mentioned blood vessel information DB.
  • the blood vessel information DB includes position information of the blood vessel region Ra in the ultrasonic image U, and a label and a score for the blood vessel region Ra.
  • FIG. 13 shows an example of highlighting processing by the highlighting unit 54.
  • the highlighting unit 54 displays the blood vessel region Ra based on the blood vessel information DB in the ultrasonic image U displayed on the display device 21 of the device main body 20 by using a rectangular frame. Further, the highlighting unit 54 displays the blood vessel region Ra so as to be able to discriminate whether the blood vessel contained in the blood vessel region Ra is an artery or a vein based on the arteriovenous determination result.
  • the blood vessel region Ra including veins is shown by a solid line
  • the blood vessel region Ra including arteries is shown by a broken line.
  • the highlighting unit 54 may display the blood vessel region Ra identifiable not only by the line type but also by the line thickness, the line color, the line brightness, and the like.
  • the main control unit 50 determines whether or not the start operation has been performed by the operator using the input device 22 or the like (step S10).
  • step S10 determines that the start operation has been performed
  • step S11 the main control unit 50 generates an ultrasonic image U by operating the transmission / reception circuit 14 of the ultrasonic probe 10 and the image generation unit 51.
  • Step S11 The generated ultrasonic image U is displayed on the display device 21 by the display control unit 52.
  • the ultrasonic beam UB is transmitted from the vibrator array 13 into the living body 30 according to the drive signal input from the transmission circuit 16.
  • the ultrasonic echo from the living body 30 is received by the vibrator array 13, and the received signal is output to the receiving circuit 17.
  • the received signal received by the receiving circuit 17 becomes a sound line signal via the amplification unit 41, the A / D conversion unit 42, and the beam former 43. This sound line signal is output to the device main body 20 via the communication unit 15.
  • the device main body 20 receives the sound line signal output from the ultrasonic probe 10 via the communication unit 23.
  • the sound line signal received by the apparatus main body 20 is input to the image generation unit 51.
  • the sound line signal becomes a B-mode image signal by being subjected to envelope detection processing in the signal processing unit 61 in the image generation unit 51, and after passing through the DSC 62 and the image processing unit 63, is displayed as an ultrasonic image U in the display control unit. It is output to 52. Further, the ultrasonic image U is output to the image analysis unit 53.
  • the blood vessel detection unit 71 performs the blood vessel detection process (see FIG. 7) described above (step S12).
  • the blood vessel detection information D1 generated by this blood vessel detection process is output to the correction unit 74 and the arteriovenous determination unit 73.
  • step S13 is performed in parallel with step S12.
  • the structure detection unit 72 performs the above-mentioned structure detection process (see FIG. 9).
  • the structure detection information D2 generated by this structure detection process is output to the arteriovenous determination unit 73.
  • the arteriovenous determination unit 73 performs the above-mentioned arteriovenous determination process (see FIG. 11).
  • the arteriovenous determination information D3 generated by this arteriovenous determination process is output to the correction unit 74.
  • the correction unit 74 performs the above-mentioned correction process (see FIG. 12) (step S15).
  • this correction process the label for the blood vessel region Ra included in the blood vessel detection information D1 is corrected based on the arteriovenous determination information D3.
  • the blood vessel information DB is output to the highlighting unit 54.
  • the highlighting unit 54 performs the above-mentioned highlighting process (see FIG. 13) (step S16).
  • the blood vessel region Ra is highlighted in the ultrasonic image U displayed on the display device 21.
  • the blood vessel region Ra is clearly displayed as to whether the blood vessels contained therein are arteries or veins.
  • the main control unit 50 determines whether or not the termination operation has been performed by the operator using the input device 22 or the like (step S17). If the main control unit 50 determines that the end operation has not been performed (step S17: NO), the process returns to step S11. As a result, a new ultrasonic image U is generated. On the other hand, when it is determined that the termination operation has been performed (step S17: YES), the main control unit 50 terminates the operation of the ultrasonic diagnostic apparatus 2.
  • blood vessels are detected by blood vessel detection processing, and arteriovenous determination is performed individually for the detected blood vessels.
  • arteriovenous determination is performed individually for the detected blood vessels.
  • an error often occurs in the arteriovenous determination of blood vessels, and the arteriovenous determination may change from frame to frame.
  • the surgeon attempts to puncture based on such an arteriovenous determination result, the blood vessel to be punctured may be mistaken.
  • the accuracy of the arteriovenous determination of the blood vessel is performed using the anatomical relative positional relationship between the blood vessel and the structure detected from the ultrasonic image. Is improved. This allows the operator to accurately grasp the blood vessel (for example, a vein) to be punctured.
  • FIGS. 15 to 19 examples of blood vessel detection processing, structure detection processing, arteriovenous determination processing, correction processing, and highlighting processing for the ultrasonic image U different from the ultrasonic image U shown in FIG. 7 are shown in FIGS. 15 to 19. Will be described using.
  • the ultrasonic image U of this example shows two blood vessels B1 and B2. Further, this ultrasonic image U shows the abductor pollicis longus tendon (hereinafter referred to as APL (Abductor Pollicis Longus)) and the radial pedicle (hereinafter simply referred to as bone protrusion).
  • APL and bone process are examples of structures.
  • the blood vessel detection unit 71 detects the region containing the blood vessel B1 and the region containing the blood vessel B2 in the ultrasonic image U as the blood vessel region Ra, and each of the blood vessel regions Ra is labeled and scored. Ru.
  • the two blood vessel regions Ra labeled and scored correspond to the above-mentioned blood vessel detection information D1.
  • the labels of blood vessels B1 and B2 are both determined to be "veins".
  • the structure detection unit 72 detects the region including the APL and the region including the bone process in the ultrasonic image U as the structure region Rb, respectively.
  • the information representing the two structure regions Rb corresponds to the above-mentioned structure detection information D2.
  • the arteriovenous determination unit 73 determines the arteriovenous region of each of the two blood vessel regions Ra based on the anatomical relative positional relationship with the two structural regions Rb. Judgment is made.
  • the arteriovenous determination unit 73 generates arteriovenous determination information D3 by obtaining labels and scores for each of the blood vessels B1 and B2.
  • the correction unit 74 compares the score included in the arteriovenous determination information D3 with the score included in the blood vessel detection information D1 for each of the blood vessels B1 and B2, and the score is obtained. The higher label is selected.
  • the score included in the arteriovenous determination information D3 is higher than the score included in the blood vessel detection information D1, so the label included in the arteriovenous determination information D3 is selected. Will be done.
  • the label of blood vessel B1 is modified from "vein" to "artery".
  • the blood vessel region Ra is highlighted in the ultrasonic image U based on the modified label.
  • the blood vessel region Ra containing the blood vessel B1 determined to be an "artery” is shown by a broken line
  • the blood vessel region Ra containing the blood vessel B2 determined to be a "vein” is shown by a solid line.
  • the arteriovenous determination unit 73 obtains a score for each of "artery" and "vein” as labels for blood vessel B in the arteriovenous determination process (see FIG. 11), and the one having the larger score. You have selected a label.
  • a threshold value for the score may be set, and a label having a score equal to or higher than the threshold value may be selected.
  • FIG. 21 shows a case where scores are obtained for each of "artery” and “vein” as labels for blood vessel B, and both scores are less than the threshold value.
  • the arteriovenous determination unit 73 may stop the arteriovenous determination because it is difficult to determine the label (that is, the arteriovenous determination).
  • the highlighting unit 54 displays the blood vessel region Ra in the ultrasonic image U without distinguishing between "artery” and "vein”. You may. In this case, the highlighting unit 54 may simply display the blood vessel region Ra as a “blood vessel”.
  • the highlighting unit 54 does not distinguish whether the blood vessel region Ra is an "artery” or a "vein” when the structure is not found in the ultrasonic image U by the structure detection process. It may be displayed in the ultrasonic image U.
  • the highlighting unit 54 can be used for blood vessel detection information D1 when the structure cannot be found in the ultrasonic image U by the structure detection process and when the accuracy of the arteriovenous determination based on the relative positional relationship with the structure is low. Highlighting may be performed based on the included label.
  • the highlighting unit 54 displays the score for the label selected by the correction unit 74 (that is, the certainty of the determination result selected by the correction unit 74) in association with the blood vessel region Ra. May be. This allows the operator to grasp the certainty of the arteriovenous determination for each blood vessel.
  • the highlighting unit 54 operates when the score for the label selected by the correction unit 74 (that is, the certainty of the determination result selected by the correction unit 74) is lower than a certain value. A message may be displayed to call attention to the person. As a result, the surgeon can surely understand that the certainty of the arteriovenous determination is low and that caution is required when puncturing.
  • the arteriovenous determination unit 73 may change the arteriovenous determination standard according to the type of the structure detected by the structure detection unit 72. This is because, for example, when the structure has typical anatomical features in relation to blood vessels, the judgment result is likely to be correct even if the arteriovenous judgment score is low.
  • the arteriovenous determination unit 73 changes the threshold value for the score (see FIG. 21) according to, for example, the type of structure. Specifically, when the structure has anatomically typical features in relation to blood vessels, the threshold is set lower than when it does not have anatomically typical features.
  • the criteria for the arteriovenous determination may be changed by changing the algorithm for the arteriovenous determination, not limited to the threshold value for the score.
  • the labels for blood vessels are two types, "artery” and “vein”, but the labels may be further subdivided.
  • the "vein” is subdivided into “cephalic vein”, “basilic vein” and the like.
  • the arteriovenous determination unit 73 can specify the type of blood vessel in addition to the arteriovenous determination.
  • the highlighting unit 54 may display the type of blood vessel in association with the blood vessel region Ra.
  • the blood vessel detection unit 71 performs the arteriovenous determination of the blood vessel, but may not perform the arteriovenous determination but only detect the blood vessel region Ra. In this case, the correction unit 74 for correcting the result of the arteriovenous determination by the blood vessel detection unit 71 is unnecessary.
  • the blood vessel detection unit 71 and the structure detection unit 72 are each configured by an individual object detection model, but the blood vessel detection unit 71 and the structure detection unit 72 are combined into one object detection model. It is also possible to configure by. In this case, the object detection model may be trained using the teacher data including the teacher image of the blood vessel alone and the teacher image of the structure. It is also possible to configure the blood vessel detection unit 71, the structure detection unit 72, and the arteriovenous determination unit 73 with one object detection model. Further, the blood vessel detection unit 71, the structure detection unit 72, the arteriovenous determination unit 73, and the correction unit 74 can be configured by one object detection model.
  • the blood vessel detection unit 71 and the structure detection unit 72 are configured by an object detection model composed of a CNN, but the object detection model is not limited to the CNN, but is segmented or other general. Detection model may be used.
  • the object detection model constituting the blood vessel detection unit 71 and the structure detection unit 72 is composed of a classifier that identifies an object based on an image feature amount such as AdaBoost or SVM (Support Vector Machine). May be good.
  • AdaBoost AdaBoost
  • SVM Small Vector Machine
  • the discriminator may be trained based on the feature quantity vector.
  • the blood vessel detection unit 71 and the structure detection unit 72 are not limited to the object detection model by machine learning, and may perform object detection by template matching.
  • the blood vessel detection unit 71 stores typical pattern data of a single blood vessel as a template in advance, and calculates the similarity to the pattern data while searching the ultrasonic image U with the template. Then, the blood vessel detection unit 71 identifies a place where the similarity is above a certain level and is maximum as the blood vessel region Ra.
  • the structure detection unit 72 stores typical pattern data of the structure as a template in advance, and calculates the similarity to the pattern data while searching the ultrasonic image U with the template.
  • the structure detection unit 72 specifies a place where the similarity is above a certain level and is maximum as the blood vessel region Ra.
  • the template may be a part of an actual ultrasonic image, or may be an image drawn by modeling a blood vessel or a structure.
  • the ultrasonic probe 10 and the device main body 20 are connected by wireless communication, but instead, the ultrasonic probe 10 and the device main body 20 may be connected by wire.
  • the device main body 20 is provided with an image generation unit 51 that generates an ultrasonic image U based on a sound line signal, but instead of this, the image generation unit 51 uses an ultrasonic probe. It may be provided in 10.
  • the ultrasonic probe 10 generates an ultrasonic image U and outputs it to the apparatus main body 20.
  • the processor 25 of the apparatus main body 20 performs image analysis and the like based on the ultrasonic image U input from the ultrasonic probe 10.
  • the display device 21, the input device 22, and the ultrasonic probe 10 are directly connected to the processor 25, but the display device 21, the input device 22, the ultrasonic probe 10, and the processor 25 are connected. However, they may be indirectly connected via a network.
  • a display device 21, an input device 22, and an ultrasonic probe 10A are connected to the apparatus main body 20A via a network NW.
  • the device main body 20A is obtained by removing the display device 21 and the input device 22 from the device main body 20 according to the first embodiment and adding a transmission / reception circuit 14, and is composed of a transmission / reception circuit 14, a storage device 24, and a processor 25. ing.
  • the ultrasonic probe 10A is obtained by removing the transmission / reception circuit 14 from the ultrasonic probe 10 according to the first embodiment.
  • the apparatus main body 20A is used as a so-called remote server. be able to.
  • the operator can prepare the display device 21, the input device 22, and the ultrasonic probe 10A at the operator's hand, and the convenience is improved.
  • the display device 21 and the input device 22 with a mobile terminal such as a smartphone or a tablet terminal, the convenience is further improved.
  • the display device 21 and the input device 22 are mounted on the apparatus main body 20B, and the ultrasonic probe 10A is connected to the apparatus main body 20B via the network NW. ..
  • the device main body 20B may be configured by a remote server.
  • the device main body 20B can be configured by a mobile terminal such as a smartphone or a tablet terminal.
  • a hardware-like processing unit that executes various processes such as a main control unit 50, an image generation unit 51, a display control unit 52, an image analysis unit 53, and a highlighting unit 54.
  • various processors processors shown below can be used.
  • various processors include a CPU, which is a general-purpose processor that executes software (program 26) and functions as various processing units, and a processor whose circuit configuration can be changed after manufacturing an FPGA or the like.
  • Programmable Logic Device PLD
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC, and the like are included.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • [Appendix 1] An information processing device that processes an ultrasonic image generated by transmitting an ultrasonic beam from an oscillator array toward the living body and receiving an ultrasonic echo generated in the living body. Equipped with a processor The processor A blood vessel region including a blood vessel is detected in the ultrasonic image, and the blood vessel region is detected. A structure other than a blood vessel is detected in the ultrasonic image, and the structure is detected. Based on the relative positional relationship between the blood vessel region and the structure, it is determined whether the blood vessel contained in the blood vessel region is an artery or a vein. Information processing equipment.
  • [Appendix 2] The processor The information processing apparatus according to Supplementary Item 1, wherein the blood vessel region is displayed in the ultrasonic image displayed on the display device so as to be able to distinguish whether the blood vessel included in the blood vessel region is an artery or a vein. ..
  • [Appendix 3] The processor The information processing apparatus according to Item 2, wherein it is determined whether the blood vessel included in the blood vessel region is an artery or a vein based on the blood vessel region.
  • Appendix 4 The processor The information processing apparatus according to Appendix 3, wherein the result of the arteriovenous determination based on the blood vessel region is modified based on the result of the arteriovenous determination based on the relative positional relationship between the blood vessel region and the structure.
  • the processor The certainty of the arteriovenous judgment based on the blood vessel region is compared with the certainty of the arteriovenous judgment based on the relative positional relationship between the blood vessel region and the structure, and the judgment result having the higher certainty is selected.
  • Item 4. The information processing apparatus according to Item 4.
  • Appendix 6 The processor The information processing device according to Supplementary Item 5, which displays the degree of certainty for the selected determination result on the display device.
  • Appendix 7 The processor The information processing device according to Appendix 6, which displays a message calling attention on the display device when the certainty of the selected determination result is lower than a certain value.
  • a and / or B is synonymous with “at least one of A and B”. That is, “A and / or B” means that it may be only A, it may be only B, or it may be a combination of A and B.

Abstract

血管の動静脈判定の精度を向上させることを可能とする情報処理装置、情報処理方法、及びプログラムを提供する。情報処理装置は、振動子アレイ（１３）から生体（３０）内に向けて超音波ビーム（ＵＢ）の送信を行わせ、生体（３０）内で生じた超音波エコーを受信することにより生成された超音波画像（Ｕ）に対する処理を行う情報処理装置であって、超音波画像（Ｕ）内から血管（Ｂ）を含む血管領域（Ｒａ）を検出する血管検出部（７１）と、超音波画像（Ｕ）内から血管（Ｂ）以外の構造体を検出する構造体検出部（７２）と、血管領域（Ｒａ）と構造体との相対位置関係に基づいて、血管領域（Ｒａ）に含まれる血管（Ｂ）が動脈と静脈とのいずれであるかを判定する動静脈判定部（７３）と、を備える。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
　従来から、被検体の内部の画像を得るものとして、超音波診断装置が知られている。超音波診断装置は、一般的に、複数の超音波振動子が配列された振動子アレイが設けられた超音波プローブを有する。この超音波プローブは、被検体の体表面に接触させた状態において、振動子アレイから被検体内に向けて超音波ビームを送信し、被検体からの超音波エコーを振動子アレイで受信する。これにより、超音波エコーに対応する電気信号が取得される。さらに、超音波診断装置は、取得された電気信号を処理することにより、被検体の当該部位に対する超音波画像を生成する。
　ところで、超音波診断装置を用いて被検体内を観察しながら、いわゆる穿刺針を被検体の血管に挿入する手技（いわゆるエコーガイド下穿刺法）が知られている。エコーガイド下穿刺法では、通常、術者は、超音波画像を確認することにより、超音波画像中に含まれる血管の位置及び形状等を把握する必要があるが、これらを正確に把握するためには、一定以上の熟練度を要する。そのため、超音波画像に含まれる血管を自動的に検出し、検出された血管を術者に提示することが提案されている（例えば、特許文献１参照）。
特表２０１７－５２４４５５号公報
　穿刺時には、術者は、超音波画像に基づいて血管が動脈と静脈とのいずれであるかを正確に判定する必要がある。以下、この判定を動静脈判定という。
　超音波画像に基づき、画像解析等の情報処理により血管の動静脈判定を行うことも考えられる。しかし、血管を個別に動静脈判定すると、動脈と静脈との形状等が類似している場合には、判定を誤りやすい。
　本開示の技術は、血管の動静脈判定の精度を向上させることを可能とする情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
　本開示の情報処理装置は、振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理を行う情報処理装置であって、超音波画像内から血管を含む血管領域を検出する血管検出部と、超音波画像内から血管以外の構造体を検出する構造体検出部と、血管領域と構造体との相対位置関係に基づいて、血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する動静脈判定部と、を備える。
　表示装置に表示される超音波画像内に、血管領域を、血管領域に含まれる血管が動脈と静脈とのいずれであるかを識別可能に表示する強調表示部をさらに備えることが好ましい。
　血管検出部は、血管領域の検出に加えて、血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定することが好ましい。
　血管検出部が判定した動静脈判定の結果を、動静脈判定部による動静脈判定の結果に基づいて修正する修正部をさらに備えることが好ましい。
　修正部は、血管検出部による動静脈判定の確信度と、動静脈判定部による動静脈判定の確信度とを比較し、確信度が高い方の判定結果を選択することが好ましい。
　強調表示部は、修正部が選択した判定結果に対する確信度を、表示装置に表示することが好ましい。
　強調表示部は、修正部が選択した判定結果に対する確信度が一定値より低い場合に、注意を促すメッセージを表示装置に表示することが好ましい。
　本開示の情報処理方法は、振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理を行う情報処理方法であって、超音波画像内から血管を含む血管領域を検出し、超音波画像内から血管以外の構造体を検出し、血管領域と構造体との相対位置関係に基づいて、血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する。
　本開示のプログラムは、振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理をコンピュータに実行させるプログラムであって、超音波画像内から血管を含む血管領域を検出し、超音波画像内から血管以外の構造体を検出し、血管領域と構造体との相対位置関係に基づいて、血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する、ことをコンピュータに実行させる。
　本開示の技術によれば、血管の動静脈判定の精度を向上させることを可能とする情報処理装置、情報処理方法、及びプログラムを提供することができる。
第１実施形態に係る超音波診断装置の構成の一例を示す外観図である。 エコーガイド下穿刺法の一例について説明する図である。 超音波診断装置の構成の一例を示すブロック図である。 受信回路の構成の一例を示すブロック図である。 画像生成部の構成の一例を示すブロック図である。 画像解析部の構成の一例を示すブロック図である。 血管検出処理の一例を説明する図である。 血管検出モデルを学習させる学習フェーズの一例を説明する図である。 構造体検出処理の一例を説明する図である。 構造体検出モデルを学習させる学習フェーズの一例を説明する図である。 動静脈判定処理の一例を説明する図である。 修正処理の一例を説明する図である。 強調表示処理の一例を示す図である。 超音波診断装置の動作の一例を示すフローチャートである。 別の超音波画像に対する血管検出処理の例を示す図である。 別の超音波画像に対する構造体検出処理の例を示す図である。 別の超音波画像に対する動静脈判定処理の例を示す図である。 別の超音波画像に対する修正処理の例を示す図である。 別の超音波画像に対する強調表示処理の例を示す図である。 動静脈判定処理の変形例を示す図である。 動静脈判定処理の変形例を示す図である。 スコアを表示する例を示す図である。 術者に注意を促すメッセージを表示する例を示す図である。 超音波診断装置の第１変形例を示す図である。 超音波診断装置の第２変形例を示す図である。
以下、本開示の技術に係る実施の形態を添付図面に基づいて説明する。以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本開示の技術はそのような実施態様に限定されるものではない。
　［第１実施形態］
　図１は、本開示の技術に係る超音波診断装置２の構成の一例を示す。本実施形態に係る超音波診断装置２は、超音波プローブ１０と、装置本体２０とにより構成されている。超音波プローブ１０は、術者が保持し、測定対象である生体の表面に接触される。超音波プローブ１０は、生体の内部に対して超音波ビームＵＢを送受信する。
　装置本体２０は、例えば、スマートフォン、又はタブレット端末等である。装置本体２０は、アプリケーションソフト等のプログラムがインストールされることにより、超音波プローブ１０から出力される信号の画像化等を行う。超音波プローブ１０と装置本体２０は、例えば、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等により相互に無線通信（すなわちワイヤレス通信）を行う。装置本体２０は、スマートフォン、又はタブレット端末等の携帯端末に限られず、ＰＣ（Personal Computer）等であってもよい。装置本体２０は、本開示の技術に係る「情報処理装置」の一例である。
　超音波プローブ１０は、ハウジング１１を有する。ハウジング１１は、アレイ収容部１１Ａと、グリップ部１１Ｂとで構成されている。アレイ収容部１１Ａは、振動子アレイ１３（図３参照）を収容する。グリップ部１１Ｂは、アレイ収容部１１Ａに連結されており、術者により把持される。ここで、説明のため、グリップ部１１Ｂからアレイ収容部１１Ａに向かう方向を＋Ｙ方向とし、Ｙ方向に直交する超音波プローブ１０の幅方向をＸ方向とし、Ｘ方向及びＹ方向に直交する方向（すなわち超音波プローブ１０の厚さ方向）をＺ方向とする。
　アレイ収容部１１Ａの＋Ｙ方向端部に、音響レンズが配置されている。振動子アレイ１３上にいわゆる音響整合層（図示せず）が配置されており、音響整合層上に音響レンズが配置されている。振動子アレイ１３に含まれる複数の振動子は、Ｘ方向に沿って直線状に配列されている。すなわち、本実施形態の超音波プローブ１０は、リニア型であり、直線状に超音波ビームＵＢを送信する。なお、超音波プローブ１０は、振動子アレイ１３が凸曲面状に配置されたコンベックス型であってもよい。この場合、超音波プローブ１０は、放射状に超音波ビームＵＢを送信する。また、超音波プローブ１０は、セクタ型であってもよい。
　また、アレイ収容部１１Ａの外周部には、Ｙ方向に沿って延びた直線状のガイドマーカＭが付されている。ガイドマーカＭは、操作者が超音波プローブ１０を生体に接触させる際に目安として使用される。
　装置本体２０は、超音波プローブ１０から送信された信号に基づく超音波画像を表示するための表示装置２１を有する。表示装置２１は、例えば、有機ＥＬ（Organic Electro-Luminescence）ディスプレイ又は液晶ディスプレイ等のディスプレイ装置である。表示装置２１には、タッチパネルが組み込まれている。術者は、タッチパネルにより、装置本体２０に対して各種の操作を行うことができる。
　図２は、エコーガイド下穿刺法の一例について説明する図である。図２に示すように、超音波プローブ１０は、術者が装置本体２０に表示される超音波画像を確認しながら、生体３０内の血管Ｂへ穿刺針３１を穿刺する際に用いられる。生体３０は、例えば、人の腕である。超音波プローブ１０では、例えば、超音波プローブ１０の幅方向（すなわちＸ方向）が血管Ｂの走行方向を横切るように、超音波プローブ１０が生体３０の表面に当てられる。この手技は、短軸法（又は交差法）と呼ばれる。超音波画像には、血管Ｂの断面が表示される。術者は、超音波画像に表示される１以上の血管Ｂのうち、例えば、静脈に対して穿刺を行う。
　なお、生体３０内には、血管以外に、解剖学的構造体（以下、単に構造体という。）が存在する。構造体とは、例えば、腱、骨、神経、又は筋肉などの生体組織である。生体３０に含まれる構造体の種類及び特徴は、生体３０の部位（腕、脚、腹部など）により異なる。
　装置本体２０は、超音波画像から血管を検出した後、血管の動静脈判定を行い、動静脈判定の結果を、表示装置２１に表示される超音波画像内に表示することにより、術者による穿刺を支援する。
　図３は、超音波診断装置２の構成の一例を示す。超音波プローブ１０は、振動子アレイ１３、送受信回路１４、及び通信部１５を有する。送受信回路１４は、送信回路１６及び受信回路１７を含む。送信回路１６及び受信回路１７は、それぞれ振動子アレイ１３に接続されている。また、送受信回路１４は、それぞれ通信部１５を介して装置本体２０のプロセッサ２５との間で信号の入出力を行う。
　振動子アレイ１３は、１次元又は２次元に配列された複数の振動子（図示せず）を有している。これらの振動子は、それぞれ送信回路１６から供給される駆動信号に従って超音波ビームＵＢを送信し、かつ、生体３０からの超音波エコーを受信する。振動子は、受信した超音波エコーに基づく信号を出力する。振動子は、例えば、圧電体の両端に電極を形成することにより構成される。圧電体は、ＰＺＴ（Lead Zirconate Titanate）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride）に代表される高分子圧電素子、及びＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate）に代表される圧電単結晶等からなる。
　送信回路１６は、例えば、複数のパルス発生器を含んでいる。送信回路１６は、装置本体２０のプロセッサ２５から送信される制御信号に応じて選択された送信遅延パターンに基づいて、駆動信号の遅延量を調整して振動子アレイ１３に含まれる複数の振動子に供給する。駆動信号は、送信回路１６により、複数の振動子から送信される超音波が超音波ビームＵＢを形成するように遅延量が調整される。駆動信号は、パルス状又は連続波状の電圧信号である。振動子は、駆動信号が印加されると、伸縮することによりパルス状又は連続波状の超音波を送信する。複数の振動子から送信された超音波が合成されることにより、合成波としての超音波ビームＵＢが形成される。
　生体３０内に送信された超音波ビームＵＢは、生体３０内の血管Ｂ等の部位で反射されることにより、超音波エコーとなって振動子アレイ１３に向かって伝搬する。このように振動子アレイ１３に向かって伝搬する超音波エコーは、振動子アレイ１３を構成する複数の振動子により受信される。振動子は、超音波エコーを受信することにより伸縮して電気信号を発生する。振動子が発生した電気信号は、受信回路１７に出力される。
　受信回路１７は、装置本体２０のプロセッサ２５から送信される制御信号に従い、振動子アレイ１３から出力される電気信号を処理することにより、音線信号を生成する。一例として図４に示すように、受信回路１７は、増幅部４１、Ａ／Ｄ（Analog to Digital）変換部４２、及びビームフォーマ４３を直列に接続することにより構成されている。
　増幅部４１は、振動子アレイ１３を構成する複数の振動子から入力された信号を増幅し、増幅した信号をＡ／Ｄ変換部４２に送信する。Ａ／Ｄ変換部４２は、増幅部４１から送信された信号をデジタルの受信データに変換し、変換した受信データをビームフォーマ４３に送信する。ビームフォーマ４３は、装置本体２０のプロセッサ２５から送信される制御信号に応じて選択された受信遅延パターンに基づいて設定される音速又は音速の分布に従い、Ａ／Ｄ変換部４２により変換された各受信データに対してそれぞれの遅延を与えて加算する。この加算処理は、受信フォーカス処理と称される。この受信フォーカス処理により、Ａ／Ｄ変換部４２で変換された各受信データが整相加算され、かつ超音波エコーの焦点が絞り込まれた音線信号が取得される。
　装置本体２０は、表示装置２１、入力装置２２、通信部２３、記憶装置２４、及びプロセッサ２５を有する。入力装置２２は、例えば、表示装置２１に組み込まれたタッチパネル等である。装置本体２０がＰＣ等である場合には、入力装置２２は、キーボード、マウス、トラックボール、タッチパッド等であってもよい。通信部２３は、超音波プローブ１０の通信部１５との間で無線通信を行う。
　プロセッサ２５には、入力装置２２と記憶装置２４が接続されている。なお、プロセッサ２５と記憶装置２４とは、互いに双方向の情報の受け渡しが可能に接続されている。
　記憶装置２４は、超音波診断装置２を作動させるプログラム２６等を格納する装置であり、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、又はＳＳＤ（Solid State Drive）である。装置本体２０がＰＣ等である場合には、記憶装置２４として、ＦＤ（Flexible Disc）、ＭＯ（Magneto-Optical）ディスク、磁気テープ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤ（Secure Digital）カード、ＵＳＢ（Universal Serial Bus）メモリ等の記録メディア、又はサーバ等を用いることができる。
　プロセッサ２５は、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ２５は、プログラム２６に基づき、ＲＡＭ（Random Access Memory）メモリ（図示省略）等と協働して処理を行うことにより、主制御部５０、画像生成部５１、表示制御部５２、画像解析部５３、及び強調表示部５４として機能する。
　なお、プロセッサ２５は、ＣＰＵに限られず、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、その他のＩＣ（Integrated Circuit）を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
　主制御部５０は、入力装置２２を介した術者による入力操作に基づいて、超音波診断装置２の各部の制御を行う。主制御部５０は、上述の制御信号を、通信部２３を介して超音波プローブ１０に送信する。プロセッサ２５には、通信部２３を介して、超音波プローブ１０から受信回路１７により生成された音線信号が入力される。
　画像生成部５１は、主制御部５０の制御の下で、超音波プローブ１０から入力される音線信号を取得し、取得した音線信号に基づき、超音波画像Ｕを生成する。一例として図５に示すように、画像生成部５１は、信号処理部６１、ＤＳＣ（Digital Scan Converter）６２、及び画像処理部６３を直列に接続することにより構成されている。
　信号処理部６１は、受信回路１７により生成された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報であるＢモード画像信号を生成する。
　ＤＳＣ６２は、信号処理部６１で生成されたＢモード画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（いわゆるラスター変換）する。画像処理部６３は、ＤＳＣ６２から入力されるＢモード画像信号に階調処理等の各種の画像処理を施した後、Ｂモード画像信号を表示制御部５２及び画像解析部５３に出力する。以下では、画像処理部６３により画像処理が施されたＢモード画像信号を、単に、超音波画像Ｕと呼ぶ。
　なお、超音波プローブ１０の送受信回路１４と画像生成部５１とは、超音波画像Ｕが一定のフレームレートで周期的に生成されるように、主制御部５０によって制御される。送受信回路１４及び画像生成部５１は、超音波画像Ｕを取得する画像取得部として機能する。
　表示制御部５２は、主制御部５０の制御の下で、画像生成部５１により生成された超音波画像Ｕに所定の処理を施し、処理を施した超音波画像Ｕを表示装置２１に表示させる。
　画像解析部５３は、主制御部５０の制御の下で、画像生成部５１から入力された超音波画像Ｕを画像解析することにより血管情報ＤＢを生成し、生成した血管情報ＤＢを強調表示部５４に出力する。血管情報ＤＢには、例えば、超音波画像Ｕに含まれる血管領域の検出結果と、検出した血管の動静脈判定結果とが含まれる。
　強調表示部５４は、主制御部５０の制御の下で、画像解析部５３から入力された血管情報ＤＢに基づき、表示制御部５２を制御することにより、表示装置２１に表示された超音波画像Ｕ内に、血管領域を強調表示させる。また、強調表示部５４は、動静脈判定結果に基づき、血管領域を、血管領域内に含まれる血管が動脈であるか静脈であるかを識別可能に表示させる。
　一例として図６に示すように、画像解析部５３は、血管検出部７１、構造体検出部７２、動静脈判定部７３、及び修正部７４により構成されている。血管検出部７１及び構造体検出部７２には、画像生成部５１により生成された超音波画像Ｕが入力される。
　血管検出部７１は、超音波画像Ｕに含まれる血管を各々個別に検出することにより血管領域を特定し、かつ、血管領域に含まれる血管の動静脈判定を行う。血管検出部７１は、血管領域の検出結果と、血管領域とごとの動静脈判定結果とを含む情報を、血管検出情報Ｄ１として修正部７４及び動静脈判定部７３に出力する。なお、動静脈判定部７３には、少なくとも血管検出部７１により検出された血管領域に関する情報が入力されればよい。
　構造体検出部７２は、超音波画像Ｕに基づき、腱、骨、神経、又は筋肉などの構造体を含む構造体領域を検出し、検出した構造体領域を表す情報を、構造体検出情報Ｄ２として動静脈判定部７３に出力する。
　動静脈判定部７３は、血管検出情報Ｄ１に含まれる血管領域と、構造体検出情報Ｄ２に含まれる構造体領域との解剖学的な相対位置関係に基づいて、血管領域に含まれる血管の動静脈判定を行う。言い換えると、動静脈判定部７３は、構造体領域をランドマークとし、ランドマークを基準とした血管の相対位置関係に基づいて動静脈判定を行う。動静脈判定部７３は、動静脈判定の結果を表す情報を、動静脈判定情報Ｄ３として修正部７４に出力する。
　修正部７４は、血管検出情報Ｄ１に含まれる動静脈判定結果を、動静脈判定情報Ｄ３に基づいて修正する。修正部７４は、修正後の血管検出情報Ｄ１を、上述の血管情報ＤＢとして強調表示部５４に出力する。
　図７は、血管検出部７１による血管検出処理の一例を示す。血管検出部７１は、公知のアルゴリズムを用いて超音波画像Ｕ内から血管Ｂを含む血管領域Ｒａを検出する処理と、血管領域Ｒａに含まれる血管Ｂの動静脈判定とを行う。血管領域Ｒａは、動脈と判定された血管Ｂを含む場合には、破線で表される。また、血管領域Ｒａは、静脈と判定された血管Ｂを含む場合には、実線で表される。図７に示す血管領域Ｒａは、動脈と判定された血管Ｂを含む。なお、超音波画像Ｕに複数の血管Ｂが含まれる場合には、血管検出部７１は、血管Ｂの各々について血管領域Ｒａを検出する。
　血管領域Ｒａには、動静脈判定結果を表す「ラベル」と、動静脈判定結果の確信度（すなわち確からしさ）を表す「スコア」が付される。ラベルは、血管領域Ｒａに含まれる血管Ｂが「動脈」と「静脈」とのいずれであるかを表す。スコアは、０以上１以下の範囲内の値であり、１に近いほど確信度が高いことを表す。ラベル及びスコアが付された血管領域Ｒａが、上述の血管検出情報Ｄ１に対応する。
　図７に示す超音波画像Ｕには、血管Ｂの他に、人間の手関節に存在する長橈側手根伸筋腱（以下、ＥＣＲＬ（Extensor Carpi Radialis Longus）という。）と短橈側手根伸筋腱（以下、ＥＣＲＢ（Extensor Carpi Radialis Brevis）という。）とが写っている。ＥＣＲＬとＥＣＲＢとは、構造体の一例である。
　本実施形態では、血管検出部７１は、機械学習により生成された学習済みモデルである血管検出モデル７１Ａ（図８参照）を用いて血管検出処理を行う。血管検出モデル７１Ａは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。血管検出モデル７１Ａとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一種であるＲ－ＣＮＮ（Regional CNN）により構成される物体検出モデルを用いることができる。
　血管検出モデル７１Ａは、超音波画像Ｕ内から物体としての血管単体が含まれる領域を検出し、検出した領域に対するラベルを決定する。そして、血管検出モデル７１Ａは、検出した血管領域Ｒａを表す情報をラベル及びスコアとともに出力する。
　図８は、血管検出モデル７１Ａを機械学習により学習させる学習フェーズの一例を説明する図である。血管検出モデル７１Ａは、教師データＴＤ１を用いて学習を行う。教師データＴＤ１は、正解ラベルＬが付された複数の教師画像Ｐを含む。教師データＴＤ１に含まれる教師画像Ｐは、血管単体（動脈及び静脈）のサンプル画像である。教師データＴＤ１には、血管の形状、サイズ等が異なる各種の教師画像Ｐが含まれる。
　学習フェーズにおいて、血管検出モデル７１Ａには、教師画像Ｐが入力される。血管検出モデル７１Ａは、教師画像Ｐに対する判定結果Ａを出力する。この判定結果Ａと正解ラベルＬとに基づいて、損失関数を用いた損失演算がなされる。そして、損失演算の結果に応じて血管検出モデル７１Ａの各種係数の更新設定がなされ、更新設定にしたがって血管検出モデル７１Ａが更新される。
　学習フェーズにおいては、教師画像Ｐの血管検出モデル７１Ａへの入力、血管検出モデル７１Ａからの判定結果Ａの出力、損失演算、更新設定、及び血管検出モデル７１Ａの更新の一連の処理が繰り返し行われる。この一連の処理の繰り返しは、検出精度が、予め定められた設定レベルまで達した場合に終了される。こうして検出精度が設定レベルまで達した血管検出モデル７１Ａは、記憶装置２４に記憶された後、運用フェーズである血管検出処理において血管検出部７１により用いられる。
　図９は、構造体検出部７２による構造体検出処理の一例を示す。構造体検出部７２は、公知のアルゴリズムを用いて超音波画像Ｕ内から構造体を含む構造体領域Ｒｂを検出する処理を行う。
　本実施形態では、構造体検出部７２は、機械学習により生成された学習済みモデルである構造体検出モデル７２Ａ（図１０参照）を用いて構造体検出処理を行う。構造体検出モデル７２Ａは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。構造体検出モデル７２Ａとして、例えば、ＣＮＮの一種であるＲ－ＣＮＮにより構成される物体検出モデルを用いることができる。
　構造体検出部７２は、超音波画像Ｕ内から物体としての構造体が含まれる構造体領域Ｒｂを検出する。構造体領域Ｒｂを表す情報が、上述の構造体検出情報Ｄ２に対応する。図９に示す例では、構造体検出部７２は、ＥＣＲＬ及びＥＣＲＢを含む領域を構造体領域Ｒｂとして検出している。なお、構造体検出部７２は、ＥＣＲＬを含む領域と、ＥＣＲＢを含む領域とを個別に構造体領域Ｒｂとして検出してもよい。
　図１０は、構造体検出モデル７２Ａを機械学習により学習させる学習フェーズの一例を説明する図である。構造体検出モデル７２Ａは、教師データＴＤ２を用いて学習を行う。教師データＴＤ２は、正解ラベルＬが付された複数の教師画像Ｐを含む。教師データＴＤ２に含まれる教師画像Ｐは、構造体のサンプル画像である。教師データＴＤ２には、生体組織の種類（腱、骨、神経、又は筋肉など）、数、形状、大きさ、及びテクスチャ等が異なる各種の構造体の教師画像Ｐが含まれる。
　学習フェーズにおいて、構造体検出モデル７２Ａには、教師画像Ｐが入力される。構造体検出モデル７２Ａは、教師画像Ｐに対する判定結果Ａを出力する。この判定結果Ａと正解ラベルＬとに基づいて、損失関数を用いた損失演算がなされる。そして、損失演算の結果に応じて構造体検出モデル７２Ａの各種係数の更新設定がなされ、更新設定にしたがって構造体検出モデル７２Ａが更新される。
　学習フェーズにおいては、教師画像Ｐの構造体検出モデル７２Ａへの入力、構造体検出モデル７２Ａからの判定結果Ａの出力、損失演算、更新設定、及び構造体検出モデル７２Ａの更新の一連の処理が繰り返し行われる。この一連の処理の繰り返しは、検出精度が、予め定められた設定レベルまで達した場合に終了される。こうして検出精度が設定レベルまで達した構造体検出モデル７２Ａは、記憶装置２４に記憶された後、運用フェーズである構造体検出処理において構造体検出部７２により用いられる。
　図１１は、動静脈判定部７３による動静脈判定処理の一例を示す。動静脈判定部７３は、血管検出情報Ｄ１に含まれる血管領域Ｒａと、構造体検出情報Ｄ２に含まれる構造体領域Ｒｂとの解剖学的な相対位置関係に基づいて、血管領域Ｒａに含まれる血管Ｂの動静脈判定を行う。動静脈判定部７３は、血管Ｂに対するラベルとしての「動脈」と「静脈」とのそれぞれについてスコアを求め、スコアが大きい方のラベルを選択する。動静脈判定部７３は、血管領域Ｒａに含まれる血管Ｂに対するラベル及びスコアを求めることにより動静脈判定情報Ｄ３を生成する。
　動静脈判定部７３は、例えば、血管領域Ｒａと構造体領域Ｒｂとの解剖学的な相対位置関係を表す教師データを用いて学習した学習済みモデルを用いて動静脈判定処理を行う。なお、動静脈判定部７３は、解剖学的な相対位置関係を表す既知のデータを用いて動静脈判定を行ってもよい。
　図１１に示す血管領域Ｒａは、ＥＣＲＬ及びＥＣＲＢを含む構造体領域Ｒｂに対して橈側（すなわち橈骨側）に位置するので、血管領域Ｒａに含まれる血管Ｂは、静脈（詳細には橈側皮静脈）と判定される。このように、構造体との解剖学的な相対位置関係を用いて血管の動静脈判定を行うことにより、動静脈判定の精度が向上する。
　図１２は、修正部７４による修正処理の一例を示す。修正部７４は、対応する血管Ｂについて、動静脈判定情報Ｄ３に含まれるスコアと、血管検出情報Ｄ１に含まれるスコアとを比較し、スコアが高い方のラベルを選択する。例えば、図１２に示す例では、血管Ｂについては、動静脈判定情報Ｄ３に含まれるスコア（０．９０）の方が、血管検出情報Ｄ１に含まれるスコア（０．７５）よりも高い。このため、修正部７４は、血管Ｂのラベルとして、血管検出情報Ｄ１に含まれるラベル（動脈）に代えて、動静脈判定情報Ｄ３に含まれるラベル（静脈）を選択する。
　このようにして、血管検出情報Ｄ１に含まれるスコアよりも動静脈判定情報Ｄ３に含まれるスコアの方が高い場合に、血管検出情報Ｄ１に含まれるラベルが修正される。
　修正部７４は、ラベルを修正した修正後の血管検出情報Ｄ１を、上述の血管情報ＤＢとして強調表示部５４に出力する。血管情報ＤＢには、超音波画像Ｕ内における血管領域Ｒａの位置情報と、血管領域Ｒａに対するラベル及びスコアが含まれる。
　図１３は、強調表示部５４による強調表示処理の一例を示す。強調表示部５４は、装置本体２０の表示装置２１に表示された超音波画像Ｕ内に、血管情報ＤＢに基づいて血管領域Ｒａを、矩形状の枠を用いて表示する。また、強調表示部５４は、動静脈判定結果に基づき、血管領域Ｒａを、血管領域Ｒａ内に含まれる血管が動脈であるか静脈であるかを識別可能に表示する。図１３に示す例では、静脈が含まれる血管領域Ｒａを実線で示し、動脈が含まれる血管領域Ｒａを破線で示す。なお、強調表示部５４は、血管領域Ｒａを、線種に限られず、線の太さ、線の色、線の明度などによって、識別可能に表示してもよい。
　次に、図１４に示すフローチャートを用いて、超音波診断装置２の動作の一例を説明する。まず、主制御部５０は、入力装置２２等を用いて術者により、開始操作がなされたか否かを判定する（ステップＳ１０）。主制御部５０は、開始操作がなされたと判定した場合には（ステップＳ１０：ＹＥＳ）、超音波プローブ１０の送受信回路１４と画像生成部５１とを作動させることにより、超音波画像Ｕを生成する（ステップＳ１１）。生成された超音波画像Ｕは、表示制御部５２により表示装置２１に表示される。
　この際、術者は、図２に示すように、生体３０の表面上に超音波プローブ１０を接触させる。送信回路１６から入力される駆動信号に従って振動子アレイ１３から生体３０内に超音波ビームＵＢが送信される。生体３０内からの超音波エコーは、振動子アレイ１３により受信され、受信信号が受信回路１７に出力される。受信回路１７により受信された受信信号は、増幅部４１、Ａ／Ｄ変換部４２、及びビームフォーマ４３を介して音線信号となる。この音線信号は、通信部１５を介して、装置本体２０に出力される。
　装置本体２０は、超音波プローブ１０から出力された音線信号を、通信部２３を介して受信する。装置本体２０が受信した音線信号は、画像生成部５１に入力される。音線信号は、画像生成部５１において、信号処理部６１で包絡線検波処理が施されることでＢモード画像信号となり、ＤＳＣ６２及び画像処理部６３を経た後、超音波画像Ｕとして表示制御部５２に出力される。また、超音波画像Ｕは、画像解析部５３に出力される。
　画像解析部５３では、血管検出部７１により、上述した血管検出処理（図７参照）が行われる（ステップＳ１２）。この血管検出処理により生成された血管検出情報Ｄ１は、修正部７４及び動静脈判定部７３に出力される。
　また、ステップＳ１２と並行してステップＳ１３が行われる。ステップＳ１３では、構造体検出部７２により、上述した構造体検出処理（図９参照）が行われる。この構造体検出処理により生成された構造体検出情報Ｄ２は、動静脈判定部７３に出力される。ステップＳ１４では、動静脈判定部７３により、上述した動静脈判定処理（図１１参照）が行われる。この動静脈判定処理により生成された動静脈判定情報Ｄ３は、修正部７４に出力される。
　次に、修正部７４により、上述した修正処理（図１２参照）が行われる（ステップＳ１５）。この修正処理では、動静脈判定情報Ｄ３に基づいて、血管検出情報Ｄ１に含まれる血管領域Ｒａに対するラベルが修正される。この修正処理の結果、血管情報ＤＢが強調表示部５４に出力される。
　そして、強調表示部５４により、上述した強調表示処理（図１３参照）が行われる（ステップＳ１６）。この強調表示処理により、表示装置２１に表示された超音波画像Ｕ内に、血管領域Ｒａが強調表示される。また、血管領域Ｒａは、内部に含まれる血管が動脈であるか静脈であるかが識別可能に表示される。このように、強調表示が行われることにより、術者は、超音波画像Ｕ内に存在する血管の位置を正確に把握することができ、かつ、当該血管が動脈であるか静脈であるかを正確に把握することができる。
　次に、主制御部５０は、入力装置２２等を用いて術者により、終了操作がなされたか否かを判定する（ステップＳ１７）。主制御部５０は、終了操作がなされていないと判定した場合には（ステップＳ１７：ＮＯ）、処理をステップＳ１１に戻す。これにより、新たな超音波画像Ｕが生成される。一方、主制御部５０は、終了操作がなされたと判定した場合には（ステップＳ１７：ＹＥＳ）、超音波診断装置２の動作を終了させる。
　従来は、血管検出処理によって血管が検出され、検出された血管に対して個別に動静脈判定が行われていた。このような手法では、血管の動静脈判定に誤りが生じることが多く、フレームごとに動静脈判定が変化することがあった。このような動静脈判定結果に基づいて、術者が穿刺を行おうとすると、穿刺対象の血管を誤ってしまうことがあった。
　これに対して、本開示の技術によれば、超音波画像から検出された血管と構造体との解剖学的な相対位置関係を用いて血管の動静脈判定を行うので、動静脈判定の精度が向上する。これにより、術者は、穿刺対象の血管（例えば静脈）を正確に把握することができる。
　次に、図７に示す超音波画像Ｕとは別の超音波画像Ｕに対する血管検出処理、構造体検出処理、動静脈判定処理、修正処理、及び強調表示処理の例を、図１５～図１９を用いて説明する。
　図１５に示すように、本例の超音波画像Ｕには、２つの血管Ｂ１及びＢ２が写っている。また、この超音波画像Ｕには、長母指外転筋腱（以下、ＡＰＬ（Abductor Pollicis Longus）という。）と、橈骨茎状突起（以下、単に骨突起という。）が写っている。ＡＰＬと骨突起とは、構造体の一例である。
　血管検出処理では、血管検出部７１により、超音波画像Ｕ内の血管Ｂ１を含む領域と血管Ｂ２を含む領域とがそれぞれ血管領域Ｒａとして検出され、血管領域Ｒａの各々にラベル及びスコアが付される。ラベル及びスコアが付された２つの血管領域Ｒａが、上述の血管検出情報Ｄ１に対応する。本例では、血管Ｂ１及びＢ２のラベルは、いずれも「静脈」と判定されている。
　図１６に示すように、構造体検出処理では、構造体検出部７２により、超音波画像Ｕ内のＡＰＬを含む領域と骨突起を含む領域とがそれぞれ構造体領域Ｒｂとして検出される。２つの構造体領域Ｒｂを表す情報が、上述の構造体検出情報Ｄ２に対応する。
　図１７に示すように、動静脈判定処理では、動静脈判定部７３により、２つの血管領域Ｒａのそれぞれについて、２つの構造体領域Ｒｂとの解剖学的な相対位置関係に基づいて、動静脈判定が行われる。動静脈判定部７３は、血管Ｂ１及びＢ２のそれぞれについて、ラベル及びスコアを求めることにより動静脈判定情報Ｄ３を生成する。
　図１８に示すように、修正処理では、修正部７４により、血管Ｂ１及びＢ２のそれぞれについて、動静脈判定情報Ｄ３に含まれるスコアと、血管検出情報Ｄ１に含まれるスコアとが比較され、スコアが高い方のラベルが選択される。本例では、血管Ｂ１及びＢ２のいずれについても、動静脈判定情報Ｄ３に含まれるスコアの方が、血管検出情報Ｄ１に含まれるスコアよりも高いので、動静脈判定情報Ｄ３に含まれるラベルが選択される。本例では、血管検出情報Ｄ１に含まれる血管Ｂ１及びＢ２のラベルのうち、血管Ｂ１のラベルが「静脈」から「動脈」に修正される。
　図１９に示すように、強調表示処理では、超音波画像Ｕ内に血管領域Ｒａが、修正後のラベルに基づいて強調表示される。本例では、「動脈」と判定された血管Ｂ１を含む血管領域Ｒａが破線で示され、「静脈」と判定された血管Ｂ２を含む血管領域Ｒａが実線で示されている。
　［変形例］
　以下に、上記第１実施形態に係る超音波診断装置２の各種変形例について説明する。
　第１実施形態では、動静脈判定部７３は、動静脈判定処理（図１１参照）において、血管Ｂに対するラベルとしての「動脈」と「静脈」とのそれぞれについてスコアを求め、スコアが大きい方のラベルを選択している。これに代えて、例えば図２０に示すように、スコアに対する閾値を設定し、スコアが閾値以上のラベルを選択してもよい。
　また、例えば図２１には、血管Ｂに対するラベルとしての「動脈」と「静脈」とのそれぞれについてスコアを求め、いずれのスコアも閾値未満である場合を示している。これは、構造体との相対位置関係による動静脈判定の精度が低いことに対応する。この場合、動静脈判定部７３は、ラベルの決定（すなわち動静脈判定）は困難であるとして、動静脈判定を停止してもよい。このように動静脈判定が困難である場合には、強調表示部５４は、血管領域Ｒａを、「動脈」と「静脈」とのいずれであるかを区別せずに超音波画像Ｕ内に表示してもよい。この場合、強調表示部５４は、血管領域Ｒａを単に「血管」として表示してもよい。
　また、強調表示部５４は、構造体検出処理により超音波画像Ｕ内から構造体が見つからない場合に、血管領域Ｒａを、「動脈」と「静脈」とのいずれであるかを区別せずに超音波画像Ｕ内に表示してもよい。
　また、強調表示部５４は、構造体検出処理により超音波画像Ｕ内から構造体が見つからない場合、及び構造体との相対位置関係による動静脈判定の精度が低い場合に、血管検出情報Ｄ１に含まれるラベルに基づいて強調表示を行ってもよい。
　また、強調表示部５４は、例えば図２２に示すように、修正部７４が選択したラベルに対するスコア（すなわち、修正部７４が選択した判定結果に対する確信度）を血管領域Ｒａに対応付けて表示してもよい。これにより、術者は、血管ごとの動静脈判定の確信度を把握することができる。
　また、強調表示部５４は、例えば図２３に示すように、修正部７４が選択したラベルに対するスコア（すなわち、修正部７４が選択した判定結果に対する確信度）が一定値よりも低い場合に、術者に注意を促すメッセージを表示してもよい。これにより、術者は、動静脈判定の確信度が低く、穿刺に際して注意が必要であることを確実に把握することができる。
　また、動静脈判定部７３は、構造体検出部７２が検出した構造体の種類などに応じて動静脈判定の基準を変更してもよい。これは、例えば、構造体が、血管との関係で、解剖学上典型的な特徴を有する場合には、動静脈判定のスコアが低くても判定結果が正しい可能性が高いためである。動静脈判定部７３は、例えば、構造体の種類などに応じてスコアに対する閾値（図２１参照）を変更する。具体的には、構造体が、血管との関係で、解剖学上典型的な特徴を有する場合には、解剖学上典型的な特徴を有しない場合よりも閾値を低く設定する。なお、スコアに対する閾値に限られず、動静脈判定のアルゴリズムを変更することにより、動静脈判定の基準を変更してもよい。
　また、第１実施形態では、血管に対するラベルを「動脈」と「静脈」との２種としているが、ラベルをさらに細分化してもよい。例えば、「静脈」を、「橈側皮静脈」、「尺側皮静脈」等に細分化する。これにより、動静脈判定部７３は、動静脈判定に加えて、血管の種類を特定することができる。この場合、強調表示部５４は、血管の種類を血管領域Ｒａに対応付けて表示してもよい。
　また、第１実施形態では、血管検出部７１は、血管の動静脈判定を行っているが、動静脈判定を行わず、血管領域Ｒａの検出のみを行うものであってもよい。この場合、血管検出部７１による動静脈判定の結果を修正する修正部７４は不要である。
　また、第１実施形態では、血管検出部７１と構造体検出部７２とをそれぞれ個別の物体検出モデルにより構成しているが、血管検出部７１と構造体検出部７２とを１つの物体検出モデルにより構成することも可能である。この場合、血管単体の教師画像と、構造体の教師画像とを含む教師データを用いて物体検出モデルを学習させればよい。また、血管検出部７１、構造体検出部７２、及び動静脈判定部７３を１つの物体検出モデルにより構成することも可能である。さらに、血管検出部７１、構造体検出部７２、動静脈判定部７３、及び修正部７４を１つの物体検出モデルにより構成することも可能である。
　また、第１実施形態では、血管検出部７１と構造体検出部７２とを、ＣＮＮからなる物体検出モデルにより構成しているが、物体検出モデルは、ＣＮＮに限られず、セグメンテーション、又はその他の一般的な検出モデルであってもよい。
　また、血管検出部７１と構造体検出部７２とを構成する物体検出モデルは、ＡｄａＢｏｏｓｔ、又はＳＶＭ（Support Vector Machine）などの画像特徴量に基づいて物体の識別を行う識別器で構成されていてもよい。この場合、教師画像を特徴量ベクトルに変換した後、特徴量ベクトルに基づいて識別器を学習させればよい。
　また、血管検出部７１及び構造体検出部７２は、機械学習による物体検出モデルに限られず、テンプレートマッチングにより物体検出を行うものであってもよい。この場合、血管検出部７１は、血管単体の典型的なパターンデータをテンプレートとして予め記憶しておき、超音波画像Ｕ内をテンプレートでサーチしながらパターンデータに対する類似度を算出する。そして、血管検出部７１は、類似度が一定以上でかつ最大となった場所を、血管領域Ｒａとして特定する。また、構造体検出部７２は、構造体の典型的なパターンデータをテンプレートとして予め記憶しておき、超音波画像Ｕ内をテンプレートでサーチしながらパターンデータに対する類似度を算出する。そして、構造体検出部７２は、類似度が一定以上でかつ最大となった場所を、血管領域Ｒａとして特定する。なお、テンプレートは、実際の超音波画像の一部であってもよいし、血管又は構造体を模式化して描いた画像であってもよい。
　また、類似度の算出には、単純なテンプレートマッチングの他に、例えば、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 （2004）に記載されている機械学習手法、あるいは、Krizhevsk et al.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, pp.1106-1114 （2012）に記載されているディープラーニングを用いた一般画像認識手法等を用いることができる。
　第１実施形態では、超音波プローブ１０と装置本体２０とが無線通信により接続されているが、これに代えて、超音波プローブ１０と装置本体２０とが有線接続されていてもよい。
　また、第１実施形態では、音線信号に基づいて超音波画像Ｕを生成する画像生成部５１が装置本体２０に設けられているが、これに代えて、画像生成部５１は、超音波プローブ１０内に設けられていてもよい。この場合、超音波プローブ１０は、超音波画像Ｕを生成して装置本体２０に出力する。装置本体２０のプロセッサ２５は、超音波プローブ１０から入力された超音波画像Ｕに基づいて画像解析等を行う。
　また、第１実施形態では、表示装置２１、入力装置２２、及び超音波プローブ１０がプロセッサ２５に直接的に接続されているが、表示装置２１、入力装置２２、超音波プローブ１０、及びプロセッサ２５が、ネットワークを介して間接的に接続されていてもよい。
　一例として図２４に示す超音波診断装置２Ａは、表示装置２１、入力装置２２、超音波プローブ１０Ａが、ネットワークＮＷを介して装置本体２０Ａに接続されたものである。装置本体２０Ａは、第１実施形態に係る装置本体２０から表示装置２１及び入力装置２２を除き、かつ送受信回路１４を付加したものであり、送受信回路１４、記憶装置２４、及びプロセッサ２５により構成されている。超音波プローブ１０Ａは、第１実施形態に係る超音波プローブ１０から送受信回路１４を除いたものである。
　このように、超音波診断装置２Ａでは、表示装置２１、入力装置２２、超音波プローブ１０ＡがネットワークＮＷを介して装置本体２０Ａと接続されているため、装置本体２０Ａを、いわゆる遠隔サーバとして使用することができる。これにより、例えば、術者は、表示装置２１、入力装置２２、及び超音波プローブ１０Ａを、術者の手元に用意することができ、利便性が向上する。また、表示装置２１及び入力装置２２を、スマートフォン又はタブレット端末等の携帯端末により構成することにより、利便性がさらに向上する。
　他の一例として図２５に示す超音波診断装置２Ｂでは、表示装置２１及び入力装置２２が装置本体２０Ｂに搭載されており、超音波プローブ１０ＡがネットワークＮＷを介して装置本体２０Ｂに接続されている。この場合、装置本体２０Ｂを遠隔サーバによって構成してもよい。また、装置本体２０Ｂを、スマートフォン又はタブレット端末等の携帯端末により構成することも可能である。
　第１実施形態において、例えば、主制御部５０、画像生成部５１、表示制御部５２、画像解析部５３、及び強調表示部５４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（プログラム２６）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　以上の記載から、以下の付記項１～９に記載の技術を把握することができる。
　［付記項１］
　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理を行う情報処理装置であって、
　プロセッサを備え、
　前記プロセッサは、
　前記超音波画像内から血管を含む血管領域を検出し、
　前記超音波画像内から血管以外の構造体を検出し、
　前記血管領域と前記構造体との相対位置関係に基づいて、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する、
　情報処理装置。
　［付記項２］
　前記プロセッサは、
　表示装置に表示される前記超音波画像内に、前記血管領域を、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを識別可能に表示する
　付記項１に記載の情報処理装置。
　［付記項３］
　前記プロセッサは、
　前記血管領域に基づいて、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する
　付記項２に記載の情報処理装置。
　［付記項４］
　前記プロセッサは、
　前記血管領域に基づく動静脈判定の結果を、前記血管領域と前記構造体との相対位置関係に基づく動静脈判定の結果に基づいて修正する
　付記項３に記載の情報処理装置。
　［付記項５］
　前記プロセッサは、
　前記血管領域に基づく動静脈判定の確信度と、前記血管領域と前記構造体との相対位置関係に基づく動静脈判定の確信度とを比較し、確信度が高い方の判定結果を選択する
　付記項４に記載の情報処理装置。
　［付記項６］
　前記プロセッサは、
　前記選択した判定結果に対する確信度を、前記表示装置に表示する
　付記項５に記載の情報処理装置。
　［付記項７］
　前記プロセッサは、
　前記選択した判定結果に対する確信度が一定値より低い場合に、注意を促すメッセージを前記表示装置に表示する
　付記項６に記載の情報処理装置。
　本開示の技術は、上述の種々の実施形態及び／又は種々の変形例を適宜組み合わせることも可能である。また、上記実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
２，２Ａ，２Ｂ　超音波診断装置
１０，１０Ａ　超音波プローブ
１１　ハウジング
１１Ａ　アレイ収容部
１１Ｂ　グリップ部
１３　振動子アレイ
１４　送受信回路
１５　通信部
１６　送信回路
１７　受信回路
２０　装置本体
２０Ａ，２０Ｂ　装置本体
２１　表示装置
２２　入力装置
２３　通信部
２４　記憶装置
２５　プロセッサ
２６　プログラム
３０　生体
３１　穿刺針
４１　増幅部
４２　Ａ／Ｄ変換部
４３　ビームフォーマ
５０　主制御部
５１　画像生成部
５２　表示制御部
５３　画像解析部
５４　強調表示部
６１　信号処理部
６２　ＤＳＣ
６３　画像処理部
７１　血管検出部
７１Ａ　血管検出モデル
７２　構造体検出部
７２Ａ　構造体検出モデル
７３　動静脈判定部
７４　修正部
Ａ　判定結果
Ｂ，Ｂ１，Ｂ２　血管
Ｄ１　血管検出情報
Ｄ２　構造体検出情報
Ｄ３　動静脈判定情報
ＤＢ　血管情報
Ｌ　正解ラベル
Ｍ　ガイドマーカ
ＮＷ　ネットワーク
Ｐ　教師画像
Ｒａ　血管領域
Ｒｂ　構造体領域
ＴＤ１，ＴＤ２　教師データ
Ｕ　超音波画像
ＵＢ　超音波ビーム

Claims (9)

  1. 　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理を行う情報処理装置であって、
    　前記超音波画像内から血管を含む血管領域を検出する血管検出部と、
    　前記超音波画像内から血管以外の構造体を検出する構造体検出部と、
    　前記血管領域と前記構造体との相対位置関係に基づいて、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する動静脈判定部と、
    　を備える情報処理装置。
  2. 　表示装置に表示される前記超音波画像内に、前記血管領域を、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを識別可能に表示する強調表示部
    　をさらに備える請求項１に記載の情報処理装置。
  3. 　前記血管検出部は、前記血管領域の検出に加えて、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する
    　請求項２に記載の情報処理装置。
  4. 　前記血管検出部が判定した動静脈判定の結果を、前記動静脈判定部による動静脈判定の結果に基づいて修正する修正部
    　をさらに備える請求項３に記載の情報処理装置。
  5. 　前記修正部は、前記血管検出部による動静脈判定の確信度と、前記動静脈判定部による動静脈判定の確信度とを比較し、確信度が高い方の判定結果を選択する
    　請求項４に記載の情報処理装置。
  6. 　前記強調表示部は、前記修正部が選択した前記判定結果に対する確信度を、前記表示装置に表示する
    　請求項５に記載の情報処理装置。
  7. 　前記強調表示部は、前記修正部が選択した前記判定結果に対する確信度が一定値より低い場合に、注意を促すメッセージを前記表示装置に表示する
    　請求項６に記載の情報処理装置。
  8. 　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理を行う情報処理方法であって、
    　前記超音波画像内から血管を含む血管領域を検出し、
    　前記超音波画像内から血管以外の構造体を検出し、
    　前記血管領域と前記構造体との相対位置関係に基づいて、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する
    　情報処理方法。
  9. 　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像に対する処理をコンピュータに実行させるプログラムであって、
    　前記超音波画像内から血管を含む血管領域を検出し、
    　前記超音波画像内から血管以外の構造体を検出し、
    　前記血管領域と前記構造体との相対位置関係に基づいて、前記血管領域に含まれる血管が動脈と静脈とのいずれであるかを判定する、
    　ことをコンピュータに実行させるプログラム。
PCT/JP2021/034785 2020-11-19 2021-09-22 情報処理装置、情報処理方法、及びプログラム WO2022107441A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022563599A JPWO2022107441A1 (ja) 2020-11-19 2021-09-22
CN202180075812.0A CN116528773A (zh) 2020-11-19 2021-09-22 信息处理装置、信息处理方法及程序
EP21894316.5A EP4248879A4 (en) 2020-11-19 2021-09-22 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US18/312,023 US20230274430A1 (en) 2020-11-19 2023-05-04 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020192722 2020-11-19
JP2020-192722 2020-11-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/312,023 Continuation US20230274430A1 (en) 2020-11-19 2023-05-04 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2022107441A1 true WO2022107441A1 (ja) 2022-05-27

Family

ID=81708841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034785 WO2022107441A1 (ja) 2020-11-19 2021-09-22 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20230274430A1 (ja)
EP (1) EP4248879A4 (ja)
JP (1) JPWO2022107441A1 (ja)
CN (1) CN116528773A (ja)
WO (1) WO2022107441A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040116812A1 (en) * 2002-12-13 2004-06-17 Selzer Robert H. System and method for improving ultrasound image acquisition and replication for repeatable measurements of vascular structures
JP2007222291A (ja) * 2006-02-22 2007-09-06 Yunekusu:Kk 動脈血管判定方法および装置
WO2013161228A1 (ja) * 2012-04-23 2013-10-31 パナソニック株式会社 超音波診断装置および超音波診断装置の制御方法
WO2014034148A1 (ja) * 2012-09-03 2014-03-06 パナソニック株式会社 超音波診断装置、超音波診断装置の制御方法および超音波診断装置の制御器
JP2015500122A (ja) * 2011-12-16 2015-01-05 コーニンクレッカ フィリップス エヌ ヴェ 名前による自動血管識別
JP2017524455A (ja) 2015-04-03 2017-08-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管を識別する超音波システム及び方法
CN111134727A (zh) * 2018-11-02 2020-05-12 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别的穿刺引导系统
US20200229795A1 (en) * 2019-01-22 2020-07-23 General Electric Company Method and systems for color flow imaging of arteries and veins

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044769A1 (ja) * 2018-08-27 2020-03-05 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040116812A1 (en) * 2002-12-13 2004-06-17 Selzer Robert H. System and method for improving ultrasound image acquisition and replication for repeatable measurements of vascular structures
JP2007222291A (ja) * 2006-02-22 2007-09-06 Yunekusu:Kk 動脈血管判定方法および装置
JP2015500122A (ja) * 2011-12-16 2015-01-05 コーニンクレッカ フィリップス エヌ ヴェ 名前による自動血管識別
WO2013161228A1 (ja) * 2012-04-23 2013-10-31 パナソニック株式会社 超音波診断装置および超音波診断装置の制御方法
WO2014034148A1 (ja) * 2012-09-03 2014-03-06 パナソニック株式会社 超音波診断装置、超音波診断装置の制御方法および超音波診断装置の制御器
JP2017524455A (ja) 2015-04-03 2017-08-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管を識別する超音波システム及び方法
CN111134727A (zh) * 2018-11-02 2020-05-12 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别的穿刺引导系统
US20200229795A1 (en) * 2019-01-22 2020-07-23 General Electric Company Method and systems for color flow imaging of arteries and veins

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSURKA ET AL.: "Visual Categorization with Bags of Keypoints", PROC. OF ECCV WORKSHOP ON STATISTICAL LEARNING IN COMPUTER VISION, 2004, pages 59 - 74
KRIZHEVSK ET AL.: "ImageNet Classification with Deep Convolutional Neural Networks", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, vol. 25, 2012, pages 1106 - 1114
See also references of EP4248879A4

Also Published As

Publication number Publication date
US20230274430A1 (en) 2023-08-31
EP4248879A4 (en) 2023-11-22
JPWO2022107441A1 (ja) 2022-05-27
EP4248879A1 (en) 2023-09-27
CN116528773A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
JP2014028128A (ja) 超音波診断装置及び画像処理方法
CN114364325B (zh) 超声波诊断装置及超声波诊断装置的控制方法
US11596381B2 (en) Multiple frequency scanning using an ultrasound probe
US20210219960A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP7176123B2 (ja) 超音波診断装置、及び超音波診断装置の制御方法
US11759173B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
WO2022113844A1 (ja) 情報処理装置、超音波診断装置、情報処理方法、及び情報処理プログラム
WO2020166143A1 (ja) 超音波診断装置および超音波診断装置の制御方法
CN107809956B (zh) 超声设备及其操作方法
WO2021014773A1 (ja) 超音波診断装置および超音波診断装置の制御方法
WO2022107441A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022107440A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20150101315A (ko) 점액낭의 위치 정보를 표시하는 방법 및 이를 위한 초음파 장치
KR20210092977A (ko) 초음파 영상 장치 및 그 제어 방법
JP2021074295A (ja) 穿刺支援装置
JP2021058232A (ja) 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
US20230190238A1 (en) Ultrasound system and control method of ultrasound system
US20240065671A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20240130712A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
WO2022168521A1 (ja) 超音波診断装置および超音波診断装置の制御方法
US20240112357A1 (en) Image processing apparatus, system, image processing method, and image processing program
US20230190237A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4360565A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
JP2023148356A (ja) 医用情報処理装置、超音波診断装置、及び学習用データ生成方法
JP2023058108A (ja) 情報処理装置および超音波処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894316

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563599

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180075812.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021894316

Country of ref document: EP

Effective date: 20230619