WO2022107440A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2022107440A1
WO2022107440A1 PCT/JP2021/034782 JP2021034782W WO2022107440A1 WO 2022107440 A1 WO2022107440 A1 WO 2022107440A1 JP 2021034782 W JP2021034782 W JP 2021034782W WO 2022107440 A1 WO2022107440 A1 WO 2022107440A1
Authority
WO
WIPO (PCT)
Prior art keywords
blood vessel
unit
determination
arteriovenous
aggregate
Prior art date
Application number
PCT/JP2021/034782
Other languages
English (en)
French (fr)
Inventor
剛 松本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022563598A priority Critical patent/JPWO2022107440A1/ja
Priority to EP21894315.7A priority patent/EP4248878A4/en
Priority to CN202180076543.XA priority patent/CN116507288A/zh
Publication of WO2022107440A1 publication Critical patent/WO2022107440A1/ja
Priority to US18/310,032 priority patent/US20230263505A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the techniques disclosed in this disclosure relate to information processing devices, information processing methods, and programs.
  • an ultrasonic diagnostic apparatus has been known as a device for obtaining an image of the inside of a subject.
  • An ultrasonic diagnostic apparatus generally has an ultrasonic probe provided with an oscillator array in which a plurality of ultrasonic oscillators are arranged.
  • This ultrasonic probe transmits an ultrasonic beam from the vibrator array toward the inside of the subject in a state of being in contact with the body surface of the subject, and receives an ultrasonic echo from the subject by the vibrator array.
  • the electric signal corresponding to the ultrasonic echo is acquired.
  • the ultrasonic diagnostic apparatus processes the acquired electric signal to generate an ultrasonic image of the site of the subject.
  • an arteriovenous determination At the time of puncture, the surgeon needs to accurately determine whether the blood vessel is an artery or a vein based on an ultrasonic image. Hereinafter, this determination is referred to as an arteriovenous determination.
  • the technique of the present disclosure is intended to provide an information processing device, an information processing method, and a program capable of supporting an arteriovenous determination of a blood vessel.
  • the information processing apparatus of the present disclosure causes an ultrasonic beam to be transmitted from the vibrator array toward the living body, and displays an ultrasonic image generated by receiving the ultrasonic echo generated in the living body on the display device.
  • An information processing device that performs processing to detect a blood vessel aggregate region including a blood vessel aggregate region in which three or more blood vessels are aggregated from within an ultrasonic image, and an ultrasonic image of the blood vessel aggregate region. It is provided with a highlighting unit for highlighting inside.
  • the arteriovenous determination unit makes a determination based on at least one characteristic amount among the blood vessel diameter, the amount of displacement of the blood vessel from the center of the blood vessel aggregate region, and the circularity of the blood vessel.
  • the correction unit compares the certainty of the arteriovenous determination by the single blood vessel detection unit with the certainty of the arteriovenous determination by the arteriovenous determination unit, and selects the judgment result having the higher certainty.
  • the highlighting unit displays each of the blood vessels contained in the blood vessel aggregate region so that the arteries and veins can be distinguished based on the correction result by the correction unit.
  • the highlighting unit displays the degree of certainty for the determination result selected by the correction unit on the display device.
  • the highlighting unit displays a message calling attention on the display device when the certainty of the determination result selected by the correction unit is lower than a certain value.
  • an ultrasonic beam is transmitted from an oscillator array toward an in-vivo body, and an ultrasonic image generated by receiving an ultrasonic echo generated in the living body is displayed on a display device. It is an information processing method that performs processing to detect a vascular aggregate region containing a vascular aggregate in which three or more blood vessels are aggregated from the ultrasonic image, and highlight the detected vascular aggregate region in the ultrasonic image. do.
  • the program of the present disclosure is a process of transmitting an ultrasonic beam from an oscillator array toward an in-vivo body and displaying an ultrasonic image generated by receiving an ultrasonic echo generated in the living body on a display device.
  • an information processing device an information processing method, and a program capable of supporting the arteriovenous determination of a blood vessel.
  • FIG. 1 shows an example of the configuration of the ultrasonic diagnostic apparatus 2 according to the technique of the present disclosure.
  • the ultrasonic diagnostic apparatus 2 according to the present embodiment includes an ultrasonic probe 10 and an apparatus main body 20.
  • the ultrasonic probe 10 is held by the operator and comes into contact with the surface of the living body to be measured.
  • the ultrasonic probe 10 transmits and receives an ultrasonic beam to and from the inside of a living body.
  • the device main body 20 is, for example, a smartphone, a tablet terminal, or the like.
  • the device main body 20 images the signal output from the ultrasonic probe 10 by installing a program such as application software.
  • the ultrasonic probe 10 and the device main body 20 perform wireless communication (that is, wireless communication) with each other by, for example, WiFi or Bluetooth (registered trademark).
  • the device main body 20 is not limited to a mobile terminal such as a smartphone or a tablet terminal, and may be a PC (Personal Computer) or the like.
  • the device main body 20 is an example of an "information processing device" according to the technique of the present disclosure.
  • the ultrasonic probe 10 has a housing 11.
  • the housing 11 is composed of an array accommodating portion 11A and a grip portion 11B.
  • the array accommodating portion 11A accommodates the oscillator array 13 (see FIG. 3).
  • the grip portion 11B is connected to the array accommodating portion 11A and is gripped by the operator.
  • the direction from the grip portion 11B toward the array accommodating portion 11A is the + Y direction
  • the width direction of the ultrasonic probe 10 orthogonal to the Y direction is the X direction
  • the directions orthogonal to the X direction and the Y direction That is, the thickness direction of the ultrasonic probe 10) is the Z direction.
  • An acoustic lens is arranged at the + Y direction end of the array accommodating portion 11A.
  • a so-called acoustic matching layer (not shown) is arranged on the vibrator array 13, and an acoustic lens is arranged on the acoustic matching layer.
  • the plurality of oscillators included in the oscillator array 13 are arranged linearly along the X direction. That is, the ultrasonic probe 10 of the present embodiment is a linear type, and transmits an ultrasonic beam UB linearly.
  • the ultrasonic probe 10 may be a convex type in which the oscillator array 13 is arranged in a convex curved surface. In this case, the ultrasonic probe 10 transmits the ultrasonic beam UB radially. Further, the ultrasonic probe 10 may be a sector type.
  • a linear guide marker M extending along the Y direction is attached to the outer peripheral portion of the array accommodating portion 11A.
  • the guide marker M is used as a guide when the operator brings the ultrasonic probe 10 into contact with the living body.
  • the device main body 20 has a display device 21 for displaying an ultrasonic image based on a signal transmitted from the ultrasonic probe 10.
  • the display device 21 is, for example, a display device such as an organic EL (Organic Electro-Luminescence) display or a liquid crystal display.
  • the display device 21 has a built-in touch panel. The operator can perform various operations on the device main body 20 by using the touch panel.
  • FIG. 2 is a diagram illustrating an example of an echo-guided puncture method.
  • the ultrasonic probe 10 is used when the operator punctures the blood vessel B in the living body 30 with the puncture needle 31 while checking the ultrasonic image displayed on the device main body 20.
  • the living body 30 is, for example, a human arm.
  • the ultrasonic probe 10 is applied to the surface of the living body 30 so that the width direction (that is, the X direction) of the ultrasonic probe 10 crosses the traveling direction of the blood vessel B. This procedure is called the short axis method (or crossing method).
  • the ultrasonic image shows the cross section of the blood vessel B.
  • the surgeon punctures, for example, a vein among one or more blood vessels B displayed on the ultrasonic image.
  • the apparatus main body 20 After detecting the blood vessel from the ultrasonic image, the apparatus main body 20 determines the arteriovenous of the blood vessel, and displays the result of the arteriovenous determination in the ultrasonic image displayed on the display device 21 by the operator. Support puncture.
  • FIG. 3 shows an example of the configuration of the ultrasonic diagnostic apparatus 2.
  • the ultrasonic probe 10 includes an oscillator array 13, a transmission / reception circuit 14, and a communication unit 15.
  • the transmission / reception circuit 14 includes a transmission circuit 16 and a reception circuit 17.
  • the transmission circuit 16 and the reception circuit 17 are each connected to the oscillator array 13. Further, the transmission / reception circuit 14 inputs / outputs / outputs signals to / from the processor 25 of the apparatus main body 20 via the communication unit 15, respectively.
  • the oscillator array 13 has a plurality of oscillators (not shown) arranged one-dimensionally or two-dimensionally. Each of these oscillators transmits an ultrasonic beam UB according to a drive signal supplied from the transmission circuit 16 and receives an ultrasonic echo from the living body 30. The oscillator outputs a signal based on the received ultrasonic echo.
  • the oscillator is configured, for example, by forming electrodes at both ends of the piezoelectric body.
  • Piezoelectric materials include piezoelectric ceramics typified by PZT (Lead Zirconate Titanate), polymer piezoelectric elements typified by PVDF (Poly Vinylidene Di Fluoride), and piezoelectric typified by PMN-PT (Lead Magnetesium Niobate-Lead Titanate). It consists of a single crystal or the like.
  • the transmission circuit 16 includes, for example, a plurality of pulse generators.
  • the transmission circuit 16 adjusts the delay amount of the drive signal based on the transmission delay pattern selected according to the control signal transmitted from the processor 25 of the apparatus main body 20, and a plurality of oscillators included in the oscillator array 13. Supply to.
  • the delay amount of the drive signal is adjusted by the transmission circuit 16 so that the ultrasonic waves transmitted from the plurality of oscillators form the ultrasonic beam UB.
  • the drive signal is a pulsed or continuous wave voltage signal. When a drive signal is applied, the vibrator expands and contracts to transmit pulsed or continuous wave ultrasonic waves. By synthesizing ultrasonic waves transmitted from a plurality of oscillators, an ultrasonic beam UB as a synthesized wave is formed.
  • the ultrasonic beam UB transmitted into the living body 30 is reflected at a site such as a blood vessel B in the living body 30 to become an ultrasonic echo and propagates toward the vibrator array 13.
  • the ultrasonic echo propagating toward the oscillator array 13 in this way is received by a plurality of oscillators constituting the oscillator array 13.
  • the vibrator expands and contracts to generate an electric signal by receiving an ultrasonic echo.
  • the electric signal generated by the vibrator is output to the receiving circuit 17.
  • the receiving circuit 17 generates a sound line signal by processing an electric signal output from the vibrator array 13 according to a control signal transmitted from the processor 25 of the apparatus main body 20.
  • the receiving circuit 17 is configured by connecting an amplification unit 41, an A / D (Analog to Digital) conversion unit 42, and a beam former 43 in series.
  • the amplification unit 41 amplifies the signals input from the plurality of vibrators constituting the vibrator array 13, and transmits the amplified signal to the A / D conversion unit 42.
  • the A / D conversion unit 42 converts the signal transmitted from the amplification unit 41 into digital reception data, and transmits the converted reception data to the beam former 43.
  • Each of the beam formers 43 is converted by the A / D conversion unit 42 according to the sound velocity or the sound velocity distribution set based on the reception delay pattern selected according to the control signal transmitted from the processor 25 of the apparatus main body 20. Each delay is given to the received data and added. This addition process is called a receive focus process.
  • each received data converted by the A / D conversion unit 42 is phase-adjusted and added, and a sound line signal in which the focus of the ultrasonic echo is narrowed down is acquired.
  • the device main body 20 has a display device 21, an input device 22, a communication unit 23, a storage device 24, and a processor 25.
  • the input device 22 is, for example, a touch panel incorporated in the display device 21 or the like.
  • the input device 22 may be a keyboard, a mouse, a trackball, a touch pad, or the like.
  • the communication unit 23 performs wireless communication with the communication unit 15 of the ultrasonic probe 10.
  • the input device 22 and the storage device 24 are connected to the processor 25.
  • the processor 25 and the storage device 24 are connected so that information can be exchanged in both directions.
  • the storage device 24 is a device that stores a program 26 or the like that operates the ultrasonic diagnostic device 2, and is, for example, a flash memory, an HDD (Hard Disc Drive), or an SSD (Solid State Drive).
  • the storage device 24 is an FD (Flexible Disc), MO (Magneto-Optical) disc, magnetic tape, CD (Compact Disc), DVD (Digital Versatile Disc), SD (Secure).
  • a recording medium such as a Digital) card, a USB (Universal Serial Bus) memory, a server, or the like can be used.
  • the processor 25 is, for example, a CPU (Central Processing Unit). Based on the program 26, the processor 25 performs processing in cooperation with a RAM (RandomAccessMemory) memory (not shown) and the like, so that the main control unit 50, the image generation unit 51, the display control unit 52, and the image analysis unit It functions as 53 and the highlighting unit 54.
  • a CPU Central Processing Unit
  • RAM RandomAccessMemory
  • the processor 25 is not limited to the CPU, but uses FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), GPU (Graphics Processing Unit), and other ICs (Integrated Circuit). It may be configured by the above, or it may be configured by combining them.
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • GPU Graphics Processing Unit
  • ICs Integrated Circuit
  • the main control unit 50 controls each unit of the ultrasonic diagnostic apparatus 2 based on an input operation by the operator via the input device 22.
  • the main control unit 50 transmits the above-mentioned control signal to the ultrasonic probe 10 via the communication unit 23.
  • a sound line signal generated by the receiving circuit 17 from the ultrasonic probe 10 is input to the processor 25 via the communication unit 23.
  • the image generation unit 51 acquires a sound line signal input from the ultrasonic probe 10 under the control of the main control unit 50, and generates an ultrasonic image U based on the acquired sound line signal.
  • the image generation unit 51 is configured by connecting a signal processing unit 61, a DSC (Digital Scan Converter) 62, and an image processing unit 63 in series.
  • DSC Digital Scan Converter
  • the signal processing unit 61 corrects the attenuation of the sound line signal generated by the receiving circuit 17 due to the distance according to the depth of the ultrasonic reflection position, and then performs the envelope detection process to perform the subject. Generates a B-mode image signal, which is tomographic image information about the tissue inside.
  • the DSC 62 converts the B-mode image signal generated by the signal processing unit 61 into an image signal according to a normal television signal scanning method (so-called raster conversion).
  • the image processing unit 63 performs various image processing such as gradation processing on the B mode image signal input from the DSC 62, and then outputs the B mode image signal to the display control unit 52 and the image analysis unit 53.
  • the B-mode image signal that has been image-processed by the image processing unit 63 is simply referred to as an ultrasonic image U.
  • the transmission / reception circuit 14 of the ultrasonic probe 10 and the image generation unit 51 are controlled by the main control unit 50 so that the ultrasonic image U is periodically generated at a constant frame rate.
  • the transmission / reception circuit 14 and the image generation unit 51 function as an image acquisition unit for acquiring the ultrasonic image U.
  • the display control unit 52 Under the control of the main control unit 50, the display control unit 52 performs a predetermined process on the ultrasonic image U generated by the image generation unit 51, and causes the display device 21 to display the processed ultrasonic image U. ..
  • the image analysis unit 53 generates a blood vessel detection information DB by image analysis of the ultrasonic image U input from the image generation unit 51 under the control of the main control unit 50, and emphasizes the generated blood vessel detection information DB. Output to the display unit 54.
  • the blood vessel detection information DB includes, for example, a detection result of a blood vessel region included in the ultrasonic image U and an arteriovenous determination result of the detected blood vessel.
  • the blood vessel region includes a "single blood vessel region" representing a region of a single blood vessel and a "vascular aggregate region” representing a region of a blood vessel aggregate in which three or more blood vessels are aggregated.
  • a vascular aggregate is, for example, a complex of arteries and accompanying veins. Vascular aggregates are primarily located in anatomically stable areas.
  • the highlighting unit 54 controls the display control unit 52 based on the blood vessel detection information DB input from the image analysis unit 53 under the control of the main control unit 50, so that the ultrasonic waves displayed on the display device 21 are displayed.
  • the single blood vessel region and the aggregate blood vessel region are highlighted in the image U. Further, the highlighting unit 54 displays the blood vessel single region so that it can be discriminated whether the blood vessel contained in the blood vessel single region is an artery or a vein based on the arteriovenous determination result.
  • the image analysis unit 53 is composed of a blood vessel single detection unit 71, a blood vessel aggregate detection unit 72, an arteriovenous determination unit 73, and a correction unit 74.
  • the ultrasonic image U generated by the image generation unit 51 is input to the blood vessel unit detection unit 71 and the blood vessel aggregate detection unit 72.
  • the single blood vessel detection unit 71 identifies the single blood vessel region by individually detecting each blood vessel contained in the ultrasonic image U, and determines the arteriovenous of the blood vessel contained in the single blood vessel region.
  • the blood vessel unit detection unit 71 outputs information including the detection result of the blood vessel unit region and the arteriovenous determination result for each blood vessel unit region to the correction unit 74 as the blood vessel unit detection information D1.
  • the blood vessel aggregate detection unit 72 detects a blood vessel aggregate region in which three or more blood vessels are aggregated based on the ultrasonic image U, and uses information representing the detected blood vessel aggregate region as the blood vessel aggregate detection information D2 in the arteries and veins. Output to the determination unit 73.
  • the arteriovenous determination unit 73 performs arteriovenous determination for each of the blood vessels in the blood vessel aggregate region included in the blood vessel aggregate detection information D2, and the information indicating the result of the arteriovenous determination is corrected as the arteriovenous determination information D3. Output to 74.
  • the correction unit 74 corrects the arteriovenous determination result included in the blood vessel unit detection information D1 based on the arteriovenous determination information D3.
  • the correction unit 74 outputs information including the corrected blood vessel unit detection information D1, blood vessel aggregate detection information D2, and arteriovenous determination information D3 to the highlighting unit 54 as the above-mentioned blood vessel detection information DB.
  • FIG. 7 shows an example of blood vessel unit detection processing by the blood vessel unit detection unit 71.
  • the blood vessel unit detection unit 71 performs a process of detecting a blood vessel unit region Rs including a blood vessel unit from the ultrasonic image U and an arteriovenous determination using a known algorithm.
  • reference numerals B1 to B5 represent blood vessels.
  • the single blood vessel region Rs shown by the broken line represents a region including the blood vessel B determined to be an artery.
  • the single blood vessel region Rs shown by the solid line represents a region including the blood vessel B determined to be a vein.
  • a "label” indicating the arteriovenous determination result and a “score” indicating the certainty (that is, certainty) of the arteriovenous determination result are attached to the single blood vessel region Rs.
  • the label indicates whether the blood vessel B contained in the single blood vessel region Rs is an "artery” or a "vein”.
  • the score is a value within the range of 0 or more and 1 or less, and the closer it is to 1, the higher the certainty.
  • the single blood vessel region Rs labeled and scored corresponds to the above-mentioned single blood vessel detection information D1.
  • the blood vessel unit detection unit 71 performs the blood vessel unit detection process using the blood vessel unit detection model 71A (see FIG. 8), which is a learned model generated by machine learning.
  • the single blood vessel detection model 71A is, for example, an algorithm for detecting an object using deep learning.
  • an object detection model composed of R-CNN (Regional CNN), which is a kind of convolutional neural network (CNN), can be used.
  • the single blood vessel detection model 71A detects a region containing a single blood vessel as an object in the ultrasonic image U, and determines a label for the detected region. Then, the blood vessel unit detection model 71A outputs information representing the detected blood vessel unit region Rs together with a label and a score.
  • FIG. 8 is a diagram illustrating an example of a learning phase in which the single blood vessel detection model 71A is learned by machine learning.
  • the blood vessel unit detection model 71A performs learning using the teacher data TD1.
  • the teacher data TD1 includes a plurality of teacher images P with a correct label L.
  • the teacher image P included in the teacher data TD1 is a sample image of a single blood vessel (artery and vein).
  • the teacher data TD1 includes various teacher images P having different shapes, sizes, and the like of blood vessels.
  • the teacher image P is input to the blood vessel unit detection model 71A.
  • the blood vessel unit detection model 71A outputs the determination result A for the teacher image P. Based on this determination result A and the correct label L, a loss operation using a loss function is performed. Then, various coefficients of the blood vessel unit detection model 71A are updated according to the result of the loss calculation, and the blood vessel unit detection model 71A is updated according to the update setting.
  • a series of processes of inputting the teacher image P to the blood vessel unit detection model 71A, outputting the determination result A from the blood vessel unit detection model 71A, loss calculation, update setting, and updating the blood vessel unit detection model 71A are performed. It is repeated. The repetition of this series of processes ends when the detection accuracy reaches a predetermined set level.
  • the blood vessel unit detection model 71A whose detection accuracy has reached the set level is stored in the storage device 24 and then used by the blood vessel unit detection unit 71 in the blood vessel unit detection process, which is the operation phase.
  • FIG. 9 shows an example of the blood vessel aggregate detection process by the blood vessel aggregate detection unit 72.
  • the blood vessel aggregate detection unit 72 performs a process of detecting the blood vessel aggregate region Ra including the blood vessel aggregate from the ultrasonic image U by using a known algorithm.
  • the blood vessel aggregate detection unit 72 performs the blood vessel aggregate detection process using the blood vessel aggregate detection model 72A (see FIG. 10), which is a learned model generated by machine learning.
  • the blood vessel aggregate detection model 72A is, for example, an algorithm for object detection using deep learning.
  • As the blood vessel aggregate detection model 72A for example, an object detection model composed of R-CNN, which is a kind of CNN, can be used.
  • the blood vessel aggregate detection unit 72 detects the blood vessel aggregate region Ra including the blood vessel aggregate as an object from the ultrasonic image U.
  • the information representing the blood vessel aggregate region Ra corresponds to the above-mentioned blood vessel aggregate detection information D2.
  • FIG. 10 is a diagram illustrating an example of a learning phase in which the blood vessel aggregate detection model 72A is learned by machine learning.
  • the blood vessel aggregate detection model 72A performs learning using the teacher data TD2.
  • the teacher data TD2 includes a plurality of teacher images P with the correct label L.
  • the teacher image P included in the teacher data TD2 is a sample image of a blood vessel aggregate.
  • the teacher data TD2 includes various teacher images P different in the number of blood vessels constituting the blood vessel aggregate, the shape of the blood vessels, the size of the blood vessels, the arrangement (positional relationship) of the plurality of blood vessels, and the like.
  • the teacher image P is input to the blood vessel aggregate detection model 72A.
  • the blood vessel aggregate detection model 72A outputs the determination result A for the teacher image P. Based on this determination result A and the correct label L, a loss operation using a loss function is performed. Then, various coefficients of the blood vessel aggregate detection model 72A are updated according to the result of the loss calculation, and the blood vessel aggregate detection model 72A is updated according to the update setting.
  • the blood vessel aggregate detection model 72A whose detection accuracy has reached a set level is stored in the storage device 24 and then used by the blood vessel aggregate detection unit 72 in the blood vessel aggregate detection process, which is an operation phase.
  • FIG. 11 shows an example of the arteriovenous determination process by the arteriovenous determination unit 73.
  • the arteriovenous determination unit 73 performs arteriovenous determination for each of the blood vessels B contained in the blood vessel aggregate region Ra based on the blood vessel aggregate detection information D2, and obtains a label and a score for each blood vessel B to determine the arteriovenous vein. Generate information D3.
  • the arteriovenous determination unit 73 uses the feature amount of the anatomical blood vessel in the blood vessel aggregate region Ra in the arteriovenous determination.
  • the arteriovenous determination unit 73 obtains a score for each of "artery" and "vein" as labels for blood vessel B, and selects the label having the larger score.
  • FIG. 12 is a diagram illustrating an example of the arteriovenous determination process in more detail.
  • the arteriovenous determination unit 73 calculates a feature amount for each of the blood vessels B contained in the blood vessel aggregate region Ra.
  • the feature amounts include the diameter (hereinafter referred to as blood vessel diameter) D of each blood vessel B in the blood vessel aggregate region Ra, the displacement amount K of the blood vessel B from the center C of the blood vessel aggregate region Ra, the circularity of each blood vessel B, and the like.
  • the displacement amount K is, for example, the distance from the center C of the blood vessel aggregate region Ra to the center of each blood vessel B.
  • the arteriovenous determination unit 73 determines whether each of the blood vessels B is an artery or a vein by using at least one feature amount of the blood vessel diameter D, the displacement amount K, and the circularity.
  • the arteriovenous determination unit 73 performs arteriovenous determination using, for example, an algorithm by machine learning such as AdaBoost and SVM (Support Vector Machine).
  • the arteriovenous determination unit 73 makes an arteriovenous determination for each of the blood vessels B based on these feature quantities, calculates a score, and determines a label. For example, the arteriovenous determination unit 73 calculates a score as an artery and a score as a vein for each of the blood vessels B, and selects the label having the larger score. In this way, by performing the determination using the anatomical features as the blood vessel aggregate, the arteriovenous determination can be performed with high accuracy.
  • FIG. 13 shows an example of the correction process by the correction unit 74.
  • the correction unit 74 compares the score included in the arteriovenous determination information D3 with the score included in the blood vessel unit detection information D1 for the corresponding blood vessel B, and selects the label having the higher score. For example, in the example shown in FIG. 13, for the blood vessel B3, the score (0.90) included in the arteriovenous determination information D3 is higher than the score (0.75) included in the blood vessel unit detection information D1. Therefore, the correction unit 74 selects the label (artery) included in the arteriovenous determination information D3 instead of the label (vein) included in the blood vessel unit detection information D1 as the label of the blood vessel B3.
  • the correction unit 74 selects the label having the higher score for the blood vessels B4 and B5. That is, in the example shown in FIG. 13, only the label of the blood vessel B3 is corrected among the labels of the blood vessels B1 to B5 included in the blood vessel unit detection information D1. In this way, the label included in the blood vessel unit detection information D1 is corrected.
  • the correction unit 74 displays the information including the corrected blood vessel unit detection information D1 with the modified label, the blood vessel aggregate detection information D2, and the arteriovenous determination information D3 on the highlighting unit 54 as the above-mentioned blood vessel detection information DB.
  • the blood vessel detection information DB includes position information of the blood vessel single region Rs and the blood vessel aggregate region Ra in the ultrasonic image U, and labels and scores for the blood vessel single region Rs.
  • FIG. 14 shows an example of highlighting processing by the highlighting unit 54.
  • the highlighting unit 54 uses a rectangular frame to display the blood vessel single region Rs and the blood vessel aggregate region Ra in the ultrasonic image U displayed on the display device 21 of the device main body 20 based on the blood vessel detection information DB. indicate. Further, the highlighting unit 54 displays the blood vessel single region Rs so that it can be discriminated whether the blood vessel contained in the blood vessel single region Rs is an artery or a vein, based on the arteriovenous determination result.
  • the single blood vessel region Rs containing a vein is shown by a solid line
  • the single blood vessel region Rs containing an artery is shown by a broken line.
  • the blood vessel aggregate region Ra is shown by a two-dot chain line.
  • the highlighting unit 54 may display the blood vessel single region Rs and the blood vessel aggregate region Ra not only by the line type but also by the line thickness, the line color, the line brightness, and the like so as to be distinguishable.
  • the main control unit 50 determines whether or not the start operation has been performed by the operator using the input device 22 or the like (step S10).
  • step S10 determines that the start operation has been performed
  • step S11 the main control unit 50 generates an ultrasonic image U by operating the transmission / reception circuit 14 of the ultrasonic probe 10 and the image generation unit 51.
  • Step S11 The generated ultrasonic image U is displayed on the display device 21 by the display control unit 52.
  • the ultrasonic beam UB is transmitted from the vibrator array 13 into the living body 30 according to the drive signal input from the transmission circuit 16.
  • the ultrasonic echo from the living body 30 is received by the vibrator array 13, and the received signal is output to the receiving circuit 17.
  • the received signal received by the receiving circuit 17 becomes a sound line signal via the amplification unit 41, the A / D conversion unit 42, and the beam former 43. This sound line signal is output to the device main body 20 via the communication unit 15.
  • the device main body 20 receives the sound line signal output from the ultrasonic probe 10 via the communication unit 23.
  • the sound line signal received by the apparatus main body 20 is input to the image generation unit 51.
  • the sound line signal becomes a B-mode image signal by being subjected to envelope detection processing in the signal processing unit 61 in the image generation unit 51, and after passing through the DSC 62 and the image processing unit 63, is displayed as an ultrasonic image U in the display control unit. It is output to 52. Further, the ultrasonic image U is output to the image analysis unit 53.
  • the blood vessel unit detection process (see FIG. 7) described above is performed by the blood vessel unit detection unit 71 (step S12).
  • the blood vessel unit detection information D1 generated by this blood vessel unit detection process is output to the correction unit 74.
  • steps S13 and S14 are performed in parallel with step S12.
  • the blood vessel aggregate detection unit 72 performs the above-mentioned blood vessel aggregate detection process (see FIG. 9).
  • the blood vessel aggregate detection information D2 generated by this blood vessel aggregate detection process is output to the arteriovenous determination unit 73.
  • the arteriovenous determination unit 73 performs the above-mentioned arteriovenous determination process (see FIGS. 11 and 12).
  • the arteriovenous determination information D3 generated by this arteriovenous determination process is output to the correction unit 74.
  • the correction unit 74 performs the above-mentioned correction process (see FIG. 13) (step S15).
  • this correction process the label for the blood vessel single region Rs included in the blood vessel single detection information D1 is corrected based on the arteriovenous determination information D3.
  • the blood vessel detection information DB is output to the highlighting unit 54.
  • the highlighting unit 54 performs the above-mentioned highlighting process (see FIG. 14) (step S16).
  • the blood vessel single region Rs and the blood vessel aggregate region Ra are highlighted in the ultrasonic image U displayed on the display device 21. Further, the single blood vessel region Rs is displayed so as to be distinguishable whether the blood vessel contained therein is an artery or a vein.
  • the surgeon can accurately grasp the blood vessel aggregate existing in the ultrasonic image U, and can determine whether the blood vessel alone is an artery or a vein. It can be grasped accurately.
  • the main control unit 50 determines whether or not the termination operation has been performed by the operator using the input device 22 or the like (step S17). If the main control unit 50 determines that the end operation has not been performed (step S17: NO), the process returns to step S11. As a result, a new ultrasonic image U is generated. On the other hand, when it is determined that the termination operation has been performed (step S17: YES), the main control unit 50 terminates the operation of the ultrasonic diagnostic apparatus 2.
  • a blood vessel is detected by a single blood vessel detection process, and the arteriovenous determination is individually performed for the detected blood vessel.
  • an error often occurs in the arteriovenous determination of the blood vessels constituting the blood vessel aggregate, and the arteriovenous determination may change for each frame.
  • the operator tried to puncture based on the result of such arteriovenous determination the blood vessel to be punctured may be mistaken.
  • the blood vessel aggregate region Ra is detected from the ultrasonic image U, and the detected blood vessel aggregate region Ra is highlighted in the ultrasonic image U, so that the blood vessel by the operator Can support the arteriovenous determination of. Further, according to the technique of the present disclosure, since the arteriovenous determination is performed based on the feature amount of the blood vessel in the blood vessel aggregate region Ra, the arteriovenous determination can be performed accurately even for the blood vessels constituting the blood vessel aggregate. Can be done. This allows the operator to accurately grasp the blood vessel (for example, a vein) to be punctured.
  • the arteriovenous determination unit 73 obtains a score for each of "artery" and "vein” as labels for blood vessel B in the arteriovenous determination process (see FIGS. 11 and 12), and the score is obtained. The larger label is selected.
  • a threshold value for the score may be set, and a label having a score equal to or higher than the threshold value may be selected.
  • the arteriovenous determination unit 73 may stop the arteriovenous determination because it is difficult to determine the label (that is, the arteriovenous determination).
  • the highlighting unit 54 displays the single blood vessel region Rs in the ultrasonic image U without distinguishing between "artery” and "vein”. It may be displayed. In this case, the highlighting unit 54 may simply display the single blood vessel region Rs as a “blood vessel”, as shown in FIG. 18, for example.
  • the highlighting unit 54 displays the score for the label selected by the correction unit 74 (that is, the certainty of the determination result selected by the correction unit 74) in association with the blood vessel single region Rs. You may. This allows the operator to grasp the certainty of the arteriovenous determination for each blood vessel.
  • the highlighting unit 54 operates when the score for the label selected by the correction unit 74 (that is, the certainty of the determination result selected by the correction unit 74) is lower than a certain value.
  • a message may be displayed to call attention to the person.
  • the arteriovenous determination unit 73 may change the criteria for arteriovenous determination for each blood vessel aggregate region Ra. This is because, for example, when the pattern of the blood vessel aggregate in the blood vessel aggregate region Ra is an anatomically typical pattern, the judgment result is likely to be correct even if the arteriovenous judgment score is low. Is.
  • the pattern of the blood vessel aggregate is information represented by the relative positions of a plurality of blood vessels in the blood vessel aggregate, the number of blood vessels, the size of each blood vessel, and the like.
  • the arteriovenous determination unit 73 performs, for example, the threshold value setting process shown in FIG. 21 before performing the arteriovenous determination for the blood vessel aggregate region Ra.
  • the arteriovenous determination unit 73 analyzes the pattern of the blood vessel aggregate in the blood vessel aggregate region Ra (step S20), and determines whether or not the blood vessel aggregate is a typical pattern (step S21).
  • the arteriovenous determination unit 73 sets the threshold value for the arteriovenous determination to the “first threshold value” (step S22).
  • the arteriovenous determination unit 73 determines that the blood vessel aggregate is not a typical pattern (step S21: NO)
  • the arteriovenous determination unit 73 sets the threshold value for the arteriovenous determination to the “second threshold value” (step S23).
  • the first threshold value is a value smaller than the second threshold value.
  • the threshold value which is the standard of the arteriovenous determination is set low.
  • the threshold value which is the standard for determining the arteries and veins is set high.
  • the criterion for the arteriovenous determination is set high, so that a more reliable determination can be made.
  • the criteria for the arteriovenous determination may be changed by changing the algorithm for the arteriovenous determination, not limited to the threshold value for the score.
  • the highlighting unit 54 may hide the blood vessel aggregate region Ra after the arteriovenous determination unit 73 makes an arteriovenous determination.
  • the blood vessel unit detection unit 71 and the blood vessel aggregate detection unit 72 are each configured by an individual object detection model, but the blood vessel unit detection unit 71 and the blood vessel aggregate detection unit 72 are 1 It can also be configured with one object detection model.
  • the object detection model may be trained using the teacher data including the teacher image of the blood vessel alone and the teacher image of the blood vessel aggregate. It is also possible to configure the blood vessel single detection unit 71, the blood vessel aggregate detection unit 72, and the arteriovenous determination unit 73 with one object detection model. Further, it is also possible to configure the blood vessel single detection unit 71, the blood vessel aggregate detection unit 72, the arteriovenous determination unit 73, and the correction unit 74 by one object detection model.
  • the blood vessel single detection unit 71 and the blood vessel aggregate detection unit 72 are configured by an object detection model composed of CNN, but the object detection model is not limited to CNN, and is segmentation or other. It may be a general detection model of.
  • the object detection model constituting the blood vessel single detection unit 71 and the blood vessel aggregate detection unit 72 may be composed of a classifier that identifies an object based on an image feature amount such as AdaBoost or SVM.
  • AdaBoost image feature amount
  • SVM image feature amount
  • the discriminator may be trained based on the feature quantity vector.
  • the feature amount of the blood vessel aggregate the distance between the blood vessels (distance between the centers of the blood vessels, the distance between the outer peripheral portions of the blood vessels, etc.) can be used. The discriminator recognizes that the blood vessels are aggregates when the distance between the blood vessels is a certain value or less and the number of blood vessels is 3 or more.
  • the blood vessel unit detection unit 71 and the blood vessel aggregate detection unit 72 are not limited to the object detection model by machine learning, and may perform object detection by template matching.
  • the blood vessel unit detection unit 71 stores typical pattern data of the blood vessel unit as a template in advance, and calculates the similarity to the pattern data while searching the ultrasonic image U with the template. Then, the blood vessel unit detection unit 71 identifies a place where the similarity is above a certain level and is maximum as the blood vessel unit region Rs.
  • the blood vessel aggregate detection unit 72 stores typical pattern data of the blood vessel aggregate as a template in advance, and calculates the similarity with respect to the pattern data while searching the ultrasonic image U with the template.
  • the blood vessel aggregate detection unit 72 specifies a place where the similarity is above a certain level and is maximum as the blood vessel aggregate region Ra.
  • the template may be a part of an actual ultrasonic image, or may be an image drawn by modeling a blood vessel or a blood vessel aggregate.
  • the ultrasonic probe 10 and the device main body 20 are connected by wireless communication, but instead, the ultrasonic probe 10 and the device main body 20 may be connected by wire.
  • the device main body 20 is provided with an image generation unit 51 that generates an ultrasonic image U based on a sound line signal, but instead of this, the image generation unit 51 uses an ultrasonic probe. It may be provided in 10.
  • the ultrasonic probe 10 generates an ultrasonic image U and outputs it to the apparatus main body 20.
  • the processor 25 of the apparatus main body 20 performs image analysis and the like based on the ultrasonic image U input from the ultrasonic probe 10.
  • the display device 21, the input device 22, and the ultrasonic probe 10 are directly connected to the processor 25, but the display device 21, the input device 22, the ultrasonic probe 10, and the processor 25 are connected. However, they may be indirectly connected via a network.
  • a display device 21, an input device 22, and an ultrasonic probe 10A are connected to the apparatus main body 20A via a network NW.
  • the device main body 20A is obtained by removing the display device 21 and the input device 22 from the device main body 20 according to the first embodiment and adding a transmission / reception circuit 14, and is composed of a transmission / reception circuit 14, a storage device 24, and a processor 25. ing.
  • the ultrasonic probe 10A is obtained by removing the transmission / reception circuit 14 from the ultrasonic probe 10 according to the first embodiment.
  • the apparatus main body 20A is used as a so-called remote server. be able to.
  • the operator can prepare the display device 21, the input device 22, and the ultrasonic probe 10A at the operator's hand, and the convenience is improved.
  • the display device 21 and the input device 22 with a mobile terminal such as a smartphone or a tablet terminal, the convenience is further improved.
  • the display device 21 and the input device 22 are mounted on the apparatus main body 20B, and the ultrasonic probe 10A is connected to the apparatus main body 20B via the network NW. ..
  • the device main body 20B may be configured by a remote server.
  • the device main body 20B can be configured by a mobile terminal such as a smartphone or a tablet terminal.
  • a hardware-like processing unit that executes various processes such as a main control unit 50, an image generation unit 51, a display control unit 52, an image analysis unit 53, and a highlighting unit 54.
  • various processors processors shown below can be used.
  • various processors include a CPU, which is a general-purpose processor that executes software (program 26) and functions as various processing units, and a processor whose circuit configuration can be changed after manufacturing an FPGA or the like.
  • Programmable Logic Device PLD
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC, and the like are included.
  • One processing unit may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • Appendix 3 The processor The determination is made based on the characteristic amount of at least one of the blood vessel diameter, the displacement amount of the blood vessel from the center of the blood vessel aggregate region, and the circularity of the blood vessel.
  • the information processing apparatus according to Appendix 2.
  • Appendix 4 The processor The item 2 or 3 is described in Appendix 2 or 3, wherein a single blood vessel region including a single blood vessel is detected in the ultrasonic image, and whether the detected blood vessel contained in the single blood vessel region is an artery or a vein. Information processing device.
  • [Appendix 5] The processor The information processing apparatus according to Appendix 4, wherein the result of the arteriovenous determination for a blood vessel in the single blood vessel region is modified based on the result of the arteriovenous determination for each blood vessel in the blood vessel aggregate region.
  • [Appendix 7] The processor The information processing apparatus according to Appendix 6, which displays each of the blood vessels contained in the blood vessel aggregate region so as to be distinguishable between an artery and a vein based on the modification result.
  • a and / or B is synonymous with “at least one of A and B”. That is, “A and / or B” means that it may be only A, it may be only B, or it may be a combination of A and B.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

血管の動静脈判定を支援することを可能とする情報処理装置、情報処理方法、及びプログラムを提供する。情報処理装置は、振動子アレイ（１３）から生体（３０）内に向けて超音波ビーム（ＵＢ）の送信を行わせ、生体（３０）内で生じた超音波エコーを受信することにより生成された超音波画像（Ｕ）を表示装置（２１）に表示させる処理を行う情報処理装置であって、超音波画像（Ｕ）内から３以上の血管（Ｂ）が集合した血管集合体を含む血管集合体領域（Ｒａ）を検出する血管集合体検出部（７２）と、血管集合体領域（Ｒａ）を超音波画像（Ｕ）内に強調表示する強調表示部（５４）と、を備える。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
　従来から、被検体の内部の画像を得るものとして、超音波診断装置が知られている。超音波診断装置は、一般的に、複数の超音波振動子が配列された振動子アレイが設けられた超音波プローブを有する。この超音波プローブは、被検体の体表面に接触させた状態において、振動子アレイから被検体内に向けて超音波ビームを送信し、被検体からの超音波エコーを振動子アレイで受信する。これにより、超音波エコーに対応する電気信号が取得される。さらに、超音波診断装置は、取得された電気信号を処理することにより、被検体の当該部位に対する超音波画像を生成する。
　ところで、超音波診断装置を用いて被検体内を観察しながら、いわゆる穿刺針を被検体の血管に挿入する手技（いわゆるエコーガイド下穿刺法）が知られている。エコーガイド下穿刺法では、通常、術者は、超音波画像を確認することにより、超音波画像中に含まれる血管の位置及び形状等を把握する必要があるが、これらを正確に把握するためには、一定以上の熟練度を要する。そのため、超音波画像に含まれる血管を自動的に検出し、検出された血管を術者に提示することが提案されている（例えば、特許文献１参照）。
特表２０１７－５２４４５５号公報
　穿刺時には、術者は、超音波画像に基づいて血管が動脈と静脈とのいずれであるかを正確に判定する必要がある。以下、この判定を動静脈判定という。
　超音波画像に基づき、画像解析等の情報処理により血管の動静脈判定を行うことも考えられる。しかし、血管を個別に動静脈判定すると、動脈と静脈との形状等が類似している場合には、判定を誤りやすい。
　本開示の技術は、血管の動静脈判定を支援することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
　本開示の情報処理装置は、振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理を行う情報処理装置であって、超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出する血管集合体検出部と、血管集合体領域を超音波画像内に強調表示する強調表示部と、を備える。
　血管集合体領域に含まれる血管の各々について、動脈と静脈とのいずれであるかを、血管集合体領域内における各血管の特徴量に基づいて判定する動静脈判定部をさらに備えることが好ましい。
　動静脈判定部は、血管径、血管集合体領域の中心からの血管の変位量、及び血管の円形度のうち、少なくとも１以上の特徴量に基づいて判定を行うことが好ましい。
　超音波画像内から血管単体を含む血管単体領域を検出し、検出した血管単体領域に含まれる血管が動脈と静脈とのいずれであるかを判定する血管単体検出部をさらに備えることが好ましい。
　血管単体検出部が判定した動静脈判定の結果を、動静脈判定部による動静脈判定の結果に基づいて修正する修正部をさらに備えることが好ましい。
　修正部は、血管単体検出部による動静脈判定の確信度と、動静脈判定部による動静脈判定の確信度とを比較し、確信度が高い方の判定結果を選択することが好ましい。
　強調表示部は、修正部による修正結果に基づき、血管集合体領域に含まれる血管の各々を、動脈と静脈とを識別可能に表示することが好ましい。
　強調表示部は、修正部が選択した判定結果に対する確信度を、表示装置に表示することが好ましい。
　強調表示部は、修正部が選択した判定結果に対する確信度が一定値より低い場合に、注意を促すメッセージを表示装置に表示することが好ましい。
　本開示の情報処理方法は、振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理を行う情報処理方法であって、超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出し、検出した血管集合体領域を超音波画像内に強調表示する。
　本開示のプログラムは、振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理をコンピュータに実行させるプログラムであって、超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出し、検出した血管集合体領域を超音波画像内に強調表示する処理をコンピュータに実行させる。
　本開示の技術によれば、血管の動静脈判定を支援することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することができる。
第１実施形態に係る超音波診断装置の構成の一例を示す外観図である。 エコーガイド下穿刺法の一例について説明する図である。 超音波診断装置の構成の一例を示すブロック図である。 受信回路の構成の一例を示すブロック図である。 画像生成部の構成の一例を示すブロック図である。 画像解析部の構成の一例を示すブロック図である。 血管単体検出処理の一例を説明する図である。 血管単体検出モデルを学習させる学習フェーズの一例を説明する図である。 血管集合体検出処理の一例を説明する図である。 血管集合体検出モデルを学習させる学習フェーズの一例を説明する図である。 動静脈判定処理の一例を説明する図である。 動静脈判定処理の一例をより詳細に説明する図である。 修正処理の一例を説明する図である。 強調表示処理の一例を示す図である。 超音波診断装置の動作の一例を示すフローチャートである。 動静脈判定処理の変形例を示す図である。 動静脈判定処理の変形例を示す図である。 強調表示の変形例を示す図である。 スコアを表示する例を示す図である。 術者に注意を促すメッセージを表示する例を示す図である。 閾値設定処理の一例を示すフローチャートである。 閾値設定処理により設定される閾値の例を示す図である。 血管集合体領域を非表示とする例を示す図である。 超音波診断装置の第１変形例を示す図である。 超音波診断装置の第２変形例を示す図である。
以下、本開示の技術に係る実施の形態を添付図面に基づいて説明する。以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本開示の技術はそのような実施態様に限定されるものではない。
　［第１実施形態］
　図１は、本開示の技術に係る超音波診断装置２の構成の一例を示す。本実施形態に係る超音波診断装置２は、超音波プローブ１０と、装置本体２０とにより構成されている。超音波プローブ１０は、術者が保持し、測定対象である生体の表面に接触される。超音波プローブ１０は、生体の内部に対して超音波ビームを送受信する。
　装置本体２０は、例えば、スマートフォン、又はタブレット端末等である。装置本体２０は、アプリケーションソフト等のプログラムがインストールされることにより、超音波プローブ１０から出力される信号の画像化等を行う。超音波プローブ１０と装置本体２０は、例えば、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ（登録商標）等により相互に無線通信（すなわちワイヤレス通信）を行う。装置本体２０は、スマートフォン、又はタブレット端末等の携帯端末に限られず、ＰＣ（Personal Computer）等であってもよい。装置本体２０は、本開示の技術に係る「情報処理装置」の一例である。
　超音波プローブ１０は、ハウジング１１を有する。ハウジング１１は、アレイ収容部１１Ａと、グリップ部１１Ｂとで構成されている。アレイ収容部１１Ａは、振動子アレイ１３（図３参照）を収容する。グリップ部１１Ｂは、アレイ収容部１１Ａに連結されており、術者により把持される。ここで、説明のため、グリップ部１１Ｂからアレイ収容部１１Ａに向かう方向を＋Ｙ方向とし、Ｙ方向に直交する超音波プローブ１０の幅方向をＸ方向とし、Ｘ方向及びＹ方向に直交する方向（すなわち超音波プローブ１０の厚さ方向）をＺ方向とする。
　アレイ収容部１１Ａの＋Ｙ方向端部に、音響レンズが配置されている。振動子アレイ１３上にいわゆる音響整合層（図示せず）が配置されており、音響整合層上に音響レンズが配置されている。振動子アレイ１３に含まれる複数の振動子は、Ｘ方向に沿って直線状に配列されている。すなわち、本実施形態の超音波プローブ１０は、リニア型であり、直線状に超音波ビームＵＢを送信する。なお、超音波プローブ１０は、振動子アレイ１３が凸曲面状に配置されたコンベックス型であってもよい。この場合、超音波プローブ１０は、放射状に超音波ビームＵＢを送信する。また、超音波プローブ１０は、セクタ型であってもよい。
　また、アレイ収容部１１Ａの外周部には、Ｙ方向に沿って延びた直線状のガイドマーカＭが付されている。ガイドマーカＭは、操作者が超音波プローブ１０を生体に接触させる際に目安として使用される。
　装置本体２０は、超音波プローブ１０から送信された信号に基づく超音波画像を表示するための表示装置２１を有する。表示装置２１は、例えば、有機ＥＬ（Organic Electro-Luminescence）ディスプレイ又は液晶ディスプレイ等のディスプレイ装置である。表示装置２１には、タッチパネルが組み込まれている。術者は、タッチパネルにより、装置本体２０に対して各種の操作を行うことができる。
　図２は、エコーガイド下穿刺法の一例について説明する図である。図２に示すように、超音波プローブ１０は、術者が装置本体２０に表示される超音波画像を確認しながら、生体３０内の血管Ｂへ穿刺針３１を穿刺する際に用いられる。生体３０は、例えば、人の腕である。超音波プローブ１０では、例えば、超音波プローブ１０の幅方向（すなわちＸ方向）が血管Ｂの走行方向を横切るように、超音波プローブ１０が生体３０の表面に当てられる。この手技は、短軸法（又は交差法）と呼ばれる。超音波画像には、血管Ｂの断面が表示される。術者は、超音波画像に表示される１以上の血管Ｂのうち、例えば、静脈に対して穿刺を行う。
　装置本体２０は、超音波画像から血管を検出した後、血管の動静脈判定を行い、動静脈判定の結果を、表示装置２１に表示される超音波画像内に表示することにより、術者による穿刺を支援する。
　図３は、超音波診断装置２の構成の一例を示す。超音波プローブ１０は、振動子アレイ１３、送受信回路１４、及び通信部１５を有する。送受信回路１４は、送信回路１６及び受信回路１７を含む。送信回路１６及び受信回路１７は、それぞれ振動子アレイ１３に接続されている。また、送受信回路１４は、それぞれ通信部１５を介して装置本体２０のプロセッサ２５との間で信号の入出力を行う。
　振動子アレイ１３は、１次元又は２次元に配列された複数の振動子（図示せず）を有している。これらの振動子は、それぞれ送信回路１６から供給される駆動信号に従って超音波ビームＵＢを送信し、かつ、生体３０からの超音波エコーを受信する。振動子は、受信した超音波エコーに基づく信号を出力する。振動子は、例えば、圧電体の両端に電極を形成することにより構成される。圧電体は、ＰＺＴ（Lead Zirconate Titanate）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride）に代表される高分子圧電素子、及びＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate）に代表される圧電単結晶等からなる。
　送信回路１６は、例えば、複数のパルス発生器を含んでいる。送信回路１６は、装置本体２０のプロセッサ２５から送信される制御信号に応じて選択された送信遅延パターンに基づいて、駆動信号の遅延量を調整して振動子アレイ１３に含まれる複数の振動子に供給する。駆動信号は、送信回路１６により、複数の振動子から送信される超音波が超音波ビームＵＢを形成するように遅延量が調整される。駆動信号は、パルス状又は連続波状の電圧信号である。振動子は、駆動信号が印加されると、伸縮することによりパルス状又は連続波状の超音波を送信する。複数の振動子から送信された超音波が合成されることにより、合成波としての超音波ビームＵＢが形成される。
　生体３０内に送信された超音波ビームＵＢは、生体３０内の血管Ｂ等の部位で反射されることにより、超音波エコーとなって振動子アレイ１３に向かって伝搬する。このように振動子アレイ１３に向かって伝搬する超音波エコーは、振動子アレイ１３を構成する複数の振動子により受信される。振動子は、超音波エコーを受信することにより伸縮して電気信号を発生する。振動子が発生した電気信号は、受信回路１７に出力される。
　受信回路１７は、装置本体２０のプロセッサ２５から送信される制御信号に従い、振動子アレイ１３から出力される電気信号を処理することにより、音線信号を生成する。一例として図４に示すように、受信回路１７は、増幅部４１、Ａ／Ｄ（Analog to Digital）変換部４２、及びビームフォーマ４３を直列に接続することにより構成されている。
　増幅部４１は、振動子アレイ１３を構成する複数の振動子から入力された信号を増幅し、増幅した信号をＡ／Ｄ変換部４２に送信する。Ａ／Ｄ変換部４２は、増幅部４１から送信された信号をデジタルの受信データに変換し、変換した受信データをビームフォーマ４３に送信する。ビームフォーマ４３は、装置本体２０のプロセッサ２５から送信される制御信号に応じて選択された受信遅延パターンに基づいて設定される音速又は音速の分布に従い、Ａ／Ｄ変換部４２により変換された各受信データに対してそれぞれの遅延を与えて加算する。この加算処理は、受信フォーカス処理と称される。この受信フォーカス処理により、Ａ／Ｄ変換部４２で変換された各受信データが整相加算され、かつ超音波エコーの焦点が絞り込まれた音線信号が取得される。
　装置本体２０は、表示装置２１、入力装置２２、通信部２３、記憶装置２４、及びプロセッサ２５を有する。入力装置２２は、例えば、表示装置２１に組み込まれたタッチパネル等である。装置本体２０がＰＣ等である場合には、入力装置２２は、キーボード、マウス、トラックボール、タッチパッド等であってもよい。通信部２３は、超音波プローブ１０の通信部１５との間で無線通信を行う。
　プロセッサ２５には、入力装置２２と記憶装置２４が接続されている。なお、プロセッサ２５と記憶装置２４とは、互いに双方向の情報の受け渡しが可能に接続されている。
　記憶装置２４は、超音波診断装置２を作動させるプログラム２６等を格納する装置であり、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、又はＳＳＤ（Solid State Drive）である。装置本体２０がＰＣ等である場合には、記憶装置２４として、ＦＤ（Flexible Disc）、ＭＯ（Magneto-Optical）ディスク、磁気テープ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤ（Secure Digital）カード、ＵＳＢ（Universal Serial Bus）メモリ等の記録メディア、又はサーバ等を用いることができる。
　プロセッサ２５は、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ２５は、プログラム２６に基づき、ＲＡＭ（Random Access Memory）メモリ（図示省略）等と協働して処理を行うことにより、主制御部５０、画像生成部５１、表示制御部５２、画像解析部５３、及び強調表示部５４として機能する。
　なお、プロセッサ２５は、ＣＰＵに限られず、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、その他のＩＣ（Integrated Circuit）を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。
　主制御部５０は、入力装置２２を介した術者による入力操作に基づいて、超音波診断装置２の各部の制御を行う。主制御部５０は、上述の制御信号を、通信部２３を介して超音波プローブ１０に送信する。プロセッサ２５には、通信部２３を介して、超音波プローブ１０から受信回路１７により生成された音線信号が入力される。
　画像生成部５１は、主制御部５０の制御の下で、超音波プローブ１０から入力される音線信号を取得し、取得した音線信号に基づき、超音波画像Ｕを生成する。一例として図５に示すように、画像生成部５１は、信号処理部６１、ＤＳＣ（Digital Scan Converter）６２、及び画像処理部６３を直列に接続することにより構成されている。
　信号処理部６１は、受信回路１７により生成された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報であるＢモード画像信号を生成する。
　ＤＳＣ６２は、信号処理部６１で生成されたＢモード画像信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（いわゆるラスター変換）する。画像処理部６３は、ＤＳＣ６２から入力されるＢモード画像信号に階調処理等の各種の画像処理を施した後、Ｂモード画像信号を表示制御部５２及び画像解析部５３に出力する。以下では、画像処理部６３により画像処理が施されたＢモード画像信号を、単に、超音波画像Ｕと呼ぶ。
　なお、超音波プローブ１０の送受信回路１４と画像生成部５１とは、超音波画像Ｕが一定のフレームレートで周期的に生成されるように、主制御部５０によって制御される。送受信回路１４及び画像生成部５１は、超音波画像Ｕを取得する画像取得部として機能する。
　表示制御部５２は、主制御部５０の制御の下で、画像生成部５１により生成された超音波画像Ｕに所定の処理を施し、処理を施した超音波画像Ｕを表示装置２１に表示させる。
　画像解析部５３は、主制御部５０の制御の下で、画像生成部５１から入力された超音波画像Ｕを画像解析することにより血管検出情報ＤＢを生成し、生成した血管検出情報ＤＢを強調表示部５４に出力する。血管検出情報ＤＢには、例えば、超音波画像Ｕに含まれる血管領域の検出結果と、検出した血管の動静脈判定結果とが含まれる。また、血管領域には、血管単体の領域を表す「血管単体領域」と、３以上の血管が集合した血管集合体の領域を表す「血管集合体領域」とが含まれる。血管集合体は、例えば、動脈と伴行静脈との複合体である。血管集合体は、主として、解剖学的に安定した部分に存在する。
　強調表示部５４は、主制御部５０の制御の下で、画像解析部５３から入力された血管検出情報ＤＢに基づき、表示制御部５２を制御することにより、表示装置２１に表示された超音波画像Ｕ内に、血管単体領域及び血管集合体領域を強調表示させる。また、強調表示部５４は、動静脈判定結果に基づき、血管単体領域を、血管単体領域内に含まれる血管が動脈であるか静脈であるかを識別可能に表示させる。
　一例として図６に示すように、画像解析部５３は、血管単体検出部７１、血管集合体検出部７２、動静脈判定部７３、及び修正部７４により構成されている。血管単体検出部７１及び血管集合体検出部７２には、画像生成部５１により生成された超音波画像Ｕが入力される。
　血管単体検出部７１は、超音波画像Ｕに含まれる血管を各々個別に検出することにより血管単体領域を特定し、かつ、血管単体領域に含まれる血管の動静脈判定を行う。血管単体検出部７１は、血管単体領域の検出結果と、血管単体領域とごとの動静脈判定結果とを含む情報を、血管単体検出情報Ｄ１として修正部７４に出力する。
　血管集合体検出部７２は、超音波画像Ｕに基づき、３以上の血管が集合した血管集合体領域を検出し、検出した血管集合体領域を表す情報を、血管集合体検出情報Ｄ２として動静脈判定部７３に出力する。
　動静脈判定部７３は、血管集合体検出情報Ｄ２に含まれる血管集合体領域内の血管の各々について動静脈判定を行い、動静脈判定の結果を表す情報を、動静脈判定情報Ｄ３として修正部７４に出力する。
　修正部７４は、血管単体検出情報Ｄ１に含まれる動静脈判定結果を、動静脈判定情報Ｄ３に基づいて修正する。修正部７４は、修正後の血管単体検出情報Ｄ１と、血管集合体検出情報Ｄ２と、動静脈判定情報Ｄ３とを含む情報を、上述の血管検出情報ＤＢとして強調表示部５４に出力する。
　図７は、血管単体検出部７１による血管単体検出処理の一例を示す。血管単体検出部７１は、公知のアルゴリズムを用いて超音波画像Ｕ内から血管単体を含む血管単体領域Ｒｓを検出する処理と、動静脈判定とを行う。図７において、符号Ｂ１～Ｂ５は、血管を表している。以下、血管を区別して説明する必要がない場合は、単に血管Ｂと表記する。破線で示す血管単体領域Ｒｓは、動脈と判定された血管Ｂを含む領域を表している。実線で示す血管単体領域Ｒｓは、静脈と判定された血管Ｂを含む領域を表している。
　血管単体領域Ｒｓには、動静脈判定結果を表す「ラベル」と、動静脈判定結果の確信度（すなわち確からしさ）を表す「スコア」が付される。ラベルは、血管単体領域Ｒｓに含まれる血管Ｂが「動脈」と「静脈」とのいずれであるかを表す。スコアは０以上１以下の範囲内の値であり、１に近いほど確信度が高いことを表す。ラベル及びスコアが付された血管単体領域Ｒｓが、上述の血管単体検出情報Ｄ１に対応する。
　本実施形態では、血管単体検出部７１は、機械学習により生成された学習済みモデルである血管単体検出モデル７１Ａ（図８参照）を用いて血管単体検出処理を行う。血管単体検出モデル７１Ａは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。血管単体検出モデル７１Ａとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一種であるＲ－ＣＮＮ（Regional CNN）により構成される物体検出モデルを用いることができる。
　血管単体検出モデル７１Ａは、超音波画像Ｕ内から物体としての血管単体が含まれる領域を検出し、検出した領域に対するラベルを決定する。そして、血管単体検出モデル７１Ａは、検出した血管単体領域Ｒｓを表す情報をラベル及びスコアとともに出力する。
　図８は、血管単体検出モデル７１Ａを機械学習により学習させる学習フェーズの一例を説明する図である。血管単体検出モデル７１Ａは、教師データＴＤ１を用いて学習を行う。教師データＴＤ１は、正解ラベルＬが付された複数の教師画像Ｐを含む。教師データＴＤ１に含まれる教師画像Ｐは、血管単体（動脈及び静脈）のサンプル画像である。教師データＴＤ１には、血管の形状、サイズ等が異なる各種の教師画像Ｐが含まれる。
　学習フェーズにおいて、血管単体検出モデル７１Ａには、教師画像Ｐが入力される。血管単体検出モデル７１Ａは、教師画像Ｐに対する判定結果Ａを出力する。この判定結果Ａと正解ラベルＬとに基づいて、損失関数を用いた損失演算がなされる。そして、損失演算の結果に応じて血管単体検出モデル７１Ａの各種係数の更新設定がなされ、更新設定にしたがって血管単体検出モデル７１Ａが更新される。
　学習フェーズにおいては、教師画像Ｐの血管単体検出モデル７１Ａへの入力、血管単体検出モデル７１Ａからの判定結果Ａの出力、損失演算、更新設定、及び血管単体検出モデル７１Ａの更新の一連の処理が繰り返し行われる。この一連の処理の繰り返しは、検出精度が、予め定められた設定レベルまで達した場合に終了される。こうして検出精度が設定レベルまで達した血管単体検出モデル７１Ａは、記憶装置２４に記憶された後、運用フェーズである血管単体検出処理において血管単体検出部７１により用いられる。
　図９は、血管集合体検出部７２による血管集合体検出処理の一例を示す。血管集合体検出部７２は、公知のアルゴリズムを用いて超音波画像Ｕ内から血管集合体を含む血管集合体領域Ｒａを検出する処理を行う。
　本実施形態では、血管集合体検出部７２は、機械学習により生成された学習済みモデルである血管集合体検出モデル７２Ａ（図１０参照）を用いて血管集合体検出処理を行う。血管集合体検出モデル７２Ａは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。血管集合体検出モデル７２Ａとして、例えば、ＣＮＮの一種であるＲ－ＣＮＮにより構成される物体検出モデルを用いることができる。
　血管集合体検出部７２は、超音波画像Ｕ内から物体としての血管集合体が含まれる血管集合体領域Ｒａを検出する。血管集合体領域Ｒａを表す情報が、上述の血管集合体検出情報Ｄ２に対応する。
　図１０は、血管集合体検出モデル７２Ａを機械学習により学習させる学習フェーズの一例を説明する図である。血管集合体検出モデル７２Ａは、教師データＴＤ２を用いて学習を行う。教師データＴＤ２は、正解ラベルＬが付された複数の教師画像Ｐを含む。教師データＴＤ２に含まれる教師画像Ｐは、血管集合体のサンプル画像である。教師データＴＤ２には、血管集合体を構成する血管の数、血管の形状、血管のサイズ、複数の血管の配置（位置関係）等が異なる各種の教師画像Ｐが含まれる。
　学習フェーズにおいて、血管集合体検出モデル７２Ａには、教師画像Ｐが入力される。血管集合体検出モデル７２Ａは、教師画像Ｐに対する判定結果Ａを出力する。この判定結果Ａと正解ラベルＬとに基づいて、損失関数を用いた損失演算がなされる。そして、損失演算の結果に応じて血管集合体検出モデル７２Ａの各種係数の更新設定がなされ、更新設定にしたがって血管集合体検出モデル７２Ａが更新される。
　学習フェーズにおいては、教師画像Ｐの血管集合体検出モデル７２Ａへの入力、血管集合体検出モデル７２Ａからの判定結果Ａの出力、損失演算、更新設定、及び血管集合体検出モデル７２Ａの更新の一連の処理が繰り返し行われる。この一連の処理の繰り返しは、検出精度が、予め定められた設定レベルまで達した場合に終了される。こうして検出精度が設定レベルまで達した血管集合体検出モデル７２Ａは、記憶装置２４に記憶された後、運用フェーズである血管集合体検出処理において血管集合体検出部７２により用いられる。
　図１１は、動静脈判定部７３による動静脈判定処理の一例を示す。動静脈判定部７３は、血管集合体検出情報Ｄ２に基づき、血管集合体領域Ｒａ内に含まれる血管Ｂの各々について動静脈判定を行い、血管Ｂごとにラベル及びスコアを求めることにより動静脈判定情報Ｄ３を生成する。動静脈判定部７３は、動静脈判定において、血管集合体領域Ｒａ内における解剖学的な血管の特徴量を用いる。動静脈判定部７３は、血管Ｂに対するラベルとしての「動脈」と「静脈」とのそれぞれについてスコアを求め、スコアが大きい方のラベルを選択する。
　図１２は、動静脈判定処理の一例をより詳細に説明する図である。まず、動静脈判定部７３は、血管集合体領域Ｒａ内に含まれる血管Ｂの各々について特徴量を算出する。特徴量は、血管集合体領域Ｒａ内における各血管Ｂの直径（以下、血管径という。）Ｄ、血管集合体領域Ｒａの中心Ｃからの血管Ｂの変位量Ｋ、各血管Ｂの円形度などである。変位量Ｋは、例えば、血管集合体領域Ｒａの中心Ｃから各血管Ｂの中心までの距離である。動静脈判定部７３は、血管径Ｄ、変位量Ｋ、及び円形度のうち、少なくとも１以上の特徴量を用いて、血管Ｂの各々が動脈と静脈とのいずれであるかを判定する。動静脈判定部７３は、例えば、ＡｄａＢｏｏｓｔ、ＳＶＭ（Support Vector Machine）などの機械学習によるアルゴリズムを用いて動静脈判定を行う。
　動脈は、血管集合体の中央に位置することが多いので、変位量Ｋが小さい。また、動脈は、内圧が高いことから血管径が大きく、かつ円形度が高い。逆に、静脈は、動脈に伴行することから変位量Ｋが大きい。また、静脈は、内圧が低いことから血管径が小さく、かつ円形度が低い。動静脈判定部７３は、これらの特徴量に基づいて、血管Ｂの各々に動静脈判定を行い、スコアの算出及びラベルの決定を行う。例えば、動静脈判定部７３は、血管Ｂの各々について、動脈としてのスコアと、静脈としてのスコアとを算出し、スコアが大きい方のラベルを選択する。このように、血管集合体としての解剖学的な特徴量を用いて判定を行うことにより、精度よく動静脈判定を行うことができる。
　図１３は、修正部７４による修正処理の一例を示す。修正部７４は、対応する血管Ｂについて、動静脈判定情報Ｄ３に含まれるスコアと、血管単体検出情報Ｄ１に含まれるスコアとを比較し、スコアが高い方のラベルを選択する。例えば、図１３に示す例では、血管Ｂ３については、動静脈判定情報Ｄ３に含まれるスコア（０．９０）の方が、血管単体検出情報Ｄ１に含まれるスコア（０．７５）よりも高い。このため、修正部７４は、血管Ｂ３のラベルとして、血管単体検出情報Ｄ１に含まれるラベル（静脈）に代えて、動静脈判定情報Ｄ３に含まれるラベル（動脈）を選択する。同様に、修正部７４は、血管Ｂ４及びＢ５についても、スコアが大きい方のラベルを選択する。すなわち、図１３に示す例では、血管単体検出情報Ｄ１に含まれる血管Ｂ１～Ｂ５のラベルのうち、血管Ｂ３のラベルのみが修正される。このようにして、血管単体検出情報Ｄ１に含まれるラベルが修正される。
　修正部７４は、ラベルを修正した修正後の血管単体検出情報Ｄ１と、血管集合体検出情報Ｄ２と、動静脈判定情報Ｄ３とを含む情報を、上述の血管検出情報ＤＢとして強調表示部５４に出力する。血管検出情報ＤＢには、超音波画像Ｕ内における血管単体領域Ｒｓ及び血管集合体領域Ｒａの位置情報と、血管単体領域Ｒｓに対するラベル及びスコアが含まれる。
　図１４は、強調表示部５４による強調表示処理の一例を示す。強調表示部５４は、装置本体２０の表示装置２１に表示された超音波画像Ｕ内に、血管検出情報ＤＢに基づいて血管単体領域Ｒｓ及び血管集合体領域Ｒａを、矩形状の枠を用いて表示する。また、強調表示部５４は、動静脈判定結果に基づき、血管単体領域Ｒｓを、血管単体領域Ｒｓ内に含まれる血管が動脈であるか静脈であるかを識別可能に表示する。図１４に示す例では、静脈が含まれる血管単体領域Ｒｓを実線で示し、動脈が含まれる血管単体領域Ｒｓを破線で示す。また、血管集合体領域Ｒａを二点鎖線で示している。なお、強調表示部５４は、血管単体領域Ｒｓ及び血管集合体領域Ｒａを、線種に限られず、線の太さ、線の色、線の明度などによって、識別可能に表示してもよい。
　次に、図１５に示すフローチャートを用いて、超音波診断装置２の動作の一例を説明する。まず、主制御部５０は、入力装置２２等を用いて術者により、開始操作がなされたか否かを判定する（ステップＳ１０）。主制御部５０は、開始操作がなされたと判定した場合には（ステップＳ１０：ＹＥＳ）、超音波プローブ１０の送受信回路１４と画像生成部５１とを作動させることにより、超音波画像Ｕを生成する（ステップＳ１１）。生成された超音波画像Ｕは、表示制御部５２により表示装置２１に表示される。
　この際、術者は、図２に示すように、生体３０の表面上に超音波プローブ１０を接触させる。送信回路１６から入力される駆動信号に従って振動子アレイ１３から生体３０内に超音波ビームＵＢが送信される。生体３０内からの超音波エコーは、振動子アレイ１３により受信され、受信信号が受信回路１７に出力される。受信回路１７により受信された受信信号は、増幅部４１、Ａ／Ｄ変換部４２、及びビームフォーマ４３を介して音線信号となる。この音線信号は、通信部１５を介して、装置本体２０に出力される。
　装置本体２０は、超音波プローブ１０から出力された音線信号を、通信部２３を介して受信する。装置本体２０が受信した音線信号は、画像生成部５１に入力される。音線信号は、画像生成部５１において、信号処理部６１で包絡線検波処理が施されることでＢモード画像信号となり、ＤＳＣ６２及び画像処理部６３を経た後、超音波画像Ｕとして表示制御部５２に出力される。また、超音波画像Ｕは、画像解析部５３に出力される。
　画像解析部５３では、血管単体検出部７１により、上述した血管単体検出処理（図７参照）が行われる（ステップＳ１２）。この血管単体検出処理により生成された血管単体検出情報Ｄ１は、修正部７４に出力される。
　また、ステップＳ１２と並行してステップＳ１３及びステップＳ１４が行われる。ステップＳ１３では、血管集合体検出部７２により、上述した血管集合体検出処理（図９参照）が行われる。この血管集合体検出処理により生成された血管集合体検出情報Ｄ２は、動静脈判定部７３に出力される。ステップＳ１４では、動静脈判定部７３により、上述した動静脈判定処理（図１１及び図１２参照）が行われる。この動静脈判定処理により生成された動静脈判定情報Ｄ３は、修正部７４に出力される。
　さらに、画像解析部５３では、修正部７４により、上述した修正処理（図１３参照）が行われる（ステップＳ１５）。この修正処理では、動静脈判定情報Ｄ３に基づいて、血管単体検出情報Ｄ１に含まれる血管単体領域Ｒｓに対するラベルが修正される。この修正処理の結果、血管検出情報ＤＢが強調表示部５４に出力される。
　そして、強調表示部５４により、上述した強調表示処理（図１４参照）が行われる（ステップＳ１６）。この強調表示処理により、表示装置２１に表示された超音波画像Ｕ内に、血管単体領域Ｒｓ及び血管集合体領域Ｒａが強調表示される。また、血管単体領域Ｒｓは、内部に含まれる血管が動脈であるか静脈であるかが識別可能に表示される。このように、強調表示が行われることにより、術者は、超音波画像Ｕ内に存在する血管集合体を正確に把握することができ、かつ、血管単体が動脈であるか静脈であるかを正確に把握することができる。
　次に、主制御部５０は、入力装置２２等を用いて術者により、終了操作がなされたか否かを判定する（ステップＳ１７）。主制御部５０は、終了操作がなされていないと判定した場合には（ステップＳ１７：ＮＯ）、処理をステップＳ１１に戻す。これにより、新たな超音波画像Ｕが生成される。一方、主制御部５０は、終了操作がなされたと判定した場合には（ステップＳ１７：ＹＥＳ）、超音波診断装置２の動作を終了させる。
　従来は、血管単体検出処理によって血管が検出され、検出された血管に対して個別に動静脈判定が行われていた。このような手法では、血管集合体を構成する血管の動静脈判定に誤りが生じることが多く、フレームごとに動静脈判定が変化することがあった。このような動静脈判定の結果に基づいて、術者が穿刺を行おうとすると、穿刺対象の血管を誤ってしまうことがあった。
　これに対して、本開示の技術によれば、超音波画像Ｕから血管集合体領域Ｒａを検出し、検出した血管集合体領域Ｒａを超音波画像Ｕ内に強調表示するので、術者による血管の動静脈判定を支援することができる。また、本開示の技術によれば、血管集合体領域Ｒａ内における血管の特徴量に基づいて動静脈判定を行うので、血管集合体を構成する血管であっても精度よく動静脈判定を行うことができる。これにより、術者は、穿刺対象の血管（例えば静脈）を正確に把握することができる。
　［変形例］
　以下に、上記第１実施形態に係る超音波診断装置２の各種変形例について説明する。
　第１実施形態では、動静脈判定部７３は、動静脈判定処理（図１１及び図１２参照）において、血管Ｂに対するラベルとしての「動脈」と「静脈」とのそれぞれについてスコアを求め、スコアが大きい方のラベルを選択している。これに代えて、例えば図１６に示すように、スコアに対する閾値を設定し、スコアが閾値以上のラベルを選択してもよい。
　また、例えば図１７に示すように、血管Ｂに対するラベルとしての「動脈」と「静脈」とのそれぞれについてスコアを求め、いずれのスコアも閾値未満である場合もある。この場合、動静脈判定部７３は、ラベルの決定（すなわち動静脈判定）は困難であるとして、動静脈判定を停止してもよい。このように動静脈判定が困難である場合には、強調表示部５４は、血管単体領域Ｒｓを、「動脈」と「静脈」とのいずれであるかを区別せずに超音波画像Ｕ内に表示してもよい。この場合、強調表示部５４は、例えば図１８に示すように、血管単体領域Ｒｓを単に「血管」として表示してもよい。
　また、強調表示部５４は、例えば図１９に示すように、修正部７４が選択したラベルに対するスコア（すなわち、修正部７４が選択した判定結果に対する確信度）を血管単体領域Ｒｓに対応付けて表示してもよい。これにより、術者は、血管ごとの動静脈判定の確信度を把握することができる。
　また、強調表示部５４は、例えば図２０に示すように、修正部７４が選択したラベルに対するスコア（すなわち、修正部７４が選択した判定結果に対する確信度）が一定値よりも低い場合に、術者に注意を促すメッセージを表示してもよい。これにより、術者は、動静脈判定の確信度が低く、穿刺に際して注意が必要であることを確実に把握することができる。
　また、動静脈判定部７３は、血管集合体領域Ｒａごとに動静脈判定の基準を変更してもよい。これは、例えば、血管集合体領域Ｒａ内の血管集合体のパターンが、解剖学上典型的なパターンである場合には、動静脈判定のスコアが低くても判定結果が正しい可能性が高いためである。なお、血管集合体のパターンとは、血管集合体の複数の血管の相対位置、血管の数、各血管の大きさなどで表される情報である。
　動静脈判定部７３は、血管集合体領域Ｒａについて動静脈判定を行う前に、例えば図２１に示す閾値設定処理を行う。まず、動静脈判定部７３は、血管集合体領域Ｒａ内の血管集合体のパターンを解析し（ステップＳ２０）、血管集合体が典型的なパターンであるか否かを判定する（ステップＳ２１）。動静脈判定部７３は、血管集合体が典型的なパターンであると判定した場合には（ステップＳ２１：ＹＥＳ）、動静脈判定の閾値を「第１閾値」に設定する（ステップＳ２２）。一方、動静脈判定部７３は、血管集合体が典型的なパターンでないと判定した場合には（ステップＳ２１：ＮＯ）、動静脈判定の閾値を「第２閾値」に設定する（ステップＳ２３）。ここで、第１閾値は、第２閾値よりも小さい値である。
　図２２に示すように、血管集合体領域Ｒａ内の血管集合体のパターンが典型的である場合には、動静脈判定の基準である閾値が低く設定される。一方、血管集合体のパターンが非典型的である場合には、動静脈判定の基準である閾値が高く設定される。このように、血管集合体のパターンが非典型的である場合には、動静脈判定の基準が高く設定されることにより、より確実な判定が行われる。なお、スコアに対する閾値に限られず、動静脈判定のアルゴリズムを変更することにより、動静脈判定の基準を変更してもよい。
　また、強調表示部５４は、図２３に示すように、動静脈判定部７３が動静脈判定をした後、血管集合体領域Ｒａを非表示としてもよい。
　また、第１実施形態では、血管単体検出部７１と血管集合体検出部７２とをそれぞれ個別の物体検出モデルにより構成しているが、血管単体検出部７１と血管集合体検出部７２とを１つの物体検出モデルにより構成することも可能である。この場合、血管単体の教師画像と、血管集合体の教師画像とを含む教師データを用いて物体検出モデルを学習させればよい。また、血管単体検出部７１、血管集合体検出部７２、及び動静脈判定部７３を１つの物体検出モデルにより構成することも可能である。さらに、血管単体検出部７１、血管集合体検出部７２、動静脈判定部７３、及び修正部７４を１つの物体検出モデルにより構成することも可能である。
　また、第１実施形態では、血管単体検出部７１と血管集合体検出部７２とを、ＣＮＮからなる物体検出モデルにより構成しているが、物体検出モデルは、ＣＮＮに限られず、セグメンテーション、又はその他の一般的な検出モデルであってもよい。
　また、血管単体検出部７１と血管集合体検出部７２とを構成する物体検出モデルは、ＡｄａＢｏｏｓｔ、又はＳＶＭなどの画像特徴量に基づいて物体の識別を行う識別器で構成されていてもよい。この場合、教師画像を特徴量ベクトルに変換した後、特徴量ベクトルに基づいて識別器を学習させればよい。血管集合体の特徴量として、血管同士の距離（血管の中心間距離、血管の外周部間の距離など）を用いることができる。識別器は、血管同士の距離が一定値以下であり、かつ血管の数が３以上である場合に、血管集合体であると認識する。
　また、血管単体検出部７１及び血管集合体検出部７２は、機械学習による物体検出モデルに限られず、テンプレートマッチングにより物体検出を行うものであってもよい。この場合、血管単体検出部７１は、血管単体の典型的なパターンデータをテンプレートとして予め記憶しておき、超音波画像Ｕ内をテンプレートでサーチしながらパターンデータに対する類似度を算出する。そして、血管単体検出部７１は、類似度が一定以上でかつ最大となった場所を、血管単体領域Ｒｓとして特定する。また、血管集合体検出部７２は、血管集合体の典型的なパターンデータをテンプレートとして予め記憶しておき、超音波画像Ｕ内をテンプレートでサーチしながらパターンデータに対する類似度を算出する。そして、血管集合体検出部７２は、類似度が一定以上でかつ最大となった場所を、血管集合体領域Ｒａとして特定する。なお、テンプレートは、実際の超音波画像の一部であってもよいし、血管又は血管集合体を模式化して描いた画像であってもよい。
　また、類似度の算出には、単純なテンプレートマッチングの他に、例えば、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 （2004）に記載されている機械学習手法、あるいは、Krizhevsk et al.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, pp.1106-1114 （2012）に記載されているディープラーニングを用いた一般画像認識手法等を用いることができる。
　第１実施形態では、超音波プローブ１０と装置本体２０とが無線通信により接続されているが、これに代えて、超音波プローブ１０と装置本体２０とが有線接続されていてもよい。
　また、第１実施形態では、音線信号に基づいて超音波画像Ｕを生成する画像生成部５１が装置本体２０に設けられているが、これに代えて、画像生成部５１は、超音波プローブ１０内に設けられていてもよい。この場合、超音波プローブ１０は、超音波画像Ｕを生成して装置本体２０に出力する。装置本体２０のプロセッサ２５は、超音波プローブ１０から入力された超音波画像Ｕに基づいて画像解析等を行う。
　また、第１実施形態では、表示装置２１、入力装置２２、及び超音波プローブ１０がプロセッサ２５に直接的に接続されているが、表示装置２１、入力装置２２、超音波プローブ１０、及びプロセッサ２５が、ネットワークを介して間接的に接続されていてもよい。
　一例として図２４に示す超音波診断装置２Ａは、表示装置２１、入力装置２２、超音波プローブ１０Ａが、ネットワークＮＷを介して装置本体２０Ａに接続されたものである。装置本体２０Ａは、第１実施形態に係る装置本体２０から表示装置２１及び入力装置２２を除き、かつ送受信回路１４を付加したものであり、送受信回路１４、記憶装置２４、及びプロセッサ２５により構成されている。超音波プローブ１０Ａは、第１実施形態に係る超音波プローブ１０から送受信回路１４を除いたものである。
　このように、超音波診断装置２Ａでは、表示装置２１、入力装置２２、超音波プローブ１０ＡがネットワークＮＷを介して装置本体２０Ａと接続されているため、装置本体２０Ａを、いわゆる遠隔サーバとして使用することができる。これにより、例えば、術者は、表示装置２１、入力装置２２、及び超音波プローブ１０Ａを、術者の手元に用意することができ、利便性が向上する。また、表示装置２１及び入力装置２２を、スマートフォン又はタブレット端末等の携帯端末により構成することにより、利便性がさらに向上する。
　他の一例として図２５に示す超音波診断装置２Ｂでは、表示装置２１及び入力装置２２が装置本体２０Ｂに搭載されており、超音波プローブ１０ＡがネットワークＮＷを介して装置本体２０Ｂに接続されている。この場合、装置本体２０Ｂを遠隔サーバによって構成してもよい。また、装置本体２０Ｂを、スマートフォン又はタブレット端末等の携帯端末により構成することも可能である。
　第１実施形態において、例えば、主制御部５０、画像生成部５１、表示制御部５２、画像解析部５３、及び強調表示部５４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（プログラム２６）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device: PLD）、ＡＳＩＣ等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／又は、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip: SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　以上の記載から、以下の付記項１～９に記載の技術を把握することができる。
　［付記項１］
　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理を行う情報処理装置であって、
　プロセッサを備え、
　前記プロセッサは、
　前記超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出し、検出した前記血管集合体領域を前記超音波画像内に強調表示する
　情報処理装置。
　［付記項２］
　前記プロセッサは、
　前記血管集合体領域に含まれる血管の各々について、動脈と静脈とのいずれであるかを、前記血管集合体領域内における各血管の特徴量に基づいて判定する
　付記項１に記載の情報処理装置。
　［付記項３］
　前記プロセッサは、
　血管径、前記血管集合体領域の中心からの血管の変位量、及び血管の円形度のうち、少なくとも１以上の特徴量に基づいて判定を行う、
　付記項２に記載の情報処理装置。
　［付記項４］
　前記プロセッサは、
　前記超音波画像内から血管単体を含む血管単体領域を検出し、検出した前記血管単体領域に含まれる血管が動脈と静脈とのいずれであるかを判定する
　付記項２又は付記項３に記載の情報処理装置。
　［付記項５］
　前記プロセッサは、
　前記血管単体領域内における血管に対する動静脈判定の結果を、前記血管集合体領域内における各血管に対する動静脈判定の結果に基づいて修正する
　付記項４に記載の情報処理装置。
　［付記項６］
　前記プロセッサは、
　前記血管単体領域内における血管に対する動静脈判定の確信度と、前記血管集合体領域内における各血管に対する動静脈判定の確信度とを比較し、確信度が高い方の判定結果を選択する
　付記項５に記載の情報処理装置。
　［付記項７］
　前記プロセッサは、
　修正結果に基づき、前記血管集合体領域に含まれる血管の各々を、動脈と静脈とを識別可能に表示する
　付記項６に記載の情報処理装置。
　［付記項８］
　前記プロセッサは、
　前記選択した判定結果に対する確信度を、前記表示装置に表示する
　付記項７に記載の情報処理装置。
　［付記項９］
　前記プロセッサは、
　前記選択した判定結果に対する確信度が一定値より低い場合に、注意を促すメッセージを前記表示装置に表示する
　付記項８に記載の情報処理装置。
　本開示の技術は、上述の種々の実施形態及び／又は種々の変形例を適宜組み合わせることも可能である。また、上記実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
２，２Ａ，２Ｂ　超音波診断装置
４　受信回路
１０，１０Ａ　超音波プローブ
１１　ハウジング
１１Ａ　アレイ収容部
１１Ｂ　グリップ部
１３　振動子アレイ
１４　送受信回路
１５　通信部
１６　送信回路
１７　受信回路
２０，２０Ａ，２０Ｂ　装置本体
２１　表示装置
２２　入力装置
２３　通信部
２４　記憶装置
２５　プロセッサ
２６　プログラム
３０　生体
３１　穿刺針
４１　増幅部
４２　Ａ／Ｄ変換部
４３　ビームフォーマ
５０　主制御部
５１　画像生成部
５２　表示制御部
５３　画像解析部
５４　強調表示部
６１　信号処理部
６２　ＤＳＣ
６３　画像処理部
７１　血管単体検出部
７１Ａ　血管単体検出モデル
７２　血管集合体検出部
７２Ａ　血管集合体検出モデル
７３　動静脈判定部
７４　修正部
Ａ　判定結果
Ｂ，Ｂ１～Ｂ５　血管
Ｃ　中心
Ｄ　血管径
Ｋ　変位量
Ｄ１　血管単体検出情報
Ｄ２　血管集合体検出情報
Ｄ３　動静脈判定情報
ＤＢ　血管検出情報
Ｌ　正解ラベル
Ｍ　ガイドマーカ
ＮＷ　ネットワーク
Ｐ　教師画像
Ｒａ　血管集合体領域
Ｒｓ　血管単体領域
ＴＤ１，ＴＤ２　教師データ
Ｕ　超音波画像
ＵＢ　超音波ビーム

Claims (11)

  1. 　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理を行う情報処理装置であって、
    　前記超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出する血管集合体検出部と、
    　前記血管集合体領域を前記超音波画像内に強調表示する強調表示部と、
    　を備える情報処理装置。
  2. 　前記血管集合体領域に含まれる血管の各々について、動脈と静脈とのいずれであるかを、前記血管集合体領域内における各血管の特徴量に基づいて判定する動静脈判定部
    　をさらに備える請求項１に記載の情報処理装置。
  3. 　前記動静脈判定部は、血管径、前記血管集合体領域の中心からの血管の変位量、及び血管の円形度のうち、少なくとも１以上の特徴量に基づいて判定を行う、
    　請求項２に記載の情報処理装置。
  4. 　前記超音波画像内から血管単体を含む血管単体領域を検出し、検出した前記血管単体領域に含まれる血管が動脈と静脈とのいずれであるかを判定する血管単体検出部
    　をさらに備える請求項２又は請求項３に記載の情報処理装置。
  5. 　前記血管単体検出部が判定した動静脈判定の結果を、前記動静脈判定部による動静脈判定の結果に基づいて修正する修正部
    　をさらに備える請求項４に記載の情報処理装置。
  6. 　前記修正部は、前記血管単体検出部による動静脈判定の確信度と、前記動静脈判定部による動静脈判定の確信度とを比較し、確信度が高い方の判定結果を選択する
    　請求項５に記載の情報処理装置。
  7. 　前記強調表示部は、前記修正部による修正結果に基づき、前記血管集合体領域に含まれる血管の各々を、動脈と静脈とを識別可能に表示する
    　請求項６に記載の情報処理装置。
  8. 　前記強調表示部は、前記修正部が選択した前記判定結果に対する確信度を、前記表示装置に表示する
    　請求項７に記載の情報処理装置。
  9. 　前記強調表示部は、前記修正部が選択した前記判定結果に対する確信度が一定値より低い場合に、注意を促すメッセージを前記表示装置に表示する
    　請求項８に記載の情報処理装置。
  10. 　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理を行う情報処理方法であって、
    　前記超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出し、検出した前記血管集合体領域を前記超音波画像内に強調表示する
    　情報処理方法。
  11. 　振動子アレイから生体内に向けて超音波ビームの送信を行わせ、生体内で生じた超音波エコーを受信することにより生成された超音波画像を表示装置に表示させる処理をコンピュータに実行させるプログラムであって、
    　前記超音波画像内から３以上の血管が集合した血管集合体を含む血管集合体領域を検出し、検出した前記血管集合体領域を前記超音波画像内に強調表示する処理
    　をコンピュータに実行させるプログラム。
PCT/JP2021/034782 2020-11-19 2021-09-22 情報処理装置、情報処理方法、及びプログラム WO2022107440A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022563598A JPWO2022107440A1 (ja) 2020-11-19 2021-09-22
EP21894315.7A EP4248878A4 (en) 2020-11-19 2021-09-22 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
CN202180076543.XA CN116507288A (zh) 2020-11-19 2021-09-22 信息处理装置、信息处理方法及程序
US18/310,032 US20230263505A1 (en) 2020-11-19 2023-05-01 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020192752 2020-11-19
JP2020-192752 2020-11-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/310,032 Continuation US20230263505A1 (en) 2020-11-19 2023-05-01 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2022107440A1 true WO2022107440A1 (ja) 2022-05-27

Family

ID=81708809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034782 WO2022107440A1 (ja) 2020-11-19 2021-09-22 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20230263505A1 (ja)
EP (1) EP4248878A4 (ja)
JP (1) JPWO2022107440A1 (ja)
CN (1) CN116507288A (ja)
WO (1) WO2022107440A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187052A (ja) * 2000-01-04 2001-07-10 Ge Yokogawa Medical Systems Ltd 対照標準領域設定方法および超音波診断装置
JP2005111258A (ja) * 2003-09-19 2005-04-28 Fuji Photo Film Co Ltd 超音波診断装置
JP2017524455A (ja) 2015-04-03 2017-08-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管を識別する超音波システム及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3845134B1 (en) * 2018-08-27 2022-07-27 FUJIFILM Corporation Ultrasound diagnosis device and ultrasound diagnosis device control method
WO2020087732A1 (zh) * 2018-11-02 2020-05-07 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187052A (ja) * 2000-01-04 2001-07-10 Ge Yokogawa Medical Systems Ltd 対照標準領域設定方法および超音波診断装置
JP2005111258A (ja) * 2003-09-19 2005-04-28 Fuji Photo Film Co Ltd 超音波診断装置
JP2017524455A (ja) 2015-04-03 2017-08-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管を識別する超音波システム及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CSURKA ET AL.: "Visual Categorization with Bags of Keypoints", PROC. OF ECCV WORKSHOP ON STATISTICAL LEARNING IN COMPUTER VISION, 2004, pages 59 - 74
KRIZHEVSK ET AL.: "ImageNet Classification with Deep Convolutional Neural Networks", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, vol. 25, 2012, pages 1106 - 1114
See also references of EP4248878A4

Also Published As

Publication number Publication date
JPWO2022107440A1 (ja) 2022-05-27
EP4248878A4 (en) 2023-11-22
CN116507288A (zh) 2023-07-28
US20230263505A1 (en) 2023-08-24
EP4248878A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
CN114364325B (zh) 超声波诊断装置及超声波诊断装置的控制方法
US20220142608A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US11116475B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
US20210077066A1 (en) Acoustic wave diagnostic apparatus and method of controlling acoustic wave diagnostic apparatus
US11596381B2 (en) Multiple frequency scanning using an ultrasound probe
US20220104791A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20220160335A1 (en) Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus
US20210113196A1 (en) Acoustic wave diagnostic apparatus and method of controlling acoustic wave diagnostic apparatus
US11759173B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
CN107809956B (zh) 超声设备及其操作方法
US20230293144A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
WO2022107440A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022107441A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230190238A1 (en) Ultrasound system and control method of ultrasound system
US20240065671A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20230363740A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20240130712A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4360565A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
JP2023175251A (ja) 超音波診断装置および超音波診断装置の制御方法
JP2021126429A (ja) 超音波診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894315

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563598

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180076543.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021894315

Country of ref document: EP

Effective date: 20230619