WO2020137215A1 - 超音波診断装置および超音波診断装置の制御方法 - Google Patents

超音波診断装置および超音波診断装置の制御方法 Download PDF

Info

Publication number
WO2020137215A1
WO2020137215A1 PCT/JP2019/044461 JP2019044461W WO2020137215A1 WO 2020137215 A1 WO2020137215 A1 WO 2020137215A1 JP 2019044461 W JP2019044461 W JP 2019044461W WO 2020137215 A1 WO2020137215 A1 WO 2020137215A1
Authority
WO
WIPO (PCT)
Prior art keywords
puncture needle
length
unit
ultrasonic
image
Prior art date
Application number
PCT/JP2019/044461
Other languages
English (en)
French (fr)
Inventor
榎本　淳
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020562903A priority Critical patent/JP7333338B2/ja
Publication of WO2020137215A1 publication Critical patent/WO2020137215A1/ja
Priority to US17/353,435 priority patent/US11925504B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest

Definitions

  • the present invention relates to an ultrasonic diagnostic apparatus having a head mounted display and a control method for the ultrasonic diagnostic apparatus.
  • an ultrasonic diagnostic apparatus has been known as a device for obtaining an image of the inside of a subject.
  • An ultrasonic diagnostic apparatus generally includes an ultrasonic probe provided with a transducer array in which a plurality of elements are arranged. In a state where this ultrasonic probe is in contact with the body surface of the subject, an ultrasonic beam is transmitted from the transducer array toward the inside of the subject, and an ultrasonic echo from the subject is received by the transducer array to receive the element. The data is acquired. Further, the ultrasonic diagnostic apparatus electrically processes the obtained element data to generate an ultrasonic image of the part of the subject.
  • Such an ultrasonic diagnostic apparatus may be used for observing the puncture needle inserted into the subject when the puncture needle is inserted into the subject.
  • the user confirms the ultrasonic image displayed on the monitor by inserting the puncture needle into the subject while bringing the ultrasonic probe into contact with the subject, and thus the image is visualized in the ultrasonic image.
  • the puncture needle is inserted into the subject while observing the prepared puncture needle.
  • the monitor on which the ultrasonic image is displayed is often placed at a position away from the ultrasonic probe, such as at the bedside, the user may not be able to use the puncture needle or the ultrasonic probe between the monitor and the monitor. It is necessary to move the line of sight alternately with.
  • an ultrasonic diagnostic apparatus including a so-called head mounted display as disclosed in Patent Document 1 has been developed.
  • an ultrasonic image showing the puncture needle is displayed on the display unit of the head mounted display.
  • the user grasps the length of the portion of the puncture needle inserted into the subject while inserting the puncture needle into the subject.
  • the user can confirm the puncture needle on the ultrasonic image while reducing the movement of the line of sight by visually recognizing the display unit of the head mounted display. It is difficult to accurately grasp the length of the portion of the puncture needle that is inserted into the subject by simply checking the puncture needle on the image. Further, in order to accurately grasp the length of the portion of the puncture needle that is inserted in the subject, for example, measuring the length of the puncture needle on the ultrasonic image can be mentioned. The length of the puncture needle is usually measured manually by the user, and in practice, the length of the puncture needle on the ultrasonic image cannot be measured while the user is inserting the puncture needle into the subject. It was difficult and it was also difficult to measure the exact length.
  • An object of the present invention is to provide an ultrasonic diagnostic apparatus and a method of controlling the ultrasonic diagnostic apparatus.
  • the ultrasonic diagnostic apparatus is an ultrasonic diagnostic apparatus that visualizes a puncture needle inserted in a subject in an ultrasonic image, and is attached to a user's head,
  • a head mount display having a camera unit that captures a field-of-view image obtained by capturing a field of view in front of the user, and when at least a part of the puncture needle is captured by the camera unit, the field-of-view image is analyzed to recognize the puncture needle
  • a puncture needle length calculation unit for calculating the length of the puncture needle in the visual field image.
  • the ultrasonic diagnostic apparatus uses a full length acquisition unit that acquires the actual total length of the puncture needle that has not been inserted into the subject, and the puncture needle length from the visual field image of the entire puncture needle that has not been inserted into the subject.
  • the length in the visual field image of the puncture needle calculated by the length calculation unit and the actual total length of the puncture needle acquired by the full length acquisition unit are acquired, and the puncture needle length is calculated based on the acquired correspondence. It is preferable to further include an actual length estimation unit that estimates the actual length of the puncture needle captured in the visual field image from the length in the visual field image of the puncture needle calculated by the calculation unit.
  • the full-length acquisition unit is configured to provide a plurality of puncture needles that are not inserted into the subject and have a plurality of grooves formed at predetermined intervals formed by the camera unit.
  • the groove can be used to obtain the actual total length of the puncture needle.
  • the length information recording member in which the length information indicating the actual length of the puncture needle is recorded by the camera unit is photographed by the camera unit, the length information recording unit records the length information recorded in the length information recording member. It is also possible to obtain the actual total length of the puncture needle by reading Alternatively, when the entire length of the puncture needle not inserted into the subject and the scale for measuring the length are imaged in parallel with each other by the camera unit, the full length acquisition unit uses the scale to perform the puncture. It is also possible to get the actual total length of the needle.
  • the actual length estimation unit can superimpose and display the estimated actual length of the puncture needle on the ultrasonic image.
  • the ultrasonic diagnostic apparatus when the puncture needle partially inserted into the subject is imaged by the camera unit, the actual total length and the actual length of the puncture needle acquired by the full length acquisition unit.
  • An insertion length estimation unit that estimates the actual length of the portion of the puncture needle that is inserted into the subject based on the actual length of the uninserted portion that appears in the visual field image of the puncture needle estimated by the estimation unit Is preferably further provided.
  • the insertion length estimation unit can superimpose and display the estimated actual length of the portion of the puncture needle inserted in the subject on the ultrasonic image.
  • the ultrasonic diagnostic apparatus recognizes the target site and the puncture needle by performing image analysis on the ultrasonic image when the target site of the puncture and the puncture needle are drawn on the ultrasonic image, and recognizes the target site and the insertion length.
  • a distance calculation unit that calculates the distance between the target site and the tip of the puncture needle based on the actual length of the portion of the puncture needle that is inserted into the subject estimated by the length estimation unit. It is preferable.
  • the distance calculation unit can superimpose and display the calculated value of the distance between the target site and the tip of the puncture needle on the ultrasonic image.
  • the ultrasonic diagnostic apparatus may further include a notification unit that notifies the user when the distance calculated by the distance calculation unit is equal to or less than a predetermined value.
  • the head mounted display can have a display unit that displays an ultrasonic image.
  • the ultrasonic diagnostic apparatus may further include a display monitor that displays a sound wave image.
  • An ultrasonic diagnostic apparatus control method is a method for controlling an ultrasonic diagnostic apparatus in which a puncture needle inserted into a subject is visualized in an ultrasonic image, and is attached to a user's head and a camera unit.
  • a head mounted display having a head mounted display acquires a visual field image of the visual field in front of the user, and when at least a part of the puncture needle is captured by the camera unit, the puncture needle is recognized by analyzing the image of the visual field image. Then, the length of the puncture needle in the visual field image is calculated.
  • a head mounted display that is mounted on the head of a user and has a camera unit that acquires a field-of-view image that captures a field of view in front of the user, and at least part of the puncture needle is imaged by the camera
  • the puncture needle is recognized by performing image analysis of the visual field image and the puncture needle length calculation unit for calculating the length of the puncture needle in the visual field image is provided, the user inserts the puncture needle into the subject. It is possible to accurately and easily grasp the length of the portion that is in contact.
  • FIG. 3 is a block diagram showing a configuration of a receiving unit according to the first embodiment of the present invention. It is a figure which shows the example of the head mounted display in Embodiment 1 of this invention. FIG. 3 is a block diagram showing a configuration of a head mounted display according to Embodiment 1 of the present invention. It is a block diagram which shows the structure of the diagnostic device main body in Embodiment 1 of this invention. It is a figure showing an example of a puncture needle.
  • FIG. 3 is a flowchart showing the operation of the ultrasonic diagnostic apparatus according to Embodiment 1 of the present invention. It is a figure which shows typically the ultrasonic image in which the actual full length of the acquired puncture needle was displayed. It is a figure which shows typically the ultrasonic image which displayed the actual length of the acquired puncture needle and the length of the puncture needle estimated. It is a figure which shows typically the packaging bag of a puncture needle which has a barcode. It is a figure which shows typically a mode that a scale and a puncture needle are arranged in parallel. It is a block diagram which shows the structure of the apparatus main body in Embodiment 2 of this invention.
  • the numerical range represented by “to” means the range including the numerical values before and after “to” as the lower limit value and the upper limit value.
  • the terms “vertical” and “parallel” include the range of error allowed in the technical field to which the present invention belongs. For example, “vertical” and “parallel” means within a range of less than ⁇ 10° with respect to strict vertical or parallel, and an error with respect to strict vertical or parallel is 5° or less. Is preferable, and more preferably 3° or less.
  • “identical” and “identical” include an error range generally accepted in the technical field. Further, in the present specification, when referring to “all”, “all” or “entire surface” and the like, in addition to the case of 100%, including an error range generally accepted in the technical field, for example, 99% or more, The case where it is 95% or more, or 90% or more is included.
  • FIG. 1 shows the configuration of an ultrasonic diagnostic apparatus 1 according to Embodiment 1 of the present invention.
  • the ultrasonic diagnostic apparatus 1 includes an ultrasonic probe 2, a head mounted display 3, and a diagnostic apparatus main body 4, and the ultrasonic probe 2 and the head mounted display 3 are connected to the diagnostic apparatus main body 4 in a wireless state.
  • the head-mounted display 3 is a display device that is mounted on the user's head and is viewed by the user who is wearing the head-mounted display 3.
  • An ultrasonic image or the like is wirelessly transmitted from the diagnostic apparatus body 4 to the head-mounted display 3 and transmitted.
  • the ultrasonic image and the like are displayed on the head mounted display 3.
  • the ultrasonic probe 2 includes a transducer array 11, and a transmitter 12 and a receiver 13 are connected to the transducer array 11, respectively.
  • the signal processing unit 14 and the probe-side wireless communication unit 15 are sequentially connected to the receiving unit 13.
  • the communication control unit 16 is connected to the probe-side wireless communication unit 15.
  • the probe controller 17 is connected to the transmitter 12, the receiver 13, the signal processor 14, the probe-side wireless communication unit 15, and the communication controller 16, and the transmitter 12, the receiver 13, and the signal processor 14 are connected.
  • the communication controller 16 and the probe controller 17 constitute a probe processor 18.
  • a battery 19 is built in the ultrasonic probe 2.
  • the transducer array 11 of the ultrasonic probe 2 shown in FIG. 2 has a plurality of transducers arranged one-dimensionally or two-dimensionally. Each of these transducers transmits an ultrasonic wave in accordance with a drive signal supplied from the transmission unit 12, receives an ultrasonic echo from the subject, and outputs a signal based on the ultrasonic echo.
  • Each oscillator is, for example, a piezoelectric ceramic typified by PZT (Lead Zirconate Titanate), a polymer piezoelectric element typified by PVDF (PolyVinylidene DiFluoride), and a PMN-PT ( Lead Magnesium Niobate-Lead Titanate: Lead magnesium niobate-lead titanate solid solution) is formed by forming electrodes on both ends of a piezoelectric body such as a piezoelectric single crystal.
  • PZT Lead Zirconate Titanate
  • PVDF PolyVinylidene DiFluoride
  • PMN-PT Lead Magnesium Niobate-Lead Titanate: Lead magnesium niobate-lead titanate solid solution
  • the transmission unit 12 of the probe processor 18 includes, for example, a plurality of pulse generators, and a plurality of vibrations of the transducer array 11 are generated based on the transmission delay pattern selected according to the control signal from the probe control unit 17.
  • the respective drive signals are supplied to the plurality of transducers by adjusting the delay amount so that the ultrasonic waves transmitted from the child form an ultrasonic beam.
  • a pulsed or continuous wave voltage is applied to the electrodes of the vibrators of the vibrator array 11
  • the piezoelectric body expands and contracts, and pulsed or continuous wave ultrasonic waves are generated from the respective vibrators.
  • An ultrasonic beam is formed from a composite wave of those ultrasonic waves.
  • the transmitted ultrasonic beam is reflected by a target such as a site of a subject and propagates toward the transducer array 11 of the ultrasonic probe 2.
  • the ultrasonic waves propagating toward the transducer array 11 in this manner are received by the respective transducers forming the transducer array 11.
  • each transducer forming the transducer array 11 expands and contracts by receiving the propagating ultrasonic echo to generate an electric signal, and outputs these electric signals to the receiving unit 13.
  • the receiving unit 13 of the probe processor 18 processes the signal output from the transducer array 11 according to the control signal from the probe control unit 17. As shown in FIG. 3, the reception unit 13 has a configuration in which an amplification unit 20, an AD (Analog Digital) conversion unit 21, and a beam former 22 are connected in series.
  • AD Analog Digital
  • the amplifying unit 20 amplifies the signals input from the respective oscillators forming the oscillator array 11, and transmits the amplified signals to the AD converting unit 21.
  • the AD conversion unit 21 converts the signal transmitted from the amplification unit 20 into digital data, and transmits these data to the beamformer 22.
  • the beamformer 22 follows each of the data converted by the AD converter 21 according to the sound velocity or the distribution of the sound velocity set based on the reception delay pattern selected according to the control signal from the probe controller 17.
  • a so-called reception focus process is performed by giving a delay and adding. By this reception focus processing, the reception signals obtained by subjecting each data converted by the AD conversion unit 21 to phasing addition and narrowing the focus of the ultrasonic echo are acquired.
  • the signal processing unit 14 of the probe processor 18 performs an envelope detection process on the reception data generated by the reception unit 13 after performing attenuation correction by distance according to the depth of the reflection position of the ultrasonic wave. , An ultrasonic image signal, which is tomographic image information regarding the tissue in the subject is generated.
  • the probe-side wireless communication unit 15 of the ultrasonic probe 2 includes an antenna for transmitting and receiving radio waves, modulates a carrier based on the ultrasonic image signal generated by the signal processing unit 14, and transmits ultrasonic waves.
  • a transmission signal representing the image signal is generated.
  • the probe-side wireless communication unit 15 supplies the transmission signal representing the ultrasonic image signal thus generated to the antenna and transmits the radio wave from the antenna, thereby sequentially transmitting the ultrasonic image signal to the diagnostic apparatus body 4.
  • Carrier modulation methods include ASK (Amplitude Shift Keying), PSK (Phase Shift Keying), QPSK (Quadrature Phase Shift Keying), and 16QAM (16 Quadrature Amplitude).
  • the probe-side wireless communication unit 15 also receives instruction information or the like for instructing the operation of the ultrasonic probe 2 from the diagnostic apparatus body 4, and inputs the received instruction information or the like to the probe control unit 17.
  • the communication control unit 16 of the probe processor 18 controls the probe-side wireless communication unit 15 so that the ultrasonic image signal is transmitted with the transmission radio field intensity set by the probe control unit 17.
  • the probe control unit 17 of the probe processor 18 controls each unit of the ultrasonic probe 2 based on a program stored in advance, instruction information wirelessly transmitted from the diagnostic apparatus body 4, and the like.
  • the battery 19 of the ultrasonic probe 2 is built in the ultrasonic probe 2 and supplies electric power to each circuit of the ultrasonic probe 2.
  • the probe processor 18 including the transmission unit 12, the reception unit 13, the signal processing unit 14, the communication control unit 16, and the probe control unit 17 performs various processing on the CPU (Central Processing Unit) and the CPU. It consists of a control program to execute, FPGA (Field Programmable Gate Array: Feed Programmable Gate Array), DSP (Digital Signal Processor: Digital Signal Processor), ASIC (Application Specific Integrated Circuit): Application Specific Integrated Circuit, It may be configured by using another IC (Integrated Circuit), or may be configured by combining them. Further, the transmission unit 12, the reception unit 13, the signal processing unit 14, the communication control unit 16, and the probe control unit 17 can be partially or wholly integrated into one CPU or the like.
  • the head mounted display 3 is a display device that is mounted on the user's head and is visually recognized by the user who is mounted, and has a so-called eyeglass-like shape as shown in FIG.
  • the head mounted display 3 includes two display portions 31A and 31B, and the two display portions 31A and 31B are connected to each other by a bridge portion B, and the vine portions are respectively provided at the ends of the two display portions 31A and 31B. A is connected.
  • the bridge portion B is caught on the user's nose and the two vine portions A are caught on the user's ears, whereby the head mounted display 3 is fixed to the head of the subject.
  • the two display units 31A and 31B face the left and right eyes of the user, respectively.
  • a camera unit 32 having a taking lens F arranged on the front surface is attached to a connecting portion between the left display unit 31B and the vine A. Further, in the vine portion A connected to the display portion 31A on the right side, a storage portion D in which various circuits necessary for the operation of the head mounted display 3, a battery and the like are stored is arranged.
  • FIG. 5 shows the configuration of the head mounted display 3.
  • the head mounted display 3 has a head mounted display side wireless communication section 33, and the head mounted display side wireless communication section 33 is connected to a camera section 32, a communication control section 34 and a display control section 35.
  • the display unit 31 is connected to the display control unit 35.
  • a head mounted display control unit 36 is connected to the camera unit 32, the head mounted display side wireless communication unit 33, the communication control unit 34, and the display control unit 35.
  • the two display units 31A and 31B in FIG. 4 are collectively referred to as the display unit 31.
  • the communication control unit 34, the display control unit 35, and the head mount display control unit 36 constitute a head mount display processor 37.
  • a battery 38 is built in the head mounted display 3.
  • the head mounted display side wireless communication unit 33, the head mounted display processor 37 and the battery 38 are housed in the housing unit D of the head mounted display 3.
  • the camera unit 32 of the head mounted display 3 generates a visual field image obtained by photographing the visual field in front of the user through the photographing lens F.
  • the camera unit 32 captures a visual field in front of the user through the photographing lens F and amplifies the visual field image signal obtained by the image sensor and the image sensor that obtains the visual field image signal that is an analog signal.
  • An analog signal processing circuit for converting into a digital signal and a digital signal processing circuit for performing various corrections such as gain correction on the converted digital signal to generate a visual field image are incorporated.
  • the analog signal processing circuit and the digital signal processing circuit may be incorporated in the head mounted display processor 37.
  • the generated visual field image is transmitted to the diagnostic device body 4.
  • it receives an ultrasonic image or the like transmitted from the diagnostic apparatus body 4, and transmits the received ultrasonic image or the like to the display unit 31 via the display control unit 35.
  • the head mounted display side wireless communication unit 33 receives instruction information and the like for instructing the operation of the head mounted display 3 from the diagnostic apparatus body 4, and outputs the received instruction information and the like to the head mounted display control unit 36. ..
  • the display unit 31 of the head-mounted display 3 has a light-transmitting property in order to secure the user's visual field when the user wears the head-mounted display 3. Further, the display unit 31 is a display display that displays an ultrasonic image and the like. Since the display unit 31 has such a configuration, it can display, for example, an ultrasonic image or the like transmitted from the diagnostic apparatus body 4.
  • the display control unit 35 of the head mounted display processor 37 under the control of the head mounted display control unit 36, performs a predetermined process on the ultrasonic image or the like transmitted from the diagnostic apparatus body 4, and causes the display unit 31 to display the ultrasonic image. Etc. are displayed.
  • the communication control unit 34 of the head-mounted display processor 37 uses the head-mounted display-side wireless communication unit so that the field-of-view image is transmitted and the ultrasonic image and the like are transmitted at the transmission/reception field intensity set by the head-mounted display control unit 36. Control 33.
  • the head-mounted display control unit 36 of the head-mounted display processor 37 controls each unit of the head-mounted display 3 based on a prestored program, instruction information wirelessly transmitted from the diagnostic apparatus body 4, and the like.
  • the battery 38 of the head mounted display 3 is built in the head mounted display 3 and supplies electric power to each circuit of the head mounted display 3.
  • the head mount display processor 37 including the communication control unit 34, the display control unit 35, and the head mount display control unit 36 includes a CPU and a control program for causing the CPU to perform various processes. , DSP, ASIC, GPU (Graphics Processing Unit), other ICs, or a combination thereof. Further, the communication control unit 34, the display control unit 35, and the head mounted display control unit 36 can be partially or wholly integrated into one CPU or the like.
  • the diagnostic device main body 4 has a main body side wireless communication unit 41, and a communication control unit 42 is connected to the main body side wireless communication unit 41.
  • An ultrasonic image processing unit 43, a display control unit 44, and a display monitor 45 are sequentially connected to the main body side wireless communication unit 41.
  • a puncture needle length calculation unit 46 and a full length acquisition unit 47 are connected to the main body side wireless communication unit 41.
  • the actual length estimation unit 48 is connected to the puncture needle length calculation unit 46, and the display control unit 44 and the actual length estimation unit 48 are connected to the full length acquisition unit 47.
  • the display control unit 44 is connected to the actual length estimation unit 48.
  • a main body control unit 49 is connected to the communication control unit 42, the ultrasonic image processing unit 43, the display control unit 44, the puncture needle length calculation unit 46, the total length acquisition unit 47, and the actual length estimation unit 48,
  • the storage unit 50 and the input unit 51 are connected to the main body control unit 49.
  • the main body control unit 49 and the storage unit 50 are connected so that information can be passed bidirectionally.
  • the diagnostic device main body processor 52 is configured by the communication control unit 42, the ultrasonic image processing unit 43, the display control unit 44, the puncture needle length calculation unit 46, the total length acquisition unit 47, the actual length estimation unit 48, and the main body control unit 49. Is configured.
  • the main body side wireless communication unit 41 of the diagnostic apparatus main body 4 transmits and receives radio waves similarly to the probe side wireless communication unit 15 of the ultrasonic probe 2 and the head mounted display side wireless communication unit 33 of the head mounted display 3.
  • the wireless communication unit transmits the instruction information and the like to the probe-side wireless communication unit 15 and the head-mounted display-side wireless communication unit 33 and receives the ultrasonic image signal, the visual field image, and the like by wireless communication.
  • the ultrasonic image processing unit 43 of the diagnostic device main body processor 52 receives the ultrasonic image signal transmitted from the ultrasonic probe 2 via the main body side wireless communication unit 41, and based on the received ultrasonic image signal, the ultrasonic image signal is received. To generate. At this time, the ultrasonic image processing unit 43 first generates an ultrasonic image by converting (raster conversion) the ultrasonic image signal into an image signal according to a normal television signal operation method. In addition, the ultrasonic image processing unit 43 performs various necessary image processing such as gradation processing on the generated ultrasonic image, and then performs the image-processed ultrasonic image on the main body side wireless communication unit 41 and Output to the display control unit 44. Here, the ultrasonic image output to the main body side wireless communication unit 41 is transmitted to the head mounted display 3 by wireless communication.
  • the puncture needle length calculation unit 46 of the diagnostic device main body processor 52 receives the visual field image transmitted from the head mounted display 3 via the main body side wireless communication unit 41, and is inserted into the subject within the received visual field image.
  • the puncture needle is recognized by performing image analysis on the visual field image, and the length of the puncture needle in the visual field image is calculated.
  • the puncture needle refers to, for example, one as shown in FIG. 7, one end of the puncture needle N is sharply pointed for puncturing a subject, and the other end is attached to a cylinder of a so-called syringe or the like.
  • the mounting portion E of is connected.
  • Such a puncture needle N is generally used for the purpose of collecting a sample from the inside of the subject, injecting a drug into the subject, and the like.
  • the puncture needle length calculation unit 46 stores typical pattern data of the puncture needle in advance as a template, and searches the visual field image with the template. However, the degree of similarity to the pattern data is calculated, and it can be considered that the puncture needle N exists at the place where the degree of similarity is equal to or greater than a threshold value and becomes maximum.
  • Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 (2004) can be used to calculate the similarity.
  • the full length acquisition unit 47 of the diagnostic device main body processor 52 receives the visual field image transmitted from the head mounted display 3 via the main body side wireless communication unit 41, and based on the received visual field image, determines the actual total length of the puncture needle N. get. For example, as shown in FIG. 7, in the case where the puncture needle N is formed with a plurality of grooves G that are arranged at predetermined intervals LG, and the entire puncture needle N is shown in the visual field image.
  • the full length acquisition unit 47 acquires the actual full length LA of the puncture needle N by using the gap LG between the plurality of grooves by image analysis of the visual field image.
  • the full length acquisition unit 47 stores, for example, the actual length of the gap LG between the plurality of grooves G in advance and refers to the stored actual length of the gap LG to determine the puncture needle N. It is possible to obtain the actual full length LA of Further, the value of the interval LG between the plurality of grooves G can be input in advance by the user via the input unit 51.
  • the actual length estimation unit 48 of the diagnostic apparatus main body processor 52 uses the visual field image of the entire puncture needle N that is not inserted into the subject to calculate the visual field of the puncture needle N calculated by the puncture needle length calculation unit 46.
  • the puncture needle calculated by the puncture needle length calculation unit 46 is acquired based on the acquired correspondence relationship between the image length and the actual total length of the puncture needle N acquired by the full length acquisition unit 47. From the length of N, the actual length of the puncture needle N captured in the visual field image is estimated. For example, as shown in FIG. 8, when the puncture needle N is inserted into the subject S and the puncture needle N is photographed by the camera unit 32 of the head mounted display 3, the visual field image shows the outside of the subject S.
  • the actual length estimation unit 48 determines the puncture needle N from the length in the visual field image of the puncture needle N calculated by the puncture needle length calculation unit 46 with reference to the actual total length LA of the puncture needle N. Estimate the actual length LB of the uninserted part.
  • the actual length estimation unit 48 sends the estimated actual length value of the puncture needle N to the main body side wireless communication unit 41 and the display control unit 44.
  • the actual length value of the puncture needle N sent to the main body side wireless communication unit 41 is sent to the head mounted display 3 by wireless communication.
  • the display control unit 44 of the diagnostic device main body processor 52 under the control of the main body control unit 49, the ultrasonic image generated by the ultrasonic image processing unit 43 and the actual puncture needle N estimated by the actual length estimation unit 48.
  • the display monitor 45 is caused to display the ultrasonic image and the estimated actual length of the puncture needle N by performing a predetermined process on the length value and the like.
  • the display monitor 45 of the diagnostic apparatus body 4 displays an image under the control of the display control unit 44, and is, for example, a display such as an LCD (Liquid Crystal Display) or an organic EL display (Organic Electroluminescence Display). Including equipment.
  • the main body control unit 49 of the diagnostic device main body processor 52 controls each unit of the diagnostic device main body 4 based on a program stored in advance in the storage unit 50 or the like and a user's input operation via the input unit 51.
  • the communication control unit 42 of the diagnostic device main body processor 52 controls the main body side wireless communication unit 41 so that data is transmitted and received at the transmission and reception radio wave intensity set by the main body control unit 49.
  • the input unit 51 of the diagnostic device body 4 is for a user to perform an input operation, and can be configured to include a keyboard, a mouse, a trackball, a touch pad, a touch panel, and the like.
  • the diagnostic device main body processor 52 having the communication control unit 42, the ultrasonic image processing unit 43, the display control unit 44, the puncture needle length calculation unit 46, the total length acquisition unit 47, the actual length estimation unit 48, and the main body control unit 49. Is composed of a CPU and a control program for causing the CPU to perform various processes, but may be composed of an FPGA, a DSP, an ASIC, a GPU, or another IC, or a combination thereof. May be done.
  • the communication control unit 42, the ultrasonic image processing unit 43, the display control unit 44, the puncture needle length calculation unit 46, the total length acquisition unit 47, the actual length estimation unit 48, and the main body control unit 49 are partially or entirely. Alternatively, they can be integrated into one CPU or the like.
  • step S1 the camera unit 32 of the head mounted display 3 mounted on the user's head captures the field of view in front of the user to generate a field-of-view image.
  • step S2 it is determined whether or not the entire puncture needle N is photographed in step S1, that is, whether or not the entire puncture needle N is reflected in the visual field image generated in step S1.
  • the puncture needle N recognition processing is performed by the puncture needle length calculation unit 46 of the diagnostic apparatus body 4 on the visual field image captured in step S1, the entire puncture needle N is recognized. It is determined that the entire puncture needle N is reflected in the visual field image. If the entire puncture needle N is not recognized, it is determined that the entire puncture needle N is not reflected in the visual field image.
  • step S1 When it is determined in step S1 that the entire puncture needle N has not been photographed, the process returns to step S1, a new field image is photographed by the camera unit 32 of the head mounted display 3, and the process proceeds to step S2. In this way, the processes of steps S1 and S2 are repeated until it is determined in step S2 that the entire puncture needle N has been imaged in step S1. When it is determined in step S2 that the entire puncture needle N has been photographed in step S1, the process proceeds to step S3.
  • step S3 the puncture needle length calculation unit 46 calculates the total length of the puncture needle N in the visual field image based on the visual field image acquired in step S1. At this time, the puncture needle length calculation unit 46 recognizes the entire puncture needle N shown in the visual field image by performing image analysis on the visual field image acquired in step S1, and recognizes the recognized puncture needle N. Calculate the total length on the view image.
  • step S4 the actual length of the puncture needle N is acquired by the total length acquisition unit 47 of the diagnostic apparatus body 4.
  • the full length acquisition unit 47 acquires the actual full length LA of the puncture needle by using the gap LG between the plurality of grooves by image analysis of the visual field image.
  • the full length acquisition unit 47 stores, for example, the actual length of the gap LG between the plurality of grooves G in advance and refers to the stored actual length of the gap LG to determine the puncture needle N.
  • step S5 the actual total length LA of the puncture needle N acquired in step S4 is displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4.
  • the actual total length LA of the puncture needle N acquired in step S4 continues to be displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4 thereafter. This allows the user to easily grasp the actual total length of the puncture needle N being used.
  • the actual length estimation unit 48 of the diagnostic apparatus body 4 uses the total length of the puncture needle N in the visual field image calculated in step S3 and the actual total length of the puncture needle N acquired in step S4.
  • the correspondence between the length of the puncture needle N on the visual field image calculated by the puncture needle length calculation unit 46 and the actual length of the puncture needle N photographed by the camera unit 32 of the head mounted display 3 is acquired.
  • the actual length estimation unit 48 may acquire the ratio of the actual total length of the puncture needle N acquired in step S4 to the total length of the puncture needle N in the visual field image calculated in step S3 as this correspondence. it can.
  • the actual length estimation unit 48 uses the acquired correspondence to calculate the actual length of the puncture needle N captured in the visual field image from the length of the puncture needle N calculated by the puncture needle length calculation unit 46. The length can be estimated.
  • step S7 an ultrasonic beam is transmitted from the transducer array 11 into the subject S in a state where the user has brought the ultrasonic probe 2 into contact with the subject S, and ultrasonic echoes from the subject S are transmitted by the transducer.
  • the received signal is generated by reception by the array 11.
  • the signal processing unit 14 of the ultrasonic probe 2 processes the received signal to generate an ultrasonic image signal
  • the ultrasonic image processing unit 43 of the diagnostic apparatus body 4 generates an ultrasonic image.
  • the ultrasonic image generated in this manner is displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4.
  • the ultrasonic images are sequentially generated even after step S8, and the generated ultrasonic images are displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4. While the ultrasonic images are sequentially generated, the user contacts the subject S with the ultrasonic probe 2 so as to visualize in the ultrasonic image the position where the puncture needle N is inserted in the subject S. The puncture needle N is inserted into the subject S.
  • the actual total length of the puncture needle N acquired in step S4 is , Is displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus main body 4 so as to be superimposed on the ultrasonic image generated in step S8.
  • the actual total length of the puncture needle N acquired in step S4 is the puncture needle length V1 as shown in FIG. Is superimposed on.
  • the fact that the puncture needle length V1 is 70 mm is superimposed, and the target site T that is the target of puncture is depicted.
  • step S8 a field-of-view image is captured by the camera unit 32 of the head mounted display 3, as in step S1.
  • step S9 it is determined whether or not at least a part of the puncture needle N is photographed in step S8, that is, whether or not at least a part of the puncture needle N is photographed in the visual field image photographed in step S8.
  • the process returns to step S8 and a new visual field image is captured by the camera unit 32 of the head mounted display 3, and step S9 is performed. Proceed to. In this way, the processes of steps S8 and S9 are repeated until it is determined in step S9 that at least a part of the puncture needle N has been captured in step S8.
  • step S10 the length of the puncture needle N in the visual field image captured in step S7 is calculated by the puncture needle length calculation unit 46 of the diagnostic apparatus body 4. For example, as shown in FIG. 8, when a part of the puncture needle N is inserted in the subject S, the length of the portion of the visual field image outside the subject S that is not inserted by the puncture needle N is long. Is calculated.
  • the actual length estimation unit 48 of the diagnostic apparatus body 4 estimates the actual length of the puncture needle N captured in the visual field image.
  • the actual length estimation unit 48 uses the correspondence relationship between the total length of the puncture needle N and the actual total length of the puncture needle N in the visual field image acquired in step S6, and calculates the puncture calculated in step S10. From the length of the needle N, the actual length of the puncture needle N captured in the visual field image is estimated. For example, as shown in FIG. 8, when a part of the puncture needle N is inserted into the subject S, the actual length estimation unit 48 uses the actual total length LA of the puncture needle N as a reference and the puncture needle N as a reference. Estimate the actual length LB of the uninserted part of
  • the actual length estimation unit 48 superimposes the actual length of the puncture needle N estimated in step S11 on the ultrasonic image U generated in step S7, and displays the head mounted display 3. It is displayed on the display monitor 45 of the unit 31 and the diagnostic apparatus body 4.
  • the actual length estimation unit 48 when a part of the puncture needle N is inserted into the subject S, the actual length estimation unit 48, as shown in FIG. 11, the actual length of the puncture needle N estimated in step S11. Is superposed on the ultrasonic image U and displayed as the estimated length V2. In the ultrasonic image U illustrated in FIG. 10, the fact that the estimated length V2 is 50 mm is superimposed, and the puncture needle N and the target site T are drawn.
  • the user confirms the length of the non-inserted portion of the puncture needle N displayed on the display unit 31 of the head mounted display 3 or the display monitor 45 of the diagnostic apparatus main body 4 in this manner, so that the subject S is currently examined. It is possible to easily grasp how much the puncture needle N is inserted inside.
  • step S13 it is determined whether or not the operation of the ultrasonic diagnostic apparatus 1 is ended.
  • an end button for ending the operation of the ultrasonic diagnostic apparatus 1 is displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus main body 4, and When the user presses the end button via the input unit 51 or the like, it is determined that the operation of the ultrasonic diagnostic apparatus 1 is ended. If the end button is not pressed, the operation of the ultrasonic diagnostic apparatus 1 is not ended. To be judged. When it is determined in step S13 that the operation of the ultrasonic diagnostic apparatus 1 is not ended, the processes of steps S8 to S13 are performed again.
  • steps S8 to S13 are repeated until it is determined that the operation of the ultrasonic diagnostic apparatus 1 is completed.
  • step S13 that the operation of the ultrasonic diagnostic apparatus 1 ends, the operation of the ultrasonic diagnostic apparatus 1 ends.
  • the puncture needle length is set.
  • the calculating unit 46 calculates the length of the imaged puncture needle N
  • the actual length estimating unit 48 estimates the actual length of the puncture needle N based on the calculated length of the puncture needle N.
  • the estimated actual length of the puncture needle N is superimposed on the ultrasonic image U and displayed on the display unit 31 of the head-mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4, so that the user performs the puncture.
  • the length of the portion of the needle N inserted into the subject S can be accurately and easily grasped.
  • a puncture needle N in which a plurality of grooves G arranged at a predetermined interval LG are formed is illustrated, but as the type of puncture needle N, so-called engraving is further performed to form fine grooves over a certain length from the tip.
  • the full length acquisition unit 47 of the diagnostic apparatus body 4 determines the distance LG between the plurality of grooves G.
  • the actual total length LA of the puncture needle N can be acquired by using the length of the engraved portion.
  • the full length acquisition unit 47 acquires the actual total length LA of the puncture needle N based on the intervals LG between the plurality of grooves G formed in the puncture needle N
  • the puncture needle N is illustrated.
  • the method of obtaining the actual full length LA of is not limited to this.
  • the packaging bag P of the puncture needle N may be printed with a barcode BC on which length information indicating the actual total length LA of the puncture needle N is recorded.
  • the full length acquisition unit 47 reads the length information recorded in the barcode BC shown in the visual field image, so that the actual length of the puncture needle N can be improved. It is possible to obtain the full length LA of As described above, the full length acquisition unit 47 can also acquire the actual total length LA of the puncture needle N by reading the length information recorded in the length information recording member such as the barcode BC.
  • the full length acquisition unit 47 uses the camera unit 32 of the head mounted display 3 to measure the entire length of the puncture needle N not inserted into the subject S and a scale SC for measuring the length.
  • the actual total length LA of the puncture needle N can be calculated based on the scale of the scale SC.
  • the ultrasonic image U generated by the ultrasonic image processing unit 43 of the diagnostic apparatus body 4 and the actual length of the puncture needle N estimated by the actual length estimation unit 48 are head mounted. Although it is described that the information is displayed on both the display unit 31 of the display 3 and the display monitor 45 of the diagnostic device body 4, one of the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic device body 4 is displayed. May be displayed in. Even in this case, the user can confirm the estimated actual length of the puncture needle N and accurately and simply grasp the length of the portion of the puncture needle N inserted into the subject S. ..
  • the ultrasonic probe 2, the head mounted display 3, and the diagnostic apparatus body 4 are connected to each other by wireless communication, but may be connected by wire instead of using wireless communication.
  • the ultrasonic probe 2 and the diagnostic apparatus body 4 can be connected by wire
  • the head mounted display 3 and the diagnostic apparatus body 4 can be connected by wire.
  • the head mounted display 3 includes a display unit 31 that can be visually recognized by the user and a camera unit 32 that captures a field of view in front of the user and can be mounted on the head of the user
  • the head mounted display 3 The shape of is not limited to the shape shown in FIG.
  • the head mounted display 3 may be provided with only one of the two display units 31A and 31B instead of having both of the two display units 31A and 31B. You may provide one display part.
  • the ultrasonic probe 2 may be provided with the ultrasonic image processing section 43 instead of being provided in the diagnostic apparatus body 4.
  • the ultrasonic image U is generated by the ultrasonic probe 2, and the generated ultrasonic image U is transmitted to the diagnostic apparatus body 4 via the probe-side wireless communication unit 15.
  • the ultrasonic image U transmitted to the diagnostic device main body 4 is input to the display control unit 44 via the main body side wireless communication unit 41 of the diagnostic device main body 4 and also from the main body side wireless communication unit 41. Sent to.
  • the ultrasonic image U transmitted to the head mounted display 3 is input to the display control unit 35 via the head mounted display side wireless communication unit 33 of the head mounted display 3. At this time, the ultrasonic image U may be directly transmitted from the ultrasonic probe 2 to the head mounted display 3 without passing through the diagnostic apparatus body 4.
  • the actual length estimation unit 48 of the diagnostic apparatus body 4 estimates the actual length of the puncture needle N photographed by the camera unit 32 of the head mounted display 3, but it has been estimated. Based on the length of the puncture needle N, the length of the portion of the puncture needle N inserted into the subject S can also be estimated.
  • the ultrasonic probe 2 and the head mounted display 3 in the first embodiment are connected to the diagnostic apparatus body 4A shown in FIG.
  • the diagnostic device main body 4A according to the second embodiment is different from the diagnostic device main body 4 shown in FIG. 6 in that a main body control unit 49A is provided instead of the main body control unit 49, and an insertion length estimation unit 53 is added.
  • the insertion length estimation unit 53 is connected to the total length acquisition unit 47 and the actual length estimation unit 48, and the main body side wireless communication unit 41 and the distance calculation unit 54 are connected to the insertion length estimation unit 53.
  • the communication control unit 42, the ultrasonic image processing unit 43, the display control unit 44, the puncture needle length calculation unit 46, the full length acquisition unit 47, the storage unit 50, the input unit 51, and the insertion length estimation unit 53 control the main body.
  • the part 49A is connected.
  • the diagnostic device main body processor 52A is configured by the above.
  • the insertion length estimation unit 53 of the diagnostic device main body processor 52A takes an image of the puncture needle N partially inserted into the subject S by the camera unit 32 of the head mounted display 3.
  • the puncture is performed based on the actual total length LA of the puncture needle N acquired by the total length acquisition unit 47 and the actual length LB of the uninserted portion of the puncture needle N estimated by the actual length estimation unit 48.
  • the length LC of the portion of the needle N inserted into the subject S is estimated.
  • the insertion length estimation unit 53 sends the estimated value of the length LC to the main body side wireless communication unit 41 and the display control unit 44, and the display unit 31 of the head mounted display 3 and the diagnostic device main body 4A. Each is displayed on the display monitor 45.
  • the insertion length estimation unit 53 sets the estimated length LC of the portion of the puncture needle N inserted into the subject S as the insertion length V3, as shown in FIG. 16, for example. , Are displayed so as to be superimposed on the ultrasonic image U.
  • the actual total length of the puncture needle N acquired by the total length acquisition unit 47 that is, the puncture needle length V1 is 70 mm, and the insertion length V3 is 20 mm. The effect is superimposed, and the puncture needle N inserted into the subject S and the target site T that is the target of puncture are drawn.
  • the insertion length estimation unit 53 estimates and estimates the length LC of the portion of the puncture needle N inserted into the subject S.
  • the length LC is superimposed on the ultrasonic image U and displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4A, so that the user inserts the puncture needle N into the subject S. It is possible to accurately and simply grasp the length of the portion that is being processed.
  • the actual length LB of the puncture needle N captured in the visual field image estimated by the actual length estimation unit 48 of the diagnostic apparatus body 4A is the same as the display unit 31 of the head mounted display 3. Instead of being displayed on the display monitor 45 of the diagnostic apparatus body 4A, the length LC of the portion of the puncture needle N inserted in the subject S estimated by the insertion length estimation unit 53 is displayed. Both the actual length LB of the puncture needle N and the length LC of the portion of the puncture needle N inserted into the subject S are displayed on the display section 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4A. It may be displayed. Also in this case, the user can accurately and easily grasp the length of the portion of the puncture needle N inserted into the subject S.
  • the insertion length estimation unit 53 estimates the length LC of the portion of the puncture needle N that is inserted into the subject S. The distance from the tip of the puncture needle N can also be calculated.
  • the ultrasonic probe 2 and the head mounted display 3 in the first embodiment are connected to the diagnostic apparatus body 4B shown in FIG.
  • the diagnostic device body 4B according to the third embodiment is different from the diagnostic device body 4A according to the second embodiment shown in FIG. 14 in that a body control unit 49B is provided instead of the body control unit 49A, and a distance calculation unit 54 is added. Is.
  • the ultrasonic image processing unit 43 and the insertion length estimation unit 53 are connected to the distance calculation unit 54, and the distance calculation unit 54 is connected to the main body side wireless communication unit 41 and the display control unit 44.
  • the body control unit 49B is connected to the estimation unit 53 and the distance calculation unit 54.
  • the diagnostic device main body processor 52B is configured by the distance calculator 54.
  • the distance calculation unit 54 of the diagnostic device main body processor 52B performs image analysis on the ultrasonic image U when the target site T for puncture and the puncture needle N are drawn on the ultrasonic image U.
  • the target site T and the puncture needle N are recognized by the target site T and the actual length LC of the part of the puncture needle N inserted into the subject S estimated by the insertion length estimation unit 53.
  • the distance DT between the target site T and the tip of the puncture needle N is calculated.
  • the distance calculation unit 54 calculates, as the distance DT between the target site T and the tip of the puncture needle N, for example, the distance between the target site T and the tip of the puncture needle N in the extension direction of the puncture needle N. ..
  • the distance calculation unit 54 sends out the distance DT between the target site T and the tip of the puncture needle N calculated in this way to the main body side wireless communication unit 41 and the display control unit 44, and the head
  • the display unit 31 of the mount display 3 and the display monitor 45 of the diagnostic apparatus main body 4A are caused to display them respectively.
  • the distance calculation unit 54 sets the calculated distance DT between the target site T and the tip of the puncture needle N as the distance V4 to the target site, as shown in FIG.
  • the sound wave image U is superimposed and displayed.
  • the fact that the actual total length of the puncture needle N acquired by the total length acquisition unit 47, that is, the puncture needle length V1 is 70 mm, is estimated by the insertion length estimation unit 53.
  • the length of the portion of the puncture needle N inserted into the subject S, that is, the insertion length V3 is 20 mm, and the distance V4 from the target site is 8 mm are superimposed.
  • the puncture needle N inserted into the subject S and the target site T are depicted.
  • the distance calculation unit 54 calculates the distance DT between the target site T, which is the purpose of puncture, and the tip of the puncture needle N, and the calculation is performed. Since the distance DT thus displayed is displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4A, the user can accurately grasp the positional relationship of the puncture needle N with respect to the target site T.
  • the distance calculation unit 54 calculates the distance DT between the target site T and the tip of the puncture needle N. However, when the calculated distance DT is shorter, that is, the puncture needle. When the tip of N approaches the target site T, the user can be notified of that fact.
  • the ultrasonic probe 2 and the head mounted display 3 in the first embodiment are connected to the diagnostic apparatus body 4C shown in FIG.
  • the diagnostic device body 4C according to the fourth embodiment is different from the diagnostic device body 4B according to the third embodiment shown in FIG. 17 in that a body control unit 49C is provided instead of the body control unit 49B, and an informing unit 55 is added. is there.
  • the distance calculation unit 54 is connected to the notification unit 55, and the notification unit 55 is connected to the main body side wireless communication unit 41 and the display control unit 44. Further, the communication control unit 42, the ultrasonic image processing unit 43, the display control unit 44, the puncture needle length calculation unit 46, the total length acquisition unit 47, the actual length estimation unit 48, the storage unit 50, the input unit 51, the insertion length.
  • the body control unit 49C is connected to the estimation unit 53, the distance calculation unit 54, and the notification unit 55.
  • the distance calculation unit 54 and the notification unit 55 constitute a diagnostic device main body processor 52C.
  • the notification unit 55 of the diagnostic device main body processor 52C When the value of the distance DT between the target site T and the tip of the puncture needle N calculated by the distance calculation unit 54 is equal to or less than the predetermined value, the notification unit 55 of the diagnostic device main body processor 52C, The user is notified to that effect. For example, although not shown, the notification unit 55 superimposes a text and an image indicating that the tip of the puncture needle N is approaching the target site T on the ultrasonic image U, and displays the head mounted display 3. The user can be informed by displaying on the display monitor 45 of the unit 31 and the diagnostic device body 4C.
  • the notification unit Since 55 notifies the user that the tip of the puncture needle N is approaching the target site T, the user can accurately and more clearly grasp the positional relationship of the puncture needle N with respect to the target site T. it can.
  • the notification unit 55 causes the notification sound to be output via the sound source unit.
  • the user can be notified by voice or the like.
  • the notification unit 55 causes the vibrating unit to vibrate the head mounted display 3 to inform the user. You can also notify.
  • Embodiment 5 In the ultrasonic diagnostic apparatus 1 of the first embodiment, the ultrasonic probe 2 and the head mounted display 3 are connected to the diagnostic apparatus body 4 by wireless communication, and the display monitor 45 and the input unit 51 are the diagnostic apparatus body 4 of the diagnostic apparatus body 4. Although it is configured to be directly connected to the main body processor 52, for example, the ultrasonic probe 2, the head mounted display 3, the display monitor 45, the input unit 51, and the diagnostic device main body processor 52 are connected via a network. It can also be connected indirectly.
  • the ultrasonic probe 2 As shown in FIG. 20, in the ultrasonic diagnostic apparatus 1D according to the fifth embodiment, the ultrasonic probe 2, the head mounted display 3, the display monitor 45, and the input unit 51 are connected to the diagnostic apparatus main body 4D via the network NW. It is a thing. Diagnostic device body 4D is the same as diagnostic device body 4 in the first embodiment shown in FIG. 6 except for display monitor 45 and input unit 51, and is composed of diagnostic device body processor 52 and storage unit 50.
  • the ultrasonic diagnostic apparatus 1D has such a configuration, at least a part of the puncture needle N is imaged by the camera unit 32 of the head mounted display 3 as in the ultrasonic diagnostic apparatus 1 of the first embodiment.
  • the puncture needle length calculation unit 46 calculates the length of the captured puncture needle N
  • the actual length estimation unit 48 calculates the puncture needle N based on the calculated length of the puncture needle N.
  • the actual length of N is estimated, and the estimated actual length of the puncture needle N is superimposed on the ultrasonic image U and displayed on the display unit 31 of the head mounted display 3 and the display monitor 45 of the diagnostic apparatus body 4. Is displayed. Therefore, according to the ultrasonic diagnostic apparatus 1D, the user can accurately and simply grasp the length of the portion of the puncture needle N inserted into the subject S.
  • the diagnostic device body 4D can be used as a so-called remote server. It can.
  • the user mounts the head mounted display 3 on the head and prepares the ultrasonic probe 2, the display monitor 45, and the input unit 51 at hand, thereby using the ultrasonic image U inside the subject S. Therefore, it is possible to improve the convenience when observing the inside of the subject S.
  • a portable thin computer called a so-called tablet is used as the display monitor 45 and the input unit 51, the user can more easily observe the inside of the subject S.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波診断装置は、ユーザの頭部に装着され、ユーザの前方の視野を撮影した視野画像を取得するカメラ部を有するヘッドマウントディスプレイと、カメラ部により穿刺針の少なくとも一部が撮影された場合に、視野画像を画像解析することにより穿刺針を認識して、視野画像における穿刺針の長さを算出する穿刺針長さ算出部（４６）とを備える。

Description

超音波診断装置および超音波診断装置の制御方法
　本発明は、ヘッドマウントディスプレイを備えた超音波診断装置およびその超音波診断装置の制御方法に関する。
　従来から、被検体の内部の画像を得るものとして、超音波診断装置が知られている。超音波診断装置は、一般的に、複数の素子が配列された振動子アレイが備えられた超音波プローブを備えている。この超音波プローブを被検体の体表に接触させた状態において、振動子アレイから被検体内に向けて超音波ビームが送信され、被検体からの超音波エコーを振動子アレイにおいて受信して素子データが取得される。さらに、超音波診断装置は、得られた素子データを電気的に処理して、被検体の当該部位に対する超音波画像を生成する。
　このような超音波診断装置は、被検体に穿刺針が挿入される際に、被検体内に挿入された穿刺針を観察するために用いられることがある。この際に、ユーザは、被検体に超音波プローブを接触させながら被検体内に穿刺針を挿入した状態で、モニタ上に表示された超音波画像を確認することにより、超音波画像内に描出された穿刺針を観察しながら被検体内に穿刺針を挿入する。
　ここで、通常、超音波画像が表示されるモニタは、ベッドサイド等、超音波プローブから離れた位置に配置されることが多いため、ユーザが手元の穿刺針および超音波プローブとモニタとの間で交互に視線を移動する必要がある。このようなユーザの視線の移動を軽減させるために、例えば、特許文献１に開示されているような、いわゆるヘッドマウントディスプレイを備えた超音波診断装置が開発されている。この超音波診断装置では、穿刺針が描出された超音波画像がヘッドマウントディスプレイの表示部に表示される。
特開２０１１－２００５３３号公報
　ところで、ユーザは、穿刺針を被検体内に挿入している際に、安全上の観点から、穿刺針の被検体内に挿入されている部分の長さを把握することが好ましい。特許文献１の超音波診断装置では、ユーザが、ヘッドマウントディスプレイの表示部を視認することにより、視線の移動を軽減しながら、超音波画像上の穿刺針を確認することができるが、超音波画像上の穿刺針を確認するだけでは、穿刺針の被検体内に挿入されている部分の長さを精確に把握することは困難であった。また、穿刺針の被検体内に挿入されている部分の長さを精確に把握するために、例えば、超音波画像上の穿刺針の長さを計測することが挙げられるが、超音波画像上の長さの計測は、通常、ユーザが手動で行うことが多く、実際、ユーザが被検体内に穿刺針を挿入している途中で超音波画像上の穿刺針の長さを計測することは困難であり、精確な長さを計測することも困難であった。
　本発明は、このような従来の問題点を解消するためになされたものであり、ユーザが穿刺針の被検体内に挿入している部分の長さを精確に且つ簡便に把握することができる超音波診断装置およびその超音波診断装置の制御方法を提供することを目的とする。
　上記目的を達成するために、本発明に係る超音波診断装置は、被検体内に挿入された穿刺針を超音波画像に描出する超音波診断装置であって、ユーザの頭部に装着され、ユーザの前方の視野を撮影した視野画像を取得するカメラ部を有するヘッドマウントディスプレイと、カメラ部により穿刺針の少なくとも一部が撮影された場合に、視野画像を画像解析することにより穿刺針を認識して、視野画像における穿刺針の長さを算出する穿刺針長さ算出部とを備えることを特徴とする。
　超音波診断装置は、被検体内に挿入されていない穿刺針の実際の全長を取得する全長取得部と、被検体内に挿入されていない穿刺針の全体が撮影された視野画像から穿刺針長さ算出部により算出された穿刺針の視野画像における長さと、全長取得部により取得された穿刺針の実際の全長との対応関係を取得し、取得された対応関係に基づいて、穿刺針長さ算出部により算出される穿刺針の視野画像における長さから、視野画像に撮影されている穿刺針の実際の長さを推定する実長さ推定部とをさらに備えることが好ましい。
　この際に、全長取得部は、カメラ部により、定められた間隔を隔てて配置された複数の溝が形成され且つ被検体内に挿入されていない穿刺針の全体が撮影された場合に、複数の溝を用いて穿刺針の実際の全長を取得することができる。
　あるいは、全長取得部は、カメラ部により、穿刺針の実際の全長を表す長さ情報が記録された長さ情報記録部材が撮影された場合に、長さ情報記録部材に記録された長さ情報を読み取ることにより穿刺針の実際の全長を取得することもできる。
　あるいは、全長取得部は、カメラ部により、被検体内に挿入されていない穿刺針の全体と、長さを計測するためのスケールとが互いに並列して撮影された場合に、スケールを用いて穿刺針の実際の全長を取得することもできる。
　また、実長さ推定部は、推定された穿刺針の実際の長さを超音波画像上に重畳して表示させることができる。
　また、超音波診断装置は、カメラ部により、被検体内に一部が挿入されている穿刺針が撮影された場合に、全長取得部により取得された穿刺針の実際の全長と、実長さ推定部により推定された穿刺針の視野画像に写る未挿入部分の実際の長さとに基づいて、穿刺針の被検体内に挿入されている部分の実際の長さを推定する挿入長さ推定部をさらに備えることが好ましい。
　この際に、挿入長さ推定部は、推定された穿刺針の被検体内に挿入されている部分の実際の長さを超音波画像上に重畳して表示させることができる。
　また、超音波診断装置は、超音波画像に穿刺の目的部位と穿刺針が描出された場合に、超音波画像を画像解析することにより目的部位と穿刺針とを認識し、目的部位と挿入長さ推定部により推定された穿刺針の被検体内に挿入されている部分の実際の長さとに基づいて、目的部位と穿刺針の先端部との間の距離を算出する距離算出部をさらに備えることが好ましい。
　この際に、距離算出部は、算出された目的部位と穿刺針の先端部との間の距離の値を超音波画像に重畳して表示させることができる。
　超音波診断装置は、距離算出部により算出された距離が定められた値以下となった場合に、ユーザに報知する報知部をさらに備えることができる。
　また、ヘッドマウントディスプレイは、超音波画像を表示する表示部を有することができる。
　あるいは、超音波診断装置は、音波画像を表示する表示モニタをさらに備えることもできる。
　本発明に係る超音波診断装置の制御方法は、被検体内に挿入された穿刺針を超音波画像に描出する超音波診断装置の制御方法であって、ユーザの頭部に装着され、カメラ部を有するヘッドマウントディスプレイにより、ユーザの前方の視野を撮影した視野画像を取得し、カメラ部により穿刺針の少なくとも一部が撮影された場合に、視野画像を画像解析することにより穿刺針を認識して、視野画像における穿刺針の長さを算出することを特徴とする。
　本発明によれば、ユーザの頭部に装着され、ユーザの前方の視野を撮影した視野画像を取得するカメラ部を有するヘッドマウントディスプレイと、カメラ部により穿刺針の少なくとも一部が撮影された場合に、視野画像を画像解析することにより穿刺針を認識して、視野画像における穿刺針の長さを算出する穿刺針長さ算出部とを備えるため、ユーザが穿刺針の被検体内に挿入している部分の長さを精確に且つ簡便に把握することができる。
本発明の実施の形態１に係る超音波診断装置の構成を示すブロック図である。 本発明の実施の形態１における超音波プローブの構成を示すブロック図である。 本発明の実施の形態１における受信部の構成を示すブロック図である。 本発明の実施の形態１におけるヘッドマウントディスプレイの例を示す図である。 本発明の実施の形態１におけるヘッドマウントディスプレイの構成を示すブロック図である。 本発明の実施の形態１における診断装置本体の構成を示すブロック図である。 穿刺針の例を示す図である。 被検体内に挿入された穿刺針を模式的に示す図である。 本発明の実施の形態１に係る超音波診断装置の動作を示すフローチャートである。 取得された穿刺針の実際の全長が表示された超音波画像を模式的に示す図である。 取得された穿刺針の実際の全長と推定された穿刺針の長さが表示された超音波画像を模式的に示す図である。 バーコードを有する穿刺針の包装袋を模式的に示す図である。 スケールと穿刺針とが並列して配置されている様子を模式的に示す図である。 本発明の実施の形態２における装置本体の構成を示すブロック図である。 被検体内に挿入された穿刺針を模式的に示す図である。 取得された穿刺針の実際の全長と穿刺針の被検体内に挿入された部分の長さが表示された超音波画像を模式的に示す図である。 本発明の実施の形態３における診断装置本体の構成を示すブロック図である。 取得された穿刺針の実際の全長、推定された穿刺針の長さ、目的部位と穿刺針の先端部との距離が表示された超音波画像を模式的に示す図である。 本発明の実施の形態４における診断装置本体の構成を示すブロック図である。 本発明の実施の形態５に係る超音波診断装置の構成を示すブロック図である。
　以下、この発明の実施の形態を添付図面に基づいて説明する。
　以下に記載する構成要件の説明は、本発明の代表的な実施態様に基づいてなされるが、本発明はそのような実施態様に限定されるものではない。
　なお、本明細書において、「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値および上限値として含む範囲を意味する。
　また、本明細書において、「垂直」および「平行」とは、本発明が属する技術分野において許容される誤差の範囲を含むものとする。例えば、「垂直」および「平行」とは、厳密な垂直あるいは平行に対して±１０°未満の範囲内であることなどを意味し、厳密な垂直あるいは平行に対しての誤差は、５°以下であることが好ましく、３°以下であることがより好ましい。
　本明細書において、「同一」、「同じ」は、技術分野で一般的に許容される誤差範囲を含むものとする。また、本明細書において、「全部」、「いずれも」または「全面」などというとき、１００％である場合のほか、技術分野で一般的に許容される誤差範囲を含み、例えば９９％以上、９５％以上、または９０％以上である場合を含むものとする。
実施の形態１
　図１に、本発明の実施の形態１に係る超音波診断装置１の構成を示す。超音波診断装置１は、超音波プローブ２、ヘッドマウントディスプレイ３、診断装置本体４を備えており、超音波プローブ２およびヘッドマウントディスプレイ３は、それぞれ、診断装置本体４と無線状態で接続されている。なお、ヘッドマウントディスプレイ３は、ユーザの頭部に装着され、装着されたユーザに視認される表示装置であり、診断装置本体４からヘッドマウントディスプレイ３に超音波画像等が無線送信され、送信された超音波画像等がヘッドマウントディスプレイ３に表示される。
　図２に示すように、超音波プローブ２は、振動子アレイ１１を備えており、振動子アレイ１１に送信部１２および受信部１３がそれぞれ接続されている。受信部１３には、信号処理部１４およびプローブ側無線通信部１５が順次接続されている。また、プローブ側無線通信部１５に、通信制御部１６が接続されている。また、送信部１２、受信部１３、信号処理部１４、プローブ側無線通信部１５、通信制御部１６に、プローブ制御部１７が接続されており、送信部１２、受信部１３、信号処理部１４、通信制御部１６およびプローブ制御部１７により、プローブプロセッサ１８が構成されている。また、超音波プローブ２には、バッテリ１９が内蔵されている。
　図２に示す超音波プローブ２の振動子アレイ１１は、１次元または２次元に配列された複数の振動子を有している。これらの振動子は、それぞれ送信部１２から供給される駆動信号に従って超音波を送信すると共に、被検体からの超音波エコーを受信して、超音波エコーに基づく信号を出力する。各振動子は、例えば、ＰＺＴ（Lead Zirconate Titanate：チタン酸ジルコン酸鉛）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride：ポリフッ化ビニリデン）に代表される高分子圧電素子およびＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate：マグネシウムニオブ酸鉛－チタン酸鉛固溶体）に代表される圧電単結晶等からなる圧電体の両端に電極を形成することにより構成される。
　プローブプロセッサ１８の送信部１２は、例えば、複数のパルス発生器を含んでおり、プローブ制御部１７からの制御信号に応じて選択された送信遅延パターンに基づいて、振動子アレイ１１の複数の振動子から送信される超音波が超音波ビームを形成するようにそれぞれの駆動信号を、遅延量を調節して複数の振動子に供給する。このように、振動子アレイ１１の振動子の電極にパルス状または連続波状の電圧が印加されると、圧電体が伸縮し、それぞれの振動子からパルス状または連続波状の超音波が発生して、それらの超音波の合成波から、超音波ビームが形成される。
　送信された超音波ビームは、例えば、被検体の部位等の対象において反射され、超音波プローブ２の振動子アレイ１１に向かって伝搬する。このように振動子アレイ１１に向かって伝搬する超音波は、振動子アレイ１１を構成するそれぞれの振動子により受信される。この際に、振動子アレイ１１を構成するそれぞれの振動子は、伝搬する超音波エコーを受信することにより伸縮して電気信号を発生させ、これらの電気信号を受信部１３に出力する。
　プローブプロセッサ１８の受信部１３は、プローブ制御部１７からの制御信号に従って、振動子アレイ１１から出力される信号の処理を行う。図３に示すように、受信部１３は、増幅部２０、ＡＤ（Analog Digital：アナログデジタル）変換部２１およびビームフォーマ２２が直列接続された構成を有している。
　増幅部２０は、振動子アレイ１１を構成するそれぞれの振動子から入力された信号を増幅し、増幅した信号をＡＤ変換部２１に送信する。ＡＤ変換部２１は、増幅部２０から送信された信号をデジタルデータに変換し、これらのデータをビームフォーマ２２に送信する。ビームフォーマ２２は、プローブ制御部１７からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速または音速の分布に従い、ＡＤ変換部２１により変換された各データに対してそれぞれの遅延を与えて加算することにより、いわゆる受信フォーカス処理を行う。この受信フォーカス処理により、ＡＤ変換部２１により変換された各データが整相加算され且つ超音波エコーの焦点が絞り込まれた受信信号が取得される。
　プローブプロセッサ１８の信号処理部１４は、受信部１３で生成された受信データに対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、被検体内の組織に関する断層画像情報である超音波画像信号を生成する。
　超音波プローブ２のプローブ側無線通信部１５は、電波の送信および受信を行うためのアンテナを含んでおり、信号処理部１４において生成された超音波画像信号に基づいてキャリアを変調して超音波画像信号を表す伝送信号を生成する。プローブ側無線通信部１５は、このようにして生成された超音波画像信号を表す伝送信号をアンテナに供給してアンテナから電波を送信することにより、超音波画像信号を診断装置本体４に順次無線送信する。キャリアの変調方式としては、ＡＳＫ（Amplitude Shift Keying：振幅偏移変調）、ＰＳＫ（Phase Shift Keying：位相偏移変調）、ＱＰＳＫ（Quadrature Phase Shift Keying：四位相偏移変調）、１６ＱＡＭ（16 Quadrature Amplitude Modulation：１６直角位相振幅変調）等が用いられる。また、プローブ側無線通信部１５は、超音波プローブ２の動作を指示するための指示情報等を診断装置本体４から受信し、受信した指示情報等をプローブ制御部１７に入力する。
　プローブプロセッサ１８の通信制御部１６は、プローブ制御部１７により設定された送信電波強度で超音波画像信号の送信が行われるようにプローブ側無線通信部１５を制御する。
　プローブプロセッサ１８のプローブ制御部１７は、予め記憶しているプログラムおよび診断装置本体４から無線送信された指示情報等に基づいて、超音波プローブ２の各部の制御を行う。
　超音波プローブ２のバッテリ１９は、超音波プローブ２に内蔵されており、超音波プローブ２の各回路に電力を供給する。
　なお、送信部１２、受信部１３、信号処理部１４、通信制御部１６およびプローブ制御部１７を有するプローブプロセッサ１８は、ＣＰＵ（Central Processing Unit：中央処理装置）、および、ＣＰＵに各種の処理を行わせるための制御プログラムから構成されるが、ＦＰＧＡ（Field Programmable Gate Array：フィードプログラマブルゲートアレイ）、ＤＳＰ（Digital Signal Processor：デジタルシグナルプロセッサ）、ＡＳＩＣ（Application Specific Integrated Circuit：アプリケーションスペシフィックインテグレイテッドサーキット）、その他のＩＣ（Integrated Circuit：集積回路）を用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。また、送信部１２、受信部１３、信号処理部１４、通信制御部１６およびプローブ制御部１７は、部分的にあるいは全体的に１つのＣＰＵ等に統合させて構成させることもできる。
　ヘッドマウントディスプレイ３は、ユーザの頭部に装着され且つ装着されたユーザに視認される表示装置であり、図４に示すように、いわゆる眼鏡状の形状を有している。ヘッドマウントディスプレイ３は、２つの表示部３１Ａ、３１Ｂを備えており、２つの表示部３１Ａ、３１Ｂは、橋部Ｂにより互いに連結され、２つの表示部３１Ａ、３１Ｂの端部に、それぞれ蔓部Ａが連結されている。例えば、橋部Ｂがユーザの鼻に、２つの蔓部Ａがユーザの両耳に引っかかることにより、ヘッドマウントディスプレイ３が被検体の頭部に固定される。この際に、２つの表示部３１Ａ、３１Ｂは、それぞれ、ユーザの左右の眼と対面する。
　また、左側の表示部３１Ｂと蔓部Ａとの連結部分には、撮影レンズＦが前面に配置されたカメラ部３２が取り付けられている。また、右側の表示部３１Ａに連結された蔓部Ａに、ヘッドマウントディスプレイ３の動作に必要な各種の回路、バッテリ等が収納された収納部Ｄが配置されている。
　図５に、ヘッドマウントディスプレイ３の構成を示す。ヘッドマウントディスプレイ３は、ヘッドマウントディスプレイ側無線通信部３３を有しており、ヘッドマウントディスプレイ側無線通信部３３に、カメラ部３２、通信制御部３４および表示制御部３５が接続されている。また、表示制御部３５に、表示部３１が接続されている。また、カメラ部３２、ヘッドマウントディスプレイ側無線通信部３３、通信制御部３４、表示制御部３５に、ヘッドマウントディスプレイ制御部３６が接続されている。
　なお、説明のため、図４における２つの表示部３１Ａ、３１Ｂを、まとめて表示部３１を呼んでいる。
　また、通信制御部３４、表示制御部３５およびヘッドマウントディスプレイ制御部３６により、ヘッドマウントディスプレイプロセッサ３７が構成されている。また、ヘッドマウントディスプレイ３には、バッテリ３８が内蔵されている。また、ヘッドマウントディスプレイ側無線通信部３３、ヘッドマウントディスプレイプロセッサ３７およびバッテリ３８は、ヘッドマウントディスプレイ３の収納部Ｄに収納されている。
　ヘッドマウントディスプレイ３のカメラ部３２は、撮影レンズＦを通してユーザの前方の視野を撮影した視野画像を生成する。図示しないが、カメラ部３２は、撮影レンズＦを通してユーザの前方の視野を撮影して、アナログ信号である視野画像信号を取得するイメージセンサと、イメージセンサにより取得された視野画像信号を増幅してデジタル信号に変換するアナログ信号処理回路と、変換されたデジタル信号に対してゲイン補正等の各種の補正を行って視野画像を生成するデジタル信号処理回路が内蔵されている。
　なお、アナログ信号処理回路、デジタル信号処理回路は、ヘッドマウントディスプレイプロセッサ３７に内蔵されることもできる。
　ヘッドマウントディスプレイ３のヘッドマウントディスプレイ側無線通信部３３は、超音波プローブ２のプローブ側無線通信部１５と同様に、電波の送信および受信を行うためのアンテナを含んでおり、カメラ部３２により生成された視野画像を診断装置本体４に伝送する。また、診断装置本体４から送信された超音波画像等を受信し、受信した超音波画像等を、表示制御部３５を介して表示部３１に送信する。また、ヘッドマウントディスプレイ側無線通信部３３は、ヘッドマウントディスプレイ３の動作を指示するための指示情報等を診断装置本体４から受信し、受信した指示情報等をヘッドマウントディスプレイ制御部３６に出力する。
　ヘッドマウントディスプレイ３の表示部３１は、ユーザがヘッドマウントディスプレイ３を装着した状態においてユーザの視野を確保するために透光性を有している。また、表示部３１は、超音波画像等を表示する表示ディスプレイとなっている。表示部３１は、このような構成を有しているため、例えば、診断装置本体４から送信された超音波画像等を表示することができる。
　ヘッドマウントディスプレイプロセッサ３７の表示制御部３５は、ヘッドマウントディスプレイ制御部３６の制御の下、診断装置本体４から送信された超音波画像等に所定の処理を施して、表示部３１に超音波画像等を表示させる。
　ヘッドマウントディスプレイプロセッサ３７の通信制御部３４は、ヘッドマウントディスプレイ制御部３６により設定された送受信電波強度で視野画像の送信および超音波画像等の受信が行われるように、ヘッドマウントディスプレイ側無線通信部３３を制御する。
　ヘッドマウントディスプレイプロセッサ３７のヘッドマウントディスプレイ制御部３６は、予め記憶しているプログラムおよび診断装置本体４から無線送信された指示情報等に基づいて、ヘッドマウントディスプレイ３の各部の制御を行う。
　ヘッドマウントディスプレイ３のバッテリ３８は、ヘッドマウントディスプレイ３に内蔵されており、ヘッドマウントディスプレイ３の各回路に電力を供給する。
　なお、通信制御部３４、表示制御部３５およびヘッドマウントディスプレイ制御部３６を有するヘッドマウントディスプレイプロセッサ３７は、ＣＰＵ、および、ＣＰＵに各種の処理を行わせるための制御プログラムから構成されるが、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ、ＧＰＵ（Graphics Processing Unit：グラフィックスプロセッシングユニット）、その他のＩＣを用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。また、通信制御部３４、表示制御部３５およびヘッドマウントディスプレイ制御部３６は、部分的にあるいは全体的に１つのＣＰＵ等に統合させて構成させることもできる。
　図６に示すように、診断装置本体４は、本体側無線通信部４１を有しており、本体側無線通信部４１に、通信制御部４２が接続されている。また、本体側無線通信部４１に、超音波画像処理部４３、表示制御部４４、表示モニタ４５が順次接続されている。また、本体側無線通信部４１に、穿刺針長さ算出部４６と全長取得部４７が接続されている。穿刺針長さ算出部４６に、実長さ推定部４８が接続され、全長取得部４７に、表示制御部４４と実長さ推定部４８が接続されている。また、実長さ推定部４８に、表示制御部４４が接続されている。また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７および実長さ推定部４８に、本体制御部４９が接続されており、本体制御部４９に、格納部５０と入力部５１が接続されている。本体制御部４９と格納部５０は、双方向に情報の受け渡しが可能に接続されている。
　また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８および本体制御部４９により、診断装置本体プロセッサ５２が構成されている。
　診断装置本体４の本体側無線通信部４１は、超音波プローブ２のプローブ側無線通信部１５、ヘッドマウントディスプレイ３のヘッドマウントディスプレイ側無線通信部３３と同様に、電波の送信および受信を行うためのアンテナを含んでおり、無線通信によりプローブ側無線通信部１５およびヘッドマウントディスプレイ側無線通信部３３に対して、指示情報等の送信および超音波画像信号、視野画像等の受信を行う。
　診断装置本体プロセッサ５２の超音波画像処理部４３は、超音波プローブ２から送信された超音波画像信号を本体側無線通信部４１を介して受け取り、受け取った超音波画像信号に基づいて超音波画像を生成する。この際に、超音波画像処理部４３は、まず、超音波画像信号を通常のテレビジョン信号の操作方式に従う画像信号に変換（ラスター変換）することにより、超音波画像を生成する。また、超音波画像処理部４３は、生成された超音波画像に階調処理等の各種の必要な画像処理を施した後、画像処理が施された超音波画像を本体側無線通信部４１および表示制御部４４に出力する。ここで、本体側無線通信部４１に出力された超音波画像は、無線通信により、ヘッドマウントディスプレイ３に送信される。
　診断装置本体プロセッサ５２の穿刺針長さ算出部４６は、ヘッドマウントディスプレイ３から送信された視野画像を本体側無線通信部４１を介して受け取り、受け取った視野画像内に、被検体内に挿入される穿刺針の少なくとも一部が写っている場合に、その視野画像を画像解析することにより穿刺針を認識して、視野画像における穿刺針の長さを算出する。
　ここで、穿刺針とは、例えば図７に示すようなものを指し、穿刺針Ｎの一端は被検体に穿刺するために鋭く尖っており、他端には、いわゆる注射器のシリンダー等に取り付けるための取付部Ｅが連結されている。このような穿刺針Ｎは、一般的に、被検体内からの検体の採取、被検体内への薬剤の注入等の目的で使用される。
　また、穿刺針長さ算出部４６は、視野画像に写る穿刺針Ｎを認識する際に、例えば、穿刺針の典型的なパターンデータをテンプレートとして予め記憶しておき、視野画像内をテンプレートでサーチしながらパターンデータに対する類似度を算出し、類似度が閾値以上且つ最大となった場所に穿刺針Ｎが存在するとみなすことができる。
　類似度の算出には、単純なテンプレートマッチングの他に、例えば、Csurka et al.: Visual Categorization with Bags of Keypoints, Proc. of ECCV Workshop on Statistical Learning in Computer Vision, pp.59-74 （2004）に記載されている機械学習手法、あるいは、Krizhevsk et al.: ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems 25, pp.1106-1114 （2012）に記載されているディープラーニングを用いた一般画像認識手法等を用いることができる。
　診断装置本体プロセッサ５２の全長取得部４７は、ヘッドマウントディスプレイ３から送信された視野画像を本体側無線通信部４１を介して受け取り、受け取った視野画像に基づいて、穿刺針Ｎの実際の全長を取得する。例えば、図７に示すように、穿刺針Ｎに、定められた間隔ＬＧを隔てて配置された複数の溝Ｇが形成されており、視野画像内に穿刺針Ｎの全体が写っている場合に、全長取得部４７は、視野画像を画像解析することにより、複数の溝の間の間隔ＬＧを用いて穿刺針Ｎの実際の全長ＬＡを取得する。この際に、全長取得部４７は、例えば、複数の溝Ｇの間の間隔ＬＧの実際の長さを予め記憶し、記憶された間隔ＬＧの実際の長さを参照することにより、穿刺針Ｎの実際の全長ＬＡを取得することができる。また、複数の溝Ｇの間の間隔ＬＧの値は、入力部５１を介してユーザにより予め入力されることもできる。
　診断装置本体プロセッサ５２の実長さ推定部４８は、被検体内に挿入されていない穿刺針Ｎの全体が撮影された視野画像から穿刺針長さ算出部４６により算出された穿刺針Ｎの視野画像における長さと、全長取得部４７により取得された穿刺針Ｎの実際の全長との対応関係を取得し、取得された対応関係に基づいて、穿刺針長さ算出部４６により算出される穿刺針Ｎの長さから、視野画像に撮影されている穿刺針Ｎの実際の長さを推定する。例えば、図８に示すように、被検体Ｓ内に穿刺針Ｎが挿入され、ヘッドマウントディスプレイ３のカメラ部３２により穿刺針Ｎが撮影された場合に、視野画像には、被検体Ｓの外側に位置する穿刺針Ｎの未挿入部分が写る。この場合に、実長さ推定部４８は、穿刺針Ｎの実際の全長ＬＡを基準として、穿刺針長さ算出部４６により算出された穿刺針Ｎの視野画像における長さから、穿刺針Ｎの未挿入部分の実際の長さＬＢを推定する。
　また、実長さ推定部４８は、推定した穿刺針Ｎの実際の長さの値を、本体側無線通信部４１および表示制御部４４に送出する。本体側無線通信部４１に送出された穿刺針Ｎの実際の長さの値は、無線通信により、ヘッドマウントディスプレイ３に送信される。
　診断装置本体プロセッサ５２の表示制御部４４は、本体制御部４９の制御の下、超音波画像処理部４３により生成された超音波画像および実長さ推定部４８により推定された穿刺針Ｎの実際の長さの値等に所定の処理を施して、表示モニタ４５に、超音波画像および推定された穿刺針Ｎの実際の長さを表示させる。
　診断装置本体４の表示モニタ４５は、表示制御部４４の制御の下、画像を表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、有機ＥＬディスプレイ（Organic Electroluminescence Display）等のディスプレイ装置を含む。
　診断装置本体プロセッサ５２の本体制御部４９は、格納部５０等に予め記憶されているプログラムおよび入力部５１を介したユーザの入力操作に基づいて診断装置本体４の各部の制御を行う。
　診断装置本体プロセッサ５２の通信制御部４２は、本体制御部４９により設定された送受信電波強度でデータの送受信が行われるように、本体側無線通信部４１を制御する。
　診断装置本体４の入力部５１は、ユーザが入力操作を行うためのものであり、キーボード、マウス、トラックボール、タッチパッドおよびタッチパネル等を備えて構成することができる。
　なお、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８および本体制御部４９を有する診断装置本体プロセッサ５２は、ＣＰＵ、および、ＣＰＵに各種の処理を行わせるための制御プログラムから構成されるが、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ、ＧＰＵ、その他のＩＣを用いて構成されてもよく、もしくはそれらを組み合わせて構成されてもよい。また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８および本体制御部４９は、部分的にあるいは全体的に１つのＣＰＵ等に統合させて構成させることもできる。
　次に、図９のフローチャートを用いて本発明の実施の形態１に係る超音波診断装置１の動作を説明する。
　まず、ステップＳ１において、ユーザの頭部に装着されたヘッドマウントディスプレイ３のカメラ部３２は、ユーザの前方の視野を撮影することにより、視野画像を生成する。
　続くステップＳ２において、ステップＳ１で穿刺針Ｎの全体が撮影されたか否か、すなわち、ステップＳ１で生成された視野画像に穿刺針Ｎの全体が写っているか否かが判定される。この際に、例えば、診断装置本体４の穿刺針長さ算出部４６によりステップＳ１で撮影された視野画像に対して穿刺針Ｎの認識処理が行われ、穿刺針Ｎの全体が認識された場合には、視野画像に穿刺針Ｎの全体が写っていると判定され、穿刺針Ｎの全体が認識されない場合には、視野画像に穿刺針Ｎの全体が写っていないと判定される。
　ステップＳ１で穿刺針Ｎの全体が撮影されていないと判定された場合には、ステップＳ１に戻り、ヘッドマウントディスプレイ３のカメラ部３２により、新たに視野画像が撮影されて、ステップＳ２に進む。このように、ステップＳ１で穿刺針Ｎの全体が撮影されたとステップＳ２において判定されるまで、ステップＳ１、ステップＳ２の処理が繰り返される。
　ステップＳ１で穿刺針Ｎの全体が撮影されたとステップＳ２において判定された場合には、ステップＳ３に進む。
　ステップＳ３において、穿刺針長さ算出部４６により、ステップＳ１で取得された視野画像に基づいて、視野画像における穿刺針Ｎの全長が算出される。この際に、穿刺針長さ算出部４６は、ステップＳ１で取得された視野画像を画像解析することにより、視野画像に写っている穿刺針Ｎの全体を認識し、認識された穿刺針Ｎの視野画像上の全長を算出する。
　続くステップＳ４において、診断装置本体４の全長取得部４７により、穿刺針Ｎの実際の全長が取得される。例えば、図７に示すように、穿刺針Ｎに、定められた間隔ＬＧを隔てて配置された複数の溝Ｇが形成されており、視野画像内に穿刺針Ｎの全体が写っている場合に、全長取得部４７は、視野画像を画像解析することにより、複数の溝の間の間隔ＬＧを用いて穿刺針の実際の全長ＬＡを取得する。この際に、全長取得部４７は、例えば、複数の溝Ｇの間の間隔ＬＧの実際の長さを予め記憶し、記憶された間隔ＬＧの実際の長さを参照することにより、穿刺針Ｎの実際の全長ＬＡを取得する。
　ステップＳ５において、ステップＳ４で取得された穿刺針Ｎの実際の全長ＬＡが、ヘッドマウントディスプレイ３の表示部３１と診断装置本体４の表示モニタ４５に表示される。ここで、ステップＳ４で取得された穿刺針Ｎの実際の全長ＬＡは、以降においても、ヘッドマウントディスプレイ３の表示部３１と診断装置本体４の表示モニタ４５に表示され続ける。これにより、ユーザは、使用している穿刺針Ｎの実際の全長を容易に把握することができる。
　ステップＳ６において、診断装置本体４の実長さ推定部４８により、ステップＳ３で算出された視野画像における穿刺針Ｎの全長と、ステップＳ４で取得された穿刺針Ｎの実際の全長とを用いて、穿刺針長さ算出部４６により算出される穿刺針Ｎの視野画像上の長さと、ヘッドマウントディスプレイ３のカメラ部３２により撮影されている穿刺針Ｎの実際の長さとの対応関係が取得される。例えば、実長さ推定部４８は、この対応関係として、ステップＳ３で算出された視野画像における穿刺針Ｎの全長に対するステップＳ４で取得された穿刺針Ｎの実際の全長の比率を取得することができる。実長さ推定部４８は、取得された対応関係を用いることにより、穿刺針長さ算出部４６により算出された穿刺針Ｎの長さから、視野画像に撮影されている穿刺針Ｎの実際の長さを推定することができる。
　ステップＳ７において、ユーザが超音波プローブ２を被検体Ｓに接触させた状態で振動子アレイ１１から被検体Ｓ内に向かって超音波ビームが送信され、被検体Ｓからの超音波エコーが振動子アレイ１１により受信されて受信信号が生成される。超音波プローブ２の信号処理部１４により受信信号の処理がなされ、超音波画像信号が生成されると、診断装置本体４の超音波画像処理部４３により超音波画像が生成される。このようにして生成された超音波画像は、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５に表示される。
　なお、ステップＳ８以降においても、超音波画像が順次生成され、生成された超音波画像がヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５に表示されるものとする。ユーザは、超音波画像が順次生成されている状態において、被検体Ｓ内に穿刺針Ｎが挿入される箇所を超音波画像に描出させるように、被検体Ｓに超音波プローブ２を接触させながら、被検体Ｓ内に穿刺針Ｎを挿入する。
　また、ステップＳ８で生成された超音波画像がヘッドマウントディスプレイ３の表示部３１と診断装置本体４の表示モニタ４５に表示される際に、ステップＳ４で取得された穿刺針Ｎの実際の全長が、ステップＳ８で生成された超音波画像に重畳されて、ヘッドマウントディスプレイ３の表示部３１と診断装置本体４の表示モニタ４５に表示される。例えば、穿刺針Ｎが被検体Ｓに挿入されていない状態において、ステップＳ４で取得された穿刺針Ｎの実際の全長は、図１０に示すように、穿刺針長さＶ１として、超音波画像Ｕに重畳される。図１０に例示される超音波画像Ｕには、穿刺針長さＶ１が７０ｍｍである旨が重畳されており、穿刺の目的となる目的部位Ｔが描出されている。
　続くステップＳ８において、ステップＳ１と同様に、ヘッドマウントディスプレイ３のカメラ部３２により、視野画像が撮影される。
　ステップＳ９において、ステップＳ８で穿刺針Ｎの少なくとも一部が撮影されたか否か、すなわち、ステップＳ８で撮影された視野画像に穿刺針Ｎの少なくとも一部が写っているか否かが判定される。ステップＳ８で穿刺針Ｎの少なくとも一部が撮影されていないとステップＳ９において判定された場合には、ステップＳ８に戻り、ヘッドマウントディスプレイ３のカメラ部３２により新たに視野画像が撮影され、ステップＳ９に進む。このように、ステップＳ８で穿刺針Ｎの少なくとも一部が撮影されたとステップＳ９において判定されるまで、ステップＳ８およびステップＳ９の処理が繰り返される。
　ステップＳ８で穿刺針Ｎの少なくとも一部が撮影されたとステップＳ９において判定された場合には、ステップＳ１０に進む。
　ステップＳ１０において、診断装置本体４の穿刺針長さ算出部４６により、ステップＳ７で撮影された視野画像における穿刺針Ｎの長さが算出される。例えば、図８に示すように、被検体Ｓ内に穿刺針Ｎの一部が挿入されている場合には、視野画像において被検体Ｓの外側に存在する、穿刺針Ｎの未挿入部分の長さが算出される。
　ステップＳ１１において、診断装置本体４の実長さ推定部４８により、視野画像に撮影されている穿刺針Ｎの実際の長さが推定される。この際に、実長さ推定部４８は、ステップＳ６で取得された、視野画像における穿刺針Ｎの全長と穿刺針Ｎの実際の全長との対応関係を用いて、ステップＳ１０で算出された穿刺針Ｎの長さから、視野画像に撮影されている穿刺針Ｎの実際の長さを推定する。例えば、図８に示すように、被検体Ｓに穿刺針Ｎの一部が挿入されている場合に、実長さ推定部４８は、穿刺針Ｎの実際の全長ＬＡを基準として、穿刺針Ｎの未挿入部分の実際の長さＬＢを推定する。
　続くステップＳ１２において、実長さ推定部４８により、ステップＳ１１で推定された穿刺針Ｎの実際の長さが、ステップＳ７で生成された超音波画像Ｕに重畳されて、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５に表示される。例えば、被検体Ｓ内に穿刺針Ｎの一部が挿入されている場合に、実長さ推定部４８は、図１１に示すように、ステップＳ１１で推定された穿刺針Ｎの実際の長さを、推定長さＶ２として超音波画像Ｕ上に重畳して表示させる。図１０に例示する超音波画像Ｕには、推定長さＶ２が５０ｍｍである旨が重畳され、穿刺針Ｎと目的部位Ｔが描出されている。
　ユーザは、このようにしてヘッドマウントディスプレイ３の表示部３１または診断装置本体４の表示モニタ４５に表示された、穿刺針Ｎの未挿入部分の長さを確認することにより、現在、被検体Ｓ内にどの程度、穿刺針Ｎが挿入されているかを容易に把握することができる。
　最後に、ステップＳ１３において、超音波診断装置１の動作を終了するか否かの判定が行われる。図示しないが、例えば、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５に、超音波診断装置１の動作を終了するための終了ボタンが表示されており、診断装置本体４の入力部５１等を介してユーザにより終了ボタンが押されることにより、超音波診断装置１の動作を終了すると判定され、終了ボタンが押されない場合には、超音波診断装置１の動作を終了しないと判定される。
　超音波診断装置１の動作を終了しないとステップＳ１３において判定された場合には、ステップＳ８～ステップＳ１３の処理が再び行われる。このように、超音波診断装置１の動作を終了すると判定されるまで、ステップＳ８～ステップＳ１３の処理が繰り返される。超音波診断装置１の動作を終了するとステップＳ１３において判定された場合には、超音波診断装置１の動作が終了する。
　以上のように、本発明の実施の形態１に係る超音波診断装置１によれば、ヘッドマウントディスプレイ３のカメラ部３２により穿刺針Ｎの少なくとも一部が撮影された場合に、穿刺針長さ算出部４６により、撮影された穿刺針Ｎの長さが算出され、算出された穿刺針Ｎの長さに基づいて、実長さ推定部４８により、穿刺針Ｎの実際の長さが推定され、推定された穿刺針Ｎの実際の長さが、超音波画像Ｕに重畳されて、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５に表示されるため、ユーザが、穿刺針Ｎの被検体Ｓ内に挿入している部分の長さを精確に且つ簡便に把握することができる。
　なお、実施の形態１では、図７に示すように、定められた間隔ＬＧを隔てて配置された複数の溝Ｇが形成された穿刺針Ｎが例示されているが、穿刺針Ｎの種類として、先端部から一定の長さにわたって、微細な溝を形成する、いわゆるエングレーブ加工がさらに施されているものがある。診断装置本体４の全長取得部４７は、例えば、エングレーブ加工が施された穿刺針Ｎの全体がヘッドマウントディスプレイ３のカメラ部３２により撮影された場合に、複数の溝Ｇの間の間隔ＬＧの他に、エングレーブ加工が施されている部分の長さを用いて、穿刺針Ｎの実際の全長ＬＡを取得することができる。
　また、全長取得部４７が、穿刺針Ｎに形成された複数の溝Ｇの間の間隔ＬＧに基づいて、穿刺針Ｎの実際の全長ＬＡを取得することが例示されているが、穿刺針Ｎの実際の全長ＬＡを取得する方法は、これに限定されない。
　例えば、図１２に示すように、穿刺針Ｎの包装袋Ｐには、穿刺針Ｎの実際の全長ＬＡを表す長さ情報が記録されたバーコードＢＣが印刷されていることがある。全長取得部４７は、このバーコードＢＣがヘッドマウントディスプレイ３のカメラ部３２に撮影された場合に、視野画像に写るバーコードＢＣに記録された長さ情報を読み取ることにより、穿刺針Ｎの実際の全長ＬＡを取得することができる。このように、全長取得部４７は、バーコードＢＣ等の長さ情報記録部材に記録された長さ情報を読み取ることにより、穿刺針Ｎの実際の全長ＬＡを取得することもできる。
　また、全長取得部４７は、図１３に示すように、ヘッドマウントディスプレイ３のカメラ部３２により、被検体Ｓ内に挿入されていない穿刺針Ｎの全体と、長さを計測するためのスケールＳＣとが互いに並列して撮影された場合に、スケールＳＣの目盛りを基準にして穿刺針Ｎの実際の全長ＬＡを算出することができる。
　また、実施の形態１では、診断装置本体４の超音波画像処理部４３により生成された超音波画像Ｕと、実長さ推定部４８により推定された穿刺針Ｎの実際の長さとがヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５の双方に表示されることが説明されているが、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５のどちらか一方に表示されていてもよい。この場合でも、ユーザは、推定された穿刺針Ｎの実際の長さを確認し、穿刺針Ｎの被検体Ｓ内に挿入している部分の長さを精確に且つ簡便に把握することができる。
　また、超音波プローブ２、ヘッドマウントディスプレイ３、診断装置本体４は、無線通信により互いに接続されているが、無線通信を用いる代わりに有線接続されていてもよい。例えば、図示しないが、超音波プローブ２と診断装置本体４とが有線接続され、且つ、ヘッドマウントディスプレイ３と診断装置本体４とが有線接続されることができる。
　また、ヘッドマウントディスプレイ３が、ユーザが視認可能な表示部３１とユーザの前方の視野を撮影するためのカメラ部３２を備え且つユーザの頭部に装着可能なものであれば、ヘッドマウントディスプレイ３の形状は、図４に示す形状に限定されない。例えば、ヘッドマウントディスプレイ３は、２つの表示部３１Ａ、３１Ｂの双方を備える代わりに２つの表示部３１Ａ、３１Ｂのどちらか一方のみを備えていてもよく、ユーザの両眼と対面するような唯１つの表示部を備えていてもよい。
　また、診断装置本体４に超音波画像処理部４３が備えられているが、診断装置本体４に備えられる代わりに、超音波プローブ２に超音波画像処理部４３が備えられていてもよい。この場合には、超音波プローブ２において超音波画像Ｕが生成されて、生成された超音波画像Ｕがプローブ側無線通信部１５を介して診断装置本体４に送信される。診断装置本体４に送信された超音波画像Ｕは、診断装置本体４の本体側無線通信部４１を介して表示制御部４４に入力されるとともに、本体側無線通信部４１から、ヘッドマウントディスプレイ３に送信される。ヘッドマウントディスプレイ３に送信された超音波画像Ｕは、ヘッドマウントディスプレイ３のヘッドマウントディスプレイ側無線通信部３３を介して表示制御部３５に入力される。この際に、診断装置本体４を経由せずに、超音波プローブ２からヘッドマウントディスプレイ３に直接、超音波画像Ｕが送信されてもよい。
実施の形態２
　実施の形態１では、診断装置本体４の実長さ推定部４８により、ヘッドマウントディスプレイ３のカメラ部３２に撮影されている穿刺針Ｎの実際の長さが推定されているが、推定された穿刺針Ｎの長さに基づいて、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さが推定されることもできる。
　実施の形態２に係る超音波診断装置は、実施の形態１における超音波プローブ２とヘッドマウントディスプレイ３が、図１４に示す診断装置本体４Ａに接続されたものである。実施の形態２における診断装置本体４Ａは、図６に示す診断装置本体４において、本体制御部４９の代わりに本体制御部４９Ａが備えられ、挿入長さ推定部５３が追加されたものである。
　診断装置本体４Ａにおいて、全長取得部４７と実長さ推定部４８に、挿入長さ推定部５３が接続され、挿入長さ推定部５３に、本体側無線通信部４１と距離算出部５４が接続されている。また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、格納部５０、入力部５１および挿入長さ推定部５３に、本体制御部４９Ａが接続されている。
　また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８、本体制御部４９Ａおよび挿入長さ推定部５３により、診断装置本体プロセッサ５２Ａが構成されている。
　診断装置本体プロセッサ５２Ａの挿入長さ推定部５３は、図１５に示すように、ヘッドマウントディスプレイ３のカメラ部３２により、被検体Ｓ内に一部が挿入されている穿刺針Ｎが撮影された場合に、全長取得部４７により取得された穿刺針Ｎの実際の全長ＬＡと、実長さ推定部４８により推定された穿刺針Ｎの未挿入部分の実際の長さＬＢとに基づいて、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さＬＣを推定する。また、挿入長さ推定部５３は、推定された長さＬＣの値を、本体側無線通信部４１と表示制御部４４とに送出し、ヘッドマウントディスプレイ３の表示部３１と診断装置本体４Ａの表示モニタ４５にそれぞれ表示させる。
　この際に、挿入長さ推定部５３は、例えば、図１６に示すように、推定された、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さＬＣを、挿入長さＶ３として、超音波画像Ｕに重畳して表示させる。図１６に例示する超音波画像Ｕには、全長取得部４７により取得された穿刺針Ｎの実際の全長、すなわち、穿刺針長さＶ１が７０ｍｍである旨と、挿入長さＶ３が２０ｍｍである旨が重畳されており、被検体Ｓ内に挿入された穿刺針Ｎと、穿刺の目的となる目的部位Ｔが描出されている。
　このように、実施の形態２に係る超音波診断装置によれば、挿入長さ推定部５３により、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さＬＣが推定され、推定された長さＬＣが超音波画像Ｕに重畳されて、ヘッドマウントディスプレイ３の表示部３１と診断装置本体４Ａの表示モニタ４５に表示されるため、ユーザが、穿刺針Ｎの被検体Ｓ内に挿入している部分の長さを精確に且つ簡便に把握することができる。
　なお、実施の形態２では、診断装置本体４Ａの実長さ推定部４８により推定された、視野画像に撮影されている穿刺針Ｎの実際の長さＬＢがヘッドマウントディスプレイ３の表示部３１と診断装置本体４Ａの表示モニタ４５に表示される代わりに、挿入長さ推定部５３により推定された、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さＬＣが表示されているが、穿刺針Ｎの実際の長さＬＢと穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さＬＣの双方がヘッドマウントディスプレイ３の表示部３１と診断装置本体４Ａの表示モニタ４５に表示されてもよい。この場合にも、ユーザは、穿刺針Ｎの被検体Ｓ内に挿入している部分の長さを精確に且つ簡便に把握することができる。
実施の形態３
　実施の形態２では、挿入長さ推定部５３により、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さＬＣが推定されているが、さらに、穿刺の目的である目的部位Ｔと穿刺針Ｎの先端部との間の距離が算出されることもできる。
　実施の形態３に係る超音波診断装置は、実施の形態１における超音波プローブ２とヘッドマウントディスプレイ３が、図１７に示す診断装置本体４Ｂに接続されたものである。実施の形態３における診断装置本体４Ｂは、図１４に示す実施の形態２における診断装置本体４Ａにおいて、本体制御部４９Ａの代わりに本体制御部４９Ｂが備えられ、距離算出部５４が追加されたものである。
　診断装置本体４Ｂにおいて、超音波画像処理部４３と挿入長さ推定部５３に、距離算出部５４が接続され、距離算出部５４に、本体側無線通信部４１と表示制御部４４が接続されている。また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８、格納部５０、入力部５１、挿入長さ推定部５３および距離算出部５４に、本体制御部４９Ｂが接続されている。
　また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８、本体制御部４９Ｂ、挿入長さ推定部５３および距離算出部５４により、診断装置本体プロセッサ５２Ｂが構成されている。
　診断装置本体プロセッサ５２Ｂの距離算出部５４は、図１８に示すように、超音波画像Ｕに穿刺の目的部位Ｔと穿刺針Ｎとが描出された場合に、超音波画像Ｕを画像解析することにより目的部位Ｔと穿刺針Ｎとを認識し、目的部位Ｔと、挿入長さ推定部５３により推定された、穿刺針Ｎの被検体Ｓ内に挿入されている部分の実際の長さＬＣとに基づいて、目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴを算出する。ここで、距離算出部５４は、目的部位Ｔと穿刺針Ｎの先端部との距離ＤＴとして、例えば、目的部位Ｔと穿刺針Ｎの先端部との穿刺針Ｎの伸長方向における距離を算出する。
　また、距離算出部５４は、このようにして算出した、目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴを、本体側無線通信部４１と表示制御部４４とに送出し、ヘッドマウントディスプレイ３の表示部３１と診断装置本体４Ａの表示モニタ４５にそれぞれ表示させる。
　この際に、距離算出部５４は、例えば、図１８に示すように、算出された、目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴを、目的部位との距離Ｖ４として、超音波画像Ｕに重畳して表示させる。図１８に例示する超音波画像Ｕには、全長取得部４７により取得された穿刺針Ｎの実際の全長、すなわち、穿刺針長さＶ１が７０ｍｍである旨と、挿入長さ推定部５３により推定された、穿刺針Ｎの被検体Ｓ内に挿入されている部分の長さ、すなわち、挿入長さＶ３が２０ｍｍである旨と、目的部位との距離Ｖ４が８ｍｍである旨が重畳されており、被検体Ｓ内に挿入された穿刺針Ｎと、目的部位Ｔが描出されている。
　このように、実施の形態３に係る超音波診断装置によれば、距離算出部５４により、穿刺の目的である目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴが算出され、算出された距離ＤＴがヘッドマウントディスプレイ３の表示部３１と診断装置本体４Ａの表示モニタ４５に表示されるため、ユーザが目的部位Ｔに対する穿刺針Ｎの位置関係を精確に把握することができる。
実施の形態４
　実施の形態３では、距離算出部５４により、目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴが算出されているが、さらに、算出された距離ＤＴが短い場合、すなわち、穿刺針Ｎの先端部が目的部位Ｔに接近した場合に、その旨がユーザに報知されることもできる。
　実施の形態３に係る超音波診断装置は、実施の形態１における超音波プローブ２とヘッドマウントディスプレイ３が、図１９に示す診断装置本体４Ｃに接続されたものである。実施の形態４における診断装置本体４Ｃは、図１７に示す実施の形態３における診断装置本体４Ｂにおいて、本体制御部４９Ｂの代わりに本体制御部４９Ｃが備えられ、報知部５５が追加されたものである。
　診断装置本体４Ｃにおいて、距離算出部５４に、報知部５５が接続され、報知部５５に、本体側無線通信部４１と表示制御部４４が接続されている。また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８、格納部５０、入力部５１、挿入長さ推定部５３、距離算出部５４および報知部５５に、本体制御部４９Ｃが接続されている。
　また、通信制御部４２、超音波画像処理部４３、表示制御部４４、穿刺針長さ算出部４６、全長取得部４７、実長さ推定部４８、本体制御部４９Ｃ、挿入長さ推定部５３、距離算出部５４および報知部５５により、診断装置本体プロセッサ５２Ｃが構成されている。
　診断装置本体プロセッサ５２Ｃの報知部５５は、距離算出部５４により算出された、目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴの値が定められた値以下となった場合に、その旨をユーザに報知する。例えば、図示しないが、報知部５５は、穿刺針Ｎの先端部が目的部位Ｔに接近している旨を表すテキストおよび画像等を、超音波画像Ｕに重畳して、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４Ｃの表示モニタ４５に表示させることにより、ユーザへ報知することができる。
　このように、実施の形態４に係る超音波診断装置によれば、目的部位Ｔと穿刺針Ｎの先端部との間の距離ＤＴの値が定められた値以下となった場合に、報知部５５が、穿刺針Ｎの先端部が目的部位Ｔに接近している旨をユーザに報知するため、ユーザが、目的部位Ｔに対する穿刺針Ｎの位置関係を精確に且つより明確に把握することができる。
　なお、図示しないが、例えば、超音波プローブ２、ヘッドマウントディスプレイ３、診断装置本体４Ｃに、スピーカ等の音源部が備えられている場合には、報知部５５は、音源部を介して報知音または音声等によりユーザに報知することもできる。また、例えば、ヘッドマウントディスプレイ３を振動させるためのモータ等の振動部がヘッドマウントディスプレイ３に備えられている場合には、報知部５５は、振動部によりヘッドマウントディスプレイ３を振動させてユーザに報知することもできる。
実施の形態５
　実施の形態１の超音波診断装置１は、超音波プローブ２、ヘッドマウントディスプレイ３が診断装置本体４に無線通信により接続され、また、表示モニタ４５、入力部５１が診断装置本体４の診断装置本体プロセッサ５２に直接的に接続される構成を有しているが、例えば、超音波プローブ２、ヘッドマウントディスプレイ３、表示モニタ４５、入力部５１と、診断装置本体プロセッサ５２とがネットワークを介して間接的に接続されることもできる。
　図２０に示すように、実施の形態５に係る超音波診断装置１Ｄは、超音波プローブ２、ヘッドマウントディスプレイ３、表示モニタ４５、入力部５１がネットワークＮＷを介して診断装置本体４Ｄに接続されたものである。診断装置本体４Ｄは、図６に示す実施の形態１における診断装置本体４において、表示モニタ４５、入力部５１を除いたものであり、診断装置本体プロセッサ５２および格納部５０により構成されている。
　超音波診断装置１Ｄがこのような構成を有している場合でも、実施の形態１の超音波診断装置１と同様に、ヘッドマウントディスプレイ３のカメラ部３２により穿刺針Ｎの少なくとも一部が撮影された場合に、穿刺針長さ算出部４６により、撮影された穿刺針Ｎの長さが算出され、算出された穿刺針Ｎの長さに基づいて、実長さ推定部４８により、穿刺針Ｎの実際の長さが推定され、推定された穿刺針Ｎの実際の長さが、超音波画像Ｕに重畳されて、ヘッドマウントディスプレイ３の表示部３１および診断装置本体４の表示モニタ４５に表示される。そのため、超音波診断装置１Ｄによれば、ユーザは、穿刺針Ｎの被検体Ｓ内に挿入している部分の長さを精確に且つ簡便に把握することができる。
　また、超音波プローブ２、ヘッドマウントディスプレイ３、表示モニタ４５、入力部５１がネットワークＮＷを介して診断装置本体４Ｄに接続されているため、診断装置本体４Ｄを、いわゆる遠隔サーバとして使用することができる。これにより、例えば、ユーザは、ヘッドマウントディスプレイ３を頭部に装着し、超音波プローブ２、表示モニタ４５、入力部５１を手元に用意することにより、被検体Ｓ内を超音波画像Ｕを用いて観察することができるため、被検体Ｓ内を観察する際の利便性を向上させることができる。
　また、例えば、いわゆるタブレットと呼ばれる携帯型の薄型コンピュータが表示モニタ４５および入力部５１として使用される場合には、ユーザは、より手軽に被検体Ｓ内の観察を行うことができる。
　なお、実施の形態５の態様は、実施の形態１に適用されることが説明されているが、実施の形態２～実施の形態４についても、同様に適用されることができる。
１，１Ａ，１Ｂ，１Ｃ，１Ｄ　超音波診断装置、２　超音波プローブ、３　ヘッドマウントディスプレイ、４，４Ａ，４Ｂ，４Ｃ，４Ｄ　診断装置本体、１１　振動子アレイ、１２　送信部、１３　受信部、１４　信号処理部、１５　プローブ側無線通信部、１６，３４，４２　通信制御部、１７　プローブ制御部、１８　プローブプロセッサ、１９，３８　バッテリ、２０　増幅部、２１　ＡＤ変換部、２２　ビームフォーマ、３１，３１Ａ，３１Ｂ　表示部、３２　カメラ部、３３　ヘッドマウントディスプレイ側無線通信部、３５，４４　表示制御部、３６　ヘッドマウントディスプレイ制御部、３７　ヘッドマウントディスプレイプロセッサ、４１　本体側無線通信部、４３　超音波画像処理部、４５　表示モニタ、４６　穿刺針長さ算出部、４７　全長取得部、４８　実長さ推定部、４９，４９Ａ，４９Ｂ，４９Ｃ　本体制御部、５０　格納部、５１　入力部、５２，５２Ａ，５２Ｂ，５２Ｃ　診断装置本体プロセッサ、５３　挿入長さ推定部、５４　距離算出部、５５　報知部、Ａ　蔓部、Ｂ　橋部、ＢＣ　バーコード、Ｄ　収納部、ＤＴ，Ｖ４　距離、Ｅ　取付部、Ｆ　撮影レンズ、Ｇ　溝、ＬＡ　全長、ＬＢ，ＬＣ　長さ、ＬＧ　間隔、Ｐ　包装袋、Ｎ　穿刺針、ＮＷ　ネットワーク、Ｓ　被検体、ＳＣ　スケール、Ｔ　目的部位、Ｕ　超音波画像、Ｖ１　穿刺針長さ、Ｖ２　推定長さ、Ｖ３　挿入長さ。

Claims (14)

  1. 　被検体内に挿入された穿刺針を超音波画像に描出する超音波診断装置であって、
    　ユーザの頭部に装着され、前記ユーザの前方の視野を撮影した視野画像を取得するカメラ部を有するヘッドマウントディスプレイと、
    　前記カメラ部により前記穿刺針の少なくとも一部が撮影された場合に、前記視野画像を画像解析することにより前記穿刺針を認識して、前記視野画像における前記穿刺針の長さを算出する穿刺針長さ算出部と
    　を備える超音波診断装置。
  2. 　前記被検体内に挿入されていない前記穿刺針の実際の全長を取得する全長取得部と、
    　前記被検体内に挿入されていない前記穿刺針の全体が撮影された前記視野画像から前記穿刺針長さ算出部により算出された前記穿刺針の前記視野画像における長さと、前記全長取得部により取得された前記穿刺針の実際の全長との対応関係を取得し、取得された前記対応関係に基づいて、前記穿刺針長さ算出部により算出される前記穿刺針の前記視野画像における長さから、前記視野画像に撮影されている前記穿刺針の実際の長さを推定する実長さ推定部と
    　をさらに備える請求項１に記載の超音波診断装置。
  3. 　前記全長取得部は、前記カメラ部により、定められた間隔を隔てて配置された複数の溝が形成され且つ前記被検体内に挿入されていない前記穿刺針の全体が撮影された場合に、前記複数の溝を用いて前記穿刺針の実際の全長を取得する請求項２に記載の超音波診断装置。
  4. 　前記全長取得部は、前記カメラ部により、前記穿刺針の実際の全長を表す長さ情報が記録された長さ情報記録部材が撮影された場合に、前記長さ情報記録部材に記録された前記長さ情報を読み取ることにより前記穿刺針の実際の全長を取得する請求項２に記載の超音波診断装置。
  5. 　前記全長取得部は、前記カメラ部により、前記被検体内に挿入されていない前記穿刺針の全体と、長さを計測するためのスケールとが互いに並列して撮影された場合に、前記スケールを用いて前記穿刺針の実際の全長を取得する請求項２に記載の超音波診断装置。
  6. 　前記実長さ推定部は、推定された前記穿刺針の実際の長さを前記超音波画像上に重畳して表示させる請求項２～５のいずれか一項に記載の超音波診断装置。
  7. 　前記カメラ部により、前記被検体内に一部が挿入されている前記穿刺針が撮影された場合に、前記全長取得部により取得された前記穿刺針の実際の全長と、前記実長さ推定部により推定された前記穿刺針の前記視野画像に写る未挿入部分の実際の長さとに基づいて、前記穿刺針の前記被検体内に挿入されている部分の実際の長さを推定する挿入長さ推定部をさらに備える請求項２～６のいずれか一項に記載の超音波診断装置。
  8. 　前記挿入長さ推定部は、推定された前記穿刺針の前記被検体内に挿入されている部分の実際の長さを前記超音波画像上に重畳して表示させる請求項７に記載の超音波診断装置。
  9. 　前記超音波画像に穿刺の目的部位と前記穿刺針が描出された場合に、前記超音波画像を画像解析することにより前記目的部位と前記穿刺針とを認識し、前記目的部位と前記挿入長さ推定部により推定された前記穿刺針の前記被検体内に挿入されている部分の実際の長さとに基づいて、前記目的部位と前記穿刺針の先端部との間の距離を算出する距離算出部をさらに備える請求項７または８に記載の超音波診断装置。
  10. 　前記距離算出部は、算出された前記目的部位と前記穿刺針の先端部との間の距離の値を前記超音波画像に重畳して表示させる請求項９に記載の超音波診断装置。
  11. 　前記距離算出部により算出された距離が定められた値以下となった場合に、ユーザに報知する報知部をさらに備える請求項９または１０に記載の超音波診断装置。
  12. 　前記ヘッドマウントディスプレイは、前記超音波画像を表示する表示部を有する請求項１～１１のいずれか一項に記載の超音波診断装置。
  13. 　前記超音波画像を表示する表示モニタをさらに備える請求項１～１１のいずれか一項に記載の超音波診断装置。
  14. 　被検体内に挿入された穿刺針を超音波画像に描出する超音波診断装置の制御方法であって、
    　ユーザの頭部に装着され、カメラ部を有するヘッドマウントディスプレイにより、前記ユーザの前方の視野を撮影した視野画像を取得し、
    　前記カメラ部により前記穿刺針の少なくとも一部が撮影された場合に、前記視野画像を画像解析することにより前記穿刺針を認識して、前記視野画像における前記穿刺針の長さを算出する超音波診断装置の制御方法。
PCT/JP2019/044461 2018-12-27 2019-11-13 超音波診断装置および超音波診断装置の制御方法 WO2020137215A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020562903A JP7333338B2 (ja) 2018-12-27 2019-11-13 超音波診断装置および超音波診断装置の制御方法
US17/353,435 US11925504B2 (en) 2018-12-27 2021-06-21 Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018245545 2018-12-27
JP2018-245545 2018-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/353,435 Continuation US11925504B2 (en) 2018-12-27 2021-06-21 Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus

Publications (1)

Publication Number Publication Date
WO2020137215A1 true WO2020137215A1 (ja) 2020-07-02

Family

ID=71128970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044461 WO2020137215A1 (ja) 2018-12-27 2019-11-13 超音波診断装置および超音波診断装置の制御方法

Country Status (3)

Country Link
US (1) US11925504B2 (ja)
JP (1) JP7333338B2 (ja)
WO (1) WO2020137215A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158433A1 (ja) * 2021-01-20 2022-07-28 テルモ株式会社 学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法
WO2024034557A1 (ja) * 2022-08-08 2024-02-15 学校法人立命館 穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230131115A1 (en) * 2021-10-21 2023-04-27 GE Precision Healthcare LLC System and Method for Displaying Position of Echogenic Needles

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014221175A (ja) * 2013-05-14 2014-11-27 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011200533A (ja) 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8880151B1 (en) * 2013-11-27 2014-11-04 Clear Guide Medical, Llc Surgical needle for a surgical system with optical recognition
US9622720B2 (en) * 2013-11-27 2017-04-18 Clear Guide Medical, Inc. Ultrasound system with stereo image guidance or tracking
US10284762B2 (en) * 2014-10-27 2019-05-07 Clear Guide Medical, Inc. System and method for targeting feedback
US10788791B2 (en) * 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US20220079675A1 (en) * 2018-11-16 2022-03-17 Philipp K. Lang Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014221175A (ja) * 2013-05-14 2014-11-27 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158433A1 (ja) * 2021-01-20 2022-07-28 テルモ株式会社 学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法
WO2024034557A1 (ja) * 2022-08-08 2024-02-15 学校法人立命館 穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法

Also Published As

Publication number Publication date
US20210307718A1 (en) 2021-10-07
JP7333338B2 (ja) 2023-08-24
US11925504B2 (en) 2024-03-12
JPWO2020137215A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
US11925504B2 (en) Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus
JP7313359B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP7119127B2 (ja) 超音波システムおよび超音波システムの制御方法
US12115021B2 (en) Ultrasound system and method of controlling ultrasound system
CN113081054B (zh) 一种超声成像方法以及超声成像系统
CN118285842A (zh) 超声波诊断装置及其控制方法、超声波诊断装置用处理器
JP6850896B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US11576648B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
WO2021014926A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP6937731B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US20220117579A1 (en) Ultrasound system and method of controlling ultrasound system
EP4014888A1 (en) Ultrasonic system and method for controlling ultrasonic system
JP6885908B2 (ja) 超音波診断装置および超音波診断装置の制御方法
WO2023281987A1 (ja) 超音波システムおよび超音波システムの制御方法
WO2023281997A1 (ja) 超音波システムおよび超音波システムの制御方法
US20230200782A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
WO2020137162A1 (ja) 超音波診断装置および超音波診断装置の制御方法
EP4205664A1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
US20240225590A9 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4252671A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020562903

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19904499

Country of ref document: EP

Kind code of ref document: A1