WO2023027172A1 - 超音波撮像装置 - Google Patents

超音波撮像装置 Download PDF

Info

Publication number
WO2023027172A1
WO2023027172A1 PCT/JP2022/032207 JP2022032207W WO2023027172A1 WO 2023027172 A1 WO2023027172 A1 WO 2023027172A1 JP 2022032207 W JP2022032207 W JP 2022032207W WO 2023027172 A1 WO2023027172 A1 WO 2023027172A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
ultrasonic
shape data
shape
imaging device
Prior art date
Application number
PCT/JP2022/032207
Other languages
English (en)
French (fr)
Inventor
一郎 佐久間
直輝 富井
拓実 野田
隆 東
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Priority to JP2023544001A priority Critical patent/JPWO2023027172A1/ja
Publication of WO2023027172A1 publication Critical patent/WO2023027172A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves

Definitions

  • the present invention relates to an ultrasonic imaging apparatus, and more particularly, to an ultrasonic imaging apparatus having a probe in which a plurality of elements capable of transmitting and receiving ultrasonic signals are arrayed on a pedestal made of a deformable plate material. .
  • the inventors have proposed an ultrasonic imaging apparatus equipped with a probe in which a plurality of elements capable of transmitting and receiving ultrasonic signals are aligned on a pedestal formed of a deformable plate material. is an index that decreases as the difference between the assumed shape of the pedestal and the actual shape of the pedestal becomes smaller, and is configured based on ultrasonic signals received by a plurality of elements when the assumed shape is assumed. It is proposed to estimate the shape of the pedestal by adjusting the assumed shape so that the shape index based on the brightness of each pixel of the provisional captured image becomes small (see Patent Document 1).
  • the main purpose of the ultrasonic imaging apparatus of the present invention is to quickly estimate the shape of the pedestal of the probe (arrangement of a plurality of elements).
  • the ultrasonic imaging apparatus of the present invention employs the following means in order to achieve the main purpose described above.
  • the ultrasonic imaging device of the present invention is An ultrasonic imaging apparatus comprising a probe in which a plurality of elements capable of transmitting and/or receiving ultrasonic signals are aligned and arranged on a pedestal made of a deformable plate material,
  • the ultrasonic reception data and the shape obtained by performing deep deep learning using the ultrasonic reception data of the imaging target obtained by transmitting and receiving the ultrasonic signals by the plurality of elements and the shape data of the pedestal. having the learning result as a relation to the data,
  • Estimated shape data as estimated shape data of the pedestal is obtained by applying the learning result to the received ultrasonic data, and an image of the imaging target is obtained based on the estimated shape data and the received ultrasonic data.
  • ultrasonic reception data of an imaging target obtained by transmitting and receiving ultrasonic signals by a plurality of elements and shape data of a probe base (arrangement of a plurality of elements) are used to perform deep layer imaging. It has a learning result as a relationship between ultrasonic reception data and shape data obtained by performing deep learning. Then, by applying the learning result to the received ultrasonic data, estimated shape data as shape data (arrangement of a plurality of elements) to be estimated of the pedestal is obtained, and imaging is performed based on the estimated shape data and the received ultrasonic data. Output the target image data.
  • the estimated shape data is estimated using the learning results obtained by performing deep deep learning using the received ultrasonic wave data and the shape data in advance, it is faster than the one that has iterative calculation using the shape index.
  • Estimated shape data (arrangement of multiple elements) can be estimated. As a result, it is possible to output an image of the imaging target obtained based on the estimated shape data and the received ultrasound data in a near-real time state.
  • the estimated shape data may be a coefficient sequence of each basis function in a shape function represented by a linear combination of arbitrary basis function sequences.
  • the shape function may be P(1) sin(x)+P(2) sin(2x)+ . . . +P(n) sin(nx).
  • the deep deep learning includes random shape data of the pedestal when the plurality of elements are randomly arranged in a processed image obtained by performing edge detection processing on a natural image.
  • Simulation received data obtained by transmitting and receiving the ultrasonic signal from the plurality of elements in the random shape data to the processed image by simulation is used as the shape data and the ultrasonic wave reception data to obtain the learning result. It may be obtained.
  • the learning result is obtained by performing deep deep learning using the random shape data and the simulation received data as the shape data and the ultrasonic wave reception data, and the result is a living body as an imaging target.
  • the deep deep learning is performed by combining the actually measured shape data of the pedestal and the actually measured received data by the probe when the probe is attached to the living body to be imaged. and the ultrasonic reception data to obtain the learning result.
  • the estimated shape data can be estimated using the learning results based on the actual measurement data of the living body, so that the estimated shape data can be estimated with high accuracy.
  • FIG. 1 is an explanatory diagram showing a schematic configuration of an ultrasonic imaging apparatus 20 according to an embodiment
  • FIG. FIG. 4 is an explanatory diagram schematically showing deep deep learning for obtaining a learning result 47
  • 4 is a flow chart showing an example of processing when imaging an object to be imaged by the ultrasonic imaging apparatus 20 of the embodiment
  • FIG. 4 is an explanatory diagram for calculating a propagation time t until an ultrasonic signal transmitted from a transmitting element is received by a receiving element;
  • FIG. 4 is an explanatory diagram showing an example of how a large amount of learning data (shape data and ultrasonic wave reception data) are obtained by the first method; 9 is a flow chart showing an example of obtaining a large amount of learning data (shape data and ultrasonic wave reception data) by the second method;
  • FIG. 10 is an explanatory diagram showing an example of actual measurement of the arrangement of a plurality of elements 34, a linear arrangement assumed to be arranged on a straight line, shape data of first to third examples, and captured images;
  • FIG. 5 is an explanatory diagram showing linear arrangement with respect to measured values in the arrangement (shape data) of a plurality of elements 34, and standard absolute error MAE of the first, second, and third embodiments;
  • FIG. 5 is an explanatory diagram showing linear arrangement with respect to actual measurement values in a shaped captured image, and peak signal-to-noise ratio PSNR of the first, second, and third embodiments;
  • FIG. 1 is an explanatory diagram showing a schematic configuration of an ultrasonic imaging apparatus 20 according to an embodiment.
  • the ultrasonic imaging apparatus 20 of the embodiment includes a probe 30 in which a plurality of elements 34 capable of transmitting and receiving ultrasonic signals are aligned on a deformable pedestal 32, and ultrasonic waves from the plurality of elements 34.
  • a control device 46 , a storage device 48 that stores data based on a control signal from the control device 46 , and a monitor 50 whose display is controlled by the control device 46 .
  • the pedestal 32 of the probe 30 is made of a deformable material such as flexible resin, and a plurality of elements 34 are aligned in one or more rows at predetermined intervals.
  • the transmission circuit 42 is a general well-known circuit that adjusts the timing of transmitting the ultrasonic signal from each element 34
  • the reception circuit 44 is a general well-known circuit that digitizes the ultrasonic signal received by each element 34. is the circuit of
  • the control device 46 is composed of a microcomputer centering on a CPU, and in addition to the CPU, there are also a ROM for storing programs and the like, a RAM for temporarily storing data, and a GPU (Graphics Processing Unit) for quickly performing image processing. Unit), flash memory, input/output circuits, etc.
  • the control device 46 also stores learning results 47 for estimating the shape of the probe 30 (the shape of the pedestal 32), that is, the arrangement of the plurality of elements 34, in the ROM.
  • the learning result 47 is the learning result obtained by performing deep deep learning using the learning data, as illustrated in FIG.
  • the learning data includes data (shape data) of the shape of the probe 30 (shape of the pedestal 32, arrangement of the plurality of elements 34), and data (shape data) of the probe 30 attached to the imaging target with deformation.
  • Data (ultrasonic reception data) received by the plurality of elements 34 when ultrasonic signals are transmitted and received from the plurality of elements 34 are used.
  • data (estimated shape data) of the shape of the pedestal 32 (arrangement of the plurality of elements 34) estimated when receiving the ultrasonic wave reception data is derived.
  • the shape data and the estimated shape data are the parameters P(1), P(2), and parameters P(1), P(2), . . . , P(n), parameters P(1), P(2), . , P(n).
  • FIG. 3 is a flow chart showing an example of processing when imaging an object to be imaged by the ultrasonic imaging apparatus 20 of the embodiment.
  • the probe 30 is pressed against the object to be imaged to be deformed and mounted (step S100).
  • ultrasonic signals are transmitted and received from the plurality of elements 34 (step S110), and the received ultrasonic wave reception data is applied to the learning result 47 to determine the shape of the probe 30 (the shape of the pedestal 32, the arrangement of the plurality of elements 34).
  • Estimated shape data estimated as step S120).
  • a captured image is formed (step S130), and the formed captured image is output to the monitor 50 (step S140).
  • the picked-up image was constructed based on the wave propagation time t by the synthetic aperture method using the ultrasonic signals received by each element 34 .
  • the wave propagation time t is obtained by setting the transmitting element coordinates to (X tr , Y tr ), the receiving element coordinates to (X rc , Y rc ), and the observation point coordinates to (x, y).
  • the speed of sound is c, the following equation (3) is obtained.
  • the ultrasonic wave reception data, the estimated shape data, and the constructed captured image are stored in the storage device 48 (step S150), and it is determined whether or not the imaging is completed (step S160).
  • the process returns to the process of transmitting and receiving ultrasonic signals from the plurality of elements 34 in step S110. Since the processes of steps S110 to S150 are repeatedly executed until the imaging is completed in this manner, the real-time captured image is displayed on the monitor 50. FIG.
  • FIG. 5 is an explanatory diagram showing an example of how a large amount of learning data (shape data and ultrasonic reception data) is obtained by the first technique.
  • edge detection processing based on a luminance gradient is performed on a natural image to create an edge detection processed image ((a) in FIG. 5).
  • a scattered point distribution ((b) in FIG. 5) is created by distributing scattered points at a density corresponding to the brightness of the edge detection processed image.
  • ultrasonic reception data ((c) in FIG.
  • the learning data is obtained by transmitting and receiving shape data of the arrangement (shape of the pedestal 32) of the plurality of elements 34 arranged at random and ultrasonic waves from the plurality of elements 34 arranged corresponding to the shape data. and multiple sets of simulated ultrasound reception data.
  • a learning result 47 is obtained by deep deep learning using the learning data obtained by the first method.
  • the ultrasonic imaging apparatus 20 of the embodiment using the learning result 47 obtained by the first method will be referred to as the first example.
  • a second method of obtaining the learning result 47 is a method of obtaining the learning result by deep deep learning using learning data adjusted by actual measurement data obtained by attaching the probe 30 to the living body.
  • FIG. 6 is a flow chart showing an example of how a large amount of learning data (shape data and ultrasonic reception data) is obtained by the second method.
  • the probe 30 is attached to a part of the living body (calf, front of thigh, back of thigh, abdomen, back, etc.) (step S200).
  • the surface shape of the mounted probe 30 is measured using a 3D scanner (step S210), and shape data representing the arrangement of the plurality of elements 34 is set based on the measured surface shape of the probe 30 (step S220). .
  • ultrasonic waves are transmitted and received from the plurality of elements 34 (step S230), and ultrasonic wave reception data are set (step S240).
  • the learning data are a plurality of sets of shape data and ultrasound reception data when the probe 30 is attached to each part of the living body.
  • a learning result 47 is obtained by deep deep learning using the learning data obtained by the second method.
  • the ultrasonic imaging apparatus 20 of the embodiment using the learning result 47 obtained by the second method will be referred to as the second example. If the number of learning data obtained from actual measurement data obtained by attaching the probe 30 to the living body is insufficient, gamma correction is performed on the ultrasound reception data using various coefficients to reduce the number of learning data. may be extended. In the second embodiment, nine gammas ( ⁇ ) of 0.50, 0.57, 0.67, 0.80, 1.00, 1.25, 1.5, 1.75 and 2.00 are used. was used to increase the number of learning data by 9 times.
  • a third method for obtaining the learning result 47 learning data obtained by attaching the probe 30 to the living body used in the second method for the learning result obtained by the first method is used for learning.
  • the ultrasonic imaging apparatus 20 of the embodiment using the learning result 47 obtained by the third method will be referred to as the third example.
  • FIG. 7 is an explanatory diagram showing an example of actual measurement of the arrangement of a plurality of elements 34, a linear arrangement assumed to be arranged on a straight line, and shape data and captured images of the first to third embodiments.
  • the solid-line curve in "element arrangement (shape data)" is shape data as an actual measurement value
  • the solid-line straight line is shape data in a linear arrangement assuming that a plurality of elements 34 are arranged on a straight line.
  • the dashed line is the estimated shape data estimated by the first embodiment
  • the one-dot chain line is the estimated shape data estimated by the second embodiment
  • the two-dot chain line is the estimated shape data estimated by the third embodiment.
  • the measured values in the first, second, and third embodiments approached in the order of the linear arrangement, and in the lower stage of FIG. Then, the second embodiment and the third embodiment approach the measured values in that order.
  • the estimated shape data in the first embodiment are farther from the measured values than in the linear arrangement.
  • the estimated shape data in the first embodiment are farther from the measured values than in the linear arrangement.
  • the estimated shape data in the first embodiment are farther from the measured values than in the linear arrangement.
  • FIG. 8 is an explanatory diagram showing the linear arrangement with respect to the measured values in the arrangement (shape data) of the plurality of elements 34, and the standard absolute error MAE of the first, second, and third embodiments.
  • the circle indicates the average value of the standard absolute error MAE
  • the straight line with upper and lower limits indicates the range of the standard absolute error MAE.
  • the standard absolute value error MAE is smaller in the order of the first, second and third embodiments, and the estimation accuracy of the arrangement of the plurality of elements 34 is improved in that order. is understood.
  • FIG. 9 shows the linear arrangement for the measured values in the captured image constructed based on the shape data (estimated shape data) and the received ultrasonic data, and the peak signal pairs of the first, second, and third embodiments.
  • FIG. 5 is an explanatory diagram showing a noise ratio PSNR;
  • the circle indicates the average value of the peak signal-to-noise ratio PSNR, and the straight line with upper and lower limits indicates the range of the peak signal-to-noise ratio PSNR.
  • the peak signal-to-noise ratio PSNR increases in the order of the first embodiment, the second embodiment, and the third embodiment, and the accuracy of the image quality of the captured image constructed in that order is improved. I understand.
  • the data (shape data) of the shape of the probe 30 (the shape of the pedestal 32, the arrangement of the plurality of elements 34) and the state in which the probe 30 is pressed against the imaging target and deformed a learning result 47 obtained by performing deep deep learning using the data (ultrasonic reception data) received by the plurality of elements 34 when ultrasonic signals are transmitted and received from the plurality of elements 34 as learning data.
  • ultrasonic reception data obtained by transmitting and receiving ultrasonic waves from the plurality of elements 34 of the probe 30 attached to the imaging target is applied to the learning result 47 to estimate the estimated shape data
  • a captured image is constructed based on the estimated estimated shape data and the ultrasonic wave reception data
  • the process of outputting the constructed captured image to the monitor 50 is repeated. Since the estimated shape data is estimated using the learning result 47 obtained by performing deep deep learning using the received ultrasonic wave data and the shape data in advance, it is faster than the one having iterative calculation using the shape index. can estimate the estimated shape data. As a result, it is possible to output a picked-up image formed based on the estimated shape data and the received ultrasound data to the monitor 50 in near real time.
  • the learning result 47 can be obtained without attaching the probe 30 to the part of the living body and obtaining actual measurement values. Obtainable.
  • the learning result 47 is obtained based on the actual measurement values obtained by attaching the probe 30 to the part of the living body. Therefore, a more appropriate learning result 47 can be obtained. As a result, a more appropriate captured image can be formed.
  • the ultrasonic imaging apparatus 20 of the third embodiment fine tuning is performed on the learning result 47 used in the ultrasonic imaging apparatus 20 of the second embodiment to obtain the learning result 47. Therefore, the ultrasonic imaging apparatus of the second embodiment 20, a more appropriate learning result 47 can be obtained and a more appropriate captured image can be constructed.
  • the ultrasonic imaging apparatus 20 of the embodiment for ease of explanation, a case where a plurality of elements 34 are arranged in a straight line on the pedestal 32 at predetermined intervals was considered.
  • the elements 34 may be arranged linearly in a row at random intervals, or a plurality of elements 34 may be arranged in a plurality of rows on the pedestal 32 .
  • the present invention can be used in the manufacturing industry of ultrasonic imaging devices.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波撮像装置は、複数の素子により超音波信号を送受信することにより得られる撮像対象の超音波受信データと台座の形状データ（複数の素子の配置）とを用いて深層ディープラーニングを行なうことにより得られる超音波受信データと形状データとの関係としての学習結果を有する。そして、超音波受信データに対して学習結果を適用して台座の推定される形状データ（推定される複数の素子の配置）としての推定形状データを求め、推定形状データと超音波受信データとに基づいて撮像対象の画像データを構成する。

Description

超音波撮像装置
　本発明は、超音波撮像装置に関し、詳しくは、変形可能な板状素材により形成された台座に超音波信号の送信および受信が可能な複数の素子を整列配置したプローブを備える超音波撮像装置に関する。
　従来、この種の技術としては、発明者らは、変形可能な板状素材により形成された台座に超音波信号の送信および受信が可能な複数の素子を整列配置したプローブを備える超音波撮像装置であって、台座の形状として仮定した仮定形状と台座の実際の形状との差が小さくなるほど小さくなる指標であって仮定形状としたときに複数の素子によって受信した超音波信号に基づいて構成した仮撮像画像の各画素の輝度に基づく形状指標が小さくなるように仮定形状を調整することにより台座の形状を推定することを提案している（特許文献１参照）。
特開２０２１－０４９０７３号公報
　しかしながら、上述の超音波撮像装置では、台座の仮定形状を仮定し、実際の台座との差が小さくなるほど小さくなる形状指標が許容値以下となるまで仮定形状の仮定と形状指標の計算を繰り返す必要があるため、繰り返し計算に時間を要し、リアルタイムな撮像を行なうことが困難となる。
　本発明の超音波撮像装置は、プローブの台座の形状（複数の素子の配置）を迅速に推定することを主目的とする。
　本発明の超音波撮像装置は、上述の主目的を達成するために以下の手段を採った。
　本発明の超音波撮像装置は、
　変形可能な板状素材により形成された台座に超音波信号の送信および／または受信が可能な複数の素子を整列配置したプローブを備える超音波撮像装置であって、
　前記複数の素子により前記超音波信号を送受信することにより得られる撮像対象の超音波受信データと前記台座の形状データとを用いて深層ディープラーニングを行なうことにより得られる前記超音波受信データと前記形状データとの関係としての学習結果を有し、
　前記超音波受信データに対して前記学習結果を適用して前記台座の推定される形状データとしての推定形状データを求め、前記推定形状データと前記超音波受信データとに基づいて前記撮像対象の画像を構成する、
　ことを特徴とする。
　この本発明の超音波撮像装置では、複数の素子により超音波信号を送受信することにより得られる撮像対象の超音波受信データとプローブの台座の形状データ（複数の素子の配置）とを用いて深層ディープラーニングを行なうことにより得られる超音波受信データと形状データとの関係としての学習結果を有する。そして、超音波受信データに対して学習結果を適用して台座の推定される形状データ（複数の素子の配置）としての推定形状データを求め、推定形状データと超音波受信データとに基づいて撮像対象の画像データを出力する。超音波受信データと形状データとを用いた深層ディープラーニングを予め行なって得られる学習結果を用いて推定形状データを推定するから、形状指標を用いた繰り返し計算を有するものに比して、迅速に推定形状データ（複数の素子の配置）を推定することができる。この結果、推定形状データと超音波受信データとに基づいて得られる撮像対象の画像をリアルタイムに近い状態で出力することが可能となる。
　本発明の超音波撮像装置において、前記推定形状データは、任意の基底関数列の線型結合で表される形状関数における各基底関数の係数列であるものとしてもよい。この場合、前記形状関数は、Ｐ（１）ｓｉｎ（ｘ）＋Ｐ（２）ｓｉｎ（２ｘ）＋・・・＋Ｐ（ｎ）ｓｉｎ（ｎｘ）であるものとしてもよい。
　本発明の超音波撮像装置において、前記深層ディープラーニングは、自然画像に対してエッジ検出処理して得られる処理画像に対して前記複数の素子をランダムに配置したときの前記台座のランダム形状データとシミュレーションにより前記処理画像に対して前記ランダム形状データにおける前記複数の素子により前記超音波信号を送受信して得られるシミュレーション受信データとを、前記形状データと前記超音波受信データとして用いて前記学習結果を得るものとしてもよい。こうすれば、生体の実測のデータを用いなくても精度のよい学習結果を得ることができ、精度良く推定形状データを推定することができる。この場合、前記学習結果は、前記ランダム形状データと前記シミュレーション受信データとを前記形状データと前記超音波受信データとして用いて深層ディープラーニングを行なうことによって得られる結果に対して、撮像対象としての生体に前記プローブを取り付けた際における前記台座の実測した実測形状データと前記プローブによる実測受信データとを前記形状データと前記超音波受信データとして用いて追加の深層ディープラーニングを行なって得られるものとしてもよい。即ち、シミュレーション受信データを用いて得られ得る学習結果に対して実測形状データと実測受信データとを用いてファインチューニングするのである。こうすれば、更に精度良く推定形状データを推定することができる。
　本発明の超音波撮像装置において、前記深層ディープラーニングは、撮像対象としての生体に前記プローブを取り付けた際における、前記台座の実測した実測形状データと前記プローブによる実測受信データとを、前記形状データと前記超音波受信データとして用いて前記学習結果を得るものとしてもよい。こうすれば生体の実測のデータに基づく学習結果を用いて推定形状データを推定するから、精度良く推定形状データを推定することができる。
実施形態の超音波撮像装置２０の構成の概略を示す説明図である。 学習結果４７を得るための深層ディープラーニングを模式的に示す説明図である。 実施形態の超音波撮像装置２０により撮像対象を撮像する際の処理の一例を示すフローチャートである。 送信素子から送信した超音波信号を受信素子で受信するまでの伝播時間ｔを計算する際の説明図である。 第１の手法により多数の学習用データ（形状データと超音波受信データ）を得る様子の一例を示す説明図である。 第２の手法により多数の学習用データ（形状データと超音波受信データ）を得る様子の一例を示すフローチャートである。 複数の素子３４の配置を実測した実測例と直線上に配置したと仮定した直線配置と第１～第３実施例の形状データと撮像画像との一例を示す説明図である。 複数の素子３４の配置（形状データ）における実測値に対する直線配置、第１実施例、第２実施例、第３実施例の標準絶対値誤差ＭＡＥを示す説明図である。 形構成された撮像画像における実測値に対する直線配置、第１実施例、第２実施例、第３実施例のピーク信号対雑音比ＰＳＮＲを示す説明図である。
　次に、本発明を実施するための形態について説明する。図１は、実施形態の超音波撮像装置２０の構成の概略を示す説明図である。実施形態の超音波撮像装置２０は、図示するように、変形可能な台座３２に超音波信号の送信および受信が可能な複数の素子３４を整列配置したプローブ３０と、複数の素子３４から超音波信号を送信するための送信回路４２と、複数の素子３４から超音波信号を受信するための受信回路４４と、送信回路４２を駆動したり受信回路４４で受信した超音波信号を処理したりする制御装置４６と、制御装置４６からの制御信号に基づいてデータを記憶する記憶装置４８と、制御装置４６に表示制御されるモニタ５０と、を備える。
　プローブ３０の台座３２は、可撓性を有する樹脂などの変形可能な材料により形成されており、複数の素子３４が所定間隔で１列または複数列に整列配置されている。
　送信回路４２は、各素子３４から超音波信号を送信するタイミングを調整する一般的な周知の回路であり、受信回路４４は、各素子３４により受信した超音波信号をデジタル化する一般的な周知の回路である。
　制御装置４６は、ＣＰＵを中心とするマイクロコンピュータにより構成されており、ＣＰＵの他にプログラムなどを記憶するＲＯＭや一時的にデータを記憶するＲＡＭ，画像処理を迅速に行なうためのＧＰＵ（Graphics Processing Unit），フラッシュメモリ、入出力回路などを備える。また、制御装置４６は、プローブ３０の形状（台座３２の形状）、即ち、複数の素子３４の配置を推定するための学習結果４７をＲＯＭに記憶している。
　学習結果４７は、図２に例示するように、学習用データを用いて深層ディープラーニングを行なって得られる学習結果である。学習用データとしては、本実施形態では、プローブ３０の形状（台座３２の形状、複数の素子３４の配置）のデータ（形状データ）と、プローブ３０を変形を伴って撮像対象に装着した状態で複数の素子３４から超音波信号を送受信した際に複数の素子３４により受信したデータ（超音波受信データ）とを用いている。学習結果４７としては、超音波受信データが与えられたときに推定される台座３２の形状（複数の素子３４の配置）のデータ（推定形状データ）を導出するものである。形状データおよび推定形状データは、複数の素子３４のうち直線上に配置された素子に対して、推定形状として、ｘを０からπまでの範囲とし、パラメータＰ（１），Ｐ（２），・・・，Ｐ（ｎ）を用いて台座３２の直線上の形状ｆ（Ｐ１，Ｐ２，…，Ｐｎ）を次式（１）としたときのパラメータＰ（１），Ｐ（２），・・・，Ｐ（ｎ）である。実施形態では、ｎ＝１０の１１次以降を省略したもの（式（２））を用いた。
　ｆ（Ｐ１，Ｐ２，…，Ｐｎ）＝Ｐ（１）ｓｉｎ（ｘ）
　　　　　　　　　　　　　　　＋Ｐ（２）ｓｉｎ（２ｘ）
　　　　　　　　　　　　　　　＋・・・＋Ｐ（ｎ）ｓｉｎ（ｎｘ）　（１）
　ｆ（Ｐ１，Ｐ２，…，Ｐ１０）＝Ｐ（１）ｓｉｎ（ｘ）
　　　　　　　　　　　　　　　＋Ｐ（２）ｓｉｎ（２ｘ）
　　　　　　　　　　　　　　　＋・・・＋Ｐ（１０）ｓｉｎ（１０ｘ）（２）
　次に、こうして構成された実施形態の超音波撮像装置２０により撮像対象を撮像する際の動作について説明する。図３は、実施形態の超音波撮像装置２０により撮像対象を撮像する際の処理の一例を示すフローチャートである。撮像は、まず、プローブ３０を撮像対象に押しつけて変形させて装着する（ステップＳ１００）。続いて、複数の素子３４から超音波信号を送受信し（ステップＳ１１０）、受信した超音波受信データを学習結果４７に適用してプローブ３０の形状（台座３２の形状、複数の素子３４の配置）として推定される推定形状データを導出する（ステップＳ１２０）。
　そして、推定したプローブ３０の形状（推定形状データ）と超音波受信データとに基づいて撮像画像を構成し（ステップＳ１３０）、構成した撮像画像をモニタ５０に出力する（ステップＳ１４０）。撮像画像の構成は、各素子３４で受信した超音波信号を用いて開口合成法により波の伝播時間ｔに基づいて行なった。波の伝播時間ｔは、図４に示すように、送信素子座標を（Ｘｔｒ、Ｙｔｒ）とし、受信素子座標を（Ｘｒｃ、Ｙｒｃ）とし、観測点座標を（ｘ，ｙ）とし、音速をｃとすると、次式（３）で表わされる。
　ｔ＝[{(ｘ－Ｘｔｒ)２＋(ｙ－Ｙｔｒ)２}１／２＋{ｘ－Ｘｔｒ)２＋(ｙ－Ｙｔｒ)２}１／２]÷ｃ　（３）
　そして、超音波受信データや推定形状データ、構成した撮像画像を記憶装置４８に記憶し（ステップＳ１５０）、撮像が終了されているか否かを判定し（ステップＳ１６０）、撮像が終了していないと判定したときにはステップＳ１１０の複数の素子３４から超音波信号を送受信する処理に戻る。このように撮像が終了するまでステップＳ１１０～Ｓ１５０の処理が繰り返し実行されから、モニタ５０にはリアルタイムの撮像画像が表示される。
　次に、学習結果４７について説明する。学習結果４７を得る第１の手法としては、学習用データをシミュレーションにより調整したものを用い深層ディープラーニングにより学習結果を得る手法である。図５は、第１の手法により多数の学習用データ（形状データと超音波受信データ）を得る様子の一例を示す説明図である。第１の手法では、まず、自然画像に対して輝度勾配に基づくエッジ検出処理を施してエッジ検出処理画像（図５中（ａ））を作成する。続いて、エッジ検出処理画像の輝度に応じた密度で散乱点を分布してなる散乱点分布（図５中（ｂ））を作成する。そして、散乱点分布に対してランダムに複数の素子３４を配置して超音波送受信を行なったときに受信する超音波受信データ（図５中（ｃ））をシミュレーションにより作成する。即ち、学習用データは、ランダムに配置した複数の素子３４の配置（台座３２の形状）の形状データと、この形状データに対応する配置とした複数の素子３４から超音波を送受信して得られるものとしてシミュレーションした超音波受信データと、の複数のセットである。こうした第１の手法により得られた学習用データを用いて深層ディープラーニングにより学習結果４７を得る。以下、第１の手法により得られた学習結果４７を用いた実施形態の超音波撮像装置２０を第１実施例と称する。
　学習結果４７を得る第２の手法としては、生体にプローブ３０を取り付けて得られる実測データにより学習用データを調整したものを用いた深層ディープラーニングにより学習結果を得る手法である。図６は、第２の手法により多数の学習用データ（形状データと超音波受信データ）を得る様子の一例を示すフローチャートである。第２の手法では、まず、プローブ３０を生体の部位（ふくらはぎや、太腿の前、太腿の後ろ、腹、背中など）に装着する（ステップＳ２００）。続いて、３Ｄスキャナを用いて装着したプローブ３０の表面形状を計測し（ステップＳ２１０）、計測したプローブ３０の表面形状に基づいて複数の素子３４の配置である形状データを設定する（ステップＳ２２０）。一方、複数の素子３４から超音波を送受信し（ステップＳ２３０）、超音波受信データを設定する（ステップＳ２４０）。学習用データは、プローブ３０を生体の各部位に装着したときの形状データと超音波受信データとの複数のセットである。こうした第２の手法により得られた学習用データを用いて深層ディープラーニングにより学習結果４７を得る。以下、第２の手法により得られた学習結果４７を用いた実施形態の超音波撮像装置２０を第２実施例と称する。なお、生体にプローブ３０を取り付けて得られる実測データによる学習用データのデータ数が不足する場合には、超音波受信データに対して種々の係数を用いてガンマ補正を行なうことにより学習用データ数を拡張するものとしてもよい。第２実施例では、ガンマ（γ）として０．５０，０．５７，０．６７，０．８０，１．００，１．２５，１．５，１．７５，２．００の９個を用いて学習用データ数を９倍にした。
　学習結果４７を得る第３の手法としては、第１の手法により得られた学習結果に対して第２の手法で用いた生体にプローブ３０を取り付けて得られる実測データによる学習用データを用いて追加の深層ディープラーニングを行なってパラメータの調整を行なういわゆるファインチューニングを施すことにより学習結果を得る手法である。以下、第３の手法により得られた学習結果４７を用いた実施形態の超音波撮像装置２０を第３実施例と称する。
　図７は、複数の素子３４の配置を実測した実測例と直線上に配置したと仮定した直線配置と第１～第３実施例の形状データと撮像画像との一例を示す説明図である。図７中の「素子配置（形状データ）」における実線の曲線は実測値としての形状データであり、実線の直線は複数の素子３４を直線上に配置したと仮定した直線配置における形状データであり、破線は第１実施例により推定された推定形状データであり、一点鎖線は第２実施例により推定された推定形状データであり、二点鎖線は第３実施例により推定された推定形状データである。形状データについては、図７の上段および中段では直線配置に比して第１実施例、第２実施例、第３実施例の順に実測値に近づいており、図７の下段では直線配置に比して第２実施例、第３実施例の順に実測値に近づいている。なお、図７の下段では第１実施例は直線配置に比して推定形状データは実測値から離れている。形状データ（推定形状データ）と超音波受信データとに基づいて構成された撮像画像では、形状データと同様に、図７の上段および中段では直線配置に比して第１実施例、第２実施例、第３実施例の順に実測値に近づいており、図７の下段では直線配置に比して第２実施例、第３実施例の順に実測値に近づいている。なお、図７の下段では第１実施例は直線配置に比して推定形状データは実測値から離れている。これらの結果、直線配置に比して第１実施例、第２実施例、第３実施例の順に実測値に近づくものと考えられる。
　図８は、複数の素子３４の配置（形状データ）における実測値に対する直線配置、第１実施例、第２実施例、第３実施例の標準絶対値誤差ＭＡＥを示す説明図である。図中、丸印は標準絶対値誤差ＭＡＥの平均値を示し、上下限付き直線は標準絶対値誤差ＭＡＥの範囲を示す。直線配置に比して第１実施例、第２実施例、第３実施例の順に標準絶対値誤差ＭＡＥが小さくなっており、その順に複数の素子３４の配置の推定精度がよくなっているのが解る。
　図９は、形状データ（推定形状データ）と超音波受信データとに基づいて構成された撮像画像における実測値に対する直線配置、第１実施例、第２実施例、第３実施例のピーク信号対雑音比ＰＳＮＲを示す説明図である。図中、丸印はピーク信号対雑音比ＰＳＮＲの平均値を示し、上下限付き直線はピーク信号対雑音比ＰＳＮＲの範囲を示す。直線配置に比して第１実施例、第２実施例、第３実施例の順にピーク信号対雑音比ＰＳＮＲが大きくなっており、その順に構成された撮像画像の画質の精度がよくなっているのが解る。
　以上説明した実施形態の超音波撮像装置２０では、プローブ３０の形状（台座３２の形状、複数の素子３４の配置）のデータ（形状データ）と、プローブ３０を撮像対象に押しつけて変形させた状態で複数の素子３４から超音波信号を送受信した際に複数の素子３４により受信したデータ（超音波受信データ）とを学習用データとして用いて深層ディープラーニングを行なうことにより得られる学習結果４７を備える。実施形態の超音波撮像装置２０では、撮像対象に装着したプローブ３０の複数の素子３４から超音波を送受信して得られる超音波受信データを学習結果４７に適用して推定形状データを推定し、推定した推定形状データと超音波受信データとに基づいて撮像画像を構成し、構成した撮像画像をモニタ５０に出力する処理を繰り返す。超音波受信データと形状データとを用いた深層ディープラーニングを予め行なって得られる学習結果４７を用いて推定形状データを推定するから、形状指標を用いた繰り返し計算を有するものに比して、迅速に推定形状データを推定することができる。この結果、推定形状データと超音波受信データとに基づいて構成される撮像画像をリアルタイムに近い状態でモニタ５０に出力することが可能となる。
　第１実施例の超音波撮像装置２０では、自然画像を用いて形状データと超音波受信データを多数準備するから、生体の部位にプローブ３０を装着して実測値を得ることなく学習結果４７を得ることができる。
　第２実施例の超音波撮像装置２０では、生体の部位にプローブ３０を装着して得られる実測値に基づいて学習結果４７を得るから、自然画像を用いて学習結果４７を得るものに比して、より適正な学習結果４７を得ることができる。この結果、より適正な撮像画像を構成することができる。
　第３実施例の超音波撮像装置２０では、第２実施例の超音波撮像装置２０に用いられる学習結果４７にファインチューニングを施して学習結果４７を得るから、第２実施例の超音波撮像装置２０に比して、より適正な学習結果４７を得ることができると共により適正な撮像画像を構成することができる。
　実施形態の超音波撮像装置２０では、説明の容易のために、台座３２に複数の素子３４が所定間隔で１列に直線上に整列配置されている場合を考えたが、台座３２に複数の素子３４がランダムな間隔で１列に直線上に整列配置されているものとしたり、台座３２に複数の素子３４が複数列に整列配置されているものとしてもよい。
　以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
　本発明は、超音波撮像装置の製造産業などに利用可能である。

Claims (6)

  1. 　変形可能な板状素材により形成された台座に超音波信号の送信および／または受信が可能な複数の素子を整列配置したプローブを備える超音波撮像装置であって、
    　前記複数の素子により前記超音波信号を送受信することにより得られる撮像対象の超音波受信データと前記台座の形状データとを用いて深層ディープラーニングを行なうことにより得られる前記超音波受信データと前記形状データとの関係としての学習結果を有し、
    　前記超音波受信データに対して前記学習結果を適用して前記台座の推定される形状データとしての推定形状データを求め、前記推定形状データと前記超音波受信データとに基づいて前記撮像対象の画像を構成する、
    　ことを特徴とする超音波撮像装置。
  2. 　請求項１記載の超音波撮像装置であって、
    　前記推定形状データは、任意の基底関数列の線型結合で表される形状関数における各基底関数の係数列である、
    　超音波撮像装置。
  3. 　請求項２記載の超音波撮像装置であって、
    　前記形状関数は、Ｐ（１）ｓｉｎ（ｘ）＋Ｐ（２）ｓｉｎ（２ｘ）＋・・・＋Ｐ（ｎ）ｓｉｎ（ｎｘ）である、
    　超音波撮像装置。
  4. 　請求項２または３記載の超音波撮像装置であって、
    　前記深層ディープラーニングは、自然画像に対してエッジ検出処理して得られる処理画像に対して前記複数の素子をランダムに配置したときの前記台座のランダム形状データとシミュレーションにより前記処理画像に対して前記ランダム形状データにおける前記複数の素子により前記超音波信号を送受信して得られるシミュレーション受信データとを、前記形状データと前記超音波受信データとして用いて前記学習結果を得る、
    　超音波撮像装置。
  5. 　請求項２または３記載の超音波撮像装置であって、
    　前記深層ディープラーニングは、撮像対象としての生体に前記プローブを取り付けた際における、前記台座の実測した実測形状データと前記プローブによる実測受信データとを、前記形状データと前記超音波受信データとして用いて前記学習結果を得る、
    　超音波撮像装置。
  6. 　請求項４記載の超音波撮像装置であって、
    　前記学習結果は、前記ランダム形状データと前記シミュレーション受信データとを前記形状データと前記超音波受信データとして用いて深層ディープラーニングを行なうことによって得られる結果に対して、撮像対象としての生体に前記プローブを取り付けた際における前記台座の実測した実測形状データと前記プローブによる実測受信データとを前記形状データと前記超音波受信データとして用いて追加の深層ディープラーニングを行なって得られる、
    　超音波撮像装置。
PCT/JP2022/032207 2021-08-26 2022-08-26 超音波撮像装置 WO2023027172A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023544001A JPWO2023027172A1 (ja) 2021-08-26 2022-08-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163237178P 2021-08-26 2021-08-26
US63/237,178 2021-08-26

Publications (1)

Publication Number Publication Date
WO2023027172A1 true WO2023027172A1 (ja) 2023-03-02

Family

ID=85322973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032207 WO2023027172A1 (ja) 2021-08-26 2022-08-26 超音波撮像装置

Country Status (2)

Country Link
JP (1) JPWO2023027172A1 (ja)
WO (1) WO2023027172A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019211171A1 (en) * 2018-05-02 2019-11-07 Koninklijke Philips N.V. Systems and methods for ultrasound screening
WO2020085312A1 (ja) * 2018-10-22 2020-04-30 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 超音波診断システム
JP2021049073A (ja) * 2019-09-24 2021-04-01 国立大学法人 東京大学 超音波撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019211171A1 (en) * 2018-05-02 2019-11-07 Koninklijke Philips N.V. Systems and methods for ultrasound screening
WO2020085312A1 (ja) * 2018-10-22 2020-04-30 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ 超音波診断システム
JP2021049073A (ja) * 2019-09-24 2021-04-01 国立大学法人 東京大学 超音波撮像装置

Also Published As

Publication number Publication date
JPWO2023027172A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
EP1462819A2 (en) Ultrasonic imaging apparatus with multiple transmit beams and reduced sidelobes
US10687786B2 (en) Ultrasound inspection apparatus, ultrasound inspection method and recording medium
US7713206B2 (en) Ultrasonic imaging apparatus
US11278262B2 (en) Ultrasonic diagnostic device and ultrasonic image generation method
US9320490B2 (en) Ultrasound diagnostic apparatus and control method thereof
EP3480782A1 (en) Method and device for reducing noise in a depth image
US9955952B2 (en) Ultrasonic diagnostic device and correction method
US20180085089A1 (en) Beamforming device, ultrasonic imaging device, and beamforming method allowing simple spatial smoothing operation
CN102695456B (zh) 波束形成方法、超声波诊断装置、集成电路
WO2023027172A1 (ja) 超音波撮像装置
CN109991602A (zh) 基于深度残差网络的isar图像分辨率增强方法
JP7258352B2 (ja) 超音波撮像装置
CN111789635B (zh) 超声波摄像装置以及图像处理装置
JP2008220652A (ja) 超音波診断装置、及び超音波画像生成プログラム
US10123769B2 (en) Ultrasound diagnostic apparatus and data processing method
US9223012B2 (en) Ultrasound image enhancement based on entropy information
US10188367B2 (en) Ultrasound diagnostic device, ultrasound image processing method, and non-transitory computer-readable recording medium
CN115245350A (zh) 超声波摄像装置、信号处理装置以及信号处理方法
JP2022164443A (ja) 超音波診断装置及び医用画像処理装置
US11366223B2 (en) Ultrasound imaging apparatus, image processing apparatus, and image processing program
US20170153322A1 (en) Ultrasonic imaging device and method of generating ultrasonic image
JP6776766B2 (ja) 超音波測定装置および超音波測定装置の制御方法
TW202036470A (zh) 影像處理方法及影像處理裝置
TW201732288A (zh) 一種適用於不同超音波機型影像之無回音區域及高回音亮點量化特徵的校正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22861460

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023544001

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE