JP7326340B2 - 自動壁追跡を伴う超音波システム - Google Patents

自動壁追跡を伴う超音波システム Download PDF

Info

Publication number
JP7326340B2
JP7326340B2 JP2020563442A JP2020563442A JP7326340B2 JP 7326340 B2 JP7326340 B2 JP 7326340B2 JP 2020563442 A JP2020563442 A JP 2020563442A JP 2020563442 A JP2020563442 A JP 2020563442A JP 7326340 B2 JP7326340 B2 JP 7326340B2
Authority
JP
Japan
Prior art keywords
ultrasound
imaging system
image data
processor
physiological parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020563442A
Other languages
English (en)
Other versions
JPWO2019217222A5 (ja
JP2021524767A (ja
Inventor
ホワイト、クリストファー、エー.
Original Assignee
フジフィルム ソノサイト インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フジフィルム ソノサイト インコーポレイテッド filed Critical フジフィルム ソノサイト インコーポレイテッド
Publication of JP2021524767A publication Critical patent/JP2021524767A/ja
Publication of JPWO2019217222A5 publication Critical patent/JPWO2019217222A5/ja
Priority to JP2023126617A priority Critical patent/JP7562936B2/ja
Application granted granted Critical
Publication of JP7326340B2 publication Critical patent/JP7326340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/486Diagnostic techniques involving arbitrary m-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • A61B8/065Measuring blood flow to determine blood output from the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

<関連出願との相互参照>
本出願は、2018年5月8日に出願された米国特許出願第15/974,255号に関連しその利益を主張し、参照によりその全体を本明細書に援用する。
開示の技術は、超音波撮像システムに関し、とりわけ、超音波画像データからリアルタイムに生理学的測定値を提供する超音波システムに関する。
使い易く非電離放射線であるため、超音波はヒト及び動物を対象とする撮像モダリティとして益々使用が広がっている。超音波を用いて、体内組織の画像を提供することに加え、研究者又は医療提供者が使用し得る生理学的機能の定量的評価を提供することができる。このような定量的評価の一例として心機能に関するものがある。駆出率(EF)、短縮率(FS)、一回拍出量(SV)(stoke volume)、及び心拍出量(CO)等の生理学的パラメータは、患者の診断及び病期分類に使用される周知の測定値である。4つの標準的な機能パラメータのうち、心臓がどの程度血液を送り出しているかを示す尺度である駆出率(EF)は、心不全の診断及び病期分類における1つの手掛かりである。これらのパラメータの各々は、超音波画像データから行われる測定から計算することができる。
従来の超音波システムでは、心拍出量の表示を望む医師、超音波技師、又は他の熟練した医療提供者が最初に超音波検査を行う。超音波画像データを得て保存した後、オペレータは、画像データを確認し画像の特定の組織フィーチャに手動でマーカーを配置するか、又は、マーカーを配置するために画像を放射線科医に送る。次いで、これらのマーカー間の距離を用いて生理学的パラメータを計算する。被検体の検査中にこのような生理学的パラメータをリアルタイムに表示することが出来れば、医療提供者は、手動での測定を止めたり画像を放射線科に送ったりすることなく、より迅速に診断を行うことができるだろう。
上述の問題及び他の問題に対処するために、開示の技術は、ニューラルネットワークを用いて超音波画像データ内のフィーチャの測定値からリアルタイムに生理学的パラメータを計算する超音波撮像システムに関する。一実施形態では、超音波撮像システムのプロセッサが、物理的フィーチャを識別する訓練されたニューラルネットワークに提供される超音波画像を作成する。物理的フィーチャが識別されると、プロセッサはフィーチャの測定値を決定し、1又は複数の生理学的パラメータを計算する。
心機能パラメータは、傍胸骨長軸像から取得したMモード画像を用いて計算することができる。典型的な方法は、収縮期(;s)及び拡張期(;d)両方での心室中隔(IVS)又は右室壁(RVID)の厚み、左室内径(LVID)、左室後壁(LVPW)、及び心拍数の測定を含む。場合によっては、心機能の測定値を算出するために、収縮期及び拡張期両方でのLVID測定のみが必要とされる。これらの測定は静止(確認中;not live)画像について手動で行ってもよく、(画像からの直接的な、又は、利用可能であればECG信号を用いることによる)心拍数の測定を含んでいてもよい。
同様の解剖学的測定及び機能計算は、心臓前壁及び後壁境界(心内膜境界)の追跡を用いて行うこともできる。この場合、LVID;d及びLVID;sは、これら2つの追跡間の最小及び最大分離点で測定される。心拍数は、複数回の収縮期からの時間差、又は、可能であればECG追跡を用いて取得することができる。
開示の一実施形態では、超音波システム内のプロセッサは、超音波画像を取得するとリアルタイムに心拍出量パラメータを計算する。プロセッサは、Mモード超音波画像を、画像から心内膜境界を識別するように訓練されたニューラルネットワークに提供する。識別された心内膜の壁の位置から、プロセッサは、超音波画像データと共にリアルタイムで表示される心臓パラメータを計算することができる。このプロセスは、前臨床(マウス及びラット等の動物モデル)イメージングだけでなく、臨床(ヒト)イメージングにも適用することができる。
開示の実施形態では、自動心内膜壁追跡によりオペレータを手動追跡の面倒な作業から解放し、また、サイクル平均化のために測定され得る複数の収縮期及び拡張期を提供する。更に、これはリアルタイム測定という選択を可能にし、それ以外では不可能であろう。
Mモード超音波画像に手動で作成した一対の心内膜追跡(LV)の例を示す; 開示の技術の実施形態に従う、超音波画像データからリアルタイムに生理学的測定を行うための代表的な超音波システムを示す; 開示の技術の実施形態に従う、複数のテスト画像を用いたニューラルネットワークの訓練方法を示す; 開示の技術の実施形態に従う、訓練されたニューラルネットワークに入力され、ニューラルネットワークからの画像内の心内膜位置を示す出力データである、Mモード超音波画像の一部を示す; 開示の技術の実施形態に従う、ニューラルネットワークによって識別された物理的フィーチャからリアルタイムに計算された画像データ及び1又は複数の生理学的パラメータを示す超音波撮像システムの例示的なユーザインターフェースを示す; 前壁、腔(chamber)、及び後壁の代表的なMモード厚み測定値を示す。
上述のように、超音波画像データから生理学的パラメータを計算する従来の方法では、超音波画像に1又は複数のマーカーを手動で配置し、マーカーの配置に関連する測定値からパラメータを計算する。図1は、例として、複数回の心周期にわたり拍動しているマウス心臓の左心室のMモード超音波画像10を示す。画像は、画像データ内に見られた物理的フィーチャの輪郭にユーザが手動で配置した複数のマーカー(例えば、プラス「+」記号)を含む。この例では、心周期の収縮期に互いに向かって縮み、心周期の拡張時に互いに離れて膨らむ、一対の対向する心内膜壁にマーカーが配置されている。超音波システム内のプロセッサは、スプライン等のカーブフィッティング法を用いて、手動で配置されたマーカーを結ぶ一対の曲線を計算する。心周期における収縮期及び拡張時での上部曲線と下部曲線との距離は、種々の心臓パラメータを計算することを可能にする。超音波画像10はまた、超音波マシンに接続した他のセンサから得られるEKG及び呼吸情報を含む。
図1に示すアプローチは生理学的パラメータの正確な計算を可能にするものの、あらかじめ取得した画像にユーザがマーカーを手動で配置する必要がある。物理的フィーチャが容易に識別された場合、マーキングは約30秒で完了することができる。しかしながら、物理的フィーチャが画像内で見難い場合、処理が長引くことがある。以下に詳細に説明されるように、開示の技術は、ソフトウェア又はプログラマブルロジックを用いて画像内の物理的フィーチャを自動的に識別する超音波システムに関する。これにより、生理学的パラメータを計算しリアルタイムでオペレータに示すことが可能になる。
図2は、開示の技術を実現することが可能な代表的な超音波システムを示す。超音波画像システム50は、手持ち式、ポータブル、又はカート型撮像システムを備えていてもよい。超音波システム50は、超音波信号を被検体(図示せず)に送り込み、対応するエコー信号を被検体から受信する1又は複数の超音波トランスデューサ54と接続している。いくつかの実施形態では、超音波システム50は、SPO2センサ、EKGセンサ、呼吸センサ等の1又は複数の追加外部センサ56から信号を受信してもよい。超音波撮像システム50は、超音波データが表示される1又は複数のディスプレイを含む。ディスプレイは、オペレータがタッチコマンドを使用してシステムを操作することができるように、タッチスクリーン(touch sensitive display)を備えていてもよい。いくつかの実施形態では、オペレータとやりとりするための追加制御部(トラックボール、ボタン、キー、トラックパッド、音声作動制御部等)が設けられていてもよい。超音波撮像システム50はまた、有線又は無線コンピュータ通信リンクを介して1又は複数の遠隔に位置するシステムに接続するための、通信回路を含む。
超音波撮像システム50は、超音波画像内の物理的フィーチャの位置をマークするために1又は複数のプロセッサ(例えば、CPU、DSP、GPU、AS IC、FPGA、又はそれらの組合せ)を備えた画像処理回路を含み、上記1又は複数のプロセッサは、プロセッサ可読メモリに保存済みのプログラムされた命令を実行するように構成されているか、又は、超音波画像データを分析するように訓練されたニューラルネットワークを実現するために所定の論理演算を実行する。開示の実施形態では、物理的フィーチャは左心室の容積を画定する一対の対向する心室壁(左室前壁/心室中隔及び左室後壁)である。この実施形態では、超音波画像は胸骨傍長軸像(PLAX)で取得したMモード超音波画像である。開示の実施形態は対向する心室壁の位置の識別について記載されているが、開示の技術を、経食道イメージングの場合は血管壁、心臓弁、若しくは食道組織、又は、胃排出イメージングの場合は胃若しくは腸組織を含む、超音波画像データ内の他の組織構造の識別にも拡張可能であることが理解されるであろう。
超音波撮像システム内のプロセッサは、超音波画像データを、所望の物理的フィーチャの位置を識別するように訓練されたニューラルネットワーク70に提供するように構成されている。開示の実施形態では、ニューラルネットワーク70は、超音波画像ピクセルデータのカラム内の心内膜壁と心室内部との上部境界及び下部境界を識別するように訓練される。超音波画像では、境界は一般に、非反射性の血液で満たされた部分(volume)を示す黒色領域に隣接した、比較的明るい反射部分によって特徴付けられる。しかしながら、超音波は、高周波数イメージング(例えば、20+ MHz)で使用すると心室内の血球に反射されてしまい、これにより、境界領域を視覚的に検出することがより困難になる。
ニューラルネットワーク70を訓練するために、図3に示すように複数のテスト画像80がニューラルネットワーク訓練エンジン100に提供される。テスト画像80は、識別されるフィーチャ(例えば、血管壁)が予め特別にマークされた超音波データの画像である。一実施形態では、画像は、各画素が8ビットの白黒輝度値を有する、幅256ピクセル×高さ128ピクセル等の均一サイズである。幅256ピクセル×高さ256ピクセル、又は、幅512ピクセル×高さ64ピクセル等、他の画像サイズを使用してもよい。このデータ表現ではデータの各カラムが超音波データの取得ラインである。データはパルス繰り返し周波数(PRF)で取得される。例えば、PRFが1000Hzであり画像が256ライン又はカラムのデータからなる場合、データセットは256msの時間枠からなる。小動物イメージングの場合これには複数回の心周期が含まれる。臨床イメージングの場合、使用するデータラインの数を増やすか、PRFを減少させて、1サイクル超のデータを含むようにしなければならない。各カラムの画素は、画像内の異なる深さでのサンプルを表す。各カラムの最初の画素は、最も浅い深度になる。一実施形態では、画像データは、1500Hzのパルス繰り返し周波数(PRF)でのMモード走査から得られる。他のPRF値を使用してもよく、例えば、1000、1250、1750、2000Hz以上であってもよい。
機械学習における当業者によって理解されるように、多数(例えば、1,000~14,000以上)の訓練画像がニューラルネットワーク訓練エンジン100に供給され当該エンジンが多数のフィルタ重み及びバイアス値を決定することが可能になり、それにより、重み及びバイアス値を用いた畳み込みニューラルネットワークは、画像データのカラムにおいて心室壁を表すピクセル位置として最も可能性がある位置をリターンする。当業者にとって、訓練画像の総数はデータオーギュメンテーションを用いて増やすことができ、それにより、線形修正及び非線形修正であるもののイメージの初期ベースセットが増え、それにより追加訓練データを作成することも理解可能である。例えば、オーギュメンテーションは、線形及び非線形スケーリング又は輝度又はコントラスト変化を含んでいてもよい。
一実施形態では、ニューラルネットワーク70は、ニューラルネットワークを訓練したものと同じサイズの入力画像(例えば、256×128×1)を受信し、画像ピクセルデータの各カラムにおいて2つの心室壁境界の位置として最も可能性がある位置をマークする出力データセット(256×2)を作成するように構成される。512×128×1又は256×256×1等の他の入力画像サイズを、対応する512×2又は256×2の出力サイズと共に使用してもよい。
一実施形態では、訓練データ画像が収集され、約750の追跡が手動でラベル付けされ、これは左室前壁及び左室後壁が追跡されたことを意味する。ラベル付けされた訓練データの数を増やすことにより、ニューラルネットワーク訓練中の問題の正確な一般化の可能性が高まる。これらのデータはC++及びPythonを用いてフォーマットした。データオーギュメンテーションを行い利用可能な訓練データの量を増加させた。オーギュメンテーションにより、セミユニークデータインスタンスの約20~1の増加が、最初のラベル付けされたデータセットから得られた。
Keras、Tensorflow、及びPythonを使用するモデルフレームワークセットアップを使用した。多数の異なる機械学習モデルを試験した。当業者にとって、多数の異なる機械学習モデルが使用可能であることが理解される。例えばVGG5、VGG16(Visual Geometry Group at Oxford)、及びモバイルネット(Google)等の自由に利用可能なモデルの変形モデルを使用することができる。カスタムモデルを開発することもできる。異なるモデルを使用することのトレードオフは、埋め込みデバイスの推論速度に影響を及ぼす予測精度及びサイズを含み得る。これらのモデルは、この特定の問題における入力サイズ及び出力要件に適合するように修正した。
これらのモデルの各々について、入力データセットは、1500Hzの測定PRFで256ラインのMモードデータからなるものであった。1000、1250、1750、又は2000Hz等の他のPRFを使用してもよい。データを128の深さサンプルにリサンプリングした。64サンプル又は256サンプル等の他の深さを使用してもよい。また、サンプルの数は2の累乗である必要はない。データは8ビット単一チャネルであった。マウスデータの場合、データ長は、心拍数にもよるが約1~2心周期に相当する。理解されるように、ヒトから取得したデータセット等の他の用途では、心拍数はずっと少ない。データは、同じ1~2心周期に適合するように適宜スケーリングされてもよく;異なる入力サイズのデータセットが使用されてもよく、異なるPRFセッティングが使用されてもよい。PRF又は入力サイズを変更すると、画像に表示される時間量が変わる。
記載の実施形態では、超音波画像は、ビデオモニタにすぐに表示できるフォーマットのピクセルデータで構成されている。開示の技術は、プレスキャン変換画像データ又は生の超音波データ等の他のタイプの画像データと併用可能であることが理解されるであろう。したがって、本明細書において使用される場合、画像データという用語は対象領域を表す超音波データを指すものであり、スキャン変換された超音波データだけを指すものではない。
出力データフォーマットは、256の入力ライン(図4参照)の各々についての2つのデータポイント(前壁境界及び後壁境界の位置)である。(出力データサイズ256×2)。さらなる実験では、より多くのラインを含むようにデータ長を拡張してもよい。
ニューラルネットワークモデル自体は、一般に互換性があり、いくつか他よりも優れた利点を提供する。例えば、計算の複雑さ及び出力精度が考えられる。今回の優れた結果は、Mobile Net V1(Google)モデルの変形モデルを使用して見出されている。以下に、入力画像サイズ(256×128)に適合するのに必要とされる、異なる層及び修正を示す上記モデルの例を示す。修正には、異なるモデルの使用、層数の変更、又はDense層若しくは加算畳み込み層等の追加層の追加が含まれ得る。
上に示したモデルは、正確な結果を作成し、比較的小規模で高速計算ができたため(例えば、CPUの256ライン画像当たり約300ms)成功である。このモデルを、Keras及びTensorflowを用いたPythonフレームワークを用い、準備したオーギュメンテーション済みデータを用いて訓練した。約100万超の訓練例に対して可変学習率のAdamオプティマイザを採用した。他のオプティマイザ、例えばSGD(Stochastic Gradient Descent)を用いてもよい。異なるオプティマイザを使用するトレードオフには収束時間及び訓練速度が含まれる。2以上の異なるオプティマイザを併用してもよい。Amazon Web Services(AWS)サーバ及びK80 Nvidia GPUを使用するとニューラルネットワーク70を訓練する時間は約12時間であった。
元のデータセットの約10%の分離セットを用いてモデルの精度を評価した。検査症例について心内膜壁識別の平均精度は96%であることが立証された。
上述のように、ニューラルネットワーク70が訓練されると、ネットワークを超音波撮像システム50に使用して超音波画像データ内の物理的フィーチャをリアルタイムに識別する準備が整う。いくつかの実施形態では、超音波システム50のプロセッサは、訓練されたニューラルネットワーク70を実行し、被検体から得られた画像データをニューラルネットワークに供給するようにプログラムされる。ニューラルネットワークは、識別するよう訓練された物理的フィーチャの位置として最も可能性がある位置をリターンする。図4は、ニューラルネットワーク70によって識別された、心筋の前壁を表す上部追跡142及び後壁を表す下部追跡144を含む例示的なMモード超音波画像140を示す。
訓練されたニューラルネットワークによって追跡142、144が提供されると、プロセッサは追跡を分析して、追跡が1)互いに最も近づいたときの距離及び2)最も離れたときの距離を決定する。これらの距離は、心周期の収縮期及び拡張期での心筋を表す。一実施形態では、画像の各カラム内の距離(ピクセル)を分析することによって(例えば、画像カラムにおける最小及び最大ピクセルギャップを検索することによって)位置を決定してもよい。別の実施形態では、超音波データと同時に得られるEKG信号から心周期の収縮期及び拡張期を決定してもよい。カラム内の各ピクセル間に現れる時間差、組織内の超音波の速度、及び追跡142、144上の識別された位置間のカラム内のサンプル数を知ることにより、被検体内の心壁間の物理的距離がプロセッサによって計算される。
距離が計算されると、追跡からの生理学的パラメータがプロセッサによって計算される。一実施形態では、心周期の様々な時点における心壁間距離を知ることにより、心臓パラメータを下記式及び正常な予測範囲に従い計算することができる:
駆出率EF=(Ivedv-Ivesv)/lvedv×100。(男性=52~72%)(女性=54~74%) ASE
短縮率FS=(Ivedd-lvesd)/lvedd×100。(男性27~45%)(女性=25~43%)
一回拍出量SV=lvedv-lvesv
心拍出量CO=一回拍出量×HR、正常範囲=当業者に理解されるように(4.0~8.0L/分)
心室壁測定値から計算される心室容積を解釈対象としてもよいが、それらは変化し得る。一実施形態では、それらは下記式により近似される。これらは例示的なものであり、検査対象の種類又は他の要因に応じて調整してもよい。
Ivedvは左室拡張終期容積であり、一実施形態では=(7/(2.4+lvedd))*Ivedd^3である
Ivesvは左室収縮終期容積であり、一実施形態では=(7/(2.4+Ivesd))*Ivesd^3である
Iveddは左室拡張終期径(mm)である
Ivesdは左室収縮終期径(mm)である
図6に示すように、プロセッサは、物理的フィーチャ間の距離、物理的フィーチャ同士の角度、フィーチャの領域等、検出した物理的フィーチャに関する測定値を計算し表示するための命令を実行する。図6に示す例では、収縮期及び拡張期での前室壁と後室壁との距離がミリメートル単位で計算され、表示されている。
いくつかの実施形態では、プロセッサはまた、追加の左室評価のために外側2つの壁間の距離を計算するための命令を実行することができる。例えば、全4つの壁間の距離を測定すると、LV心筋重量(LV Mass)を計算することができる。この例では、プロセッサは、全4つの心壁間の距離を同時に計算する。
いくつかの実施形態では、超音波システム50は、超音波画像の取得中に被検体が呼吸しているかどうかを超音波システムに示す呼吸モニタに接続される。呼吸中に得られる画像データは、生理学的パラメータの信頼性を低下させるモーションアーチファクトを含むことがある。したがって、いくつかの実施形態では、プロセッサは呼吸中に取得された超音波撮像データを無視するようにプログラムされる。これは、呼吸が大きなモーションアーチファクトをもたらす動物実験において特に当てはまる。ヒトが被検体の場合は、一般に被検者は画像取得中に呼吸を止めるよう求められる。
いくつかの実施形態では、オペレータは、壁が追跡され生理学的パラメータが計算される領域を表すMモードデータの開始点及び停止点を選択することができる。他の実施形態では、呼吸信号を用いて適切な開始点及び停止点を自動的に決定することができる。この場合、ユーザが介入することなく生理学的パラメータを自動的に計算することができる。これらはリアルタイムに計算することもできる。検出された出力点の分散を見る等、他の方法を用いて適切な開始点及び停止点の選択を決定することもできる。
生理学的パラメータが計算されると、図5に示すようにパラメータの1又は複数がユーザインターフェース画面に表示される。この実施形態では、ディスプレイ150は検査されている組織の画像160を含み得る。このような画像160は、生理学的パラメータを計算するために使用する画像と同じであってもよい。例えば、Mモード画像データが訓練されたニューラルネットワークに提供され、生理学的パラメータが計算される場合、Mモード画像はディスプレイ150に表示されてもよい。いくつかの実施形態では、画像160は、ニューラルネットワークに提供される超音波画像を取得するのに使用される撮像モダリティとは異なる撮像モダリティ(Bモード、ドップラー、パワードップラー等)であってもよい。この実施形態では、超音波システムは撮像モダリティをインターリーブして、ユーザに表示されるBモード画像と、バックグラウンドのニューラルネットワーク用のユーザには表示されないMモード超音波画像とを作成する。
ディスプレイ150は、ニューラルネットワークによって識別された物理的フィーチャを用いて計算される生理学的パラメータ170の1又は複数を含む。上記検討から理解されるように、生理学的パラメータは撮像システムにより作成された超音波画像データからリアルタイムで計算される。物理的フィーチャはリアルタイムでニューラルネットワークにより識別されるので、超音波システムのオペレータは取得した画像に手動でマーキングしたり、放射線科医に送ったりしなくてもよい。その結果、オペレータは生理学的パラメータ情報を用いて、被検体の身体状態についてより迅速に判断することができる。
いくつかの実施形態では、プロセッサは、複数回の心周期にわたり生理学的パラメータを計算するようにプログラムされる。プロセッサによりEKG又は他のパルスセンサからの信号が読み取られて複数回の心周期を決定することができ、超音波画像フレームが訓練されたニューラルネットワークに供給されて組織フィーチャを識別し、識別された組織フィーチャから生理学的パラメータを計算することができる。異なる心周期からの計算値を平均し、オペレータに表示してもよい。他の実施形態では、計算値の分散、最大値、又は最小値等、他の統計的測定値を決定し、表示してもよい。
いくつかの例では、プロセッサは、計算された生理学的パラメータの分散が閾値(例えば、ベースライン値から+1-2%、+/-5%、+/-10%以上、但しこれらに限定されない)を超えた場合、警告(視覚的、聴覚的、触覚的等)を発するようにプログラムされる。このような警告は、患者の状態又はエコーデータの検出に伴う問題(例えば、プローブのミスアライメント又は機能不良等)を示してもよい。ベースライン及び/又は閾値は、被検体について決定された正常範囲(種、年齢、人種、性別、体重、治療歴、服用薬剤等)又は同じ被検体からの過去若しくは最新の測定値に基づいていてもよい。このような情報は、超音波撮像マシンのオペレータによって入力されてもよいし、電子的な患者又は被検体記録(動物ケージのRF idタグ、患者の手首にエンコードされた情報、バーコード、QRコード等)からプロセッサにより読み取られてもよい。いくつかの実施形態では、最新の生理学的パラメータは、電子医療記録に保存された過去のパラメータと比較されるか、又は一緒に表示される。
本明細書に記載の主題及びオペレーションの実施形態は、本明細書に開示の構造及びそれらの構造等価物を含む、デジタル電子回路、又は、コンピュータソフトウェア、ファームウェア、若しくはハードウェア、又は、それらの1若しくは複数の組み合わせで実現することができる。本明細書に記載の主題の実施形態は、データ処理装置による実行又はデータ処理装置の動作制御のためにコンピュータ記憶媒体にエンコードされる1又は複数のコンピュータプログラム、即ちコンピュータプログラム命令の1又は複数のモジュールとして、実現することができる。
コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダム若しくはシリアルアクセスメモリアレイ若しくは装置、又はそれらの1又は複数の組み合わせであってもよいし、それらに内蔵されていてもよい。また、コンピュータ記憶媒体は伝搬信号ではないが、人工的に作成した伝搬信号にエンコードされたコンピュータプログラム命令の送信元又は送信先であってもよい。コンピュータ記憶媒体はまた、1又は複数の別個の物理的コンポーネント又は媒体(例えば、EEPROM、フラッシュメモリ、CD-ROM、磁気ディスク、又は他の記憶装置)であってもよいし、それらに内蔵されていてもよい。本明細書に記載のオペレーションは、1又は複数のコンピュータ可読記憶装置に保存された命令又は他の送信元から受信した命令に基づいてデータ処理装置により実行されるオペレーションとして、実現することができる。
用語「プロセッサ」は、データ処理用の装置、デバイス、及びマシンの全種を包含し、例として、プログラマブルプロセッサ、コンピュータ、チップ上システム、これらのいずれかを複数、又はこれらの組み合わせを含む。装置は、特殊目的論理回路、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)を含んでいてもよい。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル言語又はインタプリタ言語、宣言型言語又は手続き型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラム又はモジュールとして、コンポーネント、サブルーティン、オブジェクト、又はコンピューティング環境での使用に適した他のユニットを任意の形態でデプロイすることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応していなくてもよい。プログラムは、他のプログラム又はデータ(例えば、マークアップ言語文書に保存された1又は複数のスクリプト)を保持するファイルの一部に、上記プログラム専用の単一のファイル又は複数の連携ファイル(例えば、1又は複数のモジュール、サブプログラム、又はコードの一部を保存する複数のファイル)に保存することができる。コンピュータプログラムは、超音波撮像システム内の1つのプロセッサ又は複数のプロセッサで実行されるようにデプロイされてもよい。
コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方を含む。一般にプロセッサは、命令及びデータを読み出し専用メモリ、ランダムアクセスメモリ、又はこれらの両方から受信する。コンピュータプログラム命令及びデータを保存するのに適したデバイスにはすべての形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれ、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、及びフラッシュメモリデバイス;磁気ディスク、例えば、内部ハードディスク又はリムーバブルディスク;光磁気ディスク;並びにCD-ROM及びDVD-ROMディスクを含む。プロセッサ及びメモリは、特殊目的論理回路で補われてもよいし、特殊目的論理回路に組み込まれてもよい。
ユーザとやりとりするために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、LCD(液晶ディスプレイ)、LED(発光ダイオード)又はOLED(有機発光ダイオード)モニタと、ユーザがシステムに入力することができるようにするキーボード及びポインティングデバイス、例えば、マウス又はトラックボールと、を有する超音波撮像システムで実現することができる。いくつかの実施形態では、情報を表示しユーザからの入力を受け取るために、タッチスクリーンを用いてもよい。ユーザとやりとりするために他の種類のデバイスを使用してもよく、例えば、ユーザへのフィードバックは、任意の形態の感覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバックであってもよく、ユーザからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信することができる。
以上より、本発明の特定の実施形態が例示の目的で本明細書に記載されているが、本発明の範囲から逸脱することなく種々の変更を行ってもよいことが理解されるであろう。従って、本発明は、添付の特許請求の範囲によって限定されるものを除いて限定されない。
[付記]
本開示は下記<1>~<18>の態様も含む。
<1>
被検体に超音波信号を供給し、前記被検体から超音波エコー信号を受信するように構成されたトランスデューサ;
受信した超音波エコー信号から超音波画像データを作成し、前記超音波画像データを、前記画像データ内の1又は複数の物理的フィーチャの位置を識別するように構成された訓練されたニューラルネットワークに供給するように構成されたプロセッサ、ここで、前記プロセッサは、前記1又は複数の物理的フィーチャの識別位置から1又は複数の生理学的パラメータを計算するように更に構成されている;及び
前記計算された生理学的パラメータの1又は複数を表示するように構成されたディスプレイ、
を含む、超音波撮像システム。
<2>
前記プロセッサは、前記超音波画像データのフレームが作成されると前記超音波画像データを前記訓練されたニューラルネットワークに供給し、前記超音波画像データと前記生理学的パラメータの1又は複数とを同時に表示するように構成されている、<1>に記載の超音波撮像システム。
<3>
前記プロセッサは、前記1又は複数の生理学的パラメータと、前記ニューラルネットワークによって前記物理的フィーチャの位置が識別された超音波画像データと、を同時に表示するように更に構成されている、<1>に記載の超音波撮像システム。
<4>
前記プロセッサは、前記1又は複数の生理学的パラメータと、前記ニューラルネットワークに提供される前記超音波画像データを取得するのに使用される撮像モダリティとは異なる撮像モダリティで取得される超音波画像データと、を同時に表示するように更に構成されている、<1>に記載の超音波撮像システム。
<5>
前記1又は複数の物理的フィーチャは心室の壁であり、前記超音波画像データはMモード超音波画像データである、<1>に記載の超音波撮像システム。
<6>
前記1又は複数の生理学的パラメータは、駆出率、短縮率、一回拍出量、及び心拍出量の1又は複数を含む、<5>に記載の超音波撮像システム。
<7>
前記プロセッサは、複数回の心周期にわたり前記生理学的パラメータを計算するように構成されている、<1>に記載の超音波撮像システム。
<8>
前記プロセッサは、前記複数回の心周期にわたり計算された生理学的パラメータの平均を表示するように構成されている、<7>に記載の超音波撮像システム。
<9>
前記プロセッサは、前記計算された生理学的パラメータの分散を表示するように構成されている、<7>に記載の超音波撮像システム。
<10>
前記プロセッサは、前記計算された生理学的パラメータの1又は複数を閾値と比較し、前記比較に基づいて警告を発するように構成されている、<1>に記載の超音波撮像システム。
<11>
前記閾値は、患者記録から読み取られる、<10>に記載の超音波撮像システム。
<12>
前記プロセッサは、前記計算された生理学的パラメータの1又は複数を、過去の患者記録からの生理学的パラメータと比較するように構成されている、<1>に記載の超音波撮像システム。
<13>
前記プロセッサは、前記位置が識別された物理的フィーチャに関する測定値を表示するように構成されている、<1>に記載の超音波撮像システム。
<14>
前記プロセッサは、呼吸センサから信号を受信するように構成され、前記プロセッサは、前記被検体が呼吸中であると前記呼吸センサが示したときに超音波撮像データが取得された場合、前記撮像データを無視するように構成されている、<1>に記載の超音波撮像システム。
<15>
受信された超音波エコー信号から超音波画像データを作成し、前記超音波画像データを、前記画像データ内の1又は複数の物理的フィーチャの位置を識別するように構成された訓練されたニューラルネットワークに供給すること;
前記識別された1又は複数の物理的フィーチャの測定値から1又は複数の生理学的パラメータを計算すること;
前記1又は複数の計算された生理学的パラメータをベースライン値と比較すること;及び
前記生理学的パラメータの1又は複数が前記ベースラインからの閾値量を超えて変化する場合、警告を発すること、
を含む、超音波撮像システムにおいてプロセッサを動作させる方法。
<16>
被検体について計算された過去の生理学的パラメータに基づいて、前記閾値及びベースラインの1又は複数を決定することを更に含む、<15>に記載の方法
<17>
被検体の人種、年齢、性別、及び治療歴の少なくとも1種に基づいて前記ベースラインを決定することを更に含む、<15>に記載の方法。
<18>
被検体の人種、年齢、性別、及び治療歴の少なくとも1種に基づいて前記閾値を決定することを更に含む、<16>に記載の方法。

Claims (22)

  1. 第1の撮像モダリティと前記第1の撮像モダリティとは異なる第2の撮像モダリティとを含む超音波信号を被検体に供給し、前記被検体から前記第1の撮像モダリティに対応する超音波エコー信号及び前記第2の撮像モダリティに対応する超音波エコー信号を受信するように構成されたトランスデューサであって、前記第1の撮像モダリティと前記第2の撮像モダリティがインターリーブされている、トランスデューサ
    前記第1の撮像モダリティの前記超音波エコー信号から超音波画像データを作成し、
    前記第2の撮像モダリティの前記超音波エコー信号から超音波画像データを作成し、前記超音波画像データを、前記超音波画像データ内の心内膜境界を識別するように構成された訓練されたニューラルネットワークに供給し、
    前記心内膜境界から1又は複数の生理学的パラメータを計算し、
    呼吸センサから信号を受信し、前記被検体が呼吸中であると前記呼吸センサが示したときに超音波画像データの一部が取得された場合、前記超音波画像データの一部を無視するように構成され
    プロセッサ並びに
    記1又は複数の生理学的パラメータと超音波画像と同時に表示するように構成されたディスプレイ、
    を含む、超音波撮像システムであって、
    前記第2の撮像モダリティの前記超音波エコー信号からの前記超音波画像データは前記ディスプレイに示されない、
    超音波撮像システム
  2. 前記プロセッサは、前記超音波画像のフレームが作成されると前記超音波画像データを前記訓練されたニューラルネットワークに供給するように構成されており
    前記ディスプレイは、前記超音波画像と記1又は複数の生理学的パラメータとを同時に表示するように構成されている、
    請求項1に記載の超音波撮像システム。
  3. 前記ディスプレイは、前記1又は複数の生理学的パラメータと、前記ニューラルネットワークによって前記心内膜境界が識別された超音波画像と、を同時に表示するように更に構成されている、
    請求項1に記載の超音波撮像システム。
  4. 前記第1の撮像モダリティはBモードであり、
    前記第2の撮像モダリティはMモードである、
    請求項1に記載の超音波撮像システム。
  5. 前記1又は複数の生理学的パラメータは、駆出率、短縮率、一回拍出量、及び心拍出量の1又は複数を含む、請求項に記載の超音波撮像システム。
  6. 前記プロセッサは、複数回の心周期にわたり前記1又は複数の生理学的パラメータを演算するように構成されている、
    請求項1に記載の超音波撮像システム。
  7. 前記プロセッサは、前記複数回の心周期にわたる前記1又は複数の生理学的パラメータの少なくとも1の生理学的パラメータの平均を決定するように構成されており、
    前記ディスプレイは、前記少なくとも1の生理学的パラメータの前記平均を表示するように構成されている、
    請求項に記載の超音波撮像システム。
  8. 前記プロセッサは、前記1又は複数の生理学的パラメータの分散を決定するように構成されており
    前記ディスプレイは、前記1又は複数の生理学的パラメータの前記分散を表示するように構成されている、
    請求項に記載の超音波撮像システム。
  9. 前記プロセッサは、前記1又は複数の生理学的パラメータを閾値と比較し、前記比較に基づいて警告を発するように構成されている、
    請求項1に記載の超音波撮像システム。
  10. 前記プロセッサは、患者記録から前記閾値を読み取るように構成されている
    請求項に記載の超音波撮像システム。
  11. 前記プロセッサは、患者記録から別の生理学的パラメータを決定し前記1又は複数の生理学的パラメータを前記別の生理学的パラメータと比較するように構成されている、
    請求項1に記載の超音波撮像システム。
  12. 前記プロセッサは、前記心内膜境界の少なくとも1の解剖学的測定を行うように構成され、
    前記ディスプレイは、前記少なくとも1の解剖学的測定を表示するように構成されている、
    請求項1に記載の超音波撮像システム。
  13. 前記プロセッサは、ユーザが介入することなくリアルタイムに、前記呼吸センサからの前記信号に基づいて、前記超音波画像データにおいて開始点及び停止点を自動的に決定するように構成されている、
    請求項1に記載の超音波撮像システム。
  14. 前記訓練されたニューラルネットワークは、前記ニューラルネットワークの訓練に用いた複数の画像の複数のピクセルデータカラムと等しい複数のピクセルデータカラムを有する画像を受信し、各画像ピクセルデータカラムにおいて心内膜境界の位置として2つの最も可能性がある位置をマーキングする出力データセットを作成するように構成されている、
    請求項1に記載の超音波撮像システム。
  15. 前記プロセッサは、心筋の第1の内壁及び第2の内壁を識別し、画像の各カラムにおけるピクセル間の距離を分析することにより前記心筋の前記第1の内壁と前記第2の内壁との距離を測定するように更に構成されている、
    請求項1に記載の超音波撮像システム。
  16. 前記プロセッサは、少なくともパルスセンサに基づいて前記平均を決定するように構成されている、
    請求項7に記載の超音波撮像システム。
  17. 受信された第1の撮像モダリティの超音波エコー信号から超音波画像データを作成すること;
    受信された、前記第1の撮像モダリティとは異なる第2の撮像モダリティの超音波エコー信号から超音波画像データを作成すること、ここで、前記受信された第1の撮像モダリティの超音波エコー信号と前記受信された第2の撮像モダリティの超音波エコー信号がインターリーブされている;
    前記超音波画像データを、前記超音波画像データ内の心内膜境界を識別するように構成された訓練されたニューラルネットワークに供給すること;
    前記心内膜境界に基づいて被検体の1又は複数の生理学的パラメータを計算すること; 呼吸センサから信号を受信し、前記被検体が呼吸中であると前記呼吸センサが示したときに超音波撮像データの一部が取得された場合、前記超音波撮像データの一部を無視すること;
    前記1又は複数の生理学的パラメータがベースラインからの閾値量を超えて変化する場合、警告を発すること;及び
    前記1又は複数の生理学的パラメータと超音波画像とを同時に表示すること
    を含む、
    超音波撮像システムにおいてプロセッサを動作させる方法であって、
    前記第2の撮像モダリティの前記超音波エコー信号からの前記超音波画像データはディスプレイに示されない、
    方法
  18. 前記被検体について計算された過去の生理学的パラメータに基づいて、前記閾値及びベースラインの1又は複数を決定することを更に含む、
    請求項17記載の方法
  19. 被検体の人種、年齢、性別、及び治療歴の少なくとも1種に基づいて前記ベースライン値及び前記閾値量の少なくとも1つを決定することを更に含む、
    請求項18に記載の方法。
  20. 呼吸センサから信号を受信すること;及び
    ユーザが介入することなくリアルタイムに、前記呼吸センサからの前記信号に基づいて、前記超音波画像データにおいて開始点及び停止点を自動的に決定すること
    を更に含む、
    請求項17に記載の方法。
  21. 心筋の第1の内壁及び第2の内壁を識別すること;及び
    画像の各カラムにおけるピクセル間の距離を分析することにより前記心筋の前記第1の内壁と前記第2の内壁との距離を測定すること
    を更に含む、
    請求項17に記載の方法。
  22. 前記警告は、患者の状態又はエコー信号の検出に伴う問題の少なくとも1つを示す、
    請求項17に記載の方法。


JP2020563442A 2018-05-08 2019-05-03 自動壁追跡を伴う超音波システム Active JP7326340B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023126617A JP7562936B2 (ja) 2018-05-08 2023-08-02 自動壁追跡を伴う超音波システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/974,255 US11553900B2 (en) 2018-05-08 2018-05-08 Ultrasound system with automated wall tracing
US15/974,255 2018-05-08
PCT/US2019/030513 WO2019217222A1 (en) 2018-05-08 2019-05-03 Ultrasound system with automated wall tracing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023126617A Division JP7562936B2 (ja) 2018-05-08 2023-08-02 自動壁追跡を伴う超音波システム

Publications (3)

Publication Number Publication Date
JP2021524767A JP2021524767A (ja) 2021-09-16
JPWO2019217222A5 JPWO2019217222A5 (ja) 2022-05-16
JP7326340B2 true JP7326340B2 (ja) 2023-08-15

Family

ID=68465304

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020563442A Active JP7326340B2 (ja) 2018-05-08 2019-05-03 自動壁追跡を伴う超音波システム
JP2023126617A Active JP7562936B2 (ja) 2018-05-08 2023-08-02 自動壁追跡を伴う超音波システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023126617A Active JP7562936B2 (ja) 2018-05-08 2023-08-02 自動壁追跡を伴う超音波システム

Country Status (4)

Country Link
US (2) US11553900B2 (ja)
EP (1) EP3790469A4 (ja)
JP (2) JP7326340B2 (ja)
WO (1) WO2019217222A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553900B2 (en) 2018-05-08 2023-01-17 Fujifilm Sonosite, Inc. Ultrasound system with automated wall tracing
EP3666195A1 (en) * 2018-12-11 2020-06-17 Koninklijke Philips N.V. Ultrasound control unit
JP7507765B2 (ja) * 2018-12-20 2024-06-28 コーニンクレッカ フィリップス エヌ ヴェ 心臓の機能を監視する方法及びシステム
IT201900007806A1 (it) * 2019-05-31 2020-12-01 Torino Politecnico Metodo computerizzato per classificare una massa di un organo come ciste
JP7277345B2 (ja) * 2019-11-29 2023-05-18 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理プログラム
US11559280B2 (en) * 2020-05-08 2023-01-24 GE Precision Healthcare LLC Ultrasound imaging system and method for determining acoustic contact
CN114376602B (zh) * 2021-11-17 2024-09-17 深圳迈瑞生物医疗电子股份有限公司 超声设备获取生理参数的方法和超声设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265479A (ja) 2002-03-18 2003-09-24 Fukuda Denshi Co Ltd 超音波診断装置
JP2004208858A (ja) 2002-12-27 2004-07-29 Toshiba Corp 超音波診断装置及び超音波画像処理装置
JP2006522664A (ja) 2003-04-11 2006-10-05 ゼネラル・エレクトリック・カンパニイ 知識ベースの診断用イメージングのための方法及びシステム
JP2008531173A (ja) 2005-03-04 2008-08-14 ビジュアルソニックス インコーポレイテッド 超音波データのキャプチャによる呼吸信号の同期化方法
US20110021915A1 (en) 2009-07-21 2011-01-27 Seimens Corporation Detection of Structure in Ultrasound M-Mode Imaging
CN106388832A (zh) 2016-11-24 2017-02-15 西安思源学院 一种基于超声全心脏序列图像的身份识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11128227A (ja) * 1997-10-28 1999-05-18 Hiroaki Ookawai 生体計測装置
US7686763B2 (en) * 1998-09-18 2010-03-30 University Of Washington Use of contrast agents to increase the effectiveness of high intensity focused ultrasound therapy
US20060025689A1 (en) * 2002-06-07 2006-02-02 Vikram Chalana System and method to measure cardiac ejection fraction
JP3982817B2 (ja) * 2003-03-07 2007-09-26 株式会社東芝 画像処理装置および画像処理方法
WO2004086086A2 (en) * 2003-03-27 2004-10-07 Koninklijke Philips Electronics N.V. Guidance of invasive medical devices with combined three dimensional ultrasonic imaging system
US20060074315A1 (en) 2004-10-04 2006-04-06 Jianming Liang Medical diagnostic ultrasound characterization of cardiac motion
US9968266B2 (en) * 2006-12-27 2018-05-15 Cardiac Pacemakers, Inc. Risk stratification based heart failure detection algorithm
US8199994B2 (en) * 2009-03-13 2012-06-12 International Business Machines Corporation Automatic analysis of cardiac M-mode views
US8744196B2 (en) * 2010-11-26 2014-06-03 Hewlett-Packard Development Company, L.P. Automatic recognition of images
US9033887B2 (en) 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
KR101792591B1 (ko) * 2014-09-01 2017-11-01 삼성메디슨 주식회사 의료 영상 장치 및 의료 영상 생성 방법
US10206651B2 (en) 2015-09-30 2019-02-19 General Electric Company Methods and systems for measuring cardiac output
US10441250B2 (en) * 2015-10-08 2019-10-15 Zmk Medical Technologies Inc. 3D multi-parametric ultrasound imaging
EP3471623B1 (en) * 2016-06-20 2023-01-25 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US11553900B2 (en) 2018-05-08 2023-01-17 Fujifilm Sonosite, Inc. Ultrasound system with automated wall tracing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265479A (ja) 2002-03-18 2003-09-24 Fukuda Denshi Co Ltd 超音波診断装置
JP2004208858A (ja) 2002-12-27 2004-07-29 Toshiba Corp 超音波診断装置及び超音波画像処理装置
JP2006522664A (ja) 2003-04-11 2006-10-05 ゼネラル・エレクトリック・カンパニイ 知識ベースの診断用イメージングのための方法及びシステム
JP2008531173A (ja) 2005-03-04 2008-08-14 ビジュアルソニックス インコーポレイテッド 超音波データのキャプチャによる呼吸信号の同期化方法
US20110021915A1 (en) 2009-07-21 2011-01-27 Seimens Corporation Detection of Structure in Ultrasound M-Mode Imaging
CN106388832A (zh) 2016-11-24 2017-02-15 西安思源学院 一种基于超声全心脏序列图像的身份识别方法

Also Published As

Publication number Publication date
US20190343490A1 (en) 2019-11-14
EP3790469A4 (en) 2022-01-19
JP7562936B2 (ja) 2024-10-08
US20230148997A1 (en) 2023-05-18
JP2023145684A (ja) 2023-10-11
WO2019217222A1 (en) 2019-11-14
EP3790469A1 (en) 2021-03-17
JP2021524767A (ja) 2021-09-16
US11553900B2 (en) 2023-01-17

Similar Documents

Publication Publication Date Title
JP7326340B2 (ja) 自動壁追跡を伴う超音波システム
JP6906113B2 (ja) 周期的に動く生体構造を視覚化する装置、システム及び方法
Edvardsen et al. Systolic dysfunction in heart failure with normal ejection fraction: speckle-tracking echocardiography
US10716538B2 (en) Hemodynamic ultrasound medical monitoring device
CN106333700B (zh) 医学成像设备及其操作方法
US10228785B2 (en) Ultrasound diagnosis apparatus and method and computer-readable storage medium
JP2014503329A (ja) 超音波を使用した血流力学および心臓パラメータの自動的かつ自律的決定のためのシステム、方法、および装置
US11564663B2 (en) Ultrasound imaging apparatus and control method thereof
JP2015500083A (ja) 心エコー検査のための自動的な画像化平面選択
EP2989987B1 (en) Ultrasound diagnosis apparatus and method and computer readable storage medium
CN102573647A (zh) 用于监测肝脏治疗的肝脏血流的对比增强超声评估
US20230210491A1 (en) Method for estimating hemodynamic parameters
US12004897B2 (en) Quantitative analysis method for cardiac motion, and ultrasonic system
US20230329674A1 (en) Ultrasound imaging
US11234674B2 (en) Method and ultrasound apparatus for displaying location information of bursa
EP3040031B1 (en) Ultrasound diagnosis apparatus and method of operating the same
JP2010110373A (ja) 動脈硬化リスク表示機能を備えた超音波診断装置
EP3326527A1 (en) Method and arrangement for electromagnetic radiation based non-invasive monitoring of a performance of an anatomic object during an operation or medical intervention
JP7346192B2 (ja) 装置、医用情報処理装置、及びプログラム
US12053327B2 (en) Devices, systems, and methods for guiding repeated ultrasound exams for serial monitoring
US20240057968A1 (en) System and method for measuring total blood volume with ultrasound
WO2024104857A1 (en) Automatic measurement point detection for anatomy measurement in anatomical images
KR20170126722A (ko) 초음파 영상 장치 및 그 동작 방법
WO2023202887A1 (en) Ultrasound imaging

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7326340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150