JP7516283B2 - 呼吸モードに応じた超音波画像取得の最適化 - Google Patents

呼吸モードに応じた超音波画像取得の最適化 Download PDF

Info

Publication number
JP7516283B2
JP7516283B2 JP2021013936A JP2021013936A JP7516283B2 JP 7516283 B2 JP7516283 B2 JP 7516283B2 JP 2021013936 A JP2021013936 A JP 2021013936A JP 2021013936 A JP2021013936 A JP 2021013936A JP 7516283 B2 JP7516283 B2 JP 7516283B2
Authority
JP
Japan
Prior art keywords
ultrasound
images
respiratory
mode
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021013936A
Other languages
English (en)
Other versions
JP2021122739A (ja
Inventor
ジー. キャノン、マイケル
ポイルバート、ニコラス
カデュー、チャールズ
ホン、ハ
ケプセル、キリアン
チャウダリー、アリ
パラジュリ、ンレイプシュ
Original Assignee
キャプション ヘルス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キャプション ヘルス インコーポレイテッド filed Critical キャプション ヘルス インコーポレイテッド
Publication of JP2021122739A publication Critical patent/JP2021122739A/ja
Application granted granted Critical
Publication of JP7516283B2 publication Critical patent/JP7516283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/085Measuring impedance of respiratory organs or lung elasticity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波撮像、特に超音波画像取得に関する。
超音波検査としても周知の超音波撮像は、周波数の高い音波を使用して生物の体内の三次元構造体を視覚化する医療用撮像技術である。超音波画像はリアルタイムで撮像されるので、人体の血管を流れる血液や組織の硬さだけでなく、体内の内臓の動きも超音波画像によって見ることができる。X線撮像とは異なり、超音波撮像は、電離放射線を必要としないため、長時間放射線を被曝して組織や内臓を損傷する恐れなく、長期間使用することができる。
超音波画像を取得するために、超音波検査の間、一般にプローブと呼ばれるトランスデューサが、皮膚または身体の開口の中に直接配置される。該プローブは、該プローブとの間で信号を送受信するように構成された回路を含む画像生成回路に接続される。該画像生成回路は、ビームフォーマを含むことができるが、合成開口画像システムでは、ビームフォーミングおよびスキャン変換機能の必要性を低減する遡及型画像形成を用いることができる。超音波がプローブからゲル媒体を通って体内に伝達されるような、層の薄いゲルが皮膚に貼り付けられる。超音波画像は、身体内構造体から反射した超音波の測定結果に基づいて生成される。検出された超音波反射波の振幅として測定される超音波信号の強度、および該音波の身体通過にかかる時間は、身体の検査対象構造体の画像を計算して出力するために必要な情報を提供する。同様に、「ドップラー」効果を超音波画像で利用して、身体内の構造体の中の流体の流れ(すなわち血液)の速度と方向、および心筋や弁等の動作組織の速度と方向を測定することができる。
他の有望な医療撮像手法と比較して、超音波は検査技術者および患者にとっていくつかの利点がある。第1に最も重要だが、超音波撮像はリアルタイムで画像を提供する。また、超音波撮像で必要な機器は、持ち運び可能で、患者のベッドサイドに持ち込むことができる。さらに、実際的な問題として、超音波撮像装置は、他の医療撮像装置よりも大幅に低コストであり、前述のように、有害な電離放射線を使用しない。しかしながら、超音波画像には依然として解決すべき課題がある。
この点に関して、例えば、超音波撮像は、X線、磁気共鳴撮像(MRI)、コンピュータ断層撮影(CT)等の他のほとんどの医療用画像診断機器とは異なり、患者に取り付けるハンドヘルドトランスデューサの慎重かつ機動的操作に依拠している。良好な結果を得るには、超音波撮像のスキャン処理には、高度な訓練を受け熟練した操作者が必要である。このような操作者は、有用な画像を取得するために、患者のトランスデューサの位置と角度を調整する方法を学ぶ必要がある。これらの操作者はさらに、さまざまな臨床的応用や目標に合わせて患者の位置を決める方法を知る必要がある。しかし、この位置決めは、医療診断での使用に耐えうるだけの視角画像を得るための技能が必要であり、検査中の全体概括的な手法と微細な手法の両方を何度もやり直す必要がある。
位置決めに付随して、超音波走査中の診断対象の呼吸が、多数の臨床的応用にとって、取得した超音波画像の品質において重要な影響を及ぼすことが有り得る。つまり、呼吸は、体内において軟部組織と空気との間にインピーダンスの顕著な不一致が存在する場合、超音波画像に影響を与える可能性がある。周知のように、超音波経路内の空気は、超音波の伝播を妨害し、残響を生成する強力な反射体になる。この効果は、腸ガスが発生する腸等の他の場所でも見られるが、肺に隣接する解剖学的対象部位で最も顕著に見られる。肺の近くの検査対象では、呼吸中の肺の膨張と収縮により空気が超音波ビームの経路に出入りし、呼吸サイクルに伴う干渉を引き起こす可能性がある。この空気の出入りによる別の影響は、肺の膨張と収縮によって心臓が異なる位置に押したり引いたりされて、心臓等の対象器官が呼吸サイクルに関連して移動することである。これにより、検査対象が超音波ビームの経路に出入りし、検査対象を適切に視覚化できなくなる可能性がある。この影響は、呼吸によって空気が直接超音波経路に入らない場合でも問題になる場合がある。
本発明の実施形態は、超音波撮像における従来技術の欠点を解決し、多様な呼吸モードに応じた超音波画像取得の最適化のための新規かつ非自明な方法、システム、及び前記方法を実行するプログラムを含むコンピュータ可読記憶媒体を提供する。
本発明の一実施形態では、異なる呼吸モードに応じた超音波画像取得最適化の方法は、超音波撮像装置により対象器官の1つまたは複数の超音波画像を取得するステップを含む。本方法はさらに、取得された超音波画像群の複数の属性を、属性のデータストア内にある関連付けデータと比較するステップを含む。該関連付けデータは、対象器官の異なる複数の画像を含む以前に取得された超音波画像群を異なる複数の呼吸モードと関連付けている。最後に、前記方法は、前記比較するステップの結果に基づき、前記取得された超音波画像から明かになる呼吸モードを決定し、超音波撮像デバイスで決定された前記呼吸モードを、例えば、撮像デバイスのディスプレイ内に視覚的に表示することによって、または音声手段によって、または触覚的手段によって提示するステップを含む。重要なことは、前記決定は取得された前記超音波画像群の比較された属性に基づいているが、呼吸に関するデータを提供する外部の生理学的信号入力には基づいていないことである。
実施形態の一態様では、前記関連付けのデータストアは、異なる複数の呼吸モードを、対応する対象器官の異なる複数の画像を含む以前に取得された超音波画像群に関連付けるように訓練された深層ニューラルネットワークである。このため、前記ニューラルネットワークは、取得された前記超音波画像を与えられると、取得された前記超音波画像と特定の一つの呼吸モードとが相関する確率を返答することができる。前記実施形態の別の態様では、前記関連付けのデータストアは、個々の異なる画像を対応する呼吸モードに関連付けるテーブルである。したがって、前記データストア内の最も高いパーセンテージで一致する画像に割り当てられた一つの特定の呼吸モードを生成するために、ピクセル単位の画像比較を実行することができる。
前記実施形態の別の態様では、前記方法は、前記取得した超音波画像の品質を決定するステップと、前記対象器官の超音波画像群の品質の改善と相互に関連付けられた、前記決定された呼吸モードにおける変化を識別するステップと、さらに、前記超音波画像取得デバイスの前記ディスプレイに前記決定された呼吸モードの変化を提示するステップと、を含む。実施形態のさらに別の態様では、前記方法は、さらに、前記取得された超音波画像から予想される異常または疾患等の生理学的状態を決定するステップと、前記予想される異常または疾患を診断するために、前記対象器官の超音波画像群の品質の改善と相関する前記決定された呼吸モードの変化を識別するステップと、前記決定された呼吸モードの変化を前記超音波画像取得デバイスに表示するステップと、を含む。これに関し、前記変化は、前記デバイスのディスプレイに視覚的に、または前記デバイスのスピーカーから聴覚を通して、または前記デバイスのプローブを通して触覚的手段によって提示することができる。
本発明の別の実施形態では、データ処理システムが、超音波画像取得の異なる呼吸モードに応じた最適化のために構成される。本システムは、メモリと少なくとも1つのプロセッサを有するコンピュータ、該コンピュータに接続されたディスプレイ、前記コンピュータと前記ディスプレイの両方に接続された画像生成回路、および該画像生成回路に接続されたトランスデューサを有する超音波画像プローブを含む。前記システムは、さらに、前記コンピュータの前記メモリ内で実行される超音波画像取得最適化モジュールを含む。このモジュールは、前記コンピュータの前記プロセッサによって実行される時に有効にされるプログラムコードを含み、超音波撮像装置によって対象器官の1つまたは複数の超音波画像を取得し、前記対象器官の様々な超音波画像からなる以前に取得した超音波画像群の複数の属性を異なる呼吸モードと関連付けるデータストア内のデータと比較し、この比較に基づいて前記取得された超音波画像から明かになる呼吸モードを決定し、前記決定された呼吸モードを前記超音波撮像装置に提示する。
本発明の他の追加の態様は、一部は以下の記載で説明され、一部は前記説明から明白であろう。または本発明の実施によって明かになる場合もある。本発明の態様は、添付の特許請求の範囲で特定された要素および組み合わせによって実現され構成できる。前述の概略的な説明および以下の詳細な説明は両方とも、例示的かつ説明的なものにすぎず、特許請求の範囲に記載の本発明を限定するものではないことは明らかであろう。
添付の図面は、本明細書に組み込まれて本明細書の構成部分となるが、本発明の実施形態を図説し、発明の詳細な説明と共に本発明の原理を説明するための役にたつ。本明細書に示される実施形態は現時点において好ましい形態ではあるが、以下の図で示される精細な構成および装置に本発明を限定するものではないことは明かである。
異なる呼吸モード毎に超音波画像取得を最適化する処理の図解である。 異なる呼吸モード毎に超音波画像取得を最適化するように構成されたデータ処理システムの概略図である。 異なる呼吸モード毎に超音波画像取得を最適化する処理を説明するフローチャートである。
本発明の実施形態は、異なる呼吸モードに応じた超音波画像取得の最適化のために提供される。本発明の実施形態によれば、関連付けのデータストア内で、異なる器官毎の異なる画像が、吸気および呼気を含む異なる呼吸モードに関連付けられる。この点で、前記関連付けのデータストアは、さまざまな画像をさまざまな呼吸モードに関連付ける画像テーブル、またはさまざまな画像の各々を対応する複数のさまざまな呼吸モードに関連付けるようにトレーニングされたディープニューラルネットワークとすることができる。
次に、超音波撮像装置は、対象器官に関する超音波画像群を取得し、取得した画像群に対する呼吸モードを決定するために、さまざまな画像の特徴を前記関連付けデータストアと照合する。次に、前記超音波撮像装置の操作者による前記対象器官の適切な画像の取得を支援するために、前記呼吸モードが前記超音波撮像装置に提示される。オプションであるが、前記取得した画像の品質は、以前に前記対象器官の画像の品質の改善と関連付けられた呼吸モードの変化に合わせて決定される。最終的に、前記呼吸モードの変化は、前記超音波撮像装置のディスプレイにおける視覚的合図、前記超音波撮像装置から出力される聴覚的合図、または前記超音波撮像装置から前記超音波撮像装置の前記プローブに伝達される触覚的合図等のガイダンス信号として提示される。この目的は、前記超音波撮像装置の操作者が前記対象器官の適切な画像群を取得することを支援するためである。
更に説明すると、図1は、異なる呼吸モードに応じた超音波画像取得の最適化のための処理を示す。図1に示すように、超音波操作者110は、超音波撮像システム120を操作して、患者100の検査対象器官の超音波画像群170を取得する。超音波撮像システム120のディスプレイ140は、超音波操作者110へのガイダンスフィードバックを表示する。特に、品質計150がディスプレイ140内に置かれ、既知のビュー(特定視点からの画像)と比較して、取得された超音波画像群170の、対象器官について取得されることが求められる品質のスライディングスケールを示す。前記既知のビューには、例えば、心臓の撮像に関しては、傍胸骨長軸ビュー、傍胸骨短軸ビュー、心尖部二腔、三腔、四腔、五腔断層像ビュー、または肋骨下ビュー等がある。取得された超音波画像群170が有する対応する品質値が、指定されたビューの品質閾値を満たすかまたは超えると判定される限りにおいて、合格アイコン165が品質計150に対応して表示される。そして、取得された超音波画像群170が、品質を満足する最も新しく取得されたビデオクリップとしてウィンドウ内に表示される。
超音波画像群170の取得中に、取得された超音波画像群170の複数の属性が、データストア180内に置かれた以前の画像群の複数の属性と比較され、呼吸サイクル内の種々の呼吸モード160に関連付けられる。これに関し、種々の呼吸モード160は、最大呼気位かつ吸気抑止160Aから、最大吸気位かつ呼気抑止160Fまでの範囲があり、かつ、最大呼気位160B、部分呼気位かつ呼吸抑止160C、及び、部分吸気位かつ呼吸抑止160D、および最大吸気位160Eがある。オプションで、データストア180は、画像群およびそれと関連づけられた複数の呼吸モードのテーブルであり、取得された超音波画像群170を種々の呼吸モード160の中の特定の1つに関連付けられた前記テーブル内の一つの画像に対してコンテンツベースのマッチングを行うことができる十分な量のピクセルについて、取得された超音波画像群170と前記複数の画像とのピクセル毎の比較を行い、共通性を識別する。あるいは、データストア180は、種々の呼吸モード160内の異なる複数の呼吸モードに対応するアノテーションが付加された異なる画像群で訓練された畳み込みニューラルネットワークである。しかし、どちらの環境でも前記比較に基づいて、取得された超音波画像群170をデータストア180へ入力することに応答して、種々の呼吸モード160の中から現在の呼吸モード130が認識される。
図1に関連して説明した処理は、データ処理システム内で実行することができる。さらに説明すると、図2は、超音波画像取得の種々の呼吸モードに応じた最適化のために構成されたデータ処理システムを概略的に示している。本データ処理システムは、少なくとも1つのプロセッサ、メモリ、およびディスプレイを備えたコンピュータを有するホストコンピューティング装置210を含む。ホストコンピューティング装置210はまた、複数の画像属性のデータストア250を含む。ホストコンピューティング装置210はさらに、超音波撮像プローブ230を哺乳動物の被検体内部の目標となる対象器官に近接して配置することによって取得された超音波画像を、画像生成回路220の動作によってメモリ内に記憶するように構成された超音波撮像システム120に接続されている。
重要なことは、ホストコンピューティング装置210は、ニューラルネットワーク及び該ニューラルネットワークへのプログラムインターフェースを格納するガイダンスデータストア260にローカルにまたはリモートで(「クラウド」上に)通信可能に結合されていることである。前記ニューラルネットワークは、対象器官を1つまたは複数の特徴、たとえば心臓の駆出率や大動脈弁狭窄症の有無等で特徴づけるように訓練されている。このために、超音波撮像システム120によって取得された対象器官の特定のビューのビデオクリップ画像群270が前記ニューラルネットワークに提供され、前記ニューラルネットワークは次に前記プログラムインターフェースにアクセスし、それによって、前記ニューラルネットワークは前記ビデオクリップ画像群に関する特徴をその特徴の信頼指標とともに出力することができる。次に、超音波撮像システム120は、ホストコンピューティング装置210のディスプレイ上に、ビデオクリップ画像群270だけでなく、その特徴、およびオプションで、信頼性指標も描画することができる。
本発明の一つの実施形態によれば、呼吸モード最適化モジュール300は、超音波撮像システム120と合わせて提供される。モジュール300は、ホストコンピューティング装置210で実行されるときに有効化され、ビデオクリップ画像群270を、それぞれ異なる呼吸モードと関連づけされている複数の画像属性のデータストア250と比較するコンピュータ・プログラム命令を含む。画像属性のデータストア250は、対象器官の画像群で訓練され、異なる呼吸モードでアノテーションが付加されたニューラルネットワークとすることができる。ビデオクリップ画像群270を特定の呼吸モードに対応付けさせると、前記プログラム命令は、超音波撮像システム120の前記ディスプレイに前記呼吸モードを表示する。オプションで、前記プログラム命令は、ガイダンスデータストア260に問い合わせて、ビデオクリップ画像群270の品質を決定し、品質の改善に関連づけられた特定の呼吸モードを読み出す。別のオプションでは、前記プログラム命令は、ガイダンスデータストア260に問い合わせて、ビデオクリップ画像群270において明らかにわかる特定の生理学的状態を識別し、前記生理学的状態の撮像の改善に関連づけられた特定の呼吸モードを読み出す。どちらのオプションでも、前記特定の呼吸モードは、視覚的、聴覚的、又は触覚的手段(撮像プローブ230での触覚フィードバック)のいずれかによって超音波撮像システム120内で提示される。
呼吸モード最適化モジュール300の動作についてさらに別の説明をする。図3は、異なる呼吸モードに応じた超音波画像取得最適化のための処理を示すフローチャートである。最初のブロック310で、対象器官の画像クリップが取得される。ブロック320において、前記画像クリップは、前記対象器官の特定の超音波画像群を特定の呼吸モードと関連づけるように訓練されたニューラルネットワークに入力される。この結果、ブロック360において、前記ニューラルネットワークは、前記対象器官に関して取得された前記画像クリップと関連性がある確率が最も高い呼吸モードを返答する。同時に、ブロック330において、前記画像クリップは、前記対象器官の特定の超音波画像群を特定の画質と関連付けるように訓練されたニューラルネットワークに入力され、ブロック350において、前記ニューラルネットワークは、前記対象器官に関して取得された前記画像クリップと関連性がある確率が最も高い特定の品質を返答する。最後に、ブロック340において、前記画像クリップは、前記対象器官の特定の超音波画像群を特定の生理学的状態と関連づけるように訓練されたニューラルネットワークに入力され、ブロック370において、前記ニューラルネットワークは、前記対象器官に関して取得した前記画像クリップと関連性がある確率が最も高い特定の生理学的状態を返答する。
次に、決定ブロック380で、前記特定の画質、前記特定の生理学的状態、またはその両方に照らして、呼吸モード変更が正当であるか否かが判定される。呼吸モードの変更が正当であると判定されない場合、ブロック390において、前記ニューラルネットワークによって返答された前記呼吸モードが、前記操作者のために前記超音波撮像システムにおいて提示される。しかし、決定ブロック380において、呼吸モードの変更が、前記特定の品質、および前記特定の生理学的状態のいずれかに基づいて正当であると決定された場合、ブロック400において、前記特定の品質および前記特定の生理学的状態のいずれかまたは両方に関連付けられた呼吸モードの変更が、前記超音波画像システムにおいて提示される。
本発明は、システム、方法、コンピュータ可読記憶媒体、またはそれらの任意の組み合わせにおいて実現することができる。前記コンピュータ可読記憶媒体は、一つ又は複数のプロセッサに本発明の複数の態様を実行させるためのコンピュータ可読プログラム命令を記憶した一つまたは複数のコンピュータ可読記憶媒体であり、命令実行デバイスによって使用されるプログラム命令を保持および格納することができる有形のデバイスとすることができる。前記コンピュータ可読記憶媒体は、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせにすることができるが、これらは例でありこれらに限定されない。
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、各コンピューティング/処理デバイスに、あるいはネットワークを介して外部コンピュータや外部記憶装置にダウンロードすることができる。前記コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、全体をユーザのコンピュータで、或いは一部をユーザのコンピュータかつ一部をリモートコンピュータで、又は完全にリモートコンピュータまたはサーバーで実行することができる。本発明の複数の態様は、本発明の複数の実施形態による方法、装置(システム)、およびコンピュータ・プログラムのフローチャート図および/またはブロック図を参照して本明細書で説明されている。前記フローチャート図および/またはブロック図内の各ブロック、及び前記フローチャート図および/またはブロック図内の複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることは明らかである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供され、一台のマシンを生成することができる。該マシンでは、前記命令が、コンピュータまたは、プログラム可能なデータ処理装置のプロセッサを介して実行され、前記フローチャートおよび/またはブロック図の一つ又は複数のブロックによって規定された機能/動作を実装するための手段が生成される。これらのコンピュータ可読プログラム命令は、また、コンピュータ、プログラム可能なデータ処理装置、および/または他のデバイスが特定の方法で機能するように命令することができるコンピュータ可読記憶媒体に格納されて、内部に命令を格納する前記コンピュータ可読記憶媒体が、前記フローチャート及び/又はブロック図の一つまたは複数のブロックで指定される機能/動作の態様を実装する命令を含む製品を含むようにすることができる。
前記コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスにロードされ、一連の実行可能ステップを、コンピュータ、他のプログラム可能な装置、又は他のデバイス上で実行させることができ、その結果、前記コンピュータ、他のプログラム可能な装置、または他のデバイスで実行される命令が、前記フローチャートおよび/または前記ブロック図の一つまたは複数のブロックで指定された機能/動作を実行するようにすることができる。
前記複数の図の中のフローチャートおよびブロック図には、本発明の様々な実施形態によるシステム、方法、及びコンピュータ・プログラムで実装可能なアーキテクチャ、機能、及び動作が図示されている。これに関して、前記フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための一つまたは複数の実行可能な命令を含む、モジュール、セグメント、または命令の一部を表すことができる。一部の代替の実装では、前記ブロックに記載された機能が、前記の図に記載されている順序とは異なる順序で発生する場合がある。たとえば、連続して図示された2つのブロックは、実際には、実質的に同時に実行される場合がある。または、前記複数のブロックは、そのブロックに含まれる機能に応じて、逆の順序で実行される場合がある。また、前記ブロック図および/またはフローチャート図の各ブロック、および前記ブロック図および/またはフローチャート図の複数のブロックの組み合わせは、指定された機能または動作を実行する特定目的ハードウェア又は複数の特定目的ハードウェアとコンピュータ命令とをベースにして構築されたシステムによって実装することができる。
最後に、本明細書で使用される用語は、特定の実施形態を説明することを目的とし、本発明を限定することを意図するものではない。本明細書で使用される場合、単数形は、前後の文脈でそうでないことが明示されない限り、複数形も含むように意図されている。「含む」および/または「含んでいる」という用語は、本明細書で使用される場合、記載された特徴、数で表現されるもの、ステップ、操作、要素、および/または部品の存在を指定するが、一つ又は複数の他の機能、数で表現されるもの、ステップ、操作、要素、部品、および/またはそれらの集まりの存在または追加を排除するものではない。
以下の特許請求の範囲におけるすべての手段またはステッププラスファンクションの対応する構造体、材料、作用、および等価物は、他の請求範囲の構成要素と組み合わせて明記された特許請求範囲の前記機能を実行するための任意の構造体、材料、または作用を含むように意図されている。本発明の記載は、例示および説明の目的で開示されているが、発明のすべてを網羅的に含むこと、または本発明の開示された形態に限定することを意図したものではない。本発明の特許請求範囲および本発明の趣旨から逸脱することなく、多くの変形および変更を当業者が想到できることは自明であろう。本発明の実施形態は、本発明の原理および実際の応用を最もよく説明し、当業者が、本発明を理解して、目的とする特定の用途に適したさまざまな変形を加えたさまざまな実施形態を実行できるようにするために選択され、説明されている。
本出願の発明を、本発明の実施形態を参照することにより詳細に説明したが、以下に示す特許請求の範囲で指定した本発明の範囲から逸脱することなく、変形および変更が可能であることは明らかであろう。

Claims (18)

  1. 異なる複数の呼吸モードに応じた超音波画像取得最適化の方法であって、該方法は、
    超音波撮像装置により対象器官の1つまたは複数の超音波画像を取得するステップと、
    一つの取得した前記超音波画像の複数の属性を、前記対象器官の異なる複数の画像を含む以前に取得された超音波画像群を異なる複数の呼吸モードと関連付ける複数の関連付けを含むデータストア内にある関連付けデータと比較するステップと、
    前記取得した超音波画像の一つから明かになる呼吸モードを、前記比較するステップの結果から決定するステップと、
    前記決定した呼吸モードを前記超音波撮像装置において提示するステップと、を含むこと
    を特徴とする方法。
  2. 前記関連付けのデータストアは、前記複数の呼吸モードの異なる一つ一つを、前記対象器官の複数の前記異なる画像を含む以前に取得された超音波画像群の中の対応する一つ一つに関連付けるように訓練された深層ニューラルネットワークであること
    を特徴とする請求項1に記載の方法。
  3. 前記関連付けのデータストアは、前記異なる複数の画像の一つ一つを、複数の呼吸モードの中の対応する一つ一つに関連付けるテーブルであること
    を特徴とする請求項1に記載の方法。
  4. さらに、
    前記取得した超音波画像の品質を決定するステップと、
    前記対象器官の超音波画像群の品質の改善と相互に関連付けられた、前記決定した呼吸モードの変化を識別するステップと、
    前記決定した呼吸モードの前記変化を前記超音波撮像装置において提示するステップと、を含むこと
    を特徴とする請求項1に記載の方法。
  5. さらに、
    前記取得された超音波画像から予想される生理学的状態を前記深層ニューラルネットワークが決定するステップと、
    前記生理学的状態を診断するために、前記対象器官の超音波画像群の品質の改善と関連付けられた前記決定された呼吸モードの変化を識別するステップと、
    前記決定された呼吸モードの前記変化を前記超音波撮像装置において提示するステップと、を含むこと
    を特徴とする請求項に記載の方法。
  6. 前記呼吸モードの決定は、前記取得された超音波画像の比較された属性に基づいており、呼吸に関するデータを提供する前記超音波撮像装置の外部からの生理学的信号入力には基づいていないこと
    を特徴とする請求項1に記載の方法。
  7. 異なる複数の呼吸モードに応じた超音波画像取得最適化のために構成されたデータ処理システムであって、該データ処理システムは、
    メモリと少なくとも1つのプロセッサを有するコンピュータと、
    該コンピュータに接続されたディスプレイと、
    前記コンピュータと前記ディスプレイに接続された画像生成回路と、
    該画像生成回路に接続されたトランスデューサを有する超音波画像プローブと、
    前記コンピュータの前記メモリ内で実行される超音波画像取得最適化モジュールと、を
    含み、
    該超音波画像取得最適化モジュールは前記コンピュータの前記プロセッサによって実行される時に有効にされるプログラムコードを含み、
    該プログラムコードは、
    超音波撮像装置により対象器官の1つの超音波画像を取得するステップと、
    取得した前記超音波画像の複数の属性を、前記対象器官の異なる複数の画像を含む以前に取得された超音波画像群の複数の属性を、異なる複数の呼吸モードと関連付ける複数の関連付けを含むデータストア内にある関連付けデータと比較するステップと、
    前記比較するステップの結果から、前記取得した超音波画像から明らかになる呼吸モードを決定し、
    決定した前記呼吸モードを前記超音波撮像装置において提示するステップと、を実行すること
    を特徴とするシステム
  8. 前記関連付けのデータストアは、前記複数の呼吸モードの異なる一つ一つを、前記対象器官の前記異なる複数の画像を含む以前に取得された超音波画像群の中の対応する一つ一つに関連付けるように訓練された深層ニューラルネットワークであること
    を特徴とする請求項7に記載のシステム。
  9. 前記関連付けのデータストアは、前記異なる複数の画像の一つ一つを、前記複数の呼吸モードの中の対応する一つ一つに関連付けるテーブルであること
    を特徴とする請求項7に記載のシステム。
  10. 前記プログラムコードが、さらに、
    前記取得した超音波画像の品質を決定するステップと、
    前記対象器官の超音波画像群の品質の改善と相互に関連付けられた、前記決定した呼吸モードの変化を識別するステップと、
    前記決定した呼吸モードの前記変化を前記超音波撮像装置において提示するステップと、を実行すること
    を特徴とする請求項7に記載のシステム。
  11. さらに、
    前記取得された超音波画像から予想される疾患を決定するステップと、
    前記疾患を診断するために、前記対象器官の超音波画像群の品質の改善と関連付けられた前記決定された呼吸モードの変化を識別するステップと、
    前記決定された呼吸モードの前記変化を前記超音波撮像装置において提示するステップと、を実行すること
    を特徴とする請求項7に記載のシステム。
  12. 前記呼吸モードの決定は、前記取得された超音波画像群の比較された属性に基づいており、呼吸に関するデータを提供する前記超音波撮像装置の外部からの生理学的信号入力には基づいていないこと
    を特徴とする請求項7に記載のシステム。
  13. 異なる複数の呼吸モードに応じた超音波画像取得最適化のためのプログラム命令を実装したコンピュータ可読記憶媒体であって、前記プログラム命令は一つ又は複数のプロセッサを有する装置によって実行されるとき該装置に方法を実行させることができ、該方法は、
    超音波撮像装置により対象器官の1つの超音波画像を取得するステップと、
    1つの取得した前記超音波画像の複数の属性を、前記対象器官の異なる複数の画像を含
    む以前に取得された超音波画像群を異なる複数の呼吸モードと関連付ける複数の関連付けを含むデータストア内にある関連付けデータと比較するステップと、
    前記比較するステップの結果から、前記取得した超音波画像から明かになる呼吸モードを決定するステップと、
    前記決定した呼吸モードを前記超音波撮像装置において提示するステップと、を含むこと
    を特徴とするコンピュータ可読記憶媒体。
  14. 前記関連付けのデータストアは、前記複数の呼吸モードの異なる一つ一つを、前記対象器官の前記異なる複数の画像を含む以前に取得された超音波画像群の中の対応する一つ一つに関連付けるように訓練された深層ニューラルネットワークであること
    を特徴とする請求項13に記載のコンピュータ可読記憶媒体。
  15. 前記関連付けのデータストアは、前記異なる複数の画像の一つ一つを、前記複数の呼吸モードの中の対応する一つ一つに関連付けるテーブルであること
    を特徴とする請求項13に記載のコンピュータ可読記憶媒体。
  16. 前記方法は、さらに、
    前記取得した超音波画像の品質を決定するステップと、
    前記対象器官の超音波画像群の品質の改善と相互に関連付けられた、前記決定した呼吸モードの変化を識別するステップと、
    前記決定した呼吸モードの前記変化を前記超音波撮像装置において提示するステップと、を含むこと
    を特徴とする請求項13に記載のコンピュータ可読記憶媒体。
  17. 前記方法は、さらに、
    前記取得した超音波画像から予想される疾病を決定するステップと、
    前記予想された疾病を診断するために、前記対象器官の超音波画像群の品質の改善と関連付けられた前記決定された呼吸モードの変化を識別するステップと、
    前記決定された呼吸モードの前記変化を前記超音波撮像装置において提示するステップと、を含むこと
    を特徴とする請求項13に記載のコンピュータ可読記憶媒体。
  18. 前記呼吸モードの決定は、前記取得された超音波画像群の比較された属性に基づいており、呼吸に関するデータを提供する前記超音波撮像装置の外部からの生理学的信号入力には基づいていないこと
    を特徴とする請求項13に記載のコンピュータ可読記憶媒体。
JP2021013936A 2020-01-31 2021-01-29 呼吸モードに応じた超音波画像取得の最適化 Active JP7516283B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/778,605 2020-01-31
US16/778,605 US11497475B2 (en) 2020-01-31 2020-01-31 Ultrasound image acquisition optimization according to different respiration modes

Publications (2)

Publication Number Publication Date
JP2021122739A JP2021122739A (ja) 2021-08-30
JP7516283B2 true JP7516283B2 (ja) 2024-07-16

Family

ID=74865267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021013936A Active JP7516283B2 (ja) 2020-01-31 2021-01-29 呼吸モードに応じた超音波画像取得の最適化

Country Status (6)

Country Link
US (1) US11497475B2 (ja)
JP (1) JP7516283B2 (ja)
CN (1) CN113274050A (ja)
CA (1) CA3107473A1 (ja)
DE (1) DE102021102158A1 (ja)
GB (1) GB2597816B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11497475B2 (en) * 2020-01-31 2022-11-15 Caption Health, Inc. Ultrasound image acquisition optimization according to different respiration modes
CN117653079A (zh) * 2023-03-20 2024-03-08 武汉星巡智能科技有限公司 结合呼吸监测的婴幼儿危险睡姿识别方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061961A (ja) 2001-07-31 2003-03-04 Ge Medical Systems Global Technology Co Llc 参照画像を同期させた超音波画像取得法
US20080144908A1 (en) 2006-12-13 2008-06-19 West Jay B Temporal smoothing of a deformation model
US20140316247A1 (en) 2013-04-22 2014-10-23 Samsung Electronics Co., Ltd. Method, apparatus, and system for tracking deformation of organ during respiration cycle
WO2018093865A1 (en) 2016-11-17 2018-05-24 Terarecon, Inc. Medical image identification and interpretation
JP2018175688A (ja) 2017-04-20 2018-11-15 株式会社日立製作所 体内組織位置測定装置および放射線治療装置、ならびに体内組織位置測定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980679B2 (en) * 1998-10-23 2005-12-27 Varian Medical System Technologies, Inc. Method and system for monitoring breathing activity of a subject
US6980846B2 (en) * 2001-03-30 2005-12-27 General Electric Company Robust coronary MR angiography without respiratory navigation
US7769430B2 (en) * 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
US7778691B2 (en) * 2003-06-13 2010-08-17 Wisconsin Alumni Research Foundation Apparatus and method using synchronized breathing to treat tissue subject to respiratory motion
US7421101B2 (en) * 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
US20050215904A1 (en) 2004-03-23 2005-09-29 Siemens Medical Solutions Usa, Inc. Ultrasound breathing waveform detection system and method
WO2006062335A1 (en) * 2004-12-09 2006-06-15 Korea University Industry and Academy Cooperation Foundation Radiation treatment system having a function of compensating displacement according to breathing and method for controlling the system
RU2015134348A (ru) 2013-01-17 2017-02-20 Конинклейке Филипс Н.В. Устранение эффектов движения в медицинских изображениях, вызываемых физиологической функцией
CN104574329B (zh) * 2013-10-09 2018-03-09 深圳迈瑞生物医疗电子股份有限公司 超声融合成像方法、超声融合成像导航系统
US10921395B2 (en) 2018-01-12 2021-02-16 GE Precision Healthcare LLC Image-guided biopsy techniques
US11497475B2 (en) * 2020-01-31 2022-11-15 Caption Health, Inc. Ultrasound image acquisition optimization according to different respiration modes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061961A (ja) 2001-07-31 2003-03-04 Ge Medical Systems Global Technology Co Llc 参照画像を同期させた超音波画像取得法
US20080144908A1 (en) 2006-12-13 2008-06-19 West Jay B Temporal smoothing of a deformation model
US20140316247A1 (en) 2013-04-22 2014-10-23 Samsung Electronics Co., Ltd. Method, apparatus, and system for tracking deformation of organ during respiration cycle
WO2018093865A1 (en) 2016-11-17 2018-05-24 Terarecon, Inc. Medical image identification and interpretation
JP2018175688A (ja) 2017-04-20 2018-11-15 株式会社日立製作所 体内組織位置測定装置および放射線治療装置、ならびに体内組織位置測定方法

Also Published As

Publication number Publication date
CN113274050A (zh) 2021-08-20
JP2021122739A (ja) 2021-08-30
GB2597816B (en) 2024-05-01
CA3107473A1 (en) 2021-07-31
DE102021102158A1 (de) 2021-08-05
GB202101234D0 (en) 2021-03-17
US20210236094A1 (en) 2021-08-05
GB2597816A (en) 2022-02-09
US11497475B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
JP5238693B2 (ja) 電磁又は音響カテーテルの較正及びトラッキングを向上させる装置
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
JP5208415B2 (ja) 超音波画像を生成する方法、システムおよびコンピュータ・プログラム
US10499881B2 (en) Ultrasound diagnosis apparatus and method of displaying ultrasound image
CN108230300A (zh) 用于处理超声图像的装置和方法
US9949723B2 (en) Image processing apparatus, medical image apparatus and image fusion method for the medical image
US20200352542A1 (en) Guided-transcranial ultrasound imaging using neural networks and associated devices, systems, and methods
JP2017527401A (ja) 超音波撮像装置
JP7516283B2 (ja) 呼吸モードに応じた超音波画像取得の最適化
KR102510760B1 (ko) 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
JP7497424B2 (ja) 超音波ガイダンスダイナミックモード切り替え
KR102278893B1 (ko) 의료영상처리장치 및 이를 이용한 의료영상정합방법
CN112447276A (zh) 用于提示数据捐赠以用于人工智能工具开发的方法和系统
JP2012075794A (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
GB2583399A (en) Prescriptive guidance for ultrasound diagnostics
US20240225589A1 (en) Device for acquiring a sequence of ultrasonograms and associated method
CN111354453B (zh) 医疗成像系统
GB2589684A (en) Mid-procedure view change for ultrasound diagnostics
CN116437866A (zh) 用于基于计算的机器人臂位置生成图像的方法、装置和系统
CN110914916B (zh) 用于监测evar后患者的成像方法、控制器和成像系统
US11872080B1 (en) Multi-modal heart diagnostic system and method
Schneider Ultrasound elastography for intra-operative use and renal tissue imaging
US12053327B2 (en) Devices, systems, and methods for guiding repeated ultrasound exams for serial monitoring
JP2022171345A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2024512008A (ja) 超音波イメージングに使用される方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20230206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230206

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230721

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230724

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20230724

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240703

R150 Certificate of patent or registration of utility model

Ref document number: 7516283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150