JP7123891B2 - 超音波心臓ドップラー検査の自動化 - Google Patents

超音波心臓ドップラー検査の自動化 Download PDF

Info

Publication number
JP7123891B2
JP7123891B2 JP2019182879A JP2019182879A JP7123891B2 JP 7123891 B2 JP7123891 B2 JP 7123891B2 JP 2019182879 A JP2019182879 A JP 2019182879A JP 2019182879 A JP2019182879 A JP 2019182879A JP 7123891 B2 JP7123891 B2 JP 7123891B2
Authority
JP
Japan
Prior art keywords
doppler
measurements
ultrasound
exam
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019182879A
Other languages
English (en)
Other versions
JP2020075104A (ja
Inventor
レナート・ケシェト
オメル・バーコル
エイヤル・ハユン
エイギル・サムセット
エリナ・ソクリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2020075104A publication Critical patent/JP2020075104A/ja
Application granted granted Critical
Publication of JP7123891B2 publication Critical patent/JP7123891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52098—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging related to workflow protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52071—Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Description

本開示は、一般に、改善された撮像システムに関し、より具体的には、医用画像処理のための改善された機械学習システムおよび方法に関する。
心臓ドップラー超音波検査により心臓を通る血流の分析が可能になり、これにより医師は、非侵襲的に心臓機能（収縮期および／または拡張期機能を含む）を評価したり、かつ／または血管閉塞を発見したりすることが可能になる。二次元画像のシーケンスが得られるＢモード組織超音波スキャンとは対照的に、ドップラースキャンは、特定のポイントまたはビーム方向の情報を提供することができる。ドップラースキャン出力は、関心のあるポイントおよび／または方向を通る移動速度のスペクトルである。現在、システムは取得されたドップラーデータを処理する方法を決定するためのドップラー検査のタイプを識別することができないため、ドップラースキャン処理を自動化することができない。
ある特定の例は、改善された画像データ処理のためのシステムおよび方法を提供する。
ある特定の例は、ターゲットの二次元超音波画像またはＢモード画像の少なくとも１つのキャプチャを容易にする画像キャプチャ部を含む、ドップラー検査分類システムを提供する。例示的なシステムは、ターゲットのキャプチャされたドップラースペクトルを記録するドップラースペクトルレコーダを含む。例示的なシステムは、少なくとも、少なくとも１つのニューラルネットワークを使用してドップラースペクトルを処理し、複数の検査タイプ分類間の第１の確率分布を生成し、少なくとも１つのニューラルネットワークを使用して二次元超音波画像またはＢモード画像の少なくとも１つを処理し、複数の検査タイプ分類間の第２の確率分布を生成し、かつ検査タイプ分類の第１の確率分布と検査タイプ分類の第２の確率分布を組み合わせて検査タイプを推論することによって、ドップラースペクトルに関連する検査タイプを推論する検査タイプ推論部を含む。
ある特定の例は、実行されると、少なくとも１つのプロセッサに、少なくとも、少なくとも１つのニューラルネットワークを使用してスキャンされたドップラースペクトルを処理し、複数の検査タイプ分類間の第１の確率分布を生成し、少なくとも１つのニューラルネットワークを使用して二次元超音波画像またはＢモード画像の少なくとも１つを処理し、複数の検査タイプ分類間の第２の確率分布を生成し、かつ検査タイプ分類の第１の確率分布と検査タイプ分類の第２の確率分布を組み合わせてドップラースキャンに関連する検査タイプを推論させる命令を含むコンピュータ可読記憶媒体を提供する。
ある特定の例は、少なくとも１つのプロセッサを使用して、少なくとも１つのニューラルネットワークを使用してスキャンされたドップラースペクトルを処理し、複数の検査タイプ分類間の第１の確率分布を生成することと、少なくとも１つのプロセッサを使用して、少なくとも１つのニューラルネットワークを使用して二次元超音波画像またはＢモード画像の少なくとも１つを処理し、複数の検査タイプ分類間の第２の確率分布を生成することと、少なくとも１つのプロセッサを使用して、検査タイプ分類の第１の確率分布と検査タイプ分類の第２の確率分布を組み合わせてスキャンされたドップラースペクトルに関連する検査タイプを推論することとを含む、コンピュータ実装方法を提供する。
本明細書に開示される方法、装置、および製造物品を適用することができる例示的な撮像システムを示す図である。 本明細書に開示される方法、装置、および製造物品を適用することができる例示的な撮像システムを示す図である。 例示的な学習ニューラルネットワークの図である。 畳み込みニューラルネットワークとしての例示的なニューラルネットワークの特定の実装態様を示す図である。 ニューラルネットワークの例示的な実装態様の図である。 画像を処理および／または評価するための学習ネットワークを適用するための例示的な構成を示す図である。 複数の学習ネットワークの組み合わせを示す図である。 学習ネットワークの例示的な訓練および展開段階を示す図である。 訓練されたネットワークパッケージを活用して深層学習製品を提供する、例示的な製品を示す図である。 様々な深層学習デバイス構成を示す図である。 様々な深層学習デバイス構成を示す図である。 様々な深層学習デバイス構成を示す図である。 例示的な超音波撮像自動化プロセスを示す図である。 試験分類部の例示的な実装態様を示す図である。 検査タイプとドップラースキャンパラメータとの間の例示的な関係を示す図である。 例示的な超音波デバイスのインターフェース画面を示す図である。 撮像検査分類分析のための超音波撮像デバイスに関して提供される入力データおよび関連する出力の例を示す図である。 撮像検査タイプを分類するための例示的な分類システムを示す図である。 例示的なドップラー検査分類結果の表である。 ドップラー画像検査分類のための例示的な方法のフロー図である。 ドップラー画像検査分類のための例示的な方法のフロー図である。 ドップラー画像検査分類のための例示的な方法のフロー図である。 本明細書に開示および説明される構成要素を実現するために例示的な機械可読命令を実行するように構成された、プロセッサプラットフォームのブロック図である。
図は、一定の縮尺ではない。可能な限り、同じ参照番号が、同一または同様の部分を指すために、図面および付随の書面による説明の全体を通して使用される。
以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照し、そこでは実施され得る特定の例を例示として示している。これらの例は、本主題の実施を当業者にとって可能にするように十分に詳細に説明されているが、他の例も利用可能であり、本開示の主題の範囲から逸脱することなく論理的、機械的、電気的、および他の変更が可能であることを、理解すべきである。したがって、以下の詳細な説明は、例示的な実装態様を説明するために提示されており、本開示に記載される主題の範囲を限定するものと解釈されるべきではない。以下の説明の異なる態様からのある特定の特徴を組み合わせて、以下で説明される主題のさらなる新たな態様を形成することができる。
本開示の様々な実施形態の要素を導入するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「前記（ｔｈｅ）」、および「前記（ｓａｉｄ）」は、１つまたは複数の要素があることを意味するものである。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、および「有する（ｈａｖｉｎｇ）」という用語は、包括的であることを意図し、列挙された要素以外にもさらなる要素が存在してもよいことを意味する。
ある特定の例は、医療またはヘルスケアシステムの文脈で以下に説明されるが、他の例は、医療環境の外で実現することができる。例えば、非破壊試験、爆発物検出などの非医用撮像にある特定の例を適用することができる。
Ｉ．概要
撮像デバイス（例えば、ガンマカメラ、陽電子放射断層撮影（ＰＥＴ）スキャナ、コンピュータ断層撮影（ＣＴ）スキャナ、Ｘ線装置、磁気共鳴（ＭＲ）撮像装置、超音波スキャナなど）は、疾患を診断および／または治療するために身体の部分（例えば、臓器、組織など）を表す医用画像（例えば、医用画像におけるネイティブデジタル撮像および通信（ＤＩＣＯＭ））を生成する。医用画像視覚化ソフトウェアは、臨床医が医用画像の様々な場所で機能的または解剖学的特徴をセグメント化、注釈付け、測定、および／または報告することを可能にする。いくつかの例では、臨床医は、医用画像視覚化ソフトウェアを利用して、医用画像で関心のある領域を識別することができる。
医用画像データの取得、処理、分析、および記憶は、ヘルスケア環境における患者の診断および治療において重要な役割を果たす。医用撮像ワークフローおよびそのワークフローに関与するデバイスは、医用撮像ワークフローおよびデバイスの動作中に構成、監視、および更新することができる。医用撮像ワークフローおよびデバイスの構成、監視、および更新を支援するために、機械学習を使用することができる。
機械学習技術は、それが深層学習ネットワークであろうと他の経験的／観察的学習システムであろうと、例えば、画像内の対象物を位置特定し、音声を理解し、音声をテキストに変換し、検索エンジン結果の関連性を改善するために使用することができる。深層学習は、一連のアルゴリズムを使用して、線形および非線形変換を含む複数の処理層を有するディープグラフを使用して、データにおける高レベル抽象化をモデル化する機械学習のサブセットである。多くの機械学習システムは、機械学習ネットワークの学習および更新によって修正されるべき初期の特徴および／またはネットワーク重みでシードされるが、深層学習ネットワークは、それ自体を分析のための「良好な」特徴を識別するように訓練する。多層アーキテクチャを使用すると、深層学習技術を用いる機械は、従来の機械学習技術を使用する機械よりも良好に生データを処理することができる。高度に相関する値または弁別的テーマのグループのデータの検討は、異なる評価または抽象化の層を使用して容易にされる。
本明細書および特許請求の範囲を通して、以下の用語は、文脈上他に明確に指示されない限り、本明細書に明示的に関連する意味をとる。「深層学習」という用語は、複数のデータ処理層を利用してデータセット内の様々な構造を認識し、データセットを高精度で分類する機械学習技術である。深層学習ネットワークは、複数の入力および出力に基づいてパターンを学習する訓練ネットワーク（例えば、訓練ネットワークモデルまたはデバイス）とすることができる。深層学習ネットワークは、訓練ネットワークから生成され、入力に応答して出力を提供する展開されたネットワーク（例えば、展開されたネットワークモデルまたはデバイス）とすることができる。
「教師あり学習」という用語は、機械が人間のソースから既に分類されたデータを提供される深層学習訓練方法である。「教師なし学習」という用語は、機械が既に分類されたデータを与えられていないが、機械を異常検出に有用なものにする深層学習訓練方法である。「半教師あり学習」という用語は、機械と利用可能な分類されていない大量のデータとを比較して、人間のソースからの少量の分類データが機械に提供される深層学習訓練方法である。
「表現学習」という用語は、生データを機械学習タスクで活用することができる表現または特徴に変換するための方法の分野である。教師あり学習では、ラベル付き入力を介して特徴が学習される。
「畳み込みニューラルネットワーク」または「ＣＮＮ」という用語は、データセット内の関連対象物および領域の検出、セグメンテーション、および認識のために深層学習で使用される、相互接続されたデータの生物学から触発されたネットワークである。ＣＮＮは、複数の配列の形で生データを評価し、一連の段階でデータを分割し、学習された特徴のデータを検討する。
畳み込みニューラルネットワークの代替として、完全に接続されたニューラルネットワークが存在する。完全に接続されたニューラルネットワークは、すべてのノードが次の層のすべての他のノードに接続される隠れ層を含む。逆に、スパース層ニューラルネットワークは、いくつかの入力およびいくつかの出力のみに接続される隠れ層を含む。完全に接続されたニューラルネットワークでは、隠れ層の各ノードまたはニューロンは、ネットワークの前の層のすべてのノード／ニューロンから入力を受け取り、ノードと層との間に密な接続を形成する。
「転移学習」という用語は、第１のものと同じまたは同様の性質の別の問題を解決するために、１つの問題を適切にまたは不適切に解決するために使用される情報を記憶する機械のプロセスである。転移学習は、「誘導学習」としても知られている。転移学習は、例えば、以前のタスクからのデータを利用することができる。
「アクティブラーニング」という用語は、機械が、外部エンティティによって選ばれた例を受動的に受け取るのではなく、訓練データを受け取る一連の例を選択する機械学習のプロセスである。例えば、機械が学習するにつれて、機械は、外部の人間の専門家または外部システムのみに依存して例を識別して提供するのではなく、機械が学習に最も役立つと決定する例を選択することができる。
「コンピュータ支援検出」または「コンピュータ支援診断」という用語は、可能な診断を示唆するために医用画像を分析するコンピュータを指す。
深層学習および他の機械学習
深層学習は、機械に生データを与え、データ分類に必要な表現を決定することを可能にする表現学習方法を用いる機械学習技術の一種である。深層学習は、深層学習機械の内部パラメータ（例えば、ノード重み）を変更するために使用される逆伝搬アルゴリズムを使用してデータセット内の構造を確認する。深層学習機械は、様々な多層アーキテクチャおよびアルゴリズムを利用することができる。例えば、機械学習ではネットワークの訓練に使用される特徴の識別が必要であるが、深層学習では生データを処理し、外部識別なしで関心のある特徴を識別する。
ニューラルネットワーク環境における深層学習は、ニューロンと呼ばれる多数の相互接続されたノードを含む。外部ソースから活性化された入力ニューロンは、機械パラメータによって支配される他のニューロンへの接続に基づいて他のニューロンを活性化する。ニューラルネットワークは、それ自体のパラメータに基づいてある特定の方法で挙動する。学習は、ニューラルネットワークが所望の方法で挙動するように、機械パラメータを修正し、拡張によって、ネットワークのニューロン間の接続を修正する。
畳み込みニューラルネットワークを利用する深層学習は、畳み込みフィルタを使用してデータをセグメント化し、データの学習された観察可能な特徴を位置特定して識別する。ＣＮＮアーキテクチャの各フィルタまたは層は、入力データを変換してデータの選択性および不変性を向上させる。データの抽象化により、機械は、分類しようとしているデータの特徴に集中し、無関係の背景情報を無視することが可能となる。
深層学習は、多くのデータセットに低レベル特徴を含む高レベル特徴が含まれているという理解に基づいて動作する。画像を検討する際、例えば、対象物を探すのではなく、検索している対象物を形成する部分を形成するモチーフを形成するエッジを探す方が効率的である。これらの特徴の階層は、音声およびテキストなどの多くの異なるデータ形式で見ることができる。
学習された観察可能な特徴は、教師あり学習中に機械によって学習された対象物および定量化可能な規則を含む。十分に分類されたデータの大きなセットを備えた機械は、新しいデータを成功裏に分類するために特徴を識別し、抽出することに優れている。
転移学習を利用する深層学習機械は、データの特徴を人間の専門家によって確認されたある特定の分類に適切に結び付けることができる。逆に、同じ機械は、人間の専門家による誤った分類を与えられた場合、分類のためのパラメータを更新する可能性がある。例えば、設定および／または他の構成情報は、設定および／または他の構成情報の学習された使用によって導くことができ、システムが（例えば、繰り返しおよび／または複数のユーザによって）より多く使用される場合、所与の状況では、設定および／または他の構成情報に関する多数の変動および／または他の可能性を減らすことができる。
例示的な深層学習ニューラルネットワークは、例えば、一組の専門家によって分類されたデータについて訓練することができる。このデータのセットはニューラルネットワークの第１のパラメータを構築し、これは教師あり学習の段階となる。教師あり学習の段階の間、所望の挙動が達成されたかどうかをニューラルネットワークで試験することができる。
所望のニューラルネットワーク挙動が達成されると（例えば、指定された閾値に従って動作するように機械が訓練されたなど）、機械を使用するために展開することができる（例えば、「リアル」データなどで機械を試験する）。動作中、ニューラルネットワーク分類は、ニューラルネットワーク挙動を改善し続けるために（例えば、専門家ユーザ、専門家システム、参照データベースなどによって）確認または拒否することができる。次いで、例示的なニューラルネットワークは、転移学習の状態になり、ニューラルネットワーク挙動を決定する分類のためのパラメータが進行中の相互作用に基づいて更新される。ある特定の例では、ニューラルネットワークは、別のプロセスに直接フィードバックを提供することができる。ある特定の例では、ニューラルネットワークは、（例えば、クラウドなどを介して）バッファリングされ、別のプロセスに提供される前に検証されるデータを出力する。
畳み込みニューラルネットワーク（ＣＮＮ）を使用した深層学習機械は、画像分析に使用することができる。ＣＮＮ分析の段階は、自然画像、コンピュータ支援診断（ＣＡＤ）などにおける顔認識に使用することができる。
高品質の医用画像データは、Ｘ線、コンピュータ断層撮影（ＣＴ）、分子撮像およびコンピュータ断層撮影（ＭＩＣＴ）、磁気共鳴画像（ＭＲＩ）などの１つまたは複数の撮像モダリティを使用して取得することができる。医用画像品質は、画像を生成する機械によっては影響を受けないが、患者の影響を受けることが多い。患者がＭＲＩ中に動くことで、例えば、正確な診断を妨げる可能性のあるぼやけた画像またはゆがんだ画像を生成することがある。
医用画像の解釈は、品質に関係なく、まだ発展途上である。医用画像は主に医師によって解釈されるが、これらの解釈は主観的であり、医師の現場での経験および／または疲労の状態によって影響を受けるであろう。機械学習による画像分析は、医療専門家のワークフローをサポートすることができる。
深層学習機械は、例えば、画像品質および分類に関する画像分析を改善するためのコンピュータ支援検出サポートを提供することができる。しかしながら、深層学習機械を医学分野に適用する場合に直面する問題により、しばしば多数の誤った分類が引き起こされる。深層学習機械は、例えば、小さな訓練データセットを克服し、反復的な調整を必要としなければならない。
最小限の訓練を行った深層学習機械を使用して、例えば、医用画像の品質を決定することができる。半教師ありおよび教師なしの深層学習機械を使用して、画像の質的側面を定量的に測定することができる。例えば、画像の品質が診断用として十分であるかどうかを決定するために、画像が取得された後に深層学習機械を利用することができる。教師あり深層学習機械は、コンピュータ支援診断にも使用することができる。教師あり学習は、例えば、誤分類に対する影響の受けやすさを軽減するのに役立ち得る。
深層学習機械は、教師あり訓練において利用することができる小さなデータセットに対処するために、医師との対話時に転移学習を利用することができる。これらの深層学習機械は、訓練および転移学習を通じて、時間の経過と共にコンピュータ支援診断を改善することができる。
ＩＩ．実施例
例示的な撮像システムおよび方法
本明細書に記載の方法、装置、および製造物品は、様々なヘルスケアおよび非ヘルスケアシステムに適用することができる。１つの特定の例では、本明細書に記載の方法、装置、および製造物品は、超音波撮像システムの構成要素、構成、および動作に適用することができる。図１～図２は、本明細書に開示される方法、装置、および製造物品を適用することができる超音波撮像スキャナ装置の例示的な実装態様を示す。
例示的な超音波診断装置１００が、図１に示されている。例示的な装置１００は、超音波プローブ１１０、送受信ビームフォーマ１２０、エコーデータ処理ユニット１３０、表示制御ユニット１４０、表示ユニット１５０、操作ユニット１６０、制御ユニット１７０、およびスピーカ１８０を含む。
例示的な超音波プローブ１１０は、配列状に配置された複数の超音波トランスデューサ（図示せず）を含む。超音波トランスデューサ配列は、超音波をターゲットに送信し、代わりにターゲットからエコー信号を受け取る。送受信ビームフォーマ１２０は、制御ユニット１７０からの制御信号に基づいて超音波プローブ１１０に電気信号を供給し、指定されたパラメータを使用して超音波プローブ１１０から超音波を送信する。送受信ビームフォーマ１２０は、指定されたパラメータを使用して、超音波プローブ１１０で受け取られたエコー信号に増幅、アナログ／デジタル（Ａ／Ｄ）変換、位相調整加算などの信号処理を行う。送受信ビームフォーマ１２０は、処理されたエコーデータをエコーデータ処理ユニット１３０に出力する。送受信ビームフォーマ１２０は、Ｂモード、ドップラーモード、およびカラードップラーモードなどの撮像モードに従って送受信パラメータを構成する。
ある特定の例では、エコーデータ処理ユニット１３０は、Ｂモード処理ユニットと、ドップラー処理ユニットとを含む。ある特定の例では、エコーデータ処理ユニット１３０は、カラードップラー処理ユニットも含むことができる。エコーデータ処理ユニット１３０は、送受信ビームフォーマ１２０から出力されたエコーデータに対して対数圧縮および包絡線検波などのＢモード処理を行うことによって、Ｂモードデータを生成する。カラードップラー処理ユニットは、直交検波、移動目標指示（ＭＴＩ）フィルタ処理、および自己相関処理などのカラードップラー処理を行うことによって、カラードップラーデータを生成する。ドップラー処理ユニットは、エコーデータに対してドップラー処理を行い、血流などの流速スペクトルを取得する（例えば、ドップラー処理機能）。
表示制御ユニット１４０は、スキャンコンバータを使用して、エコーデータ処理ユニット１３０から出力されたデータをスキャンにより超音波画像データに変換する。表示制御ユニット１４０は、表示ユニット１５０に超音波画像データに基づく超音波画像を表示させる。エコーデータ処理ユニット１３０は、Ｂモード処理ユニットから取得されたＢモードデータ、ドップラー処理ユニットから取得されたドップラースペクトルデータ、およびカラードップラー処理ユニットから取得されたカラードップラーデータを出力する。超音波画像データは、Ｂモード画像データ、ドップラー画像データ、およびカラードップラー画像データを含む。表示制御ユニット１４０は、Ｂモードデータに基づくＢモード画像、ドップラースペクトルデータに基づくドップラー画像、およびカラードップラーデータに基づくカラードップラー画像を表示する。例示的な表示ユニット１５０は、例えば、液晶ディスプレイ（ＬＣＤ）またはブラウン管（ＣＲＴ）を含む。例示的な操作ユニット１６０は、キーボード／キーパッド、ポインティングデバイス、および／またはオペレータが命令または情報を入力するための他のインターフェースを含む。例示的な制御ユニット１７０は、中央処理装置（ＣＰＵ）および／または他のプロセッサを含む。例示的な制御ユニット１７０は、記憶ユニットに記憶された制御プログラムを読み取り、超音波診断装置１００の構成要素のための機能を行う。例示的なスピーカ１８０は、エコーデータ処理ユニット１３０から出力された信号に基づいてドップラー音を出力する。
図２は、例示的なエコーデータ処理ユニット１３０のドップラー処理ユニット２００の例示的な実装態様を示す。図２に示すように、ドップラー処理ユニット２００は、直交検波ユニット２１０、ウォールフィルタユニット２２０、メモリ２３０、高速フーリエ変換（ＦＦＴ）処理ユニット２４０、信号推定ユニット２５０、逆高速フーリエ変換（ＩＦＦＴ）処理ユニット２６０、およびオーディオ処理ユニット２７０を含む。
図２の例では、送受信ビームフォーマ１２０は、データをドップラー処理ユニット２００に入力する。例えば、データは、最初に直交検波ユニット２１０に入力される。直交検波ユニット２１０は、入力データに対して直交検波を行う。ウォールフィルタユニット２２０は、データをフィルタリングしてドップラーデータを生成する。ウォールフィルタユニット２２０から出力されたドップラーデータは、メモリ２３０に記憶される。
ある特定の例では、メモリ２３０は、スライディングリングバッファ（ｓｌｉｄｉｎｇ ｒｉｎｇ－ｂｕｆｆｅｒ）として実現されるか、またはそれと同等である。例えば、データＤ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５などのグループは、ＦＦＴ処理のためにメモリ２３０から読み取られる。次いで、データは、ＦＦＴ処理ユニット２４０に入力される。ＦＦＴ処理ユニット２４０は、メモリ２３０から供給されたデータに対してＦＦＴ処理を行い、ドップラースペクトルデータを生成する。欠落部分推定がドップラースペクトルデータに対して行われない場合、ＦＦＴ処理ユニット２４０は、ドップラースペクトルデータを表示制御ユニット１４０およびＩＦＦＴ処理ユニット２６０に出力する。欠落部分推定がドップラースペクトルデータに対して行われる場合、ＦＦＴ処理ユニット２４０は、ドップラースペクトルデータを信号推定ユニット２５０に出力する。例えば、ＦＦＴ処理ユニット２４０は、表示制御ユニット１４０およびＩＦＦＴ処理ユニット２６０へのドップラースペクトルデータの出力を、信号推定ユニット２５０へのドップラースペクトルデータの出力から分離する。
信号推定ユニット２５０は、ドップラースペクトルデータの欠落部分を推定する（例えば、信号推定機能を使用して）。ドップラースペクトルデータの欠落部分は、Ｂモードまたはカラードップラーモードでの超音波送受信が行われ、ドップラーモードでの超音波送受信が行われない期間中に発生する可能性がある。信号推定ユニット２５０は、例えば、外挿プロセスを使用してドップラースペクトルデータの欠落部分を推定する。例えば、信号推定ユニット２５０は、ドップラースペクトルデータのある特定の周波数スペクトルにおける平均周波数の時間的変化に基づいて、外挿プロセスを行う。信号推定ユニット４２５によって欠落情報が外挿推定により補完された後、ドップラースペクトルデータは、表示制御ユニット１４０およびＩＦＦＴ処理ユニット２６０に出力される。
表示制御ユニット１４０は、信号推定ユニット２５０および／またはＦＦＴ処理ユニット２４０から供給されるドップラースペクトルデータに基づいて生成されたドップラー画像を表示ユニット１５０に表示させる。ＩＦＦＴ処理ユニット２６０は、信号推定ユニット２５０および／またはＦＦＴ処理ユニット２４０から供給されたドップラースペクトルデータに対してＩＦＦＴプロセスを行う。ＩＦＦＴ処理されたデータは、オーディオ処理ユニット２７０に出力される。オーディオ処理ユニット２７０は、ＩＦＦＴ処理ユニット２６０から供給されたデータに対してオーディオプロセスを行い、信号をスピーカ１８０に出力する。スピーカ１８０は、ドップラー音を出力する。上述したように、信号推定ユニット２５０は、ドップラー音が信号推定ユニット２５０から出力されたドップラースペクトルデータに基づいて出力されても、欠落部分を遅延なく補完する外挿プロセスを行う。したがって、ドップラー音を遅延なく出力することができる。信号推定ユニット２５０がプロセスを行わない場合、ウォールフィルタユニット２２０は、データをオーディオ処理ユニット２７０に供給し、ドップラー音を出力することができる。
多くの例では、ユーザは、超音波スキャン装置１００を使用してドップラースキャンを行うが、行われた検査の種類またはタイプを示していない。例えば、スキャンが音波検査者によって行われ、心臓専門医による将来の測定および診断のために保存されると、心臓専門医は、検査タイプの構成を忘れることがよくある。撮像検査のタイプまたは種類がユーザによって示されないと、システム１００はどの測定をどのアルゴリズムで行うかを知らないため、超音波装置１００は測定の自動化を行うことができない。
心臓ドップラー超音波検査により心臓を通る血流の分析が可能になり、これにより医師は、非侵襲的に心臓の機能（例えば、収縮期および／または拡張期機能を含む）を評価したり、かつ／または血管閉塞を発見したりすることが可能になる。画像の二次元（２Ｄ）シーケンスが得られる組織（Ｂモード）超音波スキャンとは異なり、ドップラースキャンは、一度に１つの特定のポイントまたはビーム方向の情報を提供することができる。ドップラースキャンの出力は、関心のあるポイント／方向を通る移動速度のスペクトルである。
医師などのユーザは、様々なドップラースキャン検査の１つまたは複数を行うことを決定することができ、ドップラースキャン検査は、心臓内の関心のあるポイントの位置および／または方向の角度に部分的に依存する。医師が患者を検討することができる関心のある位置／ポイント／場所の一部は、異なる心臓弁（例えば、僧帽弁、三尖弁、大動脈など）、心臓組織（例えば、僧帽弁輪の基部における中隔、側方、前および下点など）、動脈／静脈（例えば、肺静脈、左心室流出路など）などである。関心のある方向は、例えば、これらの関心のあるポイントを通過することができる。ドップラー検査のタイプは、関心のある流れの方向にも依存する。例えば、関心のある流れの方向は、生理学的な血流、異常な反対方向の流れ（「逆流」と呼ばれる）などに従うことができる。
上記を考慮して、ドップラー超音波検査のいくつかのタイプは、大動脈弁逆流（ＡＲ）、大動脈弁流出（ＡＶＯ）、左心室流出路（ＬＶＯＴ）、僧帽弁逆流（ＭＲ）、僧帽弁流入（ＭＶＩ）、肺動脈弁流出（ＰＶＯ）、肺静脈（ＰｕｌｍＶｅｉｎ）、右心室流出路（ＲＶＯＴ）、側方組織ドップラー流入（ＬＡＴ）、中隔組織ドップラー流入（ＳＥＰ）、右心室組織ドップラー流入（ＲＶ）、三尖弁逆流（ＴＲ）、および三尖弁流入（ＴＶＩ）を含む。
心臓ドップラー超音波検査は、多くの場合、医師／音波検査者がドップラースキャンスペクトルで１つまたは複数の測定を行うことで終了する。測定は、臨床的に関連する測定と測定自体の視覚的な選択を含み、典型的には、例えば、手動の速度ピーク／勾配検出および／または速度エンベロープトレースを伴う。
ある特定の例は、超音波撮像システム（例えば、心血管超音波撮像システム）および関連するアルゴリズムを提供し、上記の測定の一部またはすべてを自動的に行う。例えば、ＧＥ Ｖｉｖｉｄ Ｓ７０（商標）、Ｖｉｖｉｄ Ｅ９５（商標）、およびＶｉｖｉｄ ＩＱ（商標）超音波システムは、自動トレース能力、ならびにＥ波とＡ波のピーク速度検出およびＥ波減速勾配抽出を提供する。臨床的に関連する測定、ならびに自動化アルゴリズムは、実施されるドップラー検査のタイプ（上に列挙）に依存する。例えば、ＭＶＩの場合、医師は、Ｅ／Ａピーク比（例えば、拡張期機能障害または他の病態の診断に使用される）に関心があることがよくある。しかしながら、ＬＶＯＴの場合、例えば、エンベロープトレースの下の面積（例えば、心拍出量の算出用）が重要である。
例示的な学習ネットワークシステム
図３は、例示的な学習ニューラルネットワーク３００の図である。例示的なニューラルネットワーク３００は、層３２０、３４０、３６０、および３８０を含む。層３２０および３４０は、ニューラル接続部３３０と接続されている。層３４０および３６０は、ニューラル接続部３５０と接続されている。層３６０および３８０は、ニューラル接続部３７０と接続されている。データは、入力３１２、３１４、３１６を介して入力層３２０から出力層３８０および出力３９０へと順方向に流れる。
層３２０は、図３の例では、複数のノード３２２、３２４、３２６を含む入力層である。層３４０および３６０は、隠れ層であり、図３の例では、ノード３４２、３４４、３４６、３４８、３６２、３６４、３６６、３６８を含む。ニューラルネットワーク３００は、図示されているよりも多くのまたは少ない隠れ層３４０および３６０を含むことができる。層３８０は、出力層であり、図３の例では、出力３９０を有するノード３８２を含む。各入力３１２～３１６は、入力層３２０のノード３２２～３２６に対応し、入力層３２０の各ノード３２２～３２６は、隠れ層３４０の各ノード３４２～３４８への接続部３３０を有する。隠れ層３４０の各ノード３４２～３４８は、隠れ層３６０の各ノード３６２～３６８への接続部３５０を有する。隠れ層３６０の各ノード３６２～３６８は、出力層３８０への接続部３７０を有する。出力層３８０は、例示的なニューラルネットワーク３００からの出力を提供する出力３９０を有する。
接続部３３０、３５０、および３７０のうち、ある特定の例示的な接続部３３２、３５２、３７２に追加の重みを与えることができる一方で、他の例示的な接続部３３４、３５４、３７４には、ニューラルネットワーク３００におけるより軽い重みを与えることができる。入力ノード３２２～３２６は、例えば、入力３１２～３１６を介して入力データを受け取ることによって活性化される。隠れ層３４０および３６０のノード３４２～３４８および３６２～３６８は、接続部３３０および３５０をそれぞれ介するネットワーク３００におけるデータの順方向の流れによって活性化される。出力層３８０のノード３８２は、隠れ層３４０および３６０において処理されたデータが接続部３７０を介して送られた後に活性化される。出力層３８０の出力ノード３８２が活性化されたとき、ノード３８２は、ニューラルネットワーク３００の隠れ層３４０および３６０で達成された処理に基づいて適切な値を出力する。
図４は、畳み込みニューラルネットワーク４００としての例示的なニューラルネットワーク３００の特定の実装態様を示す。図４の例に示すように、入力３１０は、入力３１０を処理して第２の層３４０に伝搬する第１の層３２０に提供される。入力３１０は、第２の層３４０でさらに処理され、第３の層３６０に伝搬される。第３の層３６０は、出力層ｅ８０に提供されるデータをカテゴリ化する。より具体的には、図４の例に示すように、畳み込み４０４（例えば、５×５畳み込みなど）が第１の層３２０において入力３１０（例えば、３２×３２データ入力など）の一部またはウィンドウ（「受容野」とも呼ばれる）４０２に適用され、特徴マップ４０６（例えば、（６×）２８×２８特徴マップなど）を提供する。畳み込み４０４は、入力３１０からの要素を特徴マップ４０６にマッピングする。第１の層３２０はまた、縮小された特徴マップ４１０（例えば、（６×）１４×１４特徴マップなど）を生成するためにサブサンプリング（例えば、２×２サブサンプリングなど）を提供する。特徴マップ４１０は、畳み込み４１２を経て、第１の層３２０から第２の層３４０に伝搬され、そこで特徴マップ４１０は拡張特徴マップ４１４（例えば、（１６×）１０×１０特徴マップなど）となる。第２の層３４０におけるサブサンプリング４１６の後、特徴マップ４１４は、縮小された特徴マップ４１８（例えば、（１６×）４×５特徴マップなど）となる。特徴マップ４１８は、畳み込み４２０を経て、第３の層３６０に伝搬され、そこで特徴マップ４１８は、例えば、畳み込みされた層４２２への接続部４２６を有するＮ個のカテゴリ４２４の出力層を形成する分類層４２２となる。
他の例では、完全に接続されたニューラルネットワークなどの畳み込みニューラルネットワークの代替手段を用いて、特徴を抽出し、かつ／またはメトリックを定量化することができる。完全に接続されたニューラルネットワークでは、ネットワークの層のすべての入力は、それぞれの層のすべての出力にマッピングされる。対照的に、ＣＮＮの畳み込み層は、移動ウィンドウのみを出力にマッピングする。
図５は、ニューラルネットワーク５００の例示的な実装態様の図である。ニューラルネットワーク５００は、１つまたは複数のマトリックス５０２を形成する入力画像および／または非画像パラメータ（例えば、画像ピクセルおよび／またはデバイスパラメータと組み合わされた係数など）を受け取り、層５０４のマトリックスを抽象化して学習された特徴５１０～５２２を識別する。第２の層５３０において、マトリックスは、複数の画像５３０～５３８に変換され、画像５３０～５３８において、学習された特徴５１０～５２２は各々、それぞれのサブ画像５３０～５３８において強調される。マトリックス５３０～５３８は、マトリックス５４０～５４８の関心のある特徴５１０～５２２に焦点を合わせるようにさらに処理される。結果として得られるマトリックス５４０～５４８は、次に、マトリックス５４０～５４８のうちの関心のある特徴５１０～５２２を含む部分５５０～５５４を分離するためにマトリックス５４０～５４８のサイズを縮小する層を通って処理される。ニューラルネットワーク５００の出力５５０～５５４は、最後の非出力層から値を受け取り、最後の非出力層から受け取ったデータに基づいてマトリックスを分類する。ある特定の例では、ニューラルネットワーク５００は、層、学習された特徴、および出力などの多くの異なる変形を含んでもよい。
図６Ａは、画像を処理および／または評価するための学習（例えば、機械学習、深層学習など）ネットワークを適用するための例示的な構成６００を示す。機械学習は、画像取得、画像再構成、画像分析／診断などを含む様々なプロセスに適用することができる。図６Ａの例示的な構成６００に示すように、生データ６１０（例えば、Ｘ線、コンピュータ断層撮影、超音波、磁気共鳴などの撮像スキャナ、スキャナから得られた超音波生データなどの生データ６１０）は、学習ネットワーク６２０に供給される。
図７は、深層学習または他の機械学習ネットワークなど、学習ネットワークの例示的な訓練および展開段階を示す。図７の例に示すように、訓練段階では、入力７０２のセットが処理のためにネットワーク７０４に提供される。この例では、入力７０２のセットは、識別される画像の顔特徴を含むことができる。ネットワーク７０４は、入力７０２を順方向７０６で処理してデータ要素を関連付け、パターンを識別する。ネットワーク７０４は、入力７０２が犬７０８を表していると決定する。訓練において、ネットワーク結果７０８は、既知の結果７１２と比較される７１０。この例では、既知の結果７１２は、人間の顔である（例えば、入力データセット７０２は、犬の顔ではなく人間の顔を表している）。ネットワーク７０４の決定７０８は既知の結果７１２と一致しない７１０ので、エラー７１４が生成される。エラー７１４は、ネットワーク７０４を通る逆方向パス７１６に沿って逆に、既知の結果７１２および関連するデータ７０２の分析をトリガする。したがって、訓練ネットワーク７０４は、ネットワーク７０４を介して、データ７０２、７１２で順方向７０６および逆方向パス７１６から学習する。
ネットワーク出力７０８と既知の出力７１２との比較がある特定の基準または閾値（例えば、ｎ倍に一致、ｘパーセントよりも大きい一致など）に従って一致する７１０と、訓練ネットワーク７０４を使用して、外部システムを伴う展開用のネットワークを生成することができる。展開されると、単一の入力７２０が展開された学習ネットワーク７２２に提供されて出力７２４を生成する。この場合、訓練ネットワーク７０４に基づいて、展開されたネットワーク７２２は、入力７２０が人間の顔７２４の画像であると決定する。
図８は、訓練されたネットワークパッケージを活用して深層および／または他の機械学習製品を提供する、例示的な製品を示す。図８の例に示すように、入力８１０（例えば、生データ）が前処理８２０のために提供される。例えば、生の入力データ８１０は、フォーマット、完全性などをチェックするために前処理される８２０。データ８１０が前処理される８２０と、データのパッチが作成される８３０。例えば、データのパッチまたは部分または「チャンク」は、処理のためにある特定のサイズおよびフォーマットで作成される８３０。次いで、パッチは、処理のために訓練されたネットワーク８４０に供給される。学習されたパターン、ノード、および接続部に基づいて、訓練されたネットワーク８４０は、入力パッチに基づいて出力を決定する。出力は、アセンブルされる８５０（例えば、使用可能な出力などを生成するために組み合わせられ、かつ／またはグループ化される）。次いで、出力が表示され８６０、および／またはユーザに出力される（例えば、人間のユーザ、臨床システム、撮像モダリティ、データストレージ（例えば、クラウドストレージ、ローカルストレージ、エッジデバイスなど）など）。
上述のように、学習ネットワークは、訓練、展開、および様々なシステムへの適用のためのデバイスとしてパッケージ化することができる。図９Ａ～図９Ｃは、様々な学習デバイス構成を示す。例えば、図９Ａは、一般的な学習デバイス９００を示す。例示的なデバイス９００は、入力定義９１０、学習ネットワークモデル９２０、および出力定義９３０を含む。入力定義９１０は、１つまたは複数の入力を、ネットワーク９２０を介して１つまたは複数の出力９３０に変換することを含むことができる。
図９Ｂは、例示的な訓練デバイス９０１を示す。すなわち、訓練デバイス９０１は、訓練学習ネットワークデバイスとして構成されたデバイス９００の例である。図９Ｂの例では、複数の訓練入力９１１がネットワーク９２１に提供されてネットワーク９２１で接続部を発展させ、出力評価部９３１によって評価される出力を提供する。次いで、ネットワーク９２１をさらに発展させる（例えば、訓練する）ために、出力評価部９３１によってネットワーク９２１へとフィードバックが提供される。追加の入力９１１は、ネットワーク９２１が訓練されていると出力評価部９３１が決定するまで（例えば、出力がある特定の閾値、誤差のマージンなどに従って入力対出力の既知の相関を満たすまで）ネットワーク９２１に提供することができる。
図９Ｃは、例示的な展開されたデバイス９０３を示す。訓練デバイス９０１が必要なレベルまで学習されると、訓練デバイス９０１を使用のために展開することができる。訓練デバイス９０１が学習のために複数の入力を処理する一方で、展開されたデバイス９０３は、例えば、出力を決定するために単一の入力を処理する。図９Ｃの例に示すように、展開されたデバイス９０３は、入力定義９１３、訓練されたネットワーク９２３、および出力定義９３３を含む。訓練されたネットワーク９２３は、例えば、ネットワーク９２１が十分に訓練されると、ネットワーク９２１から生成することができる。展開されたデバイス９０３は、例えば、システム入力９１３を受け取り、ネットワーク９２３を介して入力９１３を処理して出力９３３を生成し、出力９３３は、展開されたデバイス９０３が関連付けられたシステムによって使用することができる。
例示的な超音波撮像システムおよび方法
図１０Ａは、例示的な超音波撮像自動化パイプラインまたはプロセス１０００を示す。例示的なパイプライン１０００は、プローブ載置１０１０、パラメータ設定１０２０、ドップラースキャン１０３０、試験分類１０４０、および測定性能１０５０を含む。ブロック１０１０において、超音波プローブの載置が決定される。例えば、プローブの位置は、ターゲットの解剖学的構造に対してプローブによって生成される超音波の入射角を指示する。
例えば、入射角が垂直、または垂直に近い場合、より多くの超音波がトランスデューサに反射され、「散乱」される波は少なく、より高品質の画像が得られる。しかしながら、超音波がターゲットの表面により平行である場合（例えば、入射角が４５°を超える場合）、画像の鮮明度は低くなる。オペレータは、プローブを傾けたり回転させたりし、入射角を調整することによってターゲットの画像を改善することができる。
パラメータ設定１０２０は、周波数（例えば、高周波数（１０～１５ＭＨｚ）、中周波数（５～１０ＭＨｚ）、低周波数（２～５ＭＨｚ）など）、利得、モード（例えば、神経、血管、全身、焦点など）、深度設定などの超音波撮像パラメータを設定および／または構成し、例えば、超音波システム構成および動作ならびに超音波画像データ取得を推進する。例えば、心尖部２腔、４腔、５腔、長軸（ＡＰＬＡＸ）像などの心臓像を選択することができる。像が選択されると、関心のあるポイント（「ドップラーゲート位置」と呼ばれる）が選択される。典型的なゲート位置は、異なる心臓弁および特定の組織位置を含む。加えて、連続波（ＣＷ）、脈波（ＰＷ）などの超音波モード、または組織ドップラースキャン（ＴＤＩ）用の特別なモードを選択することができる。利得、深度、ベースライン表示などの追加のパラメータも設定することができる。
ドップラースキャン１０３０は、設定されたパラメータ１０２０に従って超音波を生成し、入射波に応答して発生されるドップラースペクトルエコーをキャプチャする。
例えば、超音波スキャンのパラメータが設定されると、患者を組織モード（「Ｂモード」と呼ばれる）でスキャンすることができ、このモードでは、心臓の解剖学的構造を超音波撮像デバイスの画面で見ることができる。次に、カーソルおよび／または他のインジケータ（「ゲート」と呼ばれる）が選択された解剖学的構造（ゲート位置）に載置される。次に、選択された超音波モードおよび関連するパラメータを使用して、実際のドップラースキャンが開始される。ドップラー超音波スキャンの出力は、典型的には、スペクトログラムであり、ｘ軸が時間を表し、ｙ軸が速度に対応する２Ｄ画像を含む。ドップラースペクトログラムの各列は、その特定の時間の速度分布（ヒストグラム）を表す。ここでの速度は、例えば、ゲート位置（および／またはＣＷの場合、ゲート方向線に沿った位置）を通る血流の速さを指す。キャプチャされたスペクトルが所望の情報を含み、所望の品質である場合、スキャンプロセスは時間間隔（例えば、数秒）後に終了する。その時点で、例えば、ユーザおよび／または自動化プログラムが「フリーズ」を押してスキャンを終了する。
試験分類１０４０は、ドップラースキャン１０３０で実施された検査／試験／スキャンのタイプを識別する。ある特定の例では、試験分類１０４０は、キャプチャされたドップラースペクトルデータの適切な分析を推進するために自動的に決定される。試験タイプを適切に識別しないと、結果として得られる試験ドップラー情報を適切に処理し、正確に解釈することができない。
ある特定の例では、検査分類１０４０は、ドップラースキャン１０３０が行われた後に実行される。自動ドップラー検査分類モジュール１０３０は、複数（例えば、数百、数千など）のタグ付けされたドップラー検査で訓練された、複数のニューラルネットワークを含む。一部の例では、タグ付けされたドップラー検査データの８０パーセントがニューラルネットワークの訓練に使用され、残りの２０パーセントが訓練されたネットワークの検証に使用される（例えば、９４．８５％の精度などで）。
したがって、行われているドップラー検査のタイプをユーザが手動で（例えば、メニューナビゲーションを使用して）示すことに依存するのではなく、システムは、適用する検査のタイプ（例えば、ＡＲ、ＡＶＯ、ＬＶＯＴ、ＭＲ、ＭＶＩ、ＰＶＯ、ＰｕｌｍＶｅｉｎ、ＲＶＯＴ、ＬＡＴ、ＳＥＰ、ＲＶ、ＴＲ、ＴＶＩなど）および対応するアルゴリズムを自動的に決定し、自動的に性能測定１０５０を行う。システムは、得られたドップラースペクトルデータを処理する機械学習モデル、および例えば、超音波スキャン動作の前後にシステムに記憶された追加の情報に基づいて検査タイプを決定する。
図１０Ｂは、試験分類部１０６０の例示的な実装態様を示す。例示的な試験分類部１０６０は、例えば、試験タイプを推論してドップラースキャンデータを適切に処理するために、図１の例示的な超音波システム１００の制御ユニット１７０の一部として実現され得る。例示的な制御ユニット１７０は図１０Ａのプロセス１０００全体を制御する命令を実行することができるが、図１０Ｂの例示の焦点は、プロセス１０００の試験分類１０４０を実行する試験分類部１０６０にある。
例示的な試験分類部１０６０は、画像キャプチャ部１０６２、パラメータデータストア１０６４、パラメータ計算部１０６６、心臓周期モニタ１０６８、ドップラースペクトルレコーダ１０７０、および検査タイプ推論部１０７２を含む。例示的な画像キャプチャ部１０６２は、超音波システム１００による画像データ（例えば、２Ｄ画像データ、Ｂモード画像データなど）のキャプチャをトリガし、かつ／または促進する。例示的なパラメータデータストア１０６４は、物理スキャン手順、デバイス動作、表示オプション、記憶オプションなどに関する画像スキャンパラメータを記憶する。例示的なスキャンパラメータは、スキャン深度、フォーカスチルト、フォーカス深度、絞り、ベースライン位置、速度間隔、超音波モードなどを含む。パラメータ計算部１０６６は、Ｂモード画像の解剖学的位置を示すゲート座標（ｘ、ｙ）などのパラメータを計算する。心臓周期モニタ１０６８は、患者の心臓周期情報を監視する。ドップラースペクトルレコーダ１０７０は、キャプチャされたドップラースペクトルを記録し、これは心臓周期モニタからの心臓周期に従ってセグメント化することができる。検査タイプ推論部１０７２は、行われている／行われる試験の検査タイプまたは分類を推論するために、心臓周期に従ってセグメント化された、キャプチャされた画像データ、パラメータ、および記録されたドップラースペクトルを使用する。検査タイプ推論部１０７２は、複数のニューラルネットワーク、フィルタ、およびプロセッサを含み、利用可能な情報を処理して関連する検査タイプを推論する。検査タイプが決定されると、検査タイプに対応する１つまたは複数のアルゴリズムを適切に適用し、取得された画像データを処理することができる。それ以外の場合では、画像検査タイプなどの知識がなければ、誤ったアルゴリズムが画像データに適用される場合や、アルゴリズムをまったく適用することができない場合がある。
図１１は、検査タイプとドップラースキャンパラメータとの間の例示的な関係を示す。図１１の例示的な表１１００に示すように、ゲート位置１１１０は、１つまたは複数の特定の検査タイプ１１２０、撮像モード１１３０、および像１１４０に関連する。例えば、ゲート位置１１１０が大動脈弁にあるとき、検査タイプ１１２０は、例えば、ＡＲ、ＡＶＯ、またはＬＶＯＴのいずれかであり得る。モード１１３０は、ＣＷまたはＰＷであり、標準像１１４０は、例えば、５腔像および心尖部長軸（ＡＰＬＡＸ）像を含む。ゲート位置１１１０が僧帽弁であるとき、検査タイプ１１２０は、例えば、ＭＲまたはＭＶＩであり得る。モード１１３０は、ＣＷまたはＰＷであり、標準像１１４０は、例えば、４腔像、２腔像、およびＡＰＬＡＸ像を含む。ゲート位置１１１０が肺静脈であるとき、検査タイプ１１２０は、例えば、肺静脈であり得る。モード１１３０は、ＰＷであり、標準像１１４０は、例えば、４腔像を含む。ゲート位置１１１０が肺動脈弁であるとき、検査タイプ１１２０は、例えば、ＰＶＯまたはＲＶＯＴであり得る。モード１１３０は、ＣＷまたはＰＷであり、標準像１１４０は、例えば、胸骨傍短軸（ＰＳＡＸ）基部像および胸骨傍ＲＶＯＴ像を含む。ゲート位置１１１０が三尖弁であるとき、検査タイプ１１２０は、例えば、ＴＲまたはＴＶＩであり得る。モード１１３０は、ＣＷまたはＰＷであり、標準像１１４０は、例えば、ＴＶＩ／ＰＷの４腔像および４腔像、胸骨傍ＲＶ流入像、ならびにＴＲ／ＣＷのＰＳＡＸ像を含む。ゲート位置１１１０が僧帽弁側壁であるとき、検査タイプ１１２０は、例えば、ＬＡＴであり得る。モード１１３０は、ＴＤＩであり、標準像１１４０は、例えば、４腔像を含む。ゲート位置１１１０が僧帽弁中隔であるとき、検査タイプ１１２０は、例えば、ＳＥＰであり得る。モード１１３０は、ＴＤＩであり、標準像１１４０は、例えば、４腔像を含む。ゲート位置１１１０が三尖弁右壁（自由壁）であるとき、検査タイプ１１２０は、例えば、ＲＶであり得る。モード１１３０は、ＴＤＩであり、標準像１１４０は、例えば、４腔像を含む。
スキャンが取得された後、１つまたは複数の測定が得られたスペクトルに対して行われる。多くの場合、ＭＶＩまたはＴＤＩ検査で行われる例示的な測定セットは、Ｅ波およびＡ波のピーク速度を含む。Ｅ波は、（心室が弛緩して血液を吸い込む負圧を作り出す際の）初期の拡張期流入に関係し、Ａ波は、心房収縮に起因するその後の流入に関係する。Ｅ波とＡ波のピークの関係（「Ｅ／Ａ比」と呼ばれる）は、拡張期機能障害などの病態を診断する際に重要である。また、いくつかの状況で興味深いのはＥ波の減速であり、これはＥ波のピーク後の血液速度の負の勾配を含む。
他のタイプの検査では、異なるタイプの測定が行われる。例えば、ＬＶＯＴの場合、スペクトル上の最大速度のトレースであるエンベロープが推定される。そのようなエンベロープは、エンベロープの下の面積（例えば、速度時間積分）を算出することによって、例えば、１回拍出量（心臓周期あたりの心臓による血液排出量）を評価するために使用される。このような測定は、従来、ユーザが手動で行うために検査が比較的長くなり、完全に正確ではない。
しかしながら、測定の自動化は、検査タイプがわかっている場合にのみ機能する。自動化ドップラー検査分類部１０４０は、スキャン完了または「フリーズ」時に利用可能な情報をキャプチャおよび／または得て、画像取得に関連する可能性が高い／確率的に画像取得に関連する検査タイプを返す。検査／試験分類部１０４０は、例えば、ネットワーク訓練のためにタグ付けされたトレース（例えば、医師がタグ付けされたトレースなど）を使用する画像検査タイプを自動的に分類する１つまたは複数のニューラルネットワークを含むことができる。
「フリーズ」時において、超音波デバイスは、検査タイプ分類に使用することができる次のデータを含む：２ＤまたはＢモード画像、スキャンパラメータ、およびドップラースペクトル心臓周期。図１２は、超音波撮像デバイス１００の表示ユニット１５０に関連する例示的な超音波デバイス画面１２００を示す。例示的なインターフェース画面１２００は、ミニチュア画像１２０１（例えば、取得された２ＤまたはＢモード画像の画像サムネイルおよび／または他の縮小サイズおよび／または解像度表現）を含む。例示的なインターフェース画面１２００はまた、キャプチャされたドップラースペクトル１２０２および関連するスケール１２０３を含む。例示的な画面１２００は、心電図（ＥＣＧ）１２０４、心拍数１２０５、およびグレースケールインジケータ１２０６をさらに含む。
図１２の例は、「フリーズ」またはホールド状態のデバイス画面１２００を示し、行われている検査のタイプ１２１０（例えば、ＡＲ、ＡＶＯ、ＬＶＯＴ、ＭＲ、ＭＶＩ、ＰＶＯ、肺静脈、ＲＶＯＴ、ＬＡＴ、ＳＥＰ、ＲＶ、ＴＲ、ＴＶＩなど）を分類またはカテゴリ化するために使用される情報をキャプチャする。２ＤまたはＢモード画像は、超音波フレームであり、ドップラースキャンの前に標準Ｂモードでスキャンされる。ここでは、標準像、ならびにドップラースペクトルがスキャンされた解剖学的構造上の面積を指す「ゲート」を見ることができる。
ある特定の例では、物理スキャン手順、デバイス動作、閲覧および記憶オプションなどに関係する、数百または数千のスキャンパラメータがデバイス１２００に記憶される。ある特定の例では、目的の検査の指標としてパラメータのサブセットを選択することができる。すぐに利用可能ではない１つの重要なパラメータは、スキャンされた解剖学的位置を示すことができるＢモード画像の「ゲート」の座標である。しかしながら、ゲート座標（ｘ、ｙ）は、次のように計算することができる。
Figure 0007123891000001
Figure 0007123891000002
 ある特定の例では、入力パラメータは、以下を含む：
１．スキャン深度（ｄｏｐｐｌｅｒＳａｍｐｌｅＭｏｖｉｅ：＃ＵｓｅｒＣｏｎｔｒｏｌｓ．ＲＯＩＣｅｎｔｅｒ）、
２．フォーカスチルト（ｄｏｐｐｌｅｒＳａｍｐｌｅＭｏｖｉｅ：＃ＵｓｅｒＣｏｎｔｒｏｌｓ．ＢｅａｍＰｏｓｉｔｉｏｎ）、ラジアン単位、
３．最大フォーカス深度（ｔｗｏＤＳａｍｐｌｅＭｏｖｉｅ：＃ＵｓｅｒＣｏｎｔｒｏｌｓ．ＤｅｐｔｈＥｎｄ）、
４．最小フォーカス深度（ｔｗｏＤＳａｍｐｌｅＭｏｖｉｅ：＃ＵｓｅｒＣｏｎｔｒｏｌｓ．ＤｅｐｔｈＳｔａｒｔ）、
５．絞り（ｔｗｏＤＳａｍｐｌｅＭｏｖｉｅ：＃ＵｓｅｒＣｏｎｔｒｏｌｓ．Ｗｉｄｔｈ）、ラジアン単位、
６．ベースライン位置（ｍｅｔａｄａｔａ：ＲｅｌａｔｉｖｅＢａｓｅｌｉｎｅＰｏｓｉｔｉｏｎ）、
７．式（１）および（２）で算出された、ゲート座標（ｘ；ｙ）、
８．速度間隔（ｍｅｔａｄａｔａ：ＶｅｌｏｃｉｔｙＩｎｔｅｒｖａｌ）、（２つの値）、および
９．超音波モード（ｍｅｔａｄａｔａ：ＤｏｐｐｌｅｒＭｏｄｅＮａｍｅ）。
超音波モード文字列パラメータを有用な数値入力に変換するために、超音波モード文字列は、３つのバイナリインジケータ｛ｍｏｄｅ＿ＣＷ、ｍｏｄｅ＿ＰＷ、およびｍｏｄｅ＿ＴＤＩ｝に分割され、これらは訓練および推論で使用される実際の特徴である。
これらの入力パラメータを使用すると、パラメータ特徴の数は１３であり、６つの単一値パラメータ、２つの二重値パラメータ、および３つのバイナリインジケータを含む。
ある特定の例では、患者がドップラースキャン中に心電図（ＥＣＧ）デバイスに接続され、ＥＣＧ信号が超音波デバイスによってキャプチャされる。超音波デバイスはＥＣＧ信号を使用して、各心臓周期について、ＥＣＧ Ｒ波のピークでトリガを算出し、トリガもシステムに記憶される。心臓周期トリガを使用して、ドップラースペクトログラムを心臓周期スペクトログラムにセグメント化することができる。ある特定の例では、完全な心臓周期のみが考慮され、初期および最終の部分サイクルは破棄することができる。
図１３は、撮像検査分類分析のためのデバイス１２００に関して提供される入力データおよび関連する出力１３００の例を示す。図１３の例に示すように、超音波ドップラースキャンのためのパラメータ１３１０、ならびに生の非変換画像データ配列としてのＢモード画像１３２０を抽出することができる。ドップラースペクトル１３３０は、心臓周期１３３２、１３３４、１３３６にセグメント化され、これらは例えば、患者に接続されたＥＣＧデバイスを介してキャプチャされ、セグメント１３３２～１３３６に切断される。
ある特定の例では、撮像検査タイプは、図１４に示すような例示的な分類システム１４００を使用して分類される。例示的な分類システム１４００は、所与の心臓周期スペクトログラムと超音波パラメータ（ネットワーク「ＮＮ１」１４１２～１２４１６）からのデータに基づいて検査タイプを分類する、複数の第１タイプのニューラルネットワーク１４１２～１４１６を含む。例示的な分類システムは、Ｂモード画像と（同じ）超音波パラメータ（ネットワーク「ＮＮ２」１４２０）に基づいて検査タイプを分類する、第２タイプのニューラルネットワーク１４２０を含む。
各心臓周期スペクトログラム１３３２～１３３６は、最初に２Ｄ高速フーリエ変換（ＦＦＴ）手順またはフィルタ１４３２～１４３６によって処理される。次に、複数の（例えば、７４１など）低周波数２Ｄ ＦＦＴ係数が選択され、それらの絶対値がＦＦＴフィルタ１４３２～４４３６によって算出される。これらの係数値は、第１タイプのニューラルネットワークＮＮ１ １４１２～１４１６への入力として使用される。ＦＦＴを使用すると、可変サイズのスペクトログラム１３３２～１３３６は、ニューラルネットワークＮＮ１ １４１２～１４１６の入力として使用される固定数（７４１など）の値に変換される。したがって、可変サイズの画像をサイズ変更するのではなく、スペクトログラム１３３２～１３３６の情報がＦＦＴ出力係数値に変換される。例えば、ＦＦＴと低周波数係数の選択を使用すると、画像のサイズ変更よりも結果が改善される。ＦＦＴは、画像のエネルギーをコンパクトな表現に圧縮することができるため、例えば、画像のサイズ変更したバージョンよりも多くの情報を保持する。
他の例では、スペクトルのＦＦＴを算出するのではなく、画像をサイズ変更することができる。したがって、固定サイズの入力は、例えば、ＦＦＴを介したフィルタリングおよび／または利用可能な画像データのサイズ変更によって取得され得る。
ある特定の例では、２Ｄ－ＦＦＴ係数（例えば、７４１ ２Ｄ－ＦＦＴ係数など）は、次のように生成される：
Ｉ［－Ｌ＋１：、－Ｌ＋１：］およびＩ［－Ｌ＋１：、０：Ｌ］ （式３）、
式中、Ｉは、２Ｄ－ＦＦＴ変換された行列を示し、Ｌ＝２０である。上記の式（３）の表現は、ＰｙｔｈｏｎのＮｕｍｐｙ配列のインデックス付け規則に従う（例えば、［－Ｍ：］は、配列の最後のＭ値を指す）。
各心臓周期についてＦＦＴフィルタ１４３２～１４３６によって算出されたＦＦＴ係数値は、入力パラメータ１３１０と組み合わされて、ニューラルネットワークＮＮ１ １４１２～１４１６の入力を形成する。各心臓周期のＮＮ１ １４１２～１４１６のネットワーク出力は、利用可能な各検査クラスの確率の分布である（例えば、１０クラス、ＡＲ、ＡＶＯ、ＬＶＯＴ、ＭＲ、ＭＶＩ、ＰＶＯ、ＰｕｌｍＶｅｉｎ、ＲＶＯＴ、ＬＡＴ、ＳＥＰ、ＲＶ、ＴＲ、ＴＶＩなどの１３クラス、１４クラス、１５クラスなど）。すなわち、出力は可能な検査クラスの数（例えば、１０、１３、１４、１５など）に対応する値のリストであり、それらの値の合計は１に等しい。出力の最大値は、ドップラー超音波検査の最も可能性の高いクラスを示す。
ＮＮ１ １４１２～１４１６のＦＦＴ入力およびパラメータ１３１０の分析は、各心臓周期スペクトログラム１３３２～１３３６に対して行われる。利用可能な心臓周期の数は可変であるため、ＮＮ１ １４１２～１４１６の分析が繰り返される回数は、所与の検査について事前に決定することはできない。各心臓周期によって得られた分布は平均化され１４４０、所与のスペクトル１３３０全体の検査クラスタイプの確率を提供する１つの１３値の分布が得られる。
並行して、第２のニューラルネットワークＮＮ２ １４２０は、Ｂモード画像１３２０およびパラメータ１３１０に基づいて別の多値分布（例えば、多数の可能なクラスに対応する１０値、１３値、１４値、１５値など）を算出する。ＮＮ２ １４２０は、１つのＢモードフレーム１３２０を利用して、検査ごとに１回適用される。ネットワークＮＮ２ １４２０に入力される前に、Ｂモード画像１３２０は、サイズ変更される（例えば、３２×３２ピクセルになど）。パラメータのリスト１３１０は、ネットワークＮＮ１ １４１２～１４１６への入力として使用されるパラメータ１３１０のセットと同じである。
次に、ＮＮ１ネットワークインスタンス１４１２～１４１６からの平均分布は、ネットワークインスタンスＮＮ２ １４２０からの分布出力と線形的に組み合わされる１４５０。組み合わせ１４５０は、スペクトルベースの分布に２／３、Ｂモードベースの分布に１／３の組み合わせの重みを使用するなどして合計１に重み付けすることができ、例えば、スペクトルベースの分布とＢモードベースの分布の重みが１／２と１／２に分割される。組み合わせ部１４５０は、行われている／行われるドップラー超音波検査のタイプの分類のために、値の重み付けされた組み合わせを分類部１４６０に提供する。
ある特定の例では、ニューラルネットワークＮ１ １４１２～１４１６およびＮ２ １４２０は、タグ付けされたドップラー検査データを使用して訓練され、各々は、心臓周期スペクトログラムと共に利用可能な検査クラス（例えば、１０、１３、１４、１５など）の１つに割り当てられる。タグ付けされた検査データは、訓練検査（例えば、～８０％）と検証検査（例えば、～２０％）の２つのグループに分割される。
ＮＮ１ネットワーク１４１２～１４１６を訓練するために、心臓－周期＋パラメータデータセットが作成される。このデータセットの各行は、１つの心臓周期に関係し、Ｎパラメータ特徴（１３のパラメータ特徴、１４の特徴など）およびクラスタグと連結された固定サイズの入力（例えば、ＦＦＴ係数値（例えば、４８１のＦＦＴ値など）など）を含む。ある特定の例では、所与の検査に対応する心臓周期記録は、同じＮ個の超音波特徴パラメータを有する。
ある特定の例では、ＮＮ１ネットワーク１４１２～１４１６は、第１および第２の隠れ層を含む４層の密に接続されたニューラルネットワークモデルである。いくつかの例では、第１および第２の隠れ層は、それぞれ５０および２５のノードを含む。ある特定の例では、活性化関数はすべてのニューロンのシグモイドであり、出力層は１３の長さのソフトマックス層である。
訓練検査に関連する心臓－周期＋パラメータ記録は訓練に使用され、残りの記録は検証に使用される。したがって、所与の検査の心臓周期は、訓練または検証のいずれかに使用されるが、両方には使用されない。
ＮＮ２ １４２０の場合、Ｂモード＋パラメータデータセットが作成され、各行は、１つの画像検査に関係する。各行の入力は、ＮＮ１ １４１２～１４１６に関連して使用されるパラメータ特徴（例えば、１３のパラメータ特徴、１４、１５など）１３１０、ならびにクラスタグと連結された、ダウンスケールされたＢモードフレーム１３２０のピクセル（例えば、３２×３２ピクセルなど、１つのベクトルにフラット化された、フラット化されていないなど）である。ＮＮ２ １４２０のモデルは、ＮＮ１ １４１２～１４１６のモデルと同様であり、隠れ層の層およびノードの数が同じで、出力層も同じである。ＮＮ１ １４１２～１４１６と同様に、訓練検査に関連する行は訓練に使用され、残りの行は検証に使用される。
図１５は、試験データに関する例示的なドップラー検査分類結果の表１５００を示す。例示的な表１５００に示すように、検査タイプの実際の値１５１０は、検査タイプの予測値１５２０と比較することができる。図１５の例の精度は、４６０／４８５＝９４．８５％の結果の全体の合計で除算された対角の合計を算出することによって、決定することができる。したがって、図１４のシステムによって行われる最終のドップラー超音波検査タイプ分類は、９４．８５％の精度を提供する。
したがって、患者が複数（例えば、１３など）の検査カテゴリまたはタイプの１つに従ってスキャンされる場合、超音波デバイスは、その検査カテゴリに関連するパラメータ（例えば、デバイス設定、スキャンモード（例えば、ＰＷ、ＣＷなど）など）に従って構成される。次いで、超音波プローブを患者に対して位置決めし、Ｂモード画像１３２０を得る。プローブは、スキャンされる大動脈、僧帽弁、および／または他の解剖学的構造に焦点を合わせるように調整することができる（例えば、大動脈弁逆流などを見るため）。したがって、Ｂモード画像１３２０は、ドップラースキャンがどこで行われるか（例えば、心臓内の特定の位置など）を指定するためのユーザの基準である。座標（例えば、＜ｘ、ｙ、ｚ＞座標など）は、焦点の指標を提供し、ニューラルネットワーク１４１２～１４２０によって使用されて焦点の解剖学的構造を決定し、焦点およびパラメータ１３１０などの解剖学的構造に基づいてドップラー検査の分類またはカテゴリ化を外挿することができる。
ドップラーモードでは、スキャン手順がフリーズされ、スペクトログラム１３３０がドップラースキャンで経時的に閲覧されるように、時間をｘ軸としてスペクトログラム１３３０を得る。ＥＣＧデータも同様に、キャプチャすることができる。患者がスキャンされると、スペクトルはＥＣＧ読み出しと同期し、時間が右に移動すると移動する。情報が得られると、スキャンをフリーズするか、または例えば、データを処理して終了する。
キャプチャされたデータの手動測定（例えば、ピークの高さの測定、曲線下面積の算出など）には数分かかる場合があるが、コンピュータおよび／または他のプロセッサによる自動化測定は数秒で完了することができる。しかしながら、システムがデータの測定と処理に適用するアルゴリズムを知るためには、システムは、異なるスキャン／目標／意図が異なる処理アルゴリズムおよび／または異なるパラメータに関連付けられて処理アルゴリズムを構成するため、スキャンの意図またはタイプを知る必要がある。それ以外の場合では、自動化アルゴリズムは、情報を処理することができず、意味のある有用な結果を達成することができない。したがって、ある特定の例は、使用可能な出力を生成するために適切なアルゴリズムおよび／またはアルゴリズムのパラメータを自動的に選択および適用する意図（例えば、検査タイプ、分類、カテゴリなど）を推論する。
図１～図１５と関連して例示的な実装態様が示されているが、図１～図１５に関連して示される要素、プロセス、および／またはデバイスは、他の方法で組み合わせること、分割すること、再配置すること、省略すること、排除すること、および／または実現することができる。さらに、本明細書に開示および説明される構成要素は、ハードウェア、機械可読命令、ソフトウェア、ファームウェア、ならびに／もしくはハードウェア、機械可読命令、ソフトウェアおよび／またはファームウェアの任意の組み合わせによって実現することができる。したがって、例えば、本明細書に開示および説明される構成要素は、アナログおよび／またはデジタル回路、論理回路、プログラム可能プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、および／またはフィールドプログラム可能論理デバイス（ＦＰＬＤ）によって実現することができる。純粋にソフトウェアおよび／またはファームウェアの実装態様をカバーするために、この特許の装置またはシステムクレームのいずれかを読む場合、構成要素の少なくとも１つは、ソフトウェアおよび／またはファームウェアを記憶する、メモリ、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、ブルーレイディスクなどの有形のコンピュータ可読記憶デバイスまたは記憶ディスクを含むように本明細書によって明確に定義される。
本明細書に開示および説明される構成要素を実現するための例示的な機械可読命令を表すフローチャートが、少なくとも図１６～図１８に関連して示される。これらの例において、機械可読命令は、図１９に関連して以下で説明される例示的なプロセッサプラットフォーム１９００に示されるプロセッサ１９１２などのプロセッサによる実行のためのプログラムを含む。本プログラムは、ＣＤ－ＲＯＭ、フロッピーディスク、ハードドライブ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、またはプロセッサ１９１２と関連するメモリなどの有形のコンピュータ可読記憶媒体に記憶された機械可読命令で実施することができるが、あるいは、プログラム全体および／またはその一部を、プロセッサ１９１２以外のデバイスによって実行すること、および／またはファームウェアもしくは専用のハードウェアで実施することも可能である。さらに、例示的なプログラムは、少なくとも図１６～図１８に関連して示されるフローチャートを参照して説明されるが、本明細書に開示および説明される構成要素を実現する多くの他の方法を代わりに使用してもよい。例えば、ブロックの実行順序を変更してもよく、記載されたブロックのいくつかを変更したり、削除したり、組み合わせたりしてもよい。少なくとも図１６～図１８のフローチャートは例示的な動作を図示の順序で示しているが、これらの動作は網羅的なものではなく、示された順序に限定されない。加えて、本開示の精神および範囲内で、当業者によって様々な変更および修正がなされてもよい。例えば、フローチャートに示されるブロックは、別の順序で行ってもよいし、並列に行ってもよい。
上述したように、少なくとも図１６の例示的なプロセスは、情報を任意の期間にわたって記憶する（例えば、長期間にわたって記憶し、恒久的に記憶し、短時間だけ記憶し、一時的にバッファし、さらには／あるいは情報をキャッシュする）ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、ならびに／あるいは任意の他の記憶デバイスまたは記憶ディスクなどの有形のコンピュータ可読記憶媒体に記憶された符号化命令（例えば、コンピュータおよび／または機械可読命令）を使用して実現することができる。本明細書で使用される場合、有形のコンピュータ可読記憶媒体という用語は、任意のタイプのコンピュータ可読記憶デバイスおよび／または記憶ディスクを含み、伝搬する信号を排除し、伝送媒体を排除するように明示的に定義される。本明細書で使用される場合、「有形のコンピュータ可読記憶媒体」および「有形の機械可読記憶媒体」は、互換的に使用される。これに加え、あるいはこれに代えて、少なくとも図１６～図１８の例示的なプロセスは、情報を任意の期間にわたって記憶する（例えば、長期間にわたって記憶し、恒久的に記憶し、短時間だけ記憶し、一時的にバッファし、さらには／あるいは情報をキャッシュする）ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、ならびに／あるいは任意の他の記憶デバイスまたは記憶ディスクなどの非一時的なコンピュータおよび／または機械可読媒体に記憶された符号化命令（例えば、コンピュータおよび／または機械可読命令）を使用して実現され得る。本明細書で使用される場合、非一時的コンピュータ可読媒体という用語は、任意のタイプのコンピュータ可読記憶デバイスおよび／または記憶ディスクを含み、伝搬する信号を排除し、伝送媒体を排除するように明示的に定義される。本明細書で使用される場合、「少なくとも」という句が、請求項の前文における遷移用語として使用される場合、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語がオープンエンドであるのと同様にオープンエンドである。加えて、「含む（ｉｎｃｌｕｄｉｎｇ）」という用語は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語がオープンエンドであるのと同様にオープンエンドである。
図１６に示される例示的な方法１６００に示すように、超音波ドップラー検査は、取得されて処理される。ブロック１６１０において、ドップラー検査が取得される。例えば、超音波プローブ１１０は、ターゲットに対して位置決めされ、例示的な試験分類部１０６０は
ブロック１６２０において、アルゴリズムおよび／またはモデルがドップラー検査に適用され、ドップラー検査のタイプに従って測定出力を生成する。例えば、検査タイプに基づいて、特定のアルゴリズムおよび／またはモデルがドップラースペクトルスキャンデータに適用され、スキャンされたドップラースペクトルの測定値を生成する。
ブロック１６３０において、ドップラースキャンデータのアルゴリズムおよび／またはモデル処理からの測定出力が提供される。例えば、測定出力は、表示、レポート、記憶、別の臨床システムに送信して処理などを行うことができる。
図１７は、アルゴリズムおよび／またはモデルを使用したドップラー検査の処理に関するさらなる詳細を提供する（図１６の例のブロック１６２０）。ブロック１７１０において、ドップラー検査が分類される。例えば、検査は、タイプ（例えば、僧帽弁値、ＴＶＩなど）および／または病態（例えば、重度の僧帽弁逆流など）に従って分類することができる。ブロック１７２０において、ドップラースペクトルタイプに関連するアルゴリズムおよび／またはモデルは、スキャンされたドップラースペクトルに適用される。例えば、血流分析アルゴリズムおよび／またはモデルは、心臓ドップラー検査タイプに適用することができる。例えば、組織（Ｂモード）タイプの超音波スキャンに対して、ポイントおよび／またはビーム方向の情報と移動速度を生成することができる。例えば、スキャンタイプに応じて、Ｅ／Ａピーク比を算出することができ、かつ／またはエンベロープトレース下の面積を算出することができる。
図１８は、ドップラー検査の分類に関するさらなる詳細を提供する（図１７の例のブロック１７１０）。ブロック１８０２において、画像データがキャプチャされる。例えば、１つまたは複数の２Ｄおよび／またはＢモード画像は、撮像デバイス１００によってキャプチャされ、画像キャプチャ部１０６２に中継される。ブロック１８０４において、スキャンパラメータが計算されて記憶される。いくつかのスキャンパラメータは、撮像デバイス１００から得ることができ（例えば、スキャン深度、フォーカスチルト、フォーカス深度、絞り、ベースライン位置、速度間隔、超音波モードなど）、その他はパラメータ計算部１０６６によって計算される（例えばゲート座標（ｘ、ｙ）など）。パラメータは、例えば、パラメータデータストア１０６４に記憶することができる。
ブロック１８０６において、ドップラースペクトルデータが記録される。例えば、ドップラースペクトル情報は、撮像デバイス１００によってキャプチャされ、ドップラースペクトルレコーダ１０７０に中継される。ブロック１８０８において、ターゲットの心臓周期情報が監視される。例えば、心臓周期モニタ１０６８は、ターゲットの心臓周期を示すＥＣＧデータを受信する。ブロック１８１０において、記録されたドップラースペクトルは、監視された心臓周期に従ってセグメント化され得る。例えば、ドップラースペクトルはセグメントに分割することができ、各セグメントはターゲットの心臓周期に対応する。
ブロック１８１２において、フィルタがドップラースペクトルデータのセグメントに適用される。例えば、ＦＦＴ１４３２～１４３６は、スキャンされたドップラースペクトル情報の対応するセグメント１３３２～１３３６に適用される。ブロック１８１４において、フィルタ出力がニューラルネットワーク（ＮＮ１）１４１２～１４１６の第１のセットに提供される。ニューラルネットワーク１４１２～１４１６の第１のセットは、ＦＦＴ１４３２～１４３６からの出力を処理し、利用可能な各検査分類におけるメンバーシップの確率を生成する。例えば、ニューラルネットワーク１４１２～１４１６は、フィルタリングされたドップラーセグメントデータをパラメータ１３１０と共に処理し、各セグメントが試験タイプの１３の可能なカテゴリまたは分類の１つに属する確率を決定する。したがって、ニューラルネットワーク１４１２～１４１６の各々からの出力は、所与のセグメント１３３２～１３３６が各可能なクラスに存在する確率のセットである。ニューラルネットワーク分析は、利用可能なすべてのドップラーセグメントに対して完了する（例えば、検査によって異なる場合がある）。最大の確率（例えば、１３の可能な分類値のセットの最高値など）は、検査の最も可能性の高い分類を示す。
ブロック１８１６において、第１のニューラルネットワークのセットの出力が平均化される。例えば、各セグメント１３３２～１３３６は、１３の分類確率値のセットを有する。対応する値を平均化し、ドップラースキャン全体の１３の分類確率値のセットを形成することができる。
ブロック１８１８において、画像（例えば、２Ｄおよび／またはＢモード画像）がサイズ変更される。例えば、画像を３２×３２ピクセルにサイズ変更することができる。ブロック１８２０において、サイズ変更された画像は、第２のニューラルネットワーク（ＮＮ２）１４２０に適用される。例えば、ニューラルネットワーク１４２０は、サイズ変更された画像１３２０をパラメータ１３１０と共に処理し、画像１３２０が試験タイプの１３の可能なカテゴリまたは分類の１つに属する確率を決定する。したがって、ニューラルネットワーク１４２０からの出力は、画像１３２０が各可能なクラスに存在する確率のセットである。最大の確率（例えば、１３の可能な分類値のセットの最高値など）は、検査の最も可能性の高い分類を示す。
ブロック１８２２において、第２のニューラルネットワーク１４２０の出力は、ニューラルネットワーク１４１２～１４１６の第１のセットの平均化された出力と組み合わされる。例えば、ネットワークＮＮ１ １４１２～１６からの平均分布は、ネットワークＮＮ２ １４２０からの分布出力と線形的に組み合わされる。ある特定の例では、ＮＮ１のスペクトルベースの分布に２／３、ＮＮ２のＢモードベースの分布に１／３の組み合わせの重みが設定される。ブロック１８２４において、ＮＮ１とＮＮ２の出力の組み合わせに基づいて、ドップラー検査タイプが分類される。例えば、組み合わせ後、１３の可能なクラスの中で最も高い確率のクラスは、撮像検査の最も可能性の高い分類である。検査は、アルゴリズム／モデルの自動化選択および検査データの処理のためにそのクラスのものであると推論される。したがって、現在のシステムおよび方法は、人間だけが検査タイプを手動で入力することができるために画像データ処理を自動化することは不可能であるが、ある特定の例では、複数のニューラルネットワークを使用して画像およびパラメータ情報を処理し、例えば、画像データの処理を自動化する検査タイプを推論することによって、この技術的問題を克服する。
いくつかの例を超音波画像に関して図示および説明したが、同じシステムおよび方法を、ＭＲ、Ｘ線、ＭＩＣＴ、ＣＴなどに適用することができる。いくつかの例においては、ＣＴモデルをＭＲ画像に適用するなど、手段を組み合わせることが可能である。
図１９は、少なくとも図１６～図１８の命令を実行するように構成された例示的なプロセッサプラットフォーム１９００のブロック図であり、本明細書に開示および説明される例示的な構成要素を実現する。プロセッサプラットフォーム１９００は、例えば、サーバ、パーソナルコンピュータ、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、インターネットアプライアンス、または任意の他のタイプのコンピューティングデバイスとすることができる。
図示の例のプロセッサプラットフォーム１９００は、プロセッサ１９１２を含む。図示の例のプロセッサ１９１２は、ハードウェアである。例えば、プロセッサ１９１２は、任意の所望のファミリまたは製造業者からの集積回路、論理回路、マイクロプロセッサまたはコントローラによって実現することができる。
図示の例のプロセッサ１９１２は、ローカルメモリ１９１３（例えば、キャッシュ）を含む。図１９の例示的なプロセッサ１９１２は、少なくとも図１６～１８の命令を実行し、例示的な試験分類部１０６０などの図１～図１８のシステムおよびインフラストラクチャならびに関連する方法を実現する。図示の例のプロセッサ１９１２は、バス１９１８を介して揮発性メモリ１９１４および不揮発性メモリ１９１６を含む主メモリと通信する。揮発性メモリ１９１４は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、および／または任意の他のタイプのランダムアクセスメモリデバイスによって実現することができる。不揮発性メモリ１９１６は、フラッシュメモリおよび／または任意の他の所望のタイプのメモリデバイスによって実現することができる。主メモリ１９１４、１９１６へのアクセスは、クロックコントローラによって制御される。
図示の例のプロセッサプラットフォーム１９００はまた、インターフェース回路１９２０を含む。インターフェース回路１９２０は、イーサネットインターフェース、ユニバーサルシリアルバス（ＵＳＢ）、および／またはＰＣＩエクスプレスインターフェースなどの任意のタイプのインターフェース規格によって実現することができる。
図示の例では、１つまたは複数の入力デバイス１９２２がインターフェース回路１９２０に接続される。入力デバイス１９２２は、ユーザがデータおよびコマンドをプロセッサ１９１２に入力することを可能にする。入力デバイスは、例えば、センサ、マイクロフォン、カメラ（静止画または動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントおよび／または声認識システムによって実現することができる。
１つまたは複数の出力デバイス１９２４もまた、図示の例のインターフェース回路１９２０に接続される。出力デバイス１９２４は、例えば、ディスプレイデバイス（例えば、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、液晶ディスプレイ、ブラウン管ディスプレイ（ＣＲＴ）、タッチスクリーン、触覚出力デバイス、および／またはスピーカ）によって実現することができる。したがって、図示の例のインターフェース回路１９２０は、典型的には、グラフィックスドライバカード、グラフィックスドライバチップまたはグラフィックスドライバプロセッサを含む。
図示の例のインターフェース回路１９２０はまた、ネットワーク１９２６（例えば、イーサネット接続、デジタル加入者回線（ＤＳＬ）、電話回線、同軸ケーブル、携帯電話システムなど）を介した外部機械（例えば、任意の種類のコンピューティングデバイス）とのデータのやり取りを容易にするために、送信器、受信器、トランシーバ、モデム、および／またはネットワークインターフェースカードなどの通信デバイスを含む。
図示の例のプロセッサプラットフォーム１９００は、ソフトウェアおよび／またはデータを記憶するための１つまたは複数の大容量記憶デバイス１９２８も含む。そのような大容量記憶デバイス１９２８の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、ＲＡＩＤシステム、およびデジタル多用途ディスク（ＤＶＤ）ドライブを含む。
図１９の符号化命令１９３２は、大容量記憶デバイス１９２８、揮発性メモリ１９１４、不揮発性メモリ１９１６、および／またはＣＤもしくはＤＶＤなどの取り外し可能な有形のコンピュータ可読記憶媒体に記憶することができる。
上記から、複数の深層学習および／または他の機械学習技術を使用して、撮像および／または他のヘルスケアシステムの動作を監視、処理、および改善するために、上記した開示の方法、装置、および製造物品が開示されていることが理解されよう。
本明細書では、ある特定の例示的な方法、装置、および製造物品について説明したが、本特許の適用範囲はこれに限定されない。むしろ反対に、本特許は、本特許の特許請求の範囲の技術的範囲に正当に含まれるすべての方法、装置、および製造物品を包含する。
１００ 超音波診断装置、超音波システム、超音波スキャン装置、超音波撮像デバイス
１１０ 超音波プローブ
１２０ 送受信ビームフォーマ
１３０ エコーデータ処理ユニット
１４０ 表示制御ユニット
１５０ 表示ユニット
１６０ 操作ユニット
１７０ 制御ユニット
１８０ スピーカ
２００ ドップラー処理ユニット
２１０ 直交検波ユニット
２２０ ウォールフィルタユニット
２３０ メモリ
２４０ 高速フーリエ変換（ＦＦＴ）処理ユニット
２５０ 信号推定ユニット
２６０ 逆高速フーリエ変換（ＩＦＦＴ）処理ユニット
２７０ オーディオ処理ユニット
３００ 学習ニューラルネットワーク
３１０ 入力
３１２ 入力
３１４ 入力
３１６ 入力
３２０ 入力層、第１の層
３２２ 入力ノード
３２４ 入力ノード
３２６ 入力ノード
３３０ ニューラル接続部
３３２ 例示的な接続部
３３４ 例示的な接続部
３４０ 隠れ層、第２の層
３４２ ノード
３４４ ノード
３４６ ノード
３４８ ノード
３５０ ニューラル接続部
３５２ 例示的な接続部
３５４ 例示的な接続部
３６０ 隠れ層、第３の層
３６２ ノード
３６４ ノード
３６６ ノード
３６８ ノード
３７０ ニューラル接続部
３７２ 例示的な接続部
３７４ 例示的な接続部
３８０ 出力層
３８２ 出力ノード
３９０ 出力
４００ 畳み込みニューラルネットワーク
４０２ ウィンドウ
４０４ 畳み込み
４０６ 特徴マップ
４１０ 特徴マップ
４１２ 畳み込み
４１４ 拡張特徴マップ
４１６ サブサンプリング
４１８ 特徴マップ
４２０ 畳み込み
４２２ 分類層、畳み込みされた層
４２４ カテゴリ
４２５ 信号推定ユニット
４２６ 接続部
５００ ニューラルネットワーク
５０２ マトリックス
５０４ 層
５１０ 特徴
５１２ 特徴
５１４ 特徴
５１６ 特徴
５１８ 特徴
５２０ 特徴
５２２ 特徴
５３０ マトリックス、第２の層、複数の画像、サブ画像
５３２ マトリックス、複数の画像、サブ画像
５３４ マトリックス、複数の画像、サブ画像
５３６ マトリックス、複数の画像、サブ画像
５３８ マトリックス、複数の画像、サブ画像
５４０ マトリックス
５４２ マトリックス
５４４ マトリックス
５４６ マトリックス
５４８ マトリックス
５５０ 出力、部分
５５２ 出力、部分
５５４ 出力、部分
６００ 例示的な構成
６１０ 生データ
６２０ 学習ネットワーク
７０２ 入力、データ、入力データセット
７０４ 訓練ネットワーク
７０６ 順方向
７０８ 犬、ネットワーク結果、決定、ネットワーク出力
７１０ 既知の結果との比較
７１２ 既知の結果、データ、既知の出力
７１４ エラー
７１６ 逆方向パス
７２０ 入力
７２２ 展開された学習ネットワーク
７２４ 出力、人間の顔
８１０ 生の入力データ、入力
８２０ 前処理
８３０ パッチ作成
８４０ 訓練されたネットワーク
８５０ 出力アセンブル
８６０ 表示
９００ 学習デバイス
９０１ 訓練デバイス
９０３ 展開されたデバイス
９１０ 入力定義
９１１ 訓練入力
９１３ 入力定義、システム入力
９２０ 学習ネットワークモデル、ネットワーク
９２１ ネットワーク
９２３ 訓練されたネットワーク
９３０ 出力定義、出力
９３１ 出力評価部
９３３ 出力定義、出力
１０００ 超音波撮像自動化パイプラインまたはプロセス
１０１０ プローブ載置、ブロック
１０２０ パラメータ設定、設定されたパラメータ
１０３０ ドップラースキャン、自動ドップラー検査分類モジュール
１０４０ 試験分類、検査分類、自動化ドップラー検査分類部、検査／試験分類部
１０５０ 測定性能、性能測定
１０６０ 試験分類部
１０６２ 画像キャプチャ部
１０６４ パラメータデータストア
１０６６ パラメータ計算部
１０６８ 心臓周期モニタ
１０７０ ドップラースペクトルレコーダ
１０７２ 検査タイプ推論部
１１００ 表
１１１０ ゲート位置
１１２０ 検査タイプ
１１３０ 撮像モード
１１４０ 標準像
１２００ インターフェース画面、超音波デバイス画面、デバイス
１２０１ ミニチュア画像
１２０２ キャプチャされたドップラースペクトル
１２０３ スケール
１２０４ 心電図（ＥＣＧ）
１２０５ 心拍数
１２０６ グレースケールインジケータ
１２１０ 検査のタイプ
１３００ 出力
１３１０ 入力パラメータ、パラメータのリスト
１３２０ Ｂモード画像、Ｂモードフレーム
１３３０ スペクトログラム、ドップラースペクトル
１３３２ 心臓周期スペクトログラム、心臓周期、セグメント
１３３４ 心臓周期スペクトログラム、心臓周期、セグメント
１３３６ 心臓周期スペクトログラム、心臓周期、セグメント
１４００ 分類システム
１４１２ ニューラルネットワークＮＮ１
１４１４ ニューラルネットワークＮＮ１
１４１６ ニューラルネットワークＮＮ１
１４２０ 第２のニューラルネットワークＮＮ２
１４３２ ＦＦＴフィルタ
１４３４ ＦＦＴフィルタ
１４３６ ＦＦＴフィルタ
１４４０ 平均化
１４５０ 組み合わせ、組み合わせ部
１４６０ 分類部
１５００ 表
１５１０ 実際の値
１５２０ 予測値
１６００ 方法
１６１０ ブロック
１６２０ ブロック
１６３０ ブロック
１７１０ ブロック
１７２０ ブロック
１８０２ ブロック
１８０４ ブロック
１８０６ ブロック
１８０８ ブロック
１８１０ ブロック
１８１２ ブロック
１８１４ ブロック
１８１６ ブロック
１８１８ ブロック
１８２０ ブロック
１８２２ ブロック
１８２４ ブロック
１９００ プロセッサプラットフォーム
１９１２ プロセッサ
１９１３ ローカルメモリ
１９１４ 揮発性メモリ、主メモリ
１９１６ 不揮発性メモリ、主メモリ
１９１８ バス
１９２０ インターフェース回路
１９２２ 入力デバイス
１９２４ 出力デバイス
１９２６ ネットワーク
１９２８ 大容量記憶デバイス
１９３２ 符号化命令
ｘ、ｙ ゲート座標

Claims (24)

  1. 超音波検査の一部としてターゲットのＢモード画像（１３２０）のキャプチャを行わせるための画像キャプチャ部（１０６２）と、
    超音波検査の一部として、ドップラーゲート位置からキャプチャされた前記ターゲットのドップラースペクトル（１２０２）を記録するドップラースペクトルレコーダ（１０７０）と、
    前記ターゲットの前記Ｂモード画像および前記ドップラーゲート位置を処理するとともに、前記Ｂモード画像および前記ドップラーゲート位置の処理に基づいて前記超音波検査の検査タイプを推論する少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を含む検査タイプ推論部（１０７２）であって、前記検査タイプが、複数の超音波検査タイプから推論される、検査タイプ推論部（１０７２）と、
    プロセッサであって、
    前記検査タイプ推論部により推論された検査タイプに基づいて１つ以上の測定を自動的に選択する、
    前記キャプチャされたドップラースペクトルに前記選択された１つ以上の測定を自動的に実行する、および
    ａ）前記選択された１つ又は複数の測定を表示すること、ｂ）前記選択された１つ又は複数の測定を報告すること、ｃ）前記選択された１つ又は複数の測定を記憶すること、又はｄ）前記選択された１つ又は複数の測定を臨床システムに送信すること、のうちの少なくとも１つを実行する、プロセッサと
    を備える、ドップラーシステム（１４００）。
  2. 前記二次元超音波画像または前記Ｂモード画像（１３２０）の前記少なくとも１つの解剖学的位置を示すゲート座標（ｘ、ｙ）を計算するパラメータ計算部（１０６６）をさらに含む、請求項１に記載のシステム（１４００）。
  3. 前記パラメータ計算部（１０６６）が、以下
    Figure 0007123891000003
    Figure 0007123891000004
     によってゲート座標（ｘ、ｙ）を計算する、請求項２に記載のシステム（１４００）。
  4. 前記ターゲットの心臓周期（１３３２、１３３４、１３３６）を記憶する心臓周期モニタ（１０６８）をさらに含み、前記心臓周期（１３３２、１３３４、１３３６）が、前記キャプチャされたドップラースペクトル（１２０２）を複数のドップラーセグメントにセグメント化し、各ドップラーセグメントが、ニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）のセットを使用して処理される、請求項１に記載のシステム（１４００）。
  5. 前記複数のドップラーセグメントが前記ニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）のセットによって処理される前に前記複数のドップラーセグメントをフィルタリングする高速フーリエ変換フィルタ（１４３２、１４３４、１４３６）をさらに含む、請求項４に記載のシステム（１４００）。
  6. ニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）のセットを使用して前記複数のドップラーセグメントを前記処理することが、複数の第１の確率分布を生成することであり、前記複数の第１の確率分布の各々が、前記複数のドップラーセグメントの１つに対応し、前記複数の第１の確率分布が、平均化され、前記第２の確率分布と組み合わされる平均の第１の確率分布を提供して前記検査タイプを推論する、請求項４に記載のシステム（１４００）。
  7. 前記Ｂモード画像（１３２０）が、前記少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して処理する前にサイズ変更される、請求項１に記載のシステム（１４００）。
  8. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が実行されると、少なくとも１つのプロセッサ（１９１２）に、少なくとも、
    少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用してターゲットのＢモード画像およびドップラーゲート位置を処理させることであって、前記Ｂモード画像が、超音波検査の一部としてキャプチャされるものであり、前記ドップラーゲート位置が、前記超音波検査の一部として前記ターゲットのドップラースペクトルをキャプチャするために使用される、処理させること、
    前記処理に基づいて前記超音波検査の検査タイプ（１１２０）を推論させることであって、前記検査タイプが、複数の超音波検査から推論される、推論させること、
    前記検査タイプに基づいて１つ以上の測定を自動的に選択させること、
    前記ドップラースペクトルに対して前記選択された１つ以上の測定を自動的に実行させること、および
    ａ）前記選択された１つ又は複数の測定を表示させること、ｂ）前記選択された１つ又は複数の測定を報告させること、ｃ）前記選択された１つ又は複数の測定を記憶させること、又はｄ）前記選択された１つ又は複数の測定を臨床システムに送信させること、のうちの少なくとも１つ、
    を実行させる、非一時的コンピュータ可読記憶媒体。
  9. 前記命令が、実行されると、前記少なくとも１つのプロセッサ（１９１２）に、前記Ｂモード画像（１３２０）の解剖学的位置を示すゲート座標（ｘ、ｙ）を計算させる、請求項８に記載のコンピュータ可読記憶媒体。
  10. 前記命令が、実行されると、前記少なくとも１つのプロセッサ（１９１２）に、前記ターゲットの心臓周期（１３３２、１３３４、１３３６）に基づいて前記ドップラースペクトル（１２０２）を複数のドップラーセグメントにセグメント化させる、請求項８に記載のコンピュータ可読記憶媒体。
  11. 前記命令が、実行されると、前記少なくとも１つのプロセッサ（１９１２）に、高速フーリエ変換を使用して前記複数のドップラーセグメントをフィルタリングさせる、請求項１０に記載のコンピュータ可読記憶媒体。
  12. 前記命令が、実行されると、前記少なくとも１つのプロセッサ（１９１２）に、前記少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して前記複数のドップラーセグメントを処理し、複数の第１の確率分布を生成させ、前記複数の第１の確率分布の各々が、前記複数のドップラーセグメントの１つに対応し、前記命令が、実行されると、前記少なくとも１つのプロセッサ（１９１２）に、前記複数の第１の確率分布を平均化し、前記第２の確率分布と組み合わされる平均の第１の確率分布を提供させて前記検査タイプを推論させる、請求項１０に記載のコンピュータ可読記憶媒体。
  13. 前記命令が、実行されると、前記少なくとも１つのプロセッサ（１９１２）に、前記少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して処理する前に前記Ｂモード画像（１３２０）をサイズ変更させる、請求項８に記載のコンピュータ可読記憶媒体。
  14. 少なくとも１つのプロセッサ（１９１２）および少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用してターゲットのＢモード画像およびドップラーゲート位置を処理することであって、前記Ｂモード画像が、超音波検査の一部としてキャプチャされるものであり、前記ドップラーゲート位置は、前記超音波検査の一部として前記ターゲットのドップラースペクトルをキャプチャするために使用される、処理すること、
    前記少なくとも１つのプロセッサ（１９１２）を使用して、前記処理に基づいて前記超音波検査のスキャンされたドップラースペクトル（１２０２）に関連する検査タイプ（１１２０）を推論すること、
    前記少なくとも１つのプロセッサ（１９１２）を使用して、前記検査タイプに基づいて１つ以上の測定を自動的に選択すること、
    前記少なくとも１つのプロセッサ（１９１２）を使用して、前記ドップラースペクトルに前記選択された１つ以上の測定を自動的に実行すること、および
    ａ）前記選択された１つ又は複数の測定を表示すること、ｂ）前記選択された１つ又は複数の測定を報告すること、ｃ）前記選択された１つ又は複数の測定を記憶すること、又はｄ）前記選択された１つ又は複数の測定を臨床システムに送信すること、のうちの少なくとも１つを実行すること、
    を含む、コンピュータ実装方法（１６００）。
  15. 前記Ｂモード画像（１３２０）の解剖学的位置を示すゲート座標（ｘ、ｙ）を計算することをさらに含む、請求項１４に記載の方法（１６００）。
  16. 前記ターゲットの心臓周期に基づいて前記ドップラースペクトル（１２０２）を前記複数のドップラーセグメントにセグメント化することをさらに含む、請求項１４に記載の方法（１６００）。
  17. 高速フーリエ変換を使用して前記複数のドップラーセグメントをフィルタリングすることをさらに含む、請求項１６に記載の方法（１６００）。
  18. 前記少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して前記複数のドップラーセグメントを処理し、複数の第１の確率分布を生成することであって、前記複数の第１の確率分布の各々が、前記複数のドップラーセグメントの１つに対応するものである、前記複数のドップラーセグメントを処理し複数の第１の確率分布を生成すること、
    前記複数の第１の確率分布を平均化して、前記第２の確率分布と組み合わされる平均の第１の確率分布を提供し、前記検査タイプを推論すること
    を含む、請求項１６に記載の方法（１６００）。
  19. 前記少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して処理する前に前記Ｂモード画像（１３２０）をサイズ変更することをさらに含む、請求項１４に記載の方法（１６００）。
  20. 前記検査タイプ（１１２０）に基づいて、前記複数のドップラーセグメントで形成されたドップラースペクトル（１２０２）への処理アルゴリズムまたはモデルの少なくとも１つの適用を容易にすることをさらに含む、請求項１６に記載の方法（１６００）。
  21. 前記検査タイプ推論部（１０７２）が、少なくとも、
    少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して前記ドップラースペクトル（１２０２）を処理し、複数の検査タイプ分類間の第１の確率分布を生成すること、
    前記少なくとも１つのニューラルネットワーク（１４１２、１４１４、１４１６、１４２０）を使用して前記Ｂモード画像（１３２０）を処理し、複数の検査タイプ分類間の第２の確率分布を生成すること、および
    検査タイプ分類の前記第１の確率分布と検査タイプ分類の前記第２の確率分布を組み合わせて検査タイプ（１１２０）を推論すること、
    によって、前記検査タイプ（１１２０）を推論する、請求項１に記載のシステム。
  22. 前記検査タイプが、大動脈弁逆流（ＡＲ）、大動脈弁流出（ＡＶＯ）、左心室流出路（ＬＶＯＴ）、僧帽弁逆流（ＭＲ）、僧帽弁流入（ＭＶＩ）、肺動脈弁流出（ＰＶＯ）、肺静脈（ＰｕｌｍＶｅｉｎ）、右心室流出路（ＲＶＯＴ）、側方組織ドップラー流入（ＬＡＴ）、中隔組織ドップラー流入（ＳＥＰ）、右心室組織ドップラー流入（ＲＶ）、三尖弁逆流（ＴＲ）、および三尖弁流入（ＴＶＩ）のうちの１つである、請求項１に記載のシステム。
  23. 前記検査タイプが、大動脈弁逆流（ＡＲ）、大動脈弁流出（ＡＶＯ）、左心室流出路（ＬＶＯＴ）、僧帽弁逆流（ＭＲ）、僧帽弁流入（ＭＶＩ）、肺動脈弁流出（ＰＶＯ）、肺静脈（ＰｕｌｍＶｅｉｎ）、右心室流出路（ＲＶＯＴ）、側方組織ドップラー流入（ＬＡＴ）、中隔組織ドップラー流入（ＳＥＰ）、右心室組織ドップラー流入（ＲＶ）、三尖弁逆流（ＴＲ）、および三尖弁流入（ＴＶＩ）のうちの１つである、請求項８に記載のシステム。
  24. 前記検査タイプが、大動脈弁逆流（ＡＲ）、大動脈弁流出（ＡＶＯ）、左心室流出路（ＬＶＯＴ）、僧帽弁逆流（ＭＲ）、僧帽弁流入（ＭＶＩ）、肺動脈弁流出（ＰＶＯ）、肺静脈（ＰｕｌｍＶｅｉｎ）、右心室流出路（ＲＶＯＴ）、側方組織ドップラー流入（ＬＡＴ）、中隔組織ドップラー流入（ＳＥＰ）、右心室組織ドップラー流入（ＲＶ）、三尖弁逆流（ＴＲ）、および三尖弁流入（ＴＶＩ）のうちの１つである、請求項１４に記載のシステム。
JP2019182879A 2018-10-08 2019-10-03 超音波心臓ドップラー検査の自動化 Active JP7123891B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/154,202 US11207055B2 (en) 2018-10-08 2018-10-08 Ultrasound Cardiac Doppler study automation
US16/154,202 2018-10-08

Publications (2)

Publication Number Publication Date
JP2020075104A JP2020075104A (ja) 2020-05-21
JP7123891B2 true JP7123891B2 (ja) 2022-08-23

Family

ID=70052826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019182879A Active JP7123891B2 (ja) 2018-10-08 2019-10-03 超音波心臓ドップラー検査の自動化

Country Status (3)

Country Link
US (1) US11207055B2 (ja)
JP (1) JP7123891B2 (ja)
CN (1) CN111000590B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301996B2 (en) * 2018-12-11 2022-04-12 Eko.Ai Pte. Ltd. Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images
US12001939B2 (en) * 2018-12-11 2024-06-04 Eko.Ai Pte. Ltd. Artificial intelligence (AI)-based guidance for an ultrasound device to improve capture of echo image views
US11931207B2 (en) * 2018-12-11 2024-03-19 Eko.Ai Pte. Ltd. Artificial intelligence (AI) recognition of echocardiogram images to enhance a mobile ultrasound device
US11446009B2 (en) * 2018-12-11 2022-09-20 Eko.Ai Pte. Ltd. Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images
JP7242409B2 (ja) * 2019-04-26 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
JP7379120B2 (ja) * 2019-11-28 2023-11-14 キヤノン株式会社 超音波診断装置、医用画像撮影装置、学習装置、超音波画像表示方法及びプログラム
EP3878361B1 (en) * 2020-03-12 2024-04-24 Siemens Healthineers AG Method and device for determining a cardiac phase in magnet resonance imaging
US11869208B2 (en) * 2020-03-16 2024-01-09 Taipei Veterans General Hospital Methods, apparatuses, and computer programs for processing pulmonary vein computed tomography images
CN111583250B (zh) * 2020-05-14 2023-04-18 上海深至信息科技有限公司 一种基于深度学习的超声图像二尖瓣的定位方法及系统
KR102436351B1 (ko) * 2020-07-29 2022-08-26 전남대학교산학협력단 Ct 스캔 영상에서 딥러닝에 기반한 간 종양 검출 방법 및 장치
JP7410624B2 (ja) * 2020-09-14 2024-01-10 キヤノン株式会社 超音波診断装置、計測条件設定方法及びプログラム
CN114169704B (zh) * 2021-11-22 2024-05-17 成都飞机工业（集团）有限责任公司 产品生产过程质量控制方法、装置、设备及存储介质
US20230334911A1 (en) * 2022-04-13 2023-10-19 Nec Corporation Face liveness detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504578A (ja) 2006-09-22 2010-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 分類器アンサンブルを用いた遺伝的アルゴリズムに基づく特徴選択のための方法
WO2010050333A1 (ja) 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
US20160350620A1 (en) 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3892538B2 (ja) 1997-07-18 2007-03-14 株式会社東芝 超音波ドプラ診断装置
US5935074A (en) 1997-10-06 1999-08-10 General Electric Company Method and apparatus for automatic tracing of Doppler time-velocity waveform envelope
US7244230B2 (en) * 2002-11-08 2007-07-17 Siemens Medical Solutions Usa, Inc. Computer aided diagnostic assistance for medical imaging
US7678050B2 (en) 2004-08-24 2010-03-16 General Electric Company Method and apparatus for detecting cardiac events
US8036856B2 (en) * 2005-12-01 2011-10-11 General Electric Company Method and apparatus for automatically adjusting spectral doppler gain
US20070161898A1 (en) * 2006-01-10 2007-07-12 Siemens Medical Solutions Usa, Inc. Raw data reprocessing in ultrasound diagnostic imaging
JP5342104B2 (ja) * 2006-10-30 2013-11-13 株式会社東芝 超音波診断装置及び画像処理プログラム
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
MX346426B (es) * 2011-09-30 2017-03-21 Koninklijke Philips Nv Sistema de ultrasonido con parametros de flujo doppler automatizados.
US20140303499A1 (en) * 2013-04-09 2014-10-09 Konica Minolta, Inc. Ultrasound diagnostic apparatus and method for controlling the same
US10206651B2 (en) * 2015-09-30 2019-02-19 General Electric Company Methods and systems for measuring cardiac output
EP3467540A1 (en) * 2017-10-03 2019-04-10 Esaote S.p.A. Ultrasound method and ultrasound system for real time automatic setting of parameters for doppler imaging modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504578A (ja) 2006-09-22 2010-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 分類器アンサンブルを用いた遺伝的アルゴリズムに基づく特徴選択のための方法
WO2010050333A1 (ja) 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
US20160350620A1 (en) 2015-05-27 2016-12-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
JP2016221264A (ja) 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 知識ベース超音波画像強調

Also Published As

Publication number Publication date
US20200107818A1 (en) 2020-04-09
US11207055B2 (en) 2021-12-28
CN111000590B (zh) 2022-09-20
JP2020075104A (ja) 2020-05-21
CN111000590A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
JP7123891B2 (ja) 超音波心臓ドップラー検査の自動化
CN109758178B (zh) 超声成像中的机器辅助工作流
US11817203B2 (en) Ultrasound clinical feature detection and associated devices, systems, and methods
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
KR102255831B1 (ko) 초음파 장치 및 초음파 장치의 영상 인식 방법
CN112292086B (zh) 超声病变评估及相关联的设备、系统和方法
KR20190132936A (ko) 튜닝식 의료 초음파 이미징
US20210022715A1 (en) Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography
US20220012875A1 (en) Systems and Methods for Medical Image Diagnosis Using Machine Learning
de Siqueira et al. Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review
WO2024126468A1 (en) Echocardiogram classification with machine learning
US20230404541A1 (en) Method and system for managing ultrasound operations using machine learning and/or non-gui interactions
Ragnarsdottir et al. Interpretable prediction of pulmonary hypertension in newborns using echocardiograms
US12020806B2 (en) Methods and systems for detecting abnormalities in medical images
US11803967B2 (en) Methods and systems for bicuspid valve detection with generative modeling
US20230316523A1 (en) Free fluid estimation
US11901076B1 (en) Prediction of probability distribution function of classifiers
TWI796647B (zh) 用於評估心臟影像的影像處理裝置及心室狀態辨識方法
WO2024046807A1 (en) Ultrasound video feature detection using learning from unlabeled data
Sanjeevi et al. Deep learning supported echocardiogram analysis: A comprehensive review
Akkus Artificial Intelligence-Powered Ultrasound for Diagnosis and Improving Clinical Workflow
Calm Salvans Development of fully automated echocardiographic data interpretation technique
Jafari Towards a more robust machine learning framework for computer-assisted echocardiography
Ranaweera et al. Artificial Neural Network Application in Classifying the Left Ventricular Function of the Human Heart Using Echocardiography
WO2024146823A1 (en) Multi-frame ultrasound video with video-level feature classification based on frame-level detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210520

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7123891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150