JP7395142B2 - 超音波分析のためのシステムおよび方法 - Google Patents

超音波分析のためのシステムおよび方法 Download PDF

Info

Publication number
JP7395142B2
JP7395142B2 JP2022150347A JP2022150347A JP7395142B2 JP 7395142 B2 JP7395142 B2 JP 7395142B2 JP 2022150347 A JP2022150347 A JP 2022150347A JP 2022150347 A JP2022150347 A JP 2022150347A JP 7395142 B2 JP7395142 B2 JP 7395142B2
Authority
JP
Japan
Prior art keywords
neural network
segmentation
heart
core
anatomical structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022150347A
Other languages
English (en)
Other versions
JP2022188108A (ja
Inventor
ケツールール，イテイ
ルドミルスキー，アチアウ
リプマン，ヤーロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New York University NYU
Original Assignee
New York University NYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New York University NYU filed Critical New York University NYU
Publication of JP2022188108A publication Critical patent/JP2022188108A/ja
Application granted granted Critical
Publication of JP7395142B2 publication Critical patent/JP7395142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)

Description

関連出願への相互参照
［０００１］この出願は、２０１７年１月１９日出願の米国特許出願第６２／４４８，０６１に関し、その優先権を主張するものであり、その開示の全体が参照により本書に組み込まれる。
［０００２］本開示は、一般に、超音波装置の使用に関し、より具体的には、超音波分析のための例示的なシステム、方法、およびコンピュータアクセス可能媒体の例示的な実施例に関する。
［０００３］心エコー図、または心臓の超音波は、心臓の状態を評価し、特定の心臓病を特定および診断するための一般的な臨床ツールである。現在、入力されるかなりの量の超音波ムービークリップの分析と処理は、技術者または医師（「ユーザ」）によって実行されている。このようなマニュアル分析にはいくつかの欠点があり、例えば、（ｉ）エラーの可能性が高まる、（ｉｉ）熟練したユーザが必要、（ｉｉｉ）ユーザの分析速度とスキルによってスループットが制限される、（ｉｖ）時間の複雑さから、クリップのいくつかのフレームのみが完全に分析され、他のフレームの情報は未使用のままとなる。
［０００４］心臓の超音波検査は、心臓の解剖学、機能、および構造異常の評価に適したモダリティである。現在、ルーチンの心臓超音波検査は約３０分から約４０分間続き、（ｉ）超音波およびドップラー処理によるデータの取得、（ｉｉ）心室機能の分析、および心臓構造の異なる部分の複数の測定、および（ｉｉｉ）電子的な医療記録に直接組み込むことが可能なレポートを含む。
［０００５］したがって、超音波分析のための例示的なシステム、方法、およびコンピュータアクセス可能媒体を提供することは有益であり、上記の欠陥の少なくともいくつかを克服することができる。
［０００６］患者の解剖学的構造の異常を検出するための例示的なシステム、方法、およびコンピュータアクセス可能媒体を提供することができ、これには、例えば、患者の解剖学的構造に関する画像情報を受信するステップと、ニューラルネットワークを使用して画像情報に基づいて解剖学的構造の特徴を分類するステップと、この分類処理を使用して生成されたデータに基づいて異常を検出するステップとを含む。画像情報は、解剖学的構造の少なくとも３つの画像を含むことができる。
［０００７］本開示のいくつかの例示的な実施形態では、画像情報は、超音波画像情報を含むことができる。超音波画像情報は、例えば超音波装置を使用して生成することができる。解剖学的構造は、心臓であり得る。本開示の特定の例示的な実施形態では、解剖学的構造の状態は、（ｉ）患者の心臓の収縮期状態、（ｉｉ）患者の心臓の拡張期状態、（ｉｉｉ）患者の心臓の膨張状態、または（ｉｖ）患者の心臓の収縮状態を含みうる。
［０００８］本開示のいくつかの例示的な実施形態では、特徴は、ビュー検出処理を使用して分類することができ、これは画像情報内の特定の画像フレームのビューを検出するステップを含み得る。解剖学的構造は、例えば、異常を検出する前に、部分セグメンテーション処理と位置特定処理を使用して、セグメンテーションすることができる。部分セグメンテーション処理は、患者の心臓の左心室を背景からセグメンテーションするのに利用することができる。位置特定処理は弁の位置特定処理を含むことができ、これはドップラー測定点を配置するため画像情報のフレームごとに単一のピクセルをマーキングするステップを含みうる。
［０００９］本開示の特定の例示的な実施形態では、画像情報は複数の画像を含むことができ、ニューラルネットワークは複数のニューラルネットワークを含み、各ニューラルネットワークを画像の１つに関連付けることができる。各ニューラルネットワークを、関連する１つの画像の特徴を分類するのに用いることができる。各ニューラルネットワークによって生成された出力は、（例えば、ある深さで）連結することができる。画像情報はアップサンプリングすることができる。
［００１０］本開示の例示的な実施形態のこれらのおよび他の目的、特徴、および利点は、添付の特許請求の範囲と併せて、本開示の例示的な実施形態の以下の詳細な説明を読むと明らかになる。
［００１１］本開示のさらなる目的、特徴、および利点が、本開示の例示的な実施形態を示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。
［００１２］図１は、本開示の例示的な実施形態による例示的な超音波分析システムの例示的な図である。 ［００１３］図２Ａは、本開示の例示的な実施形態による、セグメンテーションのためのラベル取得の例示的な画像である。［００１４］図２Ｂは、本開示の例示的な実施形態による、弁位置特定のためのラベルの例示的な画像である。 ［００１５］図３Ａは、本開示の例示的な実施形態による、部分セグメンテーションのためのデータＹｊの例示的な画像である。［００１６］図３Ｂは、本開示の例示的な実施形態による、弁位置特定のためのデータＹｊの例示的な画像である。 ［００１７］図４Ａは、本開示の例示的な実施形態による、例示的なシステムによって使用されるネットワークアーキテクチャの例示的な図である。［００１８］図４Ｂは、本開示の例示的な実施形態による、コアニューラルネットワークの例示的な図である。 ［００１９］図５は、本開示の例示的な実施形態による、心臓の異なる超音波ビューの例示的な画像のセットおよびそれらの対応するラベルである。 ［００２０］図６Ａ、６Ｂは、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体の例示的な図である。 ［００２１］図７Ａ、７Ｂは、本開示の例示的な実施形態による、２つの入力トリプレット画像用の例示的なシステム、方法、およびコンピュータアクセス可能媒体によって生成されるビューごとの確率の例示的な画像である。［００２２］図７Ｃ、７Ｄは、本開示の例示的な実施形態による、図６Ａ、６Ｂにそれぞれ対応する例示的なヒストグラム図である。 ［００２３］図８は、本開示の例示的な実施形態による、心周期段階の検出の例示的なグラフである。 ［００２４］図９Ａ～９Ｆは、本開示の例示的な実施形態による、心周期におけるフレームごとの段階の例示的な画像である。 ［００２５］図１０は、本開示の例示的な実施形態による、４つの選択されたビューについての例示的なシステム、方法、およびコンピュータアクセス可能媒体によって生成された左心室のセグメンテーション画像のセットである。 ［００２６］図１１Ａ、１１Ｃは、本開示の例示的な実施形態による、例示的なシステムを使用して実行される弁位置特定の例示的な画像である。［００２７］図１１Ｂ、１１Ｄは、本開示の例示的な実施形態による、それぞれ図１１Ａ、１１Ｃの弁位置特定画像の例示的な拡大画像である。 ［００２８］図１２は、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体対グラウンドトゥルースと、ユーザ対グラウンドトゥルースとによって生成された左心室のセグメンテーションを比較した、結合および相対面積差に対する交差の例示的なチャートのセットである。 ［００２９］図１３は、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体の弁位置特定予測とグラウンドトゥルースとの間の距離の例示的なヒストグラム図である。 ［００３０］図１４Ａは、本開示の例示的な実施形態による、コアニューラルネットワーク用のイメージネット型ネットワークで初期化された拡張期／収縮期分類テストの学習グラフの例示的なグラフである。［００３１］図１４Ｂは、本開示の例示的な実施形態による、ビュー検出トレーニング後にコアニューラルネットワークで初期化された拡張期／収縮期分類テストの学習グラフの例示的なグラフである。［００３２］図１４Ｃは、本開示の例示的な実施形態による、部分セグメンテーション処理でトレーニング後に、コアニューラルネットワークで初期化された拡張期／収縮期分類テストの学習グラフの例示的なグラフである。 ［００３３］図１５は、本開示の例示的な実施形態による、例示的な処理を使用して実行される成人心エコー検査を示す例示的なフロー図である。 ［００３４］図１６は、本開示の例示的な実施形態による、心臓超音波で使用するための、例示的なシステム、方法、およびコンピュータアクセス可能媒体の例示的な構成の例示的な図である。 ［００３５］図１７は、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体のニューラルネットワークコアを示す例示的な図である。 ［００３６］図１８は、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体を利用可能な潜在的な市場を示す例示的な図である。 ［００３７］図１９Ａは、本開示の例示的な実施形態による、ユーザインターフェースの左の運転モードに基づいて生成された例示的な画像である。［００３８］図１９Ｂは、本開示の例示的な実施形態による、ユーザインターフェースの右の停止モードに基づいて生成された例示的な画像である。 ［００３９］図２０Ａ～２０Ｇは、本開示の例示的な実施形態による、完全な心周期の３Ｄ再構成の例示的な画像である。 ［００４０］図２１Ａは、本開示の例示的な実施形態による、収縮期ＬＶおよび拡張期ＬＶの断面の例示的な画像のセットである。［００４１］図２１Ｂは、本開示の例示的な実施形態による、収縮期と拡張期における３Ｄ表面の再構成の例示的な画像のセットである。 ［００４２］図２２は、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体を使用して生成された例示的なヒストグラムである。 ［００４３］図２３Ａは、本開示の例示的実施形態による、心周期の例示的な専門家分析に基づいて生成されたＥＦ誤差の例示的なヒストグラムである。［００４４］図２３Ｂは、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体を使用して生成されたエラーの例示的なヒストグラムである。 ［００４５］図２４は、本開示の例示的な実施形態による、患者の解剖学的構造内の異常を検出するための例示的な方法の例示的なフロー図である。 ［００４６］図２５は、本開示の特定の例示的実施形態による、例示的なシステムの例示的なブロック図の描写である。
［００４７］図面を通して、特に言及しない限り、同じ参照番号および文字は、例示された実施形態の同様の特徴、要素、構成要素、または部分を示すために使用される。さらに、本開示は、図面を参照して詳細に説明されるが、例示的な実施形態に関連して行われ、図面および添付の特許請求の範囲に示される特定の実施形態によって限定されない。
［００４８］本開示の例示的な実施形態は、以下の説明および関連する添付図面を参照してさらに理解され得る。例示的な実施形態は、（例えば、超音波を使用した）心血管イメージングに関して説明されている。しかしながら、当業者は、本開示の例示的な実施形態は、他の組織または器官（例えば、心臓以外）を撮像するために実装され、他の撮像モダリティ（例えば、超音波以外で、ＭＲＩ、ＣＴ、ＯＣＴ、ＯＦＤＲなどを含むが、これらに限定されない）で使用できることを理解するであろう。
［００４９］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、医療提供者が臨床的判断をより正確に診断および作成するのを支援し、品質を向上させ、安全性を増大させることが可能なニューラルネットワークコアを含むことができる。例えば、例示的なニューラルネットワークコアは、超音波、磁気共鳴画像法、陽電子放出スキャナ、コンピュータ断層撮影法および核スキャナを含む複数の撮像モダリティから画像を受け取ることができる。例示的なニューラルネットワークコアは、複数の臓器の検査に使用でき、特定の臓器系に限定されない。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、オンラインおよび／またはオフラインの医療診断装置に組み込むか接続することができ、これによりオペレータがより正確かつ効率的になることを実現する。
［００５０］図１に示されるように、本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、コアニューラルネットワーク（「ＮＮ」）１１５を含むことができる。コアＮＮ１１５は、超音波フレーム１０５のシーケンスを入力として受け取り、シーケンス内の中間フレーム１１０の高レベルの意味素性（semantic features）を生成することができる。これらの例示的な意味素性は、一連の認識および分析処理（例えば要素１２０）を解決するために使用することができる。各例示的な処理について、専用のＮＮベースのコンポーネントをコアＮＮ１１５の上に構築することができ、その処理用に調整することができる。例示的な処理は、例えば、５つの例示的なグループに分解することができる：（ｉ）ビュー検出１２５、（ｉｉ）収縮期／拡張期検出１３０、（ｉｉｉ）部分セグメンテーション１３５、（ｉｖ）弁位置特定１４０、および（ｖ）異常検出１４５である。これらの処理は、難易度に応じて並べ替えることができる（例えば、簡単なものから難しいものへ）。
［００５１］第１の例示的な処理（例えば、ビュー検出１２５）を実行して、いくつかの潜在的なビューから所与のフレームのビューを検出することができる。現在処理されているビューは、標準的な成人心エコー検査で使用されるビューであり、（ｉ）心尖部２室ビュー、（ｉｉ）心尖部３室ビュー、（ｉｉｉ）心尖部４室ビュー、（ｉｖ）心尖部５室ビュー、（ｖ）胸骨傍長軸ビュー、および（ｖｉ）胸骨傍短軸ビューである。第２の例示的な処理（例えば、収縮期／拡張期検出１３０）は、心周期の収縮期／拡張期を識別するために実行することができる。例えば、各フレームには、左心室の４つの時間的状態：（ｉ）拡張期、（ｉｉ）収縮期、（ｉｉｉ）膨張、（ｉｖ）収縮のいずれかを使用してラベルを付けることができる。第３の例示的な処理（例えば、部分セグメンテーション１３５）を実行して、心臓の４つの心腔、心臓弁および心臓壁、心膜などの超音波画像内の領域をセグメント化することができる。第４の例示的な処理（例えば、弁位置特定１４０）を実行して、これらの弁を通る流入／流出のドップラー分析のための弁の位置を特定することができる。第５の例示的な処理（例えば、異常検出１４５）を実行して、心膜液浸出などの心臓異常を検出および位置特定することができる。
［００５２］例示的な観察は、超音波画像のシーケンスから高レベルの意味素性を抽出するコアＮＮが、すべての処理について同じであり得ることであり、本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、すべての処理とコアＮＮを（例えば、同時に）最適化することでトレーニングすることができる。この例示的なアプローチは、以下の利点を提供することができる。まず、トレーニングを行ってさまざまな補完処理に使用できる超音波特徴システムを構築すると、個々の処理のパフォーマンスを確証および改善できる汎用機能を提供することができる。直感的知識は人間の学習に類似し得る。例えば、超音波画像のビューをより適切に検出するには、心臓のさまざまな可視部分を検出およびセグメンテーションすることが有益であり、逆もまた同様である。第二に、コアＮＮによってキャプチャされた多目的特徴システムを使用すると、かなり少ないデータ量で超音波解析処理を追加することができる。これは、例示的なシステムの主要部分であるコアＮＮが既に一般的な特徴を生成するようにトレーニングされており、残るトレーニングは処理に特有の部分のみとなるからである。これにより、例示的なシステム、方法、およびコンピュータアクセス可能な媒体を、計算の複雑さや時間がかなり低い、新しい処理または異なる処理に適応させることができる。第三に、通常、より困難な処理のデータを取得および／または生成することはより困難であるため、より簡単な処理でシステム、方法、およびコンピュータアクセス可能媒体をトレーニングすることから開始すると、より精巧な処理について適切な開始点が与えられる。
［００５３］心エコー図は、多くの場合、心臓の状態と機能に関する高レベルの定量的情報を抽出するために使用することができる。例示的な典型例は、駆出率（「ＥＦ」）である。ＥＦは、ビュー検出、収縮期／拡張期検出、および部分セグメンテーションを含む、またはその組み合わせのさまざまな例示的な測定値から計算することができる。例示的なシステム、方法、およびコンピュータアクセス可能媒体は、ＵＴデータ（例えばＵＴデータのみ）を使用してＬＶまたは他の部分の３Ｄ表面再構成を生成することを含む、ＥＦを決定するための自動パイプラインを利用することができる。
例示的なデータ生成
［００５４］本開示の例示的な実施形態による例示的なシステム、方法およびコンピュータアクセス可能媒体は、データの作成を含むことができる。３０００個の超音波クリップで構成される例示的なデータベース（例えば、それぞれ約４０フレーム）が使用された。各超音波フレームＸｉは、ｎｘｎのグレースケール画像である。データベースは、（ｉ）トレーニング、（ｉｉ）検証、（ｉｉｉ）テストデータの３つのばらばらのセットに分割された。
［００５５］例示的なシステムへの例示的な入力は、連続する超音波フレーム（例えば、ｌ＝３）のシーケンス（例えば、トリプレット）を含むことができる。さらに、Ｘｉ＝（Ｘｉ－ｄ，Ｘｉ，Ｘｉ＋ｄ）（例えば、図１の要素１０５）、ここでｄはｄ＝１に設定できるパラメータである。例示的なシステム、方法、およびコンピュータアクセス可能媒体によって実行される予測を、中間フレーム１１０（例えば、Ｘｉ）に関して行うことができる。画像の入力シーケンスは、空間コンテキストとともに時間コンテキストをシステムに提供することができる。
［００５６］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、（ｉ）分類と、（ｉｉ）セグメンテーションとの２種類の処理をサポートし得る。例示的な各処理について、例示的なデータベース内の超音波フレームのサブセットｘｊについてグラウンドトゥルースのラベルｙｊが生成された。ｙｊは、単一のラベル（例：分類処理用）であるか、ｘｊの各ピクセルのラベル（例：セグメンテーション処理用）でなるかのいずれかである。したがって、ｙｊ∈Ｌ＝｛ｌ１，ｌ２，．．．，ｌｋ｝は単一ラベルであるか、ｙｊ∈Ｌｎ×ｎが（例えば、ｘｊの各ピクセルに対応する）ピクセルごとのラベルとすることができる。
［００５７］最初の２つの例示的な処理は、分類処理である。ビュー検出の最初の例示的な処理では、ｙｊ∈Ｌ、ここでＬ＝｛ＳＡ、ＬＡ、５Ｃ、４Ｃ、３Ｃ、２Ｃ｝は短軸、長軸、５室、４室、３室、および２室のビューに対応し得る。拡張期／収縮期検出の処理では、Ｌ＝｛ＤＩ、ＳＹ、ＩＮ、ＤＥ｝は、左心室の拡張期、収縮期、膨張、収縮に対応し得る。ＤＩとＳＹは瞬時に構成できるため、２つのラベルＬ＝｛ＩＮ、ＤＥ｝のみが使用され、これらのラベルはピーク間のすべてのフレームに割り当てられる（例えば、厳密に拡張期と収縮期の間、および収縮期と拡張期の間）。
［００５８］次の３つの例示的な処理は、セグメンテーション処理である。実施される例示的な部分セグメンテーション処理は、ラベルｙｊ∈Ｌｎ×ｎを使用することができ、ここでＬ＝｛ＬＶ，ＢＡ｝、ＬＶは左心室、ＢＡは背景を表す。フレームＸｉの入力シーケンスが与えられると、例示的な目標は、中間フレームｘｉの各ピクセルについて、左心室の一部であるかどうかを決定することである。ｘｉの各ピクセルを手動でラベル付けするのは、面倒で非実用的である。このため、生成されたときにフレームの集合ｘｊについてのラベルｙｊの生成を容易にできる例示的なソフトウェアツールを利用することができる。ラベリングセッションのスクリーンショットの例を図２Ａの画像に示す。ユーザは相互作用ツールを使用して、制御点２０５のまばらなセットをマークすることができ、これらの点を補間して滑らかな閉曲線２１０（例えば、３次スプライン）が計算される。ユーザは、これらの制御点２０５を追加、削除、または編集することができる。ユーザは連続したフレームをマークすることができ、初期化として前のフレームの曲線を使用することができる。フレームＸｊに描かれた閉じた曲線を考えると、この曲線で囲まれた領域内のすべてのピクセルは、同じラベルｌｉ∈Ｌでマークすることができる。例えば、図３Ａの画像に示すように、図２Ａの画像のフレームｘｊに対応するラベルｙｊが示され、ここで白い領域３０５はＬＶラベルに対応し、黒い領域３１０はＢＡラベルに対応する。
［００５９］例示的な弁位置特定処理は、フレームごとに単一ピクセルをマークして、ドップラー測定点を配置することを利用し得る。３つの弁が実装された。Ｌ＝｛ＭＩ、ＴＲ、ＡＯ、ＢＡ｝、僧帽弁（「ＭＩ」）、三尖弁（「ＴＲ」）、大動脈弁（「ＡＯ」）および背景（「ＢＡ」）である。データを生成するために、部分セグメンテーションに使用されるものと同様の例示的なソフトウェアツールが作成され、これにより、ユーザは各画像のピクセルを選択して関連する弁の位置を示すことができる（例えば、図２Ｂ、要素２１５を参照）。意味のあるトレーニングデータを作成するために、８クリップの同じセット（４Ｃについて４クリップと、５Ｃについて４クリップ）を１０回マークするようにユーザに求めることにより、統計が取得された。このデータは、弁のサンプリングの統計を計算するために使用され、上記の統計から取得した分散を使用して、ユーザが指定したピクセルを中心とする楕円をスプラッティングすることにより、トレーニングデータを作成した。これは、弁ごとに個別に独立して実行された。例えば、図３Ｂに示す画像は、図２Ｂに示す画像用に作成されたラベルｙｊを示し、白いピクセル３０５はラベルＡＯを表し、黒いピクセル３１０はラベルＢＡを表す。
［００６０］例示的な異常検出では、心内膜液浸出および心膜腔内の体液蓄積の検出に対処することができる。この例示的なセグメンテーション処理では、ラベルは心膜液と背景を区別することができる、Ｌ＝｛ＰＥ、ＢＡ｝。前の２つのセグメンテーション処理と似たソフトウェアが構築され、ユーザが流体領域に注釈を付けることができる。
例示的なネットワークアーキテクチャ
［００６１］図４Ａは、本開示の例示的な実施形態による、例示的なシステム、方法、およびコンピュータアクセス可能媒体の例示的な図／アーキテクチャを示す。例えば、図４Ａに示されるように、灰色のブロック４０５はそれぞれ、一連の畳み込み層およびＲｅＬＵ（すなわち活性化）層からなる畳み込みブロックを表す。各畳み込みブロック４０５について、チャネル数（例えば、深さ）が示される。解像度（例えば、ブロックの幅と高さ）の異なる連続した畳み込みブロック４０５を、レイヤーをプールすることで接続することができる。ブロック４１０は、例示的なコアＮＮの出力を表す。例示的なコアＮＮブロック４１５が図４Ｂに示されており、コアＮＮ４１５のアーキテクチャが図４Ｂに示されている。例示的なシステムへの入力は、超音波フレームのシーケンスＸｉ＝（ｘｉ－１，ｘｉ，ｘｉ＋１）であり、システムはコアＮＮを介して独立して各フレームｘｉ－１，ｘｉ，ｘｉ＋１をフィードして、高レベルの超音波特徴を取得し、出力を連結することができる。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、連結された特徴を使用して上記の処理を実行することができる。
［００６２］例示的な処理は、（ｉ）分類処理と（ｉｉ）セグメンテーション処理の２つのグループに分けることができる。例示的な分類処理は、入力シーケンスＸｉの可能なラベルのセットＬ＝｛ｌ１，．．．，ｌｋ｝からラベルｚｉ∈Ｌを割り当てるように要求することができる。例示的な分類処理は、ビューの検出と、収縮期／拡張期の検出を含み得る。例示的なセグメンテーション処理は、ｚｉ∈Ｌｎ×ｎである中間フレームｘのピクセルごとのラベルを生成するために、指定された入力シーケンスＸｉを要求することができ、ここでｘｉはｎ×ｎ画像であり、前と同じくＬ＝｛ｌ１，．．．，ｌｋ｝である。例示的なセグメンテーション処理は、部分セグメンテーション、弁位置確認、および異常検出を含み得る。異常検出は、分類処理としてインスタンス化することもできる。各処理は、そのタイプ（セグメンテーションの分類など）に基づいて適切なアーキテクチャを持つ独自のネットワークを持つことができる。
［００６３］例示的な処理の２つのグループは、例示的なコアＮＮによって生成された同じ連結された特徴を使用することができる。例示的な分類処理は、例示的な分類フレームワーク（例えば、図４Ａに示す要素４２０）（例えば、文献３を参照）を使用することができ、これは完全に連結された層を用いて，予測ｚｉが作成されるＲｋの予測ベクトルへの出力を減らすことができる。
［００６４］例示的なセグメンテーション（例えば、図４Ａに示す要素４２５を参照）中に、デコンボリューション演算子を学習して前のレイヤーを注入する既存のセマンティックセグメンテーションアーキテクチャ（例えば、参考文献２を参照）とは異なる例示的なアップサンプリング処理を使用することができる。低解像度は最大解像度にアップサンプリングでき、出力は入力シーケンスＸｉと連結することができ、これは畳み込みブロックを通過して最終的なセグメンテーションを生成する。アップサンプリングされたセグメンテーション情報は、セグメンテーションされる部分の滑らかで大まかな近似を提供し、最終的な畳み込みブロックは局所的特徴を使用してその境界を改良することができる。
［００６５］心臓の特定の部分／セクション、例えば左心室の例示的なセグメンテーションは、マルチスケールタスクを含むことができる。例えば、画像内の部分の位置の大まかな推定値を提供することができ、例示的な予測を、画像の局所的特徴に基づいて徐々に改善または修正することができる。本開示の例示的な実施形態による例示的なシステム、方法およびコンピュータアクセス可能媒体は、医療画像から解剖学的部分をセグメンテーションするための２つの例示的なアーキテクチャを含み得る（例えば、図６Ａ、６Ｂに示す図を参照）。
［００６６］例えば、図６Ａに示されている図は、直列形式の第１の例示的ネットワークを示している。この例示的なネットワークは、連続したアップサンプリングブロックを使用してボトムアップセグメンテーションを提供することができる（図６Ａに示された要素６０５）。各ブロックは、バイリニアまたはデコンボリューションのアップサンプリング、および様々な畳み込み－ｒｅｌｕレイヤを含めることができる。各ブロック６０５は、入力として以前の低解像度セグメンテーションを受け取り、それに元の画像データのダウンサンプリング版（例えば、線６１０）を追加し、より高い解像度のセグメンテーションを生成することができる。例示的なレイヤの１つは、元の画像の解像度で結果を生成することができる。図６Ｂは、並列形態の例示的なネットワークの図を示す。コアＮＮの切り捨てられたコピーを使用し、各アップサンプリングブロックに取り付けることができる（例えば、直列設計と同様）。コアＮＮの切り捨てられた各コピーを使用して、元の画像を対応する受容野を有する異なる解像度に縮小することができる。例えば、ＬＶの位置を認識するために最低解像度を使用できるが、境界を正確に特定できない場合がある。一方で、最高解像度（例えば、最小受容野を持つ）は画像内の局所的情報に基づいてセグメンテーションの境界に影響を与えようとする。その後、結果を集計して最終的なセグメンテーションを達成することができる。解像度ごとに切り捨てられたコアＮＮをトレーニングすることも可能である。
［００６７］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、より短い境界曲線でのセグメンテーションを促進するために、ネットワーク損失関数への総変動正則化器の直接の追加も考慮することができる。総変動エネルギーは、セグメンテーションネットワークの出力でλΣｐ｜｜［▽Ｆ（Ｘｉ）ｐ］｜｜２として直接定義することができ、ここでＦ（Ｘ）は、入力シーケンスＸｉに適用した場合の特定のラベル（ＬＶなど）および背景ラベルＢＡへのネットワーク応答の差であり、合計はすべてのピクセルｐであり、λは正則化の量とすることができる。
［００６８］図４Ａに示される例示的なコアＮＮ４１５は、入力画像を非常に粗い解像度で定義された特徴ベクトルのセットへと低減することができるイメージネットアーキテクチャ（例えば、参考文献３を参照）を含むことができる。例示的なシステムでは、同じコアＮＮを使用して、各入力超音波フレームｘｉ－１，ｘｉ，ｘｉ＋１をその特徴ベクトルに変換することができる。例示的なコアＮＮを定義する重みを、システム内の３つの実現間に結合することができる（例えば、例示的なコアＮＮの複数のブロック４１５を参照）。
［００６９］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、Ｌ１コスト関数およびＧＡＮ（Generative Adversarial Networks）を含むセグメンテーションを改善するために利用することができる。例えば、セグメンテーションのＬ１正則化を損失関数として使用し、標準のクロスエントロピー損失よりも正確な境界検出を提供することができる。代替的または追加的に、例えばＧＡＮを使用して例示的な損失関数をトレーニングすることができる。例として、セグメンテーションネットワークがある場合、ディスクリミネータネットワークをトレーニングして、実際のセグメンテーションとセグメンテーションネットワークによって作成されたセグメンテーションとを区別するようにする。セグメンテーションネットワークをさらにトレーニングするために、このディスクリミネータを他の損失と組み合わせて、または単独で使用することができる。ディスクリミネータネットワークへの入力には、実際の例では（Ｘｉ、Ｚｉ）、および（Ｘｉ、ｆ（Ｘｉ））を含めることができ、ここでｆ（Ｘｉ）はセグメンテーションネットワークの出力である。
例示的なトレーニング
［００７０］例示的なシステムをトレーニングするために、インターリーブアプローチを採用することができる。例えば、第１の例示的な処理（例えば、ビュー検出）を使用することができ、これはコアＮＮを調整（fix）しながらそのＮＮ（例えば、図４Ａに示される要素４２０を参照）をトレーニングすることができる。コアＮＮとビュー処理のＮＮの両方をトレーニングすることができる。第２ののＮＮ処理（例えば、拡張期／収縮期）を、コアＮＮを調整しながらトレーニングすることができ、その後、コアＮＮと拡張期／収縮期のＮＮの両方をトレーニングすることができる。これを収束が達成されるまで繰り返し／継続することができる。予備の処理のデータを生成する方が簡単な場合があるため、これらのアプリケーションでコアＮＮをトレーニングすると、より困難な処理の開始点として適切となる。代替的または追加的に、本開示の例示的実施形態による例示的システム、方法およびコンピュータアクセス可能媒体は、すべての例示的タスクを同時にトレーニングするのに用いることができる。
例示的な評価
［００７１］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体を、トレーニング段階で使用または検証されていないテストデータで評価した。テストデータは、分類処理用の３２２クリップ（例えば、１００００フレーム）、部分セグメンテーション処理用の４２クリップ（例えば、５３０フレーム）、および弁位置特定処理用の１０８クリップ（例えば、２２５０フレーム）でなる。
例示的なパフォーマンス
例示的なビュー検出
［００７２］所定のフレームのビューｘｉを、例示的な分類に使用することができる。例えば、図５は、例示的なデータセットの各ビューからの例示的な画像を示す。この実験では、システムによって作成されたラベルが、ユーザによって作成されたグラウンドトゥルースラベルと比較された。システムはラベルのセットについて確率を生成し、最高の確率を受けたビューがシステム出力として選択された。図７Ａおよび７Ｂは、２つの例示的な画像について例示的なシステム、方法、およびコンピュータアクセス可能媒体によって生成された確率の画像を示す。正しいビューラベルに高い信頼性があることに留意されたい。対応する例示的なヒストグラムが、それぞれ図７Ｃおよび７Ｄに示されている。例示的なシステム、方法、およびコンピュータアクセス可能媒体の出力は、テストデータ全体（例えば、１０ｋフレーム）のグラウンドトゥルースラベル付きビューと比較され、フレームの９８．５％で正しいビュー識別を生成した。
例示的な拡張期／収縮期検出
［００７３］例示的な拡張期／収縮期検出処理は、所与の入力フレームｘｉの心周期段階の識別を利用することができる。ここで、ラベルはＬ＝｛ＤＩ、ＳＹ、ＩＮ、ＤＥ｝となる。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、例えば、非瞬時（non-instantaneous）状態ＩＮ、ＤＥに関してのみ確率を生成することができる。図８は、本開示の例示的な実施形態による、心周期の検出の例示的なグラフを示す。例えば、線８０５は、テストデータのビデオクリップについて、－１から１の範囲の値を生成する確率ＤＥからＩＮを引いた差を示す。曲線８１０は、線８０５に最も近い一定の収縮および膨張時間に適合された。曲線８１０のゼロ交差は、検出されたピーク収縮期（「ＳＹ」）およびピーク拡張期（「ＤＩ」）であり得る。中間段階は、収縮（「ＤＥ」）および膨張（「ＩＮ」）段階である。さらに、図８のグラフに示すように、点８１５と８２０はそれぞれ選択されたトリプレットと信号点を表し、線８２５は受信信号を表す。
［００７４］図９Ａ～９Ｆは、心周期からの画像フレームのセットを示し、各フレームの左上に、システムは、ピーク収縮期（小さな円９１０）とピーク拡張期（例、大きな円９１５）を示す２つの円の間の破線の円９０５として視覚化された識別された心臓ステージを描いている。破線の円の半径は、図８のフィッティング７１０から直接取得される。
例示的な部分セグメンテーション
［００７５］例示的な部分セグメンテーション処理は、部分のラベルに従って入力画像ｘｉ内の各ピクセルのラベリングを利用することができる。例えば、左心室（「ＬＶ」）セグメンテーションのみを実装することができる。図１０は、例示的なシステムによって生成されるＬＶのセグメンテーションの画像のセットを示し、これは要素１００５で示されている。グラウンドトゥルース（「ＧＴ」）ユーザセグメンテーションが要素１０１０で示され、２つの重複が要素１０１５で示されている。例示的なシステムとユーザＧＴによって生成されたセグメンテーションは、視覚的に非常に近いことに留意されたい。この例示的な処理の定量分析を行うために、２つの誤差測定値を計算した：（ｉ）例示的なシステムのセグメンテーションとＧＴセグメンテーションの共通面積を両方の和集合で割ったものであるＩｏＵ（Intersection over Union）（例えば、これは共通のセグメンテーション領域（例えば、図１０に示す要素９１５）と、当該共通領域および異なる領域（例えば、図１０に示す要素９０５および９１０）の比率を生成することができる）；この比率は０から１の範囲であり、１に近いほど良く、１はピクセルレベルで例示的なセグメンテーションとＧＴが同一であることを意味する、（ｉｉ）例示的なシステムによって生成されるセグメンテーション領域とＧＴをＧＴセグメンテーション領域で割った差である相対面積差（「ＲＡＤ」）。
［００７６］結果のベースラインを作成するために、例示的なユーザは、数週間待ってからテストセットのＬＶアノテーションを繰り返し、これらの新しいセグメンテーションと元のＧＴセグメンテーションを比較するように求められた。図１２は、これらの２つのエラー測定値の４つのヒストグラムを示し、各エラー測定値について、ＧＴと比較した例示的な方法のヒストグラムのセット（例えば、ヒストグラムのセット１２１０）と、ＧＴと比較したユーザのセット（例えば、ヒストグラムのセット１２０５）が示されている。結果は、例示的なシステムが、ユーザよりもＧＴとの整合性がやや劣るが、比較可能なセグメンテーションを生成することを示している。これらの結果は、同じユーザが２つのＬＶセグメンテーションをマークしたことを考慮すると顕著である。異なるユーザでこの実験を繰り返した場合、ユーザ対ＧＴの実験でより大きな変異性が期待される。
例示的な弁位置特定
［００７７］この例示的な処理は、ドップラー分析時に流れ計算のために特定の位置に点を配置することを利用することができる。図１１Ａ～１１Ｄは、２つのビュー（例えば、図１１Ａと１１Ｃ）および拡大ビュー（例えば、それぞれ図１１Ｂと１１Ｄ）について、例示的なシステム、方法、およびコンピュータアクセス可能媒体によって生成される弁位置特定（例えば要素１１０５）の例示的な画像を示す。図１０Ａ～１０Ｄに示される要素１１１０は、ＧＴについてユーザがマークした弁位置特定を中心とした円を示し、ユーザ位置特定の不確実性を表すために半径を計算することができる。この不確実性は、ユーザが弁位置特定をフレームごとに１０回繰り返しマークしたデータに基づいて計算することができ、最大偏差は平均予測から計算することができる。この値は不確実性半径と呼ばれ、ｒでラベル付けられる。図１３は、例示的なシステムの予測された弁位置特定とユーザによるグラウンドトゥルースの位置特定との間の距離の例示的なヒストグラム１３０５を示す。マーカ１３１０および１３１５は、それぞれ不確実性の半径ｒと２倍の不確実性半径２ｒを示す。
例示的な汎用性
［００７８］例示的なコアＮＮをテストして、さまざまなレベルのトレーニングと「ウォームスタート」初期化の使用後に新しい処理に適応できる方法を決定した。図１４Ａ～１４Ｃは、例示的な拡張期／収縮期分類試験の例示的な学習グラフである。例えば、これらの学習グラフは、コアＮＮを次の３つの異なる方法で初期化できる場合の拡張期／収縮期処理のトレーニング時の、トレーニング（例えば、要素１４０５）と検証（例えば、要素１４１０）の誤差を示す：（ｉ）自然画像でトレーニングされたイメージネットタイプのＮＮから取ったコアＮＮ（例えば、図１４Ａを参照）を用いて；（ｉｉ）ビュー検出処理のトレーニングを受けた後のコアＮＮ（例えば、図１４Ｂを参照）を用いて；および（ｉｉｉ）部分セグメンテーション処理のトレーニングを受けた後のコアＮＮ（例、図１４Ｃを参照）を用いて。超音波分析処理（ビュー検出など）を既に学習したコアＮＮを使用してシステムを初期化すると、より短いトレーニング時間で、より正確な結果が得られる（図１４Ａと１４Ｂの比較）。セグメンテーションを学習し、ＤＳトレーニングを繰り返した後、結果はさらに改善される（例えば、図１４Ｂと１３Ｃの比較）。この例示的な実験は、（ｉ）異なる処理が確証され、より高い精度とより良いパフォーマンスが促進され、（ｉｉ）異なる超音波処理からのコアＮＮで処理を初期化することで学習が促進され、より高いパフォーマンスが達成されることを支持する。
［００７９］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、任意の商業的臨床撮像装置（例えば超音波）へのアドオンとして使用することができる。例示的なシステム、方法、およびコンピュータアクセス可能媒体は、心臓科および救急科（「ＥＤ」）の心エコー検査（例えば、心臓の超音波）の両方に使用できる。
例示的な心機能と測定
［００８０］ルーチンを実行し、心エコー検査を完了するにあたり複数の技術者が観察された。試験の合計期間と、３つのタスクのそれぞれの時間の分布が記録された（例えば、図１５の図を参照）。合計時間の約５０％が画像取得に費やされ、約３０％から約３５％がオンライン測定および計算のトレースを含む分析に使用され、約１０％から約１５％がレポートの生成に使用された（例えば、図１５に示す図を参照）。
［００８１］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、（例えば、４つの心室から）左心室を正確に特定し、最終的な研究報告書に直接組み込むことができる完全な心機能分析を自動的に適用および提供するのに使用することができる。現在、技術者は（例えば、取得した６つのビューのうち）異なるビューで２つまたは３つのポイントを特定するか左心室をトレースし、例示的な装置で使用可能な計算パッケージをアクティブにする必要がある。本開示の例示的な実施形態による例示的なシステム、方法およびコンピュータアクセス可能媒体は、異なる表示ウィンドウおよびセグメントを自動的に検出することができ、左心室といった心臓の様々な部分を識別することができる。
［００８２］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、セグメンテーション、ピーク収縮期および／またはピーク拡張期フレームを使用することができ、これらは現在自動的に決定することができる。過去には、これはフレームごとに慎重にスキャンし、ピーク収縮期およびピーク拡張期フレームを識別することにより、技術者によって手動で実行されていた。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、心周期中にこれら２つのイベントを特定するためにニューラルコアを利用し、次いで左心室機能の評価を実行することができる。したがって、手作業を完全になくすことができ、収縮期および拡張期の左心室の寸法、右心室の評価、ＬＡサイズ、大動脈弁輪、大動脈洞、上行大動脈、肺動脈弁、僧帽弁輪、三尖弁輪の測定を含む他のすべての測定を、自動的に測定することができる。
［００８３］熟練した心エコー検査技師による心臓検査の重要な部分は、徹底的なドップラー検査を行うことである。過去には、技術者は、受信する信号対雑音比が最適となるようにドップラーのサンプル量を配置して理想的な位置と角度を決定していた。これは、すべての心臓弁を評価するために専門知識を必要とする手作業の面倒な作業でもある。このようなタスクには時間がかかる。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、ドップラーサンプルを配置する正確な領域を識別するために使用することができる。適切な画像が得られた後、ドップラーサンプル位置が決定され、本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、ドップラーモダリティを自動的に起動し、これにより複数の心臓弁にわたり適切なドップラートレースを達成することができる。ドップラートレースが達成され表示されると、計算パッケージを適用でき、僧帽弁および三尖弁の流入、ならびに大動脈および肺流出路のドップラートレースを自動的に計算することができる。
［００８４］検査の合計期間の約１０％～１５％は、専門家、例えば、レポートを完成させて緊急医療記録に送る心臓専門医に送信する前に、最終レポートにすべての測定値を組み込むためにあてられる。これは、例示的なシステム、方法、およびコンピュータアクセス可能媒体を使用して、心臓機能および弁異常を評価するために必要なすべての異なる変数を自動的に測定することにより回避できる顕著なマニュアルプロセスであり得る（例えば、図１５参照）。
［００８５］例示的なシステム、方法、およびコンピュータアクセス可能媒体は、マニュアル式検査（例えば、現在実施されている検査のタイプ）と比較して、時間を最大４０％節約できると推定される。さらに、本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、現在実施されているマニュアルテストと比較して効率および品質を改善することができる。
［００８６］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、技術者／医師／看護師によって適切な画像が取得された後、心臓機能を正常、軽度、中程度または重度の左心室機能障害として自動的に表示することができる。必要に応じて、左心室駆出率の正確な数値を表示することもできる。
例示的な心嚢液
［００８７］心嚢液は、適時に診断されなければ死に至る可能性のある最も危険な心臓異常の１つである。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、超音波検査により心嚢液の存在を自動的に検出するために使用することができる。例えば、本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、心嚢液の（例えば、即座に検出して）有無をオペレータに警告することができる。必要に応じて、蓄積した心嚢液の重症度を表示してもよい。
例示的なセグメント異常
［００８８］心臓の部分的な異常は、心筋の虚血診断のためのスクリーニングツールとして使用できる。これは非常に主観的な作業であり、熟練した心臓専門医の手でもオペレータに依存する場合がある。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、例えば、任意の部分の低血圧、ディスキネシアまたは左心室壁や隔壁の奇異運動などのセグメント異常があり得ることをユーザに自動的に通知することができる。現在、心臓は１７個のセグメントに分割され、本開示の例示的な実施形態による例示的なシステム、方法およびコンピュータアクセス可能媒体は、すべてのセグメントにわたる非常に微妙な壁運動異常を検出できる。
例示的なＲＶ／ＬＶ比
［００８９］例示的なシステム、方法およびコンピュータアクセス可能媒体は、例示的なニューラルコアを使用して、左心室と右心室を識別し区別することができる。例示的なニューラルコアは、これらの心室の相対的および絶対的な面積と体積を評価し、それらの比率を迅速に（例えば、ほんの一瞬で）計算することができる。これは、肺塞栓症と呼ばれる重大な状態の疑いのレベルを上げるために有益である。この状態では、右心室に大きな負担がかかり、その結果、心室が拡大する傾向があり、右心室と左心室の面積の比率が劇的に変化する可能性がある。これは、ＲＶ／ＬＶ比に基づいて肺塞栓症の可能性があることを臨床医に通知するための例示的なスクリーニングツールとして使用することができる（例えば、図１６に示す図を参照）。
［００９０］例えば、図１６の例示的な図に示されるように、心臓超音波プラットフォーム１６０５を、オンラインモード１６１０またはオフラインモード１６４０のいずれかで使用することができる。オンラインモード１６１０では、心臓超音波プラットフォームは、心臓設定１６１５またはＥＤ心臓設定１６２０で使用することができる。心臓設定１６２５ではさまざまな機能１６２５を実行でき、これらはドップラー分析１６３５に基づくことができる（例えば、（ｉ）ＬＶ ＥＦ、（ｉｉ）ＬＶボリューム、（ｉｉｉ）ＲＶ／ＬＶ比、（ｉｖ）ＡＯ、ＭＶ、ＰＶ、ＴＶ、（ｖ）心嚢液、（ｖｉ）セグメント異常、（ｖｉｉ）大動脈測定値、および（ｖｉｉｉ）ＩＶＣサイズ）。さらなる機能１６３０を、ＥＤ心臓設定１６２０で実行することができる（例えば、（ｉ）ＬＶ機能、（ｉｉ）セグメント異常、（ｉｉｉ）ＬＶボリューム、（ｉｖ）心嚢液、（ｖ）ＲＶ／ＬＶ比、および（ｖｉ）ＩＶＣサイズ）。オフライン設定１６４０では、心臓設定１６４５で、さまざまなオフライン機能１６５０を実行することができる（例えば、（ｉ）ＬＶ ＥＦ、（ｉｉ）ＬＶボリューム、（ｉｉｉ）ＲＶ／ＬＶ比、（ｉｖ）ＡＯ、ＭＶ、ＰＶ、ＴＶ、（ｖ）心嚢液、（ｖｉ）セグメント異常、（ｖｉｉ）大動脈測定、および（ｖｉｉｉ）ＩＶＣサイズ）。
例示的な駆出率
［００９１］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、未加工のＵＴ入力からＥＦを計算するか、そうでなくとも決定するために使用することができる。ユーザには、例えば、（ｉ）駆動と（ｉｉ）停止の２つの可能性のいずれかの表示を提供することができる。駆動（例えば、図１９Ａを参照）では、ＵＴトランスデューサをナビゲートして、所望のビュー（例えば、４Ｃ、２Ｃ、ＳＡなど）を生成するようにユーザに指示することができる。停止サインが示された場合（例えば、図１９Ｂを参照）、ユーザは静止するように求められ、その間に本開示の例示的実施形態による例示的システム、方法およびコンピュータアクセス可能媒体が情報を収集する。例示的なビューを横断した後、例示的なシステム、方法、およびコンピュータアクセス可能媒体は、ＬＶの３Ｄ再構成とともにＥＦ予測を自動的に生成することができる。
［００９２］ＥＦの例示的な決定は、以下の例示的な処理を含むことができる。
（ｉ）各入力トリプルＸｉは、ビュー検出とＬＶセグメンテーション生成のために、例示的なネットワークを通過し得る。
（ｉｉ）各ビューについて、時間対面積曲線を計算し得る。
（ｉｉｉ）永続的な図を使用して、これらの曲線の安定した最大点と最小点を見出し得る。
（ｉｖ）各ビューから、すべての最大および最小断面を抽出し得る。
（ｖ）最小断面と最大断面のすべての組み合わせを考慮することにより、ＬＶの収縮期および拡張期の３Ｄボリュームを再構築し得る。
（ｖｉ）断面の各集合（例えば、すべて最小または最大いずれかの同タイプ）で、断面を３Ｄ空間に配置し得る（例えば、図２１Ａの、画像２１０５の最小断面の１つの集合と、画像２１１０の最大断面の１つの集合を参照）。
（ｖｉｉ）３ＤメッシュＭ＝（Ｖ，Ｅ，Ｆ）を、頂点Ｖ、エッジＥ、面Ｆを使用して、表面の、Ｗｉｌｌｍｏｒｅエネルギィ、ＪＭ Ｈ２ｄＡを最小化しつつ断面の境界をメッシュ表面上に拘束することにより、断面に適合し得る。ここでＨは平均曲率、ｄＡは表面上の面積要素である。Ｗｉｌｌｍｏｒｅエネルギィは、歪みを最小限に抑えるために使用することができ、丸い球体に最適である。例示的な最適化は、ライン探索ストラテジーとともに勾配降下によって実行し得る。図２１Ｂは、図２１Ａの断面を使用して生成された再構成を示す。
（ｖｉｉｉ）収縮期および拡張期の再建図の各ペアから、候補のＥＦを測定し得る。ＥＦの最終的なロバスト推定は、ＥＦヒストグラムのメジアンとして生成することができる。図２２は、例示的なヒストグラム（ＥＦヒストグラム２２０２およびＥＦ予測２２１０）および抽出値を示している。
［００９３］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、上記の例示的な処理を利用して、心周期全体の３Ｄ再構成を生成することができる（例えば、図２０Ａ－２０Ｇを参照）。
［００９４］上記の自動ＥＦ処理を検証するために、１１４の匿名症例のテストが行われ、４人の熟練の心臓専門医と２人の専門技術者と比較して、ＥＦを評価／計算した。各ケースについてのグラウンドトゥルースが、これらの評価の中央値として定義された。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、グラウンドトゥルースへの平均偏差と標準偏差に関して専門家と比較された。以下の表１から分かるように、例示的なシステム、方法、およびコンピュータアクセス可能媒体は、トップの専門家に匹敵する結果を生み出し、ほとんどの専門家より優れている。図２３Ａおよび２３Ｂは、専門家の誤差の例示的なヒストグラム（例えば、図２３Ａを参照）と、例示的なシステム、方法およびコンピュータアクセス可能媒体の誤差（例えば、図２３Ｂを参照）を示す。
Figure 0007395142000001
表１：グラウンドトゥルースＥＦに関するさまざまな専門家に対する例示的なシステム、方法、およびコンピューターアクセス可能媒体の比較に基づく、１１４人対象のＥＦ推定誤差の平均および標準偏差の比較。
例示的な救急部門の使用
［００９５］救急部門において、超音波の使用は一般的である。病院や医療センターの救急部門は、ヘルスケアシステムで最も忙しく、ストレスが多く、怖い場所の１つである。患者の症状を改善するには、迅速で信頼性の高い診断の必要性が非常に重要になる場合がある。現在、超音波は、肺、心臓、腹部のスキャン、およびＯＢ－ＧＹＮなどの例示的な分野で重要な役割を果たしている。さらに、骨折を含む整形外科の異常の急性スキャンが導入され、救急部門の超音波検査に組み込まれた。救急部門で機器を求めずに臨床医がスキャンできるようにするハンドヘルドデバイスの進化により、重要な決定のプロセスが容易になり、高品質の超音波イメージングによる処理ガイダンスも得られるようになった。
［００９６］特定の急病の診断におけるベッドサイドでの即時の超音波検査の魅力は、救急医にとって理想的なツールになり得る。患者のトリアージ、診断、および迅速な治療への圧力が高まっているため、救急部門の主要なスクリーニングツールとしての超音波の使用が促進されている。現在ＥＤで使用されている主な領域は、腹部、骨盤、心臓、および外傷である。
［００９７］現在、例えば、救急部門の医師を訓練して超音波の専門家になるためには、最低１２か月の特定の訓練が必要である。１２か月のトレーニングを完全に受ける救急部門の医師のための公式の超音波フェローシップがある。現在、国内のすべての救急部門に超音波検査の専門家が配備されてはいない。したがって、例示的なシステム、方法、およびコンピュータアクセス可能媒体は、救急室の医師が異なる身体システムの異常を迅速に特定するのを支援することができる。
救急部門での例示的な心臓超音波
［００９８］緊急の心臓超音波検査を用いて、心嚢液とタンポナーデ、心臓活動、梗塞、収縮性の包括的評価、中心静脈体積状態の検出、並びに肺塞栓症の疑いを評価し得る。また、超音波は、重症患者およびリスク患者の蘇生に組み込まれている。原因不明低血圧症患者の評価では、緊急心臓超音波検査を心不全および呼吸困難に使用するために拡張することもできる。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、以下の例示的な機能を実行することができる。
例示的な異常な分節運動
［００９９］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、潜在的な心室虚血または梗塞を示す、心室壁および隔壁の任意部分の無動、運動低下、ジスキネジア、および奇異運動を含む異常な動きがある場合、オペレータに警告することもできる。左室容積を、血液量減少の状況で表示してもよい（例えば、図１６に示す図を参照）。
［００１００］本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、以下の例示的な検査のために救急部門で使用することができる。
１）外傷または迅速（検査）での超音波検査による集中評価
２）妊娠
３）腹部大動脈瘤
４）肝胆道系
５）尿路
６）深部静脈血栓症
７）軟組織の筋骨格
８）胸部気道
９）眼
１０）腸
［００１０１］救急部門での超音波の使用例には、より迅速で急性の診断のために潜在的に深層学習を使用することができる。
［００１０２］救急医が超音波を使用すると、高品質で低コストのケアを提供するために、病気や怪我の際の緊急状態を正確に診断するためのタイムリーで費用対効果の高い手段を提供することができる。ＥＤ超音波の使用は、多くの場合、ＣＴやＭＲＩなどの高価な検査の必要性を減らし、より包括的な精密検査のための不必要な入院を減らすことができます。さらに、患者をあるラボから別のラボに移動させるには、人手と複雑なキュースケジューリングとモニタリングが必要となる。したがって、本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、救急部門で超音波を使用する新しい方法を提供することができる（例えば、図１７に示す図を参照）。
［００１０３］例えば、図１７の例示的な図に示されるように、例えば、本開示の例示的な実施形態による例示的なシステム、方法および／またはコンピュータアクセス可能媒体を使用して、ニューラルネットワークコア医療イメージング１７０５を実行することができる。これは、さまざまな臓器、臓器タイプ、または医学の専門分野１７１５（例えば、（ｉ）心臓、（ｉｉ）腹部、（ｉｉｉ）胸部、（ｉｖ）ＯＢＧＹＮ、（ｖ）腫瘍学、（ｖｉ）泌尿器科、および（ｖｉｉ）整形外科）に基づいた臓器固有１７１５とすることができる。ニューラルネットワークコア医療イメージング１７０５は、さまざまな設定１７２０（例えば、（ｉ）患者ケア、（ｉｉ）教育、（ｉｉｉ）トレーニング、（ｉｖ）品質保証（「ＱＡ」）、および（ｖ）結果）で使用することができる。さまざまな画像モダリティ１７２５を使用することができる（例えば、（ｉ）超音波、（ｉｉ）磁気共鳴画像（「ＭＲＩ」）、（ｉｉｉ）コンピュータ断層撮影（「ＣＴ」）、（ｉｖ）ポジトロン放出断層撮影ＣＴ（「ＰＥＴＣＴ」）、および（ｖ）核）。
［００１０４］例示的な検査の評価は、ポイントオブケアの改善につながる。確立された分析ツールを使用すると、はるかに高速で信頼性の高い診断を促進することができる。特別なトレーニングの主要な要件の必要はない。本開示の例示的な実施形態による例示的なシステム、方法、およびコンピュータアクセス可能媒体は、軍事分野、遠隔医療用途、緊急医療施設および在宅医療を含む他の分野で使用することができる（例えば、図１８に示す図を参照）。例示的なシステム、方法、およびコンピュータアクセス可能媒体を使用するための例示的な市場１８０５は、病院１８１０を含むことができる（例えば、（ｉ）心臓病学１８１５、（ｉｉ）ＥＤ１８２０、（ｉｉｉ）放射線科１８２５、および（ｉｖ）集中型ケア１８３０、緊急ケア１８３５、在宅ケア１８４０、軍事１８４５）。
［００１０５］図２４は、本開示の例示的な実施形態による、患者の解剖学的構造の異常を検出するための例示的な方法２４００の例示的なフロー図を示す。例えば、処理２４０５で、患者の解剖学的構造に関連する画像情報を生成または受信することができる。処理２４１０で、画像情報はオプションでアップサンプリングすることができる。処理２４１５で、異常の検出の前に、またはそれとは無関係に、部分セグメンテーション処理および位置特定処理を使用して解剖学的構造を分割することができる。処理２４２０で、解剖学的構造の特徴を、ニューラルネットワークを使用して画像情報に基づいて分類することができる。処理２４２５で、各ニューラルネットワークによって生成された出力を連結することができる。処理２４３０で、分類およびセグメンテーション処理を使用して生成されたデータに基づいて異常を検出することができる。
［００１０６］図２５は、本開示によるシステムの例示的実施形態のブロック図を示す。例えば、本明細書で説明される本開示による例示的な処理は、処理構成および／または演算構成２５０５によって実行され得る。そのような処理／演算構成２５０５は、例えば、限定されないが、１または複数のマイクロプロセッサを含み得るコンピュータ／プロセッサ２５１０の全体または一部であるか、これを具え、コンピュータアクセス可能媒体（例えば、ＲＡＭ、ＲＯＭ、ハードドライブ、またはその他のストレージデバイス）に格納された命令を使用することができる。
［００１０７］図２５に示すように、例えば、コンピュータアクセス可能媒体２５１５（例えば、本明細書で上述したように、ハードディスク、フロッピーディスク、メモリスティック、ＣＤ－ＲＯＭ、ＲＡＭ、ＲＯＭなどのストレージデバイス、またはその集合）を提供することができる（例えば、処理構成２５０５と通信して）。コンピュータアクセス可能媒体２５１５は、実行可能命令２５２０を含むことができる。追加的または代替的に、記憶装置２５２５をコンピュータアクセス可能媒体２５１５とは別に提供することができ、これが処理構成２５０５に命令を提供して、例えば本書で説明した特定の例示的な処理、プロセスおよび方法を実行するように処理構成を構築することができる。
［００１０８］さらに、例示的な処理構成２５０５は、例えば、有線ネットワーク、無線ネットワーク、インターネット、イントラネット、データ収集プローブ、センサなどを含み得る入力／出力構成２５３５を具えるか、または含むことができる。図２５に示すように、例示的な処理構成２５０５は、本開示の特定の例示的な実施形態によれば、例えば、処理装置からの情報の出力に加えて処理構成に情報を入力するように構成されたタッチスクリーンであり得る例示的なディスプレイ装置２５３０と通信することができる。さらに、例示的なディスプレイ２５３０および／または記憶装置２５２５を使用して、ユーザがアクセス可能なフォーマットおよび／またはユーザが読み取り可能なフォーマットでデータを表示および／または記憶することができる。
［００１０９］上記は単に本開示の原理を示しているにすぎない。説明された実施形態に対する様々な修正および変更が、本明細書の教示を考慮した当業者には明らかであろう。したがって、当業者は、本明細書で明示的に図示または説明されていないが、本開示の原理を具現化し、したがって、本発明の精神および範囲内にあり得る多数のシステム、構成、および処理を考案できることを理解されたい。当業者によって理解されるべきであるように、様々な異なる例示的な実施形態は、相互に、ならびにそれらと交換可能に使用することができる。加えて、本明細書、図面、および特許請求の範囲を含む本開示で使用される特定の用語は、例えばデータおよび情報を含むがこれらに限定されない特定の例で同義的に使用できる。本明細書では、これらの単語、および／または互いに同義であり得る他の単語を同義で使用できるが、そのような単語を同義で使用しないように意図できる場合がある場合があることを理解されたい。さらに、先行技術の知識は、本明細書の上記に参照により明示的に組み込まれていない限り、その全体が明示的に本明細書に組み込まれる。参照されているすべての文献は、その全体が参照により本明細書に組み込まれる。
［先行技術文献］
［００１１０］以下の参考文献は、参照によりその全体が本明細書に組み込まれる。
［非特許文献１］Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Sherjil Ozair、Aaron Courville、Yoshua Bengio、Generative adversarial nets、Advances in neural information processing systems、2014年、pp．2672-2680
［非特許文献２］Phillip Isola、Jun-Yan Zhu、Tinghui Zhou、Alexei A Efros、Image-to-Image translation with conditional advuersarial networks、arXiv preprint arXiv：1611．07004（2016）
［非特許文献３］Alex Krizhevsky、Ilya Sutskever、Geoffrey E Hinton、Imagenet classification with deep convolutional neural networks、ニューラル情報処理システムの進歩、2012年、pp．1097-1105

Claims (26)

  1. 少なくとも１人の患者の少なくとも１つの解剖学的構造を分析するためのシステムにおいて、
    前記システムが、
    少なくとも１つの撮像装置から少なくとも１つの解剖学的構造に関する画像情報を受信するように構成され、
    超音波特徴システムであって、少なくとも１つのコアニューラルネットワークと、複数の補完的な分類処理およびセグメンテーション処理を実施するための複数の専用のニューラルネットワークと、を有する超音波特徴システムを具え、
    前記セグメンテーション処理が、少なくとも１つの前記解剖学的構造の一部分を検出するか、または少なくとも１つの前記解剖学的構造の少なくとも１つの異常を特定し、
    前記少なくとも１つのコアニューラルネットワークが、前記画像情報から、少なくとも前記分類処理および前記セグメンテーション処理のいずれかに使用される少なくとも１つの前記解剖学的構造の少なくとも１つの特徴を生成し、
    各専用のニューラルネットワークが、前記少なくとも１つのコアニューラルネットワークの出力を少なくとも受信して、前記分類処理および前記セグメンテーション処理のうちの１つを実行し、
    各専用のニューラルネットワークが、前記少なくとも１つのコアニューラルネットワークとともにトレーニングされることを特徴とするシステム。
  2. 前記画像情報は、前記少なくとも１つの解剖学的構造の少なくとも３つの画像を含む、請求項１に記載のシステム。
  3. 前記少なくとも１つの撮像装置が少なくとも１つの超音波撮像装置である、請求項１に記載のシステム。
  4. 前記少なくとも１つの解剖学的構造が心臓であり、
    前記複数の専用のニューラルネットワークの少なくとも１つが、
    前記画像情報内の特定の画像フレームのビューを検出するビュー検出ニューラルネットワーク、
    収縮期／拡張期検出ニューラルネットワーク、および
    異常検出ニューラルネットワーク、のうちの１つを含む請求項１に記載のシステム。
  5. 前記少なくとも１つの解剖学的構造が心臓であり、
    前記複数の専用のニューラルネットワークの少なくとも１つが、
    前記少なくとも１人の患者の心臓の部分を背景からセグメンテーションする部分セグメンテーションニューラルネットワーク、および
    心臓の弁を位置特定する弁位置特定ニューラルネットワーク、のうちの１つを含む請求項１に記載のシステム。
  6. 前記複数の専用のニューラルネットワークの１つがビュー検出ニューラルネットワークであり、前記複数の専用のニューラルネットワークの他の１つが部分セグメンテーションニューラルネットワークであり、前記システムが、前記ビュー検出ニューラルネットワークおよび部分セグメンテーションニューラルネットワークを使用して駆出率を決定する処理を含み、前記部分セグメンテーションニューラルネットワークは左心室をセグメンテーションする、請求項１に記載のシステム。
  7. 請求項６に記載のシステムが、前記左心室の収縮期と拡張期の３次元ボリュームを決定し、前記３次元ボリュームのそれぞれに３次元メッシュを適合させる処理を含むことを特徴とするシステム。
  8. 請求項７に記載のシステムが、前記３次元メッシュのそれぞれから前記駆出率を決定する処理を含むことを特徴とするシステム。
  9. 前記少なくとも１つの解剖学的構造が心臓であり、
    前記システムが、心臓の測定値を生成する処理を含む、請求項１に記載のシステム。
  10. 前記少なくとも１つの解剖学的構造が心臓であり、
    前記システムが、少なくとも１つのドップラー測定点を前記心臓の適切なビュー内に配置する処理を含む、請求項１に記載のシステム。
  11. 前記少なくとも１つのコアニューラルネットワークが複数のコアニューラルネットワークを含み、当該複数のコアニューラルネットワークのそれぞれが異なる解像度に関連付けられている、請求項１に記載のシステム。
  12. 前記少なくとも１つの撮像装置が異なるモダリティの撮像装置である、請求項１に記載のシステム。
  13. 前記撮像装置が超音波撮像装置であり、少なくとも１つの前記解剖学的構造が心臓である、請求項１に記載のシステム。
  14. 前記少なくとも１つのコアニューラルネットワークをトレーニングするとともに、前記複数の専用のニューラルネットワークを同時にトレーニングするように構成された、請求項１に記載のシステム。
  15. 少なくとも１人の患者の少なくとも１つの解剖学的構造を分析する方法において、
    当該方法が、少なくとも１つの撮像装置から少なくとも１つの解剖学的構造に関する画像情報を受信するものであり、
    少なくとも１つのコアニューラルネットワークと、複数の補完的な分類処理およびセグメンテーション処理を実施するための複数の専用のニューラルネットワークと、を設けるステップ、を含み、
    前記セグメンテーション処理が、少なくとも１つの前記解剖学的構造の一部分を検出するか、または少なくとも１つの前記解剖学的構造の少なくとも１つの異常を特定するものであり、
    前記少なくとも１つのコアニューラルネットワークが、前記画像情報から、少なくとも前記分類処理および前記セグメンテーション処理のいずれかに使用される少なくとも１つの前記解剖学的構造の少なくとも１つの特徴を生成するものであり、
    各専用のニューラルネットワークが、前記少なくとも１つのコアニューラルネットワークの出力を少なくとも受信して、前記分類処理および前記セグメンテーション処理のうちの１つを実行するものであり、
    前記方法が、さらに、
    各専用のニューラルネットワークを前記少なくとも１つのコアニューラルネットワークとともにトレーニングするステップと、
    前記少なくとも１つのコアニューラルネットワークを使用して、前記画像情報から、少なくとも前記分類処理および前記セグメンテーション処理のいずれかに使用される少なくとも１つの前記解剖学的構造の少なくとも１つの特徴を生成するステップと、
    前記複数の専用のニューラルネットワークの少なくとも１つを使用して、少なくとも１つの前記特徴を用いて関連する処理を実行するステップと、を含むことを特徴とする方法。
  16. 前記画像情報が、前記少なくとも１つの解剖学的構造の少なくとも３つの画像を含む、請求項１５に記載の方法。
  17. 前記画像情報が超音波画像化情報を含む、請求項１５に記載の方法。
  18. 前記少なくとも１つの解剖学的構造が心臓であり、
    前記分類処理の少なくとも１つが、
    前記画像情報内の特定の画像フレームのビューを検出するビュー検出処理と、
    収縮期／拡張期検出処理と、
    異常検出処理と、を含む、請求項１５に記載の方法。
  19. 前記少なくとも１つの解剖学的構造が心臓であり、
    前記セグメンテーション処理の少なくとも１つが、
    前記少なくとも１人の患者の心臓の部分を背景からセグメンテーションする部分セグメンテーション処理と、
    心臓の弁を位置特定する弁位置特定処理と、を含む、請求項１５に記載の方法。
  20. 前記分類処理の１つがビュー検出処理であり、前記セグメンテーション処理の１つが部分セグメンテーション処理であり、
    前記方法が、前記ビュー検出処理および部分セグメンテーション処理を使用して駆出率を決定するステップを含み、前記部分セグメンテーション処理は左心室をセグメンテーションする、請求項１５に記載の方法。
  21. 前記左心室の収縮期と拡張期の３次元ボリュームを決定し、前記３次元ボリュームのそれぞれに３次元メッシュを適合させるステップをさらに含む、請求項２０に記載の方法。
  22. 前記３次元メッシュのそれぞれから前記駆出率を決定するステップをさらに含む、請求項２１に記載の方法。
  23. 前記少なくとも１つの解剖学的構造が心臓であり、心臓の測定値を生成するステップをさらに含む、請求項１５に記載の方法。
  24. 前記少なくとも１つの解剖学的構造が心臓であり、少なくとも１つのドップラー測定点を前記心臓の適切なビュー内に配置するステップをさらに含む、請求項１５に記載の方法。
  25. 前記少なくとも１つのコアニューラルネットワークが複数のコアニューラルネットワークを含み、当該複数のコアニューラルネットワークのそれぞれが異なる解像度に関連付けられている、請求項１５に記載の方法。
  26. 前記分類処理および／または前記セグメンテーション処理に新たな処理を追加するステップをさらに含み、当該新たな処理が少なくとも１つの前記特徴を使用する、請求項１５に記載の方法。
JP2022150347A 2017-01-19 2022-09-21 超音波分析のためのシステムおよび方法 Active JP7395142B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762448061P 2017-01-19 2017-01-19
US62/448,061 2017-01-19
JP2019539232A JP2020511190A (ja) 2017-01-19 2018-01-19 超音波分析のためのシステムおよび方法
PCT/US2018/014536 WO2018136805A1 (en) 2017-01-19 2018-01-19 System, method and computer-accessible medium for ultrasound analysis

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019539232A Division JP2020511190A (ja) 2017-01-19 2018-01-19 超音波分析のためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2022188108A JP2022188108A (ja) 2022-12-20
JP7395142B2 true JP7395142B2 (ja) 2023-12-11

Family

ID=62908785

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019539232A Pending JP2020511190A (ja) 2017-01-19 2018-01-19 超音波分析のためのシステムおよび方法
JP2022150347A Active JP7395142B2 (ja) 2017-01-19 2022-09-21 超音波分析のためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019539232A Pending JP2020511190A (ja) 2017-01-19 2018-01-19 超音波分析のためのシステムおよび方法

Country Status (8)

Country Link
US (2) US11478226B2 (ja)
EP (1) EP3570752A4 (ja)
JP (2) JP2020511190A (ja)
KR (1) KR102698916B1 (ja)
CN (1) CN110461240A (ja)
IL (1) IL268141B2 (ja)
RU (1) RU2019125590A (ja)
WO (1) WO2018136805A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110678933B (zh) * 2017-03-28 2023-10-31 皇家飞利浦有限公司 超声临床特征检测与相关联的设备、系统和方法
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
US11534136B2 (en) * 2018-02-26 2022-12-27 Siemens Medical Solutions Usa, Inc. Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
US11024025B2 (en) * 2018-03-07 2021-06-01 University Of Virginia Patent Foundation Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
EP3553740A1 (en) * 2018-04-13 2019-10-16 Koninklijke Philips N.V. Automatic slice selection in medical imaging
IL305425A (en) 2018-05-15 2023-10-01 Univ New York System and method for adjusting ultrasound image acquisition
US11486950B2 (en) * 2018-08-01 2022-11-01 General Electric Company Systems and methods for automated graphical prescription with deep neural networks
CN109345498B (zh) * 2018-10-05 2021-07-13 数坤(北京)网络科技股份有限公司 融合双源ct数据的冠脉分割方法
US11410314B2 (en) * 2019-04-30 2022-08-09 L'oreal Image processing using a convolutional neural network to track a plurality of objects
US11651487B2 (en) * 2019-07-12 2023-05-16 The Regents Of The University Of California Fully automated four-chamber segmentation of echocardiograms
JP7471895B2 (ja) * 2020-04-09 2024-04-22 キヤノンメディカルシステムズ株式会社 超音波診断装置及び超音波診断システム
US12089988B2 (en) * 2020-04-28 2024-09-17 EchoNous, Inc. Systems and methods for automated physiological parameter estimation from ultrasound image sequences
US11523801B2 (en) * 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
CN111598868B (zh) * 2020-05-14 2022-12-30 上海深至信息科技有限公司 一种肺部超声图像识别方法和系统
KR102292002B1 (ko) * 2021-02-09 2021-08-23 강기운 인공 심박동 유발 심근병 모니터링 심장 초음파 장치
JP7475313B2 (ja) * 2021-04-19 2024-04-26 富士フイルムヘルスケア株式会社 超音波診断システム、超音波診断装置及び診断支援サーバー
CN113450337B (zh) * 2021-07-07 2024-05-24 东软医疗系统股份有限公司 心包腔内积液的评价方法、装置、电子设备及存储介质
JP2023040452A (ja) * 2021-09-10 2023-03-23 株式会社東芝 データ処理装置、データ処理方法及びデータ処理プログラム
KR20240057761A (ko) * 2022-10-25 2024-05-03 주식회사 온택트헬스 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스
USD1046893S1 (en) * 2022-12-15 2024-10-15 Ultrasight Ltd. Display screen or portion thereof with graphical user interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527619A (ja) 2003-06-16 2006-12-07 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 時系列イメージにおけるイメージセグメンテーション
JP2007527743A (ja) 2004-02-03 2007-10-04 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 心臓関連の病気及び状態のための自動診断及び意思決定支援用システム及び方法
JP2009072593A (ja) 2007-09-18 2009-04-09 Siemens Medical Solutions Usa Inc ３次元心臓エコーグラフデータからの平面の自動検出方法
US20150366532A1 (en) 2014-06-23 2015-12-24 Siemens Medical Solutions Usa, Inc. Valve regurgitant detection for echocardiography

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6106466A (en) * 1997-04-24 2000-08-22 University Of Washington Automated delineation of heart contours from images using reconstruction-based modeling
WO2004054443A1 (en) 2002-12-13 2004-07-01 Koninklijke Philips Electronics N.V. System and method for processing a series of image frames representing a cardiac cycle
US7545965B2 (en) 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US7536044B2 (en) 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
US20060074315A1 (en) 2004-10-04 2006-04-06 Jianming Liang Medical diagnostic ultrasound characterization of cardiac motion
US8913830B2 (en) 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
US8009900B2 (en) 2006-09-28 2011-08-30 Siemens Medical Solutions Usa, Inc. System and method for detecting an object in a high dimensional space
US8771189B2 (en) * 2009-03-18 2014-07-08 Siemens Medical Solutions Usa, Inc. Valve assessment from medical diagnostic imaging data
US8396268B2 (en) * 2010-03-31 2013-03-12 Isis Innovation Limited System and method for image sequence processing
US9092692B2 (en) 2012-09-13 2015-07-28 Los Alamos National Security, Llc Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9092743B2 (en) 2013-10-23 2015-07-28 Stenomics, Inc. Machine learning system for assessing heart valves and surrounding cardiovascular tracts
US10194888B2 (en) 2015-03-12 2019-02-05 Siemens Medical Solutions Usa, Inc. Continuously oriented enhanced ultrasound imaging of a sub-volume
CN106156793A (zh) * 2016-06-27 2016-11-23 西北工业大学 结合深层特征提取和浅层特征提取的医学图像分类方法
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527619A (ja) 2003-06-16 2006-12-07 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 時系列イメージにおけるイメージセグメンテーション
JP2007527743A (ja) 2004-02-03 2007-10-04 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 心臓関連の病気及び状態のための自動診断及び意思決定支援用システム及び方法
JP2009072593A (ja) 2007-09-18 2009-04-09 Siemens Medical Solutions Usa Inc ３次元心臓エコーグラフデータからの平面の自動検出方法
US20150366532A1 (en) 2014-06-23 2015-12-24 Siemens Medical Solutions Usa, Inc. Valve regurgitant detection for echocardiography

Also Published As

Publication number Publication date
KR102698916B1 (ko) 2024-08-26
RU2019125590A (ru) 2021-02-19
IL268141B2 (en) 2023-09-01
IL268141A (en) 2019-09-26
EP3570752A4 (en) 2020-01-22
CN110461240A (zh) 2019-11-15
US20230104045A1 (en) 2023-04-06
WO2018136805A1 (en) 2018-07-26
IL268141B1 (en) 2023-05-01
JP2020511190A (ja) 2020-04-16
KR20190119592A (ko) 2019-10-22
RU2019125590A3 (ja) 2021-08-30
US20190388064A1 (en) 2019-12-26
US11478226B2 (en) 2022-10-25
EP3570752A1 (en) 2019-11-27
JP2022188108A (ja) 2022-12-20

Similar Documents

Publication Publication Date Title
JP7395142B2 (ja) 超音波分析のためのシステムおよび方法
Swift et al. A machine learning cardiac magnetic resonance approach to extract disease features and automate pulmonary arterial hypertension diagnosis
Slomka et al. Cardiac imaging: working towards fully-automated machine analysis & interpretation
Que et al. CardioXNet: automated detection for cardiomegaly based on deep learning
US12118033B2 (en) Systems and methods for medical image diagnosis using machine learning
CN100481096C (zh) 心脏成像的自动区域心肌评定的方法
JP2007530160A (ja) 医用画像のための自動決定支援を提供するシステムおよび方法
CN111563523A (zh) 利用机器训练的异常检测的copd分类
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
de Siqueira et al. Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review
CN114093522A (zh) 利用人工智能诊断冠状病毒疾病covid-19的方法和系统
Sonko et al. Machine learning in point of care ultrasound
KR20220122540A (ko) 의료 영상에서 임상 지표를 검출하기 위한 방법 및 장치
WO2024126468A1 (en) Echocardiogram classification with machine learning
Ragnarsdottir et al. Interpretable prediction of pulmonary hypertension in newborns using echocardiograms
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
CN115760851B (zh) 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质
Dominguez et al. Classification of segmental wall motion in echocardiography using quantified parametric images
Ragnarsdottir et al. Deep Learning Based Prediction of Pulmonary Hypertension in Newborns Using Echocardiograms
Oksuz et al. Quality Control
Jafari Towards a more robust machine learning framework for computer-assisted echocardiography
US20230316523A1 (en) Free fluid estimation
Mahdavi Multi-task learning for leveraging noisy labels in automatic analysis of ultrasound images
Alkhodari et al. Artificial intelligence in cardiovascular imaging: advances and challenges
Sanjeevi et al. Deep learning supported echocardiogram analysis: A comprehensive review

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231117

R150 Certificate of patent or registration of utility model

Ref document number: 7395142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150