JP7194691B2 - 超音波臨床特徴検出及び関連する装置、システム、及び方法 - Google Patents

超音波臨床特徴検出及び関連する装置、システム、及び方法 Download PDF

Info

Publication number
JP7194691B2
JP7194691B2 JP2019553196A JP2019553196A JP7194691B2 JP 7194691 B2 JP7194691 B2 JP 7194691B2 JP 2019553196 A JP2019553196 A JP 2019553196A JP 2019553196 A JP2019553196 A JP 2019553196A JP 7194691 B2 JP7194691 B2 JP 7194691B2
Authority
JP
Japan
Prior art keywords
clinical
ultrasound
ultrasound image
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019553196A
Other languages
English (en)
Other versions
JP2020512112A (ja
Inventor
キム，スンス
イヤヴ ラジュ，バラスンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020512112A publication Critical patent/JP2020512112A/ja
Application granted granted Critical
Publication of JP7194691B2 publication Critical patent/JP7194691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Description

関連出願への相互参照
本願は、２０１７年３月２８日に出願された米国仮出願第６２／４７７，５３６号の優先権及び利益を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。
本開示は、概して、超音波イメージングに関し、特に、様々な臨床状態及び／又は疾患の評価のために臨床的特徴を検出するための自動化されたシステム及び方法の提供に関する。
肺の超音波検査は、肺炎、気胸、及び急性呼吸窮迫症候群（ＡＲＤＳ）等の肺疾患、及びうっ血性心不全を含む臨床状態の指標を提供することができる。例えば、臨床医又は医師は、患者の超音波画像を取得することにより患者に対して超音波検査を行い、超音波画像から特定した特徴に基づいて患者が特定の臨床状態を有し得るかどうかを判定することができる。肺の超音波画像の特徴の例には、Ｂライン・アーチファクト、コンソリデーション（consolidation）、エア・ブロンコグラム（air bronchogram）、及び／又は胸水が含まれ得る。そのような特徴の存在は、特定の肺の症状又は疾患を示す可能性があるが、これらの特徴の欠如は、健康な正常肺を示し得る。経験豊富な超音波ユーザは、取得した超音波画像からこのような肺超音波画像の特徴を容易に特定することができる。しかしながら、経験の無いユーザや経験の浅いユーザは、取得した画像の解釈が困難になる場合がある。そのような臨床評価手順における標準化及び／又は定量化の欠如は、経験豊富なユーザの間でも異なる結果につながる可能性がある。そのため、超音波検査に続いて、Ｘ線等の追加検査が必要になることがよくある。
既存の超音波イメージングは臨床評価及び診断に有用であることが証明されたが、自動化された臨床診断ツールを提供するための改良されたシステム及び技術に対する臨床的必要性が残っている。本開示の実施形態は、自動化された超音波画像ビデオ分類のための深層学習フレームワークを提供する。分類は、臨床評価を支援するために使用できる。分類には、空間的特徴解析のためのフレーム毎の分類と、それに続く時系列ベクトル解析が含まれる。例えば、ビデオには、時間をかけた一連の超音波画像フレームが含まれ得る。フレーム毎の分類は、各超音波画像フレームを臨床特性の第１のセットに関連付けられた複数のカテゴリーのうちの１つにカテゴリー分類する。時系列ベクトル解析は、例えば、フレーム毎の分類出力を解析して、臨床特性の第２のセットに基づいた分類を決定する。臨床特性の第１のセット及び臨床特性の第２のセットは、異なるタイプの疾患又は臨床状態及び／又は異なる重症度を表す特徴を含むことができる。開示される実施形態は、フレーム毎の画像分類のために畳み込みニューラルネットワーク（ＣＮＮ）を使用することができ、且つ時系列ベクトル解析のために機械学習ネットワーク又はモデルを使用することができる。フレーム毎の画像分類及び時系列ベクトル解析から得られた累積又は統合された分類及び解析結果は、特定のタイプの疾患又は特定の疾患の重症度のレベルを示すことができる。開示される実施形態について、肺の状態を特定するための肺の超音波画像特徴分類の文脈で説明しているが、開示される実施形態は、異なるタイプの疾患を特定するために異なる器官（例えば、心臓）の超音波画像に適用することができる。
一実施形態では、臨床状態検出システムは、超音波イメージング装置と通信し、且つある期間に亘って被検体（subject body）を表す一連の超音波画像フレームを受信するように構成された通信装置と；通信装置と通信するプロセッサと；を含み、プロセッサは、第１の予測ネットワークを一連の超音波画像フレームに適用することにより、一連の超音波画像フレームを臨床特性の第１のセットに分類して、臨床特性の第１のセットを表す分類ベクトルのセットを生成し；且つ第２の予測ネットワークを分類ベクトルのセットに適用することにより、被検体の臨床状態を特定する；ように構成される。
いくつかの実施形態では、プロセッサは、第１の予測ネットワークを一連の超音波画像フレームの各超音波画像フレームに適用することにより、一連の超音波画像フレームを分類して、分類ベクトルのセットのうちの１つの分類ベクトルを生成するようにさらに構成される。いくつかの実施形態では、第１の予測ネットワークは畳み込みニューラルネットワークであり、各分類ベクトルには、臨床特性の第１のセットに関して対応する超音波画像フレームの複数のスコアが含まれる。いくつかの実施形態では、プロセッサは、第２の予測ネットワークが、臨床特性の第２のセットに関して分類ベクトルのセットのための複数のスコアを生成すること；及び複数のスコアから最も高いスコアを選択すること；により、臨床状態を特定するようにさらに構成される。いくつかの実施形態では、臨床特性の第１のセットは、臨床特性の第２のセットと同一である。いくつかの実施形態では、臨床特性の第１のセットは、異なるタイプの臨床的特徴に関連付けられ、臨床特性の第２のセットは、異なるタイプの臨床的特徴のうちの少なくとも１つの特徴の異なる重症度に関連付けられる。いくつかの実施形態では、臨床特性の第１のセットは、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第１のカテゴリー分類に関連付けられ、臨床特性の第２のセットは、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第２のカテゴリー分類に関連付けられる。いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれる。いくつかの実施形態では、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム（bronchogram）、及び胸水のうちの少なくとも１つに関連する特徴が含まれる。いくつかの実施形態では、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる。いくつかの実施形態では、少なくとも第１の予測ネットワーク又は第２の予測ネットワークは、異なる超音波イメージング装置によって取り込まれた臨床状態を含む、テスト被検体（test subject bodies）を表す複数のスキャン形式の超音波画像を提供すること；異なる超音波イメージング装置から独立した共通の次元及び共通のフォーマットの少なくとも一方に基づいて、複数のスキャン形式の超音波画像を複数のスキャン前形式の超音波画像に変換すること；及び臨床状態に関して、複数のスキャン前形式の超音波画像の各超音波画像にスコアを割り当てること；により訓練される。いくつかの実施形態では、異なる超音波イメージング装置は、線形超音波トランスデューサ装置、曲線超音波トランスデューサ装置、及びフェーズドアレイ超音波トランスデューサ装置のうちの少なくとも１つを含む。いくつかの実施形態では、システムは、プロセッサと通信し、且つ臨床状態の指標を表示するように構成されたディスプレイをさらに含む。
一実施形態では、臨床状態検出のための方法は、ある期間に亘って被検体を表す一連の超音波画像フレームを超音波イメージング装置から受信するステップと；第１の予測ネットワークを一連の超音波画像フレームに適用することにより、一連の超音波画像フレームを臨床特性の第１のセットに分類して、臨床特性の第１のセットに関連する分類ベクトルのセットを生成するステップと；第２の予測ネットワークを分類ベクトルのセットに適用することにより、被検体の臨床状態を特定するステップと；を含む。
いくつかの実施形態では、分類するステップは、第１の予測ネットワークを一連の超音波画像フレームの各超音波画像フレームに適用して、分類ベクトルのセットのうちの１つの分類ベクトルを生成するステップを含む。いくつかの実施形態では、第１の予測ネットワークは畳み込みニューラルネットワークであり、各分類ベクトルには、臨床特性の第１のセットに関して対応する超音波画像フレームの複数のスコアが含まれる。いくつかの実施形態では、特定するステップは、第２の予測ネットワークが、臨床特性の第２のセットに関して分類ベクトルのセットに対する複数のスコアを生成するステップと；複数のスコアから最も高いスコアを選択するステップと；を含む。いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水のうちの少なくとも１つに関連する特徴が含まれる。いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる。いくつかの実施形態では、この方法は、ディスプレイが、臨床状態の指標を表示するステップをさらに含む。
本開示の追加の態様、特徴、及び利点が、以下の詳細な説明から明らかになるであろう。
本開示の例示的な実施形態について、添付の図面を参照して説明する。
本開示の態様による超音波イメージング・システムの概略図である。 本開示の態様による超音波画像特徴検出スキームを示す概略図である。 本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。 本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。 本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。 本開示の態様による、正常肺の状態を示す超音波画像である。 本開示の態様による、Ｂライン・アーチファクトを示す超音波画像フレームである。 本開示の態様による、コンソリデーションを示す超音波画像フレームである。 本開示の態様による、エア・ブロンコグラムを示す超音波画像フレームである。 本開示の態様による、胸水を示す超音波画像フレームを示す図である。 本開示の態様による、畳み込みニューラルネットワーク（ＣＮＮ）の構成を示す概略図である。 本開示の態様による、超音波画像特徴検出のための深層学習ネットワークの構成を示す概略図である。 本開示の態様による、自動化された超音波画像特徴検出方法のフロー図である。
本開示の原理の理解を促す目的で、図面に示された実施形態について参照を行い、特定の言語を使用してそれら実施形態を説明する。それにもかかわらず、本開示の範囲に対する限定は意図していないことが理解される。説明する装置、システム、及び方法に対するあらゆる変更及び更なる修正、並びに本開示の原理の任意の更なる適用は、本開示が関係する当業者に通常想起されるように、本開示の範囲内で完全に企図され且つ含まれる。特に、一実施形態に関して説明する特徴、構成要素、及び／又はステップは、本開示の他の実施形態に関して説明する特徴、構成要素、及び／又はステップと組み合わせることができると十分に企図される。ただし、簡潔にするために、これらの組合せの多数の繰返しについては個別に説明しない。
図１は、本開示の態様による超音波イメージング・システム１００の概略図である。システム１００は、患者の身体の領域又はボリュームをスキャンするために使用される。システム１００は、通信インターフェイス又はリンク１２０を介してホスト１３０と通信する超音波イメージング・プローブ１１０を含む。プローブ１１０は、トランスデューサ１１２、ビームフォーマ（beamformer）１１４、処理コンポーネント１１６、及び通信インターフェイス１１８を含む。ホスト１３０は、ディスプレイ１３２、処理コンポーネント１３４、及び通信インターフェイス１３６を含む。
トランスデューサ１１２は、解剖学的対象物１０５に向けて超音波信号を放射し、対象物１０５から反射されてトランスデューサ１１２に戻るエコー信号を受信する。超音波トランスデューサ１１２は、１つ以上の音響素子又は複数の音響素子を含む、任意の適切な数の音響素子を含むことができる。場合によっては、トランスデューサ１１２は単一の音響素子を含む。場合によっては、トランスデューサ１１２は、任意の適切な構成の任意の数の音響素子を有する音響素子のアレイを含むことができる。例えば、トランスデューサ１１２は、１個の音響素子～１０００個の音響素子（例えば２個の音響素子、４個の音響素子、３６個の音響素子、６４個の音響素子、１２８個の音響素子、５００個の音響素子、８１２個の音響素子、及び／又はこれより大きい、小さい他の値等を含む）を含むことができる。場合によっては、トランスデューサ１１２は、線形アレイ、平面アレイ、湾曲アレイ、曲線アレイ、周囲アレイ、環状アレイ等、フェーズドアレイ、マトリックスアレイ、１次元（１Ｄ）アレイ、１．ｘ次元アレイ（例えば、１．５Ｄアレイ）、又は２次元（２Ｄ）アレイ等の、任意の適切な構成の任意の数の音響素子を有する音響素子のアレイを含むことができる。音響素子のアレイ（例えば、１つ又は複数の行、１つ又は複数の列、及び／又は１つ又は複数の向き）を均一に又は独立して制御及びアクティブ化することができる。トランスデューサ１１２は、患者の解剖学的構造の１次元、２次元、及び／又は３次元画像を取得するように構成することができる。いくつかの実施形態では、超音波イメージング素子１１２は、圧電マイクロマシン超音波トランスデューサ（ＰＭＵＴ）、容量マイクロマシン超音波トランスデューサ（ＣＭＵＴ）、単結晶、チタン酸ジルコン酸鉛（ＰＺＴ）、ＰＺＴ複合材料、他の適切なトランスデューサタイプ、及び／又はこれらの組合せを含むことができる。
ビームフォーマ１１４は、トランスデューサ・アレイ１１２に結合される。ビームフォーマ１１４は、例えば、超音波信号の送信及び超音波エコー信号の受信のためにトランスデューサ・アレイ１１２を制御する。ビームフォーマ１１４は、応答又は受信した超音波エコー信号に基づいて画像信号を処理コンポーネント１１６に提供する。ビームフォーマ１１４は、複数の段階のビームフォーミング（beamforming）を含むことができる。ビームフォーミングによって、処理コンポーネント１１６に結合するための信号線の数を減らすことができる。いくつかの実施形態では、ビームフォーマ１１４と組み合わされたトランスデューサ・アレイ１１２は、超音波イメージング・コンポーネントと呼ばれ得る。いくつかの実施形態では、対象物１０５には、肺の超音波検査のために患者の肺の少なくとも一部が含まれ得る。他の実施形態では、対象物１０５には、適切な超音波イメージング検査である、患者の任意の解剖学的構造（例えば、血管、心臓、腎臓、及び／又は肝臓）が含まれ得る。
処理コンポーネント１１６は、ビームフォーマ１１４に結合される。処理コンポーネント１１６は、本明細書で説明する動作を行うように構成された中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）装置、別のハードウェア装置、ファームウェア装置、又はこれらの任意の組合せを含むことができる。処理コンポーネント１３４は、コンピュータ装置の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ又は複数のマイクロプロセッサ、又は他のそのような構成として実装してもよい。処理コンポーネント１１６は、ビームフォーミングされた画像信号を処理するように構成される。例えば、処理コンポーネント１１６は、フィルタリング及び／又は直交復調を行って、画像信号を調整することができる。
通信インターフェイス１１８は、処理コンポーネント１１６に結合される。通信インターフェイス１１８は、１つ又は複数の送信機、１つ又は複数の受信機、１つ又は複数のトランシーバ、及び／又は、通信信号を送信及び／又は受信する回路を含み得る。通信インターフェイス１１８は、通信リンク１２０を介して信号をホスト１３０に転送するのに適した特定の通信プロトコルを実装するハードウェア・コンポーネント及び／又はソフトウェア・コンポーネントを含むことができる。通信インターフェイス１１８は、通信装置又は通信インターフェイス・モジュールと呼ぶことができる。
通信リンク１２０は、任意の適切な通信リンクであり得る。例えば、通信リンク１２０は、ユニバーサル・シリアル・バス（ＵＳＢ）リンク又はイーサネット（登録商標）・リンク等の有線リンクであってもよい。あるいはまた、通信リンク１２０は、ウルトラワイドバンド（ＵＷＢ）リンク、ＩＥＥＥ（電気電子技術者協会）８０２．１１ＷｉＦｉリンク、又はブルートゥース（登録商標）・リンク等の無線リンクであってもよい。
ホスト１３０において、通信インターフェイス１３６は画像信号を受信することができる。通信インターフェイス１３６は、通信インターフェイス１１８と実質的に同様であってよい。ホスト１３０は、ワークステーション、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、又は携帯電話等の任意の適切なコンピュータ及び表示装置であり得る。
処理コンポーネント１３４は、通信インターフェイス１３６に結合される。処理コンポーネント１３４は、ソフトウェア・コンポーネントとハードウェア・コンポーネントとの組合せとして実装してもよい。処理コンポーネント１３４は、本明細書で説明する動作を行うように構成された中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡ装置、別のハードウェア装置、ファームウェア装置、又はこれらの任意の組合せを含み得る。処理コンポーネント１３４は、コンピュータ装置の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ又は複数のマイクロプロセッサ、又は他のそのような構成として実装してもよい。処理コンポーネント１３４は、プローブ１１０から受信した画像信号から画像データを生成するように構成することができる。処理コンポーネント１３４は、高度な信号処理及び／又は画像処理技術を画像信号に適用することができる。いくつかの実施形態では、処理コンポーネント１３４は、画像データから３次元（３Ｄ）ボリューム画像を形成することができる。いくつかの実施形態では、処理コンポーネント１３４は、画像データに対してリアルタイム処理を行って、対象物１０５の超音波画像のストリーミングビデオを提供することができる。
いくつかの実施形態では、処理コンポーネント１３４は、画像データに対してスキャン形式（scan format）変換を行うことができる。例えば、処理コンポーネント１３４は、画像データを表示データに補間することができる。画像データは、画像信号を取り込むために使用されるトランスデューサ（例えば、トランスデューサ・アレイ１１２）又はプローブのタイプに応じて、様々なフォーマットにすることができる。プローブタイプのいくつかの例には、線形、曲線、及びフェーズドアレイが含まれる。線形プローブは、線形アレイ構成で配置されたトランスデューサのアレイを含み得る。曲線プローブは、曲線又は凸構成で配置されたトランスデューサのアレイを含み得る。フェーズドアレイ・プローブは、（例えば、遅延及び位相制御に基づいて）操縦可能な集束ビームを生成できるトランスデューサのアレイを含み得る。プローブ１１０が線形プローブ（例えば、線形構成で配置されたトランスデューサ・アレイ１１２）である場合に、画像データはデカルト座標であってもよい。プローブ１１０が曲線プローブ（例えば、曲線構成で配置されたトランスデューサ・アレイ１１２）又はフェーズドアレイ・プローブ（例えば、遅延及び位相制御を含むトランスデューサ・アレイ１１２）である場合に、画像データは極座標であってもよい。処理コンポーネント１３４は、本明細書でより詳細に説明するように、画像データに対して座標変換を行って、表示用のスキャン形式（scan-formatted）の画像フレームを生成することができる。
いくつかの実施形態では、処理コンポーネント１３４は、臨床評価のために画像データ又は画像フレームに対して画像解析を行うことができる。例えば、処理コンポーネント１３４は、本明細書でより詳細に説明するように、画像データ又は画像フレームに基づいて臨床評価を行うために深層学習ベースの技術を適用することができる。
ディスプレイ１３２は、処理コンポーネント１３４に結合される。ディスプレイ１３２は、モニタ又は任意の適切なディスプレイであり得る。ディスプレイ１３２は、処理コンポーネント１３４によって処理された超音波画像、画像ビデオ、及び／又は診断結果を表示するように構成される。
システム１００は、臨床評価のために超音波イメージング特徴検出の様々な段階で使用するように構成することができる。一実施形態では、システム１００は、超音波画像を収集して訓練データセットを形成するために使用され得る。例えば、ホスト１３０は、メモリ１３８を含むことができ、メモリ１３８は、キャッシュメモリ（例えば、処理コンポーネント１３４のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体状態メモリ装置、ハードディスクドライブ、固体状態ドライブ、他の形式の揮発性及び不揮発性メモリ、又は異なる種類のメモリの組合せ等の任意の適切なストレージ装置であり得る。メモリ１３８は、深層学習ベースの訓練のためにスキャン形式の画像フレームを含む画像データセット１４０を記憶するように構成され得る。
いくつかの実施形態では、システム１００は、臨床的特徴の検出及び評価のために深層学習ネットワークを訓練するために使用され得る。訓練データセット１４０は、訓練に適した特定のフォーマット、例えばスキャン前形式（pre-scan format）に変換され得る。スキャン前形式のデータセットを使用して、深層学習ネットワークを訓練し、特定の臨床的特徴及び／又は状態に関してプローブ１１０によって取り込まれた超音波画像又はビデオ内の特徴を分類することができる。
いくつかの実施形態では、システム１００は、臨床状態を決定するために訓練された深層学習ネットワークが適用され得るライブ超音波検査の臨床設定で使用され得る。学習ベースの技術に基づいて超音波画像から臨床的特徴及び／又は臨床状態を自動的且つ体系的に検出するためのメカニズムについて、本明細書でより詳細に説明する。
図２は、本開示の態様による超音波画像特徴検出スキーム２００を示す概略図である。スキーム２００は、様々な段階の超音波画像特徴検出のためにシステム１００によって使用され得る。スキーム２００は、深層学習ベースの技術を使用して、超音波画像及び／又はビデオから臨床的特徴を抽出し、臨床評価のために臨床的特徴を分類する。スキーム２００には、逆スキャン変換段階２１０、深層学習訓練段階２２０、及び臨床応用段階２３０が含まれる。逆スキャン変換段階２１０は、異なる超音波プローブ（例えば、線形プローブ、曲線プローブ、及びフェーズドアレイ・プローブ）を使用して取得した超音波画像を、深層学習ネットワークの訓練に適した共通の画像フォーマット及び／又は次元にフォーマット化する。深層学習ネットワーク段階２２０は、深層学習ネットワークを訓練して、例えば逆スキャン変換段階２１０によって出力される訓練データを使用して、超音波画像を臨床評価に適した臨床的特徴カテゴリーに分類する。臨床応用段階２３０は、訓練された深層学習ネットワークを患者から取り込まれたライブ又はリアルタイムの超音波イメージングビデオに適用して、患者の臨床状態を特定する。スキーム２００について、図３Ａ、図３Ｂ、図３Ｃ、図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、図４Ｅ、図５、及び図６を参照して以下に説明する。
逆スキャン変換段階２１０では、スキャン形式の超音波画像２０２は、スキャン前形式（pre-scan-formatted）の超音波画像２０４に変換される。スキャン形式の超音波画像２０２は、処理コンポーネント１３４によって生成され且つメモリ１３８に訓練データセット１４０として記憶されるスキャン形式の画像に対応し得る。上述したように、超音波画像は、線形プローブ、曲線プローブ、及びフェーズドアレイ・プローブ等の様々なタイプのトランスデューサプローブ（例えば、プローブ１１０）によって取り込まれ得る。プローブの形状と画像フォーマットの違いにより、超音波画像のサイズ及び／又は画像形状が異なる場合がある。異なるサイズ及び／又は画像形状は、有用又は有意義な臨床情報を伝えない可能性がある。それどころか、画像フォーマットの違いやバリエーションは、臨床的特徴分類のための深層学習ネットワークの訓練に影響を与えたり、バイアスをかけたりする可能性がある。
逆スキャン変換は、トランスデューサタイプ、及び／又は、撮像深度及び／又は視野角等の撮像構成に関係なく、様々なタイプのプローブから得られたスキャン形式の画像２０２を、同じフォーマット又は同じ次元の超音波画像に再フォーマット化する。逆スキャン変換には、臨床分類に重要な画像部分又は領域を含めることができ、訓練に影響を与える可能性のある画像部分又は領域を排除することができる。例えば、肺の超音波では、特定の肺の状態は、超音波画像におけるＢライン・アーチファクト、コンソリデーション、胸水、及び／又はブロンコグラム等の特定の臨床的特徴の有無に基づいて決定され、画像のジオメトリの長さ及び／又は面積に基づいて決定されるものではない。
図３Ａは、本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。超音波画像３１０は、上述したように線形プローブによって取り込まれ、スキャン形式化される。図示されるように、超音波画像３１０は、線形プローブが平行な超音波ビームを放出するため、肺の画像を長方形で示す。超音波画像３１２は、逆スキャン変換後の超音波画像３１０に対応する。例えば、超音波画像３１０はスキャン形式の画像２０２に対応し得、超音波画像３１２はスキャン前形式の画像２０４に対応し得る。
図３Ｂは、本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。超音波画像３２０は、上述したように、曲線プローブによって取り込まれ、スキャン形式化される。図示されるように、超音波画像３２０は、曲線プローブが超音波ビームを（発散する）異なる角度又は方向で放出するため、肺の画像を扇形又はパイ形で示す。超音波画像３２２は、逆スキャン変換後の超音波画像３２０に対応する。例えば、超音波画像３２０はスキャン形式の画像２０２に対応し得、超音波画像３２２はスキャン前形式の画像２０４に対応し得る。
図３Ｃは、本開示の態様による、逆スキャン変換の前後の患者の肺の超音波画像である。超音波画像３３０は、上述したように、フェーズドアレイ・プローブによって取り込まれ、スキャン形式化される。図示されるように、超音波画像３３０は、フェーズドアレイ・プローブが超音波ビームを様々な角度又は方向に集束させるように電子ステアリングを適用するため、肺の画像を扇形又はパイ形で示す。超音波画像３３２は、逆スキャン変換後の超音波画像３３０に対応する。例えば、超音波画像３３０はスキャン形式の画像２０２に対応し得、超音波画像３３２はスキャン前形式の画像２０４に対応し得る。
図３Ａ～図３Ｃから分かるように、超音波画像３１２、３２２、及び３３２では、画像３１０、３２０、及び３３０からプローブ特有の画像特徴（例えば、パイ形状又は扇形）がそれぞれ除外される。つまり、逆スキャン変換は、スキャン形式の画像をスキャン前形式に戻すように変換する。加えて、逆スキャン変換は、肺の部分を含まない、画像３１０、３２０、及び３３０の暗い部分又は領域を除去する。
スキーム２００は、逆スキャン変換段階２１０とともに示されているが、いくつかの実施形態では、逆スキャン変換段階２１０はオプションであり得る。例えば、ホスト１３０は、スキャン形式の画像フレームの代わりに又はその画像フレームに加えて、スキャン形式変換前の処理済み画像データをメモリ１３８に記憶させることができる。換言すれば、ホスト１３０は、スキャン前形式の超音波画像２０４をメモリ１３８に記憶させることができる。こうして、スキャン前形式の超音波画像２０４は、逆スキャン変換段階２１０を必要とせずに、スキーム２００で使用することができる。
深層学習訓練段階２２０では、スキャン前形式の超音波画像２０４を使用して、深層学習ネットワーク２０６を訓練することができる。例えば、スキャン前形式の超音波画像２０４は、特定の肺の状態を示す様々な可視構造及び／又はアーチファクトを含む肺の画像であり得る。深層学習ネットワーク２０６は、特定の臨床状態又は疾患を決定するのに有用な特定の画像特徴又はアーチファクトを認識するように訓練することができる。例えば、深層学習ネットワーク２０６は、スキャン前形式の超音波画像２０４を複数のカテゴリーの臨床的重要性に分類するように訓練することができる。図４Ａ～図４Ｅは、肺の超音波検査又は評価に役立つ様々な臨床的特徴を示す。
図４Ａは、本開示の態様による、正常肺の状態を示す超音波画像４１０である。図４Ｂは、本開示の態様による、Ｂライン・アーチファクトを示す超音波画像４２０である。超音波画像４２０には、略水平な複数の白い線４２２が含まれ、これらの線はＢライン・アーチファクトと呼ばれ、正常な状態では肺の超音波画像４１０に存在しない。Ｂライン・アーチファクトは、肺末梢部の通気（aeration）の喪失による密度の増加の兆候を表し得る。
図４Ｃは、本開示の態様による、コンソリデーションを示す超音波画像４３０である。超音波画像４３０には、正常な状態では肺の超音波画像４１０に存在しない、充実性（solid）で且つ均一な低エコーであるように見えるくさび形領域４３２が含まれる。低エコーのくさび形領域４３２は、肺のコンソリデーション状態を示し得る。
図４Ｄは、本開示の態様による、エア・ブロンコグラムを示す超音波画像４４０である。超音波画像４４０には、正常な状態では肺の超音波画像４１０に存在しない明るい管状構造４４２が含まれる。管状構造４４２は、肺のブロンコグラム状態を示し得る。
図４Ｅは、本開示の態様による、胸水を示す超音波画像４５０を示す。超音波画像４５０には、正常な状態では肺の超音波画像４１０に存在しない無響領域４５２が含まれる。無響領域４５２は、肺の胸水状態を示し得る。
深層学習ネットワーク２０６は、複数の段階又は層の深層学習又は複数の深層学習サブネットワークを含むことができる。本明細書でより詳細に説明するように、異なる層又は異なるサブネットワークは、異なるドメイン（例えば、空間ドメイン及び時間ドメインを含む）で特徴解析及び／又は分類を実行し得る。深層学習には、（分類又はパターン解析に非線形処理と特徴抽出及び／又は変換とを使用する、）機械学習及び畳み込みニューラルネットワーク（ＣＮＮ）等の様々な学習ベースの手法が含まれ得る。例えば、深層学習ネットワーク２０６は、肺の状態の特定を容易にするために、肺超音波画像を複数のカテゴリーに分類するように訓練することができる。カテゴリーは、図４Ａ～図４Ｅに関して上述した特徴及び／又は状態（例えば、正常、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び／又は胸水）と同様であってもよい。一例として、深層学習ネットワーク２０６は、フレーム毎の解析を行うＣＮＮ（例えば、図５のＣＮＮ５１０及び図６のＣＮＮ６１２）と、フレーム毎の解析の出力に対して時間解析を行う機械学習コンポーネント（例えば、図６の機械学習コンポーネント６１４）とを含むことができる。
図５は、本開示の態様による、ＣＮＮ５１０の構成５００を示す概略図である。ＣＮＮ５１０は、フレーム毎の分類のためにスキーム２００によって使用され得る。ＣＮＮ５１０は、Ｎ個の畳み込み層５１２のセットと、それに続くＫ個の完全に接続された層５１４のセットとを含むことができ、ここでＮ及びＫは任意の正の整数とすることができる。値Ｎ及びＫは、実施形態に応じて変化し得る。いくつかの実施形態では、ＮとＫとの両方が少なくとも３であってもよい。各畳み込み層５１２は、入力画像から撮像特徴（例えば、１次元（ＩＤ）特徴マップ）を抽出するように構成されるフィルタ５２０のセットを含み得る。完全に接続された層５１４は、非線形であってもよく、且つ最後の畳み込み層５１２（Ｎ）の高次元出力を出力５１６における分類５３０の数に対応する長さに徐々に縮小してもよい。例えば、分類５３０には、正常肺の状態、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水が含まれ得る。
図５には示されていないが、いくつかの実施形態では、畳み込み層５１２はプーリング（pooling）層とインターリーブされ得、各々が、抽出されたイメージング特徴の次元性を低減し得るダウンサンプリング動作のセットを含む。加えて、畳み込み層５１２は、修正された特徴マップを抽出するように構成された非線形関数（例えば、修正された非線形（ＲｅＬＵ）演算を含む）を含むことができる。
入力画像５０２（例えば、スキャン前形式の超音波画像２０４）は、特徴抽出、解析、及び／又は分類のために各層５１２及び５１４を連続して通過させることができる。各層５１２又は５１４は、入力画像５０２又は前の層５１２又は５１４の出力に適用される重み（例えば、畳み込み層５１２のフィルタ５２０のフィルタ係数及び完全に接続された層５１４の非線形重み）を含むことができる。
訓練中に、ＣＮＮ５１０は、例えば、フォワード・プロパゲーション（forward propagation）を使用して各スキャン前形式の画像２０４に適用され、各カテゴリー又は分類５３０についてスキャン前形式の画像２０４の出力又はスコアを取得することができる。畳み込み層５１２のフィルタ５２０の係数及び完全に接続された層５１４の重みは、例えば、出力誤差を最小化するためにバックワード・プロパゲーション（backward propagation）を使用することにより調整することができる。例えば、Ｂライン・アーチファクトを含む入力画像５０２を使用して、ＣＮＮ５１０がＢラインカテゴリーについて高い確率（例えば、９０％以上）を出力できるようにＣＮＮ５１０を訓練することができる。
機械学習コンポーネントは、ＣＮＮ５１０と同じアーキテクチャ又は異なるアーキテクチャを含むことができる。機械学習コンポーネントは、実質的に同様のメカニズムを使用して訓練することができ、訓練によって、機械学習コンポーネントが高い分類精度の出力を生成できることを保証することができる。本明細書では、フレーム毎の解析及び時間的解析のメカニズムについてより詳細に説明する。
深層学習ネットワーク２０６が訓練された後に、深層学習ネットワーク２０６は臨床応用段階２３０で使用することができる。例えば、臨床医又はユーザはシステム１００を使用して患者の肺の画像ビデオ２３２を取り込むことができる。ホスト１３０は、画像ビデオ２３２をリアルタイムで受信することができる。ホスト１３０上の処理コンポーネント１３４は、訓練された深層学習ネットワーク２０６を画像ビデオ２３２に適用して、患者の臨床状態２０８を決定することができる。
図６は、本開示の態様による、超音波画像特徴検出のための深層学習ネットワーク６１０の構成６００を示す概略図である。深層学習ネットワーク６１０は、深層学習ネットワーク２０６に対応し得る。深層学習ネットワーク６１０は、入力画像ビデオ６０２が与えられると臨床状態を予測することができる。深層学習ネットワーク６１０は、ＣＮＮ６１２（例えば、ＣＮＮ５１０）と、機械学習コンポーネント６１４とを含む。深層学習ネットワーク６１０は、ハードウェア・コンポーネントとソフトウェア・コンポーネントとの組合せを使用して実装することができる。例えば、深層学習ネットワーク６１０は、臨床的特徴及び／又は臨床状態のリアルタイム分類を行うために処理コンポーネント１３４によって実装され得る。ＣＮＮ６１２は、空間ドメインでフレーム毎の解析又は分類を行うように訓練することができる。機械学習コンポーネント６１４は、時系列ベクトル分類を行うように訓練することができる。
深層学習ネットワーク６１０は、例えば、システム１００を使用して取り込まれた超音波画像ビデオ６０２を受信するように構成される。ビデオ６０２は、ビデオ２３２に対応し得る。ビデオ６０２は、ある期間に亘った、例えば時刻t（０），ｔ（１），・・・ｔ（Ｎ）での患者（例えば、肺の少なくとも一部）を表す一連の超音波画像フレーム６０４を含むことができ、ここでＮは正の整数である。超音波画像フレーム６０４は、６０４ｔ（０），６０４ｔ（１），・・・６０４ｔ（Ｎ）として示されている。例えば、一連の超音波画像フレーム６０４は、Ｉｉｎ（ｘ，ｙ，ｔ）によって表すことができ、ここでｘ及びｙは空間ドメインを表し、ｔは１～Ｎまで変化する時間を表すことができる。超音波画像フレーム６０４は、超音波画像３１０、３２０、３３０、４１０、４２０、４３０、４４０、４５０、及び５０２と同様であり得る。
フレーム毎の解析を行うために、ＣＮＮ６１２が各超音波画像フレーム６０４に適用される。ＣＮＮ６１２は、超音波画像フレーム６０４毎に出力ベクトル６２０を生成する。出力ベクトル６２０は、６２０ｔ（０），６２０ｔ（１），・・・６２０ｔ（Ｎ）として示されており、それぞれ、超音波画像フレーム６０４ｔ（０），６０４ｔ（１），・・・６０４ｔ（Ｎ）の出力に対応する。出力ベクトル６２０は、出力５１６と同様であってもよい。各出力ベクトル６２０は、（Ｍ＋１）個のスコア又は値６２２を含むことができ、ここでＭは正の整数である。各値６２２は、入力超音波画像フレーム６０４が特定のカテゴリー（例えば、特定の臨床的特徴又は臨床状態を含む）に分類される可能性（likelihood）又は確率を表す。カテゴリーは、Ｃ（０）～Ｃ（Ｍ）で表され得る。（Ｍ＋１）個のカテゴリーの出力値６２２又は確率が、６２２Ｃ（０），６２２Ｃ（１），・・・６２２Ｃ（Ｍ）として示される。例えば、出力ベクトルのセット６２０はＹＩ（ｃ，ｔ）で表すことができ、ここでｃは１～Ｍまで変化するカテゴリー・インデックスを表し、ｔは１～Ｎまで変化する時間を表すことができる。
上述した肺の症状評価の例にＣＮＮ６１２を適用する場合に、Ｍは約４であり得る。例えば、カテゴリーＣ（０）は正常肺の状態を表すことができ、カテゴリーＣ（１）はＢライン・アーチファクト状態を表すことができ、カテゴリーＣ（２）は肺のコンソリデーション状態を表すことができ、カテゴリーＣ（３）はブロンコグラム状態を表すことができ、カテゴリーＣ（４）は肺の胸水状態を表すことができる。換言すれば、ＣＮＮ６１２を入力画像フレーム６０４に適用して、入力画像フレーム６０４が正常な状態、Ｂライン・アーチファクト状態、肺コンソリデーション状態、ブロンコグラム状態、又は胸水状態の画像を含むかどうかを判定することができる。ＣＮＮ６１２は、肺の状態毎の確率を示す出力ベクトル６２０を生成することができる。
時間ドメイン解析を行うために、機械学習コンポーネント６１４は、出力ベクトル６２０のセット（例えば、（Ｍ＋１）×（Ｎ＋１）行列）に適用される。機械学習コンポーネント６１４は、（Ｋ＋１）個のスコア又は値６３２を含む出力ベクトル６３０を生成し、ここでＫは正の整数である。各値６３２は、ビデオ６０２が特定のカテゴリー（例えば、特定の臨床的特徴又は臨床状態を含む）に分類される可能性又は確率を表す。カテゴリーは、Ｄ（０）～Ｄ（Ｋ）で表すことができる。（Ｋ＋１）個のカテゴリーの出力値６３２又は確率は、６３２Ｄ（０），６３２Ｄ（１），・・・６３２Ｄ（Ｋ）として示される。機械学習コンポーネント６１４は、分類のための任意の適切な学習ベースの技術を使用することができる。いくつかの実施形態では、機械学習コンポーネント６１４は、深層学習ネットワーク、ニューラルネットワーク、又はＣＮＮを含むことができる。最大の確率（例えば、出力ベクトル６３０内の最大値６３２）を有するカテゴリーは、ビデオ６０２の分類（例えば、臨床状態）を示し得る。いくつかの実施形態では、ＣＮＮ６１２によって出力されるカテゴリーＣ（０）～Ｃ（Ｍ）は、機械学習コンポーネント６１４によって出力されるＤ（０）～Ｄ（Ｋ）と同一であってもよい。換言すれば、ＫはＭに等しい。例えば、カテゴリーＣ（０）～Ｃ（Ｍ）は、正常肺の状態、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、及び胸水等の、異なるタイプの臨床的特徴に対応し得る。カテゴリーＤ（０）～Ｄ（Ｋ）は、カテゴリーＣ（０）～Ｃ（Ｍ）と同じ肺特徴のセットに対応し得る。
いくつかの実施形態では、カテゴリーＣ（０）～Ｃ（Ｍ）は異なるタイプの臨床的特徴に対応し得、カテゴリーＤ（０）～Ｄ（Ｍ）は異なる重症度に対応し得る。例えば、カテゴリーＣ（０）～Ｃ（Ｍ）は異なるタイプの肺の状態に対応し得、カテゴリーＤ（０）～Ｄ（Ｋ）は正常肺の状態、軽度のＢライン状態、重度のＢライン状態、軽度のコンソリデーション、及び重度のコンソリデーションを含み得る。
いくつかの実施形態では、カテゴリーＣ（０）～Ｃ（Ｍ）は、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第１のカテゴリー分類に対応し得、カテゴリーＤ（０）～Ｄ（Ｍ）は、異なるタイプの臨床的特徴及び異なる重症度のうちの少なくとも一方の第２のカテゴリー分類に対応し得る。
深層学習ネットワーク６１０は、ＣＮＮ６１２及び機械学習コンポーネント６１４を含むように示されているが、いくつかの実施形態では、深層学習ネットワーク６１０は、ＣＮＮ６１２の代わりに機械学習コンポーネント及び／又は機械学習コンポーネント６１４の代わりにＣＮＮを含み、同様の機能を実現することができる。
図７は、本開示の態様による、自動化された超音波画像特徴検出方法７００のフロー図である。方法７００のステップは、プローブ１１０等の超音波イメージング・プローブ又はホスト１３０等のホストのコンピュータ装置（例えば、プロセッサ、処理回路、及び／又は他の適切なコンポーネント）によって実行することができる。方法７００は、図２に関して説明したスキーム２００と同様のメカニズムを使用してもよく、そして、図５及び図６に関してそれぞれ説明した構成５００及び６００のように、深層学習ベースの分類メカニズムを使用してもよい。例示されるように、方法７００は、複数の列挙されたステップを含むが、方法７００の実施形態は、列挙されたステップの前、後、及び間に追加のステップを含んでもよい。いくつかの実施形態では、列挙されたステップのうちの１つ又は複数は、省略されるか、異なる順序で実行してもよい。
ステップ７１０において、方法７００は、ある期間（例えば、時刻t（０）～ｔ（Ｎ）まで）に亘って被検体（例えば、対象物１０５又は患者の肺、心臓、腎臓、又は肝臓）を表す一連の超音波画像フレーム（例えば、超音波画像フレーム６０４）を超音波イメージング装置（例えば、プローブ１１０又はトランスデューサ・アレイ１１２）から受信するステップを含む。一連の超音波画像フレームは、画像ビデオ（例えば、ビデオ２３２又は６０２）に対応し得る。
ステップ７２０において、方法７００は、第１の予測ネットワーク（例えば、ＣＮＮ５１０及び６１２）を一連の超音波画像フレームに適用することにより、一連の超音波画像フレームを臨床特性の第１のセット（例えば、カテゴリーＣ（０）～Ｃ（Ｍ））に分類するステップを含む。臨床特性の第１のセットは、分類ベクトル（例えば、出力ベクトル６２０）のセットによって表され得る。
ステップ７３０において、方法７００は、第２の予測ネットワーク（例えば、機械学習コンポーネント６１４）を分類ベクトルのセットに適用することにより、被検体の臨床状態（例えば、肺の状態）を特定するステップを含む。
いくつかの実施形態では、方法７００は、第１の予測ネットワークを一連の超音波画像フレームの各超音波画像フレームに適用することにより、一連の超音波画像フレームを分類して、分類ベクトルのセットのうちの１つの分類ベクトルを生成することができる。第１の予測ネットワークは、ＣＮＮ（例えば、ＣＮＮ５１０及び６１２）であり得、各分類ベクトルは、臨床特性の第１のセットに関して対応する超音波画像フレームの複数のスコア（例えば、確率値６２２）を含む。
いくつかの実施形態では、方法７００は、第２の予測ネットワークが、臨床特性の第２のセット（例えば、カテゴリーＤ（０）～Ｄ（Ｋ））に関して分類ベクトルのセットのための複数のスコア（例えば、確率値６３２）を生成すること、及び複数のスコアから最も高いスコアを選択することによって、臨床状態を特定することができる。最も高いスコアを有するカテゴリーは、統合された分類結果（例えば、臨床状態）を表し得る。
いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ得、臨床状態には、正常肺（例えば、超音波画像４１０）、Ｂライン・アーチファクト（例えば、超音波画像４２０）、コンソリデーション（例えば、超音波画像４３０）、ブロンコグラム（例えば、超音波画像４４０）、及び胸水（例えば、超音波画像４５０）のうちの少なくとも１つに関連する特徴が含まれる。
いくつかの実施形態では、被検体には、肺の少なくとも一部が含まれ、臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、胸水、及びブロンコグラムのうちの少なくとも１つの重症度に関連する特徴が含まれる。
いくつかの実施形態では、方法７００は、ディスプレイ（例えばディスプレイ１３２）が、臨床状態の指標を表示するステップを含む。
いくつかの実施形態では、少なくとも第１の予測ネットワーク又は第２の予測ネットワークは、異なる超音波イメージング装置によって取り込まれた臨床状態を含むテスト被検体を表す複数のスキャン形式の超音波画像（例えば、スキャン形式の超音波画像２０２）を提供することにより訓練される。異なる超音波イメージング装置は、線形超音波トランスデューサ装置、曲線超音波トランスデューサ装置、及びフェーズドアレイ超音波トランスデューサ装置のうちの少なくとも１つを含むことができる。訓練には、複数のスキャン形式の超音波画像を、異なる超音波イメージング装置から独立した共通の次元及び共通フォーマットの少なくとも一方に基づいて、複数のスキャン形式の超音波画像を複数のスキャン前形式の超音波画像（例えば、スキャン前形式の超音波画像２０４及び５０２）に変換することがさらに含まれる。訓練には、臨床状態に関して複数のスキャン前形式の超音波画像の各超音波画像にスコアを割り当てることをさらに含まれ得る。
本開示の態様は、いくつかの利点を与えることができる。例えば、分類を、空間ドメインのフレーム毎の分類と時間ドメイン解析に分割することによるビデオの分類によって、従来の機械学習ベースのビデオ分類フレームワークと比較して分類の複雑さを軽減することができる。分類の問題を複数の段階に分割することによって、従来のビデオ分類機械学習ベースのネットワークよりも小さな訓練データセットを使用して訓練を行うことができる。深層学習ネットワークを使用することにより、臨床状態の評価を自動化することができ、臨床状態を決定する際に臨床医をガイドするための支援を提供することができる。さらに、自動化により、より一貫した評価結果が得られ、異なる臨床医の異なる解釈から生じる可能性のある変動を排除することができる。さらに、自動化により、例えばある疾患の進行又はある治療の利点を評価するために、特定の臨床状態について患者を経時的に監視することができる。
当業者は、上述した装置、システム、及び方法を様々な方法で修正できることを認識するであろう。従って、当業者は、本開示に含まれる実施形態が上述した特定の例示的な実施形態に限定されないことを理解するであろう。その点に関して、例示的な実施形態を示し、説明してきたが、前述の開示では、広範な修正、変更、及び置換が企図されている。そのような変形は、本開示の範囲から逸脱することなく、前述の開示に対してなされ得ることが理解される。従って、添付の特許請求の範囲を広く、本開示と一致する方法で解釈することが適切である。

Claims (18)

  1. 臨床状態検出システムであって、当該システムは、
    超音波イメージング装置と通信し、且つある期間に亘って被検体を表す一連の超音波画像フレームを受信するように構成される通信装置と、
    該通信装置と通信するプロセッサと、含み、
    該プロセッサは、
    第１の深層学習ネットワークを前記一連の超音波画像フレームの各超音波画像フレームに適用することにより、前記一連の超音波画像フレームにおける空間ドメイン情報を分類して、臨床特性の第１のセットの各臨床特性の確率を含む分類ベクトルを生成し、
    第２の深層学習ネットワークを前記生成した分類ベクトルに適用することにより、前記期間に亘る前記一連の超音波画像フレームに対応する前記分類ベクトルにおける時間ドメイン情報を分類して、臨床特性の第２のセットの各臨床特性の確率を生成し、且つ
    前記臨床特性の第２のセットの前記確率に基づいて前記被検体の臨床状態を特定する、ように構成される、
    システム。
  2. 前記第１の深層学習ネットワークは畳み込みニューラルネットワークである、請求項１に記載のシステム。
  3. 前記プロセッサは、
    前記臨床特性の第２のセットの前記確率から最も高い確率を選択することによって、前記臨床状態を特定するようにさらに構成される、請求項１に記載のシステム。
  4. 前記臨床特性の第１のセットは、前記臨床特性の第２のセットと同一である、請求項１に記載のシステム。
  5. 前記臨床特性の第１のセットは、異なるタイプの臨床的特徴に関連付けられ、前記臨床特性の第２のセットは、前記異なるタイプの臨床的特徴のうちの少なくとも１つの特徴の異なる重症度に関連付けられる、請求項１に記載のシステム。
  6. 前記臨床特性の第１のセットは、異なるタイプの臨床的特徴又は異なる重症度のうちの少なくとも一方の第１のカテゴリー分類に関連付けられ、前記臨床特性の第２のセットは、前記異なるタイプの臨床的特徴又は前記異なる重症度のうちの少なくとも一方の第２のカテゴリー分類に関連付けられる、請求項１に記載のシステム。
  7. 前記被検体には、肺の少なくとも一部が含まれる、請求項１に記載のシステム。
  8. 前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つに関連する特徴が含まれる、請求項７に記載のシステム。
  9. 前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる、請求項７に記載のシステム。
  10. 少なくとも前記第１の深層学習ネットワーク又は前記第２の深層学習ネットワークは、
    異なる超音波イメージング装置によって取り込まれた前記臨床状態を含む、テスト被検体を表す複数のスキャン形式の超音波画像を提供すること、
    前記異なる超音波イメージング装置から独立した共通の次元又は共通のフォーマットの少なくとも一方に基づいて、前記複数のスキャン形式の超音波画像を複数のスキャン前形式の超音波画像に変換すること、及び
    前記臨床状態に関して、前記複数のスキャン前形式の超音波画像の各超音波画像にスコアを割り当てること、により訓練される、請求項１に記載のシステム。
  11. 前記異なる超音波イメージング装置は、線形超音波トランスデューサ装置、曲線超音波トランスデューサ装置、又はフェーズドアレイ超音波トランスデューサ装置のうちの少なくとも１つを含む、請求項１０に記載のシステム。
  12. 前記プロセッサと通信し、且つ前記臨床状態の指標を表示するように構成されたディスプレイをさらに含む、請求項１に記載のシステム。
  13. 臨床状態検出システムの作動方法であって、当該作動方法は、
    前記臨床状態検出システムの処理コンポーネントが、ある期間に亘って被検体を表す一連の超音波画像フレームを超音波イメージング装置から受信するステップと、
    前記処理コンポーネントが、第１の深層学習ネットワークを前記受信した一連の超音波画像フレームの各超音波画像フレームに適用することにより、前記一連の超音波画像フレームにおける空間ドメイン情報を分類して、臨床特性の第１のセットの各臨床特性の確率を含む分類ベクトルを生成するステップと、
    前記処理コンポーネントが、第２の深層学習ネットワークを前記生成した分類ベクトルに適用することにより、前記期間に亘る前記一連の超音波画像フレームに対応する前記分類ベクトルにおける時間ドメイン情報を分類して、臨床特性の第２のセットの各臨床特性の確率を生成するステップと、
    前記処理コンポーネントが、前記臨床特性の第２のセットに前記確率に基づいて前記被検体の臨床状態を特定するステップと、を含む、
    作動方法。
  14. 前記第１の深層学習ネットワークは畳み込みニューラルネットワークである、請求項１３に記載の作動方法。
  15. 前記特定するステップは、前記処理コンポーネントが、前記臨床特性の第２のセットの前記確率から最も高い確率を選択するステップ、を含む、請求項１３に記載の作動方法。
  16. 前記被検体には、肺の少なくとも一部が含まれ、前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つに関連する特徴が含まれる、請求項１３に記載の作動方法。
  17. 前記被検体には、肺の少なくとも一部が含まれ、前記臨床状態には、正常肺、Ｂライン・アーチファクト、コンソリデーション、ブロンコグラム、又は胸水のうちの少なくとも１つの重症度に関連する特徴が含まれる、請求項１３に記載の作動方法。
  18. 前記臨床状態検出システムのディスプレイが、前記臨床状態の指標を表示するステップをさらに含む、請求項１３に記載の作動方法。
JP2019553196A 2017-03-28 2018-03-28 超音波臨床特徴検出及び関連する装置、システム、及び方法 Active JP7194691B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762477536P 2017-03-28 2017-03-28
US62/477,536 2017-03-28
PCT/EP2018/058030 WO2018178212A1 (en) 2017-03-28 2018-03-28 Ultrasound clinical feature detection and associated devices, systems, and methods

Publications (2)

Publication Number Publication Date
JP2020512112A JP2020512112A (ja) 2020-04-23
JP7194691B2 true JP7194691B2 (ja) 2022-12-22

Family

ID=62089711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019553196A Active JP7194691B2 (ja) 2017-03-28 2018-03-28 超音波臨床特徴検出及び関連する装置、システム、及び方法

Country Status (5)

Country Link
US (1) US11817203B2 (ja)
EP (1) EP3602568A1 (ja)
JP (1) JP7194691B2 (ja)
CN (1) CN110678933B (ja)
WO (1) WO2018178212A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11446008B2 (en) * 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
US10878311B2 (en) * 2018-09-28 2020-12-29 General Electric Company Image quality-guided magnetic resonance imaging configuration
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
US11487823B2 (en) * 2018-11-28 2022-11-01 Sap Se Relevance of search results
US11443424B2 (en) * 2020-04-01 2022-09-13 Kpn Innovations, Llc. Artificial intelligence methods and systems for analyzing imagery
CN111419283B (zh) * 2020-04-08 2023-11-14 上海长征医院 一种用于评估新冠肺炎患者病情严重程度的超声分析系统
JP7471895B2 (ja) * 2020-04-09 2024-04-22 キヤノンメディカルシステムズ株式会社 超音波診断装置及び超音波診断システム
CN111598868B (zh) * 2020-05-14 2022-12-30 上海深至信息科技有限公司 一种肺部超声图像识别方法和系统
CN111643118B (zh) * 2020-06-10 2020-11-06 北京核信锐视安全技术有限公司 基于超声成像的新冠肺炎风险提示装置、系统
US20220277175A1 (en) * 2021-02-28 2022-09-01 Clarius Mobile Health Corp. Method and system for training and deploying an artificial intelligence model on pre-scan converted ultrasound image data
CN113344855A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 降低乳腺超声病灶检测假阳率的方法、装置、设备及介质
WO2023232456A1 (en) 2022-06-01 2023-12-07 Koninklijke Philips N.V. Methods and systems for analysis of lung ultrasound
EP4287203A1 (en) * 2022-06-01 2023-12-06 Koninklijke Philips N.V. Methods and systems for analysis of lung ultrasound

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016046140A1 (en) 2014-09-25 2016-03-31 Koninklijke Philips N.V. Device and method for automatic pneumothorax detection
US20160239959A1 (en) 2013-09-30 2016-08-18 U.S. Government, As Represented By The Secretary Of The Army Automatic Focused Assessment with Sonography for Trauma Exams
WO2016193979A1 (en) 2015-06-03 2016-12-08 Innereye Ltd. Image classification by brain computer interface
JP2016221264A (ja) 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 知識ベース超音波画像強調

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
US9636081B2 (en) * 2009-06-09 2017-05-02 Koninklijke Philips N.V. Method and apparatus for recognizing moving anatomical structures using ultrasound
US9639933B2 (en) * 2013-02-14 2017-05-02 The Research Foundation For The State University Of New York Method for adaptive computer-aided detection of pulmonary nodules in thoracic computed tomography images using hierarchical vector quantization and apparatus for same
KR102325346B1 (ko) * 2014-12-15 2021-11-11 삼성전자주식회사 의료 영상 진단 장치 및 방법
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
CN105550699B (zh) * 2015-12-08 2019-02-12 北京工业大学 一种基于cnn融合时空显著信息的视频识别分类方法
CN105718890A (zh) * 2016-01-22 2016-06-29 北京大学 一种基于卷积神经网络的特定视频检测方法
US10856848B2 (en) * 2016-06-20 2020-12-08 Butterfly Network, Inc. Augmented reality interface for assisting a user to operate an ultrasound device
EP3490454A4 (en) * 2016-07-29 2020-08-05 Novadaq Technologies ULC METHODS AND SYSTEMS FOR CHARACTERIZING A SUBJECT FABRIC USING MACHINE LEARNING
US9589374B1 (en) 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US10748277B2 (en) * 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging
RU2019125590A (ru) * 2017-01-19 2021-02-19 Нью Йорк Юниверсити Система и способ ультразвукового анализа
WO2018165620A1 (en) * 2017-03-09 2018-09-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for clinical image classification
US10176575B2 (en) * 2017-03-24 2019-01-08 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239959A1 (en) 2013-09-30 2016-08-18 U.S. Government, As Represented By The Secretary Of The Army Automatic Focused Assessment with Sonography for Trauma Exams
WO2016046140A1 (en) 2014-09-25 2016-03-31 Koninklijke Philips N.V. Device and method for automatic pneumothorax detection
JP2016221264A (ja) 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 知識ベース超音波画像強調
WO2016193979A1 (en) 2015-06-03 2016-12-08 Innereye Ltd. Image classification by brain computer interface

Also Published As

Publication number Publication date
CN110678933B (zh) 2023-10-31
EP3602568A1 (en) 2020-02-05
US20200043602A1 (en) 2020-02-06
US11817203B2 (en) 2023-11-14
CN110678933A (zh) 2020-01-10
WO2018178212A1 (en) 2018-10-04
JP2020512112A (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
JP7194691B2 (ja) 超音波臨床特徴検出及び関連する装置、システム、及び方法
US11950959B2 (en) Ultrasound system with automated dynamic setting of imaging parameters based on organ detection
JP6935020B2 (ja) 超音波画像の特徴を識別するシステム及び方法
CN112040876B (zh) 自适应超声扫描
JP7123891B2 (ja) 超音波心臓ドップラー検査の自動化
EP3776353B1 (en) Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
US11931201B2 (en) Device and method for obtaining anatomical measurements from an ultrasound image
WO2014162232A1 (en) 3d ultrasound imaging system
JP7237147B2 (ja) バイオメトリック測定及び品質評価
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
EP3977938B1 (en) Method and ultrasound system for shear wave elasticity imaging
JP2022513225A (ja) フレームのインデックス付け及び画像レビューのためのシステム及び方法
US20240212132A1 (en) Predicting a likelihood that an individual has one or more lesions
JP7453400B2 (ja) 超音波システムおよび超音波システムの制御方法
EP3685753A1 (en) Ultrasound imaging apparatus and method of controlling the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7194691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150