JP7462624B2 - 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法 - Google Patents

深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法 Download PDF

Info

Publication number
JP7462624B2
JP7462624B2 JP2021520363A JP2021520363A JP7462624B2 JP 7462624 B2 JP7462624 B2 JP 7462624B2 JP 2021520363 A JP2021520363 A JP 2021520363A JP 2021520363 A JP2021520363 A JP 2021520363A JP 7462624 B2 JP7462624 B2 JP 7462624B2
Authority
JP
Japan
Prior art keywords
motion control
control configuration
coordinate system
ultrasound imaging
probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021520363A
Other languages
English (en)
Other versions
JP2022504878A (ja
JPWO2020079077A5 (ja
Inventor
グジェゴジ アンドレイ トポレク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022504878A publication Critical patent/JP2022504878A/ja
Publication of JPWO2020079077A5 publication Critical patent/JPWO2020079077A5/ja
Application granted granted Critical
Publication of JP7462624B2 publication Critical patent/JP7462624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

[0001] 本開示は、概して、超音波撮像に関し、特には、超音波トランスデューサを所望の撮像平面に位置決めするために視覚的ガイダンス又はフィードバックを提供することに関する。
[0002] 超音波撮像は、医師が医学的状態を診断及び治療することを助ける非侵襲的な医学的テストである。超音波撮像は、人間の身体内の組織、臓器、及び／又は血流の画像を生成するために高周波音波を使用する。超音波撮像システムは、目標となる身体部分（例えば、組織及び臓器）に向かって音波を送り、反射されて戻ってきたエコーを記録し、それによって目標となる身体部分のサイズ、形状及び質量を定めるために励起又はトリガされ得る超音波トランスデューサ又はトランスデューサアレイを含む。超音波撮像システムは、Ｂモード及びドップラフローなどの種々の撮像モードを使用する。Ｂモード撮像では、超音波撮像システムは組織の２次元的画像を作成し、この画像においては、ピクセルの明るさは反射されたエコーの強度に基づく。ドップラフロー撮像では、超音波システムは、ドップラ効果に基づいて流体（例えば、血液）又は組織の動きを求め、反射されたエコーは入射波に対して周波数においてシフトされる。
[0003] 近年、ベッドサイドにおけるポイントオブケア（ＰＯＣ）超音波撮像が、集中治療室（ＩＣＵ）及び緊急的な状況において、様々なタイプの診断、例えば、心臓、肝臓及び／又は肺に関連する診断のために支持を得ている。ＰＯＣ超音波撮像システムにおいて、超音波トランスデューサは、モバイルデバイスに接続する手持ち型超音波プローブの形態であり、モバイルデバイスに超音波画像が表示される。臨床的評価の最中に、臨床医は、評価のために特定の解剖学的構造を撮像するために最適な撮像ビューの場所を特定するためにデカルト平面に沿って手持ち型プローブを移動させる。しかしながら、プローブの複数の自由度のために、臨床医にとって最適なビューを見つけることは、時間がかかり、困難なものになる。短縮遠近法で描かれたビュー平面又は撮像平面は、誤診に、及び／又は診察の不必要な繰り返しにつながることがある。
[0004] 既存の超音波撮像は、臨床的診察及び診断のために有用であることが分かっているが、撮像コンポーネントを所望の撮像平面に位置整合させるための効率的で、正確で、自動的な処置を提供するための向上されたシステム及び技術に対する臨床的必要性が依然として存在する。本開示の実施形態は、超音波診察のために超音波撮像プローブを最適な位置に位置決めする際にユーザを補助及びガイドするハイブリッド自動的プローブ位置決めガイダンス手法を提供する。開示される実施形態は、運動予測の精度を向上させるために、カメラ追跡による画像に基づく運動予測を提供するために深層学習ネットワークを利用する。例えば、臨床医は、関心対象となる患者の解剖学的構造に対する第１の位置に撮像プローブを位置決めし、患者の解剖学的構造の超音波画像を撮影する。同時に、カメラが、撮像プローブ及び患者のカメラ画像を撮影し得る。撮像プローブを所望の撮像ビューに向かって操縦するための第１の運動制御構成を予測するために、深層学習ネットワークが超音波画像に適用され得る。撮像プローブを所望の撮像ビューに向かって操縦するための第２の運動制御構成を決定するために、追跡アルゴリズムがカメラ画像に適用され得る。開示される実施形態は、自動的プローブガイダンスを提供するために、深層学習からの第１の運動制御構成を追跡からの第２の運動制御構成と結合させる。この結合は、自動的プローブガイダンスの精度を向上させ得る。開示される実施形態は、カメラ画像に重畳されるグラフィカル表現を使用してプローブガイダンス指示をリアルタイムで表示する。開示される実施形態は、深層学習ネットワークを適用する前に、関連性のない画像データ及び／又は画像品質の低い画像データをフィルタリングによって取り除くことによって、深層学習に基づく運動検知を更に向上させ得る。画像データのフィルタリングは、深層学習ネットワークの複雑さを低減し得、及び／又は深層学習に基づく運動予測の性能を向上させ得る。開示される実施形態は、任意の超音波撮像システムに適用され得る。
[0005] 一実施形態において、超音波画像を取得するためのガイダンスシステムは、カメラ及びディスプレイと通信するプロセッサであって、プロセッサは、第１の位置から対象者の解剖学的構造の目標画像ビューに向かって超音波撮像デバイスを再位置決めするために、第１の予測ネットワークに基づいて決定される第１の運動制御構成を取得することと；カメラによって撮影された画像に基づいて超音波撮像デバイスに関連する位置情報を求めることであって、画像は、対象者の解剖学的構造と、第１の位置に位置決めされた超音波撮像デバイスとを含む、位置情報を求めることと；第１の運動制御構成及び超音波撮像デバイスに関連する位置情報に基づいて第１の位置から第２の位置へと超音波撮像デバイスを再位置決めする指示を、ディスプレイに対して出力することとを行うように構成されたプロセッサを備える。
[0006] いくつかの実施形態において、第１の予測ネットワークは、第１の座標系に基づいて第１の位置を表し、カメラによって撮影された画像は、第２の座標系に基づいて第１の位置を表し、プロセッサは、位置情報に基づいて第１の座標系と第２の座標系との間の座標系変換を決定することと；第１の運動制御構成及び座標系変換に基づいて第２の運動制御構成を決定することと；第１の運動制御構成及び第２の運動制御構成に基づいて指示を決定することとを行うように構成される。いくつかの実施形態において、プロセッサは、第１の運動制御構成と第２の運動制御構成とを結合することによって指示を決定するように構成される。いくつかの実施形態において、プロセッサは、第１の運動制御構成と第２の運動制御構成との比較に基づいて指示を決定するように構成される。いくつかの実施形態において、超音波撮像デバイスはマーカーに結合され、画像はマーカーを含み、プロセッサは、超音波撮像デバイスとマーカーとの間の相対位置に基づいて座標系変換を決定するように構成される。いくつかの実施形態において、プロセッサは、カメラと対象者の解剖学的構造との間の相対位置に基づいて座標系変換を決定するように構成される。いくつかの実施形態において、プロセッサは、カメラと対象者上に位置決めされたマーカーとの間の相対位置に基づいて座標系変換を決定するように構成される。いくつかの実施形態において、第１の運動制御構成は、第１の回転又は第１の並進のうちの少なくとも１つを含む。いくつかの実施形態において、プロセッサは、対象者の解剖学的構造及び超音波撮像デバイスを含む画像と；超音波撮像デバイスを第２の位置に再位置決めするための回転又は並進のうちの少なくとも１つのグラフィカル表現の重畳とを表示するように指示を出力するように構成される。いくつかの実施形態において、特許請求の範囲のガイダンスシステムは、カメラと；ディスプレイとを更に備える。いくつかの実施形態において、ガイダンスシステムは、カメラと、プロセッサと、ディスプレイとを備えるモバイルデバイスを更に備える。いくつかの実施形態において、プロセッサは超音波撮像デバイスと通信し、プロセッサは、超音波撮像デバイスから、超音波撮像デバイスが第１の位置に位置決めされたときに対象者の解剖学的構造を表す超音波画像を受信することと；第１の運動制御構成を生成するために第１の予測ネットワークを超音波画像に適用することとによって第１の運動制御構成を取得するように構成される。いくつかの実施形態において、プロセッサは、第１の運動制御構成を生成するために第１の予測ネットワークを超音波画像の関心領域（ＲＯＩ）に適用することによって第１の運動制御構成を取得するように構成される。いくつかの実施形態において、プロセッサは、プロセッサと通信するユーザインタフェースから、ＲＯＩの選択を受信すること；又は、第２の予測ネットワークに基づいてＲＯＩを決定することのうちの少なくとも一方によって第１の運動制御構成を取得するように構成される。いくつかの実施形態において、プロセッサは、超音波画像内の関心領域（ＲＯＩ）を決定し、決定されたＲＯＩに基づいて第１の運動制御構成を決定するために第１の予測ネットワークを適用することによって第１の運動制御構成を取得するように構成される。
[0007] 一実施形態において、超音波撮像ガイダンスを提供する方法は、第１の位置から対象者の解剖学的構造の目標画像ビューに向かって位置決めされた超音波撮像デバイスを再位置決めするために、第１の予測ネットワークに基づいて決定される第１の運動制御構成を取得するステップと；カメラによって撮影された画像に基づいて超音波撮像デバイスに関連する位置情報を求めるステップであって、画像は、対象者の解剖学的構造と、第１の位置に位置決めされた超音波撮像デバイスとを含む、ステップと；第１の運動制御構成及び超音波撮像デバイスに関連する位置情報に基づいて第１の位置から第２の位置へと超音波撮像デバイスを再位置決めする指示を、ディスプレイ上に表示するステップとを有する。
[0008] いくつかの実施形態において、第１の予測ネットワークは、第１の座標系に基づいて第１の位置を表し、カメラによって撮影された画像は、第２の座標系に基づいて第１の位置を表し、方法は、位置情報に基づいて第１の座標系と第２の座標系との間の座標系変換を決定するステップと；少なくとも第１の運動制御構成及び座標系変換に基づいて指示を決定するステップとを更に有する。いくつかの実施形態において、方法は、第１の運動制御構成及び座標系変換に基づいて第２の運動制御構成を決定するステップと；第１の運動制御構成と第２の運動制御構成とに結合関数を適用すること；又は、第１の運動制御構成と第２の運動制御構成とに比較関数を適用することのうちの少なくとも一方によって指示を決定するステップとを更に有する。いくつかの実施形態において、超音波撮像デバイスはマーカーに結合され、画像はマーカーを含み、方法は、超音波撮像デバイスとマーカーとの間の相対位置に基づいて座標系変換を決定するステップを更に有する。いくつかの実施形態において、方法は、カメラと対象者の解剖学的構造との間の相対位置に基づいて座標系変換を決定するステップを更に有する。
[0009] 本開示の追加的な態様、特徴及び利点は、以下の詳細な説明から明らかになるであろう。
[0010] 本開示の例示的な実施形態が添付の図面を参照して説明される。
[0011] 本開示の態様による、超音波撮像システムの概略的な図である。 [0012] 本開示の態様による、深層学習に基づく自動的プローブ位置決めガイダンススキームを示す概略的な図である。 [0013] 本開示の態様による、深層学習に基づく自動的プローブ位置決めガイダンススキームのための使用ケースシナリオを示す図である。 [0014] 本開示の態様による、自動的プローブ位置決めガイダンス方法のフロー図である。 [0015] 本開示の態様による、自動的プローブ位置決めガイダンス方法から取得された超音波画像を示す図である。 [0016] 本開示の態様による、自動的プローブ位置決めガイダンス方法のフロー図である。 [0017] 本開示の態様による、訓練データ取得スキームを示す概略的な図である。 [0018] 本開示の態様による、拡張現実（ＡＲ）マーカー及びカメラ追跡によって画像に基づく運動予測を実現するハイブリッド自動的プローブ位置決めガイダンススキームを示す概略的な図である。 [0019] 本開示の態様による、ハイブリッドプローブ位置決めガイダンスのための使用ケースシナリオを示す図である。 [0020] 本開示の態様による、自動的プローブ位置決めガイダンスを提供する超音波システムにおける表示ビューを示す図である。 [0021] 本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システムにおける表示ビューを示す図である。 [0022] 本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システムにおける表示ビューを示す図である。 [0023] 本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システムにおける表示ビューを示す図である。 [0024] 本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システムにおける表示ビューを示す図である。 [0025] 本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システムにおける表示ビューを示す図である。 [0026] 本開示の態様による、ハイブリッド自動的プローブ位置決めガイダンス方法のフロー図である。
[0027] 本開示の原理の理解を促すために、図面に示される実施形態が参照され、これを説明するために特定の用語が使用される。それでもなお、本開示の範囲に対する制限が意図されるものではないことが理解される。本開示が関係する技術分野の当業者に通常想到されるように、説明されるデバイス、システム、及び方法への任意の改変及び更なる修正、並びに本開示の原理の任意の更なる適用は完全に想定され、本開示に含まれる。特には、１つの実施形態に関して説明される特徴、コンポーネント、及び／又はステップは、本開示の他の実施形態に関して説明される特徴、コンポーネント、及び／又はステップと組み合わされ得ることが完全に想定される。しかしながら、簡潔さのために、それらの組み合わせの多くの繰り返しは個別には説明されない。
[0028] 図１は、本開示の態様による、超音波撮像システム１００の概略的な図である。システム１００は、患者の身体のエリア又はボリュームをスキャンするために使用される。システム１００は、通信インタフェース又はリンク１２０を介してホスト１３０と通信する超音波撮像プローブ１１０を含む。プローブ１１０は、トランスデューサ１１２と、ビーム形成器１１４と、処理コンポーネント１１６と、通信インタフェース１１８とを含む。ホスト１３０は、ユーザインタフェース（ＵＩ）／ディスプレイ１３２と、処理コンポーネント１３４と、通信インタフェース１３６とを含む。
[0029] プローブ１１０は、患者の身体内又は身体外に位置決めされたときに患者の様々な身体部分を撮像するための任意の適切な形態である。実施形態において、プローブ１１０は、ユーザによる手持ち操作のために構成された筐体を含む外部超音波撮像デバイスである。トランスデューサ１１２は、トランスデューサ１１２が患者の皮膚に隣接して及び／又は患者の皮膚に接するように位置決めされるようにユーザがプローブ１１０の筐体を把持したときに超音波データを取得するように構成され得る。プローブ１１０は、プローブ１１０が患者の身体の外側に位置決めされたときに患者の身体内の解剖学的構造の超音波データを取得するように構成される。いくつかの他の実施形態において、プローブ１１０は、カテーテル、血管内超音波（ＩＶＵＳ）カテーテル、心臓内心エコー検査（ＩＣＥ）カテーテル、経食道心エコー検査（ＴＥＥ）プローブ、経胸郭心エコー検査（ＴＴＥ）プローブ、空洞内プローブ、手持ち型超音波スキャナ、又はパッチに基づく超音波デバイスの形態である。
[0030] トランスデューサ１１２は、解剖学的オブジェクト１０５に向かって超音波信号を射出し、オブジェクト１０５から反射されてトランスデューサ１１２に戻ってきたエコー信号を受信する。超音波トランスデューサ１１２は、１つ若しくは複数の音響要素及び／又は複数の音響要素などの任意の適切な数の音響要素を含み得る。いくつかの場合において、トランスデューサ１１２は１つの音響要素を含む。いくつかの場合において、トランスデューサ１１２は、任意の適切な構成の任意の数の音響要素を有する音響要素のアレイを含む。例えば、トランスデューサ１１２は、２つの音響要素、４つの音響要素、３６個の音響要素、６４個の音響要素、１２８個の音響要素、５００個の音響要素、８１２個の音響要素、及び／又はこれらよりも少ないか又は多い他の個数の音響要素など、１つから１０００個の間の音響要素を含み得る。いくつかの場合において、トランスデューサ１１２は、直線的アレイ、平面的アレイ、湾曲されたアレイ、曲線式のアレイ、周囲アレイ、環状アレイ、位相式アレイ、マトリクスアレイ、１次元的（１Ｄ）アレイ、１．ｘ次元的アレイ（例えば、１．５Ｄアレイ）、又は２次元的（２Ｄ）アレイなど、任意の適切な構成の任意の数の音響要素を有する音響要素のアレイを含む。音響要素のアレイ（例えば、１つ若しくは複数の行、１つ若しくは複数の列、及び／又は１つ若しくは複数の向き）は均一に又は個々に制御及び作動され得る。トランスデューサ１１２は、患者の解剖学的構造の１次元的、２次元的、及び／又は３次元的画像を取得するように構成され得る。いくつかの実施形態において、トランスデューサ１１２は、圧電微細加工超音波トランスデューサ（ＰＭＵＴ）、容量型微細加工超音波トランスデューサ（ＣＭＵＴ）、単結晶、チタン酸ジルコン酸鉛（ＰＺＴ）、ＰＺＴ複合体、他の適切なトランスデューサタイプ、及び／又はこれらの組み合わせを含む。
[0031] ビーム形成器１１４はトランスデューサ１１２に結合される。ビーム形成器１１４は、例えば、超音波信号の送信及び超音波エコー信号の受信のために、トランスデューサ１１２を制御する。ビーム形成器１１４は、反応又は受信された超音波エコー信号に基づいて、処理コンポーネント１１６に画像信号を提供する。ビーム形成器１１４は、ビーム形成の複数のステージを含む。ビーム形成は、処理コンポーネント１１６に結合するための信号ラインの数を低減し得る。いくつかの実施形態において、ビーム形成器１１４と組み合わされたトランスデューサ１１２は、超音波撮像コンポーネントと称される。
[0032] いくつかの実施形態において、オブジェクト１０５は、心臓能力評価のために患者の心臓の少なくとも一部分を含む。他の実施形態において、オブジェクト１０５は、超音波撮像診察に適した患者の任意の解剖学的構造（例えば、肺、血管、心臓、腎臓、及び／又は肝臓）を含む。
[0033] 処理コンポーネント１１６はビーム形成器１１４に結合される。処理コンポーネント１１６は、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明される動作を実施するように構成されたこれらの任意の組み合わせを含む。処理コンポーネント１３４は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成としても実現される。処理コンポーネント１１６は、ビーム形成された信号を処理するように構成される。例えば、処理コンポーネント１１６は、画像信号を調整するためにフィルタリング及び／又は直交位相復調を実施する。処理コンポーネント１１６及び／又は１３４は、オブジェクト１０５に関連する超音波データを取得するようにトランスデューサ１１２を制御するように構成され得る。
[0034] 通信インタフェース１１８は処理コンポーネント１１６に結合される。通信インタフェース１１８は、１つ又は複数の送信機、１つ又は複数の受信機、１つ又は複数の送受信機、及び／又は通信信号を送信及び／又は受信するための回路を含む。通信インタフェース１１８は、通信リンク１２０を介してホスト１３０に信号を搬送するために適した特定の通信プロトコルを実現するハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含み得る。通信インタフェース１１８は、通信デバイス又は通信インタフェースモジュールとも称され得る。
[0035] 通信リンク１２０は任意の適切な通信リンクである。例えば、通信リンク１２０は、ユニバーサルシリアルバス（ＵＳＢ）リンク又はＥｔｈｅｒｎｅｔリンクなどの有線リンクである。代替的に、通信リンク１２０は、超広帯域（ＵＷＢ）リンク、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）８０２．１１ＷｉＦｉリンク、Ｂｌｕｅｔｏｏｔｈリンクなどの無線リンクである。
[0036] ホスト１３０において、通信インタフェース１３６は画像信号を受信する。通信インタフェース１３６は、通信インタフェース１１８と実質的に同様である。ホスト１３０は、ワークステーション、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、モバイルフォン、手持ち型パーソナルコンピュータ、モバイルデバイス、及び／又は超音波コンソールなどの任意の適切なコンピューティング及びディスプレイデバイスである。
[0037] 処理コンポーネント１３４は通信インタフェース１３６に結合される。処理コンポーネント１３４は、ソフトウェアコンポーネントとハードウェアコンポーネントとの組み合わせとして実現される。処理コンポーネント１３４は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡデバイス、別のハードウェアデバイス、ファームウェアデバイス、又は本明細書において説明される動作を実施するように構成されたこれらの任意の組み合わせを含む。処理コンポーネント１３４は、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ又は複数のマイクロプロセッサ、又は任意の他のこのような構成としても実現される。処理コンポーネント１３４は、プローブ１１０から受信された画像信号から画像データを生成するように構成され得る。処理コンポーネント１３４は、最新式の信号処理及び／又は画像処理技術を画像信号に適用し得る。いくつかの実施形態において、処理コンポーネント１３４は、画像データから３次元的（３Ｄ）ボリューム画像を形成し得る。いくつかの実施形態において、処理コンポーネント１３４は、オブジェクト１０５の超音波画像のストリーミング映像を提供するために画像データにリアルタイム処理を実施し得る。
[0038] いくつかの実施形態において、処理コンポーネント１３４は、オブジェクト１０５の最適なビューを撮影するための位置にプローブ１１０を位置決めする際に自動的ガイダンスを提供し得る。本明細書においてより詳細に説明されるように、処理コンポーネント１３４は、現在の位置における現在の撮像ビュー及び診察のための特定の臨床的特性を含む目標撮像ビューに基づいてプローブ１１０を現在位置から最適な位置へと操縦するための運動制御構成又は動きベクトル（例えば、回転及び／又は並進）を決定するために、深層学習に基づく技術（例えば、予測ネットワーク）を適用し得る。
[0039] いくつかの実施形態において、システム１００は、ホスト１３０に結合された、又はホスト１３０内に一体化されたカメラ１５０を含む。カメラ１５０は、超音波診察中に、プローブ１１０及び超音波診察されている患者の画像を撮影するように構成され得る。処理コンポーネント１３４は、患者（例えば、診察されている患者の特定の身体部分又は解剖学的構造）に対するプローブ１１０の位置決めを追跡するように構成され得る。本明細書においてより詳細に説明されるように、処理コンポーネント１３４は、プローブ１１０を操縦するための運動制御構成を生成し、カメラ１５０によって撮影された画像から生成された情報を追跡し、運動制御構成及びカメラ追跡情報に基づいて超音波診察のために最適なビューへとプローブ１１０を移動するように臨床医をガイドする指示を生成するために、予測ネットワークを使用し得る。
[0040] ＵＩ／ディスプレイ１３２は処理コンポーネント１３４に結合される。ディスプレイ１３２は、モニタ又は任意の適切なディスプレイである。本明細書においてより詳細に説明されるように、ＵＩ／ディスプレイ１３２は、超音波画像、カメラによって撮影された画像、及び／又は最適な撮像ビューをリアルタイムで取得するためにプローブ１１０を位置決めするための指示を表示するように構成される。
[0041] 実施形態において、システム１００はＰＯＣシステムである。ホスト１３０は、タブレット、スマートフォン、並びに／又は内蔵式デジタルカメラ１５０及び一体型ＵＩ／ディスプレイ１３２を含む他の適切なモバイルデバイスである。例えば、ＰＯＣは、ＩＣＵ、ＥＲ、緊急状況における病院／診療所の外におけるものなどである。他の実施形態において、システム１００は、ＰＯＣ以外の病院の病室又は診療所環境における使用のために構成された撮像システムである。実施形態において、システム１００はＰＯＣ心エコー検査システムである。ＰＯＣ心エコー検査は、特定の臨床的問題に応えるために、治療にあたる医師によって患者のベッドサイドにおいて実施される集中的な、目標指向の経胸郭心エコー図を指す。ＰＯＣ超音波（ＰＯＣＵＳ）は、いくつかの有益性を提供し得る。例えば、ＰＯＣＵＳは、救急医（ＥＰ）に、診断にかかる時間を短縮させることを助け得るリアルタイム臨床情報へのアクセスを与える。時間は、救急診療部（ＥＤ）において常に貴重なリソースである。迅速で正確なベッドサイド超音波診察は、重大な合併症を回避し、ポイントオブケア医師に更なる診断のために専門部門へと患者を搬送させることを助け得る。
[0042] 実施形態において、システム１００は、サーバー／クライアント環境において動作し、そこでは、ホスト１３０は、患者のいる場所であって患者の画像が取得される場所とは異なる遠隔的な場所に位置するサーバーである。サーバーは、取得された画像を受信し、深層学習ネットワークを適用することによってプローブガイダンス指示を決定し得る。ＵＩ／ディスプレイ１３２は、ホスト１３０とは別個のデバイスである。例えば、ＵＩ／ディスプレイ１３２はタブレットであってよい。ＵＩ／ディスプレイ１３２は、患者のいる場所に位置し得る。ＵＩ／ディスプレイ１３２は、サーバーと通信するウェブクライアントアプリケーションを実行し得る。ウェブクライアントアプリケーションは、サーバーからプローブガイダンス指示を受信し得、プローブガイダンス指示を表示するグラフィカルインタフェースを提供し得る。患者のいる場所で診察を実施する臨床医は、ＵＩ／ディスプレイ１３２からのプローブガイダンス指示を読み、それに従ってプローブ１１０を操縦し得る。
[0043] システム１００は、超音波撮像の様々なステージにおける使用のために構成され得る。実施形態において、システム１００は、超音波画像を収集し、プローブ１１０の動きを追跡して、深層学習ネットワークの訓練のための訓練データセットを形成するために使用される。例えば、ホスト１３０は、メモリ１３８を含み、これは、キャッシュメモリ（例えば、処理コンポーネント１３４のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、固体メモリデバイス、ハードディスクドライブ、固体ドライブ、他の形態の揮発性及び不揮発性メモリ、又は異なるタイプのメモリの組み合わせなどの任意の適切な記憶デバイスである。メモリ１３８は、深層学習に基づく訓練のための訓練データセット１４０を記憶するように構成され得る。
[0044] いくつかの実施形態において、システム１００は、プローブの位置決めのために深層学習ネットワークを訓練するために使用される。例えば、深層学習ネットワークは、プローブ位置と、対応する画像ビューと、目標画像ビューとを関連付けることによって訓練される。深層学習ネットワークは、目標画像ビューに向かってプローブ（例えば、プローブ１１０）を移動させる最適な動き（例えば、回転及び／又は並進）を予測するために訓練される。訓練済みの深層学習ネットワークは、後の使用のためにメモリ１３８に記憶され得る。
[0045] いくつかの実施形態において、システム１００は、ライブ超音波診察のために臨床環境において使用され、自動的プローブ位置決めガイダンスを提供するために訓練済み深層学習ネットワークが適用され、画像に基づく追跡のためにプローブ１１０の画像を撮影するためにカメラ１５０が使用される。深層学習に基づいて予測された動きは、画像に基づく追跡情報とともに、超音波診察のために最適なビューの場所を特定する際に臨床医をガイドするために使用され得る。自動的プローブ位置決めガイダンスのための訓練データの収集、深層学習ネットワークの訓練、並びに深層学習技術及び画像に基づく追跡技術の適用のための機構は、本明細書においてより詳細に説明される。
[0046] システム１００は、ビーム形成器１１４及び処理コンポーネント１１６によってそれぞれ実施されるビーム形成機能及び信号処理機能をプローブ１１０に有するものとして示されたが、いくつかの実施形態において、ビーム形成機能及び／又は信号処理機能のうちの少なくともいくつかは、ホスト１３０において実施されてよい。いくつかの他の実施形態において、プローブ１１０は、超音波エコー信号を、例えばいくつかのゲイン制御及び／又はフィルタリングを施しつつ、処理のためにホスト１３０に伝送する。加えて、プローブ１１０の通信インタフェース１１８は、業界標準の物理的コネクタ及び／又は独自開発の物理的コネクタであってよく、通信リンク１２０は、任意の業界標準のケーブル、同軸ケーブル、及び／又は独自開発のケーブルを含む。概して、システム１００は任意のタイプの超音波撮像システムを表し、超音波撮像機能は、プローブ（例えば、トランスデューサ１１２を含む）、ホスト、及び／又はプローブとホストとの間の任意の中間処理サブシステムにおいて任意の適切なやり方で分割される。更に、システム１００は、患者に対するプローブの動きを追跡するためのカメラ１５０を有するものとして示されたが、いくつかの実施形態において、システム１００は、患者に、プローブ１１０に、又は診察が実施されている任意の適切な場所に位置付けられた、任意の適切な追跡デバイスを含む。
[0047] 概して、システム１００及びプローブ１１０、並びに／又は本明細書において説明される他のデバイスは、患者の身体の任意の適切な解剖学的構造及び／又は管腔を診察するために利用され得る。いくつかの場合において、プローブ１１０は、患者の身体の解剖学的構造及び／又は管腔内に位置決めされ得る。他の場合において、プローブ１１０は、身体の内側の解剖学的構造及び／又は管腔を診察するために身体の外側に位置決めされ得る。解剖学的構造及び／又は管腔は、流体が充満された又は流体に包囲された、天然及び人工の両方の構造を表す。例えば、本開示のプローブは、患者の食道内に位置決めされ得、及び／又は、これを診察するために使用され得る。いくつかの実施形態において、本開示のプローブは、これらに限定されるわけではないが、肝臓、心臓、腎臓、胆のう、すい臓、肺を含む臓器；管；腸；脳、硬膜嚢、脊髄、及び末梢神経を含む神経系構造；尿路；並びに血液内の弁、心臓の室若しくは他の部分、及び／又は身体の他の系を含む任意の数の解剖学的場所及び組織タイプを診察するために使用される。身体の内側の解剖学的構造及び／又は管腔は、心血管系、末梢血管系、神経血管系、腎血管系などの患者の血管系の動脈又は静脈としての血管、及び／又は身体の内側の任意の他の適切な管腔である。天然の構造に加えて、本開示のプローブは、これらに限定されるわけではないが、心臓弁、ステント、シャント、フィルタ、及び他のデバイスなどの人工の構造を診察するために使用される。
[0048] 図２は、本開示の態様による、深層学習に基づく自動的プローブ位置決めガイダンススキーム２００を示す概略的な図である。スキームはシステム１００によって実施され得る。スキーム２００は、深層学習ネットワーク２０４を含む。深層学習ネットワーク２０４は、１つ又は複数の畳み込みニューラルネットワーク（ＣＮＮ）２１０を含む。ＣＮＮ２１０は、現在の撮像ビューに基づいて患者の解剖学的構造（例えば、患者の心臓）の特定のビューを撮影するために最適な撮像位置又は撮像平面へと超音波撮像プローブ（例えば、プローブ１１０）を移動させるための動きのセットを提供するように訓練される。
[0049] 例として、臨床医は、目標画像ビューを選択し、患者の心臓に対する第１の位置にプローブを位置決めする。プローブは、第１の位置において患者の心臓の画像２０２（例えば、現在の画像ビュー）を撮影する。スキーム２００は、訓練済みＣＮＮ２１０を画像２０２に適用する。ＣＮＮ２１０は、第１の位置において撮影された現在の画像２０２に基づいて運動制御構成２０６を出力する。運動制御構成２０６は、剛体運動の任意のベクトルパラメータ表示及び／又は非ベクトルパラメータ表示を含む。パラメータ表示は、目標画像ビューに向かってプローブを移動させるためのオイラー角、四元数、マトリックス、指数写像、並びに／又は、回転及び／若しくは並進（例えば、並進の方向及び大きさを含む）を表す角度－軸の形態であってよい。
[0050] ＣＮＮ２１０は、Ｎ個の畳み込み層２２０のセットと、これに続くＫ個の全結合層２４０のセットとを含み、ここで、Ｎ及びＫは任意の正の整数である。各全結合層２４０は、Ｍ個のニューロンを含み得、ここで、Ｍは任意の正の整数である。Ｎ、Ｋ及びＭの値は実施形態に応じて変化する。いくつかの場合において、Ｎは約８であり、Ｋは約２であり、及びＭは約１０００であり得る。各畳み込み層２２０は、非線形変換を実施し、これは、バッチ正規化、正規化線形関数（ＲｅＬＵ）、プーリング、ドロップアウト、又は畳み込みなどの動作の合成関数である。各畳み込み層は、画像２０２から特徴を抽出するように構成されたフィルタ２２２のセットを含む。加えて、各畳み込み層２２０は、正規化された特徴マップを抽出するように構成された非線形関数（例えば、正規化非線形（ＲｅＬＵ）動作を含む）を含む。全結合層２４０は、非線形であり、最後の畳み込み層２２０（Ｎ）の高次元出力を徐々に縮小して、目標画像ビューに向かってプローブを移動させるための候補運動制御構成２５２のセット（例えば、各々が回転及び／又は並進を含む）を生成する。ＣＮＮ２１０は、目標画像ビューに向かうプローブの運動を記述する運動制御構成２０６のベクトル又は非ベクトルパラメータ表現を出力する。
[0051] ＣＮＮ２１０は、シミュレートされたデータから生成された画像、制御環境において擬似模型から取得された画像、臨床環境中に取得されたライブ画像、又はこれらの組み合わせを含む訓練データセットを使用して訓練され得る。訓練データセットは、画像と、対応するプローブの動きとの関連付けを更に含む。本明細書においてより詳細に説明されるように、ＣＮＮ２１０の訓練は、フィルタ２２２及び２３２の係数を調節することによって画像及び関連するプローブの動きから特徴（例えば、臨床的な特性）を抽出し、学習する。
[0052] 図３は、深層学習に基づく自動的プローブ位置決めガイダンススキーム２００のための使用ケースシナリオ３００を示す。シナリオ３００において、プローブ（例えば、プローブ１１０）が患者に対する第１の位置に位置決めされたときに患者の心臓の現在の画像ビュー３１０が撮影される。現在の画像ビュー３１０は、スキーム２００における画像２０２に対応する。ＣＮＮ２１０は現在の画像ビュー３１０に適用される。ＣＮＮ２１０は運動制御構成３２０（例えば、運動制御構成２０６）を生成する。運動制御構成３２０は、以下のように表現され、
Ｔ∈ＳＥ（３） （１）
ここで、Ｔはプローブを移動させるための剛体（例えば、候補運動制御構成２５２）の出力最適運動制御構成３２０（例えば、回転及び／又は並進）を表し、ＳＥ（３）は特殊ユークリッド群を表す。
[0053] 運動制御構成３２０を取得した後、臨床医は、運動制御構成３２０に従ってプローブを次の位置に再位置決めする。プローブを次の位置（例えば、最適な撮像位置に対応する位置）に再位置決めした後、患者の心臓の目標画像ビュー３３０が撮影される。図から分かるように、目標画像ビュー３３０は、心臓の室の明瞭なビューを提供する。
[0054] シナリオ３００は、運動制御構成３２０が、一度の試行又はＣＮＮ２１０の一度の適用によって目標撮像ビューを撮影するために最適な撮像位置にプローブを導くことを示しているが、いくつかの実施形態において、ＣＮＮ２１０は、次に撮影された画像ビューに再適用される。換言すれば、臨床医は、ＣＮＮ２１０の複数回の適用に基づいて、最適な撮像位置に到達するために複数回にわたってプローブを再位置決めすることを必要とされる。
[0055] 深層学習による画像に基づく運動予測は、いくつかの利点を提供し得る。例えば、ＣＮＮ２１０のエンドツーエンドの学習又は訓練の最中に抽出される豊富な特徴のおかげで、運動予測性能が解剖学的差異（例えば、患者の大きさ及び／又は心臓の場所）から独立している。しかしながら、運動予測性能は、例えば、品質の低い音響結合、品質の低い音響窓の位置決め（例えば、心臓の診察における肋骨の陰影効果）、及び／又は最適以下の呼吸状態に起因する品質の低い入力画像から影響を受けることがある。故に、本開示は、運動予測のために深層学習ネットワークを適用する前に、特定の診察に無関係の画像データ又は品質の低い画像データをフィルタリングによって取り除く技術を提供する。
[0056] 図４は、本開示の態様による、自動的プローブ位置決めガイダンス方法４００のフロー図である。方法４００のステップは、例えば処理コンポーネント１３４によって実行されるシステム１００を使用して実行され得る。示されるように、方法４００はいくつかの列挙されたステップを有するが、方法４００の実施形態は、列挙されたステップの前、後、及び間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップのうちの１つ又は複数が省略されてよく、又は、異なる順序で実施されてよい。方法４００は、図２に関して説明されたスキーム２００におけるものと同様の機構を用いる。方法４００は、入力画像から関心領域（ＲＯＩ）（例えば、臨床的に関連する特徴）を追加的に検知し、運動予測のために深層学習ネットワークをＲＯＩに適用する。図５は、本開示の態様による、自動的プローブ位置決めガイダンス方法４００から取得された超音波画像５１０、５２０、及び５３０を示す。方法４００は、以下において図５を参照して説明される。
[0057] ステップ４１０において、方法４００は、患者の解剖学的構造の画像（例えば、画像２０２及び現在の画像ビュー３１０）を取得するステップを有する。例えば、臨床医は、プローブ（例えば、プローブ１１０）を、診察されている患者の解剖学的構造に近接した第１の位置に位置決めする。例として、臨床医は、患者に心臓の診察を実施し、患者の心臓の画像５１０を取得する。
[0058] ステップ４２０において、方法４００は、画像５１０からＲＯＩ５１２を検知するステップを有する。ＲＯＩ５１２は、患者の心臓に対応する画像５１０の領域を含む。
[0059] ステップ４３０において、方法４００は、画像５１０のＲＯＩ５１２に深層学習ネットワーク（例えば、深層学習ネットワーク２０４）を適用するステップを有する。深層学習ネットワークは、画像５１０のＲＯＩ５１２に基づいてプローブを位置決めするための運動制御構成（例えば、運動制御構成２０６及び３２０）を生成する。
[0060] ステップ４４０において、方法４００は、例えば、プローブの回転及び／又は並進を示すグラフィカルインタフェースの形態の運動制御構成をディスプレイ（例えば、ＵＩ／ディスプレイ１３２）に出力するステップを有する。こうして、臨床医は、表示された指示に従ってプローブを再位置決めする。
[0061] 方法４００は、最適な撮像ビューが撮影されるまでステップ４１０～４４０を繰り返す。例えば、方法４００の最初の反復の後、画像５２０が撮影される。方法４００は、画像５２０からＲＯＩ５２２を検知し、深層学習ネットワークをＲＯＩ５２２に適用するまで繰り返されてよい。第２の反復の後、画像５３０が撮影される。再び、方法４００は、画像５３０からＲＯＩ５３２を検知し、深層学習ネットワークをＲＯＩ５３２に適用するまで繰り返されてよい。図から観察されるように、各反復の後、心臓の室のより良好な撮像ビューが撮影される。
[0062] 運動予測のために深層学習ネットワークがＲＯＩ５１２、５２２、及び５３２において動作するように限定することは、いくつかの利点を提供し得る。例えば、計算負荷が低減され得、深層学習ネットワークのサイズが低減され得、及び／又はフレームレートが向上され得る。複雑性が低減されることで、より低コストで、より性能の低い、及び／又はよりサイズの小さな処理コンポーネント上で、深層学習に基づいた運動予測の実現が可能となる。
[0063] 実施形態において、ステップ４２０におけるＲＯＩ検知は、深層学習ネットワーク２０４と同様の予測ネットワークを介して実施され得る。別の実施形態において、単一の深層学習ネットワークが、ＲＯＩ検知及び運動予測を提供するために訓練され得る。
[0064] 図６は、本開示の態様による、自動的プローブ位置決めガイダンス方法６００のフロー図である。方法６００のステップは、例えば処理コンポーネント１３４によって実行されるシステム１００を使用して実行され得る。示されるように、方法６００はいくつかの列挙されたステップを有するが、方法６００の実施形態は、列挙されたステップの前、後、及び間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップのうちの１つ又は複数が省略されてよく、又は、異なる順序で実施されてよい。方法６００は、図２に関して説明されたスキーム２００におけるものと同様の機構を用いる。方法６００は、運動予測のために深層学習ネットワークを適用する前に、品質の低い入力画像を追加的にフィルタリングによって取り除く。
[0065] ステップ６１０において、方法６００は、患者の解剖学的構造の画像（例えば、画像２０２、５１０、５２０、及び５３０並びに現在の画像ビュー３１０）を取得するステップを有する。例えば、臨床医は、プローブ（例えば、プローブ１１０）を、診察されている患者の解剖学的構造に近接した第１の位置に位置決めする。
[0066] ステップ６２０において、方法６００は、例えば画像品質測定に基づいて画像を分類するステップを有する。いくつかの場合において、分類のためにソフトマックス関数が適用され得る。
[0067] ステップ６３０において、方法６００は、画像が良好な品質を有するかを判定する。
[0068] 画像が良好な品質を有するとき、方法６００はステップ６４０に進む。ステップ６４０において、方法６００は、深層学習ネットワーク（例えば、深層学習ネットワーク２０４）を画像に適用するステップを有する。深層学習ネットワークは、最適な撮像ビューに向かってプローブを位置決めするための運動制御構成（例えば、運動制御構成２０６及び３２０）を生成する。
[0069] ステップ６５０において、方法６００は、例えばプローブの回転及び／又は並進を示すグラフィカルインタフェースの形態の運動制御構成をディスプレイ（例えば、ＵＩ／ディスプレイ１３２）に出力するステップを有する。こうして、臨床医は、表示された指示に従ってプローブを再位置決めする。
[0070] ステップ６２０に戻ると、画像が低品質であるとき、方法６００は、画像を廃棄し、次の画像を取得するためにステップ６１０に戻る。
[0071] 実施形態において、ステップ６２０における分類は、深層学習ネットワーク２０４と同様の予測ネットワークを介して実施され得る。別の実施形態において、単一の深層学習ネットワークが、画像分類及び運動予測を提供するために訓練され得る。
[0072] いくつかの実施形態において、方法６００は、方法４００とともに使用される。一実施例において、ＲＯＩ検知、画像分類、及び運動予測は、任意の適切な組み合わせの１つ又は複数の予測ネットワークを介して実施され得る。別の実施例において、ＲＯＩ検知及び／又は画像分類は、深層学習ネットワークを適用する前に、臨床医によって実施され得る。
[0073] 画像に基づく運動予測の精度は、画像品質の影響を受けやすい。例えば、特定の撮像位置で協働することが困難な（例えば、肥満及び／又は肋間空間が小さいことによる）特定の患者について高品質画像を取得することは困難である。故に、本開示は、ＡＲマーカーを画像に基づく運動予測と組み合わせることによって画像に基づく運動予測への補助を提供する技術を提供する。
[0074] 図７は、本開示の態様による、訓練データ取得スキーム７００を示す概略的な図である。スキーム７００は、自動的プローブガイダンスにおいて運動予測を提供する深層学習ネットワーク（例えば、深層学習ネットワーク２０４）を訓練するための訓練データ（例えば、訓練データセット１４０）を収集するためにオフラインで実施される。スキーム７００は、擬似模型７０２を使用して訓練データを収集する。スキーム７００は、代替的に、臨床的断層撮影検査から訓練データを収集するように構成されてよい。
[0075] 例として、スキーム７００は、心臓の診察のために訓練データを収集する。患者トラッカー７４０が、擬似模型７０２の心臓の場所をマークする擬似模型７０２上に位置決めされる。患者トラッカー７４０は、ベルトストラップ７３０によって擬似模型７０２に固定される。スキーム７００は、プローブ７５０を使用して擬似模型７０２の心臓の画像を取得する。プローブ７５０はプローブ１１０と同様のものである。プローブ７５０は、モバイルデバイス７２０（例えば、タブレット又はスマートフォン）に結合され、取得された画像は、訓練データセットを作成するためにモバイルデバイス７２０に伝送され得る。モバイルデバイス７２０はホスト１３０と同様のものである。プローブトラッカー７６０がプローブ７５０に装着される。スキーム７００は更に、擬似模型７０２の心臓に対するプローブ７５０の動きをプローブトラッカー７６０及び患者トラッカー７４０をそれぞれ介して追跡するために、光学的撮影デバイス７１０又はカメラ（例えば、カメラ１５０）を利用する。光学的撮影デバイス７１０は、追跡システム７７０に通信可能に結合される。スキーム７００は、代替的に又は追加的に、プローブ７５０の動きを追跡するために電磁的追跡システムなどの位置測定システムを用いる。
[0076] モバイルデバイス７２０は、様々な撮像位置に位置決めされたプローブ７５０によって擬似模型７０２の心臓の画像を収集する。追跡システム７７０は、患者トラッカー７４０に対するプローブトラッカー７６０の動き（例えば、回転及び／又は並進）を記録するように構成されたコンピューティング及び処理コンポーネント（例えば、ホスト１３０）を含む。モバイルデバイス７２０は、収集された画像にタイムスタンプを付し得る。同様に、追跡システム７７０は、記録された動きにタイムスタンプを付し得る。スキーム７００は、画像のタイムスタンプ及び動きのタイムスタンプに基づいて、収集された画像を対応するプローブの動きに同期させ得、及び関連付け得る。同期後に、スキーム７００は、画像を対応する動きに関連付けることによって訓練データセットを作成し得る。
[0077] スキーム７００は、擬似模型７０２の心臓に対するプローブ７５０の動きの追跡を補助するために患者トラッカー７４０及びプローブトラッカー７６０を使用するが、患者トラッカー７４０及び／又はプローブトラッカー７６０の使用は任意選択的なものであり得る。加えて、スキーム７００は、任意の適切な解剖学的構造（例えば、肺、腎臓、肝臓、及び／又は任意の臓器、組織、脈管）の画像を収集するため、及び訓練データセットを生成するためにプローブの動きを追跡するために適用され得る。
[0078] 訓練データセットを収集した後、訓練データセットは、例えば順方向伝搬を使用して深層学習ネットワーク２０４に供給され得る。深層学習ネットワーク２０４の訓練への入力は２－タプル（例えば、画像と、姿勢又は運動制御構成とを含む）である。フィルタ２２２及び２３２のための係数は、ネットワーク２０４の出力誤差を最小化するために、例えば逆方向伝搬又は逆伝搬を使用して調節される。
[0079] 図８は、本開示の態様による、ＡＲマーカー及びカメラ追跡によって画像に基づく運動予測を実現するハイブリッド自動的プローブ位置決めガイダンススキーム８００を示す概略的な図である。スキーム８００はシステム１００によって実施され得る。スキーム８００は、患者の解剖学的構造（例えば、心臓、肺、肝臓、腎臓、及び／又は任意の臓器、脈管、組織若しくは構造）の画像（例えば、画像２０２、５１０、５２０、及び５３０）を取得するために、プローブ１１０及び７５０と同様のプローブ８０２を用いる。ＡＲマーカー８０４はプローブ８０２に結合される。スキーム８００は、プローブ８０２及びプローブマーカー８０４の位置及び動きのカメラ画像をリアルタイムで同時に撮影するために、光学的撮影デバイス７１０及びカメラ１５０と同様のカメラ８０１を用いる。
[0080] スキーム８００において、臨床医は、診察されている患者の解剖学的構造の画像８０６を撮影するために、プローブ８０２を第１の位置に位置決めする。同時に、カメラ８０１は、プローブ８０２（例えば、位置及び／又は動き）のカメラ画像８０８をリアルタイムで撮影する。
[0081] 画像８０６は、深層学習ネットワーク２０４と同様の深層学習ネットワーク８１０に入力される。深層学習ネットワーク８１０は、プローブ８０２を所望の又は目標の撮像位置に向かって再位置決めするための第１の運動制御構成８１２を生成する。運動制御構成８１２は、第１の座標系（例えば、深層学習ネットワーク８１０による出力の座標系）に対する回転及び／又は並進を含む。第１の座標系は、深層学習ネットワーク８１０の訓練中に定められる。第１の座標系は、訓練中に取得された画像において特定された特徴（例えば、心尖部四腔断層像など）によって定められた心臓のローカルな座標系である。
[0082] 追跡アルゴリズム８２０は、ライブカメラ画像８０８に基づいて、ＡＲマーカー８０４の座標系とカメラ８０１（例えば、光学的追跡）の座標系との間の座標系変換８２２を決定する。カメラ８０１の座標系は第２の座標系と称される。例えば、追跡アルゴリズム８２０は、ＡＲマーカー８０４を特定し、プローブ８０２の動きに対応するＡＲマーカー８０４の動きを追跡する画像処理技術を適用する。ＡＲマーカー８０４には、画像処理アルゴリズムによって容易に認識又は特定され得る特定の視覚的パターンが刻み込まれ得る。
[0083] 実施形態において、ＡＲマーカー８０４は、プローブ８０２とＡＲマーカー座標系との間の変換を取得するために超音波プローブ８０２に対して較正される。追跡アルゴリズム８２０は、第２の座標系における患者の解剖学的構造に対するプローブ８０２と関連する位置情報を追跡する。座標系変換８２２は、第２の座標系に対する回転及び／又は並進を含む。
[0084] 第１の座標系と第２の座標系とは異なる。第１の運動制御構成８１２及び座標系変換８２２は、座標系変換コンポーネント８３０に入力される。座標系変換コンポーネント８３０は、座標系変換８２２を第１の運動制御構成８１２に適用し、第１の座標系に対する、変換された運動制御構成を生み、これは第２の運動制御構成８３２と称される。座標系変換は、座標系が基準座標系と位置整合するように座標系の回転及び／又は並進を含む。
[0085] 実施形態において、座標系変換コンポーネント８３０は、以下に示される変換を適用する。
ｃａｍｅｒａＴＤＬ＝ｃａｍｅｒａＴｍａｒｋｅｒ×ｍａｒｋｅｒＴｐｒｏｂｅ×ｐｒｏｂｅＴＤＬ （２）
ここで、ｐｒｏｂｅＴＤＬは、ローカルな解剖学的に定められた座標系（例えば、深層学習ネットワーク８１０の第１の座標系）からプローブ８０２への座標系変換を表す。ローカルな解剖学的構造に基づく座標系は、訓練プロセスにおいて任意的に選ばれてよい。ｍａｒｋｅｒＴｐｒｏｂｅは、プローブ８０２からＡＲマーカー８０４への座標系変換を表す。ｃａｍｅｒａＴｍａｒｋｅｒは、ＡＲマーカー８０４からカメラ８０１への座標系変換（例えば、座標系変換８２２）を表す。ｃａｍｅｒａＴＤＬは、座標系変換コンポーネント８３０によって実施される座標系変換、すなわち、深層学習ネットワーク８１０によって出力された第１の運動制御構成８１２（例えば、患者の心臓などの関心対象の解剖学的構造のローカルな座標に対して）と、カメラに基づく追跡アルゴリズム８２０との間の変換を表す。こうして、変換ｃａｍｅｒａＴＤＬは、深層学習ネットワーク８１０とカメラ８０１との間の座標系の位置合わせを表す。
[0086] 実施形態において、変換ｍａｒｋｅｒＴｐｒｏｂｅは、固定的であり得、結合されたＡＲマーカー８０４を有するプローブ８０２の製造中に較正され得る。別の実施形態において、ＡＲマーカー８０４は、システムの動作中に（例えば、スキーム８００を実施するときに）、再現可能な位置決めを提供し得る取り付け機構を介してプローブ８０１に装着され得る。いくつかの他の実施形態において、ＡＲマーカー８０４は、既知の刻印された内部ランドマークを有する外部超音波擬似模型を使用して、超音波プローブ８０２及び画像（例えば、カメラ画像）に対して較正され得る。
[0087] 実施形態において、変換ｃａｍｅｒａＴＤＬは、診察の開始時に決定され得、診察中に更新され得る。等式（２）は、断層撮影診察中に患者に対してカメラ８０１が固定的な場所に位置していると想定していることに留意されたい。
[0088] 実施形態において、カメラ８０１は診察中に移動している。そのため、座標系変換８２２は、カメラ８０１を異なる場所に移動させることを考慮することを必要とされる。このような実施形態において、座標系変換コンポーネント８３０は、以下に示される変換を適用し得る。
ｐａｔｉｅｎｔＴＤＬ＝ｐａｔｉｅｎｔＴｃａｍｅｒａ×ｃａｍｅｒａＴｍａｒｋｅｒ×ｍａｒｋｅｒＴｐｒｏｂｅ×ｐｒｏｂｅＴＤＬ （３）
ここで、ｐａｔｉｅｎｔＴｃａｍｅｒａは、カメラ８０１から診察されている患者への座標変換を表す。患者座標系は、患者マーカー７６０と同様の患者マーカーによって定められ得る。
[0089] 概して、座標系変換コンポーネント８３０は、第１の座標系（例えば、第１の運動制御構成８１２を表すために使用される）及び第２の座標系（例えば、カメラ８０１のもの）を共通の標準座標系に位置整合させるために変換を適用する。
[0090] 変換を適用した後、第１の運動制御構成８１２を第２の運動制御構成８３２と結合して第３の運動制御構成８４２を生成するために、結合関数８４０が適用される。実施形態において、結合関数８４０は、第１の運動制御構成８１２を第２の運動制御構成８３２と平均化する。実施形態において、結合関数８４０は、第１の運動制御構成８１２と第２の運動制御構成８３２とを特定の重み付けを使用して結合する。例として、深層学習ネットワーク８１０によって予測された第１の運動制御構成８１２の精度を確認するために第１の運動制御構成８１２は第２の運動制御構成８３２と比較され得、結合関数８４０は、この比較に依存する。例えば、もしも比較が特定の閾値を満足するならば、第１の運動制御構成８１２は第２の運動制御構成８３２と平均化され得、又は第２の運動制御構成８３２によって置き換えられ得る。本明細書において以下により詳細に説明されるように、第３の運動制御構成８４２は、臨床医に対してプローブ位置決めガイダンスを提供するためにグラフィカルインタフェース（例えば、ＵＩ／ディスプレイ１３２）に出力され得る。
[0091] 臨床医は、プローブ位置決めガイダンス指示に従ってプローブ８０２を再位置決めする。臨床医は、診察のための最適な撮像位置に到達するまでスキーム８００を繰り返してプローブ８０２を再位置決めする。
[0092] いくつかの実施形態において、スキーム８００は、臨床医が診察に使用されたプローブ再位置決めシーケンスを思い出すことを欲する場合に備えて、追跡座標系（例えば、第２の座標系）に基づいて診察に使用されたプローブ再位置決めシーケンスを記憶する。
[0093] いくつかの実施形態において、スキーム８００は、方法４００及び／又は６００とともに使用される。例えば、深層学習ネットワーク８１０は、プローブ運動予測に加えて、方法４００において示されたＲＯＩ検知及び／又は方法６００において示された画像分類を含む。
[0094] 実施形態において、音波検査者は、画像に基づくガイダンス（例えば、深層学習に基づく運動予測）を使用して心尖部四腔断層像を見つける。心尖部四腔断層像を見つけた後、例えば等式（２）又は等式（３）において示されたように、深層学習ネットワーク８１０とカメラとの間の位置合わせが実施される。位置合わせの後、カメラは同一の位置（例えば、固定的位置）に保たれ得る。さもなければ、位置合わせが繰り返される。深層学習ネットワーク８１０によって予測された運動は、カメラ８０１から取得された追跡情報と組み合わされ得る。この組み合わせは、予測された運動及び追跡情報への平均化関数の適用を含む。代替的に、この組み合わせは、予測された運動の確認（例えば、サニティーチェック）として追跡を使用する。いくつかの場合において、ユーザがプローブ８０２の位置決めを思い出すことを欲する場合に備えて、基準位置は、トラッカー座標系（例えば、第２の座標系）内に保たれる。
[0095] 図９は、本開示の態様による、ハイブリッドプローブ位置決めガイダンスのための使用ケースシナリオ９００を示す。シナリオ９００は、スキーム８００を使用した超音波診察におけるシナリオに対応する。シナリオ９００において、臨床医は、プローブ９１０（例えば、プローブ８０２）を使用して患者９０２に超音波診察を実施する。臨床医は、後方を向いたカメラ（例えばカメラ１５０及び８０１並びに光学的撮影デバイス７１０）を備えるモバイルデバイス９２０を使用して、モバイルデバイス９２０のディスプレイに示されているように、プローブ９１０及び診察されている患者９０２の解剖学的構造のカメラ画像を撮影する。例として、プローブ９１０は、心臓の超音波診察のために患者９０２の心臓の場所９０４の近くに置かれる。モバイルデバイス９２０は、図８に関して上に説明されたスキーム８００を実施し得る。例えば、モバイルデバイス９２０は、プローブ９１０によって取得された画像を受信し得、プローブ９１０を最適な撮像位置に操縦するための第１の運動制御構成（例えば、第１の運動制御構成８１２）を予測するために深層学習ネットワーク（例えば、深層学習ネットワーク２０４及び８１０）を適用し得る。モバイルデバイス９２０は、座標系変換（例えば、座標系変換８２２）を決定するために追跡アルゴリズム８２０を実施し得、深層学習によって予測された運動制御構成に座標系変換を適用し得る。以下においてより詳細に説明されるように、モバイルデバイス９２０は、グラフィカル表現を使用してプローブガイダンス指示を表示し得る。
[0096] 図１０は、本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システムにおける表示ビュー１０００を示す。表示ビュー１０００は、スキーム８００を実施するモバイルデバイス９２０上の表示ビューに対応する。表示ビュー１０００は、プローブ９１０のカメラ画像１０１０（例えば、カメラ画像８０８）を含み、プローブ９１０の画像の上にプローブガイダンス指示（例えば、回転１０１２）が重畳されている。回転１０１２は、第３の運動制御構成８４２に対応する。表示ビュー１０００は、プローブ９１０によって、例えば第１の撮像位置及び後続の撮像位置において取得された超音波画像１０２０を更に含む。こうして、臨床医は、表示ビュー１０００上の指示（例えば、回転１０１２）に基づいてプローブ９１０を操縦し、同時に、プローブ９１０が１つの位置から別の位置へと位置を変化するときに超音波画像１０２０を観察する。表示ビュー１０００はモバイルデバイス９２０を使用するものとして示されているが、同様の表示ビューが、システム１００のＵＩ／ディスプレイ１３２上に、又は、超音波撮像システムにおける任意のディスプレイ上に提供され得る。
[0097] 図１１Ａ～図１１Ｅは、スキーム８００によって提供されるプローブ位置決めガイダンスシナリオのいくつかの例を示す。図１１Ａは、本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システム（例えば、システム１００）における表示ビュー１１１０を示す。表示ビュー１１１０は、モバイルデバイス９２０のスクリーン上の表示ビューに対応する。表示ビュー１１１０は表示ビュー１０００と同様のものであるが、バツ印１１１２によって表されるように、プローブ位置が正しくないという指摘を示している。バツ印１１１２は、画像に基づくガイダンスを提供するために画像品質が十分でないことの警告として働く。画像が低品質であることは、不適切な音響窓、品質の低い音響結合、解剖学的構造に関連すること（肋間空間が小さいこと又は特定の解剖学的異常）に起因し得る。
[0098] 図１１Ｂは、本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システム（例えば、システム１００）における表示ビュー１１２０を示す。表示ビュー１１２０は、モバイルデバイス９２０のスクリーン上の表示ビューに対応する。表示ビュー１１２０は表示ビュー１０００と同様のものであるが、矢印１１２２によって表されるように、プローブ９１０を左に向かって横に移動させる並進指示を示している。
[0099] 図１１Ｃは、本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システム（例えば、システム１００）における表示ビュー１１３０を示す。表示ビュー１１３０は、モバイルデバイス９２０のスクリーン上の表示ビューに対応する。表示ビュー１１３０は表示ビュー１０００と同様のものであるが、回転シンボル１１３２によって表されるように、プローブ９１０を反時計回り方向に回転させる回転指示を示している。
[00100] 図１１Ｄは、本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システム（例えば、システム１００）における表示ビュー１１４０を示す。表示ビュー１１４０は、モバイルデバイス９２０のスクリーン上の表示ビューに対応する。表示ビュー１１４０は表示ビュー１０００と同様のものであるが、異なるＧＵＩビューを提供している。表示ビュー１１４０は、回転シンボル１１４２によって表されるように、プローブ９１０を反時計回り方向に回転させる回転指示を示している。表示ビュー１１４０は、プローブ９１０によって撮影された超音波画像１１４４を含む。
[00101] 図１１Ｅは、本開示の態様による、自動的プローブ位置決めガイダンスを提供する撮像システム（例えば、システム１００）における表示ビュー１１５０を示す。表示ビュー１１５０は、モバイルデバイス９２０のスクリーン上の表示ビューに対応する。表示ビュー１１５０は表示ビュー１１４０と同様のものである。例えば、表示ビュー１１５０は、回転シンボル１１５２によって表されるように、プローブ９１０を反時計回り方向に回転させる回転指示を、プローブ９１０によって撮影された超音波画像１１５４とともに示している。しかしながら、表示ビュー１１５０は、診察されている解剖学的構造を表す擬似模型画像１１５６の上にプローブ９１０を重畳することによる、診察されている解剖学的構造（例えば、患者の心臓）に対するプローブ９１０の位置の図解を追加的に含む。表示ビュー１１４０及び１１５０に示されているＧＵＩを利用するとき、ガイダンス情報がモバイルデバイス９２０のスクリーン上に直接的に表示されるので、ＡＲマーカー（例えば、マーカー８０４）の使用は必要とされない。
[00102] 図１２は、本開示の態様による、ハイブリッド自動的プローブ位置決めガイダンス方法のフロー図である。方法１２００のステップは、プローブ１１０、７５０、８０２、及び９１０などの超音波撮像プローブの、又はホスト１３０及びモバイルデバイス９２０などのホストのコンピューティングデバイス（例えば、プロセッサ、処理ユニット、及び／又は他の適切なコンポーネント）によって実行され得る。方法１２００は、図４、図６、図８、図９、図１０、図１１Ａ、図１１Ｂ及び図１１Ｃに関してそれぞれ説明された方法４００及び６００、スキーム８００、シナリオ９００、表示ビュー１０００、１１１０、１１２０、及び１１３０におけるものと同様の機構を用いる。示されるように、方法１２００はいくつかの列挙されたステップを有するが、方法１２００の実施形態は、列挙されたステップの前、後、及び間に追加的なステップを有してよい。いくつかの実施形態において、列挙されたステップのうちの１つ又は複数が省略されてよく、又は、異なる順序で実施されてよい。
[00103] ステップ１２１０において、方法１２００は、第１の位置から対象者の解剖学的構造（例えば、オブジェクト１０５又は患者の心臓の場所９０４）の目標画像ビューに向かって位置決めされた超音波撮像デバイス（例えば、プローブ１１０、７５０、８０２、及び９１０）を再位置決めするために第１の運動制御構成（例えば、第１の運動制御構成８１２）を取得するステップを有する。第１の運動制御構成は第１の予測ネットワーク（例えば、深層学習ネットワーク２０４及び８１０）に基づいて決定される。
[00104] ステップ１２２０において、方法１２００は、カメラ（例えば、カメラ１５０及び８０１並びに光学的撮影デバイス７１０）によって撮影された画像（例えば、カメラ画像８０８及び１０１０）に基づいて、超音波撮像デバイスに関連する位置情報を求めるステップを有する。画像は、対象者の解剖学的構造と、第１の位置に位置決めされた超音波撮像デバイスとを含む。
[00105] ステップ１２３０において、方法１２００は、第１の運動制御構成及び位置情報に基づいて第１の位置から第２の位置へと超音波撮像デバイスを再位置決めする指示を、ディスプレイ（例えば、ＵＩ／ディスプレイ１３２又はモバイルデバイス９２０）上に表示するステップを有する。指示は、表示ビュー１０００、１１１０、１１２０、及び１１３０において示されるように表示され得る。
[00106] 実施形態において、第１の予測ネットワークは、第１の座標系に基づいて第１の位置を表し、カメラによって撮影された画像は、第２の座標系に基づいて第１の位置を表す。方法１２００は、位置情報に基づいて第１の座標系と第２の座標系との間の座標系変換（例えば、変換８２２）を決定するステップを更に有する。座標系変換は、上に説明された等式（２）及び（３）と同様のものである。方法１２００は、少なくとも第１の運動制御構成及び座標系変換に基づいて指示を決定するステップを更に有する。
[00107] 実施形態において、方法１２００は、第１の運動制御構成及び座標系変換に基づいて第２の運動制御構成（例えば、変換された、又は第２の運動制御構成８３２）を決定するステップを更に有する。方法１２００は、第１の運動制御構成と第２の運動制御構成とに結合関数（例えば、結合関数８４０）を適用すること、又は、第１の運動制御構成と第２の運動制御構成とに比較関数を適用することのうちの少なくとも一方によって指示を決定するステップを更に有する。
[00108] 実施形態において、超音波撮像デバイスはマーカー（例えば、ＡＲマーカー８０４）に結合され、画像はマーカーを含む。方法１２００は、超音波撮像デバイスとマーカー（例えば、ｍａｒｋｅｒＴｐｒｏｂｅ）との間の相対位置に基づいて座標系変換を決定するステップを更に有する。
[00109] 実施形態において、方法１２００は、例えばカメラが対象者の解剖学的構造に対して移動しているときに、カメラと対象者の解剖学的構造（例えば、ｐａｔｉｅｎｔＴｃａｍｅｒａ）との間の相対位置に基づいて座標系変換を決定するステップを更に有する。
[00110] 本開示は、診察されている対象者に対するプローブの動きを追跡するためのカメラ（例えば、カメラ１５０及び８０１）又は光学的撮影デバイス（例えば、光学的撮影デバイス７１０）の使用を説明しているが、追跡は、適切な電磁放射（例えば、赤外線、高周波など）などの任意の適切な媒体を利用する任意の適切な追跡デバイスを使用することによって達成されてよい。
[00111] 本開示の態様は、いくつかの有益性を提供し得る。例えば、プローブ位置決めガイダンスを自動化するための深層学習ネットワークの使用は、超音波診察のために最適な撮像ビューの場所を特定する際に臨床医を補助し得る。深層学習ネットワークによって学習される豊富な特徴は、患者の大きさ及び／又は解剖学的構造から独立したプローブ位置決めガイダンスを提供し得る。ＲＯＩ検知及び／又は画像分類を含むことは、深層学習ネットワークの動作を臨床的に関連するデータ及び高品質入力画像に限定し得、それによって深層学習ネットワークのサイズ及び／又は複雑性を低減し、及び／又は運動予測性能を向上させる。深層学習に基づく運動予測に加えてカメラ追跡を含むことは、自動的プローブガイダンスの精度を向上させ得、臨床医に視覚的なフィードバックを提供し得る。プローブ、患者、及びプローブガイダンス指示を含むカメラビューと、一連の超音波画像を含む超音波ビューとのリアルタイムでの同時的な表示（例えば、表示ビュー１０００、１１１０、１１２０、１１３０、１１４０、及び１１５０において示されたもの）は、超音波診察のワークフローを容易にし得、明瞭で使い易い指示を臨床医に提供し得る。本開示は、経胸郭心エコー検査（ＴＴＥ）における使用に適しており、例えば、超音波トランスデューサの正確な設置（例えば、患者の心臓の解剖学的構造に対して正しい位置及び向きでの設置）においてユーザを補助する。本開示は、光学的又は電磁的追跡などのいかなる外部追跡デバイスにも頼ることなく画像に基づくガイダンスを提供する。故に、画像に基づくガイダンスは、低コストな可搬式デバイスにおける実施態様に適している。
[00112] 当業者は、上に説明された装置、システム、及び方法は様々なやり方で修正され得ることを認識するであろう。故に、当業者は、本開示によって包含される実施形態は、上に説明された特定の例示的な実施形態に限定されるものではないことを理解するであろう。この点に関して、例示的な実施形態が図示及び説明されたが、前述の開示において広範な修正例、変更例、及び代替例が意図される。本開示の範囲から逸脱することなくこのような変形が前述のことになされ得ることが理解される。故に、添付の特許請求の範囲は、広範に、本開示と首尾一貫したやり方で解釈されることが適切である。

Claims (17)

  1. 超音波画像を取得するためのガイダンスシステムであって、前記ガイダンスシステムは、超音波撮像デバイス、カメラ、及びディスプレイと通信するプロセッサを備え、前記プロセッサは、
    第１の位置から対象者の解剖学的構造の目標画像ビューに向かって前記超音波撮像デバイスを再位置決めするために、第１の予測ネットワークの座標系である第１の座標系に基づいて前記第１の位置を表す前記第１の予測ネットワークに基づいて決定される第１の運動制御構成を取得することであって、前記プロセッサは、
    前記超音波撮像デバイスから、前記超音波撮像デバイスが前記第１の位置に位置決めされたときに前記対象者の解剖学的構造を表す超音波画像を受信することと、
    前記第１の運動制御構成を生成するために前記第１の予測ネットワークを前記超音波画像に適用することと
    によって、前記第１の運動制御構成を取得することと、
    前記カメラによって撮影された画像に基づいて前記超音波撮像デバイスに関連する位置情報を求めることであって、前記画像は、前記対象者の解剖学的構造と、前記第１の位置に位置決めされた前記超音波撮像デバイスとを含み、前記カメラの座標系である第２の座標系に基づいて前記第１の位置を表す、前記位置情報を求めることと、
    前記位置情報に基づいて前記第１の座標系と前記第２の座標系との間の座標系変換を決定することと、
    前記第１の運動制御構成及び前記座標系変換に基づいて第２の運動制御構成を決定することと、
    前記第１の運動制御構成及び前記第２の運動制御構成に基づいて、前記第１の位置から第２の位置へと前記超音波撮像デバイスを再位置決めする指示を決定し、前記指示を前記ディスプレイに対して出力することと、
    を行う、ガイダンスシステム。
  2. 前記プロセッサは、前記第１の運動制御構成と前記第２の運動制御構成とを結合することによって前記指示を決定する、請求項１に記載のガイダンスシステム。
  3. 前記プロセッサは、前記第１の運動制御構成と前記第２の運動制御構成との比較に基づいて前記指示を決定する、請求項１に記載のガイダンスシステム。
  4. 前記超音波撮像デバイスはマーカーに結合され、前記画像は前記マーカーを含み、前記プロセッサは、前記超音波撮像デバイスと前記マーカーとの間の相対位置に基づいて前記座標系変換を決定する、請求項１に記載のガイダンスシステム。
  5. 前記プロセッサは、前記カメラと前記対象者の解剖学的構造との間の相対位置に基づいて前記座標系変換を決定する、請求項１に記載のガイダンスシステム。
  6. 前記プロセッサは、前記カメラと前記対象者上に位置決めされたマーカーとの間の相対位置に基づいて前記座標系変換を決定する、請求項１に記載のガイダンスシステム。
  7. 前記第１の運動制御構成は、第１の回転又は第１の並進のうちの少なくとも１つを含む、請求項１に記載のガイダンスシステム。
  8. 前記プロセッサは、前記対象者の解剖学的構造及び前記超音波撮像デバイスを含む前記画像と、前記超音波撮像デバイスを前記第２の位置に再位置決めするための回転又は並進のうちの少なくとも１つのグラフィカル表現の重畳とを表示するように前記指示を出力する、請求項１に記載のガイダンスシステム。
  9. 前記カメラと前記ディスプレイとを更に備える、請求項１に記載のガイダンスシステム。
  10. 前記カメラと、前記プロセッサと、前記ディスプレイとを備えるモバイルデバイスを更に備える、請求項１に記載のガイダンスシステム。
  11. 前記プロセッサは、前記第１の運動制御構成を生成するために前記第１の予測ネットワークを前記超音波画像の関心領域に適用することによって前記第１の運動制御構成を取得する、請求項１に記載のガイダンスシステム。
  12. 前記プロセッサは、
    前記プロセッサと通信するユーザインタフェースから、前記関心領域の選択を受信すること、又は、
    第２の予測ネットワークに基づいて前記関心領域を決定すること
    のうちの少なくとも一方によって前記第１の運動制御構成を取得する、
    請求項１１に記載のガイダンスシステム。
  13. 前記プロセッサは、前記超音波画像内の関心領域を決定し、決定された前記関心領域に基づいて前記第１の運動制御構成を決定するために前記第１の予測ネットワークを適用することによって前記第１の運動制御構成を取得する、請求項１に記載のガイダンスシステム。
  14. 超音波撮像ガイダンスを提供する方法であって、前記方法は、
    第１の位置から対象者の解剖学的構造の目標画像ビューに向かって位置決めされた超音波撮像デバイスを再位置決めするために、第１の予測ネットワークの座標系である第１の座標系に基づいて前記第１の位置を表す前記第１の予測ネットワークに基づいて決定される第１の運動制御構成を取得するステップであって、
    前記超音波撮像デバイスから、前記超音波撮像デバイスが前記第１の位置に位置決めされたときに前記対象者の解剖学的構造を表す超音波画像を受信するステップと、
    前記第１の運動制御構成を生成するために前記第１の予測ネットワークを前記超音波画像に適用するステップと
    を含む、前記第１の運動制御構成を取得するステップと、
    カメラによって撮影された画像に基づいて前記超音波撮像デバイスに関連する位置情報を求めるステップであって、前記画像は、前記対象者の解剖学的構造と、前記第１の位置に位置決めされた前記超音波撮像デバイスとを含み、前記カメラの座標系である第２の座標系に基づいて前記第１の位置を表す、前記位置情報を求めるステップと、
    前記位置情報に基づいて前記第１の座標系と前記第２の座標系との間の座標系変換を決定するステップと、
    前記第１の運動制御構成及び前記座標系変換に基づいて第２の運動制御構成を決定するステップと、
    前記第１の運動制御構成及び前記第２の運動制御構成に基づいて、前記第１の位置から第２の位置へと前記超音波撮像デバイスを再位置決めする指示を決定し、前記指示をディスプレイ上に表示するステップと、
    を有する、方法。
  15. 前記第１の運動制御構成と前記第２の運動制御構成とに結合関数を適用すること、又は、前記第１の運動制御構成と前記第２の運動制御構成とに比較関数を適用することのうちの少なくとも一方によって、前記指示を決定するステップを更に有する、請求項１４に記載の方法。
  16. 前記超音波撮像デバイスはマーカーに結合され、前記画像は前記マーカーを含み、前記方法は、前記超音波撮像デバイスと前記マーカーとの間の相対位置に基づいて前記座標系変換を決定するステップを更に有する、請求項１４に記載の方法。
  17. 前記カメラと前記対象者の解剖学的構造との間の相対位置に基づいて前記座標系変換を決定するステップを更に有する、請求項１４に記載の方法。
JP2021520363A 2018-10-16 2019-10-16 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法 Active JP7462624B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862746042P 2018-10-16 2018-10-16
US62/746,042 2018-10-16
PCT/EP2019/078079 WO2020079077A1 (en) 2018-10-16 2019-10-16 Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods

Publications (3)

Publication Number Publication Date
JP2022504878A JP2022504878A (ja) 2022-01-13
JPWO2020079077A5 JPWO2020079077A5 (ja) 2022-10-25
JP7462624B2 true JP7462624B2 (ja) 2024-04-05

Family

ID=68296466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021520363A Active JP7462624B2 (ja) 2018-10-16 2019-10-16 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法

Country Status (5)

Country Link
US (1) US20210369249A1 (ja)
EP (1) EP3866697B1 (ja)
JP (1) JP7462624B2 (ja)
CN (1) CN112888370A (ja)
WO (1) WO2020079077A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220211347A1 (en) * 2021-01-04 2022-07-07 GE Precision Healthcare LLC Method and system for automatically detecting an apex point in apical ultrasound image views to provide a foreshortening warning
CN113693623B (zh) * 2021-08-25 2024-04-05 上海深至信息科技有限公司 一种基于增强现实的超声扫查引导方法及系统
EP4260811A1 (en) 2022-04-12 2023-10-18 Koninklijke Philips N.V. Graphical user interface for providing ultrasound imaging guidance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279486A (ja) 2009-06-03 2010-12-16 Konica Minolta Medical & Graphic Inc 超音波診断装置
WO2013161277A1 (ja) 2012-04-23 2013-10-31 パナソニック株式会社 超音波診断装置およびその制御方法
WO2017156329A1 (en) 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
JP2017530744A (ja) 2014-08-18 2017-10-19 マウイ イマギング，インコーポレーテッド ネットワークベース超音波イメージングシステム
US20170360401A1 (en) 2016-06-20 2017-12-21 Alex Rothberg Automated image acquisition for assisting a user to operate an ultrasound device
JP2018134386A (ja) 2016-12-07 2018-08-30 ベイラブス， インク．Ｂａｙ Ｌａｂｓ， Ｉｎｃ． 超音波探触子の誘導ナビゲーション

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6491632B1 (en) * 2001-06-26 2002-12-10 Geoffrey L. Taylor Method and apparatus for photogrammetric orientation of ultrasound images
US20130218024A1 (en) * 2011-10-09 2013-08-22 Clear Guide Medical, Llc Interventional In-Situ Image-Guidance by Fusing Ultrasound and Video
EP2807978A1 (en) * 2013-05-28 2014-12-03 Universität Bern Method and system for 3D acquisition of ultrasound images
WO2015150932A1 (en) * 2014-03-31 2015-10-08 Koninklijke Philips N.V. Haptic feedback for ultrasound image acquisition
US20160030008A1 (en) * 2014-07-30 2016-02-04 General Electric Company System and method for registering ultrasound information to an x-ray image
US20180368686A1 (en) * 2015-12-14 2018-12-27 The Governors Of The University Of Alberta Apparatus and method for generating a fused scan image of a patient
US11191520B2 (en) * 2016-03-17 2021-12-07 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
FR3059541B1 (fr) * 2016-12-07 2021-05-07 Bay Labs Inc Navigation guidee d'une sonde ultrason

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279486A (ja) 2009-06-03 2010-12-16 Konica Minolta Medical & Graphic Inc 超音波診断装置
WO2013161277A1 (ja) 2012-04-23 2013-10-31 パナソニック株式会社 超音波診断装置およびその制御方法
JP2017530744A (ja) 2014-08-18 2017-10-19 マウイ イマギング，インコーポレーテッド ネットワークベース超音波イメージングシステム
WO2017156329A1 (en) 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
US20170360401A1 (en) 2016-06-20 2017-12-21 Alex Rothberg Automated image acquisition for assisting a user to operate an ultrasound device
JP2018134386A (ja) 2016-12-07 2018-08-30 ベイラブス， インク．Ｂａｙ Ｌａｂｓ， Ｉｎｃ． 超音波探触子の誘導ナビゲーション

Also Published As

Publication number Publication date
EP3866697B1 (en) 2024-03-20
EP3866697A1 (en) 2021-08-25
US20210369249A1 (en) 2021-12-02
JP2022504878A (ja) 2022-01-13
CN112888370A (zh) 2021-06-01
WO2020079077A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN110678933B (zh) 超声临床特征检测与相关联的设备、系统和方法
JP7462624B2 (ja) 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法
JP7253560B2 (ja) ニューラルネットワークを用いた案内付き経頭蓋超音波撮像ならびに関連する装置、システムおよび方法
US20220401062A1 (en) Point-of-care ultrasound (pocus) scan assistance and associated devices, systems, and methods
JP2017502729A (ja) モデルベースセグメンテーションを用いた像撮像誘導
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
US20170112472A1 (en) Ultrasound imaging apparatus and method of controlling the same
US20230281837A1 (en) Method and system for registering images acquired with different modalities for generating fusion images from registered images acquired with different modalities
US20230100078A1 (en) Multi-modal medical image registration and associated devices, systems, and methods
US20230181160A1 (en) Devices and methods for ultrasound monitoring
CN115426954A (zh) 用于生成路线图图像的双平面和三维超声图像采集以及相关联的系统和设备
EP3229693B1 (en) Ultrasound diagnostic apparatus
US20160066887A1 (en) Image indicator provision in ultrasound system
EP3040031B1 (en) Ultrasound diagnosis apparatus and method of operating the same
US20220370034A1 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
EP4327750A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
EP4265191A1 (en) Ultrasound imaging
US20240053470A1 (en) Ultrasound imaging with anatomy-based acoustic settings
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods
WO2024042044A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
WO2023202887A1 (en) Ultrasound imaging
CN113081030A (zh) 用于基于m模式分析进行辅助超声扫描平面识别的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7462624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150