JP6902625B2 - 確率マップに基づいた超音波検査 - Google Patents

確率マップに基づいた超音波検査 Download PDF

Info

Publication number
JP6902625B2
JP6902625B2 JP2019561958A JP2019561958A JP6902625B2 JP 6902625 B2 JP6902625 B2 JP 6902625B2 JP 2019561958 A JP2019561958 A JP 2019561958A JP 2019561958 A JP2019561958 A JP 2019561958A JP 6902625 B2 JP6902625 B2 JP 6902625B2
Authority
JP
Japan
Prior art keywords
information
interest
subject
probability
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019561958A
Other languages
English (en)
Other versions
JP2020519369A (ja
Inventor
ファン チョイ、ジュン
ファン チョイ、ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verathon Inc
Original Assignee
Verathon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verathon Inc filed Critical Verathon Inc
Publication of JP2020519369A publication Critical patent/JP2020519369A/ja
Application granted granted Critical
Publication of JP6902625B2 publication Critical patent/JP6902625B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A61B5/4325—Evaluation of the lower reproductive system of the uterine cavities, e.g. uterus, fallopian tubes, ovaries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381—Prostate evaluation or disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Pregnancy & Childbirth (AREA)

Description

本出願は、米国特許法第１１９条に基づき、２０１７年５月１１日に出願された米国仮特許出願第６２／５０４，７０９号の優先権を主張するものであり、その内容はその全体が参照により本明細書に組み込まれる。
超音波スキャナは、典型的には、身体内の対象臓器若しくはその他の構造体を特定し、且つ／又は臓器／構造体のサイズ若しくは臓器内の流体の容積など、対象臓器／構造体に関連付けられた特徴を判定するため使用される。例えば、超音波スキャナは、患者の膀胱を特定し、膀胱内の流体の容積を推定するために使用される。典型的な事例では、超音波スキャナは、患者の上に配置され、特定の周波数での音波出力を含む超音波信号を生じるように始動される。超音波信号のエコーは、スキャナによって受信され、膀胱内の流体の容積を判定するために分析され得る。例えば、受信したエコーを使用して、分析して膀胱壁などの対象臓器の境界を検出できる対応する画像を生成することができる。次に、膀胱の容積は、検出された境界情報に基づいて推定され得る。
しかし、通常の超音波スキャナは、患者によって関心の対象臓器のサイズ及び／又は形状が変わりやすいこと、対象臓器／構造体の境界を正確に検出することを難しくする身体内の障害など、複数の要因によって引き起こされる不正確性を被ることが多い。
例示的な実装形態に従ったスキャン・システムの例示的な構成を示す。 患者の臓器を検出することに関する図１Ａのスキャン・システムの運用を示す。 図１Ａのスキャン・システムに含まれる論理構成要素の例示的な構成を示す。 例示的な実装形態における図２のデータ取得装置の一部を示す。 例示的な実装形態における図２のオートエンコーダ装置の一部を示す。 図２の構成要素の１つ以上に含まれるコンポーネントの例示的な構成を示す。 例示的な実装形態による、図２に示す様々なコンポーネントによる処理を示す流れ図である。 例示的な実装形態における、図２のオートエンコーダによって生成される出力を示す。 図６の処理による二値化処理を示す。 図１Ａのベース・ユニットを介して情報を表示することに関連する流れ図である。 図９の処理と関連するベース・ユニットによる例示的な画像データ出力を示す。
以下の詳細な説明は、添付の図面を参照する。異なる図面における同一の参照番号は、同一又は同様の構成要素を特定することがある。また、以下の詳細な説明は、本発明を制限することはない。
本明細書に記載された実装形態は、超音波スキャナを介して取得する情報に基づいて患者の関心の臓器又は構造体を特定するためにニューラル・ネットワーク及び深層学習を用いることを含む、機械学習を用いることに関する。例えば、スキャナを使用して、複数の超音波信号を対象臓器に向けて伝送することができ、伝送された信号に関連付けられたエコー情報を機械学習技術／アルゴリズムを用いて処理することができる。機械学習処理を使用して、関心の対象を特定することができ、受信した超音波エコー・データに基づいて生成された画像の各部分又は各画素に関連付けられた確率情報を生成することができる。
例えば、一実装形態では、対象臓器に向けられた複数の異なる走査面上に伝送された超音波信号に関連付けられたＢモード・エコー・データなどの超音波エコー・データは、各Ｂモード画像の確率マップを生成するために使用され得る。一実装形態では、Ｂモード画像内の各画素は、その特定の画素が対象臓器／構造体内にあるか、又はその一部であるかを示す確率にマッピングされ得る。画素毎の分析結果は、対象確率マップを生成するために使用される。次に、二値化処理及び後処理を実施して雑音を取り除いて、対象臓器に対する境界壁を判定し境界情報に基づいてサイズを推定しようとする従来のスキャナに比べて、より正確な臓器の表現を提供することができる。実装形態によっては、後処理からの出力を医療関係者に表示して、超音波スキャンを実施しながら、簡単に臓器を位置決めすることを支援できる。また、追加の後処理を実施して、患者の膀胱内の流体の容積などの対象臓器の容積を推定することができる。
図１Ａは、例示的な実施例に従ったスキャン・システム１００を示す図である。図１を参照すると、スキャン・システム１００は、プローブ１１０、ベース・ユニット１２０及びケーブル１３０を含む。
プローブ１１０は、ハンドル部１１２（ハンドル１１２とも呼ばれる）、トリガ１１４及びノーズ部１１６（ドーム若しくはドーム部１１６とも呼ばれる）を含む。医療関係者は、ハンドル１１２を介してプローブ１１０を保持してトリガ１１４を押して、ノーズ部１１６に位置する１つ又は複数の超音波送受信機及び変換器を起動して、関心の対象臓器に向けて超音波信号を伝送することができる。例えば、図１Ｂは、患者１５０の骨盤部上及び本実例では患者の膀胱１５２である関心の対象臓器上に位置するプローブ１１０を示す。
ハンドル１１２により、ユーザはプローブ１１０を患者１５０に対して移動することが可能になる。上述の通り、選択された解剖学的部分がスキャンされるとき、ドーム１１６が患者１５０の表面部に接触した状態で、トリガ１１４が、選択された解剖学的部分の超音波スキャンを開始する。ドーム１１６は、通常、解剖学的部分に適切な音響インピーダンス整合を提供し、且つ／又は超音波エネルギーが解剖学的部分に投射されるときに適切に焦点を合わせることができる材料で形成される。例えば、図１Ｂの領域１５４に図示する音響ゲル又はゲル・パッドが、関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）にわたる患者１５０の皮膚に塗布されて、ドーム１１６が患者１５０の皮膚に押し付けて配置されたときに音響インピーダンス整合を提供することができる。
ドーム１１６は、１つ又は複数の超音波送受信機素子及び１つ又は複数の変換器素子（図１Ａ又は図１Ｂには図示せず）を含む。送受信機素子は、超音波エネルギーをドーム１１６から外に向かって伝送し、解剖学的部分内の内部構造体／組織によって生成された音響反射すなわちエコーを受信する。１つ又は複数の超音波変換器素子は、モータによってドーム１１６内を移動して送受信機素子による超音波信号の伝送に対して様々なスキャン方向を提供できる一次元又は二次元アレイの圧電素子を含み得る。或いは、変換器素子は、選択された解剖学的領域がアレイの素子に選択的に通電することによってスキャンされ得るように、プローブ１１０に対して静止していることができる。
実装形態によっては、プローブ１１０は、初期対象化及びＲＯＩ内の臓器又は構造体の対象にユーザがアクセスするのを案内するため点灯することができる複数の矢印を含む方向インジケータ・パネル（図１Ａに図示せず）を含み得る。例えば、実装形態によっては、臓器又は構造体が、患者１５０の第１の位置で皮膚表面に押し付けて配置されたプローブ１１０の配置を中心とする場合、方向矢印は点灯されなくてもよい。しかし、臓器が中心を外れている場合、矢印又は矢印の組が、プローブ１１０を患者１５０の第２の又はその後の皮膚位置に再配置するようにユーザを誘導するために点灯することができる。他の実装形態では、方向インジケータは、ベース・ユニット１２０のディスプレイ１２２上に提示されてもよい。
プローブ１１０内に位置する１つ又は複数の送受信機は、好ましくはドーム１１６内又はそれに隣接して位置付けられる加速度計及び／又はジャイロスコープを含む慣性基準装置を含んでもよい。加速度計は、好ましくは座標システムに対して送受信機の加速度を感知するように動作することができ得るが、ジャイロスコープは、同一又は別の座標システムに対して送受信機の角速度を感知するように動作可能であり得る。したがって、ジャイロスコープは、動的要素を使用する従来の構成であってもよく、又は、光リング・ジャイロスコープなどの光電子デバイスであってもよい。一実施例では、加速度計及びジャイロスコープは、一般にパッケージ化されたデバイス及び／又はソリッド・ステート・デバイスを含んでもよい。他の実施例では、加速度計及び／又はジャイロスコープは、一般にパッケージ化された微小電気機械システム（ＭＥＭＳ：Ｍｉｃｒｏ−ＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）デバイスを含んでもよい。いずれの場合も、加速度計及びジャイロスコープは、患者の関心の解剖学的領域に隣接する既知の位置に対する位置の及び／又は角度の変化の決定を協働して可能にする。
プローブ１１０は、ケーブル１３０などの有線接続を介してベース・ユニット１２０と通信することができる。他の実装形態では、プローブ１１０は、無線接続（例えば、ブルートゥース（登録商標）、ＷｉＦｉ（登録商標）など）を介してベース・ユニット１２０と通信できる。いずれの場合も、ベース・ユニット１２０は、ディスプレイ１２２を含むことにより、ユーザが超音波スキャンで処理された結果を見られるようにし、且つ／又はプローブ１１０の動作中、ユーザに対して操作のための対話を可能にする。例えば、ディスプレイ１２２は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）ベースのディスプレイ、又は、ユーザに文字及び／又は画像データを提供するその他の種類のディスプレイなどの出力ディスプレイ／スクリーンを含み得る。例えば、ディスプレイ１２２は、患者１５０の選択された解剖学的部分に対してプローブ１１０を位置付けるための命令を与えることができる。ディスプレイ１２２はまた、選択された解剖学的領域の二次元画像又は三次元画像を表示できる。
実装形態によっては、ディスプレイ１２２は、超音波スキャンに関連付けられた様々な特徴をユーザが選択できるグラフィカル・ユーザ・インタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を含み得る。例えば、ディスプレイ１２２は、患者１５０が男性であるか、女性であるか又は子供であるかをユーザが選択できるようにしてもよい。それにより、システム１００は男性患者及び女性患者の様々な解剖学的詳細に適応するようにシステム１００を適合するなど、選択された患者の解剖学に対する超音波信号の伝送、受け取り及び処理を自動的に適合することが可能になる。例えば、男性患者が、ディスプレイ１２２上のＧＵＩを介して選択された場合、システム１００は、男性患者に膀胱などの単一の空洞を位置決めするように構成することができる。逆に、ＧＵＩを介して女性患者が選択された場合、システム１００は、膀胱及び子宮を含む身体領域など、複数の空洞を有する解剖学的部分を撮像するように構成することができる。同様に、子供の患者が選択されると、システム１００は、より小さいサイズの子供の患者に基づいて伝送を調節するように構成できる。代替の実装形態では、システム１００は、男性患者及び／又は女性患者と共に使用され得る単一空洞スキャン・モード、又は複数の空洞スキャン・モードを選択するように構成された空洞セレクタを含んでもよい。したがって、空洞セレクタは、単一空洞が撮像され、又は、大動脈及び心臓を含む領域などの複数の空洞領域が撮像されるようになされてもよい。さらに、患者の種類の選択（例えば、男性、女性、子供）は、画像を分析するときに使用されて、以下に詳細に説明されるように、対象臓器を正確に表すのを支援することができる。
患者の選択された解剖学的部分をスキャンするため、ドーム１１６は、スキャンされる解剖学的部分に隣接する図１Ｂに示すように、患者１５０の表面部分に押し付けて位置付けられてもよい。ユーザは、トリガ１１４を押して送受信機を起動する。それに応答して、変換器素子が送受信機を任意に位置付け、送受信機は、超音波信号を身体内に伝送し、対応するリターン・エコー信号を受信し、リターン・エコー信号は少なくとも部分的に送受信機によって処理されて、選択された解剖学的部分の超音波画像を生成できる。特定の実施例では、システム１００は、約２メガヘルツ（ＭＨｚ）から約１０ＭＨｚ以上（例えば、１８ＭＨｚ）にわたる範囲に超音波信号を伝送する。
一実施例では、プローブ１１０は、事前決定された周波数及び／又はパルス繰り返し数で超音波エネルギーを発生するように、且つ超音波エネルギーを送受信機に移動するように構成されるベース・ユニット１２０に結合され得る。ベース・ユニット１２０は、送受信機によって受信されてスキャンされた解剖学的領域の画像を生成する、反射された超音波エネルギーを処理するように構成された１つ又は複数のプロセッサ或いは処理ロジックも含む。
さらに別の特定の実施例では、プローブ１１０は、プローブ１１０内に位置付けられたマイクロプロセッサ及びマイクロプロセッサに関連付けられて送受信機を動作可能に制御するソフトウェアを含んで、反射された超音波エネルギーを処理して超音波画像を生成する自立型デバイスであってもよい。したがって、プローブ１１０上のディスプレイを使用して、生成された画像を表示し、且つ／又は送受信機の動作に関連付けられたその他の情報を閲覧することができる。例えば、その情報は一連のスキャンを実施する前に送受信機の好ましい位置を示す英数字データを含んでもよい。他の実装形態では、送受信機は、少なくとも部分的に送受信機の動作を制御するソフトウェアを含み、且つスキャンされた解剖学的領域の画像を生成できるように送受信機から転送された情報を処理するソフトウェアも含む、ラップトップ又はデスクトップ・コンピュータなどの汎用コンピュータに結合されてもよい。
図２は、例示的な実装形態に従ってシステム１００に実装された関数型論理構成要素のブロック図である。図２を参照すると、システム１００は、データ取得装置２１０、畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）オートエンコーダ装置２２０、後処理装置２３０、照準ロジック２４０、及び量推定ロジック２５０を含む。例示的な実装形態では、プローブ１１０は、データ取得装置２１０を含むことができ、他の関数型装置（例えば、ＣＮＮオートエンコーダ装置２２０、後処理装置２３０、照準ロジック２４０及び量推定ロジック２５０）は、ベース・ユニット１２０に実装することができる。他の実装形態では、特定の装置及び／又はロジックは、コンピューティング・デバイス又はプローブ１１０及びベース・ユニット１２０の両方に対して外部に位置するサーバ（例えば、無線接続経由でインターネット又は病院内ローカル・エリア・ネットワークにアクセス可能）経由などで、他のデバイスによって実施され得る。例えば、プローブ１１０は、プローブ１１０及びベース・ユニット１２０から遠隔に位置する処理システムへ、例えば、無線接続（例えば、ＷｉＦｉ（登録商標）又はいくつかの他の無線プロトコル／技術）を介してエコー・データ及び／又は画像データを伝送することができる。
上述のように、プローブ１１０は、超音波信号を生成し、伝送された信号からエコーを受信し、受信したエコー（例えば、受信したエコーの大きさ又は強さ）に基づいてＢモード画像データを生成する送受信機を含んでもよい。例示的な実装形態では、データ取得装置２１０は、患者１５０の関心の領域に対応する複数のスキャン面に関連付けられたデータを取得する。例えば、プローブ１１０は、データ取得装置２１０によって処理されて、２次元（２Ｄ）Ｂモード画像データを生成して膀胱の大きさ及び／又は容積を判定するエコー・データを受信できる。他の実装形態では、プローブ１１０は、処理されて、膀胱のサイズ及び／又は容積を判定するために使用できる３次元（３Ｄ）画像データを生成するエコー・データを受信できる。
例えば、図３は、３Ｄ画像データを取得するために使用される例示的なデータ取得装置２１０を示す。図３を参照すると、データ取得装置２１０は、変換器３１０、ドーム部１１６の外部表面３２０及びベース３６０を含む。図３に示す要素は、プローブ１１０のドーム部１１６内に含まれ得る。
変換器３１０は、図３の３３０によって示される、プローブ１１０から超音波信号を伝送することができる。変換器３１０は、変換器３１０が２つの垂直軸の周りを回転できるように取り付けられ得る。例えば、変換器３１０は、ベース３６０に対して第１の軸３４０の周りを回転することができ、ベース３６０に対して第２の軸３５０の周りを回転することができる。第１の軸３４０は、本明細書ではシータ軸と呼ばれ、第２の軸３５０は、本明細書ではファイ軸と呼ばれる。一例示的な実装形態では、シータ及びファイの動きの範囲は、１８０度より小さくてもよい。一実装形態では、スキャンは、シータの動き及びファイの動きに対してインターレースされ得る。例えば、変換器３１０の移動は、シータ方向に起こり、その後ファイ方向の移動が続いてもよい。これにより、データ取得装置２１０は滑らかな連続した容積スキャンを取得できるほか、スキャン・データを取得する速度を向上させることもできる。
一例示的な実装形態では、データ取得装置２１０は、画像をＣＮＮオートエンコーダ装置２２０に送る前に、Ｂモード画像をリサイズできる。例えば、データ取得装置２１０は、縮小処理又はデシメーション処理を介してＢモード画像のサイズを縮小するためのロジックを含むことができる。次に、縮小されたサイズのＢモード画像を、ＣＮＮオートエンコーダ装置２２０に入力することができる。ＣＮＮオートエンコーダ装置２２０は、以下により詳細に説明するように、出力確率マッピングを生成する。代替の実装形態では、ＣＮＮオートエンコーダ装置２２０は、入力Ｂモード画像自体を入力層で縮小又は間引くことができる。いずれの場合も、Ｂモード画像データの大きさ／量を縮小することにより、ＣＮＮオートエンコーダ装置２２０が必要とする処理時間及び処理能力を低減して、Ｂモード画像データを処理することができる。他の実装形態では、Ｂモード画像データをＣＮＮオートエンコーダ装置２２０に入力する前に、リサイズがデータ取得装置２１０によって実施されなくてもよい。さらに他の実装形態では、輝度正規化、コントラスト強調、走査変換などの画像強調操作が、データ取得装置２１０及び／又はＣＮＮオートエンコーダ装置２２０によって実施されて、出力データの生成に関して正確さを向上させることができる。
図２に戻ると、ＣＮＮオートエンコーダ装置２２０は、データ取得装置２１０を介して受信したデータを処理するためロジックを含み得る。一例示的な実装形態では、ＣＮＮオートエンコーダ装置２２０は、以下により詳細に説明するように、複数の畳み込み層処理及び各層に対して複数のカーネル又はフィルタを含むディープ・ニューラル・ネットワーク（ＤＮＮ）処理を実施してもよい。本明細書で使用される用語「ＣＮＮオートエンコーダ装置」又は「オートエンコーダ装置」は、空間情報なしでグローバル・ラベルを出力する分類器と異なり、入力と出力の両方が空間情報を有するニューラル・ネットワーク・システム／装置及び／又は機械学習システム／装置を含むと広く解釈されるものとする。
例えば、ＣＮＮオートエンコーダ装置２２０は、受信した画像入力をマッピングして、できるだけ少ない歪みの量で出力するロジックを含む。ＣＮＮ処理は、その他の種類のニューラル・ネットワーク処理と同様であり得るが、ＣＮＮ処理は、ＣＮＮ処理が様々な特性／処理への制限を容易に符号化することができる、入力が画像である明らかな仮定を使用し、それにより、ＣＮＮオートエンコーダ装置２２０によって処理されるか、又は組み込まれる必要があるパラメータの量を減らす。例示的な実装形態では、ＣＮＮオートエンコーダ装置２２０は、畳み込み処理を実施して入力画像に関連付けられた特徴マップを生成する。次に、特徴マップは、複数回サンプリングされて出力を生成することができる。一例示的な実装形態では、ＣＮＮオートエンコーダ装置２２０が使用するＣＮＮのカーネルのサイズは、出力を生成する際の適切な速度をもたらすように、１７×１７かそれより小さくてよい。さらに、１７×１７のカーネルのサイズにより、ＣＮＮオートエンコーダ装置２２０はＢモード画像データ内の関心の点の周りの適切な情報をキャプチャすることができる。加えて、例示的な実装形態によれば、畳み込み層の数は、各層ごとに５つ以下のカーネルを有する８層以下であり得る。しかし、より小さいカーネル（例えば、３×３、７×７、９×９）又はより大きいカーネル（例えば、１７×１７より大きい）、層毎の追加のカーネル（例えば、６以上）及び追加の畳み込み層（例えば、１１以上１００以下）が、他の実装形態で使用されてもよいことを理解されたい。
ＣＮＮ処理に関わる典型的なアプリケーションでは、関心のデータのみが狭い層を通過できるように処理内に狭いボトルネック層を追加することにより、データの寸法が縮小される。このデータ寸法縮小は、「プーリング」層を追加する、又は大きい「ストライド」を使用して、ニューラル・ネットワークで処理される画像のサイズを縮小することによって通常達成される。しかし、検出された膀胱壁の位置の空間的正確さが正確な容積の計算に重要である、膀胱の検出に関する本明細書に記載の実装形態によっては、プーリング及び／又は大きいストライドは、最小限使用されるか、スキップ結合又は拡張畳み込み（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）などの他の空間的解決、すなわち保存技術と組み合わされる。
例示的なシステム１００は、ＣＮＮオートエンコーダ装置２２０を使用して、Ｂモード入力データを処理することを示すと同時に、他の実装形態では、システム１００が、他の種類のオートエンコーダ装置又は機械学習装置を含み得る。例えば、ＣＮＮオートエンコーダ装置２２０は、出力層が入力層と同じ数のノードを有するニューラル・ネットワーク構造を含み得る。他の実装形態では、入力層のサイズが出力層のサイズと異なる他の種類の機械学習モジュール又は装置を使用することができる。例えば、機械学習モジュールは、入力画像の２倍、又は半分（層の数に関して）である確率マッピング出力を生成することができる。他の実装形態では、システム１００に含まれる機械学習装置は、決定木、サポート・ベクター・マシン、ベイジアン・ネットワークなどの様々な機械学習技術及び機械学習アルゴリズムを使用できる。いずれの場合も、システム１００は、以下に詳細に説明するように、機械学習アルゴリズムを使用して、次に、関心の対象臓器の容積を推定するために使用できるＢモード入力データに関する確率情報を生成する。
図４は、例示的な実装形態に従ったＣＮＮオートエンコーダ装置２２０の一部を概略的に示す。図４を参照すると、ＣＮＮオートエンコーダ装置２２０は、空間の入力４１０、ＦＦＴの入力４２０、ルックアップ４２２、特性マップ４３０、特性マップ４４０、ルックアップ４４２、カーネル４５０、バイアス４５２、カーネル４６０及びバイアス４６２を含み得る。入力空間４１０は、データ取得装置２１０により提供される２Ｄ Ｂモード画像データを表すことができる。ＣＮＮオートエンコーダ２２０は、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を実施して、画像データを周波数領域に変換する、フィルタを適用する又はカーネルＦＦＴ４５０を介して入力ＦＦＴに重みを加えることができる。畳み込み処理の出力は、バイアス値４５２及び空間特性マップ４３０を生成するためにルックアップ・テーブル４２２に送られた結果を適用された逆高速フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）関数を介してバイアスされ得る。ＣＮＮオートエンコーダ装置２２０は、ＦＦＴを空間特性マップ４３０に適用して、ＦＦＴ特性マップ４４０を生成することができ、プロセスは追加の畳み込み及びカーネルに対して繰り返すことができる。例えば、ＣＮＮオートエンコーダ装置２２０が８つの畳み込み層を含む場合、プロセスはさらに７回継続し得る。さらに、後続の特性マップそれぞれに適用されるカーネルは、図４の４つのカーネル４６０に示すように、カーネルの数×特性マップの数に対応することができる。バイアス４５２及びバイアス４６２は、ＣＮＮ処理の性能を向上させるためにも適用され得る。
上述のように、ＣＮＮオートエンコーダ装置２２０は、ＦＦＴを使用して、周波数領域で畳み込みを実施することができる。こうした方法により、システム１００は、複数のコンピュータを使用してＣＮＮアルゴリズムを実施するより大きいシステムよりも少ない計算能力を使用するＣＮＮアルゴリズムを実装することができる。この方法では、システム１００は、プローブ１１０及びベース・ユニット１２０などのハンド・ヘルド式装置及びベース・ステーションを使用して、ＣＮＮ処理を実施できる。他の実装形態では、空間領域アプローチが使用され得る。空間領域アプローチは、ネットワーク経由でシステム１００に接続された（例えば、無線又は有線ネットワーク）処理デバイス及び／又はクライアント／サーバ方法（例えば、システム１００がクライアントである）経由でシステム１００と動作する処理デバイスなど、他の処理デバイスとシステム１００が通信できる状況で追加の処理能力を使用できる。
ＣＮＮオートエンコーダ装置２２０の出力は、処理された入力画像の処理された各部又は画素が、関心の対象臓器内にある確率に関連付けられた確率情報である。例えば、以下でより詳細に説明するように、ＣＮＮオートエンコーダ装置２２０は、処理された入力画像データに関連付けられた各画素が０と１の間の値に対応する確率にマッピングされる確率マップを生成することができ、ここで、値０は、画素が対象臓器内にある０％の確率を表し、値１は、画素が対象臓器内にある１００％の確率を表す。ＣＮＮオートエンコーダ装置２２０は、入力画像と対照的に、処理された画像上で画素分析又は空間位置分析を実施する。結果として、処理された画像の画素毎の分析は、入力画像と一対一に対応しなくてもよい。例えば、ＣＮＮオートエンコーダ装置２２０によって分析されて確率情報を生成する１つの処理された画素又は空間的位置は、入力画像のリサイズに基づいて入力画像内の複数の画素に対応してもよく、又はその逆であってもよい。さらに、本明細書で使用される用語「確率」は、画素又は画像の一部が対象内又は関心の臓器内にある可能性を広く含むと解釈されるべきである。本明細書で使用される用語「確率情報」も、二進値又は他の値などの離散値を含むと広く解釈されるべきである。
他の実装形態では、ＣＮＮオートエンコーダ装置２２０は、各画素が−１０〜１０の範囲の値、２５６階調値の１つに対応する値など確率値又は指標に関連し得る様々な値にマッピングされる確率マップを生成できる。いずれの場合も、ＣＮＮオートエンコーダ装置２２０によって生成される値又は単位を使用して、画素又は画像の一部が対象臓器内にある確率を判定することができる。例えば、２５６階調の実例では、１の値は、画素又は画像の一部が対象臓器内にあることの０％の確率を示し得、２５６の値は、画素又は画像が対象臓器内にあることの１００％の確率を示し得る。
さらに他の実装形態では、ＣＮＮオートエンコーダ装置２２０は、画素又は出力領域が対象臓器内にあるかどうかを示す二進値などの離散出力値を生成し得る。例えば、ＣＮＮオートエンコーダ装置２２０は、画素が対象臓器内にあるときに「１」などの離散値を、画素が対象臓器内にないときに「０」を生成する二値化又は分類プロセスを含み得る。他の例では、生成された値は二進数でなくてもよいが、画素が対象臓器内にあるか、又は対象臓器の外側にあるかどうかに関連することができる。
実装形態によっては、ＣＮＮオートエンコーダ装置２２０は、画素毎のデータを分析するとき、様々な要因を考慮してもよい。例えば、ＣＮＮオートエンコーダ装置２２０は、患者１５０が男性であるか、女性であるか又は子供であるかを示す、ベース・ユニット１２０（図１Ａ）のディスプレイ１２２上に表示されたＧＵＩを介したユーザからの入力を受信することができ、ありそうなサイズ、形状、量などに関する、特定の種類の患者の対象臓器に関する記憶された情報に基づいて確率値を調節することができる。こうした実装形態では、ＣＮＮオートエンコーダ装置２２０は、男性、女性及び子供のデータで訓練された３つの異なるＣＮＮを含むことができ、ＣＮＮオートエンコーダ装置２２０は、選択に基づいて適切なＣＮＮを使用できる。
実装形態によっては、ＣＮＮオートエンコーダ装置２２０は、例えば、被験者に関連付けられたＢモード画像データを用いて性別、年齢、年齢の範囲、大人又は子供の状態など被験者の患者の人口統計学的情報を自動的に特定できる。ＣＮＮオートエンコーダ装置２２０は、例えば、肥満度指数（ＢＭＩ）、身長及び／又は体重などのＢモード画像データを用いて被験者の臨床状態を自動的に特定することもできる。ＣＮＮオートエンコーダ装置２２０は、プローブ１１０の位置情報、関心の対象に関するプローブ１１０の照準品質など、システム１００によって実施されるスキャンに対するデバイス情報も自動的に特定できる。
他の実装形態では、別の処理デバイス（例えば、オートエンコーダ装置２２０及び／又はプロセッサ５２０に類似する）が、例えば、別のニューラル・ネットワーク又は他の処理ロジックを用いて患者の属性、臨床状態及び／又はデバイス情報の自動検出を実施でき、自動判定の出力が、ＣＮＮオートエンコーダ装置２２０への入力として提供され得る。さらに、他の実装形態では、患者の属性情報、臨床状態及び／又はデバイス情報、患者のデータなどが、例えば、ベース・ユニット１２０のディスプレイ１２２又はプローブ１１０上の入力選択を介して手動で入力され得る。いずれの場合も、ＣＮＮオートエンコーダ装置２２０によって自動的に特定された情報又はＣＮＮオートエンコーダ装置２２０／システム１００への手動入力を使用して、画像データの処理のための適切なＣＮＮを選択することができる。
さらに他の実装形態では、ＣＮＮオートエンコーダ装置２２０は、他の情報で訓練されてもよい。例えば、ＣＮＮオートエンコーダ装置２２０は、患者の病歴データを用いて取得された情報並びに関心の対象をスキャンする前に患者の健康診断を経由して取得された情報を含み得る被験者に関連付けられた患者のデータで訓練されてもよい。例えば、患者のデータには、患者の手術歴、傷病歴（例えば、膀胱疾患情報）、関心の対象の以前の画像（例えば、被験者の膀胱の以前の画像）などの患者の病歴情報、並びに妊娠状態、瘢痕組織の存在、水和問題、対象領域の異常性（例えば、むくみ又は膨隆腹）などの患者／被験者の健康診断を経由して取得されたデータが含まれてもよい。例示的な実装形態では、患者のデータは、ベース・ユニット１２０のディスプレイ１２２を介するシステム１００への入力であってもよい。いずれの場合も、ＣＮＮオートエンコーダ装置２２０及び／又は別の処理デバイスによって自動的に生成された情報、並びに／或いはシステム１００へ手動で入力された情報は、システム１００によって実施される機械学習処理への入力として提供されて、システム１００によって生成される関心の対象に関連付けられたデータの正確さを向上させる支援をすることができる。
さらに他の例では、オートエンコーダ装置２２０は、臓器の種類（例えば、膀胱、大動脈、前立腺、心臓、腎臓、子宮、血管、羊水、胎児など）に関する入力情報をディスプレイ１２２上に備えられたＧＵＩを介して受信し、臓器の数などを画像化し、選択された臓器に従って訓練された適切なＣＮＮを用いることができる。
後処理装置２３０は、画素毎の確率情報を受け取るためのロジックを含み、「スマートな」二値化確率アルゴリズムを適用する。例えば、後処理装置２３０は、以下に詳細に記載するように、補間を実施して輪郭の詳細をより明瞭に定義することができる。さらに、後処理装置２３０は、被験者の種類に基づいてＣＮＮオートエンコーダ装置２２０の出力を調節することができる。例えば、プローブ１１０を使用して超音波スキャンを開始する前にディスプレイ１２２上でＧＵＩを介して「子供」が選択された場合、後処理装置２３０は、ある特定の深さより深い位置に対応するＣＮＮオートエンコーダ装置２２０からの出力を無視することができる。というのも、通常の子供はサイズが小さいため、子供の膀胱の深さは普通浅いからである。別の実例として、後処理装置２３０は、臓器の種類に基づいて、単一の主要な領域を選択するか、又は複数の関心の領域を選択するかを判定することができる。例えば、スキャン中の臓器の種類が膀胱の場合、身体には１つしか膀胱がないので、後処理装置２３０は、単一の主要な領域を選択することができる。しかし、対象が恥骨の場合、後処理装置２３０は、２つの側の恥骨に対応する２つの関心の領域まで選択できる。
照準ロジック２４０は、超音波検査中プローブ１１０に対して対象臓器が適切に中心にあるかを判定するためのロジックを含む。実装形態によっては、照準ロジック２４０は文字又は図を生成して、プローブ１１０の位置を調節する際に対象臓器のより良いスキャンを取得できるようにユーザを案内することができる。例えば、照準ロジック２４０は、プローブ１１０からのデータを分析して、プローブ１１０を患者１５０の左に移動させる必要があると判定できる。この場合、照準ロジック２４０は、文字及び／又は図（例えば、点滅する矢印）をディスプレイ１２２に出力して、プローブ１１０を適切な方向に移動するようにユーザに指示できる。
量推定ロジック２５０は、対象臓器の容積を推定するためのロジックを含むことができる。例えば、以下に詳細に記載されるように、量推定ロジック２５０は、後処理装置２３０によって生成された２Ｄ画像に基づいて容積を推定できる。３Ｄ画像が与えられる事例では、量推定ロジック２５０は、単に３Ｄ画像を使用して対象臓器の容積を判定できる。量推定ロジック２５０は、ディスプレイ１２２及び／又はプローブ１１０上のディスプレイを介して推定した容積を出力できる。
図２に示す例示的な構成は、単純化のため提供される。システム１００は、図２に示すより多くのロジック装置／デバイスを含んでも、より少ないロジック装置／デバイスを含んでもよいことを理解されたい。例えば、システム１００は、複数のデータ取得装置２１０及び受信したデータを処理する複数の処理装置を含んでもよい。さらに、システム１００は、外部ネットワークを介して情報を送信及び受信する通信インタフェース（例えば、無線周波送受信機）などの追加の構成要素を含んで、超音波信号を分析して関心の対象臓器を特定する支援をすることができる。
さらに、以下に、システム１００の特定のコンポーネントによって実施される様々な機能を記載する。他の実装形態では、１つのデバイスで実行されていると説明される様々な機能は、別のデバイス又は複数の他のデバイスで実施されてもよく、且つ／又は複数のデバイスで実施されていると説明される様々な機能が、単一のデバイスを組み合わせて、実施されてもよい。例えば、一実装形態では、以下に記載するように、ＣＮＮオートエンコーダ装置２２０は、入力画像を確率情報に変換し、中間マッピング出力を生成することができ、中間出力を、例えば、容積情報、長さ情報、面積情報などに変換することもできる。すなわち、単一のニューラル・ネットワーク処理デバイス／装置が、入力画像データを受信し、容積及び／又はサイズ情報と共に処理された画像出力データを出力することができる。この実例では、別々の後処理装置２３０及び／又は量推定ロジック２５０が必要でないこともあり得る。さらに、この実例では、任意の中間マッピング出力は、システム１００のオペレータに利用可能又は可視であっても、利用不可又は可視でなくてもよい（例えば、中間マッピングは、ユーザが直に利用可能でない／可視でない内部処理の一部であってもよい）。すなわち、システム１００に含まれるニューラル・ネットワーク（例えば、ＣＮＮオートエンコーダ装置２２０）は、システム１００のユーザによる追加の入力を必要としないで、又はほとんど追加の入力を必要としないで、受信した超音波エコー情報及び／又は画像を変換し、関心の対象の容積情報又は他のサイズ情報を出力できる。
図５は、デバイス５００の例示的な構成を示す。デバイス５００は、例えば、ＣＮＮオートエンコーダ装置２２０、後処理装置２３０、照準ロジック２４０、及び量推定ロジック２５０のコンポーネントに対応し得る。図５を参照すると、デバイス５００は、バス５１０、プロセッサ５２０、メモリ５３０、入力デバイス５４０、出力デバイス５５０及び通信インタフェース５６０を含み得る。バス５１０は、デバイス５００の構成要素間の通信を可能にする経路を含み得る。例示的な実装形態では、図５に示すコンポーネントの全て又は一部は、メモリ５３０内に記憶されたソフトウェア命令を実行するプロセッサ５２０によって実装及び／又は制御され得る。
プロセッサ５２０は、１つ又は複数のプロセッサ、マイクロプロセッサ、又は命令を理解し、実行することができる処理ロジックを含み得る。メモリ５３０は、プロセッサ５２０による実行のための情報及び命令を記憶することができるランダム・アクセス・メモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又は別の種類の動的記憶デバイスを含み得る。メモリ５３０は、プロセッサ５２０によって使用される静的情報及び命令を記憶できる読み出し専用メモリ（ＲＯＭ）デバイス又は別の種類の静的記憶デバイスも含み得る。メモリ５３０は、ソリッド・ステート・ドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）をさらに含み得る。メモリ５３０は、磁気及び／又は光記憶媒体（例えば、ハード・ディスク）並びにその対応ドライブも含み得る。
入力デバイス５４０は、キーボード、キーパッド、マウス、ペン、マイク、タッチ・スクリーン、音声認識及び／又は生体機構などの、ユーザがデバイス５００に情報を入力することができる機構を含み得る。出力デバイス５５０は、ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ））、プリンタ、スピーカなどを含む、情報をユーザに出力する機構を含み得る。実装形態によっては、タッチ・スクリーン・ディスプレイは入力デバイスと出力デバイスの両方の役割をし得る。
通信インタフェース５６０は、デバイス５００が有線、無線、又は光機構を介して他のデバイスと通信するためにする使用する１つ又は複数の送受信機を含み得る。例えば、通信インタフェース５６０は、ネットワークを介してＲＦデータを伝送及び受信するための１つ又は複数の無線周波（ＲＦ）送信機、受信機及び／又は送受信機並びに１つ又は複数のアンテナを含み得る。通信インタフェース５６０はまた、ネットワーク内の構成要素と通信するためＬＡＮ又は他の機構にモデム又はイーサネット（登録商標）インタフェースを含み得る。
図５に示す例示的な構成は、単純化のため提供される。デバイス５００は、図５に示すより多くのデバイス又は少ないデバイスを含んでもよいことを理解されたい。例示的な実装形態では、デバイス５００は、メモリ５３０などのコンピュータ可読媒体に含まれた連続した命令を実行するプロセッサ５２０に応答して動作を実施する。コンピュータ可読媒体は、物理的又は論理的メモリ・デバイスとして定義され得る。ソフトウェア命令は、別のコンピュータ可読媒体（例えば、ハード・ディスク・ドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ）又は通信インタフェース５６０を介した別のデイバスからメモリ５３０内に読み込まれ得る。或いは、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハード・ワイヤード回路は、ソフトウェア命令の代わりに又はそれと組み合わせて使用されて、本明細書に記載の実装形態に従ったプロセスを実施することができる。したがって、本明細書に記載の実装形態は、ハードウェア回路及びソフトウェアのいずれの特定の組み合わせにも制限されない。
図６は、関心の対象を特定すること、並びに関心の対象に関連付けられたパラメータ（例えば、容積）を特定することに関する例示的な処理を示す流れ図である。処理は、関心の対象臓器をスキャンするためユーザの操作するプローブ１１０を用いて開始し得る。この実例では、対象臓器は、膀胱であると仮定する。本明細書に記載の特徴を使用して、他の臓器又は身体内の構造体を特定することができることを理解されたい。
例示的な実装形態では、ユーザがトリガ１１４を押し、プローブ１１０に含まれる送受信機が超音波信号を伝送し、プローブ１１０によって受信されたエコー信号に関連付けられたＢモード・データを取得できる（ブロック６１０）。一実装形態では、データ取得装置２１０は、膀胱を貫通して１２ヶ所の異なる平面に超音波信号を伝送し、１２ヶ所の異なる平面に対応する１２個のＢモード画像を生成できる。この実装形態では、データは、２Ｄ画像データに対応し得る。他の実装形態では、データ取得装置２１０は、３Ｄ画像データを生成し得る。例えば、図３に関連して上述したように、データ取得装置２１０は、インターレース・スキャンを実施して、３Ｄ画像を生成できる。いずれの場合も、伝送される超音波信号／スキャン面の数は、特定の実装形態に基づいて変わり得る。上述のように、実装形態によっては、データ取得装置２１０は、Ｂモード画像のサイズを縮小して、その後ＣＮＮオートエンコーダ装置２２０にＢモード・データを転送できる。例えば、データ取得装置２１０は、Ｂモード画像のサイズを１０％以上縮小できる。
いずれの場合も、ＣＮＮオートエンコーダ装置２２０は、２Ｄ Ｂモード・データを受信し、データを処理して、受信したデータからノイズを取り除くと仮定する。例えば、図７を参照すると、ＣＮＮオートエンコーダ装置２２０は、膀胱に対応する暗い区域又は領域７１２を有するＢモード画像データ７１０を受信し得る。図示のように、Ｂモード画像データは不規則な区域を含むか、或いは不明瞭又はぼやけてユーザに見える可能性がある。例えば、図７の領域７１２は、膀胱の周囲内並びに明確でない境界内により明るい区域を含む。こうしたノイズの多い区域は、膀胱の容積を正確に推定することを難しくし得る。
この場合、ＣＮＮオートエンコーダ装置２２０は、対象確率マップを生成することにより取得したＢモード画像７１０のノイズ除去を実施する（ブロック６２０）。例えば、上述のように、ＣＮＮオートエンコーダ２２０は、ＣＮＮ技術を使用して、入力画像内の各画素に対して確率情報を生成することができる。
次に、ベース・ユニット１２０は、完全な円錐データ（すなわち、全てのスキャン面データ）が取得され、処理されたかを判定することができる（ブロック６３０）。例えば、ベース・ユニット１２０は、膀胱を貫通する１２ヶ所の異なるスキャンに対応する全ての１２個のＢモード画像が処理されたかを判定することができる。全てのＢモード画像データが処理されていない場合、（ブロック６３０−いいえ）、ベース・ユニット１２０は、次のスキャン面の位置に動きを制御して（ブロック６４０）、処理がブロック６１０に続いて、別のスキャン面に関連付けられたＢモード画像を処理する。
全てのＢモード画像データが処理された場合（ブロック６３０−はい）、ベース・ユニット１２０は、３Ｄ情報を用いて確率マップを修正することができる（ブロック６５０）。例えば、ＣＮＮオートエンコーダ装置２２０は、患者が男性であるか、女性であるか、子供であるかなどに基づく膀胱の３Ｄ形状及びサイズに関する記憶された想定情報を使用して、ＣＮＮオートエンコーダ装置２２０によって生成された確率情報の一部を修正することができ、それにより、膀胱のサイズ及び／又は形状を効果的に修正できる。すなわち、上述のように、ＣＮＮオートエンコーダ装置２２０は、患者の人口統計学的情報、患者の臨床状態、システム１００（例えば、プローブ１１０）に関連付けられたデバイス情報、患者の患者データ（例えば、患者の病歴情報及び患者の検査データ）などに基づいて訓練されたＣＮＮを使用することができる。例えば、ＣＮＮオートエンコーダ装置２２０は、患者１５０が男性の場合には男性患者のデータで訓練されたＣＮＮを使用し、患者１５０が女性の場合には女性患者のデータで訓練されたＣＮＮを使用し、患者１５０が子供の場合には子供のデータで訓練されたＣＮＮを使用し、患者の年齢の範囲に基づいて訓練されたＣＮＮを使用し、患者の病歴で訓練されたＣＮＮを使用することなどができる。ベース・ユニット１２０によって３Ｄ画像データが受信され、処理される場合などの他の実装形態では、追加の処理が実施されなくてもよく、ブロック６５０はスキップされてもよい。いずれの場合も、システム１００は、図７に示す画像７２０などのＰモード画像データ（ブロック６６０）を表示できる。
いずれの場合も、ベース・ユニット１２０は、確率マップを使用して、二値化処理を介して対象領域をセグメント化できる（ブロック６７０）。例えば、後処理装置２３０は、ＣＮＮオートエンコーダ装置２２０の出力を受信し、確率マッピングをリサイズする（例えば、補間を介して）、平滑化する、且つ／又はノイズ除去する（例えば、フィルタリングを介して）ことができる。例えば、一実装形態では、確率マップは、補間を通じてより大きいサイズにリサイズされて、より良い解像度を取得でき、且つ／又は、少なくとも部分的にサイズを縮小された可能性がある元のＢモード画像データの空間的解像度を回復できる。一実装形態では、２Ｄランチョス補間を実施して、対象確率マップに関連付けられた画像をリサイズできる。
さらに、ベース・ユニット１２０は、分類、すなわち二値化処理を実施して、確率情報を確率マッピング単位から二値化出力データに変換できる。例えば、後処理装置２３０は、確率値を二進値に変換できる。複数の候補の確率値が特定の画素用に識別された場合、後処理装置２３０は最大の突出値を選択できる。この方法では、後処理装置２３０は、ある「賢さ（ｓｍａｒｔｎｅｓｓ）」を用いて、複数の候補が特定されたときに、最もありそうな値を選択することができる。
図８は、例示的なスマートな二値化処理を概略的に示す。図８を参照すると、画像８１０は、確率情報が様々な輝度を有するグレースケール画像に変換される２Ｄ超音波画像に対応する画素分類又は確率マップからの出力を示す。図示のように、画像８１０は、膀胱の部分に対する可能性のある位置を表す８１２と表示されるグレー区域及び８１４と表示されるグレー区域を含む。画像８２０に示す十字線８２２によって示されるように、後処理装置２３０は、ピーク点又は最も輝度が高い画像８１０内の点を特定する。次に、後処理装置２３０は、画像８３０の領域８３２が示すように、輝度が閾値の輝度より大きい領域について、ピーク点の周りの領域を埋めることができる。この場合、その閾値の輝度値が閾値の輝度より低い区域８２０内の領域は埋められず、画像８１０に示すグレー区域８１４の除去をもたらす。その後、後処理装置２３０は、画像８４０の領域８４２が示すように、背景を埋めることができる。そして、後処理装置２３０は、画像８５０の区域８５２に示すように、任意の穴すなわち、画像内の開領域を埋める。領域８４２の穴は、ノイズの多い領域又は患者１５０の何か障害に関連する領域に対応し得る。この方法では、後処理装置２３０は、膀胱に対して最もありそうな位置及びサイズを特定する。すなわち、区域８５２は、患者１５０の膀胱の一部であると考えられる。
他の実装形態では、後処理装置２３０は、画像８１０内のピーク輝度値以外の情報を使用できる。例えば、後処理装置２３０は、平滑化された確率マップのピークなどの処理された確率のピーク値を使用する、複数のピーク値を使用して、複数の埋められた領域を特定することなどができる。他の実例として、後処理装置２３０は、区域、ピーク確率又は各領域の平均確率に基づいた「主要な」領域を選択できる。さらに他の実装形態では、後処理装置２３０は、例えば、ディスプレイ１２２を介してオペレータが手動で入力する１つ又は複数の速度点を使用する、１つ又は複数の速度点を生成するアルゴリズムを使用する、速度点を使わない別の種類の閾値を実施するなどして、患者の膀胱の領域を特定することができる。
この方法で画像８１０を処理した後、ベース・ユニット１２０は、図７に示す画像７２０などの画像を出力することができる。図７を参照すると、画像７２０は、膀胱に対応する領域７２２を含む。図示のように、膀胱７２２の縁は、画像７１２の境界よりはるかに明確になり、はるかにより正確な膀胱の表現を提供している。この方法では、ベース・ユニット１２０は、各画素の輝度値及び隣接する画素の局所勾配値並びに隠れマルコフ・モデル及びニューラル・ネットワーク・アルゴリズム（例えば、ＣＮＮ）などの統計的方法を使用して、Ｂモード画像内の各画素に対する確率値を生成し、Ｂモード・データをノイズ除去することができる。
次に、ベース・ユニット１２０は、セグメント化の結果を対象容積に変換できる（ブロック６７０）。例えば、後処理装置２３０は、二値マップ内のそれぞれの有効な対象画素に対応する３Ｄ空間内の全てのボクセルの容積を合計できる。すなわち、量推定ロジック２５０は、１２の区分された対象画像内のボクセルを合計して、膀胱の容積を推定できる。例えば、寄与率又は各ボクセルの容積を事前計算し、ベース・ユニット１２０内のルックアップ・テーブルに記憶できる。この場合、量推定ロジック２５０は、ルックアップ・テーブルへのインデックスとしてボクセルの合計を使用して、推定された容積を判定することができる。量推定ロジック２５０はまた、ベース・ユニット１２０のディスプレイ１２２を介して容積を表示できる。例えば、量推定ロジック２５０は、図７の区域７２４で膀胱の推定された容積（すなわち、この実例では１３５ミリリットル（ｍＬ））を表示することができ、これはベース・ユニット１２０のディスプレイ１２２に出力される。或いは、量推定ロジック２５０は、プローブ１１０上のディスプレイを介して容積情報を表示できる。後処理装置２３０は、セグメント化の結果を表示することもできる（ブロック６９０）。すなわち、後処理装置２３０は、ベース・ユニット１２０のディスプレイ１２２を介して膀胱の１２の区分を表示できる。
実装形態によっては、システム１００は、確率マッピング情報上で二値化処理を実施しなくてもよい。例えば、実装形態によっては、ＣＮＮオートエンコーダ装置２２０及び／又は後処理装置２３０は、ルックアップ・テーブルを確率マッピング情報に適用して、関心の対象臓器のありそうな部分を特定し、ディスプレイ１２２を介して出力を表示できる。
再度ブロック６２０を参照すると、実装形態によっては、確率マッピング装置２３０が、生成されるのに伴って情報をリアル・タイムで表示することができる。図９は、ユーザへの追加の表示情報を提供することに関連付けられた例示的な処理を示す。例えば、後処理装置２３０は、確率モード情報（本明細書でＰモードと呼ばれる）を、生成されるのに伴ってディスプレイ１２２を介してリアル・タイムで表示できる（図９、ブロック９１０）。後処理装置２３０はまた、対象をセグメント化し（ブロック９２０）、セグメント化の結果をＢモード画像で表示できる（ブロック９３０）。例えば、図１０は、３つのＢモード画像１０１０、１０１２及び１０１４並びに対応するＰモード画像１０２０、１０２２及び１０２４を示す。他の実装形態では、全ての１２個のＢモード画像及び１２個の対応するＰモード画像を表示できる。図示のように、Ｐモード画像１０２０、１０２２及び１０２４は、Ｂモード画像１０１０、１０１２及び１０１４よりはるかに明確になっている。さらに、実装形態によっては、後処理装置２３０は、Ｐモード画像それぞれに表示された膀胱の境界の外形を提供することができる。例えば、Ｐモード画像１０２０、１０２２及び１０２４それぞれは、図１０に示すように、例えば、膀胱の内部と異なる色又はより明るい色の外形を含み得る。
本明細書に記載の実装形態は、機械学習を用いて、超音波スキャナを介して取得される情報に基づいて、患者の臓器又は関心の構造体を特定する。機械学習処理は、画像データを受信し、画像（例えば、画素）の各特定の部分に対する確率情報を生成して、特定の部分が対象臓器内にある確率を判定できる。後処理分析は、患者の性別又は年齢、特定の対象臓器などの追加の情報を使用して、確率情報をさらに改良することができる。一部の例では、対象臓器の容積も、リアル・タイム確率モード画像と共にユーザに提供されてもよい。
例示的な実装形態の上記の記載は、例示及び説明を提供するが、網羅的であるか、又は正確に開示された形に実施例を制限することを意図しない。変更及び変形は、上述の教示に照らして可能であるか、又はそれらを実施例の実践から取得することができる。
例えば、特徴を患者の膀胱などの関心の対象を特定すること、及びＣＮＮ処理を用いて、対象（例えば、膀胱）の容積を推定することに関連して説明してきた。他の実装形態では、他の臓器又は構造体を特定でき、サイズ又は臓器／構造体に関連付けられた他のパラメータを推定できる。例えば、本明細書に記載の処理を使用して、前立腺、腎臓、子宮、卵巣、大動脈、心臓、血管、羊水、胎児など、並びに容積及び／又はサイズに関連する測定値などのこれらの対象に関連付けられた特定の特徴を特定し表示することができる。
例えば、本明細書に記載の処理が膀胱以外の（例えば、大動脈、前立腺、腎臓、心臓、子宮、卵巣、血管、羊水、胎児など）様々な臓器又は対象に関連して使用される実装形態では、追加のサイズに関連した測定値が生じ得る。例えば、臓器又は関心の領域の長さ、高さ、幅、深さ、直径、面積などが計算され得る。実例として、大動脈のスキャンでは、大動脈の直径の測定は、動脈瘤などの異常を特定しようとするのに重要であり得る。前立腺スキャンでは、前立腺の幅及び高さの測定が必要とされ得る。これらの場合、長さ、高さ、幅、深さ、直径、面積などの測定値は、上述の機械学習処理を使用して、生成／推定され得る。すなわち、上述の機械学習を使用して、境界壁又は他の関心の項目を特定し、特定のサイズに関連した医療関係者に関心のパラメータを推定することができる。
さらに、特徴を、主にエコー・データを使用してＢモード画像を生成すること及び機械学習をＢモード画像に適用して容積、長さ、又は対象に関連付けられた他の情報を特定することに関連して説明してきた。他の実装形態では、その他の種類の超音波入力画像データを使用してもよい。例えば、通常、Ｂモード画像に垂直に向けられた平面に形成された関心の対象（例えば、膀胱）の表示を含むＣモード画像データが、他の実装形態では使用されてもよい。そしてさらに、他の実装形態では、無線周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）又は直交信号（例えば、ＩＱ信号）がＣＮＮオートエンコーダ装置２２０への入力として使用されて、対象に関連付けられた確率出力マッピングを生成できる。
さらに、特徴を、単一の確率マップを生成することに関連して説明してきた。他の実装形態では、複数の確率マップが生成され得る。例えば、システム１００は、関心の対象臓器に対する（例えば、膀胱）１つの確率マップ、恥骨／恥骨影に対する別の確率マップ、及び前立腺に対する別の確率マップを生成できる。この方法では、患者１５０の内臓をより正確に表示することができ、対象臓器（例えば、膀胱）に対してより正確に容積を推定できるようになる。
さらに、本明細書に記載の特徴は、Ｂモード画像データを画素毎に分析することに関する。他の実装形態では、画素毎にマッピングする代わりに、エッジ・マップが使用され得る。この実装形態では、対象の縁がＣＮＮアルゴリズムを用いて検出され得る。さらなる実装形態では、多角形座標アプローチを使用して、膀胱の不連続的な部分を特定することができ、次に点をつなげることができる。この実装形態では、輪郭エッジ追跡アルゴリズムを使用して、対象臓器の点を接続できる。
そしてさらに、患者が男性であるか、女性であるか、子供であるかなどを示す情報などの様々な入力を説明してきた。確率マッピング及び／又は二値化へのその他の入力も使用され得る。例えば、肥満度指数（ＢＭＩ：Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）、年齢又は年齢の範囲をベース・ユニット１２０に入力することができ、ベース・ユニット１２０は、自動的に特定のＢＭＩ、年齢又は年齢の範囲に基づいて処理を調節できる。各画素の深度、平面配向などの確率マッピング及び／又は二値化処理へのさらに他の入力を使用して、出力画像及び／又はシステム１００が生成する容積推定の精度を改善できる。
さらに、上述のように、様々な種類の患者、男性、女性及び子供に関連付けられたトレーニング・データを使用して、Ｐモード・データを生成する支援をすることができる。例えば、数千以上のトレーニング・データ画像を使用して、Ｂモード入力データを処理するために使用されるＣＮＮアルゴリズムを生成して、対象又は関心を特定することができる。その上、数千以上の画像をベース・ユニット１２０に入力又は記憶して、ＣＮＮオートエンコーダ装置２２０の出力を修正するのを支援することができる。これは、膀胱スキャンに対する恥骨などの予想される障害が、画像に悪影響を与える場合に特に役立ち得る。これらの実装形態では、ベース・ユニット１２０は、如何に障害の影響を考慮するか、且つそれを最小化するかに関する情報を記憶できる。そして、ＣＮＮオートエンコーダ装置２２０及び／又は後処理装置２３０は、障害をより正確に考慮することができる。
そしてさらに、本明細書に記載の特徴は、ＣＮＮオートエンコーダ装置２２０への入力としてＢモード画像データを使用することに言及する。他の実装形態では、その他のデータを使用してもよい。例えば、伝送された超音波信号に関連付けられたエコー・データは、膀胱などの対象臓器を検出するために使用され得る高調波情報を含み得る。この場合、伝送された超音波信号の周波数に関する高次高調波エコー情報（例えば、第二高調波以上）を使用して、Ｂモード画像を生成せずに確率マッピング情報を生成できる。さらに他の実装形態では、高次高調波情報を上述のＢモード・データに加えて使用して、Ｐモード画像データを向上させることができる。そしてさらなる実装形態では、プローブ１１０は、複数の周波数の超音波信号を伝送でき、複数の周波数に関連付けられたエコー情報は、ＣＮＮオートエンコーダ装置２２０又はその他の機械学習モジュールへの入力として使用されて、対象臓器を検出し、対象臓器の容積、サイズなどを推定できる。
例えば、基本周波数の複数のＢモード画像及び１つ又は複数の高次高調波周波の複数のＢモード画像をＣＮＮオートエンコーダ装置２２０への入力として使用できる。そしてさらに、基本周波数及び高調波周波数情報は、事前処理され、ＣＮＮオートエンコーダ装置２２０への入力として使用されて、確率マップを生成する際の支援となり得る。例えば、高調波と基本周波数電力との間の比が、ＣＮＮオートエンコーダ装置２２０への入力として使用されて、確率マッピングの精度を向上させることができる。
さらに、実装形態によっては、上述の後処理は、第２の機械学習（例えば、ＣＮＮ）アルゴリズムを使用して、画像データのノイズを除去し、且つ／又は画像の外形／エッジ追跡を実施することができる。
そしてさらに、実装形態を、２次元（２Ｄ）Ｂモード画像データを取得するデータ取得装置２１０に関して説明してきた。他の実装形態では、高次元画像日付（例えば、２．５Ｄ又は３Ｄ）データをＣＮＮオートエンコーダ装置２２０へ入力できる。例えば、２．５Ｄの実装形態では、ＣＮＮオートエンコーダ装置２２０は、いくつかのスキャン面のほか、精度を向上させるため隣接するスキャン面に関連付けられたＢモード画像を使用できる。３Ｄの実装形態では、ＣＮＮオートエンコーダ装置２２０は、１２個の各スキャン面に対して１２個の確率マップを生成し、後処理装置２３０は、全ての１２個の確率マップを使用して、１２個の確率マップに基づいた３Ｄ画像（例えば、３Ｄ塗りつぶしアルゴリズム（３Ｄ ｆｌｏｏｄ−ｆｉｌｌｉｎｇ ａｌｇｏｒｉｔｈｍ）を介して）を生成できる。次に、分類及び／又は二値化処理を、２．５Ｄ又は３Ｄ画像に実施して、例えば、３Ｄ出力画像を生成することができる。
さらに、図６及び図９に関して連続した動作を説明してきたが、動作の順番は、他の実装形態では違っていてもよい。その上、依存しない動作が並行して実施されてもよい。
上述の様々な特徴を、図に示す実装形態では、ソフトウェア、ファームウェア、及びハードウェアの多くの異なる形態で実施できることが明らかであろう。様々な特徴を実施するために使用される実際のソフトウェア・コード又は専用制御ハードウェアは、制限的ではない。したがって、特徴の動作及び行為は、特定のソフトウェア・コードを参照せずに説明され、同業者であれば、ソフトウェアを設計し、ハードウェアを制御して、本明細書の記載に基づいて様々な特徴を実施することができることが理解されよう。
さらに、本発明の所定の部分を、１つ又は複数の機能を実施する「ロジック」として実装できる。このロジックは、１つ又は複数のプロセッサ、マイクロプロセッサ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイ又はその他の処理ロジック、ソフトウェア若しくはハードウェアとソフトウェアの組み合わせなどのハードウェアを含んでもよい。
前述の明細書では、様々な好ましい実施例を、添付の図面を参照しながら説明してきた。しかし、以下の特許請求の範囲に記載されるように本発明の広範な範囲を逸脱することなく、様々な変更及び変形を行うことができ、追加の実施例を実施できるのは明白であろう。したがって、本明細書及び図面は、制限を意味するのではなく例示的とみなされるものである。
本願の説明で使用される構成要素、行為、又は命令は、別段の定めがない限り、本発明に対して重要又は本質的と解釈されるべきではない。また、本明細書で使用される冠詞「１つ（ａ）」は、１つ以上の品目を含むことを意図する。さらに、「基づいて（ｂａｓｅｄ ｏｎ）」という句は、「少なくとも部分的に基づいて」と意味するように意図されるが、別途定められている場合はその限りではない。

Claims (15)

  1. 関心の対象に超音波信号を伝送し、
    前記伝送された超音波信号に関連付けられたエコー情報を受信する
    ように構成されたプローブと、
    前記受信したエコー情報を機械学習アルゴリズムを使用して処理して、前記関心の対象に関連付けられた確率情報を生成し、当該確率情報は、処理された前記エコー情報に関連する部分または画像の画素が前記関心の対象内にある値を含むように構成され、
    前記関心の対象を識別するために前記確率情報を処理し、ここで、当該確率情報を処理するとき、少なくとも１つの処理デバイスは、前記確率情報を二値化または分類するか、またはルックアップテーブルを前記確率情報に適用するように構成され、
    前記処理された確率情報に基づいて前記関心の対象に対応する画像情報を出力する
    ように構成された少なくとも１つの処理デバイスと、を備えるシステム。
  2. 前記確率情報を処理するとき、前記少なくとも１つの処理デバイスが、前記確率情報を二値化するように構成され、前記少なくとも１つの処理デバイスが、
    前記二値化された確率情報に基づいて、前記関心の対象に関連付けられた容積、長さ、高さ、幅、深さ、直径、又は面積のうちの少なくとも１つを推定するようにさらに構成される、請求項１に記載のシステム。
  3. 前記機械学習アルゴリズムが、畳み込みニューラル・ネットワーク・アルゴリズムを含み、
    前記画像情報を受信し、前記画像情報を表示するように構成されたディスプレイをさらに備える、請求項１または請求項２に記載のシステム。
  4. 前記ディスプレイが、
    前記受信したエコー情報に対応するＢモード画像データと、前記関心の対象に対応する出力画像情報とを同時に表示するようにさらに構成される、請求項３に記載のシステム。
  5. 前記関心の対象が膀胱を含み、
    前記少なくとも１つの処理デバイスが、
    前記プローブを前記関心の対象に向けるために照準命令を生成するようにさらに構成される、請求項１に記載のシステム。
  6. 前記少なくとも１つの処理デバイスが、
    被験者の性別情報、前記被験者が子供であることを示す情報、前記被験者の年齢情報、前記被験者の年齢の範囲情報、前記被験者の肥満度指数情報、前記被験者の対象の病歴情報または前記被験者の身体検査によって得られた情報のうちの少なくとも１つを含む情報を受信し、
    前記受信した情報に基づいて前記受信したエコー情報を処理するようにさらに構成される、請求項１に記載のシステム。
  7. 前記少なくとも１つの処理デバイスが、
    被験者の人口統計学的情報、前記被験者の臨床情報、又は前記プローブに関連付けられたデバイス情報のうちの少なくとも１つを自動的に判定し、
    前記自動的に判定された情報に基づいて前記受信したエコー情報を処理するようにさらに構成される、請求項１に記載のシステム。
  8. 前記受信したエコー情報を処理するとき、前記少なくとも１つの処理デバイスが、
    前記受信したエコー情報を処理して、出力画像データを生成し、
    前記出力画像データに関連付けられた画素を処理し、
    処理された画素それぞれの値を判定し、
    ピーク値を特定し、
    前記ピーク値に関連付けられた点の周りの区域を埋めて、前記関心の対象の一部を特定するように構成される、請求項１に記載のシステム。
  9. 前記受信したエコー情報を処理するとき、前記少なくとも１つの処理デバイスが、
    前記伝送された超音波信号に関連付けられた周波数に関連する高次高調波情報を特定し、
    前記確率情報を処理するとき、前記少なくとも１つの処理デバイスが、前記特定された高次高調波情報に基づいて前記確率情報を生成するように構成される、請求項１に記載のシステム。
  10. 前記プローブが、前記受信したエコー情報を、無線インタフェースを介して前記少なくとも１つの処理デバイスに伝送するように構成される、請求項１に記載のシステム。
  11. 前記関心の対象が、大動脈、前立腺、心臓、子宮、腎臓、血管、羊水、又は胎児のうちの１つを含む、請求項１に記載のシステム。
  12. 超音波スキャナを介して、超音波信号を関心の対象に伝送するステップと、
    前記伝送された超音波信号に関連付けられたエコー情報を受信するステップと、
    前記受信したエコー情報を機械学習アルゴリズムを使用して処理して、前記関心の対象に関連付けられた確率情報を生成するステップであって、当該確率情報は、処理された前記エコー情報に関連する部分または画像の画素が前記関心の対象内にある値を含むように構成される、ステップと、
    前記関心の対象を識別するために前記確率情報を処理するステップであって、当該確率情報を処理するとき、少なくとも１つの処理デバイスは、前記確率情報を二値化または分類するか、またはルックアップテーブルを前記確率情報に適用するように構成される、ステップと、
    前記処理された確率情報に基づいて前記関心の対象に対応する画像情報を出力するステップと、を含む方法。
  13. 前記確率情報を分類するステップが、前記確率情報を二値化することを含み、前記方法が、
    前記二値化された確率情報に基づいて、前記関心の対象に関連付けられた容積、長さ、高さ、幅、深さ、直径、又は面積のうちの少なくとも１つを推定するステップと、
    前記容積、長さ、高さ、幅、深さ、直径、又は面積のうちの前記少なくとも１つをディスプレイに出力するステップと、をさらに含む、請求項１２に記載の方法。
  14. 前記エコー情報に対応するＢモード画像データと、前記関心の対象に対応する出力画像情報とを同時に表示するステップをさらに含む、請求項１２に記載の方法。
  15. 被験者の性別情報、前記被験者の年齢情報、前記被験者の年齢の範囲情報、前記被験者の肥満度指数情報、前記被験者の対象の病歴情報または前記被験者の身体検査によって得られた情報のうちの少なくとも１つを含む情報を受信するステップと、
    前記受信した情報に基づいて前記受信したエコー情報を処理するステップと、をさらに含む、請求項１２に記載の方法。
JP2019561958A 2017-05-11 2018-05-11 確率マップに基づいた超音波検査 Active JP6902625B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762504709P 2017-05-11 2017-05-11
US62/504,709 2017-05-11
PCT/US2018/032247 WO2018209193A1 (en) 2017-05-11 2018-05-11 Probability map-based ultrasound scanning

Publications (2)

Publication Number Publication Date
JP2020519369A JP2020519369A (ja) 2020-07-02
JP6902625B2 true JP6902625B2 (ja) 2021-07-14

Family

ID=62685100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561958A Active JP6902625B2 (ja) 2017-05-11 2018-05-11 確率マップに基づいた超音波検査

Country Status (7)

Country Link
US (1) US20180330518A1 (ja)
EP (1) EP3621525A1 (ja)
JP (1) JP6902625B2 (ja)
KR (2) KR102409090B1 (ja)
CN (1) CN110753517A (ja)
CA (1) CA3062330A1 (ja)
WO (1) WO2018209193A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112957074A (zh) 2016-03-09 2021-06-15 安科诺思公司 利用人工智能网络的超声图像识别系统和方法
KR102139856B1 (ko) * 2017-06-23 2020-07-30 울산대학교 산학협력단 초음파 영상 처리 방법
EP3420913B1 (en) * 2017-06-26 2020-11-18 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and control method thereof
WO2019009919A1 (en) * 2017-07-07 2019-01-10 Massachusetts Institute Of Technology SYSTEM AND METHOD FOR AUTOMATIC MONITORING OF OVARIAN FOLLICLES
EP3777699A4 (en) * 2018-03-30 2021-05-26 FUJIFILM Corporation ULTRASONIC DIAGNOSTIC DEVICE AND CONTROL METHOD FOR ULTRASONIC DIAGNOSTIC DEVICE
US11372086B2 (en) * 2018-05-11 2022-06-28 Qualcomm Incorporated Radio frequency (RF) object detection using radar and machine learning
US10878570B2 (en) * 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
EP3824313A1 (en) * 2018-07-20 2021-05-26 Koninklijke Philips N.V. Ultrasound imaging by deep learning and associated devices, systems, and methods
US12056890B2 (en) 2018-12-11 2024-08-06 Synergy A.I. Co. Ltd. Method for measuring volume of organ by using artificial neural network, and apparatus therefor
JP7192512B2 (ja) * 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
CA3126020C (en) * 2019-01-17 2024-04-23 Verathon Inc. Systems and methods for quantitative abdominal aortic aneurysm analysis using 3d ultrasound imaging
US20200281570A1 (en) * 2019-01-17 2020-09-10 Canon Medical Systems Corporaion Apparatus
JP7273518B2 (ja) * 2019-01-17 2023-05-15 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び学習プログラム
JP7258568B2 (ja) * 2019-01-18 2023-04-17 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム
JP7302988B2 (ja) * 2019-03-07 2023-07-04 富士フイルムヘルスケア株式会社 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム
JP7242409B2 (ja) * 2019-04-26 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置及び学習済モデルの作成方法
KR20220019036A (ko) * 2019-06-12 2022-02-15 카네기 멜론 유니버시티 초음파 데이터를 라벨링하기 위한 시스템 및 방법
US11986345B2 (en) 2019-07-12 2024-05-21 Verathon Inc. Representation of a target during aiming of an ultrasound probe
US20210045716A1 (en) * 2019-08-13 2021-02-18 GE Precision Healthcare LLC Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module
CN110567558B (zh) * 2019-08-28 2021-08-10 华南理工大学 一种基于深度卷积特征的超声导波检测方法
CN112568935B (zh) * 2019-09-29 2024-06-25 中慧医学成像有限公司 基于三维追踪相机的三维超声成像方法和系统
US11583244B2 (en) * 2019-10-04 2023-02-21 GE Precision Healthcare LLC System and methods for tracking anatomical features in ultrasound images
US20210183521A1 (en) * 2019-12-13 2021-06-17 Korea Advanced Institute Of Science And Technology Method and apparatus for quantitative imaging using ultrasound data
JP7093093B2 (ja) * 2020-01-08 2022-06-29 有限会社フロントエンドテクノロジー 超音波尿量測定装置、学習モデル生成方法、学習モデル
KR102246966B1 (ko) * 2020-01-29 2021-04-30 주식회사 아티큐 신체의 목적 타겟 위치 확인 방법
JP7461501B2 (ja) * 2020-04-07 2024-04-03 ベラソン インコーポレイテッド 前立腺自動解析システム
CN113616235B (zh) * 2020-05-07 2024-01-19 中移(成都)信息通信科技有限公司 超声检测方法、装置、系统、设备、存储介质及超声探头
CN112184683B (zh) * 2020-10-09 2024-10-15 深圳度影医疗科技有限公司 一种超声图像的识别方法、终端设备及存储介质
KR102238280B1 (ko) * 2020-12-09 2021-04-08 박지현 수중 물체 감지 시스템 및 그 방법
US20230070062A1 (en) * 2021-08-27 2023-03-09 Clarius Mobile Health Corp. Method and system, using an ai model, for identifying and predicting optimal fetal images for generating an ultrasound multimedia product
JP2023034400A (ja) * 2021-08-31 2023-03-13 ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社 情報処理装置、情報処理方法及びプログラム
JP2023087273A (ja) 2021-12-13 2023-06-23 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2023143418A (ja) * 2022-03-25 2023-10-06 富士フイルム株式会社 超音波診断装置とその作動方法
WO2024101255A1 (ja) * 2022-11-08 2024-05-16 富士フイルム株式会社 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム
CN118071746B (zh) * 2024-04-19 2024-08-30 广州索诺星信息科技有限公司 基于人工智能的超声影像数据管理系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081933A (en) * 1990-03-15 1992-01-21 Utdc Inc. Lcts chassis configuration with articulated chassis sections between vehicles
JPH06233761A (ja) * 1993-02-09 1994-08-23 Hitachi Medical Corp 医用画像診断装置
US5734739A (en) * 1994-05-31 1998-03-31 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
US5984870A (en) * 1997-07-25 1999-11-16 Arch Development Corporation Method and system for the automated analysis of lesions in ultrasound images
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
WO2001082787A2 (en) * 2000-05-03 2001-11-08 University Of Washington Method for determining the contour of an in vivo organ using multiple image frames of the organ
US20050089205A1 (en) * 2003-10-23 2005-04-28 Ajay Kapur Systems and methods for viewing an abnormality in different kinds of images
US8167803B2 (en) 2007-05-16 2012-05-01 Verathon Inc. System and method for bladder detection using harmonic imaging
EP2200692B1 (en) * 2007-09-26 2016-11-09 Medtronic, Inc. Frequency selective monitoring of physiological signals
US8556814B2 (en) * 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
US8265390B2 (en) * 2008-11-11 2012-09-11 Siemens Medical Solutions Usa, Inc. Probabilistic segmentation in computer-aided detection
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
US20110257527A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation
US9710730B2 (en) * 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
CA2866509A1 (en) * 2011-12-21 2013-06-27 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
US9033887B2 (en) * 2012-05-31 2015-05-19 Siemens Corporation Mitral valve detection for transthoracic echocardiography
US20160270757A1 (en) * 2012-11-15 2016-09-22 Konica Minolta, Inc. Image-processing apparatus, image-processing method, and program
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US10430688B2 (en) * 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US20180140282A1 (en) * 2015-06-03 2018-05-24 Hitachi, Ltd. Ultrasonic diagnostic apparatus and image processing method
EP3338642B1 (en) * 2015-08-21 2020-05-06 FUJIFILM Corporation Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
US9536054B1 (en) * 2016-01-07 2017-01-03 ClearView Diagnostics Inc. Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations

Also Published As

Publication number Publication date
KR102409090B1 (ko) 2022-06-15
KR20220040507A (ko) 2022-03-30
WO2018209193A1 (en) 2018-11-15
JP2020519369A (ja) 2020-07-02
US20180330518A1 (en) 2018-11-15
CA3062330A1 (en) 2018-11-15
KR20200003400A (ko) 2020-01-09
EP3621525A1 (en) 2020-03-18
CN110753517A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
JP6902625B2 (ja) 確率マップに基づいた超音波検査
US9483821B2 (en) Method and ultrasound apparatus for displaying ultrasound image corresponding to region of interest
CN112603361B (zh) 用于在超声图像中跟踪解剖特征的系统和方法
KR102539901B1 (ko) 2차원 초음파 이미지를 음영화하는 방법 및 시스템
JP7022217B2 (ja) 超音波システムのためのエコー窓のアーチファクト分類及び視覚的インジケータ
US20080146932A1 (en) 3D ultrasound-based instrument for non-invasive measurement of Amniotic Fluid Volume
US10470744B2 (en) Ultrasound diagnosis apparatus, ultrasound diagnosis method performed by the ultrasound diagnosis apparatus, and computer-readable storage medium having the ultrasound diagnosis method recorded thereon
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
US11278259B2 (en) Thrombus detection during scanning
US11684344B2 (en) Systems and methods for quantitative abdominal aortic aneurysm analysis using 3D ultrasound imaging
WO2020117486A1 (en) Implant assessment using ultrasound and optical imaging
US20150250455A1 (en) Medical image processing apparatus and method, and computer-readable recording medium
WO2020133236A1 (zh) 一种脊柱的成像方法以及超声成像系统
EP3848892A1 (en) Generating a plurality of image segmentation results for each node of an anatomical structure model to provide a segmentation confidence value for each node
CN114098795B (zh) 用于生成超声探头引导指令的系统和方法
WO2021230230A1 (ja) 超音波診断装置、医用画像処理装置、及び、医用画像処理方法
CN115869006A (zh) 超声成像装置和超声成像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210621

R150 Certificate of patent or registration of utility model

Ref document number: 6902625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250