JP7427002B2 - フレームのインデックス付け及び画像レビューのためのシステム及び方法 - Google Patents
フレームのインデックス付け及び画像レビューのためのシステム及び方法 Download PDFInfo
- Publication number
- JP7427002B2 JP7427002B2 JP2021534230A JP2021534230A JP7427002B2 JP 7427002 B2 JP7427002 B2 JP 7427002B2 JP 2021534230 A JP2021534230 A JP 2021534230A JP 2021534230 A JP2021534230 A JP 2021534230A JP 7427002 B2 JP7427002 B2 JP 7427002B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ultrasound
- image frame
- visual representation
- image frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000012552 review Methods 0.000 title description 24
- 230000000007 visual effect Effects 0.000 claims description 131
- 238000002604 ultrasonography Methods 0.000 claims description 109
- 238000013528 artificial neural network Methods 0.000 claims description 69
- 238000005259 measurement Methods 0.000 claims description 60
- 239000003550 marker Substances 0.000 claims description 24
- 238000012285 ultrasound imaging Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000002592 echocardiography Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 description 25
- 210000003484 anatomy Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 210000003754 fetus Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000001605 fetal effect Effects 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000003606 umbilical vein Anatomy 0.000 description 3
- 230000002861 ventricular Effects 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000001103 thalamus Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- QZHBYNSSDLTCRG-LREBCSMRSA-N 5-bromo-n-(4,5-dihydro-1h-imidazol-2-yl)quinoxalin-6-amine;(2r,3r)-2,3-dihydroxybutanedioic acid Chemical compound OC(=O)[C@H](O)[C@@H](O)C(O)=O.C1=CC2=NC=CN=C2C(Br)=C1NC1=NCCN1 QZHBYNSSDLTCRG-LREBCSMRSA-N 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007435 diagnostic evaluation Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002458 fetal heart Anatomy 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000001550 testis Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 210000003954 umbilical cord Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Vascular Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Description
[001] 本開示は、どの取得画像フレームが関心アイテムを含むかを決定し、少なくとも１つのニューラルネットワークを使用して決定の視覚的表現を提供するための撮像システム及び方法に関する。特定の実装形態は、超音波撮像システムを介して取得された各画像フレーム内の関心アイテムを示す表示を生成するシステムを含む。
[002] 超音波検査などの撮像検査中に、静止画像フレームとして、又はシネループと呼ばれることが多い画像フレームのシーケンスとして、多数の画像を取得できる。静止フレーム又はシネループの何百又は何千もの画像フレームを取得し、後のレビューのために記憶できる。以前の検査をレビューするとき、放射線科医などのユーザは、各記録画像フレームを個別にレビューして、測定及び／又は診断評価を行うための解剖学的構造又は病理学の許容可能な画像を見つけなければならない。超音波検査者などのユーザは、検査中に記録画像フレームをレビューして、解剖学的構造又は病理学の許容可能な画像が取得されたことを確認しなければならないことがある。いずれの状況においても、多数の画像フレームのこの手動レビューは時間がかかる。放射線科医を用いて説明した例では、時間のかかるレビューによって、処理できる患者ファイルの数が制限される。超音波検査者を用いて説明した例では、煩雑なレビュープロセスによって超音波検査者がスキャンできる患者数が制限されるだけでなく、各検査の長さが長くなり、これは患者にとって不都合である。したがって、画像フレームをレビューするのに必要な時間を短縮するための新しい技術が必要とされている。
[003] 本開示は、取得超音波画像フレームをレビューするためのシステム及び方法について説明する。より具体的には、システム及び方法は、どの画像フレームが１つ以上の関心アイテムを含むかを決定し、決定に基づいてインデックス情報を生成する。インデックス情報の視覚的表現が、ユーザインターフェースに表示される。この視覚的表現は、ユーザが所望の測定及び／又は診断を行うためにどの画像フレームをレビューするかを見つけることを可能にする。いくつかの実施形態では、システムは、１つ以上の測定を自動的に行う。
[004] 本明細書に説明されるいくつかの実施形態によれば、超音波撮像システムが、関心領域に向けて送信された超音波パルスに応答してエコー信号を取得する超音波トランスデューサと、超音波トランスデューサと通信し、超音波エコーから生成された複数の画像フレームを受信し、複数の画像フレームのうちの各画像フレームについて、画像フレーム内に標的解剖学的特徴が存在するかどうかを決定し、複数の画像フレームのうちの各画像フレームについて、所与の画像フレーム内に標的解剖学的特徴が存在することを示す信頼レベルに基づいてインデックス情報を生成する１つ以上のプロセッサとを含み得る。超音波撮像システムは、１つ以上のプロセッサと通信し、インデックス情報の視覚的表現を表示するユーザインターフェースを含み得る。
[005] 本明細書に説明されるいくつかの実施形態によれば、方法が、超音波システムに動作可能に結合されたトランスデューサによって関心領域に送信された超音波パルスに応答してエコー信号を取得するステップと、超音波エコーから複数の画像フレームを生成するステップと、複数の画像フレームの各々を処理して、画像フレーム内に標的解剖学的特徴が存在する確率である信頼レベルを決定するステップと、処理された各フレームについて、各フレームの信頼レベルに基づいてインデックス情報を生成するステップと、インデックス情報の視覚的表現を生成するステップと、ユーザインターフェースに、インデックス情報に対応する視覚的表現を表示させるステップとを含み得る。
[006] 本明細書で説明される方法のいずれか、又はそのステップは、実行可能命令を含む非一時的なコンピュータ可読媒体で具現化されてもよく、実行可能命令は、実行されると、医用撮像システムのプロセッサに、本明細書で具現化される方法又はステップを行わせ得る。
[020] 特定の実施形態の以下の説明は、本質的に単に例示的なものであり、本発明、その用途、又は使用を限定することを決して意図するものではない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成し、説明されるシステム及び方法を実施することができる特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が、ここに開示されたシステム及び方法を実施することを可能にするのに十分詳細に説明される。また、他の実施形態が利用されてもよく、構造的及び論理的な変更が本システムの精神及び範囲から逸脱することなくなされてもよいことが理解されるべきである。さらに、明確にするために、特定の特徴の詳細な説明は、本システムの説明を不明瞭にしないように、当業者に明らかである場合には論じない。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではなく、本システムの範囲は、添付の特許請求の範囲によってのみ定義される。
[021] 超音波検査中、ユーザは、超音波トランスデューサアレイを用いて、被検体の関心領域をスキャンする。スキャンは、関心領域のボリュームを通る複数の平面を取得する。これらの平面は、シネループの画像フレーム又は個々の画像フレームとして記憶される。スキャンの後、ユーザは、記憶された画像フレームをレビューして、関心アイテムの許容可能な画像を含む画像フレームを探す。関心アイテムは、解剖学的構造（例えば、胎児心臓）、解剖学的構造の部分特徴（例えば、僧帽弁）であっても、及び／又は、ユーザが１つ以上の画像フレーム内に配置することを望む解剖学的構造の特定のビュー（例えば、４チャンバビュー、左心室流出路）であってもよい。ユーザが探す解剖学的構造及び解剖学的構造の部分特徴は、標的解剖学的特徴と呼ばれ得る。関心アイテムの画像は、ユーザが所望の測定及び／又は診断を行うことを可能にする場合、許容可能であり得る。ユーザは、シネループ又は他の画像フレームとは別に、許容可能な画像フレームを保存する。場合によっては、ユーザは、許容可能な画像フレームのうちの最適な画像フレームのみを保存し得る。画像フレームは、客観的及び／又は主観的基準（例えば、解像度、フレーム内の他の関心アイテムの存在、標準ビューとのビューの一致）に基づいて最適であり得る。次いで、ユーザは、異なる関心領域のスキャンについてプロセスを繰り返して、他の関心アイテムの画像フレームを取得する。あるいは、ユーザは、許容可能な画像が見つからない場合に、同じスキャンを繰り返してもよい。超音波検査の終わりに、シネロープ及び別々に保存された画像フレームの一部又は全ては、同じ又は異なるユーザによる後のレビューのために記憶される。シネループ及び他の画像フレームは後のレビュー中に調べることができるが、後のレビューは、検査中に別々に保存された画像フレームの事前選択によって支援される。しかしながら、検査中の反復的な「スキャン及びレビュー」プロセスは、時間のかかる検査をもたらす可能性がある。
[022] 超音波技術がより広い市場に入るにつれて、新しいユーザは、従来のユーザと同じスキルレベルを有さない場合がある。これらのユーザは、スキャンを行ったり、超音波画像を解釈したりする能力が限られている場合がある。超音波検査中、これらのユーザは、１つ以上の関心領域が撮像されることを確実にするために、被検体の大きな領域をスキャンすることができる。これらのスキャンによって、多くの別個の画像フレーム、及び／又は、多くの及び／又は長いシネロープが生成される場合がある。これらのスキャンは、記憶されて、レビューのために別個のユーザに提供され得る。超音波検査は短時間で完了することができるが、別個のユーザによるレビューは、関心領域内の関心アイテムの許容可能な画像を見つけるためにレビューする画像フレームが数百も又は数千も存在する可能性があるので、長時間を要する可能性がある。
[023] 本明細書で説明する技術的解決策は、画像フレーム内の関心アイテムの存在に基づいて、画像フレームのインデックス情報を提供する。技術的解決策はまた、ユーザが関心アイテムを含む画像フレームを迅速に見つけて見ることを可能にする改善されたユーザインターフェースを提供する。ユーザは、見つけた画像フレームを記憶し、測定を行い、及び／又は見つけた画像フレームから診断を行う。技術的解決策は、関心アイテムが存在するという信頼レベル及び／又は画像フレームの品質に関連するメリットレベルに関するデータをユーザに提供する。場合によっては、技術的解決策は、許容可能な画像フレーム内の関心アイテムの解剖学的測定を自動的に行う。インデックス情報、ユーザインターフェース、及び／又は画像フレームの提供の態様は、超音波検査及び／又は検査後レビューの時間を短縮する。いくつかの実施形態では、技術的解決策は、少なくとも部分的に、深層学習アルゴリズムを採用するニューラルネットワークによって実施される。
[024] 本開示による超音波システムは、ニューラルネットワーク、例えば、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、オートエンコーダニューラルネットワークなどを利用して、関心アイテムが複数の画像フレームの各画像フレームに存在するかどうかを決定し、表示のための決定の視覚的表現を生成する。様々な例では、ニューラルネットワークは、超音波画像フレーム、測定値、及び／又は統計値の形の入力データを分析し、複数の画像フレームの各画像フレームに関心アイテムが存在するかどうかを決定するニューラルネットワーク（例えば、トレーニングされたアルゴリズム又はハードウェアベースのノードシステム）を取得し、表示のための決定の視覚的表現（例えば、インデックス情報、信頼レベル）を生成するように、様々な現在知られている又は今後開発される学習技法のいずれかを使用してトレーニングされる。
[025] 本発明の原理による超音波システムは、媒体、例えば、人体又はその特定の部分に向けて超音波パルスを送信し、超音波パルスに応答してエコー信号を生成する超音波トランスデューサを含むか、又は超音波トランスデューサに動作可能に結合される。超音波システムは、送信及び／又は受信ビームフォーミングを行うビームフォーマと、いくつかの例では、超音波撮像システムによって生成された超音波画像を表示するディスプレイとを含む。超音波撮像システムは、１つ以上のプロセッサと、ハードウェア及び／又はソフトウェア構成要素で実装され得る少なくとも１つのニューラルネットワークモデルとを含む。ニューラルネットワークは、複数の画像フレームの各画像フレームに関心アイテムが存在するかどうかを決定し、表示のための決定の視覚的表現を生成するようにトレーニングされる。
[026] 本開示に従って実装されるニューラルネットワークは、ハードウェアベース（例えば、ニューロンは物理的構成要素によって表される）であっても、ソフトウェアベース（例えば、ニューロン及び経路はソフトウェアアプリケーションにおいて実装される）であってもよく、様々なトポロジと、ニューラルネットワークをトレーニングするための学習アルゴリズムとを使用して所望の出力を生成する。例えば、命令を実行するように構成されたプロセッサ（例えば、シングル若しくはマルチコアＣＰＵ、シングルＧＰＵ若しくはＧＰＵクラスタ、又は並列処理のために構成された複数のプロセッサ）を使用して、ソフトウェアベースのニューラルネットワークを実施できる。命令は、コンピュータ可読媒体に記憶され、実行されると、プロセッサに、画像フレームに１つ以上の関心アイテムが存在するかどうかを決定するためのトレーニングされたアルゴリズムを行わせる。超音波システムは、超音波画像（２Ｄ、３Ｄ、４Ｄなど）及び／又は追加のグラフィック情報を配置するように動作可能なディスプレイ又はグラフィックプロセッサを含んでもよい。追加のグラフィック情報は、超音波システムのユーザインターフェース上に表示するためのディスプレイウィンドウ内の注釈、インデックス情報、信頼レベル、ユーザ命令、組織情報、患者情報、インジケータ、カラーコーディング、ハイライト、及び他のグラフィック構成要素を含み得る。いくつかの実施形態では、超音波画像フレーム及び関連するインデックス情報、特に、高い信頼レベルに関連する関心アイテムを生成するために使用される画像フレームは、検査後のレビュー、報告書作成目的、又は将来のトレーニング（例えば、ニューラルネットワークの性能を向上させ続けるため）のために画像保管及び通信システム（ＰＡＣＳ）などのストレージ及び／又はメモリデバイスに提供される。ディスプレイは、遠隔に置かれて、リアルタイム又は非同期で、撮像を行う超音波検査者以外のユーザによって対話することができる。
[027] 本明細書で説明されるように、超音波撮像システムは、関心領域に向けて送信された超音波パルスに応答してエコー信号を取得する超音波トランスデューサと、超音波トランスデューサと通信し、超音波エコーから生成された複数の画像フレームを受信し、複数の画像フレームの各画像フレームについて、標的解剖学的特徴が画像フレーム内に存在するかどうかを決定し、複数の画像フレームの各画像フレームについて、標的解剖学的特徴が所与の画像フレーム内に存在することを示す信頼レベルに基づくインデックス情報を生成する１つ以上のプロセッサとを含む。超音波撮像システムは、１つ以上のプロセッサと通信し、インデックス情報の視覚的表現を表示するユーザインターフェースを含んでもよい。
[028] 図１は、本開示の原理による例示的な超音波システムを示す。超音波システム１００は、超音波データ取得ユニット１１０を含む。超音波データ取得ユニット１１０は、超音波パルス１１４を、被検体の領域１１６、例えば腹部に送信し、送信されたパルスに応答して超音波エコー１１８を受信する超音波センサアレイ１１２を含む超音波プローブを含む。領域１１６は、図示されるように、発達中の胎児、又は、頭部若しくは大腿骨など発達中の胎児の部分など、１つ以上の関心アイテムを含む。例示的な例は、胎児又は胎児の解剖学的構造に言及し得るが、本開示の教示は、胎児のスキャンに限定されない。領域１１６は、関心アイテムであり得る、腎臓又は心臓などの、様々な他の解剖学的物体又はその一部を含んでもよい。さらに示されるように、超音波データ取得ユニット１１０は、ビームフォーマ１２０及び信号プロセッサ１２２を含む。これらは、アレイ１１２で受信された超音波エコー１１８から個別の超音波画像フレーム１２４のストリームを生成する。超音波画像フレーム１２４は、個別に取得された画像フレームであってもよいし、シネループ（ｃｉｎｅｌｏｏｐ）などシーケンスの一部であってもよい。画像フレーム１２４は、システム１００のローカルメモリ１２５に記憶され、検査中又は検査後のレビュー中に後でアクセスすることができる。ローカルメモリ１２５は、１つ以上のハードディスクドライブ、ソリッドステートドライブ、又は不揮発性メモリを含む任意の他のタイプの適切な記憶デバイスによって実装され得る。画像フレーム１２４に加えて、ローカルメモリ１２５は、追加の画像データ、実行可能命令、又はシステム１００の動作に必要な他の任意の情報を記憶できる。
[029] 画像フレーム１２４は、さらに又はあるいは、各画像フレーム１２４にどのような関心アイテムが存在するかを決定するデータプロセッサ１２６、例えば、計算モジュール又は回路に通信され得る。データプロセッサ１２６は、いくつかの用途では、例えば検査後のレビュー中に、ローカルメモリ１２５から画像フレーム１２４を受信する。いくつかの例では、データプロセッサ１２６は、関心アイテムが画像フレームに存在するかどうかを決定するために、及び／又は関心アイテムを含むどの画像フレームが最適な画像フレームであるかを決定するためにトレーニングされ得る、ニューラルネットワーク１２８などの少なくとも１つのニューラルネットワークを実装することによって、関心アイテムが画像フレームに存在するかどうかを決定する。データプロセッサ１２６はまた、いくつかの実施形態では、データプロセッサ１２６の機能性を増大させるために、画質ネットワーク１４４及び／又は画像測定ネットワーク１４８を実装してもよい。いくつかの実施形態では、画質ネットワーク１４４は、関心アイテムを含むどの画像フレームが最適な画像フレームであるかを決定するようにトレーニングされる。いくつかの実施形態では、画像測定ネットワーク１４８は、画像フレーム内の１つ以上の関心アイテムの１つ以上の測定値を取得するようにトレーニングされる。
[030] いくつかの実施形態では、ネットワーク１２８、１４４、及び／又は１４８は静的学習ネットワークである。すなわち、ネットワークは、システム１００又は別のシステム上で十分にトレーニングされ、十分にトレーニングされたネットワーク１２８、１４４、及び／又は１４８を実装するための実行可能命令が、データプロセッサ１２６に提供される。いくつかの実施形態では、ネットワーク１２８、１４４、及び／又は１４８は、動的な連続学習ネットワークである。このような実施形態では、ネットワーク１２８、１４４、及び／又は１４８を実装するための実行可能命令は、各超音波検査の結果に基づいて修正される。様々な例では、データプロセッサ１２６はまた、実行可能命令、トレーニングデータ、及び新たに取得された患者固有データを含む様々なデータタイプを記憶するデータベース１２７に、通信可能に又は別の方法で結合される。いくつかの例では、図１に示されるように、データベース１２７はローカルメモリ１２５上に記憶されてもよいが、データベース１２７は、システム１００上の別個の記憶位置に実装されてもよい。
[031] 超音波データ取得ユニット１１０は、胎児、他の解剖学的構造、又はそれらの特徴を含む１つ以上の関心領域１１６から超音波データを取得する。超音波センサアレイ１１２は、超音波エネルギーを送受信する少なくとも１つのトランスデューサアレイを含む。超音波センサアレイ１１２の設定は、特定のスキャンを行うためにプリセットされ、実施形態では、特定のスキャン中に調整されてもよい。様々なトランスデューサアレイ、例えば、線形アレイ、凸形アレイ、又はフェーズドアレイを使用できる。センサアレイ１１２に含まれるトランスデューサ素子の数及び配置は、異なる例で変化してもよい。例えば、超音波センサアレイ１１２は、それぞれ線形アレイプローブ及びマトリクスアレイプローブに対応する、トランスデューサ素子の１Ｄ又は２Ｄアレイを含む。２Ｄマトリクスアレイは、２Ｄ又は３Ｄ撮像のために、（フェーズドアレイビームフォーミングを介して）立面寸法及び方位寸法の両方で電子的にスキャンしてもよい。Ｂモード撮像に加えて、本明細書の開示に従って実施される撮像モダリティは、例えば、せん断波及び／又はドップラーを含んでもよい。様々なユーザが、本明細書で説明される方法を行うために、超音波データ取得ユニット１１０を取り扱い、操作することができる。いくつかの例では、ユーザは、所与のスキャンで必要とされる関心領域内の各関心アイテムを正確に識別することができない、経験の浅い初心者の超音波オペレータであり得る。場合によっては、データ取得ユニット１１０は、ロボット（位置決め、設定など）によって制御され、人間のオペレータデータを置き換えて、本明細書に説明される方法を行うことができる。例えば、データ取得ユニット１１０は、データプロセッサ１２６によって得られた所見を利用して、１つ以上の画像平面及び／又はそれから得られる解剖学的測定値を精緻化する。このような例によれば、データ取得ユニット１１０は、データプロセッサから受信されたフィードバックに応答して、トランスデューサ、信号プロセッサ、又はビームフォーマの１つ以上のパラメータを調整することによって、自動化された形で動作し得る。
[032] データ取得ユニット１１０はまた、ビームフォーマ１２０を含み得る。ビームフォーマ１２０は、例えば、マイクロビームフォーマ又はマイクロビームフォーマとメインビームフォーマとの組み合わせを含み、超音波センサアレイ１１２に結合される。ビームフォーマ１２０は、例えば、超音波パルスを集束ビームに形成することによって、超音波エネルギーの伝送を制御する。また、ビームフォーマ１２０は、他のシステム構成要素の支援を借りて、識別可能な画像データが生成及び処理されるように、超音波信号の受信を制御し得る。ビームフォーマ１２０の役割は、異なる超音波プローブの種類で変化し得る。いくつかの実施形態では、ビームフォーマ１２０は、２つの別個のビームフォーマ、すなわち、被検体への送信のための超音波エネルギーのパルスシーケンスを受信して処理する送信ビームフォーマと、受信した超音波エコー信号を増幅し、遅延し、及び／又は合計する別個の受信ビームフォーマとを含んでもよい。いくつかの実施形態では、ビームフォーマ１２０は、送信ビームフォーミング及び受信ビームフォーミングの両方のために入力及び出力のグループに作用するメインビームフォーマに結合された、送信ビームフォーミング及び受信ビームフォーミングの両方のためにセンサ素子のグループに作用するマイクロビームフォーマを含んでもよい。
[033] 信号プロセッサ１２２は、センサアレイ１１２及び／又はビームフォーマ１２０と通信可能に、動作可能に及び／又は物理的に結合される。図１に示される例では信号プロセッサ１２２は、データ取得ユニット１１０の一体構成要素として含まれているが、他の例では、信号プロセッサ１２２は別個の構成要素であってもよい。いくつかの例では、信号プロセッサは、センサアレイ１１２と一緒に収容されていても、又は、センサアレイ１１２から物理的に分離されているが、通信可能に（例えば、有線又は無線接続を介して）結合されていてもよい。信号プロセッサ１２２は、センサアレイ１１２で受信された超音波エコー１１８を具現化するフィルタリングされていない、整理されていない超音波データを受信する。信号プロセッサ１２２は、このデータから、ユーザが関心領域１１６をスキャンする際に、複数の超音波画像フレーム１２４を連続的に生成する。
[034] 特定の実施形態では、ニューラルネットワーク１２８は、ラベル付けされた撮像データのトレーニングセットを使用してトレーニングされて、複数の超音波画像フレーム１２４のうちの所与の新しい（未知の）フレームに１つ以上の関心アイテムが見つけられるかどうかを決定し、どのような関心アイテムが存在するかに基づいて、その所与の画像フレームにインデックス付けする深層学習ネットワークを含む。所与のフレーム内にどのような関心アイテムがあるかに関する情報を、インデックス情報と呼ぶ。つまり、ニューラルネットワーク１２８は、１つ以上の所定の関心アイテムを識別するようにトレーニングされ、新たに取得された画像フレームについて、ニューラルネットワーク１２８は、関心アイテムが画像フレーム内にある信頼レベル（例えば、確率）を決定する。複数の関心アイテムについての信頼レベルを、複数の超音波画像フレーム１２４のうちの１つのフレームに関連付けることができる。いくつかの実施形態では、ニューラルネットワーク１２８は、インデックス情報として記憶され、ポインタによって適切な画像フレームに関連付けられ得る、各関心アイテムの確率（例えば、信頼レベル）を含むベクトルを出力する。各画像フレーム内に存在する関心アイテムの視覚的表現が、表示プロセッサ１５８によって生成され、ユーザインターフェース１６０を介してユーザに提示され得る。すなわち、各関心アイテムに関連する基礎となる確率は、インデックス情報の視覚的表現には表示されなくてもよい。いくつかの実施形態では、閾値を上回る信頼レベルに関連するインデックス情報のみがユーザに表示される。さらに又はあるいは、各画像フレームに関連する基礎となる信頼レベルの視覚的表現が、表示プロセッサ１５８によって生成され、ユーザインターフェース１６０を介してユーザに提示され得る。いくつかの実施形態では、閾値を上回る信頼レベルのみがユーザに表示される。各フレームに関連する関心アイテムの視覚的表現は、複数の超音波画像フレーム１２４の各画像フレームにどのような関心アイテムが存在するかに関する視覚的概観をユーザに提供する。これにより、ユーザは、どのフレームをレビューして関心アイテムを見るかをより迅速に決定できる。
[035] 特定の実施形態では、画質ネットワーク１４４は、ラベル付けされた撮像データのトレーニングセットを使用してトレーニングされて、関心アイテムが存在するとニューラルネットワーク１２８により決定された複数の超音波画像フレーム１２４の各々に対するメリットレベルを生成する深層学習ネットワークを含む。複数の関心アイテムについてのメリットレベルが、複数の超音波画像フレーム１２４のうちの１つのフレームに関連付けられる。いくつかの実施形態では、所与の関心アイテムについての各フレームに関連付けられたメリットレベルの視覚的表現が、表示プロセッサ１５８によって生成され、ユーザインターフェース１６０を介してユーザに提示され得る。各フレームに関連するメリットレベルの視覚的表現は、関心アイテムが存在する複数の超音波画像フレームからのどの画像フレームが、測定又は診断目的に最も適切である可能性が高いか、例えば、超音波検査プロトコルによって定義される標準ビューであるかに関する視覚的概観をユーザに提供する。いくつかの実施形態では、画質ネットワーク１４４によって生成されたメリットレベルを使用して、ユーザインターフェース１６０を介して、ある関心アイテムについて最高のメリットレベルを有する１つ以上の画像フレームをユーザに自動的に提示する。いくつかの実施形態では、閾値を上回るメリットレベルを有する画像フレームのみがユーザに表示される。いくつかの実施形態では、画質ネットワーク１４４は省略されてもよい。
[036] 特定の実施形態では、画像測定ネットワーク１４８は、ラベル付けされた撮像データのトレーニングセットを用いてトレーニングされて、複数の超音波画像フレーム１２４のうちの所与のフレームに存在する１つ以上の関心アイテムについて１つ以上の測定値値を生成する深層学習ネットワークを含む。いくつかの実施形態では、所与のフレームは、ユーザインターフェース１６０を介してユーザによって選択される。他の実施形態では、所与のフレームは、画質ネットワーク１４４によって決定されたメリットレベルに基づいて決定される。画像測定ネットワーク１４８によって生成された１つ以上の測定値は、ユーザインターフェース１６０を介してユーザに視覚的に提示され得る。いくつかの実施形態では、画像測定ネットワーク１４８は省略されてもよい。
[037] ニューラルネットワーク１２８、画質ネットワーク１４４、及び／又は画像測定ネットワーク１４８の出力は、ローカルメモリ１２５に提供され得る。出力には、インデックス情報、信頼レベル、メリットレベル、及び測定値が含まれるが、これらに限定されない。
[038] 図２は、システム１００の追加の構成要素を示す。上述のように、１つ以上の取得された超音波画像フレーム、インデックス情報、信頼レベル、メリットレベル、及び／又は測定値の視覚的表現は、システム１００の１つ以上の構成要素を介してユーザに表示される。図２に示されるように、このような構成要素には、データプロセッサ１２６と通信可能に結合された表示プロセッサ１５８が含まれる。表示プロセッサ１５８はさらに、ユーザインターフェース１６０と結合され、それにより、表示プロセッサ１５８はデータプロセッサ１２６（したがって、その上で動作する１つ以上のニューラルネットワーク）をユーザインターフェース１６０にリンクし、ニューラルネットワークの出力、例えば、信頼レベルの視覚的表現を、ユーザインターフェース１６０のディスプレイ１６４上に表示することができる。ディスプレイ１６４には、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、又はプラズマディスプレイ技術などの、種々の既知のディスプレイ技術を用いて実装されるディスプレイデバイスが含まれ得る。実施形態では、表示プロセッサ１５８は、データプロセッサ１２６及び／又はローカルメモリ１２５で受信された画像フレーム１２４から超音波画像１６２を生成できる。いくつかの例では、ユーザインターフェース１６０は、超音波スキャンが行われているときに、超音波画像１６２を、画像上に重ね合わされても及び／又は別々に表示されてもよい１つ以上の視覚的表現１４０とともにリアルタイムで表示できる。視覚的表現１４０には、インデックス情報、信頼レベル、メリットレベル、及び／又は測定値が、注釈、カラーマッピング、パーセンテージ、及び／又はバーの形態で含まれ得る。さらに、いくつかの実施形態では、特定の検査に必要とされるすべての関心アイテム（例えば、心エコー図における心臓のすべての標準ビュー）の視覚的指示を提供できる。いくつかの実施形態では、ユーザディスプレイ１６４は、複数のディスプレイを含む。いくつかの例では、超音波画像１６２が、第１のディスプレイ１６４に表示され、視覚的表現１４０が、第２のディスプレイ１６４上に同時に表示される。
[039] ユーザインターフェース１６０はまた、超音波スキャンの前、最中、又は後の任意の時間に、ユーザ制御部１６８を介してユーザ入力１６６を受信する。例えば、ユーザインターフェース１６０は、対話型で、関心アイテム、又は、表示する複数の超音波画像フレーム１２４のうちの特定の１つ以上のフレームを示すユーザ入力１６６を受信する。いくつかの例では、入力１６６は、信頼レベル又はメリットレベルの閾値を上げる若しくは下げる、又は、１つ以上の画像取得設定を調整する命令を含む。いくつかの例では、入力１６６は、ユーザがニューラルネットワーク１２８によって画像フレーム１２４の各画像フレーム内に見つけられることを望む関心アイテムに関する指示を含む。いくつかの実施形態では、ユーザ制御部１６８は、１つ以上のハード制御部（例えば、ボタン、ノブ、ダイヤル、エンコーダ、マウス、トラックボールなど）を含む。いくつかの実施形態では、ユーザ制御部１６８は、タッチセンシティブディスプレイ上に提供されるソフト制御部（例えば、ＧＵＩ制御要素、又は単にＧＵＩ制御部）を追加的に又は代替的に含む。いくつかの実施形態では、ディスプレイ１６４は、ユーザ制御部１６８の１つ以上のソフト制御部を含むタッチセンシティブディスプレイとすることができる。
[040] 図２に示される構成要素の構成は、図１と共に、変化し得る。例えば、システム１００は、携帯型であっても固定型であってもよい。様々な携帯型デバイス、例えばラップトップ、タブレット、スマートフォン、リモートディスプレイ及びインターフェースなどを使用して、システム１００の１つ以上の機能を実装できる。データ処理の一部又は全部を（例えば、クラウド内で）遠隔的に行ってもよい。このようなデバイスを組み込む例では、超音波センサアレイ１１２は、例えば、ＵＳＢインターフェースを介して接続可能である。いくつかの例では、図１及び図２に示される様々な構成要素が組み合わされる。例えば、ニューラルネットワーク１２８は、画質ネットワーク１４４及び／又は画像測定ネットワーク１４８とマージされる。このような実施形態によれば、ニューラルネットワーク１２８によって生成された出力は、依然としてネットワーク１４４及び／又は１４８に入力されるが、この３つのネットワークは、例えば、より大きい層状ネットワークの下位構成要素を構成し得る。
[041] データプロセッサ１２６によって提供される視覚的表現１４０は、取得された画像フレームをレビューするための改善されたユーザインターフェースを提供する。改善されたユーザインターフェースにより、ユーザは、どのフレームが関心アイテムを含むかを見ることができ、多数の画像フレームのレビューを視覚的表現１４０によって示されるものに低減することができる。これは、システムの機能性を増大させ、ユーザによるレビュー時間を短縮できる。いくつかの実施形態では、ユーザインターフェース１６０は、ユーザが視覚的表現１４０を介してシステム１００と対話できるようにする。
[042] 図３は、本開示の実施形態によるインデックス情報の例示的な視覚的表現３００を示す。視覚的表現３００は、ニューラルネットワーク１２８からの出力に少なくとも部分的に基づいて、表示プロセッサ１５８によって生成される。視覚的表現３００は、図２に示されるディスプレイ１６４などのディスプレイ上に提供されてよい。例示的な視覚的表現３００は、論理的なやり方で、例えば、複数の画像の時間次元を表す軸に沿って、又は、他の何らかの配置で配置された分析されたフレームの各々についてのインデックス情報を表す単一のグラフィックを含み得る。図３の例では、横軸が、一連の個々のフレームにおける及び／又はシーケンス（例えば、シネループ）に含まれる画像フレームを表す。横軸は、画像フレーム番号、画像フレームのファイル名、及び／又はフレームの取得時刻（図示せず）でラベル付けされてもよい。各フレームについて、マーカー３０２は、１つ以上の関心アイテムが画像フレーム内に存在することを示す。したがって、例示的な視覚的表現は、各フレームに関連付けられたインデックス情報を表す複数のマーカーを含み得る。関心アイテムが存在しないフレームについては、マーカー３０２は存在しない。関心アイテムが存在するかどうかは、関心アイテムに関連付けられた、関連付けられた信頼レベルが閾値（例えば、９０％、８０％、７０％、５０％）を上回ったかどうかに基づいている。閾値は、システム（例えば、システム１００）において予め設定されていても、又は、ユーザ入力（例えば、入力１６６）によって示されてもよい。視覚的表現３００はさらに、どのマーカーがどの関心アイテムに対応するかを示す凡例３０４を含む。図３に示される例では、３つの異なる関心アイテムが示されているが、任意の数の関心アイテムにインデックスを付けることができることを理解されたい。さらに、図３では、マーカー３０２はボックスとして示されているが、他のマーカタイプ（例えば、バー、星、円、十字）を使用することもできる。異なる関心アイテムに対するマーカーは、色、形状、サイズ、及び／又は他の視覚的特性によって区別される。マーカー３０２によって、ユーザは、どの画像フレームが特定の関心アイテムを含むかを迅速に見ることができる。
[043] 図３に示されるインデックス情報の例示的な視覚的表現３００によって、ユーザは、どの画像フレームがどの関心アイテムを含むかを迅速に見ることができるが、いくつかの用途では、ユーザは、インデックス情報を生成するために使用された基礎となっている信頼レベルを見ることを望む場合がある。図４は、本開示の実施形態による信頼レベルの例示的な視覚的表現４００を示す。視覚的表現４００は、ニューラルネットワーク１２８からの出力に少なくとも部分的に基づいて、表示プロセッサ１５８によって生成される。視覚的表現４００は、図２に示されるディスプレイ１６４などのディスプレイ上に提供されてよい。例示的な視覚的表現４００は、論理的なやり方で配置された分析されたフレームの各々についての信頼レベルを表す単一のグラフィックを含み得る。例えば、信頼レベルは、信頼レベルの大きさを表す第１の軸に対してプロットされ、フレームは、複数の画像の時間次元を表す第２の軸に沿って、又は他の何らかの配置で配置される。図３におけるように、横軸は、一連の個々のフレームにおける及び／又はシーケンス（例えば、シネループ）に含まれる画像フレームを表す。横軸は、画像フレーム番号、画像フレームのファイル名、及び／又はフレームの取得時刻（図示せず）でラベル付けされてもよい。縦軸は、所与の関心アイテムが画像フレーム内に存在する信頼レベル（例えば、０～１００％の確率）を表す。各フレームについて、１つ以上のマーカー４０２は、１つ以上の関心アイテムがフレーム内に存在する信頼レベルを示す。マーカー４０２の視覚的特性は、信頼レベルに基づいて変化し得る。図４の例において示されるように、マーカー４０２は、各フレームについて、信頼レベルに対応する高さ（例えば、視覚的特性）を有するバーの形態である。マーカー４０２の視覚的特性又は追加の視覚的特性は、信頼レベルに関連する関心アイテムに基づいて変化し得る。図示の例では、２つ以上の関心アイテムがフレーム内に存在する場合、異なる関心アイテムに関連付けられた異なる陰影のバーが互いに重ね合わされる。他のマーカータイプ及び／又は視覚的特性を使用して、信頼レベル及び／又は関心アイテムを表すこともできる。例えば、マーカー４０２は、信頼レベルを表す異なる色を有する正方形であってもよく、正方形上のオーバーレイパターン（例えば、ストライプ、ドット、クロスハッチ）が関心アイテムを示すことができる。関心アイテムが存在するという信頼がないフレームは、マーカーを有さない。いくつかの実施形態では、特定の閾値（例えば、９０％、８０％、７０％、５０％）を下回る信頼レベルは示されない。閾値は、システム（例えば、システム１００）において予め設定されていても、又は、ユーザ入力（例えば、入力１６６）を介してユーザによって示されてもよい。視覚的表現４００はさらに、どのマーカーがどの関心アイテムに対応するかを示す凡例４０４を含む。マーカー４０２によって、ユーザは、どの画像フレームが特定の関心アイテムを含む可能性が最も高いかを迅速に見ることができる。
[044] ユーザは、ユーザインターフェース（例えば、ユーザインターフェース１６０）を介して、インデックス情報、信頼レベル、メリットレベル、及び／又は測定値の視覚的表現と対話できる。ユーザは、ユーザ制御部（例えば、ユーザ制御部１６８）を介して入力（例えば、ユーザ入力１６６）を提供できる。例えば、ユーザインターフェースは、マーカー、軸上にラベル付けされた画像フレーム番号、及び／又は凡例内のアイテムを選択することによって、視覚的表現から関心アイテム、画像フレーム、及び／又は他の出力の視覚的表現を選択するために使用されるセレクタを含む。いくつかの実施形態では、セレクタは、表示プロセッサ（例えば、表示プロセッサ１５８）によって生成され、ディスプレイ（例えば、ディスプレイ１６４）上に提供される。ユーザは、ユーザ制御部（例えば、トラックボール、マウス、タッチスクリーン）を介してセレクタを制御できる。いくつかの実施形態では、画像フレーム及び／又は他の視覚的表現は、ユーザの入力に基づいてディスプレイ上に自動的に提供される。例えば、ユーザが関心アイテムを選択して、システムが、その関心アイテムに対してメリットレベルが最も高い画像フレームを自動的に表示する。セレクタなどを用いた視覚的表現との対話により、ユーザは、所望の画像フレームを迅速に見つけて視覚化でき、したがって、レビュー時間を短縮できる。
[045] 図５は、ユーザが、信頼レベルの視覚的表現５００などの視覚的表現とどのように対話できるかの例を示す。視覚的表現５００は、ニューラルネットワーク１２８からの出力に少なくとも部分的に基づいて、表示プロセッサ１５８によって生成される。視覚的表現５００は、図２に示されるディスプレイ１６４などのディスプレイ上に提供されてよい。視覚的表現５００は、信頼レベルの視覚的表現４００と同様である。視覚的表現５００は、横軸及び縦軸を含む。横軸は、画像フレーム番号５０１がラベル付けされている。画像フレーム番号５０１は、シネループ又は画像フレームのファイル内のフレーム番号を示す。縦軸は、信頼レベルでラベル付けされている。１つ以上の関心アイテムが存在する各画像フレームについて、信頼レベルを示す高さを有するバーの形態の１つ以上のマーカー５０２が表示されている。各関心アイテムについて異なる色のバーが提供される。視覚的表現５００はさらに、どの色がどの関心アイテムに関連付けられているかを示す凡例５０４を含む。図５に示す例では、関心アイテムは、胎児の様々な解剖学的特徴（例えば、臍帯、胃、脊椎）である。
[046] 図５に示されるように、ユーザは、図２に示されるユーザ制御部１６８などのユーザ制御部を介して入力（例えば、ユーザ入力１６６）を提供することによって、視覚的表現５００と対話する。ユーザは、ユーザ制御部（例えば、トラックボール、マウス、矢印キー、タッチスクリーン）を介してセレクタ５０６の位置を制御する。セレクタ５０６は、特定のフレームに関連付けられたマーカー５０２の上に配置される。入力（例えば、セレクタ５０６の配置）に応答して、ユーザインターフェースは、ディスプレイ上に対応する画像フレーム５０８を提供する。図５の例に示されるように、セレクタ５０６は、胎児の頭部が存在すると決定されたフレームに関連付けられたマーカー５０２上に配置される。ユーザによる入力は、データプロセッサ１２６に提供されて、画像フレーム１２４からの対応する画像フレーム５０８が、視覚的表現５００の上方に画像フレーム５０８を表示する表示プロセッサ１５８に、データプロセッサ１２６によって提供される。あるいは、表示プロセッサ１５８は、データプロセッサ１２６からの支援なしに、ユーザ入力に基づいて、表示のために画像フレーム５０８を取得してもよい。ユーザインターフェース１６０はさらに、セレクタ５０６が横軸に沿ってフレーム番号５０１上に配置される場合に、同じ出力を提供してもよい。画像フレームが表示されると、ユーザは、選択された画像フレームをメモリ（例えば、ローカルメモリ１２５）に保存すること、選択された画像フレームについて測定を行うこと、及び異なるフレームを見るためにセレクタ５０６を動かすことを含むが、これらに限定されない１つ以上の追加の入力を提供できる。いくつかの実施形態では、ユーザは、複数の画像フレームを同時に見ることを選択する。図５に示される例では、矢印として示されているが、セレクタ５０６は、別の適切なインジケータ（例えば、十字線、三角形）として表示されてもよい。いくつかの実施形態では、セレクタ５０６は表示されない。例えば、視覚的表現５００はタッチスクリーン上に表示されて、ユーザのタッチがセレクタの位置を示す。
[047] 視覚的表現と対話するユーザからの入力に基づいて画像フレームを表示するユーザインターフェースによって、ユーザは、所望の関心アイテムが存在する画像フレームを迅速に見つけることができる。これは、ユーザが視覚的表現を見てから、ファイルフォルダ内の画像フレームを手動で探索したり、シネループ内の画像フレームをスクロールしたりした場合に比べて、面倒ではない。
[048] 図５に示される例は、一緒に表示される画像フレーム５０８及び視覚的表現５００を示すが、画像フレーム５０８及び視覚的表現５００は、異なるディスプレイ上に提供されてもよい。例えば、視覚的表現５００は撮像システムのタッチスクリーン上に提供され、画像フレーム５０８はシステムのメインビューイング画面上に提供される。
[049] 図６Ａ及び図６Ｂは、ユーザが、信頼レベルの視覚的表現６００Ａ及び６００Ｂなどの視覚的表現とどのように対話できるかの別の例を示す。図６Ａに示されるように、ユーザは、セレクタ６０６を使用して、凡例６０４から関心アイテムを選択する。次いで、ユーザには、図６Ｂに示される視覚的表現６００Ｂが提供される。視覚的表現６００Ｂは、アイテム２の異なるサブ特徴６０５の存在についての信頼レベルを表示する。図６Ｂに示される例では、サブ特徴６０５はアイテム２の異なるビューである。異なるビューは、特定のタイプの超音波検査に関連する標準ビュー（例えば、心臓の４チャンバビュー）、又はより大きな構造（例えば、脊椎の特定の椎骨）の解剖学的特徴に関連する標準ビューであってよい。図５に示される例と同様に、ユーザは、視覚的表現６００Ｂから見るための画像フレームを選択する。
[050] ユーザが視覚的表現６００Ａから関心アイテムを選択した後、ユーザには、図７に示される例に示されるような視覚的表現７００が提供される。視覚的表現７００は、視覚的表現６００Ｂの代わりに、又はそれに加えて提供されてよい。信頼レベルの視覚的表現６００Ｂとは対照的に、縦軸は、画像フレームに存在する関心アイテム、又はフレームに存在する関心アイテムのサブ特徴のメリットレベルを表す。以下でより詳細に説明するように、メリットレベルは、画質（例えば、解像度、標準ビューとの一致）の尺度である。視覚的表現７００は、画質ネットワーク１４４からの出力に少なくとも部分的に基づいて、表示プロセッサ１５８によって生成される。適切なフレーム（例えば、サブ特徴が存在する場合）について、マーカー７０２は、１つ以上の関心アイテム又はそのサブ特徴のメリットレベルを示す。図７に示される例では、凡例７０４によって示されるように、マーカー７０２は、適切なフレームについて、アイテム２の２つの異なるビューのメリットレベルに対応する高さを有するバーの形態である。いくつかの実施形態では、特定の閾値（例えば、９０％、８０％、７０％、５０％）を下回るメリットレベルは示されない。閾値は、システム（例えば、システム１００）において予め設定されていても、又は、ユーザ入力（例えば、入力１６６）を介してユーザによって示されてもよい。図５に示される例と同様に、ユーザは、視覚的表現７００から見るための画像フレームを選択する。あるいは、データプロセッサ１２６が、表示のために、各ビューの最高のメリットレベルに関連する画像フレーム７０８及び７１０を自動的に提供してもよい。図７に示される例では、ビュー１及びビュー２は、２つの標準的な心臓ビュー、すなわち、心臓の４チャンバビュー（画像フレーム７０８）及び左心室流出路（画像フレーム７１０）に対応する。
[051] いくつかの実施形態では、ユーザが視覚的表現６００Ａから関心アイテムを選択すると、データプロセッサ１２６は、各ビューについてメリットレベルの視覚的表現を提供するのではなく、表示のために各ビューについてメリットレベルが最も高い画像フレームを提供する。例えば、画像フレーム７０８及び７１０は、対応するメリットレベルの視覚的表現なしで提供されてもよい。画質ネットワーク１４４が省略されるいくつかの実施形態では、ユーザがインデックス情報及び／又は信頼レベルの視覚的表現から関心アイテムを選択すると、データプロセッサ１２６は、信頼レベルが最も高い１つ以上の画像フレームを提供してもよい。
[052] 上述したように、画像フレームが表示されると、ユーザは表示された画像（例えば、図７に示される画像フレーム７０８及び／又は７１０）に対して測定を行う。いくつかの実施形態では、データプロセッサ１２６は、画像フレーム内の１つ以上の関心アイテムの測定値を自動的に取得する。例えば、図８に示されるように、画像測定ネットワーク１４８は、画像フレーム８００から胎児頭蓋骨の両頭頂径８０２を取得する。測定値（例えば、直径８０２）は、画像フレーム８００の注釈としてローカルメモリ１２５に記憶され得る。画像フレーム８００は、メリットレベル、すなわち、画質ネットワーク１４４の出力に基づいて選択される。例えば、両頭頂径を得るために、頭蓋骨の適切なビューについてメリットレベルが最も高い画像フレームである。いくつかの実施形態では、ユーザが、どの画像フレームが画像測定ネットワーク１４８によって使用されるかを決定できる。画像フレーム８００は、測定値の取得中にディスプレイ上に示されても示されなくてもよい。
[053] 図５～図８を参照してシステム１００によって生成された視覚的表現とのユーザ対話は例として提供されているが、本開示の原理は、多くの他の対話が可能であるので、本明細書で提供されている例に限定されない。例えば、ユーザが関心アイテムを選択すると、システムは、ニューラルネットワーク１２８の出力に基づいて、関心アイテムが存在する画像フレームのみからなるシネロープを生成する。さらなる例として、ユーザが関心アイテムを選択すると、ニューラルネットワーク１２８及び／又は画質ネットワーク１４４の出力に基づいて、各期間（例えば、１秒、１０秒、３０秒、１分）について、メリットレベル及び／又は信頼レベルが最も高い画像フレームが表示される。
[054] 本明細書で説明される視覚的表現は、リアルタイムで動的に生成され、表示され得る。つまり、インデックス付け情報、信頼レベル、メリットレベル、及び／又は測定値はリアルタイムで決定され、これらの決定の視覚的表現は、画像取得中にユーザに提供され得る。図９に示される例に示されるように、画像フレーム９０８Ａを含むスキャンについての初期視覚的表現９００Ａが表示される。画像フレーム９０８Ｂなどの追加の画像フレームが超音波検査中に取得されると、視覚的表現９００Ａは、視覚的表現９００Ｂに示されるように更新され、取得されたときの各画像フレームの信頼レベルを示すマーカー９０２を含む。追加の関心アイテムも、見つけられたときに凡例９０４に追加される。
[055] インデックス情報、信頼レベル、及び／又はメリットレベルの視覚的表現を動的に更新することによって、超音波検査を行っているユーザは、どの関心アイテムが取得されたかを見ることができる。信頼レベル及び／又はメリットレベルを提供するユーザインターフェースによって、ユーザは、関心アイテムの適切な画像又は当該アイテムのビューが取得されたことを確認できる。これは、特に、ユーザが熟練度の低い超音波ユーザである場合に有益である。
[056] いくつかの実施形態では、視覚的表現の凡例が、取得を開始する前に検査中に撮像される必要があるすべての関心アイテムのリストを既に含む。リストはあるタイプの検査に必要な標準ビューに基づいていてもよいし、リストは、ユーザインターフェースを介して提供されたユーザ入力に基づいていてもよい。視覚的表現は、必要とされる各関心アイテムが取得されると、指示（例えば、チェックマーク、ハイライト）を提供し得る。いくつかの実施形態では、この指示は、閾値を上回る信頼レベル及び／又はメリットレベルを有する関心アイテムの画像が取得されない限り、提供されない。閾値は、システムにおいてあらかじめ設定されていても、ユーザによって決定されてもよい。
[057] 上記の例では、関心アイテムは、解剖学的構造又はその部分などの静的特徴を含むが、関心アイテムは、動的特徴、例えば、心臓弁からの流れのジェット、又は心室性期外収縮を含んでもよい。いくつかの動的特徴（例えば、ＱＲＳ群）では、インデックス情報は、複数の画像フレームをシーケンスにリンクして、どの画像フレームが関心の動的特徴を含むかを示す。他の動的特徴（例えば、ピークフロー）では、インデックス情報は、単一の画像フレームに関連付けられ得る。
[058] 前述のように、図３～図９を参照して説明された視覚的表現は、１つ以上のニューラルネットワークを含み得るデータプロセッサ１２６によって生成される。いくつかの実施形態では、システム１００は、ＣＮＮを含み得るニューラルネットワーク１２８を実装して、所与の画像フレームに存在する関心アイテムを決定する。所与の画像フレーム内の関心アイテムは、インデックス情報として提供される。図１を参照して前述したように、ニューラルネットワーク１２８は、インデックス情報を、所与の画像フレーム内に１つ以上の関心アイテムが存在する確率が閾値を上回るという決定に基づいて出す。ニューラルネットワーク１２８は、確率（例えば、インデックス情報）に基づいて存在すると決定された関心アイテムのみを返すか、又は、ニューラルネットワーク１２８は、関連する確率（例えば、信頼レベル）をさらに返すことができる。ニューラルネットワーク１２８は、各関心アイテムについての別個の信頼レベルを、ベクトルなどのデータ構造として返すことができる。いくつかの実施形態では、ポインタが、各ベクトルを適切な画像フレームにリンクする。インデックス情報及び／又は信頼レベルは、画像フレーム１２４に含まれる画像データなど、ニューラルネットワーク１２８に提供される画像データに基づいて生成され得る。ニューラルネットワーク１２８は、１つ以上の関心アイテムが存在するとラベル付けされた画像フレームなどの撮像データを用いてトレーニングされ得る。ニューラルネットワーク１２８は、標準的な超音波検査に関連する標的解剖学的特徴（例えば、心エコー検査のための心臓の異なる標準ビュー）を認識するようにトレーニングされてもよいし、ユーザが、１つ以上のカスタム標的解剖学的特徴（例えば、埋め込まれたデバイス、肝臓腫瘍）を見つけるようにニューラルネットワーク１２８をトレーニングしてもよい。
[059] いくつかの実施形態では、システム１００は、ニューラルネットワークを実装して、関心アイテムが存在する画像フレームの品質を決定する。品質のレベルは、メリットレベルとして提供される。メリットレベルは、ニューラルネットワーク１２８からの出力に少なくとも部分的に基づいている。具体的には、ＣＮＮを含み得る画質ネットワーク１４４は、特定の測定値及び／又は標準ビューを得るために必要な解剖学的ランドマークを所与の超音波画像が含むかどうかを決定するようにトレーニングされる。いくつかの例では、これらのランドマークは、他の関心アイテム及び／又は関心アイテムのサブ特徴であってよい。例えば、超音波プローブで経視床ビューが得られない場合、両頭頂径及び頭囲の測定を誤る可能性がある。経視床ビューでは、視床と透明中隔腔の両方が可視である必要がある。同様に、胃、臍静脈、及び腹部両側の２本の肋骨が見えない場合、腹囲の測定を誤る可能性がある。したがって、両頭頂径及び頭囲の測定が求められるときは、画質ネットワーク１４４は、頭部を含むようにニューラルネットワーク１２８によって示される画像フレーム内に視床及び透明中隔腔が含まれるかどうかを決定できる。同様に、腹囲が求められるときは、画質ネットワーク１４４は、胃、臍静脈、及び／又は肋骨を含むようにニューラルネットワーク１２８によって示される画像フレーム内に胃、臍静脈、及び腹部の両側の２本の肋骨が含まれているかどうかを決定できる。ニューラルネットワーク１２８の出力に基づいて、標準ビュー及び／又は測定値に必要な１つ以上のランドマークの存在を確認することによって、画質ネットワーク１４４は、指定された解剖学的測定値及び／又は標準ビューのための正しい撮像面が画像フレームに含まれている確率に基づいて、メリットレベルを生成できる。確率は、少なくとも部分的に、ニューラルネットワーク１２８によって生成されたランドマーク（例えば、関心アイテム、サブ特徴）の各々についての信頼レベルに基づき得る。
[060] いくつかの実施形態では、画質ネットワーク１４４は、所与の超音波画像の品質が、高いか、低いか、又は中程度であるかどうかを決定するようにトレーニングされ得る。画質ネットワーク１４４が受信する入力には、超音波画像や、周波数、利得などの画像設定が含まれる。入力にはまた、画質を劣化させる収差推定値、画像解像度、及び／又は周波数を介して得られる雑音推定値などの品質尺度が含まれる。画質ネットワーク１４４は、複数の画像を用いてトレーニングすることができ、各画像は、前述の入力と相関され、様々なレベルの品質を有するものとしてラベル付けされている。１つ以上の品質尺度を使用して、メリットレベルをさらに計算又は重み付けしてもよい。例えば、２つの画像フレームの標準ビューが存在する確率が同じである場合、この２つのフレームが異なる画質を有する場合（例えば、取得中の音響結合が悪いために画像フレームの雑音が多い）、２つの画像は異なるメリットレベルを有する。
[061] いくつかの実施形態では、ニューラルネットワーク１２８は、測定及び／又は標準ビューに必要とされるすべてのランドマークが画像フレームに存在するかどうかを決定し、これらの画像フレームのインデックス情報及び／又は信頼レベル情報を画質ネットワーク１４４に提供するように更にトレーニングされ得る。次いで、画質ネットワークは、画像フレームの品質尺度のみを分析して、メリットレベルを生成できる。いくつかの実施形態では、メリットレベルは、数値出力ではなく、カテゴリ出力（例えば、高、中、低）であってもよい。
[062] 様々な実施形態では、画質ネットワーク１４４のメリットレベルを、画像測定ネットワーク１４８によって処理される別の入力源として利用できる。画像測定ネットワーク１４８は、閾値レベル（例えば、９５％、９０％、８０％）を上回るメリットレベルを有する画像フレームに対してのみ測定を行ってもよい。これにより、測定ネットワーク１４８によって誤った測定値が得られる確率が減少される。
[063] いくつかの例では、ニューラルネットワーク１２８、１４４、及び／又は１４８に関連するニューラルネットワークトレーニングアルゴリズムには、特定の超音波画像から取得された各測定値の信頼レベルを決定するようにニューラルネットワークをトレーニングするために、数千又は数百万ものトレーニングデータセットが提示され得る。様々な例では、ニューラルネットワークをトレーニングするために使用される超音波画像の数は、約５０，０００～２００，０００以上であり得る。ネットワークをトレーニングするために使用される画像の数は、識別される異なる関心アイテムの数がより多い場合に、又は、例えば、体重、身長、年齢などの患者の差異の多様性により多く対応するために、増加されてもよい。トレーニング画像の数は、異なる関心アイテム又はその特徴によって異なっても、特定の特徴の外観の変動性に依存してもよい。例えば、腫瘍は、通常、正常な解剖学的構造よりも変動性の範囲が大きい。母集団全体の変動性が高い特徴に関連する関心アイテムの存在を評価するためにネットワークをトレーニングすることは、より大量のトレーニング画像が必要となり得る。
[064] 図１０は、本開示の原理による、ニューラルネットワークのトレーニング及び展開のためのプロセスのブロック図を示す。図１０に示されるプロセスは、ネットワーク１２８、１４４、及び／又は１４８をトレーニングするために使用できる。図１０の左側のフェーズ１は、ニューラルネットワークのトレーニングを示す。ニューラルネットワーク１２８、１４４及び／又は１４８をトレーニングするために、入力アレイ及び出力分類の複数のインスタンスを含むトレーニングセットが、ニューラルネットワークのトレーニングアルゴリズム（例えば、Ｋｒｉｚｈｅｖｓｋｙ、Ａ．、Ｓｕｔｓｋｅｖｅｒ、Ｉ．及びＨｉｎｔｏｎ，Ｇ．Ｅ．によって「ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」（ＮＩＰＳ２０１２又はその派生物）説明されているＡｌｅｘＮｅｔトレーニングアルゴリズム）に提示される。トレーニングには、開始ネットワークアーキテクチャ１０１２の選択及びトレーニングデータ１０１４の準備が含まれ得る。開始ネットワークアーキテクチャ１０１２は、ブランクアーキテクチャ（例えば、定義された層及びノードの配置を有するが、以前にトレーニングされた重みを有さないアーキテクチャ）、又は、インセプションネットワークなどの部分的にトレーニングされたネットワークであり得、次いで、これは、超音波画像の分類のためにさらに調整され得る。開始アーキテクチャ１０１２（例えば、ブランク重み）及びトレーニングデータ１０１４は、モデルをトレーニングするためにトレーニングエンジン１０１０に提供される。十分な数の反復後（例えば、モデルが許容誤差内で一貫して実行するとき）、モデル１０２０は、トレーニングされて、展開のための準備が整ったと言える。これは、図１０の中央のフェーズ２に示されている。図１０の右側、すなわち、フェーズ３では、（フェーズ１における）初期トレーニング中にモデルに提示されていないデータである新しいデータ１０３２の分析のために、（推論エンジン１０３０を介して）トレーニングされたモデル１０２０が適用される。例えば、新しいデータ１０３２は、患者のスキャン中に取得されたライブ超音波画像（例えば、図１の画像フレーム１２４）などの未知の画像を含む。エンジン１０３０を介して実施されるトレーニングされたモデル１０２０を使用して、未知の画像をモデル１０２０のトレーニングに従って分類して、出力１０３４（例えば、画像フレームに存在する関心アイテム、関心アイテムが存在する信頼レベル、画像フレームのメリットレベル）を提供する。次いで、出力１０３４（例えば、生体組織のタイプ）は、後続の処理１０４０（例えば、１つ以上の他の機械学習モデルへの入力として、また、メリットレベルが最も高い画像フレームの自動表示など、システムによる作用をもたらす）のために、システムによって使用され得る。
[065] トレーニングされたモデル１０２０を使用してニューラルネットワーク１２８を実施する例では、開始アーキテクチャは、画像フレームのインデックス付け、画像セグメンテーション、画像比較、又はこれらの任意の組合せを行うようにトレーニングされ得る、畳み込みニューラルネットワーク又は深層畳み込みニューラルネットワークの開始アーキテクチャであり得る。格納された医用画像データの量が増加するにつれて、高品質の臨床画像の利用可能性が増加し、これを利用して、ニューラルネットワークをトレーニングして、所与の画像フレームが所与の関心アイテムを含む確率（例えば、信頼レベル）を学習することができる。トレーニングデータ１０１４は、トレーニング画像とも呼ばれる、複数（数百、しばしば数千、又はそれ以上）の注釈付き／ラベル付き画像を含み得る。トレーニング画像は、撮像システムによって生成された完全な画像（例えば、プローブの全視野を表す）を含む必要はなく、ラベル付き関心アイテムの画像のパッチ又は部分を含むことを理解されたい。
[066] 様々な実施形態では、トレーニングされたニューラルネットワーク１２８、画像分類ネットワーク１４４、及び／又は画質ネットワーク１４８は、少なくとも部分的に、プロセッサ、例えば、データプロセッサ１２６によって実行される実行可能命令を含むコンピュータ可読媒体に実装され得る。
[067] 図５～図９を参照して説明されたように、視覚的表現１４０は、ニューラルネットワーク１２８、画質ネットワーク１４４、及び／又は測定ネットワーク１４８の出力に基づき得るデータプロセッサ１２６からの出力に、少なくとも部分的に基づいて生成され、ユーザは、視覚的表現１４０を介してシステム１００と対話できる。図１１は、データプロセッサ１２６への入力及び出力のフロー図を示す。図１を参照して説明されたように、データプロセッサ１２６は、ニューラルネットワーク１２８、画質ネットワーク１４４、及び画像測定ネットワーク１４８を含み得る。ニューラルネットワーク１２８は、取得された超音波画像フレーム１２４を入力として受信する。ニューラルネットワーク１２８は、この入力に基づいて、各画像フレーム１２４内に存在する関心アイテムについてのインデックス情報及び／又は信頼レベル１２７を出力する。これらの出力１２７は、出力の視覚的表現を生成するために、表示プロセッサ１５８に提供される。ニューラルネットワーク１２８はさらに、ユーザインターフェース１６０のユーザ制御部１６８を介して、ユーザ入力１６６を受信する。ユーザ入力１６６は、ニューラルネットワーク１２８がインデックス付けすべき関心アイテム、及び／又は、必要とされる最小の信頼レベルを定義できる。
[068] ニューラルネットワーク１２８によって出力されるインデックス情報及び／又は信頼レベル１２７は、画質ネットワーク１４４に提供される。画質ネットワーク１４４は、これらの出力１２７を使用して、入力として使用する画像フレーム１２４のうちの画像フレームを決定する。いくつかの実施形態では、画質ネットワーク１４４は、データ取得ユニット１１０から入力をさらに受信する。データ取得ユニット１１０からの入力は、品質尺度に影響を及ぼし得る取得設定（例えば、電力、周波数）を含み得る。画質ネットワーク１４４は、入力に基づいて、メリットレベル１４５の視覚的表現を生成するために、メリットレベルを表示プロセッサ１５８に出力する。
[069] 画質ネットワーク１４４によって出力されたメリットレベル１４５は、画像測定ネットワーク１４８に提供される。画像測定ネットワーク１４８は、メリットレベル１４５を使用して、入力として使用する画像フレーム１２４のうちの画像フレームを決定する。いくつかの実施形態では、画像測定ネットワーク１４８はさらに、所望する測定値を示すユーザ入力１６６を受信する。画像測定ネットワーク１４８は、入力に基づいて、画像フレーム内の１つ以上の関心アイテムについて１つ以上の測定値１４９を出力する。測定値は、測定値の視覚的表現を生成するために、表示プロセッサ１５８に提供される。測定値はまた、ローカルメモリ１２５に提供されてもよい。
[070] 表示プロセッサ１５８は、ネットワーク１２８、１４４、及び１４８の出力１２７、１４５、及び１４９を使用して、インデックス付け情報、信頼レベル、メリットレベル、及び／又は測定値の視覚的表現を生成する。視覚的表現は、ディスプレイ１６４に出力され得る。いくつかの実施形態では、ユーザインターフェース１６０を介して（例えば、ユーザ制御部１６８によって制御されるセレクタを介して）視覚的表現と対話することからのユーザ入力１６６が、表示プロセッサ１５８に提供され得る。ユーザ入力１６６を使用して、ディスプレイ１６４に提供される視覚的表現及び／又はディスプレイ１６４に提供される画像フレーム１２４からの画像フレームを変更できる。あるいは、ユーザ入力１６６はデータプロセッサ１２６に提供され、データプロセッサ１２６が、更新された出力を表示プロセッサ１５８に提供して、ディスプレイ１６４に提供される視覚的表現及び画像フレームが決定される。
[071] 図１２は、本発明の原理に従って行われる超音波撮像方法１２００のフロー図である。例示的な方法１２００は、画像フレーム内に存在する関心アイテムを決定するために、本明細書で説明されるシステム及び／又は装置によって、任意の順序で利用され得るステップを示す。方法１２００は、システム１００などの超音波撮像システム、又は、例えば、コーニンクレッカ・フィリップス社(「フィリップス社」）によるＬＵＭＩＦＹなどのモバイルシステムを含むが、これに限定されない他のシステムによって行われてもよい。追加の例示的なシステムは、これもフィリップス社によって製造されているＳＰＡＲＱ及び／又はＥＰＩＱを含むが、これらに限定されない。
[072] 図示の実施形態では、方法１２００は、超音波システムに動作可能に結合されたトランスデューサによって関心領域内へ送信された超音波パルスに応答するエコー信号を取得することによって、ステップ１２０２から開始する。
[073] ステップ１２０４において、本方法は、超音波エコーから画像フレームを生成することを含む。
[074] ステップ１２０６において、本方法は、複数の画像フレームの各々を処理して、信頼レベルを決定することを含む。信頼レベルは、画像フレーム内に標的解剖学的特徴が存在する確率である。いくつかの実施形態では、決定は、２つ以上の標的解剖学的特徴について行われてもよい。いくつかの実施形態では、ステップ１２０６はニューラルネットワーク１２８によって行われる。
[075] ステップ１２０８において、本方法は、処理された各フレームについて、各フレームの信頼レベルに基づいてインデックス情報を生成することを含む。いくつかの実施形態では、ステップ１２０８はニューラルネットワーク１２８によって行われる。
[076] ステップ１２１０において、本方法は、インデックス情報の視覚的表現を生成することを含む。いくつかの実施形態では、ステップ１２１０は表示プロセッサ１５８によって行われる。いくつかの実施形態では、信頼レベルの視覚的表現も生成される。
[077] ステップ１２１２において、本方法は、ユーザインターフェースにインデックス情報に対応する視覚的表現を表示させることを含む。いくつかの実施形態では、ステップ１２１２は表示プロセッサ１５８によって行われる。いくつかの実施形態では、信頼レベルを含む視覚的表現が表示されてもよい。
[078] いくつかの実施形態では、方法１２００はさらに、メリットレベルを決定すること、及び／又は画像フレーム内に存在する標的解剖学的特徴の測定値を取得することを含み得る。これらの追加のステップは、画質ネットワーク１４４及び／又は画像測定ネットワーク１４８によって行われ得る。いくつかの実施形態では、メリットレベル及び／又は測定値の視覚的表現が生成され、表示されてもよい。いくつかの実施形態では、これは表示プロセッサ１５８によって行われ得る。
[079] 本明細書で説明される例は、現在の超音波検査又は以前の検査のレビューに言及しているが、本開示の原理は、複数の検査のレビューに適用できる。検査は、例えば、疾患の進行について患者をレビューする場合に、単一の被検体のものであってよい。検査は、例えば、医学的研究のための母集団全体にわたって関心アイテムを識別する場合に、複数の被験体であってよい。
[080] 構成要素、システム、及び／又は方法が、コンピュータベースのシステム又はプログラマブル論理などのプログラマブルデバイスを使用して実装される様々な実施形態では、上述のシステム及び方法が「Ｃ」、「Ｃ＋＋」、「Ｃ＃」、「Ｊａｖａ（登録商標）」、「Ｐｙｔｈｏｎ」、「ＦＯＲＴＲＡＮ」、「Ｐａｓｃａｌ」、「ＶＨＤＬ」などの様々な既知の又は後に開発されるプログラミング言語のいずれかを使用して実装できることを理解されたい。したがって、上述のシステム及び／又は方法を実施するように、コンピュータなどのデバイスに指示することができる情報を含むことができる、磁気コンピュータディスク、光ディスク、電子メモリなどの様々な記憶媒体を準備できる。適切なデバイスが記憶媒体に含まれる情報及びプログラムにアクセスできると、記憶媒体は、情報及びプログラムを装置に提供でき、したがって、デバイスは、本明細書に説明されるシステム及び／又は方法の機能を行うことができる。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切な材料を含むコンピュータディスクが、コンピュータに提供された場合、コンピュータは、情報を受信し、適切に自体を構成し、様々な機能を実施するために、上述の図及びフローチャートに概説された様々なシステム及び方法の機能を行うことができる。すなわち、コンピュータは、上述のシステム及び／又は方法の異なる要素に関連する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実装し、上述の個々のシステム及び／又は方法の機能を調整できる。
[081] 本開示を考慮して、本明細書で説明される様々な方法及びデバイスは、ハードウェア、ソフトウェア、及びファームウェアで実装され得ることに留意されたい。さらに、様々な方法及びパラメータは、例としてのみ含まれ、いかなる限定的な意味においても含まれない。本開示を考慮して、当業者は、本発明の範囲内に留まりながら、それら自体の技術及びこれらの技術に影響を及ぼすために必要とされる機器を決定する際に、本教示を実施できる。本明細書で説明されるプロセッサのうちの１つ以上のプロセッサの機能は、より少ない数又は単一の処理ユニット（例えば、ＣＰＵ）に組み込まれてもよく、本明細書で説明される機能を行うために実行可能命令に応答してプログラムされる特定用途向け集積回路（ＡＳＩＣ）又は汎用処理回路を使用して実装されてもよい。
[082] 本システムは、超音波撮像システムに特に参照して説明されてきたが、本システムは、１つ以上の画像が系統的なやり方で取得される他の医用撮像システムに拡張され得ることも想定されている。したがって、本システムは、腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺臓、筋骨格、脾臓、心臓、動脈及び血管系、ならびに超音波誘導介入に関連する他の撮像応用に関連するが、これらに限定されない画像情報を取得及び／又は記録するために使用され得る。さらに、本システムは、本システムの特徴及び利点を提供することができるように、従来の撮像システムと共に使用することができる１つ以上のプログラムを含むこともできる。本開示の特定の追加の利点及び特徴は、本開示を検討することにより当業者に明らかであり得るか、又は本開示の新規なシステム及び方法を採用する当業者によって経験され得る。本システム及び方法の別の利点は、従来の医用画像システムが本システム、デバイス、及び方法の特徴及び利点を組み込むように容易に更新可能であることである。
[083] 当然のことながら、本明細書で説明される例、実施形態、又はプロセスのうちの任意の１つを、１つ以上の他の例、実施形態、及び／又はプロセスと組み合わせても、本システム、デバイス及び方法に従って別個のデバイス又はデバイス部分の間で分離及び／又は行われてもよいことを理解されたい。
[084] 最後に、上記の議論は、単に本システムを例示することを意図しており、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものとして解釈されるべきではない。したがって、本システムは、例示的な実施形態を参照して特に詳細に説明されてきたが、当業者であれば、以下の特許請求の範囲に記載される本システムのより広く意図された精神及び範囲から逸脱することなく、多数の変更及び代替の実施形態を考案することができることも理解されたい。したがって、本明細書及び図面は、例示的と見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。
Claims (13)
- 関心領域に向けて送信された超音波パルスに応答してエコー信号を取得する超音波トランスデューサと、
前記超音波トランスデューサと通信し、
超音波エコーから生成された複数の画像フレームを受信し、
前記複数の画像フレームのうちの各画像フレームについて、前記画像フレーム内に標的解剖学的特徴が存在するかどうかを決定し、
前記複数の画像フレームのうちの前記各画像フレームについて、所与の画像フレーム内に前記標的解剖学的特徴が存在することを示す信頼レベルに基づいてインデックス情報を生成する、１つ以上のプロセッサと、
前記１つ以上のプロセッサと通信し、前記インデックス情報の視覚的表現を表示するユーザインターフェースと、
を含み、
前記視覚的表現は、前記標的解剖学的特徴に関連付けられているマーカーを含み、前記視覚的表現は、前記複数の画像フレームの順序を表す第１の軸及び前記信頼レベルの大きさを表す第２の軸をさらに含み、前記マーカーは、前記標的解剖学的特徴が存在する前記所与の画像フレームを表す位置において、前記第１の軸上に位置している、超音波撮像システム。 - 前記視覚的表現は、前記マーカーが前記標的解剖学的特徴に関連付けられていることを示す凡例をさらに含む、請求項１に記載の超音波撮像システム。
- 前記マーカーは、前記信頼レベルに基づいて変化する視覚的特性を含む、請求項１に記載の超音波撮像システム。
- 前記視覚的特性は、色又は高さのうちの少なくとも１つである、請求項３に記載の超音波撮像システム。
- 前記ユーザインターフェースは、ユーザ入力によって制御されるセレクタを含む、請求項１に記載の超音波撮像システム。
- 前記ユーザ入力は、前記視覚的表現上の前記セレクタの位置を決定し、前記位置は、前記複数の画像フレームのうちの表示されるべき画像フレームを決定し、オプションで、前記位置は前記マーカー上にある、請求項５に記載の超音波撮像システム。
- 前記１つ以上のプロセッサは、前記標的解剖学的特徴を含む撮像データでトレーニングされたニューラルネットワークに前記画像フレームを入力することによって、前記画像フレーム内に前記標的解剖学的特徴が存在するかどうかを決定する、請求項１に記載の超音波撮像システム。
- 前記視覚的表現は、閾値を上回る前記信頼レベルに基づいて前記インデックス情報を表示する、請求項１に記載の超音波撮像システム。
- 関心領域に向けて送信された超音波パルスに応答してエコー信号を取得する超音波トランスデューサと、
前記超音波トランスデューサと通信し、
超音波エコーから生成された複数の画像フレームを受信し、
前記複数の画像フレームのうちの各画像フレームについて、前記画像フレーム内に標的解剖学的特徴が存在するかどうかを決定し、
前記複数の画像フレームのうちの前記各画像フレームについて、所与の画像フレーム内に前記標的解剖学的特徴が存在することを示す信頼レベルに基づいてインデックス情報を生成する、１つ以上のプロセッサと、
前記１つ以上のプロセッサと通信し、前記インデックス情報の視覚的表現を表示するユーザインターフェースと、
を含み、
前記視覚的表現は、前記標的解剖学的特徴に関連付けられているマーカーを含み、前記視覚的表現は、前記複数の画像フレームの順序を表す第１の軸をさらに含み、前記マーカーは、前記標的解剖学的特徴が存在する前記所与の画像フレームを表す位置において、前記第１の軸上に位置しており、
前記１つ以上のプロセッサは、標準ビューが取得されたことを決定し、前記ユーザインターフェースは、標準ビューのリスト、及び、前記標準ビューが取得されたことを示す前記リスト上のグラフィカルインジケータを表示する、超音波撮像システム。 - 関心領域に向けて送信された超音波パルスに応答してエコー信号を取得する超音波トランスデューサと、
前記超音波トランスデューサと通信し、
超音波エコーから生成された複数の画像フレームを受信し、
前記複数の画像フレームのうちの各画像フレームについて、前記画像フレーム内に標的解剖学的特徴が存在するかどうかを決定し、
前記複数の画像フレームのうちの前記各画像フレームについて、所与の画像フレーム内に前記標的解剖学的特徴が存在することを示す信頼レベルに基づいてインデックス情報を生成する、１つ以上のプロセッサと、
前記１つ以上のプロセッサと通信し、前記インデックス情報の視覚的表現を表示するユーザインターフェースと、
を含み、
前記視覚的表現は、前記標的解剖学的特徴に関連付けられているマーカーを含み、前記視覚的表現は、前記複数の画像フレームの順序を表す第１の軸をさらに含み、前記マーカーは、前記標的解剖学的特徴が存在する前記所与の画像フレームを表す位置において、前記第１の軸上に位置しており、
前記１つ以上のプロセッサはさらに、前記複数の画像フレームの前記インデックス情報に基づいてメリットレベルを決定し、前記メリットレベルは、前記画像フレームの品質に関連する、超音波撮像システム。 - 超音波システムに動作可能に結合されたトランスデューサによって関心領域に送信された超音波パルスに応答してエコー信号を取得するステップと、
超音波エコーから複数の画像フレームを生成するステップと、
複数の画像フレームの各々を処理して、前記画像フレーム内に標的解剖学的特徴が存在する確率である信頼レベルを決定するステップと、
処理された各フレームについて、各フレームの前記信頼レベルに基づいてインデックス情報を生成するステップと、
前記インデックス情報の視覚的表現を生成するステップと、
ユーザインターフェースに、前記インデックス情報に対応する前記視覚的表現を表示させるステップと、
前記標的解剖学的特徴が存在する前記画像フレームのメリットレベルを生成するステップと、
オプションで、前記画像フレームのうちのメリットレベルが最も高い画像を表示するステップと、
を含み、
前記メリットレベルは、それぞれの前記画像フレームの画像品質に関連し、
前記視覚的表現は、前記複数の画像フレームの順序を表す第１の軸、及び、前記標的解剖学的特徴が存在する前記画像フレームを表す位置において前記第１の軸上に位置する複数のマーカーを含む、方法。 - 前記標的解剖学的特徴が存在する画像フレームから前記標的解剖学的特徴の測定を行うステップをさらに含む、請求項１１に記載の方法。
- 前記ユーザインターフェースに、前記視覚的表現と共にセレクタを表示させるステップをさらに含み、前記セレクタは、ユーザ入力に基づいて、前記ユーザインターフェースによって表示される前記複数の画像フレームのうちの画像フレームを決定する、請求項１１に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862780354P | 2018-12-17 | 2018-12-17 | |
| US62/780,354 | 2018-12-17 | ||
| PCT/EP2019/084534 WO2020126712A1 (en) | 2018-12-17 | 2019-12-11 | Systems and methods for frame indexing and image review |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022513225A JP2022513225A (ja) | 2022-02-07 |
| JPWO2020126712A5 JPWO2020126712A5 (ja) | 2022-12-16 |
| JP7427002B2 true JP7427002B2 (ja) | 2024-02-02 |
Family
ID=69005696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021534230A Active JP7427002B2 (ja) | 2018-12-17 | 2019-12-11 | フレームのインデックス付け及び画像レビューのためのシステム及び方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11896434B2 (ja) |
| EP (1) | EP3897394A1 (ja) |
| JP (1) | JP7427002B2 (ja) |
| CN (1) | CN113194837A (ja) |
| WO (1) | WO2020126712A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112155601B (zh) * | 2020-09-24 | 2022-12-30 | 广州爱孕记信息科技有限公司 | 一种胎儿超声图像的成像质量控制的确定方法及装置 |
| US20220211342A1 (en) * | 2021-01-05 | 2022-07-07 | GE Precision Healthcare LLC | Method Of Performing Automated Measurements Over Multiple Cardiac Cycles |
| US20230317278A1 (en) * | 2022-04-05 | 2023-10-05 | BioticsAI | System for Aggregating, Analyzing, and Reporting Medical Information |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017150355A1 (ja) | 2016-02-29 | 2017-09-08 | コニカミノルタ株式会社 | 超音波診断装置及び超音波情報処理方法 |
| WO2018060723A1 (en) | 2016-09-29 | 2018-04-05 | King's College London | Image processing |
| US20180338741A1 (en) | 2017-05-25 | 2018-11-29 | Enlitic, Inc. | Lung screening assessment system |
| JP2020028680A (ja) | 2018-08-24 | 2020-02-27 | 富士通株式会社 | 検査支援プログラム、検査支援方法および検査支援装置 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6126599A (en) * | 1998-10-01 | 2000-10-03 | Atl Ultrasound, Inc. | Ultrasonic diagnostic imaging system with real time spatial compounding processor |
| US6213945B1 (en) * | 1999-08-18 | 2001-04-10 | Acuson Corporation | Ultrasound system and method for generating a graphical vascular report |
| US6524246B1 (en) * | 2000-10-13 | 2003-02-25 | Sonocine, Inc. | Ultrasonic cellular tissue screening tool |
| US20040225221A1 (en) * | 2003-05-06 | 2004-11-11 | Olsson Lars Jonas | Diagnostic ultrasound imaging system with adaptive persistence |
| US20040267122A1 (en) * | 2003-06-27 | 2004-12-30 | Desikachari Nadadur | Medical image user interface |
| WO2006126684A1 (ja) * | 2005-05-27 | 2006-11-30 | Hitachi Medical Corporation | 超音波診断装置及び超音波画像表示方法 |
| US20070016029A1 (en) * | 2005-07-15 | 2007-01-18 | General Electric Company | Physiology workstation with real-time fluoroscopy and ultrasound imaging |
| US7645238B2 (en) * | 2005-12-02 | 2010-01-12 | The Cooper Health System | Regional anesthetic method and apparatus |
| US7931594B2 (en) * | 2005-12-02 | 2011-04-26 | The Cooper Health System | Regional anesthetic method and apparatus |
| JP4838064B2 (ja) * | 2006-06-30 | 2011-12-14 | 富士通株式会社 | 自動利得制御装置 |
| US20110311116A1 (en) * | 2010-06-17 | 2011-12-22 | Creighton University | System and methods for anatomical structure labeling |
| US10321892B2 (en) * | 2010-09-27 | 2019-06-18 | Siemens Medical Solutions Usa, Inc. | Computerized characterization of cardiac motion in medical diagnostic ultrasound |
| US9177110B1 (en) * | 2011-06-24 | 2015-11-03 | D.R. Systems, Inc. | Automated report generation |
| US8891881B2 (en) * | 2012-01-25 | 2014-11-18 | General Electric Company | System and method for identifying an optimal image frame for ultrasound imaging |
| US8777856B2 (en) * | 2012-06-26 | 2014-07-15 | General Electric Company | Diagnostic system and method for obtaining an ultrasound image frame |
| CN104766038B (zh) * | 2014-01-02 | 2018-05-18 | 株式会社理光 | 手掌开合动作识别方法和装置 |
| US20170124701A1 (en) * | 2014-03-17 | 2017-05-04 | Arizona Board Of Regents On Behalf Of Arizona State University | System and method for measuring artery thickness using ultrasound imaging |
| US20160081663A1 (en) * | 2014-09-18 | 2016-03-24 | General Electric Company | Method and system for automated detection and measurement of a target structure |
| US9959486B2 (en) * | 2014-10-20 | 2018-05-01 | Siemens Healthcare Gmbh | Voxel-level machine learning with or without cloud-based support in medical imaging |
| US11109842B2 (en) * | 2014-12-10 | 2021-09-07 | General Electric Company | Method and system for enhanced visualization of individual images in a real-time scan |
| KR101649725B1 (ko) * | 2015-05-14 | 2016-08-19 | 삼성전자주식회사 | 탄성 영상을 표시하는 방법 및 초음파 진단 장치 |
| KR102426784B1 (ko) * | 2015-05-29 | 2022-07-29 | 삼성전자주식회사 | 초음파 장치 및 초음파 장치의 초음파 영상 표시 방법 |
| JP6638230B2 (ja) * | 2015-07-21 | 2020-01-29 | コニカミノルタ株式会社 | 超音波画像処理装置及びプログラム |
| KR102551695B1 (ko) * | 2015-11-25 | 2023-07-06 | 삼성메디슨 주식회사 | 의료 영상 장치 및 그 동작방법 |
| US11419577B2 (en) * | 2016-04-18 | 2022-08-23 | Koninklijke Philips N.V. | Ultrasound system and method for breast tissue imaging |
| US11151721B2 (en) | 2016-07-08 | 2021-10-19 | Avent, Inc. | System and method for automatic detection, localization, and semantic segmentation of anatomical objects |
| US10675004B2 (en) * | 2016-07-20 | 2020-06-09 | Fujifilm Sonosite, Inc. | Ultrasound imaging apparatus with image selector |
| US20180103912A1 (en) | 2016-10-19 | 2018-04-19 | Koninklijke Philips N.V. | Ultrasound system with deep learning network providing real time image identification |
| WO2019201726A1 (en) * | 2018-04-20 | 2019-10-24 | Koninklijke Philips N.V. | Adaptive ultrasound scanning |
| EP3840663A1 (en) | 2018-08-23 | 2021-06-30 | Koninklijke Philips N.V. | Biometric measurement and quality assessment |
-
2019
- 2019-12-11 JP JP2021534230A patent/JP7427002B2/ja active Active
- 2019-12-11 CN CN201980083549.2A patent/CN113194837A/zh active Pending
- 2019-12-11 US US17/299,851 patent/US11896434B2/en active Active
- 2019-12-11 WO PCT/EP2019/084534 patent/WO2020126712A1/en unknown
- 2019-12-11 EP EP19827649.5A patent/EP3897394A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017150355A1 (ja) | 2016-02-29 | 2017-09-08 | コニカミノルタ株式会社 | 超音波診断装置及び超音波情報処理方法 |
| WO2018060723A1 (en) | 2016-09-29 | 2018-04-05 | King's College London | Image processing |
| US20180338741A1 (en) | 2017-05-25 | 2018-11-29 | Enlitic, Inc. | Lung screening assessment system |
| JP2020028680A (ja) | 2018-08-24 | 2020-02-27 | 富士通株式会社 | 検査支援プログラム、検査支援方法および検査支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220071600A1 (en) | 2022-03-10 |
| EP3897394A1 (en) | 2021-10-27 |
| JP2022513225A (ja) | 2022-02-07 |
| CN113194837A (zh) | 2021-07-30 |
| WO2020126712A1 (en) | 2020-06-25 |
| US11896434B2 (en) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11986355B2 (en) | 3D ultrasound imaging system | |
| US11094138B2 (en) | Systems for linking features in medical images to anatomical models and methods of operation thereof | |
| US20210177373A1 (en) | Ultrasound system with an artificial neural network for guided liver imaging | |
| EP3338625B1 (en) | Medical image display device and medical image processing method | |
| EP3776353B1 (en) | Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient | |
| CN110087550B (zh) | 一种超声图像显示方法、设备及存储介质 | |
| JP7427002B2 (ja) | フレームのインデックス付け及び画像レビューのためのシステム及び方法 | |
| CN102197316A (zh) | 3-d超声成像 | |
| US11931201B2 (en) | Device and method for obtaining anatomical measurements from an ultrasound image | |
| US20220233171A1 (en) | Systems and methods for controlling volume rate | |
| JP2021533920A (ja) | バイオメトリック測定及び品質評価 | |
| WO2021034981A1 (en) | Ultrasound guidance dynamic mode switching | |
| KR102695456B1 (ko) | 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법 | |
| JP2024501181A (ja) | 超音波画像取得、追跡、及びレビュー | |
| CN117814840A (zh) | 早孕胎儿的超声成像方法和超声成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230623 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240123 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7427002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |