JP2023511300A - 医用画像における解剖学的構造を自動的に発見するための方法及びシステム - Google Patents

Abstract

この発明は、対象者の医用画像１における解剖学的構造３を自動的に検出するためのコンピュータ実施方法に関するものであり、コンピュータ実施方法は、医用画像に対して対象物検出機能４を適用するステップを有し、対象物検出機能は、（Ａ） 医用画像に対して、第１の複数のクラスの大きいサイズの解剖学的構造３ａを検出するように訓練された第１のニューラルネットワーク４０を適用することにより、少なくとも１つの第１の境界ボックス５１の座標と、第１の境界ボックスが大きいサイズの解剖学的構造を含んでいることの信頼度スコアとを、出力として生成するステップと、（Ｂ） 医用画像を第１の境界ボックスへとトリミングして、第１の境界ボックスの中に、画像のコンテンツを含んでいるトリミングされた画像を生成するステップ４２と、（Ｃ） トリミングされた医用画像に対して、少なくとも１つの第２のクラスの小さいサイズの解剖学的構造３ｂを検出するように訓練された第２のニューラルネットワーク４４を適用することにより、少なくとも１つの第２の境界ボックスの座標と、第２の境界ボックスが小さいサイズの解剖学的構造を含んでいることの信頼度スコアとを、出力として生成するステップとを実行する。

Description

本発明は、対象者の医用画像における解剖学的構造を自動的に検出するためのコンピュータ実施方法と、医用画像における複数のクラスの解剖学的構造を検出するのに有効な対象物検出機能を訓練するための方法と、関連するコンピュータプログラムと、システムとに関する。

Ｘ線、コンピュータ断層撮影法（ＣＴ）、磁気共鳴映像法（ＭＲＩ）、陽電子射出断層撮影法（ＰＥＴ）及び超音波撮像モダリティなどの医用撮像は、広く使用可能になっており、診断及び他の医療目的のために繰り返し使用されている。しかしながら、例えば様々なアーチアファクト、ノイズ及び画像の不正確さといった他の原因ために、医用画像の解釈は難易度が高いままである。詳細には、超音波画像の解釈は、放射線専門医や公認の超音波検査士などの専門家の間でさえ、ユーザ内でもユーザ間でも、ばらつきが大きいことが知られている。この状況は、超音波診断が、多くの場合、内科救急の状況において年少の医者又は緊急処置室の医者によって実行されるという事実によって悪化する。したがって、医用画像から、解剖学的構造を検出したり識別したりすること、及び／又は既定の医学的状態の可能性を決定することにおいて、コンピュータ実施の支援が必要とされている。

そのようなコンピュータ実施の支援が望ましい例の１つには産前の超音波検査があり、すべての妊婦のために世界的に推奨されている。妊娠初期の超音波走査の主要目的は、妊娠の成育可能性を評価して、それに日付を入れ、胎児の数を数え、また子宮外妊娠や流産などの異常な妊娠第１三半期を排除することにある。妊娠損失はこの初期段階によくあり、子宮外妊娠は、臨床の重大な異常所見であるが発見されないことも多く、依然として、世界的に、母体死亡の重要な原因となっている。超音波撮像は、妊娠第１三半期の早期に前述の臨床所見を識別するとき、中心的な役割を果たす。しかしながら、専門家の間でさえ、観察者間や観察者内にばらつきがあって、超音波画像の診断価値が大幅に制限される。

深層学習技術は、パターン認識、対象物検出、画像分類、並びにセマンティックセグメント化に関して、過去数年のうちに著しい進展を遂げた。最初の試みは、医用画像における解剖学的構造の場所を突き止めるために人工ニューラルネットワークを適用するものであった。

Ｂｏｂ Ｄ． ｄｅ Ｖｏｓ、Ｊｅｌｍｅｒ Ｍ． Ｗｏｌｔｅｒｉｎｋ、Ｐｉｍ Ａ． ｄｅ Ｊｏｎｇ、Ｔｉｍ Ｌｅｉｎｅｒ、Ｍａｘ Ａ． Ｖｉｅｒｇｅｖｅｒ及びＩｖａｎａ Ｉｓｇｕｍの論文「ＣｏｎｖＮｅｔ－Ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ Ａｎａｔｏｍｉｃａｌ ｓｔｒｕｃｔｕｒｅｓ ｉｎ ３Ｄ Ｍｅｄｉｃａｌ Ｉｍａｇｅｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、ＰＰ． ＤＵＩ．： １０．１１０９／ＴＭＩ． ２０１７． ２６７３１２１、２０１７年４月１９日、は、１つ又は複数の解剖学的構造の存在を、畳み込みニューラルネットワーク（ＣｏｎｖＮｅｔ）を使用して２Ｄ画像スライスの中に検出することにより、３Ｄ医用画像において、自動位置決めするための方法を提案している。１つのＣｏｎｖＮｅｔが、３Ｄ画像から抽出された、軸方向の冠状且つ矢状のスライスにおける、関心のある解剖学的構造の存在を検出するように訓練される。ＣｏｎｖＮｅｔが、異なるサイズのスライスを解析することができるように、空間的ピラミッドプーリングが適用される。検出した後に、すべてのスライスにおけるＣｏｎｖＮｅｔの出力を組み合わせることによって３Ｄ境界ボックスが生成される。空間的ピラミッドプール層の出力特徴マップは、一連の２つの完全接続層に接続され、これらが２Ｎのエンドノードの出力層に接続され、Ｎは対象の解剖学的構造の数を指示する。空間的ピラミッドプーリングにより、可変入力サイズの画像の分析が可能になる。

ＷＯ ２０１７／１２４２２２１ Ａ１が開示している、対象物検出のための方法は、検出される対象物クラスを、階層樹構造を構成する複数の対象物クラスタへとグループ化するステップと、画像を得て、得られた画像の少なくとも１つの境界ボックスを得るステップと、それぞれ階層樹構造のクラスタの各々について訓練された畳み込みニューラルネットワークによって、階層樹構造のルートクラスタからリーフクラスタまで、それぞれの境界ボックスの中の対象物を評価して、対象物の最も深いリーフクラスタを決定するステップと、決定された最も深いリーフクラスタにおける対象物クラスラベルを、その対象物の予測された対象物クラスラベルとして出力するステップとを有する。

Ｙ． Ｄｅｎｇ、Ｙ． Ｗａｎｇ、Ｐ． Ｃｈｅｎ及びＪ． Ｙｕによる論文「Ａ ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｄｅｌ ｆｏｒ ａｕｔｏｍａｔｉｃ ｎｕｃｈａｌ ｔｒａｎｓｌｕｃｅｎｃｙ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅｓ」、Ｃｏｍｐｕｔｅｒｓ ｉｎ Ｂｉｏｌｏｇｙ ａｎｄ Ｍｅｄｉｃｉｎｅ、４２号（２０１２年）７０６～７１３頁は、頂部透過性（ＮＴ）領域を自動検出するためのアルゴリズムを提案している。超音波画像を与えられたとき、最初に胎児の全身が認識されて位置付けられる。次いで、身体の知見を基に、画像からＮＴ領域及び胎児の頭部が推測され得る。確立されたグラフィカルモデルは、ＮＴ領域、頭部及び身体の対象物の間のそのような因果関係を適切に表す。

ＣＥＲＶＡＮＴＥＳ ＥＳＴＥＶＥらによる論文「Ｈｉｅｒａｒｃｈｉｃａｌ ｐａｒｔ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、２０１６ ＩＥＥＥ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ （ＩＣＩＰ）、ＩＥＥＥ、２０１６年９月２５日、１９３３～１９３７頁、ＸＰ０３３０１６８０８は、エンドツーエンドの階層的対象物及び部分検出フレームワークを開示している。したがって、対象物を検出するために、１つの畳み込みニューラルネットワークを使用して、入力画像データにおける境界ボックスが決定される。さらに、境界ボックスの内部で、対象物の各部分に関して１つの提案が決定される。

ＥＰ ２９１１１１１ Ａ２は、病巣検出のための装置及び方法を開示している。病巣検出の方法は、医用画像から病巣候補を検出するステップと、医用画像から解剖学的対象物を検出するステップと、病巣候補と解剖学的対象物との間の場所関係に関する情報を含む解剖学的状況の情報を基に、病巣候補の各々を検証するステップと、検証結果を基に、検出された病巣候補から１つ又は複数の偽陽性の病巣候補を削除するステップとを有する。

本発明の目的は、好ましくは汎用ハードウェア上で準リアルタイムの速度で動作する、医用画像における解剖学的構造を検出して識別する頑健なコンピュータ支援の方法を提供することである。本発明のさらなる目的は、人の性能と同等であるか又はこれに勝る精度で、ある特定の解剖学的構造を識別するためのコンピュータ支援の解決策を提供することである。一例として、子宮内妊娠（ＩＵＰ）並びにその異常な片われ（詳細には妊娠損失、子宮外妊娠）の特徴を識別するための、ＯＢＧＹＮワークフロー（ＩＵＰ及びその在胎齢の診断）を改善する、頑健なコンピュータ支援の解決策を得るのが望ましい。

これらの目標は、対象者の医用画像における解剖学的構造を自動的に検出するための、請求項１に記載のコンピュータ実施方法と、複数のクラスの解剖学的構造を検出するのに有効な対象物検出機能を訓練するための、請求項１１に記載の方法と、請求項１４に記載のコンピュータプログラムと、請求項１５に記載のシステムとによって満たされるか又は超えられる。有利な実施形態は従属請求項において詳述される。特許請求される方法に関連して本明細書で説明される、あらゆる特徴、利点又は代替実施形態は、他の請求項のカテゴリ及び本発明の態様にも適用可能であり、詳細には、訓練方法、特許請求されるシステム及びコンピュータプログラムにも適用可能であり、逆の場合も同じである。詳細には、特許請求される方法によって、対象物検出機能及びニューラルネットワークが提供されるか又は改善され得る。その上、対象物検出機能に対する入出力データは、入出力訓練データの有利な特徴及び実施形態を含むことができ、逆の場合も同じである。

本発明は、第１の態様によれば、対象者の医用画像における解剖学的構造を自動的に検出するためのコンピュータ実施方法が提供され、このコンピュータ実施方法は、
ａ） 対象者のＦＯＶ（視野）の少なくとも１つの医用画像を受け取るステップと、
ｂ） 医用画像に対して対象物検出機能を適用し、それによって、複数の境界ボックスの座標及び各境界ボックスに関する信頼度スコアを出力として生成するステップとを有し、対象物検出機能は、複数のクラスの解剖学的構造を検出するように訓練されており、信頼度スコアは、境界ボックスが、複数のクラスのうちの１つに属する解剖学的構造を含んでいる確率を示す、コンピュータ実施方法において、対象物検出機能が、
－ 医用画像に対して、第１の複数のクラスの大きいサイズの解剖学的構造を検出するように訓練された第１のニューラルネットワークを適用することにより、少なくとも１つの第１の境界ボックスの座標と、この第１の境界ボックスが大きいサイズの解剖学的構造を含んでいることの信頼度スコアとを、出力として生成するステップと、
－ 医用画像を第１の境界ボックスへとトリミングして、第１の境界ボックスの中に、画像コンテンツを含んでいるトリミングされた医用画像を生成するステップと、
－ トリミングされた医用画像に対して、少なくとも１つの第２のクラスの小さいサイズの解剖学的構造を検出するように訓練された第２のニューラルネットワークを適用することにより、少なくとも１つの第２の境界ボックスの座標と、この第２の境界ボックスが小さいサイズの解剖学的構造を含んでいることの信頼度スコアとを、出力として生成するステップと
を実行する、
ことを特徴とするコンピュータ実施方法である。

したがって、本発明は、医用画像において種々のサイズの解剖学的構造又は詳細なスケールを自動検出するための、階層的な解剖学的識別機構を提供するものである。本発明は、小さいサイズ又はスケールの詳細の、一定の解剖学的構造（小さいサイズの解剖学的構造）が、大きいサイズ又はスケールの詳細の、別の解剖学的構造（大きいサイズの解剖学的構造）の内部に見つかることが期待されると仮定して、入力医用画像を、大きいサイズの解剖学的構造を含んでいる境界ボックスへと有利にトリミングして、トリミングされた画像を、小さいサイズの解剖学的構造を検索するために使用する。このように、それぞれの階層レベル（例えば大きいサイズや小さいサイズの階層レベル）において解剖学的構造を検出するために使用されるニューラルネットワークは、必要とするアーキテクチャが非常に簡単になり、より速く訓練され得、より頑健であり、すなわち、より高い平均精度を有する。言い換えれば、それぞれの階層レベルに、独立した個別のニューラルネットワークが実装され、したがって、その階層レベルに応じて特定の検出タスク向けに特別に訓練される。一例として、妊娠早期の超音波（ＵＳ）画像では、胎嚢の中に卵黄嚢が見つかることが期待される。しかしながら、卵黄嚢（ＹＳ）は、非常に微細な組織体であり、比較的大きい解剖学的構造と一緒では、うまく訓練され得ないことが分かっている。より優れた検出を実現するために、専用の第２のニューラルネットワークが、例えば元の入力医用画像から胎嚢（ＧＳ）をトリミングした画像に対して訓練される。こうすると探索領域が縮小され、それによって訓練や検出が改善される。

一実施形態では、本発明のコンピュータ実施方法は、通常のＰＣ、ラップトップコンピュータ、タブレットコンピュータ、クラウドコンピュータ、サーバなどの任意の汎用ハードウェア上で実施され、詳細には、超音波走査を実行するために使用される超音波システム上で実施される。この方法は、リモートコンピュータ上でも実行され、すなわち、超音波走査によって取得された画像が、例えばインターネット又はセル式接続を介して、遠く離れたコンピュータ又はサーバにアップロードされ、そこで、本発明に従って処理される。例えばある特定の解剖学的構造を含んでいる少なくとも１つの第１の境界ボックスの座標及び少なくとも１つの第２の境界ボックスの座標、及びこれら境界ボックスの信頼度スコア、並びに、一般的には前記解剖学的構造のクラスといった本発明の結果は、インターネット又はセル式接続を介して超音波スキャナ又は他のハードウェアデバイスに戻され、画像の評価に使用され得る。

本発明は、訓練された人工ニューラルネットワーク、すなわち相次いで使用される第１のニューラルネットワーク及び第２のニューラルネットワーク（ＮＮ）を利用するものである。すなわち、第１のニューラルネットワークと第２のニューラルネットワークとは、異なる入力及び／又は異なる出力を有し得る。このように、所定の解剖学的構造に対して階層的且つ解剖学的な識別機構が実施され、既定の解剖学的構造の検出において、優れた結果を確実に示した。それによって、診断手法がより系統的になり得る。妊娠第１三半期の場合には、本発明は、特に子宮外妊娠の検出率を向上することにより、異常な早期の妊娠第１三半期の臨床成績を根本的に改善する。しかしながら、本発明は妊娠早期の場合に限定されず、様々な医学的状態及び臨床応用に適用される。

対象物検出機能に入力される医用画像は、好ましくは２Ｄ画像である。これは、好適に採用される第１及び第２のニューラルネットワークが２Ｄ画像処理に最もよく適しているという理由による。しかしながら３Ｄへの拡張が可能である。入力される医用画像は、Ｘ線、ＣＴ、ＭＲＩ、ＰＥＴなどの任意の医用撮像モダリティ、又はＢモード超音波、カラードップラ、せん断波エラストグラフィなどの超音波によって生成される。

一実施形態では、この方法は、心臓などの動く目標組織体から取得された一連の医用画像などの医用画像の時系列といった一連の医用画像に適用される。この方法は、関心領域の端から端までプローブを掃引することによって超音波走査中に得られるものなど、様々なＦＯＶをカバーする一連の医用画像にも適用される。一実施形態では、この方法は、多くの医用画像を処理するために、例えば１０～６０ＦＰＳ（１秒当たりのフレーム／画像）、好ましくは２０～４０ＦＰＳのフレームレートといった、リアルタイム又は準リアルタイムで、結果をレンダリングする。

入力医用画像のＦＯＶは、人間又は動物の体の、例えば頭部又は脳、四肢、四肢の一部、或いは、例えば胸、胴又は腹部の内部の、心臓、肺、乳房、肝臓、腎臓、生殖器、腸など任意の臓器又は臓器のグループといった、任意の関心領域をカバーする。「解剖学的構造」はそのようなＦＯＶ内の識別可能な任意の解剖学的特徴であり、例えば、子宮、胎嚢、胎芽、ダグラス窩の体液、卵巣、卵黄嚢、特定の骨、血管、心臓弁などの前述の臓器若しくはその一部、又は腫瘍、嚢腫、病巣、動脈瘤、などの異常組織、又はねじ、膝若しくは肩の移植物などの移植された組織体、移植された心臓弁などのうちの１つである。一実施形態では、対象物検出機能は、複数の異なる既定の解剖学的構造を検出するように訓練され、それぞれの種類の解剖学的構造は、「クラス」（例えば「子宮」は１つのクラスであり、「卵巣」は別のクラスである）に対応する。一実施形態では、放射線専門医が、前記解剖学的構造を完全に含んでいる境界ボックスを描くことができるように、それぞれの既定の種類／クラスの解剖学的構造は、医用画像上の他の臓器に対して境界を定められる。一実施形態では、対象物検出機能によって生成された境界ボックスは、長方形であって好ましくは軸と整列し、すなわち、長方形の４つの側が医用画像の４つの縁部及び／又は他の境界ボックスの側と整列する。

一実施形態では、それぞれの入力医用画像は正方形の２Ｄ画像であり、すなわち幅方向と高さ方向とに同数のピクセルを有する。この発明については、対象物検出機能は特定の画像サイズ（例えば４１６×４１６のピクセル）に対して訓練されるのが有利である。したがって、本発明の方法は、さらなる任意選択のステップを有し、このステップで、画像診断法から受け取られた医用画像が、例えば既知の補間技術によって、対象物検出機能に関して規定された入力サイズに再スケーリングされる。

対象物検出機能は、大きいサイズの解剖学的構造を検出するように訓練された第１のニューラルネットワークと、小さいサイズの解剖学的構造を検出するように訓練された第２のニューラルネットワークとを備える。「大きいサイズ」や「小さいサイズ」は、小さいサイズの解剖学的構造が、一般的には（すなわちほとんどの対象者において）大きいサイズの解剖学的構造の平均よりも、小さいものであるか、又はより精細な細部を有することを意味する。一実施形態では、小さいサイズの解剖学的構造のうちの少なくとも１つが、一般的には、大きいサイズの解剖学的構造のうちの１つの内部に含有されているか、又はその一部である。実寸に関して、小さいサイズの解剖学的構造は、平均径において、一般的には４０ｍｍ未満、好ましくは３０ｍｍ未満、最も好ましくは２０ｍｍ未満であり、任意選択で、最小サイズは０．２～５ｍｍである。大きいサイズの解剖学的構造は、好ましくは平均径において、一般的には１０ｍｍよりも大きく、好ましくは２０ｍｍよりも大きく、より好ましくは３０ｍｍよりも大きく、任意選択で５０～４００ｍｍの最大サイズを有する。大きいサイズの解剖学的構造と小さいサイズの解剖学的構造との、対応するセットの例は、下の表に見られる。

対象物検出機能は、大きいサイズの解剖学的構造と小さいサイズの解剖学的構造との間の階層関係に基づくものであり、第１の複数のクラスの大きいサイズの解剖学的構造のうちの少なくとも１つが、少なくともいくつかの医学的状態において、小さいサイズのクラスの解剖学的構造のうちの１つ又はいくつかを含んでいると予期される。第１三半期のスクリーニングでは、例えば、大きいサイズのクラスの解剖学的構造は、子宮（Ｕ）と、胎嚢（ＧＳ）と、任意選択で胎芽（Ｅ）とを含む。小さいサイズのクラスの解剖学的構造は、卵黄嚢（Ｙ）と、任意選択で胎芽（Ｅ）とを含む。それによって、本発明の方法は、境界ボックスを生成することによって自動化された深層学習ベースの手法を使用して、子宮、ＧＳ、卵黄嚢及び胎芽の場所を突き止める各境界ボックスの関係を基に、ＩＵＰ（子宮内妊娠）の自動検出を可能にするものである。子宮とＧＳとの両方が、第１の複数のクラスの大きいサイズの解剖学的構造のものであるので、自動化の第１のレベル（すなわち第１のニューラルネットワーク）は、ＧＳの存在を、子宮内又はそれ以外に場所を突き止める。次のステップで、医用画像が、一例では胎嚢を含んでいる境界ボックスである第１の境界ボックスへとトリミングされ、それによって、第１の境界ボックスの中に、画像コンテンツを含んでいるトリミングされた画像、すなわち主としてＧＳのみを含んでいる小さい画像を生成する。（第２のニューラルネットワークを使用する）第２のレベルの自動化は、トリミングされた画像の内部、すなわち胎嚢の内部の、胎芽ボックス及び卵黄嚢ボックスの存在／不在を識別する。境界ボックスのこの階層関係により、ＩＵＰと子宮外妊娠のような非ＩＵＰとが自動識別される。

本発明の方法の出力は、境界ボックスと、ある特定のクラスの解剖学的構造を含んでいるそれぞれの境界ボックスの信頼度スコアとである。この出力は、医用画像及び／又はトリミングされた画像を出力し、それに対して、最高の信頼度スコアを有する境界ボックスを、例えば対照をなす配色で表示するか又は重ね合わせて表示することによって可視化される。

本発明の利点には、大きいサイズの解剖学的構造と、大きいサイズの解剖学的構造のうちの１つの中に含有されている可能性がある、少なくとも１つの、通常はいくつかの、小さいサイズのクラスの解剖学的構造との両方の、コンピュータ支援の頑健な識別が可能になることがある。この２段階の手法を使用することにより、小さいサイズの解剖学的構造の検出及び識別が、大幅に、より精密且つ頑健になる。妊娠早期における女性の子宮をカバーするＦＯＶの場合には、本発明は、妊娠早期の正常／異常、詳細には子宮外妊娠、奇胎妊娠又は付属器の特徴を、より系統的に診断するのに役立つ。

一実施形態では、この方法は、解剖学的構造の１つ又はいくつかのクラスの存否及び／又は解剖学的構造を含んでいる検出された境界ボックスの相対的な空間位置に基づく推論方式を使用して、対象者の既定の医学的状態の確率を決定するさらなるステップｃ）を含む。

所定の医学的状態は何らかの臨床所見であり、解剖学的構造を含んでいる検出された境界ボックスの存否及び相対的空間位置から推測され得る。臨床所見自体は、通常は診断ではなく、単に、ある特定の医学的状態の確率であり、例えば、既定の臓器（大きいサイズの解剖学的構造であり得る）における腫瘍又は他の局所的な異常（小さいサイズの解剖学的構造であり得る）、子宮内妊娠、子宮外妊娠、妊娠損失（例えば胎嚢の内部に胎芽又は卵黄嚢が見いだされないとき）の存否の確率である。

表現される確率は１又は０でよいが、中間の値を採用することも可能であり、決定のために使用された境界ボックスの信頼度スコアに依拠し得る。推論方式は、例えば、任意のコンピュータ言語のアルゴリズムで実施される複数のＩＦ ＥＬＳＥコマンドを含む。妊娠第１三半期の場合には、推論方式は、例えば子宮の境界ボックスをＢｕと表し、ＧＳの境界ボックスをＢＧＳと表す。ＢＧＳがＢｕのサブセットであれば正常なＩＵＰと推測され、そうでなければ異常妊娠と称される。第２のニューラルネットワークを使用する第２のレベルの自動化では、卵黄嚢（ＹＳ）及び胎芽が検出されて場所を突き止められる。卵黄嚢の境界ボックスをＢＹＳと称し、胎芽の境界ボックスをＢＥと称する。ＢＹＳ及び／又はＢＥがＢＧＳのサブセットであれば、正常妊娠と称される。ＧＳの内部にＹＳ及び胎芽が検出されなければ、異常妊娠の可能性が増大される。医学的状態の「増大された」確率は、例えば５０～９５％、好ましくは６０～９０％の値である既定の閾値を上回ることを意味する。

したがって、いくつかの実施形態では、第１のクラスの解剖学的構造（例えばＧＳ）を含んでいる第１の検出用の境界ボックスが、第２のクラスの解剖学的構造（例えばＧＳ）を含んでいる、第２の検出された境界ボックスを包含するか又は含んでいる場合には、既定の医学的状態（例えばＩＵＰ）の確率が増大される。第１の解剖学的構造が、第２の境界ボックスを完全に包含し、すなわち完全に含有し、又は、場合により、アルゴリズムが、既定の量のオーバーラップを許容する。例えば、確率を増大するためには、第２の境界ボックスの既定の割合（例えば少なくとも８０％）が第１の境界ボックスの内部になければならない。

他の実施形態では、検出する各境界ボックスの相対空間位置は、１つの境界ボックスが他の境界ボックスのサブセットであることを必要とするばかりではなく、解剖学的構造の２つ以上のクラスの境界ボックスに対して、所定範囲内のサイズ比、所定の量のオーバーラップ、及び／又は所定の空間的関係を有すること、といった条件もあり得る。

一実施形態によれば、この方法は、対象者の同一の診察期間中に取得された別々のＦＯＶを伴う複数の２次元医用画像に対して繰り返され、検出された境界ボックスの信頼度スコアは、さらなる評価に最適な医用画像又はＦＯＶを計算するために使用される。この場合、さらなる評価は、最高の信頼度スコアを伴う境界ボックスを有するそれぞれの医用画像が、熟練ユーザによってさらに観察されるか、或いはセグメント化、モデリング、特徴検出、距離の測定、特徴追跡などのさらなる自動画像分析技術に供されるかの、いずれかとなる。さらなる評価はまた、ここまでに使用された医用画像がＢモードのＵＳ画像であるとき、識別されたＦＯＶが、このＦＯＶからさらなる画像を取得するために、場合により、例えばドップラ超音波法を使用する他の撮像技術によって使用されることを意味する。

別の実施形態では、また、検出された境界ボックスから、さらなる医用画像を取得するために使用されるさらなる２Ｄ平面の向きが決定される。したがって、検出された境界ボックスは、対応する入力画像とともに、例えば最大の信頼度スコアを伴うことを意味する最良の平面を計算するために使用される。例えば、境界ボックス及び信頼度スコアの加重平均が、信頼区間を定めるのに使用され、次に、信頼区間が、最良の平面を計算するために使用された。例えば、ある特定の解剖学的構造の最大の断面を取り込む医用画像が、さらなる評価のために使用される。次いで、妊娠第１三半期スクリーニングの例では、これらの平面／画像は、対応する境界ボックスとともに、例えば卵黄嚢の直径、胎嚢の平均嚢直径、胎芽の頭殿長、異所性／異所性マス、ダグラス窩の体液の量のような主要パラメータの自動計算のために使用される。したがって、本発明は、解剖学的構造に対してさらなる測定が実行される、標準的な平面／ＦＯＶ又は優れた平面／ＦＯＶのいずれかを自動的に識別するためにも使用される。

本発明による対象物検出機能は、ソフトウェアプログラムの形態で提供されるが、ハードウェアとしても実施される。一実施形態では、対象物検出機能のそれぞれの検出ステップが１つのニューラルネットワークによって行われる。第１のステップにおいて１つの第１のＮＮが全医用画像に対して適用され、第２のステップにおいて、１つの第２のＮＮが、トリミングされた画像に対して適用される。それぞれのＮＮが入力画像を領域に分割し、それぞれの領域について境界ボックス及び確率を予測する。これらの境界ボックスは、予測された確率によって重み付けされる。一実施形態では、例えば２５％以上といった、２０～４０％の、ある特定の信頼度スコアを有する境界ボックスのみが表示され、且つ／又は考慮に入れられる。

一実施形態では、対象物検出機能の一部を形成する第１の人工ニューラルネットワーク（ＮＮ）と第２のＮＮとは、類似又は同一のアーキテクチャを有するが、異なるクラスの解剖学的構造を検出するように、場合により異なる数のクラスを検出するように、訓練される。第２のＮＮは、第１のＮＮに入力される完全な医用画像では検出するのがより困難な、特定の、小さいサイズの解剖学的構造を検出するように、より特化されている。第１のＮＮと第２のＮＮとは、異なるタイプでもある。したがって、以下では、「ニューラルネットワーク」という用語が使用される場合は常に第１のＮＮ及び／又は第２のＮＮを意味し、必須ではないが好ましくは両方を意味する。

人工ニューラルネットワーク（ＮＮ）は、ノードとも呼ばれる接続された人工ニューロンの集合に基づくものであり、エッジとも呼ばれるそれぞれの接続は、あるノードから別のノードに信号を送信することができる。それぞれの人工ニューロンが、受け取った信号を処理してから、接続されているさらなる人工ニューロンに伝達する。有効な実施形態では、第１のＮＮの人工ニューロンと第２のＮＮの人工ニューロンとは、層に構成される。医用画像のピクセル値である入力信号は、入力層とも称される第１の層から、出力層である最後の層に伝わる。一実施形態では、第１のＮＮ及び／又は第２のＮＮはフィードフォワードネットワークである。第１のＮＮ及び第２のＮＮは、好ましくは、それぞれが、隠れ層を含めていくつかの層を備え、したがって深層ニューラルネットワークである。一実施形態では、第１のＮＮ及び第２のＮＮは、詳細には例えば逆伝搬法といった深層学習である機械学習技術を基に訓練される。さらに、第１のＮＮ及び第２のＮＮはソフトウェア機能の形態で用意され、これは、必ずしも、訓練されたニューラルネットワークと正確に同じやり方で構築されるわけではない。例えば、ある特定の接続又はエッジが訓練の後に重み０を有する場合には、対象物検出機能を用意するとき、そのような接続は省略される。

一実施形態によれば、第１のニューラルネットワーク及び／又は第２のニューラルネットワークには、各ノードが後続の層の各ノードに接続されている完全接続層は備わっていない。一実施形態では、第１のＮＮ及び／又は第２のＮＮは、少なくとも１つの畳み込み層を備える。一実施形態では、第１及び／又は第２のニューラルネットワークは、好ましくは、どちらも完全な畳み込みニューラルネットワーク（ＣＮＮ）である。完全な畳み込みＮＮは、完全接続層を含まない畳み込みＮＮと定義される。畳み込み層は、層の内部のニューロンが、進行する層の小領域にのみ接続されるように、全体の層にわたって相対的に小さいフィルタカーネルを適用する。このアーキテクチャは、学習済みのフィルタカーネルが、空間的に局所の入力パターンに対して最も強い応答を生成することを保証するものである。本発明の一実施形態では、畳み込み層のパラメータは、学習可能なフィルタカーネルのセット含み、これらは、知覚フィールドは小さいが、層ボリュームの全深度に及ぶものである。畳み込み層を通るフォワードパスを通じて、各フィルタカーネルは、入力層の幅及び高さにわたって畳み込まれ、フィルタカーネルのエントリと入力層との間のドット積を計算して、それ自体のフィルタカーネルに関する出力マップを生成する。すべてのフィルタカーネルの出力マップを深さ寸法に沿って積み重ねると、本明細書では特徴マップとも称される、畳み込み層の全出力ボリュームを形成する。

畳み込み層は、一般に、そのフィルタカーネルのサイズ（大きさ）及びストライドによって定義され、１つの畳み込み層に備わっているいくつかのフィルタカーネルが、それぞれ異なる出力マップを生成し、出力マップは、すべての特徴カーネルについて、深さ寸法に沿って互いに積み重ねられることにより、出力ボリューム又は特徴マップを形成する。フィルタカーネルは、通常、入力ボリュームの全深度を通して広げられる。したがって、畳み込み層に対する入力層の大きさが４１６×４１６×３であって、フィルタカーネルのサイズが３×３であれば、基本的に、畳み込みフィルタカーネルの大きさは３×３×３であることを意味する。これは１つの特徴マップをもたらす。フィルタカーネルのストライドはピクセル数であり、フィルタカーネルは、入力層／ボリュームのまわりで畳み込むとき、この数だけシフトする。したがって、フィルタカーネルのストライドが２であれば、出力層の大きさは、入力層と比較して１／２になる。

一実施形態では、第１のＮＮ及び／又は第２のＮＮは、３～１４の層、好ましくは４～１０の層のブロックを含み、各ブロックには、サイズが３×３でストライドが１のフィルタカーネルをそれぞれ有する複数のフィルタを用いる畳み込み層と、これに続く、サイズが２×２でストライドが２のｍａｘｐｏｏｌ層とが、備わっている。したがって、それぞれのそのようなブロックにより、層の大きさが半分になる。一実施形態では、第１のＮＮ及び／又は第２のＮＮの畳み込み層は、入力医用画像を、２^３～２^７の係数で、好ましくは２^４～２^６の係数で、例えば２^５＝３２の係数で、ダウンサンプリングする。この例では、４１６×４１６のサイズの入力画像を使用することにより、出力特徴マップは１３×１３の大きさを有する。

畳み込み層とｍａｘｐｏｏｌ層との組合せを使用することにより、画像は、第１のＮＮ及び／又は第２のＮＮを通って伝わるとき大きさが縮小され、それによって、最終的に、いくつかの境界ボックスの座標を符号化する３Ｄテンソルと、各境界ボックスの信頼度スコアと、例えば検出された対象物が解剖学的構造の既定のクラスのうちの１つに属する確率といったクラス予測とをもたらす。

一実施形態では、第１及び／又は第２のニューラルネットワークは、ＹＯＬＯｖ３ネットワーク、詳細にはＹＯＬＯｖ３の小型ネットワークの改造である。ＹＯＬＯｖ３は、Ｊ． Ｒｅｄｍｏｎ、Ａ． Ｆａｒｈａｄｉの「ＹＯＬＯｖ３： Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｉｍｐｒｏｖｅｍｅｎｔ」、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １８０４．０２７６７、２０１８年、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０４．０２７６７の公開に開示されている。ＹＯＬＯｖ３の小型バージョンに対して訓練されると、検出は、いかなる追加ハードウェアの支援も必要とせずに楽々と動作する。

第１のＮＮ／第２のＮＮの出力：一実施形態では、第１のＮＮ及び／又は第２のＮＮは、それぞれの可能な境界ボックスについて、その境界ボックスが、複数のクラスのうちのいずれか１つに属する解剖学的構造を含んでいる確率を示す信頼度スコア（「対象物らしさ」）と、境界ボックスの中の対象物（解剖学的構造）が、訓練されたクラスの各々に属する確率、すなわちクラス確率とを予測する。ネットワークは、１０の異なるクラスの対象物／解剖学的構造において訓練されている場合には、それぞれの境界ボックスについて１０の確率値を予測する。考慮に入れられるのは、信頼度スコア及びクラス確率が、ある特定の既定閾値を超える境界ボックスのみとなる。

本発明の第１のＮＮ及び／又は第２のＮＮの最終的な出力は、一実施形態では、出力グリッドとも称される（最終的な）ダウンサンプリングされた特徴マップに対して、本発明の一実施形態ではネットワークにおける２つの異なる場所の２つの異なるサイズの特徴マップに対して、１×１の検出カーネルを適用することにより生成される。検出カーネルの形状は、１×１×（Ｂ＊（５＋Ｃ））である。ここで、Ｂは、グリッドセルが予測し得る、特徴マップ上の境界ボックスの数であり、「５」は、４つの境界ボックス属性（以下で説明されるようにアンカーボックスからのｘ、ｙ方向におけるオフセット及び幅／高さのオフセット）、及び「対象物らしさ」とも称される１つの対象物信頼度スコアに関するものであり、Ｃはクラスの数である。したがって、最終的な特徴マップがＮ×Ｎ（例えば９×９、１３×１３又は２６×２６）の大きさを有する場合、３Ｄ出力テンソルは、Ｂのアンカーボックスに関するＮ×Ｎ×［Ｂ＊（４＋１＋Ｃ）］のサイズ、４つの境界ボックス属性、１つの対象物らしさ予測及びＣのクラス予測を有する。Ｂ＝３であれば、最後の層におけるそれぞれのグリッドセルは３つまでの境界ボックス（３つのアンカーボックスに対応する）を予測する。それぞれのアンカーボックスについて、テンソルは、信頼度スコアすなわちボックスが対象物を含んでいる確率と、アンカーボックスに対して境界ボックスの座標を表すための４つの数と、対象物がそれぞれの既定のクラスのうちの１つに属する確率を含んでいる確率ベクトルとを含む。それぞれのクラススコアは、異なるクラス確率の中からロジスティク回帰を使用して予測され、それぞれの検出された解剖学的構造に関して１つ又はいくつかの注釈を予測するために閾値が使用される。この閾値よりも高いクラス確率が境界ボックスに割り当てられる。

アンカーボックス／境界ボックスのプライア：一実施形態では、ＹＯＬＯｖ３の場合のように、ＮＮは、出力グリッド（例えば１３×１３のグリッド）における特定のセルに対するｘｙオフセットによって境界ボックスの位置を予測する。画像が最終的なグリッドに分割されると、それぞれの対象物（解剖学的構造）について対象物の中心を含んでいるグリッドセルが識別され、このとき、このグリッドセルが対象物の予測に「関与」する。したがって、それぞれの境界ボックスの中心は、関与するセルからのオフセットによって記述される。さらに、この実施形態のＮＮは、境界ボックスの幅及び高さを直接予測する代わりに、（ＹＯＬＯｖ３のように）本明細書ではアンカーボックスとも称される前のボックスに対する幅及び高さのオフセットを予測する。したがって、訓練中に、ネットワークは、クラスタ化を使用して訓練データから決定された特定の高さと幅との比を有するアンカーボックスの所定のセットからのオフセットを予測するように訓練される。訓練データの注釈ボックスの座標は、必要に応じてアンカーボックスの数にクラスタ化され、例えば小型ｙｏｌｏｖ３では６つのアンカーボックスが必要とされる。通常、アンカーボックスのセット生成するために、ｋ平均法クラスタ化アルゴリズムが使用されている。グラウンドトルースとアンカーボックスとの間の、共通部分と和集合の比（ＩＯＵ）は、通常、ｋ平均法クラスタ化アルゴリズムの距離メトリックと解釈される。本発明の第１のＮＮ及び／又は第２のＮＮの一実施形態では、出力テンソルにおけるそれぞれのグリッドセルは、３つのアンカーボックスからの、高さ及び幅におけるそれらのオフセットによって、３つの境界ボックスを予測する。言い換えると、出力グリッドのサイズが１３×１３であれば、最大で１３×１３×３の境界ボックスが検出され得る。

スケール間検出：本発明の一実施形態によれば、第１のＮＮ及び／又は第２のＮＮは、２つから３つ、好ましくは２つの異なるスケールにおいて、解剖学的構造を検出することを含み、それぞれのスケールは、医用画像の所定のダウンサンプリングによって与えられる。この概念は、ＹＯＬＯｖ３の著者によって「スケール間予測」と名付けられている。それによって、ＮＮにおける早期の層は、連結を使用して後の層（この層は最初にアップサンプリングされる）と組み合わされる。こうする理由は、早期の層では、大幅に間引きサンプリングされた低解像度の後の層よりも、小さい対象物がより高い解像度でより容易に検出されるためであるが、後の層は意味論的に強い特徴を含んでいる。この方法によれば、より高い解像度の早期の層を、アップサンプリングされた後の特徴マップと組み合わせることにより、アップサンプリングされた特徴マップからの、より有意義な意味情報と、早期の特徴マップからの、よりきめの細かい情報とを得ることが可能になる。それによって、スケール１における予測よりも２倍のサイズを有する第２の出力テンソルが予測される。ＹＯＬＯｖ３では、これは３つのスケールで行われるが、本発明のネットワークでは、予測は、好ましくは２つの異なるスケールにおいてのみ行われ、１つは最もダウンサンプリングされた層で行われ、１つの層は、最終層の２^１～２^２倍の大きさを有する。一般的には、本発明のニューラルネットワークは２つの異なるスケールについて、（Ｎ×Ｎ＋２Ｎ×２Ｎ）×３の境界ボックスを予測する。境界ボックスは、信頼度スコアに対する閾値並びにクラス確率を使用してフィルタリングされ、一実施形態によれば、２つの境界ボックスの共通部分と和集合の比（ＩＯＵ）の関数である、非最大抑制と呼ばれる別のフィルタが適用される。最大値抑制フィルタの主要なステップは、
（クラス確率及び信頼度スコアに対する閾値を満たす）境界ボックスを選択し、
閾値を満たすすべての他のボックスとのオーバーラップを計算し、所定のＩＯＵ閾値以上のオーバーラップがあるボックスを除去し、
ステップａ）に戻って、現在選択されているボックスよりも信頼度スコアが低いボックスがなくなるまで繰り返す、といったものである。

非最大抑制についてのさらなる情報は、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７０４．０４５０３．ｐｄｆに見られる。

これは、最良の境界ボックスが、詳細には２つのスケール間の最良の境界ボックスが、出力として残ることを保証するものである。

このネットワークアーキテクチャを使用することの大きな利点は、臨床応用に関して実現され得るように、特に、ネットワークが、限られた数のクラスに対してのみ訓練される場合、ネットワークの訓練と頑健性との両方が大幅に改善されることである。

入力医用画像のサイズは好ましくは２Ｚの奇数倍であって、Ｚは４～１０の整数であり、その結果、数回（例えばＺ回）のダウンサンプリングステップの後に、最終的なグリッドは、７×７、９×９、１１×１１又は１３×１３などの奇数の大きさを得る。それによって、中央のグリッドセルが１つになり、多くの場合、大きいサイズの対象物／解剖学的構造が画像の中央に見いだされるので有利であり、その結果、最大サイズの対象物の検出に関与するグリッドセルが１つになるので有利である。

好ましい実施形態によれば、対象物検出機能は、解剖学的構造の２～１２のクラス、好ましくは３～６のクラスを検出するように訓練される。例えば、第１のニューラルネットワークは、２～１０のクラス、好ましくは３～６のクラスを検出するように訓練される。例えば第１三半期スクリーニングの場合には、クラスはＧＳ、子宮及び胎芽である。第２のニューラルネットワークは、さらに少ない、例えば１～４といったクラス、例えば卵黄嚢のみの１つのクラスを検出するように訓練される。このようにクラスが減少することにより、第１のＮＮ及び第２のＮＮは、それぞれ、わずか９～１６の畳み込み層、好ましくは１３の畳み込み層と非常に小さくなり得、よって、非常に高速且つ頑健になり得る。

一実施形態によれば、方法のステップａ）は、対象者の超音波走査中に取得された医用画像のビデオストリームを受け取るステップを有する。よって、本発明の方法は、２０～１００フレーム／秒のフレームレートにおける医用画像の時系列に対して適用される。さらに、超音波画像は、ビデオストリームに符号化される場合には、グレースケール画像ではなく３つのチャネルを有するカラー画像になる。一般的には、超音波画像がグレー画像であるため、３つのチャネルはすべて同一の値を有する。したがって、対象物検出機能に対する入力は、ＲＧＢなどの３チャネルフォーマットの医用画像になる。これには、写真画像に対して使用されるのと同一のＮＮアーキテクチャが、医用画像の処理に適合されるという利点がある。

有効な用途によれば、医用画像は、産前の第１三半期超音波走査中に取得され、複数のクラスの解剖学的構造は、子宮、胎嚢（ＧＳ）、胎芽及び／又は卵黄嚢（ＹＳ）を含む。最も好ましくは、第１のＮＮは、第１の複数のクラス、子宮を含む大きいサイズの解剖学的構造、胎嚢及び胎芽を検出するように訓練される。そこで、第２のＮＮは、卵黄嚢と、場合により、さらに小さいサイズの解剖学的構造とを検出するように訓練される。

推論方式を参照して、「第１三半期スクリーニング」の用途に関する一実施形態では、検出された子宮の境界ボックスが、検出された胎嚢の境界ボックスを含み、検出された胎嚢の境界ボックスが、検出された胎芽及び／又は卵黄嚢の境界ボックスを含む場合には、医学的状態の「正常妊娠」の確率が増大される。境界ボックスのこの階層推論方式により、正常なＩＵＰと子宮外妊娠のような非ＩＵＰとが自動識別される。それによって、診断手法がより系統的になり、異常妊娠を検出するための簡単な方式が使用される。

別の態様によれば、本発明は、医用画像における複数のクラスの解剖学的構造を検出するのに有効な、第１のニューラルネットワークを備える対象物検出機能を訓練するための方法を提供するものであり、この方法は、
（ａ） 入力訓練データ、すなわち対象者のＦＯＶの少なくとも１つの医用画像を受け取るステップと、
（ｂ） 出力訓練データ、すなわち、第１の複数のクラスの大きいサイズの解剖学的構造のうちの１つに属する、大きいサイズの解剖学的構造を含んでいる医用画像の中の少なくとも１つの第１の境界ボックスの座標を備えるテンソルと、大きいサイズのクラスの解剖学的構造を指示する番号とを受け取るステップと、
（ｃ） 入力訓練データ及び出力訓練データを使用して、第１のニューラルネットワーク機能を訓練するステップと
を有する。

訓練方法は、本明細書で説明した対象物検出機能を訓練するように使用され、好ましくは、訓練される第１のニューラルネットワークは、本明細書で説明されたように構築されている。また、入力訓練データは、本明細書で説明されたようなＦＯＶの医用画像であり、例えば、人体の、詳細には妊娠第１三半期における生殖器の、Ｂモード超音波画像である。出力訓練データを生成するために、入力訓練データを構成する医用画像が、軸を整列させた境界ボックスを用いて手動で注釈され、それぞれの境界ボックスが１つの解剖学的構造を完全にカバーする。そこから生成されたデータは、大きいサイズの解剖学的構造を含んでいる少なくとも１つの第１の境界ボックスの座標を備えるテンソル、及び前記解剖学的構造のクラスを指示する番号であり、例えば、使用される異なるクラスは、子宮、ＧＳ及び胎芽である。一実施形態では、対象物検出機能は、５～１５人の対象者から導出したデータセットに対して、１人の対象者ごとに約１００～１０００の画像を用いて訓練される。これらの画像に存在するすべての可能な解剖学的構造に対して境界ボックスが描かれる。訓練ステップは、ｈｔｔｐｓ：／／ｐｊｒｅｄｄｉｅ．ｃｏｍ／ｄａｒｋｎｅｔ／ｙｏｌｏ／において開発されたダークネットフレームワークと同様に行われる。しかしながら、配置パラメータは、好ましくは、訓練速度及び訓練損失に関してより優れた性能を達成するように調整される。詳細には、好ましくは、学習率及びバッチサイズが調整される。訓練方法の一実施形態では、以下のパラメータが使用される。
訓練中のバッチの数＝６４
訓練中の細区分の数＝１６
バッチの最大数＝５００２００
最終層におけるフィルタの数＝（クラスの数＋５）×３
アンカポイント＝画像の解像度、境界ボックスの大きさに依拠する
ステップ数＝２４０００～２７０００

第１のＮＮ及び／又は第２のＮＮの訓練段階では、通常、画像のバッチが読み取られ、入力訓練データとして渡される。それぞれのバッチがミニバッチに分割される。バッチサイズをＮとし、ミニバッチの数をｎとする。そこで、ネットワークに対して、一度に（Ｎ／ｎ）の画像が供給される。パラメータはＧＰＵの有効性に依拠する。小さい細区分を使用することにより、勾配を計算するためのミニバッチサイズが増大する。よって、大きいミニバッチサイズを基に計算された勾配は、より優れた最適化をもたらす。１つのバッチがまた、深層学習の慣例によって、エポックとして考慮に入れられ得る。

一実施形態によれば、訓練方法はまた、第２のＮＮを訓練するための、
（ｄ） 入力訓練データ、すなわち大きいサイズの解剖学的構造を含有する第１の境界ボックスの画像コンテンツを含んでいる、トリミングされた画像を受け取るステップと、
（ｅ） 出力訓練データ、すなわち少なくとも１つの第２のクラスの、小さいサイズの解剖学的構造に属する、小さいサイズの解剖学的構造を含んでいる、トリミングされた画像の内部の、少なくとも１つの第２の境界ボックスの座標を備えるテンソルを受け取るステップと、
（ｆ） 入力訓練データ及び出力訓練データを使用して、第１のニューラルネットワーク機能を訓練するステップと
をさらに有する。

したがって、第１のＮＮの訓練に関して同一の入力訓練データが使用され得るが、この場合、入力訓練データとして、大きいサイズの解剖学的構造を含んでいる境界ボックスの画像コンテンツを含んでいるトリミングされた画像が使用される。出力訓練データは、小さいサイズの解剖学的構造の境界ボックスの座標である。

本明細書で説明された訓練方法は、解剖学的構造を検出するために使用される対象物検出機能を提供するため、すなわち、最初に第１のＮＮ及び／又は第２のＮＮを訓練するために、使用される。この訓練方法は、既に訓練されたネットワークを再較正するためにも使用される。第１のＮＮ及び第２のＮＮの訓練は逆伝搬法によって行われる。この方法では、入力訓練データは、それぞれのＮＮを通って、所定のフィルタカーネルを使用して伝搬される。出力は、誤差又はもたらされた機能を使用して出力訓練データと比較され、その出力はＮＮを通って伝搬して戻され、それによって、フィルタカーネルを見いだすための勾配、又は場合により最小の誤差を与えるバイアスなどの他のパラメータを計算する。これは、フィルタカーネルの重みを調整することと、続くコスト関数の負の勾配とによって行われる。

本発明は、命令を含むコンピュータプログラムにも関し、計算ユニットは、プログラムを実行することにより、本発明の方法を実行する。このことは、医用画像における解剖学的構造を自動的に検出する方法と、訓練方法、詳細には第１のＮＮ及び第２のＮＮの訓練方法とに当てはまる。コンピュータプログラムはダークネットを使用して実施される。ダークネットは、ニューラルネットワークを訓練するために開発されたフレームワークであり、オープンソースであって、Ｃ／ＣＵＤＡで書かれ、ＹＯＬＯの基礎として働く。リポジトリ及びウィキは、リンク（ｈｔｔｐｓ：／／ｐｊｒｅｄｄｉｅ．ｃｏｍ／ｄａｒｋｎｅｔ／）にある。コンピュータプログラムはコンピュータプログラム製品として提供される。

本発明の方法を実行する計算ユニットは、ＣＰＵ（中央処理装置）又はＧＰＵ（グラフィック処理ユニット）などの任意の処理ユニットである。計算ユニットは、コンピュータ、クラウド、サーバの一部でよく、ラップトップコンピュータ、タブレットコンピュータ、携帯電話などの携帯機器でもよい。詳細には、計算ユニットは超音波撮像システムの一部でよい。前記超音波撮像システムは、コンピュータスクリーンなどの表示デバイスも備える。

本発明はまた、命令を含むコンピュータ可読媒体を対象とし、計算ユニットは、命令を実行することにより、本発明による方法、詳細には医用画像における解剖学的構造を自動的に検出するための方法又は訓練方法を実行する。そのようなコンピュータ可読媒体は、例えばハードディスク、サーバ、クラウド、若しくはコンピュータ、及び光学的若しくは磁気的なデジタル記憶媒体、ＣＤ－ＲＯＭ、ＳＳＤカード、ＳＤカード、ＤＶＤ若しくはＵＳＢ又は他のメモリスティックといった、任意のデジタル記憶媒体である。コンピュータプログラムはコンピュータ可読媒体に記憶される。

一実施形態では、この方法はまた、医用画像を、少なくとも１つの第１の境界ボックス、及び対比色で表示される少なくとも１つの第２の境界ボックスと一緒に表示するステップ有し、その結果、ユーザは、予測の精度を検査し得る。

別の態様によれば、本発明はまた、対象者の医用画像における解剖学的構造を自動的に検出するためのシステムに関し、このシステムは、
ａ） 対象者のＦＯＶの少なくとも１つの医用画像を受け取るように構成された第１のインターフェースと、
ｂ） 医用画像に対して対象物検出機能を適用し、それによって、複数の境界ボックスの座標及び各境界ボックスに関する信頼度スコアを出力として生成するように構成された計算ユニットを備え、対象物検出機能が、複数のクラスの解剖学的構造を検出するように訓練されており、信頼度スコアは、境界ボックスが、複数のクラスのうちの１つに属する解剖学的構造を含んでいる確率を示し、この計算ユニットは、
－ 医用画像に対して、第１の複数のクラスの大きいサイズの解剖学的構造を検出するように訓練された第１のニューラルネットワークを適用することにより、少なくとも１つの第１の境界ボックスの座標と、この第１の境界ボックスが、大きいサイズの解剖学的構造を含んでいることの信頼度スコアとを、出力として生成するステップと、
－ 医用画像を第１の境界ボックスへとトリミングすることにより、第１の境界ボックスの中に、画像コンテンツを含んでいるトリミングされた画像を生成するステップと、
－ トリミングされた医用画像に対して、少なくとも１つの第２のクラスの小さいサイズの解剖学的構造を検出するように訓練された第２のニューラルネットワークを適用することにより、少なくとも１つの第２の境界ボックスの座標と、この第２の境界ボックスが、小さいサイズの解剖学的構造を含んでいることの信頼度スコアとを、出力として生成するステップと
を実行するように構成されている。

このシステムは、好ましくは、医用画像における解剖学的構造を自動的に検出するための本発明の方法を実行するように構成されている。計算ユニットは、プログラムを実行する計算ユニットに関連して上記で説明されたように、任意の処理ユニットである。システムは、超音波撮像システムにおいて、詳細には、ＧＰＵなど、超音波撮像システムの処理ユニットのうちの１つにおいて実施される。しかしながら、医用画像は、撮像システムから、例えばインターネットを介してローカル又はリモートの別の計算ユニットにも伝達され、また、境界ボックスの座標、さらには既定の医学的状態の確率も、そこから撮像システムに戻され、ユーザに表示されるか又は出力される。一実施形態では、システムは、境界ボックス座標を出力するため、詳細には第１及び第２の境界ボックスを描き込まれた医用画像を出力するための、第２のインターフェースを含む。したがって、第２のインターフェースは、コンピュータスクリーン、タッチスクリーンなどの表示デバイスに接続される。

さらに、本発明は、対象物検出機能を訓練するためのシステム、詳細には、第１のＮＮ及び／又は第２のＮＮを、本明細書で説明した訓練方法によって訓練するためのシステムも対象とする。

さらなる態様によれば、本発明は、本明細書で説明されたように、超音波信号を送受信するように構成された超音波トランスデューサを備える超音波撮像システムと、医用画像に対して対象物検出機能を適用するように構成された計算ユニットとを対象とするものであり、超音波撮像システムは、本発明によるシステムを備える。本発明の方法は、計算コストが低いので、既存の超音波撮像システム上で実行される。

次に、添付図を参照しながら本発明の有効な実施形態を説明する。類似の要素又は特徴は同一の参照符号を用いて示される。

対象者の、在胎齢８週間と４日の胎児の、注釈された境界ボックスを伴う超音波走査の医用画像である。 本発明による検知方法の一実施形態の流れ図である。 本発明による検知方法の別の実施形態の流れ図である。 本発明の一実施形態による推論方式の流れ図である。 本発明の一実施形態を用いて達成可能な解剖学的構造の位置決めの一例を示す図である。（ａ）は子宮、胎嚢（ＧＳ）及び胎芽のまわりのボックスを示し、（ｂ）はトリミングされたＧＳ画像における卵黄嚢（ＹＳ）の境界ボックスを示す。 第１及び／又は第２のニューラルネットワーク（ＮＮ）の概略図である。 本発明の一実施形態による訓練方法の流れ図である。 本発明の一実施形態によるシステムの概略図である。

図１は、対象物検出機能を訓練するための可能な訓練画像、すなわち在胎齢８週間と４日の第１三半期走査中に取得された２ＤのＢモード医用超音波画像１を示す。境界ボックスは対象者によって描かれ、出力訓練データを生成するように注釈された。最大の境界ボックスが子宮（Ｕ）のまわりに描かれ、別の境界ボックスが胎嚢（ＧＳ）のまわりに描かれており、胎嚢の内部に胎芽（Ｅ）と卵黄嚢（ＹＳ）との両方が見られ、ＧＳの内部に胎芽が見られない状況とは対照的に、正常妊娠の確率が高まる。

図２は、一連の２Ｄ超音波画像１ａ、１ｂ、１ｃなどの医用画像１において解剖学的構造を検出するための方法の一実施形態を示す。これらの画像の各々が、少し異なるＦＯＶ２をカバーし、画像１において臓器すなわち解剖学的構造３が識別可能である。これらの画像は１つずつ渡されるが、対象物検出機能４４は、以下でより詳細に説明される。対象物検出機能４は、本明細書で説明されたように、好ましくは少なくとも２つのニューラルネットワーク４０、４４を備える。対象物検出機能４の出力は、少なくとも１つの境界ボックス５又はむしろその座標、並びに境界ボックス５が特定の解剖学的構造を含んでいることの信頼度スコアである。信頼度スコアは、対象物らしさ、すなわちボックス５が対象物／解剖学的構造を含んでいる確率、及び／又は対象物が１つの特定のクラスのものである確率である。

有効な実施形態では、ステップ８において、入力画像１が、例えば画像収集ユニットに接続されたスクリーンなどの表示デバイスに表示され、十分に高い信頼度スコアを有する境界ボックス５が描かれる。次いで、ステップ６において、検出された解剖学的構造３、それらの空間位置及び／又は互いに対する関係を基に、例えば正常状態／異常状態（例えばＩＵＰ妊娠又は非ＩＵＰ妊娠）といった対象者の既定の医学的状態の確率が決定され得る。したがって、推論方式６は、対象物検出機能４によって計算された境界ボックス５を使用するものであり、例えば特定のクラスの境界ボックス５が別のクラスの内部に完全に含まれるかどうかといったこと、並びに、ある特定のクラスの解剖学的構造３の存否を計算することができるアルゴリズムを含む。また、境界ボックス５の相対的な空間位置が計算され、医学的状態に関する適切な確率７を推測するのに使用される。

図３は、対象物検出機能４をより詳細に示すものである。入力は、ここでも、ＦＯＶ２の１つ又はいくつかの医用画像１であり、それらのうちの少なくともいくつかは臓器すなわち解剖学的構造３を表す。一実施形態では、受け取られる医用画像は任意の大きさ及びピクセルサイズでよいが、第１のＮＮ ４０が最もよく働くのは、画像がＭ＊２^Ｚ×Ｍ＊２^Ｚのサイズの正方形のときであり、Ｍは奇数である。したがって、医用画像１は、第１のニューラルネットワーク４０の予期された入力サイズに適合するように、ステップ３９において、任意選択でアップサンプリング又はダウンサンプリングされる。第１のＮＮ ４０の出力は、少なくとも境界ボックス５０、５１、５２の座標である（通常は信頼度スコアも含む）。検出された境界ボックスのうちの１つが、所定の大きいサイズの解剖学的構造３ａに属するクラスを有する場合には、検出された境界ボックス５０は、医用画像１を第１の境界ボックス５０にトリミングすることによってトリミングされた画像１１を生成するために、トリミングするステップ４２において使用される。「トリミング」は、例えば写真処理においてスニッピングツールによって実行される動作、すなわち、大きい画像１から、小さい画像１１を、縁端が境界ボックス５０の縁端に沿うように切り取ることを意味する。したがって、トリミングされた画像１１は必ずしも正方形画像である必要はない。したがって、この画像は、好ましくはステップ４５においてダウンサンプリング又はアップサンプリングされ、その結果、トリミングされた画像１１は、好ましくは既定の大きさ（例えば第１のＮＮに関しては正方形の２Ｄ画像）を有し、次いで第２のＮＮ ４４に供給される。次いで、この第２のニューラルネットワークが、小さいサイズの解剖学的構造３ｂを含んでいる少なくとも１つの第２の境界ボックス５４を出力する。小さいサイズの解剖学的構造３ｂは、一般的には、ＦＯＶ２又は撮像された全体的な臓器若しくは組織体に対して非常に小さいか、又はそのような微細な組織体を有するので、これを検出するように第１のＮＮ ４０を訓練するのは困難である。しかしながら、最初に境界ボックス５０のまわりで画像１をトリミングするとき、そのような組織体の予期された場所の知見を用いれば、この第２のクラスの小さいサイズの解剖学的構造３ｂを（場合によりこれだけを）検出するように第２のＮＮ ４４を訓練するのは困難ではない。

図４は、第１のＮＮ及び第２のＮＮから計算された境界ボックスを使用する推論方式６の一実施形態の概略図である。第１三半期の超音波走査の例では、推測ステップ６０は、ＧＳの境界ボックスが存在するかどうかを計算する。存在する場合には、方法はステップ６１に進む。存在しなければ、異常妊娠（医学的状態７ｃ）である可能性が増大される。ステップ６１において、アルゴリズムは、ＧＳの境界ボックスが子宮の境界ボックスのサブセットであるかどうかを決定する。ｙｅｓであれば、正常なＩＵＰ（条件７ａ）である確率が増大され、方法はステップ６２に進む。そうでなければ、すなわちＧＳの存在が子宮内でなければ、医学的状態７ｂ「子宮外妊娠」の確率が増大される。これらのステップは、画像が第１のＮＮ ４０を通過した後に、トリミングするステップ４２及び第２のＮＮ ４４が適用される前に実行される。次いで、第２の推測ステージでは、ＹＳ及び胎芽が検出されて場所を突き止められる。ステップ６２は、卵黄嚢及び／又は胎芽の境界ボックスが、ＧＳの境界ボックスのサブセットであるかどうかを決定する。ｙｅｓであれば正常妊娠（７ａ）の確率が増大される。ＧＳの内部にＹＳ及び胎芽が検出されなければ、異常妊娠（７ｃ）の可能性が増大される。

図５は、階層的対象物検出機能の可能な結果を示す。図５ａには、子宮、ＧＳ及び胎芽のまわりに識別された境界ボックスが表されている。本発明の一実施形態により、画像は、図５ｂに示されるように、ＧＳ境界ボックスのまわりにトリミングされている。第２のＮＮはＧＳの中のＹＳを検出するように訓練されており、結果として生じる境界ボックスが図に描かれている。

図６は、好ましくはＹＯＬＯｖ３小型ネットワークの改造である第１のＮＮ及び／又は第２のＮＮの概略図を示す。この表現では、それぞれの画像入力又は特徴マップ２０、２２は、上部にその大きさ（正方形画像）が注釈され、下部にチャネル数が注釈されている。したがって、入力データセット２０は、例えばＲＧＢなどのカラー画像であり、４１６×４１６ピクセルのサイズ、及び３チャネルを有する正方形の２Ｄ画像である。グレースケール画像では、一般的には各チャネルが同一の値を有する。一方、出力層３２ａの直前の層は、大きさは１３×１３しかなく、５１２チャネルの深度を有する。

入力層２０は、大きさ３×３でストライド１の畳み込みフィルタ２４に提出され、これにサイズ２×２でストライド２のｍａｘｐｏｏｌフィルタ２８が続く。より正確には、この層では各々深度３のそのような畳み込みフィルタ２４が１６個使用されて、大きさ２０８で深度１６の特徴マップ２２ａをもたらし、これは入力層２０に対して１／２に縮小されている。特徴マップ２２ａは、大きさ３×３でストライド１の別の畳み込みフィルタを用いて畳み込まれ、これにサイズ２×２でストライド２のｍａｘｐｏｏｌ ２８が続き、結果として特徴マップ２２ｂがもたらされる。この操作又は層のブロック、すなわち大きさ３×３でストライド１の畳み込みフィルタ２４と、それに続くサイズ２×２でストライド２のｍａｘｐｏｏｌ ２８とが、あと２回繰り返され、合計５つの畳み込み層２４と、各々に続くプール層２８とをもたらし、各繰返しにおいて大きさが１／２に縮小される。次いで、特徴マップ２２ｅは再び畳み込みフィルタ２４に提出されるが、このときはサイズ２×２でストライド１のｍａｘｐｏｏｌ ２９が続き、したがって大きさをさらに縮小することはなく、次の特徴マップ２２ｆは深度５１２及び大きさ１３×１３を有する。この層に、大きさ３×３でストライド１の別の畳み込みフィルタ２４が続き、出力ボリュームを２２ｇもたらす。これが、大きさ１×１でストライド１の畳み込みフィルタ２５に提出され、畳み込みフィルタ２５は、深度を１０２４から２５６に縮小するために使用される。したがって、畳み込みフィルタ２５は、特徴マッププーリング又は投影層と呼ばれることもある。このフィルタは、顕著な特徴は保存したまま特徴マップの数（チャネルの数）を減少する。この投影層の出力２２ｈが、大きさ３×３でストライド１の別の畳み込みフィルタ２４に提出されて、出力ボリューム２２ｉをもたらし、最終的に、畳み込みフィルタ２４には、大きさｋでストライド１の畳み込みフィルタ２６が続き、ｋ＝（Ｃ＋５）×Ｂであり、Ｃはクラスの数であり、Ｂはアンカーボックスの数であって、好ましい例では３である。これによってもたらされる出力層３２ａは、スケール１のＹＯＬＯ推論と称され、上記で説明されたような出力フォーマットを有し、すなわち１３×１３のグリッド点の各々についてＢ（好ましくは３）までの境界ボックスのデータを含有し、各境界ボックスが、４つのボックス座標と、対象物らしさのスコア及び個々のクラス確率とを含む。境界ボックスは、対象物らしさ及び／又はクラススコアに関する閾値を使用してフィルタリングされる。

スケール２における検出を実施するために、早期の特徴マップ２２ｄが、畳み込みフィルタ２４に通されて、特徴マップ２２ｊをもたらす。さらに、特徴マップ２２ｈは畳み込みフィルタ２５に提出され、これにサイズ２でストライド１のアップサンプリングが続き、特徴マップ２２ｌをもたらす。これが、特徴マップ２２ｊと連結されて特徴マップを２２ｍもたらす。これが、別の３×３の畳み込みフィルタ２４に提出されて、特徴マップを２２ｎもたらす。この特徴マップは、再び畳み込みフィルタ２６に提出されて出力ボリューム（３Ｄテンソル）３２ｂをもたらし、したがって、出力ボリューム３２ｂは、より高い解像度の２６×２６のグリッドのそれぞれのセルにおけるＢの境界ボックスに関する座標及び確率を含んでいる。スケール１における境界ボックス予測とスケール２における境界ボックス予測とが、前述のように組み合わされる。

図７は、訓練方法を概略的に表すものである。図７には訓練画像１２が用意されている。本明細書で説明された例については、アルゴリズムの開発のために、１１週間未満の在胎齢の胎児の超音波走査が収集された。超音波走査から集められた画像フレームの各々が、次いで、手作業の注釈のために使用された。それぞれの画像は、全体の解剖学的構造（一例が図１に示されているＵ、ＧＳ、Ｅ、ＹＳ）をカバーする、軸と整列した境界ボックスを用いて注釈されている。データ分散は均一であることが保証され、すべての可能な在胎齢に対して均等な重み付けが与えられた。例えば、ＧＳ、Ｕ及び胎芽について、５００～５，０００の画像１２が境界ボックスを描くことによって注釈され、それぞれの注釈は図７の７０、７１及び７２に表されている。胎嚢の注釈７０は、胎嚢をトリミングするために使用される（ステップ７３）。トリミングされた画像において、卵黄嚢が注釈され、注釈が７５として保存される。

このように、訓練画像１２が入力訓練データとして使用され、ＧＳ注釈７０、子宮注釈７１及び胎芽注釈７２は、ステップ７６において、第１のＮＮを訓練するための出力訓練データとして使用される。したがって、ＧＳのまわりでトリミングされた画像７３及び卵黄嚢の注釈７５が、ステップ７８において、第２のＮＮを訓練するために使用される。

図８は、本発明の方法を実行するように構成された、本発明の一実施形態による超音波システム１００の概略図である。超音波システム１００が含む通常の超音波ハードウェアユニット１０２は、ＣＰＵ １０４と、ＧＰＵ １０６と、例えばハードディスク又はソリッドステートディスク２０１９ＰＦ００３５０ ２０といったデジタル記憶媒体１０８とを含む。コンピュータプログラムは、ＣＤ－ＲＯＭ １１０から、又はインターネット１１２を通じて、ハードウェアユニットにロードされる。ハードウェアユニット１０２は、キーボード１１６及び任意選択のタッチパッド１１８を備えるユーザインターフェース１１４に接続されている。タッチパッド１１８は、撮像パラメータを表示するための表示デバイスとしても働く。ハードウェアユニット１０２は、超音波トランスデューサ１２２の配列を含む超音波プローブ１２０に接続されており、この配列は、対象者又は患者（図示せず）から、Ｂモード超音波画像を、好ましくはリアルタイムで収集することを可能にするものである。超音波プローブ１２０を用いて取得されたＢモード画像１２４、並びにＣＰＵ １０４及び／又はＧＰＵが本発明の方法を実行することによって生成された境界ボックス５は、例えばスクリーン、テレビジョンセット、フラットスクリーン、プロジェタなど、任意の市販の表示ユニットであるスクリーン１２６上に表示される。さらに、例えばインターネット１１２を介してリモートコンピュータ又はサーバ１２８が接続される。本発明による方法は、ハードウェアユニット１０２のＣＰＵ １０４又はＧＰＵ １０６によって実行されるが、リモートサーバ１２８のプロセッサによって実行されてもよい。

上記の議論は本システムの単なる例示となるように意図されており、何らかの添付の特許請求の範囲を、特定の実施形態又はグループの実施形態に限定するものと解釈されるべきでない。したがって、本システムは、例示の実施形態を参照しながら特に詳細に説明されているが、以下の特許請求の範囲において明記される、本システムの、広く意図された趣旨及び範囲から逸脱することなく、当業者によって、多くの修正形態及び代替実施形態が考案されることも理解されたい。したがって、明細書及び図面は例示と見なされるべきであり、添付の特許請求の範囲を制限するように意図されたものではない。

医用画像
ＦＯＶ
解剖学的構造
３ａ 大きいサイズの解剖学的構造
３ｂ 小さいサイズの解剖学的構造
対象物検出機能
境界ボックス
推論方式
医学的状態及びその確率
７ａ 医学的状態及びその確率
７ｂ 医学的状態及びその確率
７ｃ 医学的状態及びその確率
８ ディスプレイ
１１ トリミングされた画像
１２ 訓練画像
２０ 入力層
２２ 特徴マップ
２４ 大きさ３×３でストライド１の畳み込みフィルタ
２５ 大きさ１×１でストライド１の畳み込みフィルタ
２６ 大きさＫ＝（Ｃ＋５）×Ｂでストライド１の畳み込みフィルタ
２８ サイズ２×２でストライド２のＭａｘｐｏｏｌ
２８ サイズ２×２でストライド１のＭａｘｐｏｏｌ
３０ サイズ２×２でストライド１のアップサンプリング
３２ａ 出力層
３９ アップサンプリング又はダウンサンプリング
４０ 第１のニューラルネットワーク
４２ トリミングするステップ
４４ 第２のニューラルネットワーク
４５ アップサンプリング又はダウンサンプリング
５０ 第１の境界ボックス（の座標）
５１ 境界ボックス（の座標）
５２ 境界ボックス（の座標）
５４ 第２の境界ボックス（の座標）
６０ ＩＦ／ＥＬＳＥ推論ステップ
６１ ＩＦ／ＥＬＳＥ推論ステップ
６２ ＩＦ／ＥＬＳＥ推論ステップ
７０ ＧＳ注釈
７１ Ｕ注釈
７２ 胎芽注釈
７３ 胎嚢のトリミング
７５ ＹＳ注釈
７６ 訓練ステップＮＮ１
７８ 訓練ステップＮＮ２
１００ 超音波システム
１０２ ハードウェアユニット
１０４ ＣＰＵ
１０６ ＧＰＵ
１０８ デジタル記憶媒体
１１０ ＣＤ－ＲＯＭ
１１２ インターネット
１１４ ユーザインターフェース
１１６ キーボード
１１８ タッチパッド
１２０ 超音波プローブ
１２２ 超音波トランスデューサ
１２４ Ｂモード画像
１２６ スクリーン
１２８ リモートサーバ

Claims (15)

1. 対象者の医用画像における解剖学的構造を自動的に検出するためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
   ａ） 前記対象者のＦＯＶの少なくとも１つの医用画像を受け取るステップと、
   ｂ） 前記医用画像に対して対象物検出機能を適用して、それによって、複数の境界ボックスの座標及び各境界ボックスに関する信頼度スコアを出力として生成するステップとを有し、前記対象物検出機能は、複数のクラスの解剖学的構造を検出するように訓練されており、前記信頼度スコアは、前記境界ボックスが、前記複数のクラスのうちの１つに属する解剖学的構造を含んでいる確率を示す、コンピュータ実施方法において、前記対象物検出機能が、
   前記医用画像に対して、第１の複数のクラスの大きいサイズの解剖学的構造を検出するように訓練された第１のニューラルネットワークを適用することにより、少なくとも１つの第１の境界ボックスの座標と、前記第１の境界ボックスが大きいサイズの解剖学的構造を含んでいることの前記信頼度スコアとを、出力として生成するステップと、
   前記医用画像を前記第１の境界ボックスへとトリミングして、前記第１の境界境界ボックスの中に、前記画像のコンテンツを含んでいるトリミングされた医用画像を生成するステップと、
   前記トリミングされた医用画像に対して、少なくとも１つの第２のクラスの小さいサイズの解剖学的構造を検出するように訓練された第２のニューラルネットワークを適用することにより、少なくとも１つの第２の境界ボックスの座標と、前記第２の境界ボックスが小さいサイズの解剖学的構造を含んでいることの前記信頼度スコアとを、出力として生成するステップと
   を実行し、
   前記対象物検出機能が、大きいサイズの解剖学的構造と小さいサイズの解剖学的構造との間の階層関係に基づくものであり、前記第１の複数のクラスの大きいサイズの解剖学的構造のうちの少なくとも１つが、前記小さいサイズのクラスの解剖学的構造のうちの１つ又はいくつかを含んでいると予期される、
   ことを特徴とする、コンピュータ実施方法。
2. ｃ） 前記対象者の既定の医学的状態の確率を決定するさらなるステップを有し、前記既定の医学的状態の確率が、１つ又はいくつかのクラスの解剖学的構造の存否、及び／又は、解剖学的構造を含んでいる検出された前記境界ボックスの相対的な空間位置に基づいた推論方式を使用して決定される、請求項１に記載のコンピュータ実施方法。
3. 第１のクラスの解剖学的構造を含んでいる第１の検出された境界ボックスが、第２のクラスの解剖学的構造を含んでいる第２の検出された境界ボックスを包含する場合には、既定の医学的状態の前記確率が増大される、請求項１又は２に記載のコンピュータ実施方法。
4. 前記コンピュータ実施方法が、前記対象者の同一の診察期間中に取得された、異なるＦＯＶでの複数の２次元医用画像について繰り返され、前記検出された境界ボックスの前記信頼度スコアが、さらなる評価のために最適な医用画像又はＦＯＶを計算するために使用される、請求項１から３のいずれか一項に記載のコンピュータ実施方法。
5. 前記第１のニューラルネットワーク及び／又は前記第２のニューラルネットワークが完全な畳み込みニューラルネットワークである、請求項１から４のいずれか一項に記載のコンピュータ実施方法。
6. 前記第１のニューラルネットワーク及び／又は前記第２のニューラルネットワークが、２つの異なるスケールで解剖学的構造を検出することを含み、それぞれのスケールが、前記医用画像の所定のダウンサンプリングによって与えられる、請求項１から５のいずれか一項に記載のコンピュータ実施方法。
7. 前記第１のニューラルネットワーク及び／又は前記第２のニューラルネットワークが、ＹＯＬＯｖ３の完全な畳み込みニューラルネットワークである、請求項１から６のいずれか一項に記載のコンピュータ実施方法。
8. 前記対象物検出機能が、２～１２の、好ましくは３～５のクラスの解剖学的構造を検出するように訓練されている、請求項１から７のいずれか一項に記載のコンピュータ実施方法。
9. 前記医用画像が、産前の第１三半期の超音波走査中に取得されたものであり、前記複数のクラスの解剖学的構造が子宮、胎嚢、胎芽及び／又は卵黄嚢を含む、請求項１から８のいずれか一項に記載のコンピュータ実施方法。
10. 検出された子宮の境界ボックスが検出された胎嚢の境界ボックスを含み、前記検出された胎嚢の前記境界ボックスが胎芽及び／又は卵黄嚢の検出された境界ボックスを含む場合には、前記医学的状態の「正常妊娠」の確率が増大される、請求項２又は９に記載のコンピュータ実施方法。
11. 医用画像における複数のクラスの解剖学的構造を検出するための対象物検出機能を訓練するための方法であって、前記対象物検出機能は第１のニューラルネットワークを含み、前記方法は、
    （ａ） 入力訓練データ、すなわち対象者のＦＯＶの少なくとも１つの医用画像を受け取るステップと、
    （ｂ） 出力訓練データ、すなわち、第１の複数のクラスの大きいサイズの解剖学的構造のうちの１つに属する、大きいサイズの解剖学的構造を含んでいる前記医用画像の中の少なくとも１つの第１の境界ボックスの座標を備えるテンソルと、前記大きいサイズの前記クラスの解剖学的構造を指示する番号とを受け取るステップと、
    （ｃ） 前記入力訓練データ及び前記出力訓練データを使用して、前記第１のニューラルネットワークを訓練するステップと
    （ｄ） 入力訓練データ、すなわち大きいサイズの解剖学的構造を含有する前記第１の境界ボックスの画像コンテンツを含んでいる、トリミングされた画像を受け取るステップと、
    （ｅ） 出力訓練データ、すなわち少なくとも１つの第２のクラスの、小さいサイズの解剖学的構造に属する、小さいサイズの解剖学的構造を含んでいる前記トリミングされた画像の内部の、少なくとも１つの第２の境界ボックスの座標を備えるテンソルを受け取るステップと、
    （ｆ） 前記入力訓練データ及び前記出力訓練データを使用して、前記第２のニューラルネットワークを訓練するステップと
    を含む、方法。
12. 前記出力訓練データがＮ×Ｎ×［Ｂ＊（４＋１＋Ｃ）］のサイズを有するテンソルを含み、Ｎ×Ｎは最終的な特徴マップの大きさであり、Ｂはアンカーボックスの数であって、Ｃはクラスの数であり、アンカーボックスの数は好ましくは３又は６である、請求項１１に記載の訓練方法。
13. 前記出力訓練データが、ダウンサンプリングされた特徴マップに対して１×１の検出カーネルを適用することによって生成され、前記検出カーネルの形状が１×１×（Ｂ＊（５＋Ｃ））であり、Ｂはアンカーボックスの数であって、Ｃはクラスの数であり、アンカーボックスの数は好ましくは３又は６である、請求項１１又は１２に記載の訓練方法。
14. 命令を含むコンピュータプログラムであって、計算ユニットが、前記コンピュータプログラムを実行することにより、請求項１から１３のいずれか一項に記載の方法を実行する、コンピュータプログラム。
15. 対象者の医用画像における解剖学的構造を自動的に検出するためのシステムであって、前記システムは、
    ａ） 前記対象者のＦＯＶの少なくとも１つの医用画像を受け取るように構成された第１のインターフェースと、
    ｂ） 前記医用画像に対して対象物検出機能を適用し、それによって、複数の境界ボックスの座標及び各境界ボックスに関する信頼度スコアを出力として生成するように構成された計算ユニットとを備え、前記対象物検出機能が、複数のクラスの解剖学的構造を検出するように訓練されており、前記信頼度スコアは、前記境界ボックスが、前記複数のクラスのうちの１つに属する解剖学的構造を含んでいる確率を示し、前記計算ユニットが、
    前記医用画像に対して、第１の複数のクラスの大きいサイズの解剖学的構造を検出するように訓練された第１のニューラルネットワークを適用することにより、少なくとも１つの第１の境界ボックスの座標と、前記第１の境界ボックスが大きいサイズの解剖学的構造を含んでいることの前記信頼度スコアとを、出力として生成するステップと、
    前記医用画像を前記第１の境界ボックスへとトリミングすることにより、前記第１の境界ボックスの中に、前記画像のコンテンツを含んでいるトリミングされた画像を生成するステップと、
    前記トリミングされた医用画像に対して、少なくとも１つの第２のクラスの小さいサイズの解剖学的構造を検出するように訓練された第２のニューラルネットワークを適用することにより、少なくとも１つの第２の境界ボックスの座標と、前記第２の境界ボックスが小さいサイズの解剖学的構造を含んでいることの前記信頼度スコアとを、出力として生成するステップとを
    実行し、
    前記対象物検出機能が、大きいサイズの解剖学的構造と小さいサイズの解剖学的構造との間の階層関係に基づくものであり、前記第１の複数のクラスの大きいサイズの解剖学的構造のうちの少なくとも１つが、前記小さいサイズのクラスの解剖学的構造のうちの１つ又はいくつかを含んでいると予期される、
    システム。

Images