JP7846418B2 - 胎児心拍数モニタリング - Google Patents

Description

本発明は、超音波胎児心拍数モニタリングシステム、及び対応するコンピュータ実装超音波胎児心拍数モニタリング方法に関する。本発明はさらに、コンピュータ可読媒体に関する。

分娩中の合併症は、母親と新生児との両方の安全性に影響を与える可能性がある。世界中で、毎年、出産時の合併症による母親の死亡が約５００，０００もある。約７００万人の女性が出産後に長期にわたる大きな問題を抱えており、５０００万人の女性が出産後に自身の健康の悪影響に直面している。

胎児心拍数は、分娩中の胎児の健康を評価するための重要な情報である。現在では、このために、典型的には、ドップラー超音波に基づく胎児モニターが使用される。ドップラー効果を使用して、測定される周波数シフトに基づいて、胎児心拍数を計算することができる。胎児心拍数は、複数の超音波トランスデューサ素子を使用し、これら素子において受信したドップラー信号の電力（パワー）に基づいて測定される。

残念ながら、現在の胎児モニタリングは、特に、胎児モニターのトランスデューサを手動で（再）位置決めるので、使い方が複雑であり、時間がかかる。胎児心臓が超音波ビーム内に置かれることは、ｆＨＲ（胎児心拍数）計測の信頼性にとって重要である。臨床診療において、臨床医は、母体腹部を触診して胎位を識別し、次いで、最良のｆＨＲ信号を取得することができる母体腹部に超音波トランスデューサを固定する。トランスデューサの最適な位置を見つけることは、ドップラー音の出力の強さを聴くことに基づいて、及び／又は信号品質インジケータに基づいて行われる。超音波トランスデューサの変位、又は超音波ビームの外への胎児心臓の変位により、ｆＨＲ信号が失われることがある。従って、産科医は、ｆＨＲ信号が長期間失われるのを避けるために、超音波トランスデューサの位置決めという単調で退屈な手続きを繰り返すことがしばしば必要である。さらに、特に、（例えば、臍帯又は他の母体血管から捕捉される）母体心拍数が、胎児モニターによって胎児心拍数として選択される危険性があるため、機器を使用する人は十分に訓練される必要があることは不利益である。

欧州特許EP 3454758 B1は、胎児の健康モニタリング中に超音波トランスデューサの最適な位置を決定するための方法を開示している。中央の圧電素子と、その圧電素子の周りに円形状に配される追加の圧電素子とを有する超音波デバイスが使用される。このデバイスは、位置支援モード及び胎児心拍数モードに対応している。位置支援モードでは、トランスデューサの１つの素子が超音波信号を生成するために使用され、この信号の超音波エコーが夫々の素子で受信され、夫々のドップラー信号を決定する。ユーザは、どのトランスデューサが最も強いドップラー信号強度を持つかを知らされるので、中央の素子が最も強い信号を持つようにユーザがデバイスを再配置するのを支援する。胎児心拍数モードでは、胎児心拍数の全体的なドップラー信号を生成するために、送信及び受信の両方に全ての圧電素子が使用される。

例えば、家でのモニタリング中のような未経験のユーザに対し、使用される超音波プローブを確実に正しく配置するのにより良く役立つ胎児心拍数モニタリングのためのシステムを提供することが有益である。

本発明の第１の態様によれば、請求項１及び１４によって夫々定義されるような超音波胎児心拍数モニタリングシステム及び対応する方法が提供される。本発明のさらなる態様によれば、請求項１５によって定義されるようなコンピュータ可読媒体が提供される。

様々な態様は、超音波プローブを使用してドップラー超音波信号を取得することによって、胎児心拍数をモニタリングすることに関する。ドップラー超音波信号は、測定体積の周波数シフトを示している。この周波数シフトに基づいて、胎児心拍数を決定することができる。特に、それ自体は知られているように、心臓壁が移動する速度及び／又は方向を決定することによって、胎児心拍数を決定することができる。ほとんどの場合、ドップラー超音波信号は、いわゆるパルス（PW: pulse wave)）ドップラーモードで取得される。ＰＷドップラーモードでは、複数のパルスを送信し、これら送信されたパルスの相対的な位相変化を使用して、周波数シフトを導出し、それによって前記速度及び／又は方向を導出することができる。ＰＷドップラー法を使用することに代わる手段として、連続波（ＣＷ）ドップラー法を使用することも可能である。ＣＷドップラーでは、音波を連続的に送受信し、定められた経路に沿って夫々の速度を記録することを可能にする。

ドップラー超音波信号は実際に胎児心臓の測定値を表すこと、例えば母体血管の脈動を表さないことを確認するために、本願の発明者は、超音波画像を取得するために撮像モードで動作することもできる超音波プローブを使用することを想定している。特に、ドップラー超音波に対し典型的に使用されるプローブとは異なり、このプローブは、トランスデューサのフェーズドアレイ、例えば、１Ｄ又は２Ｄのフェーズドアレイを備えてもよい。超音波画像データを物体検出モデルに入力して、超音波プローブのドップラーモードによって取り扱い可能な超音波画像の標的領域内に胎児心臓が置かれているかどうかを決定する。撮像モードは、例えば、２Ｄモードとしても知られる、いわゆるＢモード（輝度モード）とすることができる。例えば、トランスデューサの１次元フェーズドアレイを使用して、測定体積を通る平面をスキャンし、それによって、２Ｄ超音波画像、言い換えると、２Ｄ超音波スキャンフレームを取得することができる。

超音波画像自体は知られているが、データの取得及び解釈を含む操作には、一般に高度な訓練の努力が必要であり、現在のフォームファクタはモニタリング目的に適していないため、現在では、陣痛の活動期では広く使用されていない。しかしながら、本願の発明者は、超音波画像を使用して胎児心臓が標的領域内に置かれているかどうかを決定することによって、ドップラーベースの胎児心拍数モニタリングの状況において依然として有利に使用され得ることを見出した。

訓練された物体検出モデルは、撮像モードで取得した超音波画像に適用される。この物体検出モデルは、前記超音波画像における胎児心臓を位置特定する、例えば、検出された場合は超音波画像における胎児心臓の位置を出力し、又は胎児心臓が全く検出されなかったことを出力するように構成される。検出された位置が特定の標的領域内に含まれる場合、超音波プローブは、例えば、上述したように撮像モードにも使用されるフェーズドアレイのトランスデューサの１つを使用することによって、胎児心拍数を測定するためにドップラーモードに切り替えられる。

提供される手法は、幾つかの利点を持つ。超音波画像に適用される訓練された物体検出モデルを使用することによって、胎児心臓は、高い信頼性で位置が特定される。その結果、胎児心臓が認識される際にドップラーモードに切り替えたとき、測定される胎児心拍数も正確に測定される可能性が高くなる。超音波画像を使用することにより、超音波センサの撮像能力を利用することができる。この新たに利用可能な視覚情報を用いて、例えば、畳み込みニューラルネットワークのような最新の物体検出モデルを利用することができる。物体検出技術は、優れた性能を提供することができ、普通のハードウェア上でリアルタイム又は略リアルタイムで実行することができる。精度が改善される１つの理由は、物体検出モデルは、超音波画像には作用し、ドップラー信号には作用しないからである。これは、胎児心臓を位置特定するために、例えば、分娩の進行中期であっても、前記モデルは、母体の腹部及び／又は胎児の解剖学的構造の他の部分を使用することができることを意味する。例えば、胎児脊椎又は胎児大腿骨は、ドップラーデータとは異なり、超音波画像に見ることができる。物体検出モデルが胎児心臓を認識するようにだけ訓練されていたとしても、このモデルは、この他の情報も暗黙的に使用することもできる。

また、前記認識は視覚的であり、ドップラー信号に基づかないので、胎児心臓を、ドップラー信号を生成する他の情報源と混同してしまう危険性が排除される。最も強いドップラー信号強度に頼る場合、それだけでは、胎児心臓が測定されていることを保証するものではなく、望ましいベースバンドでドップラーシフトを生成する別の解剖学的構造を測定しないことを保証するものではない。視覚的な認識は、胎児心臓自身又は任意の他の血管によって生成されるドップラーシフトとは無関係であるので、その精度、従ってその安全性も改善される。

別の利点は、胎児心臓がビームの焦点にない場合であっても、位置特定を取得することができることである。例えば、ドップラーモードでの超音波プローブの測定体積は、約１０ｃｍ幅の円筒形領域とすることができる。ドップラー超音波に基づくガイダンスを提供することは、胎児心臓がその測定体積に近い場合、例えば、２０ｃｍ以内である場合、有効である。さらに、ドップラーに基づく技術は、胎児心臓以外の他の解剖学的部位を認識する、又はそうでなければ、曖昧なガイダンスを提供するという特に高い危険性を持つのに対し、画像に基づく位置特定は依然として有効である。例えば、画像に基づく位置特定は、最初に腹部上の任意の場所にプローブを配置することに基づいて有効となる。例えば、プローブは、比較的短い時間期間内に２つの位置に置かれ、次いで、これらの位置は、胎児心臓自身が位置する場所でなくても、胎児心臓を測定するのに最良な位置を知らせる。

さらに、撮像モードで適用される画像検出モデルの使用も、撮像モードでいる間、システムが超音波画像及び／又は位置を出力することができるという事実に関連して、多くの追加の利点を持つ。これらの出力は、他の箇所にも記載されるように、例えば、胎児心臓が見えていないときでも、胎児の解剖学的構造の他の部位を検出して、ガイダンスを提供するため、前記画像及び／又は位置を示すため、及び／又はドップラー超音波の焦点を合わせるために、様々な方法で使用することができる。

撮像モードでのみプローブを使用するのと比べて、胎児心拍数を測定するためのドップラーモードの使用は、多数の利点を持つ。１つの利点は、ドップラーモードに対する現在の信頼できる測定技術を使用できることである。さらに、ドップラーモードは、撮像モードよりも低い電力量を使用することができる。例えば、ドップラーモードでの使用は、２０ｍＷ／ｃｍ^２未満である一方、イメージングモードは、それより多くの量を使用する。電力消費が減った結果、システムは、連続的なモニタリングにより適したものとすることができる、例えば、システムは、少なくとも１時間、少なくとも４時間又は少なくとも１０時間のモニタリングに使用することができる。特に、そのような長期間の使用中、より少ない電力、例えば、２０ｍＷ／ｃｍ^２未満の電力を使用することは、骨及び皮膚へのダメージを防ぐのに役立つ。また、電力が低いことによって、デバイスが発生する熱も減少し、デバイスを腹部上でにより快適に感じさせ、デバイスの構成要素の寿命を向上させる。

同じトランスデューサを使用して、超音波画像及びドップラー超音波信号の両方を捕捉する、例えば、撮像にも使用されるトランスデューサの１つによって、ドップラー超音波信号を捕捉することができる。このようにして、比較的少量のハードウェアで十分であり、両方の事例において使用されるトランスデューサは同じであるので、撮像モードにおける超音波画像の位置は、ドップラーモードにおいて超音波センサが取り扱い可能な領域と一致することが保証される。

ドップラーモードに切り替えるための標的領域は、超音波画像全体と一致することができるが、好ましくは、この超音波画像全体の部分領域、例えば、超音波画像の境界領域を除外した部分領域、例えば、画像化した領域の多くても或いは少なくとも１０％、多くても或いは少なくとも２０％、又は多くても或いは少なくとも３０％を除外する部分領域である。このようにして、プローブがドップラーモードに切り換えられ、次いで信号が失われるようにわずかに移動し、次いで撮像モードに切り換えられる場合、胎児心臓が、超音波センサの圏外となることが防止される。ドップラーモードにおいて超音波プローブによって取り扱い可能な領域は、多くの場合、超音波画像によって捕捉される領域と一致する、例えば、前記画像全体がドップラーモードによって取り扱い可能である。また、そのような場合において、デバイスがドップラーモードに切り替わる標的領域は、典型的には、撮像される及び／又はドップラー測定されるこの領域全体の部分領域である。

任意選択で、ドップラーモードにあるとき、ドップラー超音波信号の信号品質指標が、例えば、既知の技術を使用して決定されてもよい。この信号品質指標が所定の品質しきい値を満たさない場合、超音波プローブは、撮像モードに戻されてもよく、例えば、胎児心臓の位置が特定されるまで、物体検出モデルが再び繰り返し適用されてもよい。従って、測定された胎児心拍数が正確であることがさらに保証される、つまり、撮像モードでは、胎児心臓が所望する標的領域内にあるまで、胎児心拍数は測定されず、ドップラーモードでは、前記信号品質指標は、心拍数の正確な測定に対する十分な品質を保証することができる。品質しきい値は、少なくとも、胎児心臓が標的領域内にある場合、信号品質は概ね十分であるように較正される。しかしながら、より厳しい標的領域の画定を持つことが可能である、例えば、信号品質は、標的領域の外側でも十分であるとすることができる。しかしながら、胎児心臓が標的領域内にあったとしても信号品質は不十分であるという反対の状況は、通常望ましくない。

何れの場合も、品質しきい値は、しきい値が、例えば安全マージンを含む、超音波画像によって捕捉された前記領域に概ねあるように較正されることが好ましい。このようにして、しきい値に達すると、胎児心臓を認識するための撮像モードに自動的に切り替わり、場合によっては、プローブの再位置決めを必要とせずに、例えばビームステアリング(beam steering)によってドップラー超音波ビームの焦点が合わせられる更新した位置を使用して、再びドップラーモードに自動的に切り替わることが可能である。

任意選択的に、信号品質指標は、ユーザに知覚可能な方法で出力されてもよい。このようにして、ユーザは、プローブが腹部上の良好な位置にあるかどうかが知らされ、ユーザは、信号品質を改善するために、プローブを移動させようと試みることができる。超音波プローブ自体上に視覚インジケータ、例えば、１つ以上のライトを使用することが特にユーザにとって好都合である。

任意選択的に、超音波プローブは、圧電トランスデューサ及び／又は静電容量型超音波トランスデューサ（ＣＭＵＴ）の形態の１つ以上のトランスデューサを有する。例えば、これらトランスデューサは、複数のトランスデューサのフェーズドアレイ、例えば、線形フェーズドアレイを形成し、２Ｄ超音波画像を生成することを可能にする。これらトランスデューサは、トランスデューサのグリッド、例えば、マトリクスアレイも形成し、３Ｄ超音波画像を生成することを可能にする。

任意選択的に、ドップラー超音波ビームは、置かれた位置に焦点が合わされてもよい。言い換えると、深度を含むドップラー測定のためのウィンドウは、置かれた位置に応じて設定されることができる。様々な超音波プローブ、特にトランスデューサアレイに基づく超音波プローブは、ドップラー超音波ビームを特定の位置に焦点を合わせるためのビームフォーミングの使用に対応する。胎児心臓の位置を決定するために、焦点を合わせることは、超音波ビームがその特定の位置に焦点が合わせられるので、物体検出の使用と組み合わせて特に有利である。例えば、胎児心臓は、幾つかの先行技術の事例にあるように、超音波プローブの真下にある円筒の中に置かれる必要がない。これは、超音波プローブの配置にほどんど正確さを必要としないので、例えば、ほとんど又は全く訓練が無くても、超音波プローブを特に使用し易くする。

深度選択を使用するのと比較して、多くの利点が提供される。ドップラー超音波ビームの焦点を合わせることは、深度だけでなく、この深度に垂直となる水平位置及び垂直位置を設定することも含むことができる。深度を設定するだけでは、この深度領域に複数の信号源が存在する状況に対処できないという利点がある。さらに、深度選択は、深度に焦点を合わせるために良好な初期信号を必要とするのに対し、提供する技術は、撮像された領域内に胎児心臓がない場合でも、ガイダンス情報を提供することができる。この提供される技術は、深度選択の遅く、反復的なウィンドウ設定も改善し、信号対雑音比が悪化すると、ウィンドウが完全にオープンになるという問題もない。

任意選択的に、超音波画像及び／又はこの超音波画像における胎児心臓の位置が、ディスプレイ上に示される。例えば、超音波画像、又は例えば、アバターのような母体腹部の図形画像が、検出された位置を示すために使用される四角、ばつ印又は同様のものと共に示されてもよい。これは、幾つかの目的を果たすことができる。ユーザは、超音波プローブによって生成された画像に対して及びプローブ自体に対しても、胎児心臓が置かれる場所をスクリーン上に見ることができるので、超音波プローブのガイダンスに役立つことができる。

任意選択的に、例えば、超音波画像自体の代わりに図形画像を示すことは、より容易な解釈を可能にすることができ、例えば、法律上の理由により、ユーザが、超音波画像自体を見ること及び／又は超音波画像で判断することが許可されない場合、又は、例えば、母親が、この画像が見られるのを望まない場合にも、好ましい。超音波画像は、バックグラウンドで処理されるが、記憶されたり又はユーザに表示されたりすることはない。任意選択的に、ドップラーモードに切り替えるための標的領域も可視化され、ドップラーモードへの切り替えが予想されるとき、ユーザにガイダンスを提供する。

超音波画像自体を示すとき、胎児心臓が検出された位置を表示することは、システムが胎児心臓を正しく認識したかどうかをユーザがチェックすることを可能にすることによって、信頼性メカニズムとして使用することもできる。例えば、システムがドップラーモードに切り替わったとき、及び／又は認識された胎児心臓を使用して、ドップラー超音波ビームの焦点を合わせたとき、ユーザは、これが心臓の正しい認識に基づいているかどうかを検証することができる。

任意選択的に、物体検出モデルは、胎児心臓に加えて、この胎児の１つ以上の胎児身体部位を位置特定するように構成される。これらの身体部位は、胎児頭部、胎児脊椎及び／又は胎児大腿骨を含むことができる。ドップラー信号の代わりに超音波画像が使用されるという事実は、これらの身体部位も同様に認識されることを可能にする。これらの追加の位置特定を出力することは、この情報が、特に胎児心臓自体が画像内に見ることができない状況においても、超音波プローブをより容易に正しい位置に置くことができるので、有利である。

この追加の位置特定を出力する１つの方法は、それらをディスプレイ上に示すことであり、例えば、超音波画像は、物体検出モデルが位置特定するように構成される任意の胎児身体部位の位置特定と共に示されることができる。これらの位置特定は、ユーザ、例えば、看護師又は助産師のような特に経験の浅いユーザが、胎児の向きを決定し、それによって、超音波プローブを適切に動作させるためにこのプローブを置くことを助けることができる。

少なくとも胎児心臓の位置特定を使用するが、場合によっては物体検出モデルが位置特定する他の任意の胎児身体部分の位置特定も使用する別の方法は、超音波プローブを胎児心臓に誘導するためのガイダンス情報を決定するためである。このガイダンス情報は、ディスプレイに出力することができる。興味深いことに、このガイダンス情報は、単に母体腹部に対するプローブの回転又は角度の変更を提案するのではなく、母体腹部上の異なる位置にプローブを移動させることを提案することができる。

特に、胎児頭部、胎児脊椎及び胎児大腿骨の１つ以上の位置特定に基づく。特に、胎児脊椎が検出され、胎児頭部が検出されない場合、ガイダンス情報は、超音波プローブを胎児頭部の予想される位置に誘導するためのガイダンス情報を決定することができる。これは、胎児脊椎が子宮内の任意の位置において向くことができるので、プローブの最初の配置にあまり依存せずに、配置を成功させるという利点がある。さらに、胎児脊椎の位置は、胎児の全体的な解剖学的構造にとって非常に有益な情報を提供する。脊椎の位置が与えられると、胎児心臓の位置を提案し、胎児心臓を捕捉するための超音波プローブの配置が可能である。また、胎児頭部を位置特定することは、この胎児頭部がかなり高い信頼性で認識されることができるため有益であり、超音波プローブが胎児頭部の位置に置かれ、胎児頭部と胎児脊椎との両方が検出されると、胎児心臓へのガイダンスを特に高い信頼性で提案することができる。次いで、超音波プローブを胎児心臓の予想される位置に誘導するためのガイダンス情報が決定される。

ガイダンス情報を決定するために、例えば、前記位置特定に基づいて胎児の幾何学的形状を内部で再構成するアルゴリズムを使用することができる。例えば、ラベル付きデータセットに基づいてガイダンスを出力するように訓練された機械学習可能なガイダンスモデルを使用することも可能である。

ガイダンス情報は、様々な方法で示されることができ、例えば、母体腹部の画像上に拡張されるようなグリッド、例えば、３×３グリッド又は同様のもの上に提案位置として視覚化される。実施例を本明細書に示す。ガイダンス情報は、必要に応じて、決定された胎児の解剖学的構造の視覚化及び／又は超音波プローブからの実際の画像と組み合わせることができる。ガイダンス情報は、実際の超音波画像を表示することなく（場合によっては記憶することなく）表示されてもよく、これは、他の場所でも言及されているように、視覚化をより容易に解釈することができ、超音波画像を表示することが望ましくない状況において有用である。

身体部位の位置特定に基づくガイダンスは、胎児の全体的な配置を決定することができ、胎児心臓自体の位置だけではないという追加の利点を有する特に効果的なガイダンスメカニズムである。さらに、この種のガイダンスは、臨床診療に慣れている人々によく知られており、ここで、超音波プローブを置く人は、典型的には、胎児の解剖学的構造を明らかにするために、臨床医が、一定のパターン、例えば、上側→下側→左側→右側による母体腹部を触診するプロトコルに従う。今日使用されているようなプロトコルは、経験を積んだ人であっても、実際には１５～２０分かかることがある。提供されるガイダンス技術は、この時間を大幅に短縮することを可能にし、出産前の間に未経験又は資格を保有していないユーザ（看護師、助産師）によってもプローブが使用されることを可能にする。システムは、脊椎を検出すると、最初にプローブを頭部に誘導し、次いで心臓に誘導することを目的としているが、その間に、十分に信頼できる心臓がすでに検出されている場合、これを検出する際にドップラーモードに直接切り替えることが可能である。しかしながら、例えば、モードを切り替える前に胎児の向きを完全に決定することを可能にするために、脊椎及び頭部の両方が検出された後に、胎児心臓だけを検出する及び／又はドップラーモードに切り替えることも可能である。

任意選択的に、超音波プローブの向きは、ガイダンス情報を決定するために使用される。例えば、超音波プローブは、この超音波プローブの配向角を提供する慣性測定装置（ＩＭＵ）を有してもよい。この向きは、胎児心臓及び／又は他の身体部位の位置を決定するために物体検出モデルに入力されてもよく、ガイダンス情報を決定するために使用されてもよい。興味深いことに、母体腹部の球体のような形状が与えられると、超音波プローブの向きは、前記腹部上の超音波プローブの位置のかなり正確な推定を提供することができ、特にガイダンスを決定するために、プローブの現在の位置を表す入力としてだけでなく、物体検出モデルへの入力としても使用される。

上記の態様は、機械学習可能な物体検出モデル及び／又はガイダンスモデルを使用するシステム並びに方法に関する。これらの使用に対する物体検出モデル及び／又はガイダンスモデルを訓練するためのシステム、並びに対応するコンピュータ実装方法も想定される。この訓練は、それ自体知られている技術を用いて行われることができる。例えば、Kingma and Ba著、“Adam: A Method for Stochastic Optimization” (https://arxiv.org/abs/1412.6980で入手可能であり、参照することによって、本明細書に組み入れられる) に開示されるようなAdamオプティマイザを使用して、確率的勾配降下法のような勾配に基づく訓練を行うことができる。知られているように、そのような最適化方法は、発見的であり及び／又は局所最適に到達する。

本発明の上述した実施形態、実装及び／又は任意選択の態様の２つ以上が、有用であると考えられる任意の方法で組み合わされることが、当業者によって理解されるであろう。

任意のシステム及び／又は任意のコンピュータ可読媒体の修正例並びに変形例は、対応するコンピュータ実装方法の記載された修正例及び変形例に対応し、本明細書に基づいて当業者によって実行される。

本発明のこれら及び他の態様は以下の説明及び添付の図面を参照して例として説明される実施形態を参照して、さらに明らかになり、説明されるであろう。
図１は、超音波胎児心拍数モニタリングシステムを示す。 図２Ａは、胎児心拍数をモニタリングする方法の詳細な例を示す。 図２Ｂは、超音波プローブを撮像モードからドップラーモードに切り替える方法の詳細な例を示す。 図３は、胎児心臓を位置特定する詳細な例を示す。 図４Ａは、ガイダンス情報を決定する詳細な例を示す。 図４Ｂは、ガイダンス情報を決定する詳細な例を示す。 図４Ｃは、ガイダンス情報を決定する詳細な例を示す。 図５は、コンピュータ実装超音波胎児心拍数モニタリング方法を示す。 図６は、データを有するコンピュータ可読媒体を示す。

図は、単に概略的なものであり、縮尺通りに描かれていないことに留意されたい。
図面において、既に説明された要素に対応する要素は、同じ参照番号を有する場合がある。

図１は、超音波胎児心拍数モニタリングシステム１００を示す。

システム１００は、訓練された物体検出モデルを表すモデルデータ０３０にアクセスするためのデータインターフェース１２０を有する。物体検出モデルは、超音波画像において胎児心臓を位置特定するように構成される。モデルデータ０３０は、一連の訓練されたパラメータ、例えば、少なくとも１００００又は少なくとも１０００００個のパラメータを有することができる。例えば、モデルはニューラルネットワークでもよい。ニューラルネットワークは、人工ニューラルネットワークとしても知られている。特に、モデルは、ディープニューラルネットワーク又は畳み込みニューラルネットワークでもよい。ニューラルネットワークの場合、前記一連のパラメータ０３０は、ニューラルネットワークのノードの重みを有する。例えば、モデルのレイヤ数は、少なくとも５又は少なくとも１０でよく、ノード及び／又は重みの数は、少なくとも１０００又は少なくとも１００００でもよい。データインターフェース１２０は、本明細書で説明されるような追加の情報、例えば、訓練されたガイダンスモデルを表すモデルデータにアクセスするためのものである。

オブジェクト検出モデル及び／又はガイダンスモデルを表すモデルデータは、例えば、システム１００自体によって又は同様のハードウェアアーキテクチャを備える別のシステムによって、特に、本明細書で説明するデータインターフェース及びプロセッサシステムを有するシステムによって、モデルを訓練することによって取得される。

例えば、図１にも示されるように、データインターフェース１２０は、データストレージ０２１からデータ０３０を入手することができるデータストレージインターフェースによって構成することができる。例えば、データストレージインターフェース１２０は、メモリインターフェース又は永続ストレージインターフェース、例えばハードディスク又はＳＳＤインターフェースでもよいが、個人のＬＡＮ又はＷＡＮネットワークインタフェース、例えば、Bluetooth（登録商標）、Zigbee（登録商標）或いはWi-Fiインターフェース、又はイーサネット（登録商標）或いは光ファイバーインターフェースでもよい。データストレージ０２１は、システム１００の内部データストレージ、例えば、ハードドライブ又はＳＳＤでもよいが、外部データストレージ、例えばネットワークアクセス可能なデータ記ストレージでもよい。幾つかの実施形態において、夫々のデータは、例えば、データストレージインターフェース１２０の異なるサブシステムを介して、異なるデータストレージから各々入手される。各サブシステムは、データストレージインターフェース１２０に対して上述したような種類のものでもよい。

システム１００は、超音波プローブ０７１からセンサデータ１２４を取得するためのセンサインターフェース１６０をさらに有することができる。超音波プローブ０７１は、母体腹部に配されるように構成される。超音波プローブ０７１は、撮像モード及びドップラーモードで動作可能である。典型的には、超音波プローブ０７１は、撮像モード又はドップラーモードで動作するが、両方のモードで同時に動作することはない。超音波プローブ０７１は、１つ以上のトランスデューサを有する。例えば、トランスデューサは、圧電トランスデューサでもよいし、又はトランスデューサは、ＣＭＵＴトランスデューサでもよい。製造コストがより低いという理由で、ＣＭＵＴトランスデューサの使用が好ましい。

トランスデューサは、２Ｄ及び／又は３Ｄ超音波撮像フェーズドアレイに適した構成、例えば、１Ｄ又は２Ｄフェーズドアレイ構成で配されてもよい。例えば、フェーズドアレイのトランスデューサの数は、少なくとも２個、少なくとも１０個又は少なくとも５０個とすることができる。例えば、トランスデューサは、１Ｄフェーズドアレイ構成、例えば、少なくとも２個、少なくとも１０個又は少なくとも５０個のトランスデューサを有する線形フェーズドアレイで配されてもよい。別の例として、トランスデューサは、２Ｄフェーズドアレイ構成、例えば、マトリクスフェーズドアレイで配されてもよい。マトリクスフェーズドアレイは、両方向に少なくとも１０個又は少なくとも５０個のトランスデューサを持つことができ、例えば、矩形パターンで配置される。そのようなトランスデューサのパターンは、撮像に使用されるのに対し、例えば、１つの特定のトランスデューサを使用して１つのドップラー信号を生成する、又は複数の夫々のトランスデューサを使用して複数の夫々のドップラー信号を生成することによって、ドップラーモードでも使用可能である。特に、トランスデューサは、中央に１つの圧電素子を用いた圧電素子の円形配列は、撮像にはうまく機能しないため、典型的には、この配置では配されない。超音波プローブ０７１は、例えば、少なくとも１ＭＨｚ及び／又は最大で５ＭＨｚの周波数で動作することができる。

撮像モードにおいて、超音波プローブ０７１は、超音波画像を表すセンサデータ１２４を提供することができる。超音波画像は、トランスデューサによって送信された超音波信号のエコーの振幅を表すことができる。特に、撮像モードは、いわゆるＢモードとすることができる。例えば、１次元フェーズドアレイを使用して、２次元画像を取得することができる。２次元フェーズドアレイを使用して、３次元画像を取得することも可能である。例えば、M.N.Senlik及びH.Koymen著、”Radiation Impedance of an Array of Circular Capacitive Micromachined Ultrasonic Transducers”, IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, vol. 57, no. 4, April 2010に開示されるような３次元画像を取得するために１次元フェーズドアレイを使用することも可能である。

ドップラーモードでは、測定体積の速度を表すドップラー超音波信号が取得される。例えば、ドップラーモードは、超音波が交互に送信及び受信され、指定された深度での前記速度を測定することを可能にするパルス（ＰＷ）ドップラーモードでもよい。例えばビームフォーミングを使用することによって、前記信号が送信される共に方向を設定することによって、ドップラー超音波ビームは、特定の位置で焦点が合わされる。連続波（ＣＷ）ドップラーモードを使用することも可能である。このモードは、典型的には、依然として信号の方向が制御されるが、特定の深度を選択させない。

典型的には、撮像モード及びドップラーモードは、夫々異なる超音波信号を使用するので、撮像モード及びドップラーモードの両方は、同じ一連のトランスデューサによって作用しているが、同時には作用しない。例えば、Ｂタイプの撮像モードでは、ビームは、夫々の位相差を持つ夫々のトランスデューサによって送信されて、特定の方向にスキャンすることができる。ドップラーモードでは、例えば、１つのトランスデューサのみによってパルスが送信されてもよいし、又は複数のトランスデューサによって同時に同じパルスが送信されてもよい。従って、超音波プローブ０７１は、センサインターフェース１６０を介してシステム１００から超音波プローブ０７１に送信される制御信号１２４を介して、撮像モード又はドップラーモードで動作するように構成される。

ドップラー超音波ビームは、特定の位置、特に、胎児心臓が本明細書に記載されるような物体検出モデルによって位置特定される位置に焦点が合わされてもよい。ビームは、ビームフォーミングによって焦点が合わされる。これは、典型的には、例えば、超音波プローブ０７１自体で又はプロセッササブシステム１４０によって実施される信号処理を伴う。

超音波プローブ０７１は、方位センサ、例えば、ＩＭＵセンサをさらに有することができる。プロセッササブシステム１４０は、例えば、センサ０７１の角度を有する、超音波プローブの向きを示す方位データ１２４を、センサインターフェース１６０を介して取得するように構成される。この配向データは、本明細書で説明されるように、ガイダンス情報を決定するために使用される。

システム１００は、システム１００の動作中に、超音波プローブ０７１を撮像モードで動作させて、超音波プローブ０７１から超音波画像１２４を取得するように構成されるプロセッササブシステム１４０をさらに有する。プロセッササブシステム１４０は、超音波画像１２４に物体検出モデル０３０を適用して、胎児心臓が超音波プローブ０７１のドップラーモードによって取り扱い可能な超音波画像の標的領域内に置かれているかどうかを決定するようにさらに構成される。プロセッササブシステム１４０は、胎児心臓が標的領域内に置かれている場合、超音波プローブ０７１をドップラーモードに切り替え、超音波プローブからドップラー超音波信号１２４を取得し、このドップラー超音波信号１２４から胎児心拍数を計算するようにさらに構成される。

システム１００は、出力インターフェース１８０をさらに有することができる。出力インターフェース１８０は、ドップラー超音波信号から計算された胎児心拍数、超音波画像、超音波画像において胎児心臓が配される位置、ドップラー超音波信号の信号品質指標、及び／又はガイダンス情報を含む、様々な出力のために使用される。例えば、出力インターフェースは、例えば、ディスプレイ、光源、スピーカー、振動モータなどのようなレンダリング装置への出力インターフェースであり、これは、出力された情報に基づいて生成される知覚可能な出力信号を生成するために使用されてもよい。例えば、図示されるように、出力インターフェースは、ディスプレイ１９０のためのるものでもよい。ドップラーモードでは、例えば、胎児心拍数１９２が表示される、及び／又は胎児心拍数が異常であると警告が出される、及び／又はドップラー超音波信号の信号品質指標が出力される。撮像モードでは、例えば、超音波画像、位置が特定された胎児の身体部位の位置、及び／又はガイダンス情報などが示される。別の例として、出力インターフェースは、データインターフェース１２０によって構成されてもよく、前記インターフェースは、これらの実施形態において、入力／出力（“ＩＯ”）インターフェースであり、このインターフェースを介して、出力、例えば、胎児心拍数が、データストレージ０２１に記憶される。この出力インターフェースが、さらなる処理のために前記決定された胎児心拍数のような出力を提供することも可能であり、例えば、プロセッササブシステム１４０によって動作する胎児心拍数モニタリングモジュールに胎児心拍数が提供されてもよい。

プロセッササブシステム１４０は、ドップラー超音波信号１２４の信号品質指標を決定するようにさらに構成されてもよい。この信号品質指標が所定の品質しきい値を満たさない場合、超音波プローブ０７１は、制御信号１２４を介して撮像モードに戻される。信号品質指標を使用して超音波プローブのモードを制御する代わりに又はそれに加えて、プロセッササブシステム１４０は、ユーザに知覚可能な方法で信号品質指標を出力するように構成されてもよい。これは、出力インターフェース１８０を介して、例えば、ディスプレイ１９０上に出力することができる、及び／又は超音波プローブの視覚インジケータ０７２を介して、例えば１つ以上のライトによって、例えば、信号品質を示すために使用される視覚インジケータ０７２の色、強度及び／又は幾つかの光を用いて行うことができる。

システム１００、超音波センサ０７１及び／又はディスプレイ１９０は、様々な方法で配されることができる。例えば、システム１００及びプローブ０７１が、単一のデバイスを形成する、例えば、物体検出モデルを適用して、胎児心拍数を決定するプロセッササブシステム１４０が、超音波センサ０７１に含まれる又は超音波センサ０７１又はセンサ０７１に固定して接続される。システム１００は、例えば、内蔵される又は外部接続可能なディスプレイ１９０を備える、（プローブ０７１に接続可能である又は接続される）胎児モニターとして実装されることもできる。システム１００は、クラウド上に実装されることもでき、例えば、胎児心拍数をディスプレイ１９０上に示すモバイルデバイスにデータが提供される。例えば、その機能をモバイルアプリケーションとして提供することによって、システム１００自体がモバイルデバイス上に配置されてもよい。

より一般的には、図１のシステム１００を含むがこれに限定されない、本明細書に記載される各システムは、例えば、ワークステーション或いはサーバのような単一のデバイス又は装置として、若しくは単一のデバイス又は装置において具現化されることができる。このデバイス又は装置は、組み込まれた装置でもよい。前記デバイス又は装置は、適切なソフトウェアを実行する１つ以上のマイクロプロセッサを有してもよい。例えば、夫々のシステムのプロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具現化されるが、そのようなＣＰＵ及び／又は他の種類の処理ユニットの組合せ又はシステムによって具現化されてもよい。ソフトウェアがダウンロードされる及び／又は対応するメモリ、例えば、ＲＡＭのような揮発性メモリ、或いは例えば、フラッシュメモリのような不揮発性メモリに記憶されていてもよい。代替的に、夫々のシステムのプロセッササブシステムは、前記デバイス又は装置にプログラマブルロジックの形態で、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装されてもよい。一般に、夫々のシステムの各機能ユニットは、回路の形態で実装されることができる。夫々のシステムは、例えば、分散したローカルサーバ又はクラウドベースのサーバのような、異なるデバイス又は装置を含む分散方式で実装されてもよい。

システム１００は、その代わりに又はそれに加えて、物体検出モデルを訓練するための訓練システムでもよい。そのような訓練システムは、センサインターフェース１６０及び／又は出力インターフェース１８０を有する必要はなく、例えば、訓練されている訓練データ及び／又はモデルにアクセスするためにデータインターフェース１２０を使用することができる。

図２Ａは、本明細書に記載されるような超音波胎児心拍数モニタリングシステムを使用して、胎児心拍数をモニタリングする方法の詳細な、しかし非限定的な例を示す。図は、胎児心臓を検出し、胎児心拍数をリアルタイムで、例えば、モバイルアプリケーション上にプロットするために行われる幾つかの動作を示す全体的なフローチャートを示す。図によれば、胎児心臓がリアルタイムで２Ｄ超音波スキャンフレームから自動的に検出され、胎児心臓が検出されると、胎児心拍数をプロットするために、２Ｄ画像モードから脈波モードに入ることができる。

位置決め動作ＰＯＳ２１０では、胎児心拍数モニタリングシステムの超音波プローブは、例えば助産師によって患者の腹部に位置決められてもよい。

固定動作ＦＩＸ２２０では、超音波プローブの位置が固定される及び／又はトレースを取得するために、超音波プローブが腹部に再位置決められてもよい。これは、例えば助産師が行うことができる。

検出動作ＤＥＴ２３０では、胎児心臓が検出され、例えば、胎児心拍数モニタリングシステムに接続されたスクリーン上に表示される。単一／複数の圧電／ＣＭＵＴセンサを使用して、初期位置から２Ｄ超音波データを捕捉することができる。物体検出アルゴリズムは、初期位置から取得された超音波画像上で胎児の解剖学的構造（例えば、胎児心臓、胎児頭部、胎児脊椎及び／又は胎児大腿骨）を検出し、例えば、プローブを動かすべき位置を提案することによって、ユーザを次の位置に誘導することができる。ＩＭＵセンサを使用して、センサの角度で胎児の心臓を検出するアルゴリズムを提供してもよい。胎児心臓がまだ検出されない場合、プロセスは、超音波プローブを固定する固定動作ＦＩＸに戻ってもよい。システムはさらに、検出動作ＤＥＴを繰り返すことができる。他の箇所にも記載されるように、任意選択的に、胎児心臓がまだ検出されない場合、超音波プローブを正しい位置に置くのに役立つ情報が、例えば、超音波プローブの形式及び／又は置かれた胎児器官の位置、及び／又はガイダンス情報の形式でユーザに提供される。

胎児心臓が検出されると、プローブはドップラーモードに切り替わり、胎児心拍数を連続的に計算することができる。特に、モニタリング動作ＭＯＮ２４０では、ドップラーモードが使用可能となり、胎児心拍数モニタリングシステムによって、ドップラー超音波信号から胎児心拍数を計算することができる。ドップラーモードである間、ドップラー超音波信号の信号品質指標は、それ自体既知のものとして決定されることができる。信号品質指標は、例えば、超音波プローブ自身に１つ以上のライト又は別の視覚インジケータの形で、ユーザに出力されてもよい。

解釈動作ＩＮＴ２５０では、例えば助産師及び／又は婦人科医によって、前記トレース及び／又は胎児心拍数が解釈される。

視野外動作ＯＯＶ２６０では、胎児心臓は、視野外にあると決定される、例えば、ドップラー超音波信号の信号品質は、胎児心拍数を確実に決定するには不十分である、例えば、所定の品質しきい値を満たしていない。この場合、超音波プローブの固定動作ＦＩＸを再度行うことができ、例えば、プローブを撮像モードに戻すことができる。興味深いことに、撮像モードへの切り替えは、胎児心拍数のモニタリングが継続されるように、ユーザが胎児心臓に再び焦点を合わせることを助けることを可能にする。前記品質しきい値は、この品質しきい値において、胎児心臓が、概ね撮像モードで捕捉された超音波画像の範囲内にまだあるように定義される。このようにして、信号品質がしきい値を下回ると、胎児心臓が示され、及び／又は胎児心臓の位置に基づくガイダンス情報が決定されるので、比較的容易に再焦点合わせが可能である。

図２Ｂは、超音波プローブを撮像モードからドップラーモードに切り替える方法の詳細な、しかし非限定的な例を示す。

取得動作Ａｑ２２１では、超音波プローブは、この超音波プローブから超音波画像ＵＩ２２２を取得する撮像モードで動作する。超音波画像は、例えば、少なくとも３２×３２ピクセル、少なくとも１２８×１２８ピクセル、又は少なくとも５１２×５１２ピクセルとすることができる。この画像はグレースケールでもよい。

モデル適用動作Ａｐｐｌ２２３では、物体検出モデルＯＤ２２４が超音波画像ＵＩに適用され、胎児心臓が超音波プローブのドップラーモードによって取り扱い可能な超音波画像の標的領域内に置かれているかどうかを示す位置特定情報ＬＯＣ２２５を決定することができる。

物体検出モデル自体は知られているように、物体検出モデルＯＤは、例えば、認識された物体の場所、例えば認識された物体の位置及び任意選択で大きさと組み合わせて、検出されるべき１つ以上の種類の物体に対応するクラス確率の形式で、位置特定情報ＬＯＣを出力することができる。この場所は、例えば、超音波画像における１つ以上の座標、バウンディングボックスなどとして表される。様々な物体検出モデル自体は知られていて、使用されることができる。

一実施形態において、物体検出モデルは、ニューラルネットワーク、特にディープニューラルネットワークを有する。特に、本願の発明者は、J.Redmon他著、” You Only Look Once: Unified, Real-Time Object Detection” (https://arxiv.org/abs/1506.02640にて入手可能であり、参照することによって本明細書に組み入れられる）によるＹＯＬＯ物体検出モデルを使用して良好な結果を達成した。ＹＯＬＯは、単一のニューラルネットワークを画像全体に適用して特定の物体を検出する領域提案ネットワークである。このネットワークは、画像を複数の領域に分割し、各領域に対するバウンディングボックス及び確率を予測する。ＹＯＬＯは、入力画像をＳ×Ｓグリッドに分割する。物体の中心がグリッドセルに入る場合、そのグリッドセルは、その物体を検出する役割を果たす。各グリッドセルは、Ｂ個のバウンディングボックスと、これらのボックスの信頼度スコアとを予測する。信頼度スコアは、ボックスが本当に関心物体を含むかどうかを反映し、予測精度も反映する。各バウンディングボックスは、５つの予測ｘ、ｙ、ｗ、ｈ及び信頼度を有する。（ｘ，ｙ）座標は、グリッドセルの境界に対するボックスの中心を表す。幅（ｗ）及び高さ（ｈ）は、画像全体に対して予測される。ＹＯＬＯ出力の信頼度レベルは、出力されるバウンディングボックスとグラウンドトゥルースのバウンディングボックスとの間の重なり度ＩｏＵ(intersection of union)を出力するように訓練された回帰である。同じ原理に基づく他のモデルも使用することができる。具体的な例として、ＹＯＬＯｖ３-ｔｉｎｙモデルを４１６×４１６の画像に適用することができる。

具体的には、物体検出モデルＯＤは、２Ｄ胎児心臓四腔像で訓練され、適用されてよい。正例の訓練例は、胎児心臓の軸方向像を含むことができ、例えば、２Ｄ胎児スキャンのシネループ(cine loop)から収集、整理（キュレート）されることができる。胎児心臓を含まない平面は、負例の訓練例として使用される。訓練データセットは、これらの画像を胎児心臓像としてラベル付けし、胎児心臓のバウンディングボックスで注釈付けする、又は非胎児心臓像としてラベル付けすることによって、これらの画像を使用して作成することができる。これらの画像は、必要に応じてテキスト注釈を除去するために前処理されてもよい。注釈は、例えば、DarkLabelツールを使用して行うことができる。訓練は、Darknetディープラーニングフレームワークを使用して行うことができる。本願の発明者は、６４画像のバッチサイズを用いた４０００回の反復のトレーニングが良好な結果をもたらすことを見出した。

例えば、フルトレーニングテストプロセスは、データから始まり、注釈付け、注釈付きデータのクリーニング、例えば患者ＩＤに基づいたデータの訓練、検証及びテストデータへの分割、ハイパーパラメータを変えることによる訓練データでの複数のモデルの訓練、検証データでのモデルの検証、最も高い検証精度を持つモデルのファイナライズ、未知のデータでの最終モデルのテスト、及び評価指標の計算を含んでもよい。

位置特定情報ＬＯＣに基づいて、胎児心臓が超音波プローブのドップラーモードによって取り扱い可能な超音波画像の標的領域内に置かれているかどうかを決定することができる。例えば、これは、胎児心臓が、モデルによって少なくとも所与のしきい値の信頼度で認識され、この胎児心臓が認識される位置が標的領域内にある場合である。標的領域は、例えば、超音波画像ＵＩ自体に又はそのサブ領域に対応することができる。胎児心臓が標的領域内に置かれている場合、超音波プローブは、他の箇所でも論じられるように、ドップラーモードに切り替えられＳｗ２２７、胎児心拍数のモニタリングを開始することができ、任意選択で位置特定情報ＬＯＣを使用して、位置特定された位置にドップラー超音波ビームの焦点を合わせる。標的領域内に胎児心臓があることが見出されない限り、獲得動作Ａｑ及び後続するステップが繰り返されてもよい。さらに、位置特定情報ＬＯＣは、様々な方法で使用されてもよく、特に、他の箇所でより詳細に論じられるように、場所を出力及び／又は使用して、ユーザが超音波プローブを胎児心臓に誘導するのを助けるためのガイダンス情報を決定してもよい。

図３は、胎児心臓を位置特定する、詳細であるが非限定的な例を示す。この例において、胎児心臓が検出されるバウンディングボックス３２０を出力することによって、超音波画像３１０における胎児心臓を位置特定する物体検出モデルが使用される。超音波画像３００及び超音波画像３１０における胎児心臓の位置を示すバウンディングボックス３２０は、この例において、ディスプレイに示されるユーザインターフェース３００に示される。図示されるように、物体検出モデルは、任意選択的に、検出の信頼値をさらに出力することができ、この信頼値は、例えば、ラベル（この例では、０．９８５）として、バウンディングボックスの色又は線種などとして同様にディスプレイ上に示される。胎児心臓が検出されない、例えば、信頼値がしきい値を超えない場合、バウンディングボックスは典型的には示されない。物体検出モデルは、胎児の追加の解剖学的構造、例えば、胎児頭部、胎児脊椎及び胎児大腿骨の１つ以上を検出するように構成される。検出される場合、これらの追加の解剖学的構造に対する位置特定も、超音波画像３１０上に示される。

図４Ａ～図４Ｃは、超音波プローブを胎児心臓に誘導するためのガイダンス情報を決定する、詳細であるが非限定的な例を示す。

例えば図２Ｂに関して論じたように、超音波センサが撮像モードにある間に、超音波センサによる超音波画像において物体検出モデルによって認識される１つ以上の胎児身体部位の位置から、ガイダンス情報が決定される。ガイダンス情報は、ＩＭＵセンサ又は他の方位センサによって決定される超音波プローブの向きにさらに基づいている。興味深いことに、ＩＭＵセンサの向きに基づいて、及び腹部の幾何学的形状を使用して、この腹部上のＩＭＵセンサの位置を決定することができ、例えば、ＩＭＵセンサが垂直方向に向けられる場合、ＩＭＵセンサは、腹部の中央に置かれ、左に傾いている場合、ＩＭＵセンサは、腹部の左側に置かれているなどである。例えば超音波画像に基づいて、腹部上の超音波センサの位置を決定する他の方法も可能であり、同様に、ガイダンス情報を決定するために使用することができる。

図４Ａ～４Ｃは、ディスプレイを備える胎児心拍数モニタリングシステム４１０、４２０、４３０を示し、このディスプレイ上に、ガイダンス情報が超音波プローブを移動させるべき提案位置４１１、４１２、４１３の形式で表示される。この例において、この提案位置は、腹部を表すグリッドにおける提案セルの粒度で決定される。この特定の例では、３ｘ３グリッドが使用される。位置は、この場所が拡大される母体腹部の視覚化上で強調表示される。この視覚化は、母体腹部の標準的な画像又は図とすることができる。従って、ガイダンスは、このガイダンスを決定するために使用される超音波画像を記憶又は表示する必要なしに使用することができ、これは、他の場所でも言及されるように有益である。位置の強調表示は、ガイダンスの進行を示してもよい。例えば、図４Ａ～４Ｃに示される胎児モニター上では、図４Ａ及び図４Ｂの例における強調表示された位置４１１～４３１の色は、胎児心臓がまだ検出されていないことを示しているのに対し、図４Ｃにおける強調表示の色は、胎児心臓が検出されたことを示す。視覚化４４０、４５０、４６０では、プローブを移動させるべき提案されるグリッドセルの境界スタイルの形式で、位置の代替の強調表示が示されている。図示されるように、セルの境界は、他のセルとは異なる色、及び／又はより厚い境界を持つことができる。

視覚化４４０～４６０は、腹部内にいる胎児の推定される配置が視覚化されることも示す。これは、胎児の標準的な画像又はイラストに基づくこともできる。例えば、図４６０に例示されるように、胎児全体を視覚化することができる、又は図４４０、４５０に示されるように、胎児の一部を示すことができ、この一部は、例えば、超音波プローブを動かした位置、及び／又はこれまでに位置特定された胎児の解剖学的構造に基づいて、胎児の解剖学的構造が分かっている位置に対応している。例示的なガイダンスプロシージャが図示される。このガイダンスプロシージャを使用して、ユーザ、例えば、介護提供者は、慣れ親しんだ既存のプロトコルに従いつつ、（自動物体検出により、手で触診する必要性を軽減する）胎児の心臓に向かってプローブをはるかに速く位置決めることを可能にする。

ガイダンスは、超音波プローブを配置するための初期位置を提案することから開始してもよい。図４Ａに示されるように、この初期位置は、例えば、腹部の左中央である。この位置は、典型的に、胎児脊椎を検出することを可能にして、残りの解剖学的構造のより容易な外挿を可能にするので、現在のプロトコルにおいてしばしば使用される。

胎児脊椎が検出されない場合、代替の初期位置、例えば、右中央、上中央、下中央などが提案されてもよい。

胎児脊椎は検出されたがが、胎児頭部はまだ検出されてない場合、超音波プローブを胎児頭部の予想される位置に誘導するためのガイダンス情報が決定される。例えば、胎児頭部の予測される位置は、胎児が頭部を下にして置かれ、図４ｂの提案位置４２１に至るという仮定の下で決定される。

胎児頭部が検出されない場合、例えば、胎児が頭部を上にして置かれるという仮定などに基づいて、代替の予想される位置が決定され、提案される。

胎児脊椎及び胎児頭部が検出された場合、超音波プローブを胎児心臓の予想される位置に誘導するためのガイダンス情報を決定することができる。胎児脊椎及び胎児頭部の位置が特定される場合、胎児心臓の予想される位置は、通常の胎児の幾何学的形状に基づいて正確に決定されることができる。これは、図４Ｃの提案４３１によって示され、この図において、胎児心臓は、グリッドの中央セルに置かれていることが提案される。

胎児心臓が検出されない場合、胎児心臓の代替位置を決定することができる、又は例えば、脊椎の検出からこのプロセスを再開することができる。

胎児心臓が検出された場合、システムは、説明したように、胎児心臓をモニタリングするためにドップラーモードに切り替えることができる。これは、ガイダンスが依然として胎児脊椎又は胎児頭部を探している間にも起こり得る。この場合、直接ドップラーモードに切り替えることが可能であるが、必要に応じて、最初にガイダンスプロセスを続けて、胎児脊椎及び胎児頭部の位置も特定し、胎児の完全な位置及び向きを決定することも可能である。この情報は、例えば、ユーザに出力されるか、又は、例えば、訓練された機械学習モデルを使用して、分娩及び／又は出産中に胎児頭部が進行する角度を予測するために自動的に使用されることができる。

ガイダンス情報を決定するために、幾つかの手法が可能である。１つの可能性は、胎児の解剖学的構造の明確な幾何学的モデルを使用することである。このモデルは、比較的単純であり、例えば、胎児は、脊椎を表す直線としてモデル化され、胎児頭部を表す球体で終わる。直線及び球体の決定された位置に対して、胎児心臓の位置が決定される。代替案は、ガイダンス情報を出力する、例えば、図４Ａ～４Ｃのグリッドにおけるセルを出力するように訓練された機械学習可能なガイダンスモデルを使用することである。例えば、このガイダンスモデルは、胎児心臓の位置特定に続く段階において、胎児脊椎、胎児頭及び胎児心臓の位置を夫々決定するために使用される夫々のモデルを有する。別の選択肢は、訓練された特徴抽出器を適用して、超音波画像ＵＩから１つ以上の特徴を抽出し、これら抽出された特徴を、ガイダンス情報が利用可能な訓練された胎児画像データセットと比較することである。例えば、この事例において、一般的な特徴抽出器を使用することができる。

図５は、超音波胎児心拍数モニタリングのためのコンピュータ実装方法５００のブロック図を示す。方法５００は、図１のシステム１００の動作に対応する。しかしながら、これは限定ではなく、方法５００は、別のシステム、装置又はデバイスを使用して行われてもよい。方法５００は、“センサデータを取得する(OBTAIN SENSOR DATA)”とタイトルが付いた動作において、母体腹部上に配される超音波プローブからセンサデータを取得するステップ５１０を有することができる。方法５００は、“物体検出モデルにアクセスする(ACCESS OBJECT DETECTION MODEL)”とタイトルが付いた動作において、訓練された物体検出モデルを表すモデルデータにアクセスするステップ５２０を有することができる。物体検出モデルは、超音波画像における胎児心臓を位置特定するように構成される。方法５００は、“超音波撮像(ULTRASOUND IMAGING)”とタイトルが付いた動作において、超音波プローブから超音波画像を取得するために、超音波プローブを撮像モードで動作させるステップ５３０を有することができる。
方法５００は、“心臓を検出(DETECT HEART)”とタイトルが付いた動作において、物体検出モデルを適用して、胎児心臓が超音波プローブのドップラーモードによって取り扱い可能な超音波画像の位置に置かれているあるかどうかを決定するステップ５４０を有することができる。方法５００は、“心臓を検出した？(HEART DETECTED?)”とタイトルが付いた動作において、胎児心臓が標的領域内に置かれているかどうかを決定するステップ５５０を有することができる。方法５００は、“ドップラーに切り替える(SWITCH TO DOPPLER)”とタイトルが付いた動作において、胎児心臓が検出された場合、超音波プローブをドップラーモードに切り替えるステップ５６０を有することができる。方法５００は、“ドップラー信号を取得する(OBTAIN DOPPLER SIGNAL)”とタイトルが付いた動作において、超音波プローブからドップラー超音波信号を取得するステップ５７０をさらに有することができる。方法５００は、“ＦＨＲをモニタリングする(MONITOR FHR)”とタイトルが付いた動作において、ドップラー超音波信号から胎児心拍数を計算するステップ５８０をさらに有することができる。一般的に、図５の方法５００の動作は、適用可能な場合には、例えば、入力／出力関係によって特定の順序が必要とされることを条件として、任意の適切な順序で、例えば、連続的に、同時に又はそれらの組合せで行われてもよいことも理解されよう。本方法は、さらなるステップと組み合わされてもよく、例えば、本明細書に記載される物体検出モデル及び／又はガイダンスモデルは、適用される前に訓練されてもよい。物体検出モデル及び／又はガイダンスモデルを訓練する別個のコンピュータ実装方法も想定される。

本方法は、コンピュータ実装方法として、専用のハードウェアとして又は両方の組み合わせとして、コンピュータ上に実装されてもよい。図６にも示されるように、コンピュータ用の命令、例えば、実行可能コードは、コンピュータ可読媒体６００上に、例えば、一連の機械可読な物理的マーク６１０の形で、及び／又は例えば、異なる電気、磁気若しくは光学特性或いは値を持つ一連の要素として記憶される。媒体６００は、一時的又は非一時的である。コンピュータコンピュータ可読媒体の例は、メモリ装置、光記憶装置、集積回路、サーバ、オンラインソフトウェア等が含まれる。図６は、光ディスク６００を示す。代替的に、コンピュータ可読媒体６００は、本明細書で説明する技術と共に使用するための訓練された物体検出モデル及び／又はガイダンスモデルを表すデータ６１０を有する。

実施例、実施形態、又は任意選択の特徴は、非限定的であるか否かにかかわらず、特許請求される本発明を限定するものとして理解されるべきではない。

上述した実施形態は、本発明を限定するのではなく例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替の実施形態を設計することができることに留意されたい。請求項において、括弧の間に置かれる如何なる参照記号もその請求項を限定すると解釈されるべきではない。“有する”という動詞及びその活用形の使用は、請求項に記載された要素又は段階以外の存在を排除するものではない。要素が複数あることを述べていなくても、その要素が複数あることを排除しない。要素のリスト又は集合の後に“の少なくとも１つ”という表現は、このリスト又は集合から要素の全て又は何れか一部の選択を表す。例えば、“Ａ、Ｂ及びＣの少なくとも１つ” という表現は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又はＡ、Ｂ及びＣの全て含むものとして理解されるべきである。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装される。幾つかの手段を列挙する装置の請求項において、これらの手段の幾つかは、ハードウェアの１つの同じアイテムによって具現化されてもよい。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

Claims (14)

1. 超音波胎児心拍数モニタリングシステムであって、
   母体腹部に置かれる超音波プローブからセンサデータを取得するためのセンサインターフェース、
   訓練された物体検出モデルを表すモデルデータにアクセスするためのデータインターフェースであって、前記物体検出モデルは、超音波画像における胎児の心臓を位置特定するように構成される、データインターフェース、及び
   プロセッササブシステム
   を有し、前記プロセッササブシステムは、
   前記超音波プローブから超音波画像を取得するために、前記超音波プローブを撮像モードで動作させる、
   前記超音波画像に前記物体検出モデルを適用して、胎児の心臓が、前記超音波プローブのドップラーモードによって取り扱い可能な前記超音波画像の標的領域内に置かれているかどうかを決定する、並びに
   前記胎児の心臓が前記標的領域内に置かれている場合、前記超音波プローブを前記ドップラーモードに切り替え、前記超音波プローブからドップラー超音波信号を取得し、及び前記ドップラー超音波信号から胎児の心拍数を計算する
   ように構成され、
   前記プロセッササブシステムは、前記物体検出モデルによって位置特定された胎児の１つ以上の身体部位の位置から、前記超音波プローブを前記胎児の心臓に誘導するためのガイダンス情報を決定し、前記決定されたガイダンス情報をディスプレイに出力するようさらに構成される、
   超音波胎児心拍数モニタリングシステム。
2. 前記システムは、前記超音波プローブを前記撮像モード又は前記ドップラーモードで動作させるが、同時に両方のモードでは動作させないように構成される、請求項１に記載のシステム。
3. 前記プロセッササブシステムは、前記ドップラー超音波信号の信号品質指標を決定し、前記信号品質指標が所定の品質しきい値を満たさない場合、前記超音波プローブを前記撮像モードに戻すようにさらに構成される、請求項１又は２に記載のシステム。
4. 前記プロセッササブシステムは、前記信号品質指標をユーザに出力するように構成される、請求項３に記載のシステム。
5. 前記超音波プローブは、１つ以上の圧電トランスデューサ及び／又は１つ以上の静電容量型超音波トランスデューサ（ＣＭＵＴ）を有する、請求項１に記載のシステム。
6. 前記プロセッササブシステムは、前記標的領域に前記超音波プローブから放射されるドップラー超音波ビームの焦点を合わせるようにさらに構成される、請求項１に記載のシステム。
7. ディスプレイへの出力インターフェースをさらに有し、前記プロセッササブシステムは、前記ディスプレイ上に前記超音波画像における前記胎児の心臓の位置を示すように構成される、請求項１に記載のシステム。
8. 前記物体検出モデルは、前記胎児の頭部、前記胎児の脊椎及び前記胎児の大腿骨の１つ以上を位置特定するようにさらに構成され、前記プロセッササブシステムは、前記位置特定を前記ディスプレイ上に示すように構成される、請求項７に記載のシステム。
9. 前記物体検出モデルは、前記胎児の頭部、前記胎児の脊椎及び前記胎児の大腿骨の１つ以上を位置特定するように構成され、前記プロセッササブシステムは、前記位置特定を使用して前記ガイダンス情報を決定するように構成される、請求項１に記載のシステム。
10. 前記プロセッササブシステムは、
    前記胎児の脊椎が検出され、前記胎児の頭部が検出されない場合、前記超音波プローブを前記胎児の頭部の予想される位置に誘導するためのガイダンス情報を決定する、及び／又は、
    前記胎児の脊椎及び前記胎児の頭部が検出される場合、前記超音波プローブを前記胎児の心臓の予想される位置に誘導するためのガイダンス情報を決定する
    ように構成される、請求項９に記載のシステム。
11. 前記超音波画像は、前記ディスプレイ上に示されない、請求項１に記載のシステム。
12. 前記プロセッササブシステムは、前記センサインターフェースを介して前記超音波プローブの向きを示す方位データを取得し、前記方位データを使用して前記胎児の心臓の位置及び／又は前記ガイダンス情報を決定するようにさらに構成される、請求項１に記載のシステム。
13. コンピュータ実装超音波胎児心拍数モニタリング方法は、
    母体腹部に置かれる超音波プローブからセンサデータを取得するステップ、
    訓練された物体検出モデルを表すモデルデータにアクセスするステップであって、前記物体検出モデルは、超音波画像における胎児の心臓を位置特定するように構成される、ステップ、
    前記超音波プローブから超音波画像を取得するために、前記超音波プローブを撮像モードで動作させるステップ、
    前記超音波画像に前記物体検出モデルを適用して、胎児の心臓が、前記超音波プローブのドップラーモードによって取り扱い可能な前記超音波画像の標的領域内に置かれているかどうかを決定するステップ、並びに
    前記胎児の心臓が前記標的領域内に置かれている場合、前記超音波プローブを前記ドップラーモードに切り替え、前記超音波プローブからドップラー超音波信号を取得し、及び前記ドップラー超音波信号から前記胎児の心拍数を決定するステップ
    を有し、前記方法は、
    前記物体検出モデルによって位置特定された胎児の１つ以上の身体部位の位置から、前記超音波プローブを前記胎児の心臓に誘導するためのガイダンス情報を決定し、前記決定されたガイダンス情報をディスプレイに出力するステップ
    をさらに有する、コンピュータ実装超音波胎児心拍数モニタリング方法。
14. プロセッサシステムによって実行されると、前記プロセッサシステムに、請求項１３に記載のコンピュータ実装超音波胎児心拍数モニタリング方法を行わせる命令を表すデータを有する、一時的又は非一時的なコンピュータ可読媒体。