JP7193979B2 - 医用撮像装置、画像処理装置、および、画像処理方法 - Google Patents

Description

本発明は、超音波診断装置、ＭＲＩ装置、ＣＴ装置等の医用撮像装置に係り、特に、医用撮像装置で取得した３次元画像や時系列２次元又は時系列３次元画像から所定の断面を選択し、表示させるための技術に関する。

医用撮像装置は、対象となる部位の形態画像を取得した後、画像を表示するだけでなく、形態情報や機能情報を定量的に取得する用途でも用いられる。このような用途として、例えば、超音波診断装置における、胎児の成長を観察するための推定体重計測がある。このような計測は、大きく分けて、画像取得、計測画像の選択、計測の３つの工程により行われる。まず画像取得の工程では、対象部位周辺から連続に撮像した複数枚の２次元断面画像、またはボリュームデータが取得される。つぎに計測画像の選択の工程では、取得したデータから計測に最適な断面画像が選択される。そして計測の工程では、胎児の推定体重計測であれば頭部、腹部および脚部の各部位が計測され、計測値に対して所定の計算式に従った計算が行われ、体重が算出される。頭部や腹部の計測には、表面のトレースが必要とされるため、検査に時間がかかっていたが、近年では、トレースを自動で行い、所定の計算まで行う自動計測技術が提案されている（特許文献１等）。この技術により計測工程についてはワークフロー改善が実現されている。

しかし、検査にもっとも時間と手間がかかるのは画像取得後の計測画像の選択工程である。特に対象が胎児の場合、被検査者の腹部の内部に存在する胎児について目的断面の存在場所を推定して取得された断面画像から、計測に最適な断面画像を選択する必要があり、選択に時間がかかるという課題がある。このような課題に対し、特許文献２には、３次元データから高エコー領域を抽出し、抽出した高エコー領域の３次元特徴に基づいて目的断面を選択する技術が開示されている。具体的には、予め用意した３次元の特徴を示すテンプレートと、抽出した高エコー領域の３次元特徴とをマッチングし、それらが一致する場合に、テンプレートデータから目的断面の向きを決定して複数の目的断面（切断面）を決定する。

国際公開２０１６／１９０２５６号公報 国際公開２０１２／０４２８０８号公報

一般に超音波画像の特徴として、撮像者（検査者）が異なるごとに、または、撮像回次（撮像時点）が異なるごとに撮像される画像データが異なる（撮像者依存性）。また、撮像対象の体質や疾患が異なることによっても撮像される画像データが異なる（撮像対象依存性）。撮像者依存性は、超音波を照射し断面画像またはボリュームデータとして取得する体内の領域の探索を撮像の都度、人手で行うため、同一患者に対し同一検査者が検査を行ったとしても取得データを完全に一致させることが難しいことから生じる。また、撮像対象者依存性は、患者の体質により超音波の体内伝搬速度および減衰率が異なること、患者の疾患や個人差により異なる患者間では臓器の形状が完全に一致しないことから生じる。さらに、産科に特化した場合、胎児は妊婦の腹部内にいて、発育過程に応じてサイズが大きく変化し、撮像時の位置姿勢も撮像のたびに異なる等撮像に影響する不確定な要因が多い。つまり、計測に理想的な断面画像は、撮像者依存性および撮像対象者依存性の影響を受けるため、取得することが難しい。また、取得されたデータには理想的な位置に対するずれ、大きさの不確定、画像の不鮮明、特徴的な形状の差異などが生じる。

特許文献２に開示された技術は、予め用意したテンプレートとのマッチングによって断面を決定するため、上述した撮像者依存性や撮像対象依存性に対応することは難しい。

一方、ＭＲＩ装置やＣＴ装置で取得される画像は、超音波画像に比べ撮像者依存性は少ないが、撮像対象依存性はあり、心臓や肺など時系列画像において形態変化がある場合、テンプレートとのマッチングで断面を決めることは容易ではない。

また近年、画質の向上や特定疾患の判定などにＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を適用することが試みられているが、ＤＬで高い精度の識別力を達成するためには、高い処理能力を持つハードウェアが必要となり、また処理に要する時間も長くなるため、従来の医用撮像装置や処理の高速性が要求される医用撮像装置に搭載することは困難である。

そこで、本発明の目的は、医用撮像装置で取得した２次元又は３次元画像データから、目的断面の画像を少ない演算量で高速に抽出する技術を提供することにある。

上記課題を解決するため、本発明によれば、被検体の画像データを収集する撮像部と、撮像部が収集した画像データから目的断面の断面画像を抽出する処理を行う画像処理部と、を備える医用撮像装置が提供される。画像処理部は、学習データにより学習済みの学習モデルを保存する学習モデル保存部と、画像データから得られる複数の断面画像に学習モデルを適用することにより、断面画像に含まれる所定の構造物の領域を検出する構造物抽出部と、検出された所定の構造物の領域に基づいて複数の断面画像から目的断面の断面画像を抽出する断面抽出部とを含む。学習データは、目的断面について予め撮像された、構造物の像を含む学習用目的断面画像と、学習用目的断面画像のうち構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像とを含む。例えば、学習モデルは、検出対象領域の相対サイズの分析に基づき、目的断面画像を学習データとして学習済みの高精度モデルの入力画像サイズおよび階層数の少なくとも一方を低減した縮小化モデルを用いる。

本発明によれば、学習モデルが、目的断面画像と関心領域断面画像という複数スケールの学習データと内部の所定の構造物を学習済みであるため、この学習モデルにより段階的に構造物を抽出して構造物による断面評価に用いることで、医用撮像装置で取得した２次元又は３次元画像データから、目的断面の画像を少ない演算量で高速に抽出することができる。

第一実施形態の医用撮像装置の全体構成を示す図 第一実施形態の画像処理部の要部の構成を示す図 第一実施形態の画像処理部の処理工程を示すフローチャート 第二実施形態の医用撮像装置（超音波診断装置）の構成を示すブロック図 複数スケール学習データで学習する縮小化モデルの概要を説明する図 複数スケール学習データの構成の概要を説明する図 基本モデルの構成と構造物のサイズ分布を示す図 縮小化モデルの設計概念を説明する図 縮小化モデルを用いた多段階の構造物の抽出を説明する図 腹部断面の構造物と、スコア算出部の算出するスコアを説明する図 （ａ）～（ｄ）は、胎児目的断面における計測位置を示す図 目的断面の例を示す図 第二実施形態の時系列２Ｄ画像から構造物の抽出とスコア算出を行うことにより断面を抽出することを説明する図 第二実施形態の３Ｄボリューム画像から構造物の抽出とスコア算出を行うことにより断面を抽出することを説明する図 第二実施形態の構造物抽出による断面抽出の処理工程を示すフローチャート 第二実施形態の構造物抽出に基づいた自動計測の処理工程を示すフローチャート 第二実施形態の時系列２Ｄ画像における抽出断面と構造物の表示例と断面調整のＧＵＩを示す図 第二実施形態の３Ｄボリューム画像における抽出断面と構造物の表示例と断面調整のＧＵＩを示す図 第三実施形態の撮像画像の表示用ＲＯＩの自動設定、及び、超音波ビームスキャン範囲自動調整のＧＵＩを示す図 第三実施形態の自動化機能・表示機能の詳細設定用画面を示す図 第三実施形態の表示用ＲＯＩの自動設定、及び、超音波ビームスキャン範囲自動調整の処理工程を示すフローチャート

以下、本発明の実施形態を、図面を用いて説明する。

＜＜第一実施形態＞＞
本実施形態の医用撮像装置１０は、図１に示すように、被検体を撮像し、画像データを収集する撮像部１００と、撮像部１００が収集した画像データから、所定の構造物を含む目的断面の断面画像を抽出する処理を行う画像処理部２００とを少なくとも備えている。図１の例では、医用撮像装置１０は、さらに、撮像部１００が取得した画像或いは画像処理部２００が処理した画像を表示する表示部３１０と、撮像部１００や画像処理部２００の処理に必要な指令やデータをユーザが入力するための操作入力部３３０とを備える。表示部３１０及び操作入力部３３０は、通常、近接して配置され、ユーザーインターフェイス（ＵＩ）３００として機能する。医用撮像装置１０は、さらに撮像部１００が得た画像データや画像処理部２００が処理に用いるデータや処理結果などを格納する記憶装置３５０を備えていてもよい。

撮像部１００の構成は、モダリティによって異なり、ＭＲＩ装置であれば、静磁場中に置かれた被検体から磁気共鳴信号を収集するための磁場発生手段等が備えられる。またＣＴ装置であれば、被検体にＸ線を照射するＸ線源や被検体を透過したＸ線を検出するＸ線検出器及びＸ線源とＸ線検出器とを被検体の周りで回転させる機構などが備えられる。超音波診断装置では被検体に超音波を送信し、被検体からの反射波である超音波を受信して超音波画像を生成する手段を備える。撮像部において画像データを生成する手法もモダリティにより異なるが、最終的にはボリュームデータ（３Ｄ画像データ）、或いは時系列の２Ｄ画像データ又は時系列のボリュームデータを得る。以下では、これらをまとめて画像データとして説明する。

図１および図２に示すように、画像処理部２００は、学習データにより学習済みの学習モデルを保存する学習モデル保存部２７１を含むモデル導入部２７０と、画像データから得られる複数の断面画像に学習モデルを適用することにより、断面画像に含まれる所定の構造物の領域を検出する構造物抽出部２３０と、検出された所定の構造物の領域に基づいて複数の断面画像から目的断面の断面画像を抽出する断面抽出部２６０とを備えている。

また、目的断面は、診断の目的や断面に対する画像処理の目的によって異なるが、ここでは断面に含まれる構造物（例えば所定の臓器や部位）の大きさ（幅、長さ、直径、周囲長など）や位置（相対角度、相対長さ）を計測するのに適した断面である。

構造物抽出部２３０が使用する学習モデルは、学習データで学習済みの機械学習モデルである。例えば、ＣＮＮ（畳み込みニューラルネットワーク）で構成することができる。学習データは、目的断面について予め撮像された、所定の構造物の像を含む学習用目的断面画像と、学習用目的断面画像のうち所定の構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像とを含む。

このように、本実施形態の学習モデルは、学習用目的断面画像とその一部を拡大した学習用関心領域断面画像という拡大率の異なる２種類以上の学習用目的断面画像により学習する。よって、抽出段階においてピラミッドのように段階的に注目領域を絞り込み、多段階抽出を行うことが可能であり、高い抽出精度を維持したままに、画像処理部２００の処理時間を短縮することができる。

なお、以下の説明において、拡大率の異なる学習用目的断層画像を含む学習データを、複数スケールまたはマルチスケールの学習データとも呼ぶ。

学習データは、構造物について種類を特定する情報（例えば、構造物の名称（脊椎、臍静脈、胃胞等）と画像上の当該構造物が位置する領域の位置情報（例えば、領域の座標）とを、その構造物が含まれる学習用目的断面画像または学習用関心領域断面画像にそれぞれ対応させて含むことが望ましい。

多段階抽出方法としては、例えば、構造物抽出部２３０は、まず画像データから得られる断面画像に、複数スケールの学習データで学習した学習モデルを適用することにより、断面画像に含まれる構造物を検出する。次に、構造物抽出部２３０は、検出された構造物が含まれる領域を断面画像から切り出した画像を生成し、再度学習モデルを適用する。これにより切り出した画像に含まれる構造物をさらに検出する。これにより、多段階に構造物を検出することができる。

具体的には例えば、目的断面に構造物として、第１の構造物と、第１の構造物の内部に位置する第２の構造物が含まれている場合、学習データの学習用目的断面画像には、第１の構造物と第２の構造物の像が含まれている。この場合、学習用関心領域断面画像は、目的断面画像の第１の構造物を含む一部領域を切り出して拡大した画像を用いることができる。構造物抽出部２３０は、画像データから得られる断面画像に学習モデルを適用することにより、第１の構造物が検出された場合、この断面画像から第１の構造物が含まれる領域を切り出した画像を生成し、切り出した画像に学習モデルを適用し、第２の構造物を検出することができる。

多段階抽出を行うことにより、段階ごとの演算量を低減できるため、縮小化した学習モデル（縮小化モデルとも呼ぶ）で、異なるスケールの複数な構造物を高速に高精度に検出することが可能になる。

縮小化モデルとしては、目的断面画像を学習データとして学習済みの高精度モデルの、入力画像サイズおよび階層数の少なくとも一方を低減した縮小化モデルを用いる。入力画像のサイズと階層数及び各層内部の対応領域サイズは検出対象となる構造物と目的断面及び関心領域断面画像の相対サイズの分布解析に基づき設計する。この縮小化モデルには、学習用目的断面画像と学習用関心領域断面画像とを含む学習データにより再学習させる。学習モデルが、入力画像サイズが低減されたモデルである場合、構造物抽出部２３０は、画像データから得られる断面画像を、入力画像サイズまで縮小して入力画像として学習モデルに入力すればよい。すなわち、学習モデルは、所定の構造物と目的断面画像及び関心領域断面画像の相対サイズの分布解析に基づき最適した縮小化モデルを利用する。

縮小化モデルは、演算量が少ないため、医用撮像装置の演算部に実装することも可能である。学習モデルの具体的な構造や学習過程については後述の第二実施形態において詳述する。

学習モデル（縮小化モデル）は、医用撮像装置１０において或いは医用撮像装置１０とは独立した計算機等で予め作成され、例えば記憶装置３５０に格納される。識別すべき目的断面（識別タスク）が複数ある場合、複数種類の縮小化モデルを作成しても良いし、一つのモデルにまとめて異なる断面の構造物を学習させて作成したモデルでも良い。例えば、計測対象（頭部、胸部、脚部等）が複数あり、計測対象ごとに目的断面が存在する場合には、計測対象（頭部、胸部、脚部）の目的断面それぞれについて、学習モデルが作成される。また、一つの計測部位であっても目的断面の種類（例えば、断面の向きが異なる等）が、複数ある場合にも、目的断面の種類に応じて作成される。作成された１以上の学習モデルはいずれも記憶装置３５０に格納される。

画像処理装置２００は、上述のモデル導入部２７０と構造物抽出部２３０と断面抽出部２６０に加えて、スコア算出部２５０と、演算部２１０と、表示制御部２８０を備えている。

モデル導入部２７０は、図２に示すように、記憶部３５０から識別タスク（識別すべき目的断面）に適合する学習モデル２２０を読出してこれを保存するモデル保存部２７１と、モデル保存部２７１から学習モデルを呼び出し、構造物抽出部２３０に適用するモデル呼出部２７３と、を備えている。

また構造物抽出部２３０は、断面選出部２３１と、構造物検出部２３２と、構造物判定部２３３とを含む。断面選出部２３１は、ボリュームデータまたは時系列２D連続データ等の画像データ２４０から複数の断面画像を選出する。構造物検出部２３２は、断面選出部２３１が選出した断面画像について、モデル導入部２７０が読み出した学習モデルを適用することにより、当該断面画像に目的とする構造物の領域の有無を検出（識別）するとともに、構造物の領域を検出した場合には、その検出（識別）の信頼度を示すスコアを出力する。構造物判定部２３３は、信頼度のスコアの高い構造物の領域を選択する。

スコア算出部２５０は、構造物抽出部２３０による構造物の検出の有無と、各構造物の信頼度を示すスコアに基づいて、所定の数式により形状スコアを算出する形状スコア算出部２５１と、構造物抽出部２３０が検出した構造物の領域間の幾何学的な位置関係から幾何学スコアを算出する幾何学スコア算出部２５２と、形状スコアと幾何学スコアから総合スコアを算出する総合スコア算出部２５３とを備える。

断面抽出部２６０は、解析部２６１と、断面決定部２６２とを含む。解析部２６１は、複数の断面画像の構造物抽出結果と、形状スコアと幾何学スコアと総合スコアの値の経過変化を解析し、目的断面探しを終了するか否かの決定や、次に構造物の抽出を行う断面画像群の決定等を行う。断面決定部２６２は、解析結果に基づき、例えば総合スコアが最も高い断面画像を、目的断面の断面画像と決定する。解析部２６１は、次に構造物の抽出を行う断面画像群を断面選出部２３１にフィードバックして選出させる。

画像処理部２００の演算部２１０は、断面抽出部２６０が抽出した断面の画像データに対し、抽出された構造物の領域を利用して、予め定めた計測値の演算（自動計測）を行う。また、他の演算を行ってもよい。表示制御部２８０は、断面抽出部が選択した目的断面の断面画像と、構造物の領域と、形状スコア・幾何学スコア・総合スコア等を表示部３１０に所定の表示態様で表示させる制御を行う。

このような画像処理部２００の機能の一部又は全部は、ＣＰＵが実行するソフトウェアとして実現することができる。また撮像部の画像データ作成に係る部分や画像処理部の一部はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒｙ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアで実現してもよい。

以上の、構成を踏まえ、本実施形態の医用撮像装置の動作、主として画像処理部２００の処理の流れを、図３を参照して説明する。ここでは撮像と画像表示とを並行して実行する場合を例に説明する。

まず前提として、例えば、操作入力部３３０を介して、ユーザにより識別すべき目的断面の種類が選択される。目的断面の種類とは、計測のための断面か構造体の延びる方向を確定するための断面かなど目的の違いによる種類、及び計測の対象（部位や臓器か或いは胎児か）の違いによる種類などがある。このような入力は、撮像条件の設定時に行ってもよいし、撮像条件が設定されるとデフォルトで設定されるようにしてもよい。

撮像部１００が撮像して得た３Ｄ画像データまたは時系列２D画像群である画像データ２４０を画像処理部２００が受け取ると、断面選出部２３１が画像データ２４０から複数の断面画像を選出する（Ｓ３０１）。ここで目的断面の画像空間における方向がわかっている場合には、断面選出部２３１は、その方向に平行な複数の断面を選出し、構造物検出部２３２に渡す。例えば、Ｚ軸を体軸方向とするとき、目的断面がＸＹ面であることがわかっているときには、ＸＹ面を所定の間隔で選出する。また、断面選出部２３１は、画像データ２４０がボリュームデータである場合、ボリュームデータに含まれる構造体（組織や部位）を検出することにより、空間解析で目的断面の所在領域を高速に絞込んでもよい。また、断面選出部２３１は、目的断面が一定方向に定まらない場合は、種々の方向の断面を画像データ２４０から選出する。断面選出の仕方は、所謂「粗‐密アプローチ(coarse to fine approach)」とすることが好ましい。このアプローチでは、断面選出部２３１による選出、構造物検出部２３２による構造物およびスコアの検出、スコア算出部２５０による総合スコア等の算出、解析部２６１による解析を繰り返しながら、繰り返し毎に、断面を選出する領域（探索領域という）を比較的広い領域から狭い領域に狭めていく。探索領域が狭まるにつれ、選出する断面の間隔を狭くし、さらに断面の角度の数を増やしてもよい。

モデル導入部２７０は、設定された目的断面に応じて記憶部３００から学習モデルを読出し、モデル保存部２７１に保存しておく。断面選出部２３１は、ステップＳ３０１で選出した断面を構造物検出部２３２に渡す。モデル呼出部２７２は、モデル保存部２７１から適用すべき学習モデルを呼び出し、構造物検出部２３２に渡す（Ｓ３０２）。構造物検出部２３２は、選出した断面画像のデータを、学習モデルに入力画像として入力する。このとき、断面画像のサイズが、学習モデルの入力画像のサイズよりも大きい場合には、学習モデルの入力画像サイズに対応するように断面画像を縮小する。学習モデルにより断面画像の構造物の領域が抽出（検出）されるとともに、その構造物の領域の検出の信頼度を示すスコアが出力される（Ｓ３０３）。つぎに、多段階抽出のために、構造物検出部２３２は、断面画像から、ステップＳ３０３で検出された構造物の領域を、切り出し、再度学習モデルの入力画像として入力する（Ｓ３０４，Ｓ３０５）。このとき、切り出した領域の画像サイズが、入力画像サイズよりも小さい場合には拡大し、入力画像サイズに合わせる。学習モデルは、切り出された領域の画像内に含まれる１以上の構造物の領域をさらに検出し、検出の信頼度を示すスコアを出力する（Ｓ３０３）。これにより、１回目の抽出で抽出された構造物の領域内に存在する構造物等のように、１回目の学習モデルの適用では抽出されなかった構造物が２回目の抽出で抽出できる。多段階抽出は、予め定めた回数（階層数）繰り返す（Ｓ３０４）。

解析済みの構造物をスコア算出部２５０に出力し、形状スコア、幾何学スコア、総合スコアを算出する（Ｓ３０６）。形状スコアは、ステップＳ３０３において得られた信頼度のスコアと、構造物の領域の検出の有無とに基づき算出され、幾何学スコアは、解剖学的知見から、２以上の構造物の領域についての相対的かつ幾何学的な位置関係に基づいて算出する。総合スコアは、形状スコアと幾何学スコアの合計である。これらを算出する数式の具体例については、第二実施形態において説明する。

解析部２６１は、複数断面の構造物抽出結果と、形状スコアと幾何学スコアと総合スコアの値の経過変化を解析し、目的断面探しを終了するか否かの決定や、次に構造物の抽出を行う断面画像群の決定等を行う（Ｓ３０７）。解析部２６１は、段階的に解析結果を断面選出部にフィードバックし、断面画像の選択を指示する。以上のステップＳ３０３～Ｓ３０７を、ステップＳ３０１で選出されたすべての断面画像について順次行う。

断面決定部２６２は、解析部２６１の結果を受け取り、最終的に総合スコアが最も高い断面画像を目的断面の画像であると決定する（Ｓ３０９）。

こうして断面抽出部２６０によって目的断面の断面画像が決定されると、表示制御部２８０は目的断面の断面画像に、抽出された構造物の領域を重畳した画像を生成し、形状スコアと幾何学スコアと総合スコアの値とともに表示部３１０に表示させる（Ｓ３１０）。演算部２１０が自動計測機能を備える場合には、この断面に存在する構造物の領域の情報を用いて、所定の計測を行い、その結果を、表示制御部２８０を介して表示部３１０に表示させる（Ｓ３１１）。識別タスク（目的断面）が複数ある場合、或いはユーザ調整により再処理が必要な場合は、ステップＳ３０１に戻り、Ｓ３０１～Ｓ３１０（またはＳ３１１）を繰り返す（Ｓ３１２）。

本実施形態によれば、複数スケールの学習データを用いて断面内の構造物を検出するように学習した学習モデル（識別器）を用い、多段階に学習モデルを断層画像に適用することで、短時間に且つ精度よく構造物の領域を検出できる。また、解剖学的知見に基づく幾何学スコアおよび総合スコアを算出することにより、適性が高い断面画像を目的断面の画像として選択することができる。

また、本実施形態によれば、学習モデルを縮小化することができるため、撮像装置への実装が容易になるとともに、学習モデルによる処理時間を短縮できる。その結果、撮像から目的断面表示或いは目的断面を用いた計測までの時間を短縮でき、リアルタイム性を高めることができる。

なお第一実施形態では、画像データ２４０が時系列データの場合、解析部２６１が時間軸における構造物の抽出の有無と、総合スコア等のスコアの時間方向の分布を解析する。画像データ２４０が３Ｄボリュームデータの場合は、解析部２６１が空間における構造物の存在領域の統合と、総合スコア等のスコアの空間分布を解析する。

また、時系列２Ｄ画像データを撮像中に、所定の時間（時相）ごとに目的断面の画像を取得したい場合、撮像中の時系列２Ｄ画像データを所定の時間単位で画像データ２４０として画像処理部２００に入力し、上述した処理を行うことで、所定の時間（時相）ごとに目的断面の画像を自動的に選択し、表示させることができる。

また時系列２Ｄ画像データに目的断面が含まれていない場合には、撮像を連続して行いながら画像処理部２００による処理を平行して行うことで、目的断面の探索を行うことができる。

なお時系列２Ｄ画像データの場合には、断面選出部２３１は、撮像断面（一方向の面）のみを選出すればよいので、高速な処理が可能となる。また所定の間隔で撮像される撮像断面を全て選択してもよい。

以上、モダリティに関わりなく適用可能な本発明の実施形態を説明した。以下の実施形態では、本発明を超音波撮像装置に適用した実施形態を説明する。

＜＜第二実施形態＞＞
まず図４を参照して、本発明が適用される超音波診断装置について説明する。

（超音波診断装置の構成）
本実施形態の超音波診断装置４０には、探触子４１０が接続されている。超音波診断装置４０は、送信ビームフォーマ４２０と、Ｄ／Ａコンバータ４３０と、Ａ／Ｄコンバータ４４０と、ビームフォーマメモリ４５０と、受信ビームフォーマ４６０と、画像処理部４７０と、表示部３１０と、操作入力部３３０とを備える。

探触子４１０は、所定の方向に沿って配列された複数の超音波素子で構成されている。各超音波素子は、例えば、セラミック等で構成された圧電素子を用いる。探触子４１０は、被検体１０１の表面に接するように配置される。

送信ビームフォーマ４２０は、Ｄ／Ａコンバータ４３０を介して複数の超音波素子の少なくとも一部に送信信号を出力し、超音波素子から超音波を送信させる。Ｄ／Ａコンバータ４３０は、送信ビームフォーマ４２０から超音波素子へ出力される送信信号を、Ｄ／Ａ変換する。送信ビームフォーマ４２０は、各超音波素子に出力する送信信号にそれぞれ、送信される超音波が所定の深度で集束するよう遅延時間を与える。これにより、所定の深度で集束する送信ビームが生成される。

また、送信ビームは、被検体１０１の内部を伝播する過程で反射等され、反射波（音響信号）は探触子４１０に到達する。探触子４１０の超音波素子は、到達した反射波を再び電気信号に変換し受信信号を生成する。Ａ／Ｄコンバータ４４０は、探触子４１０の超音波素子が出力する受信信号を、Ａ／Ｄ変換する。

ビームフォーマメモリ４５０には、超音波素子の出力する受信信号を、受信焦点ごとに整相するための遅延量を示すデータが格納されている。受信ビームフォーマ４６０は、送信ビームが送信されるたびに、Ａ／Ｄコンバータ４４０を介して、超音波素子の出力する受信信号を受け取り、ビームフォーマメモリ４５０から読み出した遅延量により受信信号をそれぞれ遅延させることにより整相した後加算し、整相信号を生成する。

画像処理部４７０は、受信ビームフォーマ４６０で生成された整相信号を用いて超音波画像（３Ｄボリュームデータまたは２Ｄ断層画像群）を生成した後、第一実施形態で説明したように目的断面に最適な断面画像を自動抽出する。このため、画像処理部４７０は、受信ビームフォーマ４６０で生成した整相信号を用いて超音波画像データを生成するデータ構成部４７１と、データ構成部において生成された画像データを格納するデータメモリ４７２と、学習モデルを導入するモデル導入部２７０と、構造物抽出部２３０と、スコア算出部２５０と、断面抽出部２６０と、自動計測部（演算部）２１０と、ユーザ操作入力を受ける断面調整部４７８、を備える。さらに図示していないが、ドプラ撮像を行う場合には、ドプラ信号を処理するドプラ処理部などを備えていてもよい。

データ構成部４７１は従来の超音波撮像装置と同様であり、Ｂモード或いはＭモード等の超音波画像を生成する。

図４のモデル導入部２７０及び構造物抽出部２３０は、それぞれ、第一実施形態のモデル導入部２７０及び構造物抽出部２３０に対応する機能を実現するものであり、図２に示した機能ブロック図と同様の構成を有する。即ち、モデル導入部２７０はモデル保存部２７１とモデル呼出部２７２を備え、構造物抽出部２３０は、断面選出部（２３１）、構造物検出部（２３２）、構造物解析部（２３３）を備える。スコア算出部２５０は、形状スコア算出部（２５１）、幾何学スコア算出部（２５２）、総合スコア算出部（２５３）を備える。断面抽出部２６０は、解析部（２６１）、断面決定部（２６２）を備える。

以下の説明において、適宜、図２を援用し、図２と同様の構成および動作については簡単に説明する。断面選出部２３１は、データメモリ４７２に格納されたデータのうち、１人の被検体における画像データ２４０（ボリュームデータまたは２Ｄ断面画像群）を読み出す。また、データメモリ４７２から読み出すデータは、２次元断面を撮像した動画データ、または動的に更新された画像でも良い。

構造物抽出部２３０の構造物検出部２３２は、モデル導入部２７０が導入した学習モデルに断面画像を入力し、構造物の領域と、信頼度のスコアを検出する。構造物判定部２３３により、誤検出を除去し、信頼度スコアが高い構造物を選出する。スコア算出部２５０は、構造物の検出の有無と各構造物の信頼度スコアに基づいて形状スコアと幾何学スコアと総合スコアを算出する。断面抽出部２６０の解析部２６１は、構造物と各スコアの経過変化を解析し、目的断面探しを終了するか否か、または次の抽出断面群を推定する。断面抽出部２６０の断面決定部２６２は、解析結果を基づいて、目的断面の断面画像を決定する。

自動計測部２１０は、構造物の領域検出結果を利用して、公知な自動計測アルゴリズム、または機械学習で得た特徴マップの逆解析により組み込んだソフトウェアで構成することができ、目的断面の断面画像の構造物の領域から、予め定められた部位のサイズ等の計測を行い、所定のアルゴリズムを用いてサイズ等の値から目的の計測値を算出する。

断面調整部４７８は、表示部３１０に表示された目的断面の断面画像について、ユーザによる修正や調整を、操作入力部３３０を介して受け付け、断面位置の変更やそれにともなう自動計測の再処理の指令を自動計測部２１０に与える。

表示部３１０は、画像処理部４７０において抽出された目的断面の断面画像、構造物の領域、形状スコア・幾何学スコア・総合スコア、及び、自動計測された計測値と計測位置等を表示する。操作入力部３３０は、ユーザ入力により抽出された目的断面の断面画像の位置調整、断面画像の切り替え、表示非表示の切り替え、計測位置の調整等の指示をユーザから受け付けるための入力デバイスとして機能する。画像処理部４７０は、ユーザから受け付けた指示に応じて、一部の処理を再度行い、表示部３１０の表示結果を更新する。

（学習モデルの説明）
次にモデル導入部２７０のモデル保存部２５１に保存された学習モデル５５０について図５から図８を用いて説明する。

この学習モデル５５０は、予め超音波診断装置に搭載されている高精度の縮小化モデルである。学習モデル５５０の構成は、図５および図８に示すように元学習データベース５００で学習済みの複雑な高精度モデル（５３０）を解析し、学習データ内の検出対象領域の相対サイズの解析に合わせて、簡素なモデル構成を有するように縮小化した縮小化モデル（５４０）である。この縮小化モデル５４０は、図５に示すように、元学習データベース５００と拡張学習データベース５１０とを含む複数スケール学習データベース５２０を再学習することにより、複数スケール対応の縮小化モデル５５０となっている。

ここで、元学習データベース５００は、学習データのデータベースであり、目的断面について予め撮像された、所定の構造物の像を含む学習用目的断面画像を学習データとしている。例えば、学習データベース５００は、予め多数の画像データ、例えば胎児の各成長週の３Ｄ画像、２D画像及び内部の目的構造物の領域情報を収納したものである。拡張学習データベース５１０は、上記学習用目的断面画像のうち所定の構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像を学習データとするものである。

モデル導入部２７０は、超音波撮像装置４０とは別の画像処理装置やＣＰＵ等で実現することが可能であるが、超音波撮像装置４０がＧＰＵを搭載する場合には、当該装置内のＧＰＵで実現してもよい。

ここで、複数スケールの学習データベース５２０の構成について、図６を参照して説明する。図６は目的断面が胎児腹部断面である場合の事例を示している。図６に示すように、複数スケール学習データベースは、元学習データベース５００と、拡張学習データベース５１０とを含む。

元学習データベース５００は、目的の目的断面について予め撮像された複数の学習用目的断面画像６００と、構造物領域ラベル６１０とのセットにより構成されている。構造物領域ラベル６１０は、目的断面画像６００に含まれる１以上の構造物の種類を特定する情報（例えば名称、腹部輪郭、脊髄、臍静脈等）とその領域の位置情報（例えば、領域の四隅の座標）を対応させた情報であり、例えばテーブル等の形式の情報である。具体的には、腹部の場合、構造物領域ラベル６１０は、構造物として、学習用目的断面画像６００に含まれる腹部輪郭、腹部輪郭内の脊椎、臍静脈および胃胞にそれぞれ設定された腹部輪郭領域６１１、脊椎領域６１２、臍静脈領域６１３および胃胞領域６１４の位置情報を含む。図６の例では、構造物の領域６１１～６１４として、構造物に対応させた大きさの長方形を設定しているため、構造物領域ラベル６１０は、領域６１１～６１４の位置情報として、各領域の四隅の座標を、構造物の種類を特定する情報（例えば名称）と対応させたテーブルであってもよい。

また、拡張学習データベース５１０は、学習用関心領域断面画像６２０とその構造物領域ラベル６３０、ならびに、非目的断面画像６４０とその構造物領域ラベル６５０を含む。

関心領域断面画像６２０は、関心領域の内部構造物を、拡大したスケールの画像上で抽出可能にするための学習データであり、目的断面画像６００内に設定した構造物６１１～６１４を含む関心領域を切り出して、目的断面画像６００と同じ画像サイズに拡大したものである。例えば、図６のように腹部の場合には、腹部輪郭領域６１１を関心領域としてもよいし、腹部輪郭領域６１１の外側に関心領域を設定してもよい。関心領域断面画像６２０は、構造物の領域ラベル情報を有する構造物領域ラベル６３０とセットで持つ。構造物領域ラベル６３０は、構造物領域ラベル６１０と同様の構成であり、関心領域断面画像６２０に含まれる１以上の構造物の種類特定情報とその領域の位置情報を対応させた情報である。例えば腹部輪郭領域６３１、脊椎領域６３２、臍静脈領域６３３および胃胞領域６３４の位置情報（座標等）を含む。

関心領域断面画像６２０は、関心領域のサイズが異なる、すなわち、拡大率が異なる複数種類を用意してもよい。または更に、関心領域の内部の構造物の切り出し画像を有しても良い。

非目的断面画像６４０は、目的断面とは異なる部位の断面画像である。非目的断面画像６４０についても、その内部構造物とその領域６５２，６５３の位置情報を示す他構造物領域ラベル６５０とセットで拡張学習データベース５１０に含まれている。例えば、目的断面が腹部である場合、胸部断面画像は非目的断面であり、胸部輪郭領域６５１は、腹部輪郭領域６１１と相似している。しかしながら、胸部輪郭領域６５１には、明らかに目的断面の構造物ではない心臓の領域６５２が含まれている。このため、構造物抽出部２３０が心臓領域６５２を検出（抽出）した場合、その断面画像の総合スコアが低下するため、目的断面であると誤判断される可能性を低下させることができる。

また、目的断面と非目的断面の定義は抽出しようとする目的断面に応じて変わる。例えば胸部断面画像である非目的断面画像６４０は、心臓断面抽出を目的とする際は目的断面となる。よって、複数種類の目的断面について、拡大率の異なる断面画像を学習データとして学習モデルに学習させることが望ましい。

学習データをベースに、検出対象領域の相対サイズの解析、及び複雑な高精度モデルの構成解析に基づき、学習モデルを縮小化し、縮小化モデル５４０を構成する。縮小化した機械学習モデル５４０の具体的な構造について、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＤＬ）の一つであるＣＮＮを例に説明する。

図７に高精度モデル５３０の基本構成と対象構造物のサイズの分布を示している。まず学習モデル５３０の基本構成について説明する。学習モデル５３０は、初期の入力画像５３１に対し、構成の前段において特徴量を抽出するための畳込層５３２を有する。畳込層５３２は、通常は複数の層から構成され、畳込層５３２により、入力画像５３１がある程度抽象化される。構成の後段においては、畳み込みにより、特徴画像のサイズを38、19、10、5、3のように階層的に半減して行くと同時に、層内の1箇所が対応した元画像の領域サイズが約2倍ずつ増加する。そして、抽出した各階層の特徴量を用いて領域推定を行うことにより、階層的に異なるサイズの構造物の抽出に対応することができる。手前の層は、小さい構造物の領域推定に対応し、後ろの層は、大きい構造物の領域推定に対応する。一例として、入力画像内の小さい構造物５３５が、手前の領域抽出層５３３の中の領域候補５３７により推定される。大きい構造物５３６は、後半の領域抽出層５３４の中の領域候補５３８により推定される。学習モデルの最終層において各階層の領域と推測値をランキングし、信頼度の高い領域候補を選出し、入力画像５３１に合わせて構造物とその領域５３５を出力する。

一般的に、高精度を実現するために、学習モデル５３０のような複雑な構成が必要となる。腹部断面を事例に、構造物のサイズの分布に応じてその必要性について説明する。図７のグラフ７０１は300*300ピクセルの元画像に対する構造物のサイズ分布を示す。腹部領域、胃胞等内部構造物のサイズの違いが大きく、約10から150ピクセルまで占めている。まず、最小入力画像サイズの必要性について検証する。300＊300ピクセルの入力画像に対して、最小抽出構造物のサイズが10となり、畳込層５３２による特徴を抽象化する過程で一定的に畳み込まれてから最初の領域抽出層に入る。そのため、例えば入力サイズをさらに小さくすると、小さめな構造物(一部の臍静脈等)は領域抽出層５３３に入る前に既に他の領域の特徴と混合され、領域が推定されなくなる。次に領域抽出層の必要性について検証する。検出対象の構造物の領域サイズが大きく異なり、10から150ピクセルの間に、約2倍で増大していくと、グラフ701に図示したように、10、19、38、75，150ピクセルの約5階層となる。よって、領域抽出層は、これら異なるサイズの構造物の検出を階層的に対応するため、最少でも5層が必要となる。さらに、実際の撮像画像内の形状の違いも大きく、多様性に対応するため、各階層のチャンネル数も大きくなる。上記に述べたよう、一般的に、グラフ701のような検出対象の分布特徴により、高い精度を保つためには、学習モデル５３０のような複雑な層構成が必要である。

しかし、学習モデルは、層構成が複雑化するにつれて、処理時間がかかる。超音波診断装置等においては、即応答性が求められている。そこで、構造物の相対サイズの分布に着目し、その特性の解析に基づき、学習モデルを縮小化する方法を検討した。まず、入力画像の縮小化の可能性について検討し、入力画像が小さくできれば、全体的な計算量が大きく減少できる。元画像から、小さい構造物から大きい構造物までを同時に検出するには、入力サイズの縮小が困難であるが、段階に分けて検出すると入力サイズの縮小が可能である。分布７０１において、元画像に対して、腹部領域(AC_ROI)は、サイズが大きく、非常に見つかりやすい構造物であり、入力画像を少し縮小しても、AC_ROIの相対サイズが依然と大きいため、検出されやすい。そこで、腹部領域(AC_ROI)を中心に、関心領域断面画像を切り出して、AC_ROIのサイズを１５０ピクセル基準に正規化した場合の、他構造物の相対サイズの分布をグラフ７０２に示す。AC_ROIサイズ１５０ピクセルに対して他の構造物のサイズが２０から６０ピクセルまで集中的に分布し、AC_ROIを含めて、20から150ピクセルの間に、約2倍で増大していくと、グラフ702に図示したように、10、20、40、80，160ピクセルの約4階層となる。また、１６０＊１６０ピクセルの関心領域断面画像に対し、小さい構造物でも、相対的に認識しやすいサイズ(２０ピクセル)を有し、畳込層を通した後でも依然として領域が残り、領域推定しやすい。そこで分析によって、元画像から関心領域(AC_ROI)を抽出し、AC_ROIからさらに詳細構造物を抽出するというように問題を分ければ、小さい入力サイズの学習モデルでも対応が可能となる。入力サイズの縮小により、全体的の畳み込み層数が少なくし、入力から各層までの計算量も少なくなる。また、グラフ７０２の分布図のように、AC_ROIサイズによりデータを正規化後、データがより均一化となり、少ない領域抽出層数とチャンネル幅で対応可能となる。さらに、詳細設計において、領域抽出層の前側は相対的に小さい構造物のサイズ分布に合わせて推測領域のパラメータを調整できる。このように、検出対象のサイズの分布の解析に応じて、適した縮小化モデルを設計できる。

図8は学習モデルを縮小化する前後の層構成変化の一例と再学習の流れを示す。前記において、腹部断面を事例に、構造物の相対の解析により、モデル縮小化可能性について述べた。縮小化前の学習モデル530に対して、縮小化した学習モデル540は、入力画像サイズを300＊300ピクセルから160＊160ピクセルに縮小化したことにより、特徴の畳込層５４２も相対的に軽くなる。領域抽出層が従来の5層から4層に縮小、各層のサイズも小さくなった。また、本手法により，AC_ROIに対する同種類の構造物の相対サイズをより均一にすることができるため、構造物の各層内のチャンネル数を減らすことが可能となる。本実施形態においては，パラメータ調整により、層内のチャンネル数を512や1024から128に縮小化しても、検出精度が担保されることを確認した。これらにより全体的に学習モデルのサイズが約従来の10分の1まで縮小し、処理速度を従来より10倍速くすることができる。図8が示した層構成はデータ解析に応じた縮小化の一例であり、必ずしも図示したすべての層構成に限定されなくても良い。

高精度の学習モデル５３０は、異なるサイズの構造物を高い検出精度を有するために、入力画像５３１の画像サイズが大きく、階層数が多く、階層内の畳み込みの出力次元数であるチャネル幅も大きい。そのため、学習モデル全体のサイズが大きく処理時間がかかる。装置搭載において、高い精度を有したまま、できるだけ小さいメモリで高速処理できるモデルが望ましい。そこで、本実施形態では、機械学習モデルを実装置への搭載問題を解決するため、学習モデルを縮小化する。具体的には、学習モデル５３０を解析し、基本機能を保ちながら、学習モデルの入力画像サイズ、階層数、および、チャネル幅の少なくとも一つを縮小化する。ここでは、学習モデルの入力画像サイズ、階層数、及びチャネル幅をすべて縮小化する。縮小化の際において、入力画像のサイズと階層数、ならびに、各層内部の対応領域サイズは、検出対象となる構造物と目的断面及び関心領域断面画像の相対サイズの分布解析に基づき設計する。相対サイズの分布の解析により、異なるサイズに対応する畳み込み層の階層数とサイズを適切に設定でき、必要な最小入力サイズも小さく設計できる。また、分布が集中するところに対応した検出層に対して、チャンネル数を多くし、入力の多様性に対応させる。分布が少ないところに少量のチャンネル数で対応する。その結果、小さくした入力画像５４１、浅い特徴抽出層５４２、少なめな領域抽出階層５４３、構造物出力層５４４を有する簡素な縮小化モデル５４０が得られる。また、領域抽出層５４３の内部の領域推定パラメータを構造物の相対分布に合わせて調整できる。縮小化モデル５５０は、複数スケール学習データベース５２０を用いて再学習することにより、簡素な構成でありながら、異なる大きさの構造物を抽出できる複数スケール対応の縮小化モデルとなる。また、多段階抽出５６０と合わせて利用することで、注目領域が絞り込むことができるため、断面画像においてはスケールが小さい構造物でも、断面画像の一部領域を切り出して拡大したスケールの断面画像を生成して、これに再度縮小化モデル５５０を適用することにより抽出することが可能になる。また、絞り込んだ関心領域の切り出し画像において、解剖学的に内部の構造物ある程度均一化となるため、縮小化モデルの少数の層数とチャンネル数で対応できる要因の一つでもある。よって、縮小化モデル５５０でありながら、高精度の学習モデル５３０に相当、またはそれ以上の精度を有し、処理時間も短い学習モデルを獲得できる。

（多段階抽出の説明）
多段階の抽出の詳細について、図９を参照してさらに説明する。まず、構造物検出部２３２は、検出対象の断面画像８００を、学習済み複数スケール対応縮小化モデル５５０の入力画像５４１のサイズにリサイズ（縮小）し、縮小化モデル５５０に入力する。これにより、縮小化モデル５５０から、第一段階の識別（検出）結果８１０が得られる。

縮小化モデル５５０は、入力画像５４１の画像サイズが小さいため、縮小化モデル５５０の第一段階の処理では断面画像８００内の相対的にサイズが大きい構造物の領域８２０（例えば腹部の場合、腹部輪郭領域）のみが検出され、大きい構造物の内部の小さい構造物は検出できないことがある。そこで、構造物検出部２３２は、検出された大きい構造物の領域８２０に対応する、断面画像８００における領域８３０を、断面画像８００から切り出した新たな入力画像を生成する。構造物検出部２３２は、この切り出した入力画像を、縮小化モデル５５０に入力画像５４１として入力し、再度識別処理を行う。ただし、切り出した入力画像が、縮小化モデル５５０の入力画像５４１より小さい場合には、拡大して入力する。これにより、縮小化モデル５５０から第二段階の検出結果８４０が得られる。

第二段階の検出結果８４０では、注目領域を絞り込んでいるため、第一段階の構造物の領域８２０に対応する大きい構造物の領域８５０のみならず、その内側の小さい構造物の領域８６０も検出されている。縮小化モデル５５０からは、構造物の領域の検出に伴い、各構造物の検出の信頼度スコアも出力される。

なお、ここでは一例として、腹部領域について、２回の構造物抽出を行ったが、抽出しようとする目的な構造物のサイズや深さに応じて、３回以上の他段階識別を自動調整、または手動設定で行ってもよい。

（スコア算出部２５０の説明）
スコア算出部２５０の詳細について、図１０の腹部断面を参照して説明する。構造物の検出の結果として、９１０のように、各構造物の種類を特定する情報（名称）、構造物の領域９１１～９１３、及び検出された構造物の信頼度のスコアＳ_１～Ｓ_４が結果として得られる。図１０の例では、腹部の輪郭領域９１１とスコアS₁、脊椎領域９１２とスコアS₂、臍静脈領域９１３とスコアS₃、胃胞領域９１４とスコアS₄が検出されている。

スコア算出部２５０の形状スコア算出部２５１は、各構造物の検出の有無と信頼度スコア９５２に基づき、重要度に応じた重み（Ｗ_ｉ）９５２で重み付けする図１０に示す予め定めた式(１)により、形状スコア９５０を算出する。また、目的断面と構造物ごとに重みは、予め定めておく。また、明らかに目的断面には含まれない構造物（例えば、腹部目的断面を検出しようとする際の心臓構造物）については、マイナス方向の重み（Ｗ_ｉ）を設定しておく。これにより、目的断面には含まれない構造物を含む断面画像の形状スコア９５０を低下させることができるため、非目的断面画像が目的断面画像として選出されるのを防止できる。

スコア算出部２５０の幾何学スコア算出部２５２は、検出された複数の構造物の領域の位置関係に応じて、予め定めた幾何学的な角度や距離を幾何学基準の算出スコアＧ_ｊ９６１として算出する。そして、算出スコアＧ_ｊを重み（Ｗ_ｊ）９６２で重み付けする図１０に示す予め定めた式(２)により、幾何学スコア９６０を算出する。腹部を事例に、その一つの基準９２０として、腹部輪郭領域９１０の中心と臍静脈の領域９１３との距離９２１、及び、中心と腹部輪郭の領域８２０との距離９２２を算出してその比を求め、予め定めておいた適切な比例範囲であるか否かでスコア化したものＧ_ｊ９６１をする。また、例えば、基準９３０として、腹部輪郭領域９１０の中心を中心として、脊椎の領域９１２と臍静脈の領域９１３との成す角度９３１をＧ_ｊ９６１としてもよい。さらに、基準９４０とし、脊椎の領域９１２を中心として、臍静脈の領域９１３と胃胞の領域９１４とのなす角度９４１をＧ_ｊ９６１として用いてもよい。

総合スコア算出部２５３は、最後に形状スコアと幾何学スコアを合わせて総合スコア９７０を図１０の式（３）により求める。

（自動計測部２１０の説明）
自動計測の具体例を、胎児の体重計測と心臓計測を例に説明する。胎児の体重計測は、一般的に、図１１に示すように、計測対象である胎児の構造に対して、胎児頭部断面１０１０からＢＰＤ（児頭大横径）を計測し、腹部断面１０２０からＡＣ（腹部周囲長）を計測し、大腿骨部断面１０３０からＦＬ（大腿骨長）を計測し、それらの計測値に基づいて胎児の体重を推測し、週数に応じた成長曲線と見比べ、胎児が順調に成長しているかを判断する。

胎児頭部断面では、図１１（ａ）に示すように、頭蓋骨１０１０、正中線１０１２、透明中隔１０１３、及び四丘体槽１０１４などの構造特徴を有する断面を目的断面とすることが、ガイドラインにより推奨されている。計測対象は、国によって異なるが、例えば、日本においては胎児頭部断面からＢＰＤ（児頭大横径）１０１５を計測し、欧米においてはＯＦＤ（児頭前後径）１０１６、ＨＣ（児頭周囲長）１０１７を計測するのが一般的である。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。

抽出された目的断面の断面画像において、自動計測部２５０（図４）が、例えば、特許文献１に記載された手法などの自動計測技術により、所定の計測を行う。この技術では、頭部であれば、断層画像の特徴から頭部に対応する楕円を算出し、頭部の径を算出する。

胎児腹部断面では、図１１（ｂ）に示すように、腹部壁１０２１と、臍静脈１０２２と、胃胞１０２３と、腹部大動脈１０２４と、脊椎１０２５などの構造特徴を有する断面を目的断面とすることが、ガイドラインにより推奨されている。この目的断面では、一般的にＡＣ（腹部周囲長）１０２６が計測される。地域によりＡＰＴＤ（腹部前後径）１０２７、ＴＴＤ（腹部横径）１０２８が計測される場合もある。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。計測手法は、頭部の場合と同様である。

胎児大腿骨部断面では、図１１（ｃ）に示すように、大腿骨１０３１と、大腿骨の両端である遠位端１０３２と、近位端１０３３などの構造特徴を有する断面がガイドラインにより推奨されている。この目的断面ではＦＬ（大腿骨長）１０３４が計測される。

自動計測部２５０は、これら三断面において計測した各計測値（ＢＰＤ、ＡＣ、ＦＬ）を用いて、例えば次式により推定体重を算出する。

推定体重＝ａ×（ＢＰＤ）^３＋ｂ×（ＡＣ）^２×（ＦＬ）
（ａ、ｂは経験値から求められた係数で、例えばａ＝１．０７、ｂ＝０．３０である）
自動計測部２１０は各部位の計測値と算出した推定体重を表示部３１０に表示させる。

胎児心臓断面では、図１１（d）に示すように、胸部壁１０４１と、心臓の四つの腔を描出する心臓１０４２と、下行大動脈１０４３と、脊椎１０４４などの構造特徴を有する断面を目的断面とすることが、ガイドラインにより推奨されている。心臓四腔断面において非常に多くの情報が含まれている。一般的にＣＣ（胸部周囲長）１０４５、胸郭面積１０４６、心臓面積１０４７、心軸１０４８、ＴＣＤ（心横径）１０４９等が計測される。また、心臓面積と胸郭面積の比であるＣＴＡＲ（心臓胸郭面積比）が計算される。対象となる計測位置は装置の事前設定、または計測前に設定しても良い。

以上、胎児体重計測に必要なＡＣ目的断面、ＢＰＤ目的断面、ＦＬ目的断面、及び心臓四腔断面の目的断面を抽出し、自動計測を行うことを説明した。ただし、本実施形態は縮小化学習モデル５５０を用いて、構造物の識別と目的断面の画像の抽出を行うことが特徴であり、上記自動計測に限られるものではなく、胎児の心機能を調べるための心臓の４ＣＶ断面（心臓四腔断面）のほか、３ＶＶ断面（Ｔｈｒｅｅ Ｖｅｓｓｅｌ Ｖｉｅｗ）、左室流出路断面、右室流出路断面、大動脈弓断面の抽出や、胎児の羊水量を測定する羊水ポケットの目的断面の自動抽出に適用することも可能である。また、胎児に限らず、成人の心臓、循環器の計測や観察に必要な標準断面の自動抽出に適用することも可能である。

（検出される構造物の例）
上述した超音波撮像装置４０の構成と図１２の目的断面の特徴を踏まえ、本実施形態の構造物検出部によって検出（抽出）される構造物の例を説明する。ここでは一例として、胎児計測用腹部断面、頭部断面、大腿骨断面、胸部断面の構造物を例に説明する。

図１２に示すように、胎児計測用腹部断面１１１０が目的断面の場合、構造物として、腹部輪郭領域１１１１、脊椎１１１２、臍静脈１１１３、及ぶ胃胞１１１４を学習モデル５５０により検出することができる。

頭部断面１１２０が目的断面の場合、頭部輪郭領域１１２１、透明中隔１１２２、正中線１１２３、四丘体槽１１２４を学習モデル５５０により検出することができる。

大腿骨断面１１３０が目的断面の場合、大腿部輪郭領域１１３１、大腿骨１１３２を検出できる。

胸部断面１１４０が目的断面の場合、胸部輪郭領域１１４１、心臓領域１１４２、脊椎１１４３を検出できる。

（連続撮像した２Ｄ断面画像から目的断面の画像を抽出する処理）
図１３と図１５を用いて、画像データが、時間軸における連続２Ｄ断面である場合に、データの取得から断面画像群生成を生成し、目的断面の画像を抽出処理までを説明する。

図１５に示した処理フローのように、本実施形態において、被検体である胎児１０１に対し、１Ｄプローブ４１０を移動しながら、時間的に連続撮像した２Ｄ断面画像１２０１が撮像され、データメモリ４７２に蓄積されている。モデル導入部２７０は、デフォルトまたはユーザから設定された目的断面に対応する学習モデル５５０をモデル保存部２７１から導入し、構造物検出部２３２に渡す（Ｓ１４００）。断面選択部２３１は、データメモリ４７２から呼び出した断面データ１２０１に対して、時間軸上でサンプリングし、処理対象となる断面画像群１２０２を生成する（Ｓ１４０１）。即ち、時間軸における探索領域を決定し、時間軸上のフレーム画像を選定する。探索領域の決定については、粗－密アプローチをとってもよい。また、リアルタイムで撮像される断面画像については、継続的に入力される断面画像をそのまま処理対象とする。

構造物抽出部２３０は、モデル導入部２７０から受け取った学習モデル５５０に、処理対象の断面画像を入力画像のサイズに縮小して入力する。これにより、構造物の領域と信頼度スコアが検出される（Ｓ１４０２）。構造物抽出部２３０は、検出された構造物の領域と信頼度スコアに基づき、構造物を判定し、信頼度の高い構造物を選出し、誤検出の構造物を除去する（Ｓ１４０３）。また、検出しようとする構造物の階層により、多段階抽出を進行するか否かを判断する（Ｓ１４０４）。多段階抽出する際は、ステップＳ１４０２で検出された構造物の領域のうち、予め定められた大きい構造物またはユーザから指定された構造物の領域をＲＯＩとして、処理対象の断面画像におけるＲＯＩに対応する領域の画像を切り出した画像を生成する（Ｓ１４０５）。そして、ステップＳ１４０２に戻り、構造物抽出部２３０は、切り出した画像を、入力画像のサイズに拡大して入力する。これにより、切り出した画像に含まれる小さい構造物の領域と信頼度スコアが検出される。構造物抽出部２３０は、ステップＳ１４０２～Ｓ１４０５の抽出を、所定の回数繰り返す。

ステップＳ１４０４において多段階抽出を終了の場合、多段階に検出された構造物とスコアの抽出結果を統合した統合結果（画像や位置情報）１２０３を生成する。この統合結果１２０３に基づき、スコア算出部２５０は、断面の適性度を表す形状スコアと幾何学スコアを算出する（Ｓ１４１１とＳ１４１２）。さらに、スコア算出部２５０は、総合スコアを算出する（Ｓ１４１３）。構造物抽出部２３０とスコア算出部２５０は、構造物の抽出結果とスコア算出結果をメモリ（不図示）に蓄積する（Ｓ１４１４）。

断面抽出部２６０の解析部２６１は、スコア算出部２５０の算出した総合スコアの時間変化１２０４を解析し（Ｓ１４２１）、さらに検出した構造物の分布を解析し（Ｓ１４２２）、現時点までの暫定最適断面画像を更新する（Ｓ１４２３）。例えば、解析部２６１は、総合スコアが最も高く、構造物の分布が予め定めた範囲内の断面画像を最適断面画像として選択する。十分に計測に適した目的断面の画像が見つかったか、またはユーザ操作で探索の終了を指示されたかを判定する（Ｓ１４２４）。

解析部２６１は、断面取得を終了しない場合、解析結果と入力形式に基づき、次の処理対象の断面画像の探索領域を推定し（Ｓ１４２５）、断面選出部２３１に出力する。これにより、ステップＳ１４０１の処理対象の断面画像の獲得から再び開始する。

解析部２６１は、断面取得終了と判定した場合、断面決定部２６２は、暫定最適断面画像を目的断面の断面画像１２０５であると決定する（Ｓ１４３１）。断面抽出部２６０は、断面抽出結果として、抽出した断面画像１２０５と、構造物の領域抽出結果と、評価スコア１２０４を出力する（Ｓ１４３２）。自動計測部２１０は、必要に応じて、目的断面の領域抽出結果に基づき自動計測を実施する（Ｓ１５００）。

この画像処理と並行して撮像が連続行われている場合には、データメモリから呼び出す断面を、その時刻におけるユーザの撮像操作により更新しても良い。

なお図１３ではデータメモリ４７２から２Ｄ断面データを呼び出す場合を示したが、読み出すデータは１回のスキャンで取得した３Ｄボリュームデータでも良いし、４Ｄモードで連続スキャンした複数の３Ｄボリュームデータでも良い。入力データが複数の３Ｄボリュームデータである場合、一つのボリュームデータから一つの断面抽出後に、ボリュームを更新し断面の抽出を行う。最終的に複数のボリュームデータから抽出した候補断面から、最終的に一つの断面を決定する。

（３Ｄボリュームデータから目的断面の画像を抽出する処理）
図１４を用いて、抽出対象が３Dボリュームデータである場合に、データを取得し、断面画像群を生成し、目的断面の断面画像を選択するまでを説明する。なお、処理フローとして、図１５を参照する。

図１４に示すように、撮像部１００は、機械式メカプローブまた電子式２Ｄプローブ４１０を用いて、被検体である胎児１０１に対し、ボリュームスキャンし、データメモリ４７２にボリュームデータを保存する。

断面選択部２３１は、データメモリ４７２から取得したボリュームデータを呼び出し、決定された探索領域内の切断位置１３００から断面を切り出し、対象となる断面画像群１３０２を獲得する。切り出される断面は、ボリュームデータの軸（Ｚ軸）に対し垂直な面、Ｚ軸に平行な面、これらを偏角方向や仰角方向に回転させた面などを含む。

構造物抽出部２３０は、上述したステップＳ１４０２～Ｓ１４０５と同様の処理により、構造物の多段階抽出を行う。多段階抽出を終了の場合、多段階に検出された構造物とスコアの抽出結果を統合した統合結果（画像や位置情報）を生成し、この統合結果に基づき、スコア算出部２５０は、形状スコアと幾何学スコアと総合スコアを算出する（Ｓ１４１１～Ｓ１４１３）。構造物の抽出結果とスコア算出結果をメモリ（不図示）に蓄積される（Ｓ１４１４）。

解析部２６１は、総合スコアの空間軸上の時間変化１３０２を解析し（Ｓ１４２１）、さらに、構造物の空間分布を解析し（Ｓ１４２２）、暫定最適断面を更新する（Ｓ１４２３）。

解析部２６１は、ボリュームデータに対して構造物の出現領域を整合したデータ１３０４を生成する。解析部２６１は、整合データにおける構造物の空間分布により、目的断面を十分絞り込んだかを判定し（Ｓ１４２４）、断面取得を終了しない場合、ボリュームデータ１３００から次の断面画像群を切り出す探索領域を推測し（Ｓ１４２５）、断面選出部２３１に出力する。

解析部２６１は、断面取得終了と判定した場合、暫定最適断面画像を目的断面の断面画像１２０５であると決定し、抽出した断面画像１２０５と、構造物の領域抽出結果と、評価スコア１２０４を出力する（Ｓ１４３１、Ｓ１４３２）。自動計測部２１０は、必要に応じて、目的断面の領域抽出結果に基づき自動計測を実施する（Ｓ１５００）。

（自動計測部２１０の処理フロー例）
自動計測部２１０の自動計測の処理フローを図１６を用いて説明する。この自動計測の機能は、断面抽出の機能と直接繋がってもよいし、自動計測機能単体としても利用可能である。

まず自動計測部２１０は、断面画像を取得し（Ｓ１５０１）、構造物抽出が実施済みであるか否かを確認する（Ｓ１５０２）。構造物抽出が未実施と判定する場合、自動計測部２１０は、図１５の処理フローにより、改めて構造物抽出実施する（Ｓ１５０３）。これにより、自動計測部２１０は、構造物の領域抽出結果を獲得する（Ｓ１５０４）。

自動計測の対象である断面画像における計測範囲を絞るために、対象画像にＲＯＩを設定し、ＲＯＩ画像を生成する（Ｓ１５０５）。ＲＯＩは、ステップ１４０２～１４０４で検出された構造物の領域のうち、計測目的に応じて予め定められた構造物の領域を選択することにより設定する。例えば、腹部ＡＣ計測の場合、腹部輪郭領域９１０をＲＯＩとして断面画像から切り出す。

自動計測部２１０は、生成したＲＯＩ画像（計測部位の画像）に基づき、適した計測手法を判定して（Ｓ１５０６）、自動計測を行う。例えば、頭部など輪郭が明確で、形状も比較的に安定の場合、構造物配置により頭部の軸（正中線）向き等の姿勢を算出し（Ｓ１５０９）、近似形状である楕円を用いて輪郭フィティングし（Ｓ１５１０）、自動計測を行なう（Ｓ１５１１）。

また、自動計測部２１０は、腹部や心臓等形状不安定や形状複雑の計測対象に対して、ピクセル単位のセグメンテーションを行う（Ｓ１５０７）。ピクセル単位のセグメンテーション手法として、テンプレートなどルールベースの手法や決定木の手法でも良いし、機械学習を用いて画像の特徴量の畳み込みとその逆解析の手法で求めても良い。更に、処理の簡略化と高速化に目指し、機械学習を用いた畳み込み層の逆解析を行ってもよい。具体的には、構造物抽出ステップで得られた特徴量の畳み込み層をそのまま再利用し、逆解析の部分のみを転移学習などで再学習しても良い。自動計測部２１０は、ピクセル単位のセグメンテーション結果に基づいて、計測領域のマスクを取得し（Ｓ１５０８）、近似形状フィティングを行う（Ｓ１５１０）。そして、フィティング結果に基づき、計測結果を算出する（S１５１１）。

（ＵＩ画面例の説明）
表示部３１０に表示される画面（ＵＩ）の一例を図１７に示す。図１７はＡＣ（腹部周囲長）計測用の目的断面を例に説明したものであり、表示画面１６００上に、目的断面表示ブロック１６１０、分析結果表示１６２０、断面候補表示ブロック１６３０、位置調整スライダ１６４０、断面の種類や計測値を示すブロック１６５０、適正スコアを示すブロック１６６０、設定ブロック１６７０などが表示される。目的断面表示ブロック１６１０には、断面抽出部２６０により抽出された目的断面１６０１を表示する。また目的断面１６０１において計測を行った位置１６０２と計測値１６５０を表示する。計測位置１６０２上にはユーザ操作によりドラッグ可能なマーカ１６０３を表示する。マーカ１６０３のドラッグ操作により、計測位置１６０２と計測値１６５０が更新される。

目的断面１６０１の構造物の所在領域に、検出した構造物のラベル（構造物の名称と領域を示す枠）が表示されている。腹部の場合が腹部輪郭領域（AC_ROI）１６０４、脊椎（SP）１６０５、臍静脈（UV）１６０６、胃胞（ST）１６０７が検出された場合、所定領域にラベルと信頼度スコアを重畳表示する。重畳表示した各構造物の領域を示す枠については、領域範囲を示す矩形でも良いし、畳み込み層の特徴量の逆解析により求めた領域マスクでも良い。

画面には、抽出した断面画像の適性スコアブロック１６６０も表示される。適性スコアブロックにおいて、総合スコア１６６１、形状スコア１６６２、幾何学スコア１６６３が表示される。または幾何学スコアの詳細評価基準である静脈と腹部の中心の長さ１６６４、腹部中心を中心として臍静脈と脊椎がなす角度１６６５、脊椎を中心として臍静脈と腹部がなす角度１６６６を表示しても良い。詳細の表示設定については、設定ボタン１６７０をクリックすることにより、詳細設定画面を開期、設定変更が可能となる。詳細設定画面については後ほど図２０で説明する。

補助情報表示として、２D連続データの場合、時間軸のスコア変化１６２０を表示し、近似曲線１６２１と選択された断面画像の時間を示す表示１６２２を表示する。選択された断面画像の時間表示１６２２は、位置調整スライダ１６４０と連動させる。候補を選択するためのＵＩ（候補の選択欄１６３０）をさらに表示させてもよい。選択された断面画像をユーザが変更したい場合は、候補の選択欄１６３０を展開することにより、選択されなかった候補断面１６３２、１６３４が表示される。候補断面１６３２、１６３４としては、例えば選択された目的断面の断面画像に近い位置にある断面画像や、総合スコアが高い断面画像が表示される。図１７では、２つ表示しているが、候補断面の数は３つ以上でもよい。また候補断面のいずれかを選択できるようボタン１６３１、１６３３１を設けてもよい。

位置調整スライダ１６４０は、例えば、時間軸の任意の位置から断面画像を抽出できるよう位置調整するためのＵＩである。位置調整スライダ１６４０或いは候補ボタン１６３１、１６３３等をユーザが操作すると、操作に応じて操作入力部３３０は信号を断面調整部４７８に送信する。断面調整部４７８は、操作に応じて断面の更新、切り替え、計測位置の更新、計測値の更新など一連の処理を行ない、処理結果を表示部３１０に表示する。

図１７は腹部のＡＣ計測用の断面画像について説明したが、目的断面に合わせて、表示する構造物が自動設定される構成とすることが望ましい。また、詳細については設定１６７０により変更可能にすることが望ましい。

図１８は３Dボリュームからの抽出された断面画像の画面表示例を示す。図１８は、ＡＣ計測用の目的断面を例に説明したものであり、図１７と同様に表示画面１７００上に、目的断面表示ブロック１７１０、空間断面結果表示１７２０、推定空間表示１７０、候補表示ブロック１７８０、位置調整スライダ１７４０、断面の種類や計測値を示すブロック１７５０、適正スコアを示すブロック１７６０、設定ブロック１７７０などが表示される。マーカ１７０３のドラッグ操作により、計測位置１７０２と計測値１７４０が更新される。

目的断面１７０１の上には、検出した構造物のラベル（構造物の名称とその領域を示す枠）がその所在領域に表示されている。腹部の場合、腹部輪郭領域（AC_ROI）１７０４、脊椎（SP）１７０５、臍静脈（UV）１７０６、胃胞（ST）１７０７が検出され、そのラベル（名称と領域を示す枠）が重畳表示される。各構造物のラベルの横に信頼度スコアも重畳表示しても良い。各構造物の領域を示す枠は、領域範囲を示す矩形でも良いし、畳み込み層の特徴量の逆解析により求めた領域マスクでも良い。

また、抽出した断面の適性スコアブロック１７６０を表示する。適性スコアブロックにおいて、総合スコア１７６１、形状スコア１７６２、幾何学スコア１７６３を表示する。または幾何学スコアの詳細評価基準である静脈と腹部の中心の長さ１７６４、腹部中心を中心として臍静脈と脊椎とがなす角度１７６５、脊椎を中心として臍静脈と胃胞のなす角度１７６６を表示しても良い。詳細の表示設定については、設定ボタン１７７０をクリックすることにより、詳細設定画面を開期、設定変更が可能となる。

補助情報表示として、３Dボリュームデータの場合、空間断面表示１７２０において、目的断面の相対位置１７２１を示す位置表示バー１７２１を表示しても良い。また、構造物の空間解析により、胎児の近似モデル１７３１と照らし合わせて、抽出した構造物の空間分布１７３２、抽出した断面画像の相対位置１７３３を表示しても良い。構造物の配置が複数同時に表示しても良い。また、候補を選択するためのＵＩ（候補の選択欄１７８０）を表示してもよい。抽出された目的断面をユーザが変更したい場合は、候補の選択欄１７８０を展開するとともに、選択されなかった候補断面１７８１を表示する。また、画面に表示しきれない候補については、ユーザが候補ボタン１７８２をクリックすると展開可能としても良い。候補断面は、例えば抽出断面に近い位置にある断面や、スコアが高い断面であり、図１８では、一つ表示しているが、候補となる断面の数は２つ以上でもよい。

＜＜第三実施形態＞＞
図１９～図２１を用いて、第一および第二実施形態の構造物の領域の検出技術をベースにした自動ROI(AUTO_ROI)設定とスキャン範囲自動調整の技術である。

超音波診断においては、被検体ごとにサイズが異なることがある。また同一被検体においても観察途中に目的部位を変更すると、サイズが大きく異なることがある。このため、観察途中にプローブのフォーカス位置を変更したり、表示画面に観察対象を見やすいように、手動で関心領域（ＲＯＩ）の範囲を指定して、拡大表示する操作がよく行われる。これらの操作が頻繁に発生するため、自動化ができると、検査の利便性を向上できる。

そこで、第三実施形態では、第一および第二実施形態で説明した、構造物の領域を自動抽出できるため、これを利用して、関心領域（ＲＯＩ）の自動設定、及び超音波ビームのスキャン範囲自動調整を行う。

具体的には、図２１のフローのように、図１５のステップＳ１４００～Ｓ１４０４を行って、撮像した断面画像の構造物の領域を多段階抽出する。そして、構造物抽出部２３０は、抽出した構造物の領域のうち、目的断面に応じて予め定めておいた構造物の領域、もしくは、ユーザに指定された構造物の領域を選択して、表示用ＲＯＩと設定する（ステップＳ２００１）。例えば、目的断面が腹部である場合、図１９に示したように腹部輪郭の領域１８１３を表示用ＲＯＩとして選択する。ユーザが、臍静脈の領域１８１６等を小さい構造物を指定した場合には、指定された領域を表示用ＲＯＩと選択する。構造物抽出部２３０は、選択した表示用ＲＯＩの表示制御部２８０に出力する。表示制御部２８０は、断面画像のうち表示用ＲＯＩの範囲を拡大して、表示部３１０の図１９のメイン表示画面１８０１に表示させる。これにより、ユーザは、目的断面に応じた構造物の領域または自分が選択した構造物の領域が、表示用ＲＯＩとして拡大された画面を観察することができる。

一方、演算部２１０は、構造物抽出部２３０がステップＳ２００１で設定した表示用ＲＯＩの範囲に、超音波ビームがスキャンされる範囲を狭めるように、撮像部１００に指示する（ステップＳ２００２）。具体的には、演算部２１０は、撮像部１００に、超音波の送信ビームの送信走査線の密度や範囲、もしくは、焦点を変えることで、超音波ビームの送信範囲を表示用ＲＯＩの範囲に制限するように指示する。これにより、図１９の画面１８２０に示したように超音波ビームのスキャン範囲１８２３を表示用ＲＯＩの範囲の領域（例えば腹部輪郭の領域１８１３）に限定されるため、腹部輪郭の領域１８１３から取得する超音波のＳＮ比をあげることができ、高精細の画像を領域１８１３について取得して表示できる。

図１９は、関心領域（ＲＯＩ）の自動設定、及びスキャン範囲自動調整の画面表示の一例である。表示画面には、メイン表示画面１８０１、メイン表示画面の表示モード設定領域１８０２、表示階層の設定領域１８０３、自動ＲＯＩ表示操作画面１８１０、スキャン範囲自動調整表示画面１８２０、設定ボタン１８３０が表示される。

メイン画面１８０１には、上述のように予め設定されたまたはユーザが指定した構造物の領域を表示用ＲＯＩとして、表示用ＲＯＩの領域の画像を拡大表示し、観察しやすくする。

自動ＲＯＩ操作画面１８１０は、自動ＲＯＩモードを選択するボタン１８１１、自動ＲＯＩ設定前の元撮像画像１８１２、自動抽出した表示用ＲＯＩ（構造物の領域）１８１３、表示用ＲＯＩを多段階抽出した別の階層の構造物の領域に変更するよう指示する階層ボタン１８１４、１８１５が表示される。例えば、胎児心臓を観察する場合、胎児胸部輪郭の領域を表示用ＲＯＩ（AUTO_ROI）として設定した後に、ボタン１８１５を操作して、胎児胸部輪郭内の心臓の領域に表示用ＲＯＩを変更する操作ができる。自動ＲＯＩモードを選択ボタン１８１１と、階層ボタン１８１４、１８１５の操作により、メイン画面１８０１の表示される画像の領域が切り替えられる。

また、スキャン範囲自動調整設定画面１８２０には、スキャン範囲自動調整モードの選択ボタン１８２１(AUTO_HD_ZOOM)と、元の撮像画像１８２２、超音波のビームスキャン範囲１８２３、ビームスキャン範囲を多段階抽出した別の階層の構造物の領域に変更するよう指示するボタン１８２４、１８２５が表示される。スキャン範囲自動調整モードの選択ボタン１８２１と、階層ボタン１８２４、１８２５の操作により、超音波のビームスキャン範囲が切り替えられる。

本画面はボタンにより設定されるが、設定ボタン１８３０をユーザが押して詳細設定画面を開くことにより、表示用ＲＯＩの自動設定、超音波ビームのスキャン範囲自動調整、設定される階層数などが、ユーザにより予め設定可能な構成としてもよい。図２０に詳細設定画面の例を示す。

図２０の画面は、自動抽出機能や自動計測機能の処理に関するシステム設定を行う画面１９０１と、表示設定を行う画面１９４０とを含む。

システム設定画面１９０１には、計測対象を選択するリスト１９０２と、計測や目的断面の選択や表示の設定を手動で行うか自動で行うかのモードを選択するリスト１９１０とが含まれている。例えば、計測対象を選択するリストには、デフォルト１９０３と複数の計測対象を示すリスト１９０４が含まれ、図２０の例では、計測対象として、ＡＣ（腹部周囲計測）が選択されている。手動か自動化のモード選択リスト１９１０においては、自動１９１３が選択されている。

モード選択リスト１９１０で自動が選択されたのに伴い、何を自動にするか選択可能なメニュー１９２０が表示されており、ユーザは、目的断面の断面画像の自動抽出１９２１と、自動計測１９２３と、表示用ＲＯＩの自動設定１９２２を選択している。スキャン範囲の自動調整１９２４は、選択されていない。

また、目的断面の断面画像の自動抽出１９２１が選択されたのに伴い、自動抽出の方法を選択するメニュー１９３０が表示され、ユーザは、ディープラーニング１９３３を選択している。この選択に伴い、ディープラーニングの学習モデルのサイズを選択するメニュー１９３４がさらに表示され、図２０の例では、ユーザは、縮小モデルを選択している。

また、表示設定画面１９４０では、上述の計測対象を選択するリスト１９０２においてＡＣが選択されたのに伴い、ＡＣ断面画像とともにおいて表示する項目が表示されており、図２０の例では、ＲＯＩ（腹部輪郭）、臍静脈（ＵＶ）、脊椎（ＳＰ）、胃胞（ＳＴ）、総合スコア、構造物１の幾何学スコアを表示することが選択されている。このほかに、幾何学スコア、形状スコア等も選択可能である。

なお、上述の図１９では表示用ＲＯＩの自動設定機能と、超音波ビームスキャン範囲の自動調整機能が、同画面に表示される構成としたが、それぞれ独立の機能として、別々の表示画面に表示させるように構成してもよい。

本実施形態によれば、複数スケール学習データを用いて、縮小化したモデル構成を学習することで複数スケール対応の検出モデルを生成できる。また、多段階の識別と組み合わせることで、小さい学習モデルで高速高精度な識別を実現する。また、超音波撮像装置への実装を容易にし、且つ処理の高速化を図ることができる。

また、超音波の胎児目的断面に応用し、構造物の領域検出に着目し、構造物の解剖学的知見を融合した幾何学スコアを用いたスコアリング法で断面の適性度を評価することにより、医師が抽出するのに近い断面画像を目的断面として抽出できる。

さらに、構造物の輪郭領域に基づき、対象となる計測値を自動計測することもできる。

また、抽出された構造物の領域を時間的、または空間的の解析することにより、時間的または空間的なプローブ位置と胎児との相対位置、または仮想断面と胎児の相対位置を表すナビゲーションへ拡張応用できる。

さらに本実施形態によれば、３Dボリュームデータから断面画像を抽出できるとともに、検出した構造物の領域の所在位置を３Ｄ画像に統合して表示することができる。これにより、方向性を持って粗－密アプローチを採用することができ、高速に且つ漏れなく断面の探索を行うことができる。

＜＜その他の変形例＞＞
実施形態とその変形例は、本発明を超音波診断装置に適用した実施形態であるが、本発明はボリュームデータ或いは時系列データを取得可能な医用撮像装置であれば、全て適用することができる。また上述した実施形態では、画像処理部２００が、医用撮像装置の一部である場合を説明したが、撮像と画像処理とを並行して行わない場合には、医用撮像装置（図１の撮像部１００）から空間的或いは時間的に離れて配置された画像処理装置或いは画像処理部として用いることができる。具体的には、画像処理部２００は、既存の超音波診断装置等の医用撮像装置の外付け装置として用いることが可能であるし、既存の医用撮像装置と公衆回線やインターネット回線で接続されたアプリケーションサービスプロバイダ（ＡＳＰ）やＳａａＳ（Software as a service）等のクラウドサービスを実現する装置として用いることができる。

さらに、上記した実施形態及び変形例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施形態に限定されるものではない。

また、ある実施形態で説明した構成、機能、処理部、処理手段等は、それらの一部またはすべてを、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１０ 医用撮像装置
４０ 超音波診断装置
１００ 撮像部
１０１ 被検体
２００ 画像処理部
２１０ 演算部
２３０ 構造物抽出部
２３１ 断面選出部
２３２ 構造物検出部
２３３ 構造物判定部
２５０ スコア算出部
２５１ 形状スコア算出部
２５２ 幾何学スコア算出部
２６０ 断面抽出部
２６１ 解析部
２６２ 断面決定部
２７０ モデル導入部
２７１ 保存部
２７３ モデル呼出部
３００ ユーザーインターフェイス
３１０ 表示部
３３０ 操作入力部
３５０ 記憶装置
４１０ 探触子
４２０ 送信ビームフォーマ
４３０ Ｄ／Ａコンバータ
４４０ Ａ／Ｄコンバータ
４５０ ビームフォーマメモリ
４６０ 受信ビームフォーマ
４７０ 画像処理部
４７１ データ構成部
４７２ データメモリ
４７８ 断面調整部
５００ 学習データベース
５１０ 学習済み高精度モデル
５３０ 複数スケール学習データベース
５４０ 複数スケール対応縮小化モデル
５６０ 多段階構造物抽出

Claims (14)

1. 被検体の画像データを収集する撮像部と、前記撮像部が収集した画像データから、所定の複数の構造物を含む目的断面の断面画像を抽出する処理を行う画像処理部と、を備え、
   前記画像処理部は、学習データにより学習済みの学習モデルを保存する学習モデル保存部と、前記画像データから得られる複数の断面画像に前記学習モデルを適用することにより、前記断面画像に含まれる前記所定の複数の構造物の領域を検出する構造物抽出部と、検出された前記所定の複数の構造物の領域に基づいて複数の前記断面画像から前記目的断面の断面画像を抽出する断面抽出部と、総合スコア算出部とを含み、
   前記学習データは、前記目的断面について予め撮像された、前記構造物の像を含む学習用目的断面画像と、前記学習用目的断面画像のうち前記構造物が含まれる関心領域を切り出して拡大した学習用関心領域断面画像とを含み、
   前記構造物抽出部は、検出した前記所定の複数の構造物の領域について、その検出の信頼度を示すスコアをさらに出力し、
   前記総合スコア算出部は、前記構造物抽出部が検出した前記所定の複数の構造物の領域間の幾何学的な角度または距離を求め、求めた角度または距離を用いて幾何学スコアを算出し、前記信頼度を示すスコアと前記幾何学スコアとを用いて総合スコアをさらに算出し、
   前記断面抽出部は、前記総合スコアの高い前記断面画像を前記目的断面の断面画像として選択する
   ことを特徴とする医用撮像装置。
2. 請求項１に記載の医用撮像装置であって、
   前記構造物抽出部は、前記画像データから得られる前記断面画像に前記学習モデルを適用することにより、前記断面画像に含まれる構造物の領域が検出された場合、当該断面画像から前記構造物の領域が含まれる領域を切り出した画像を生成し、再度前記学習モデルを適用して前記切り出した画像に含まれる構造物をさらに検出することを特徴とする医用撮像装置。
3. 請求項１に記載の医用撮像装置であって、前記目的断面には、前記構造物として、第１の構造物と、前記第１の構造物の内部に位置する第２の構造物が含まれ、前記学習データの前記学習用目的断面画像には、前記第１の構造物と前記第２の構造物の像が含まれ、前記学習用関心領域断面画像は、前記学習用目的断面画像の前記第１の構造物を含む一部領域を切り出して拡大した画像であり、
   前記構造物抽出部は、前記画像データから得られる前記断面画像に前記学習モデルを適用することにより、前記第１の構造物の領域が検出された場合、当該断面画像から前記第１の構造物の領域が含まれる領域を切り出した画像を生成し、当該切り出した画像に前記学習モデルを適用し、前記第２の構造物の領域を検出することを特徴とする医用撮像装置。
4. 請求項１に記載の医用撮像装置であって、前記学習データは、前記構造物について種類を特定する情報と画像上の当該構造物が位置する領域の位置情報とを、その構造物が含まれる前記学習用目的断面画像または前記学習用関心領域断面画像とそれぞれ対応させてさらに含むことを特徴とする医用撮像装置。
5. 請求項１に記載の医用撮像装置であって、前記学習モデルは、検出対象領域の相対サイズの分析に基づき、前記目的断面画像を学習データとして学習済みの高精度モデルの入力画像サイズおよび階層数の少なくとも一方を低減した縮小化モデルを、前記学習用目的断面画像と前記学習用関心領域断面画像とを含む前記学習データにより再学習させたものであることを特徴とする医用撮像装置。
6. 請求項５に記載の医用撮像装置であって、前記学習モデルが、前記入力画像サイズが低減されたものである場合、前記構造物抽出部は、前記画像データから得られる前記断面画像を、前記入力画像サイズまで縮小して入力画像として前記学習モデルに入力することを特徴とする医用撮像装置。
7. 請求項１に記載の医用撮像装置であって、
   前記画像処理部は、前記目的断面の断面画像として選択した前記断面画像の前記構造物の領域を用いて、予め定めた計測値の演算を行う自動計測部をさらに備えることを特徴とする医用撮像装置。
8. 請求項６に記載の医用撮像装置であって、
   前記画像処理部は、前記断面抽出部が選択した前記目的断面の断面画像と、前記構造物の領域と、前記総合スコアとを表示部に表示させる表示制御部をさらに備えることを特徴とする医用撮像装置。
9. 請求項６に記載の医用撮像装置であって、
   前記構造物抽出部は、前記画像データから得られた複数の断面画像について順次前記構造物の領域を抽出し、
   前記総合スコア算出部は、前記断面画像ごとに前記総合スコアを算出し、
   前記断面抽出部は、前記複数の断面画像について順次算出される前記総合スコアの変化を解析することにより前記目的断面の断層画像を選択するとともに、表示部に表示させることを特徴と医用撮像装置。
10. 請求項１に記載の医用撮像装置であって、
    前記構造物抽出部は、検出した複数の前記構造物の領域の一つを関心領域として選択することを特徴とする医用撮像装置。
11. 請求項１０に記載の医用撮像装置であって、
    前記構造物抽出部が選択した関心領域に対応する前記断面画像の領域を、表示部に拡大表示させる表示制御部をさらに有することを特徴とする医用撮像装置。
12. 請求項１０に記載の医用撮像装置であって、
    前記撮像部は、超音波ビームを被検体に対して走査しながら送信することにより前記画像データを収集するものであり、
    前記撮像部は、前記超音波ビームの走査範囲を、前記構造物抽出部が選択した関心領域の範囲に限定することを特徴とする医用撮像装置。
13. 被検体の画像データを受け取って、前記画像データから所定の構造物を含む目的断面の断面画像を抽出する処理を行う画像処理装置であって、
    学習データにより学習済みの学習モデルを保存する学習モデル保存部と、前記画像データから得られる複数の断面画像に前記学習モデルを適用することにより、前記断面画像に含まれる前記所定の複数の構造物の領域を検出する構造物抽出部と、検出された前記所定の複数の構造物の領域に基づいて前記目的断面の断面画像を抽出する断面抽出部と、総合スコア算出部とを含み、
    前記学習データは、前記目的断面について予め撮像された、前記構造物の像を含む学習用目的断面画像と、前記学習用目的断面画像のうち前記構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像とを含み、
    前記構造物抽出部は、検出した前記所定の複数の構造物の領域について、その検出の信頼度を示すスコアをさらに出力し、
    前記総合スコア算出部は、前記構造物抽出部が検出した前記所定の複数の構造物の領域間の幾何学的な角度または距離を求め、求めた角度または距離を用いて幾何学スコアを算出し、前記信頼度を示すスコアと前記幾何学スコアとを用いて総合スコアをさらに算出し、
    前記断面抽出部は、前記総合スコアの高い前記断面画像を前記目的断面の断面画像として選択する
    ことを特徴とする画像処理装置。
14. 被検体の画像データから、所定の複数の構造物を含む目的断面の断面画像を抽出する画像処理方法であって、
    前記構造物の像を含む学習用目的断面画像と、前記学習用目的断面画像のうち前記構造物が含まれる一部領域を切り出して拡大した学習用関心領域断面画像とを含む学習データによって学習済みの学習モデルを、前記画像データから得られる複数の断面画像に適用することにより、前記断面画像に含まれる前記所定の複数の構造物の領域を検出するとともに、検出した前記所定の複数の構造物の領域について、その検出の信頼度を示すスコアを検出し、
    検出した前記所定の複数の構造物の領域間の幾何学的な角度または距離を求め、求めた角度または距離を用いて幾何学スコアを算出し、前記信頼度を示すスコアと前記幾何学スコアとを用いて総合スコアをさらに算出し、
    前記総合スコアの高い前記断面画像を前記目的断面の断面画像として選択する
    ことを特徴とする画像処理方法。

Images