JP7362354B2 - 情報処理装置、検査システム及び情報処理方法 - Google Patents

Description

本発明は、医療の分野において、医用画像に基づく診断に用いられる情報処理装置、検査システム及び情報処理方法に関する。

医療の分野において、医師は、様々なモダリティ（検査システム）によって撮影された医用画像を用いて診断を行っている。モダリティとしては、超音波診断装置、光音響撮影装置（以下、ＰＡＴ（ＰｈｏｔｏＡｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）が挙げられる。また、磁気共鳴映像装置（以下、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置と呼ぶ）、コンピュータ断層撮影装置（以下、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）等が挙げられる。

特許文献１には、これらの診断に用いられる医用画像が被検体の何れの部位を撮影したものであるかを、検査システムと被検体との位置関係に基づいて判別（特定）するシステムが開示されている。

具体的には、検査中の被検体とプローブを撮影した外観画像から、それぞれのテンプレート画像とのテンプレートマッチングによって被検体とプローブの位置を特定し、それらの位置関係から検査部位を算出する。

特開２０１８－１７５００７号公報

しかしながら、特許文献１に開示のテンプレートマッチングによる画像認識では、カメラの位置や患者、プローブの位置姿勢が記憶されたテンプレート画像が示す限定的な環境、条件下でしか対応できないという課題があった。

上記課題に鑑み、本発明は、検査システムによる検査において、より精度よく被検体の検査部位を特定することを可能とする情報処理装置、検査システム及び情報処理方法を提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを取得する取得手段と、前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定手段と、前記第２の画像に基づいて、前記被検体の複数の関節点を推定する第２の推定手段と、前記第１及び第２の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、を有し、前記第２の推定手段は、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記複数の関節点を出力し、
前記部位特定手段は、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする。
また上記課題を解決するために、本発明の検査システムは、被検体の検査を行う検査手段と、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを撮像する撮像手段と、前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定手段と、前記第２の画像に基づいて、前記被検体の複数の関節点を推定する第２の推定手段と、前記第１及び第２の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、を有し、前記第２の推定手段は、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記複数の関節点を出力し、
前記部位特定手段は、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする。
また上記課題を解決するために、本発明の情報処理方法は、撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを取得する取得ステップと、前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定ステップと、前記第２の画像に基づいて、前記被検体の複数の関節点を推定する第２の推定ステップと、前記第１及び第２の推定ステップにて推定された推定結果から、前記被検体の検査部位を特定する部位特定ステップと、を有し、前記第２の推定ステップでは、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記複数の関節点を出力し、
前記部位特定ステップでは、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする。

また上記課題を解決するために、本発明の検査システムは、被検体の検査を行う検査デバイスと、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを撮像する撮像手段と、前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定手段と、前記第２の画像に基づいて、前記被検体の位置姿勢情報を推定する第２の推定手段と、前記第１及び第２の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、を有し、前記第２の推定手段は、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記被検体の位置姿勢情報を出力することを特徴とする。

また上記課題を解決するために、本発明の情報処理方法は、撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを取得する取得ステップと、前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定ステップと、前記第２の画像に基づいて、前記被検体の位置姿勢情報を推定する第２の推定ステップと、前記第１及び第２の推定ステップにて推定された推定結果から、前記被検体の検査部位を特定する部位特定ステップと、を有し、前記第２の推定ステップでは、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記被検体の位置姿勢情報を出力することを特徴とする。

本発明によれば、検査システムによる検査において、より精度よく被検体の検査部位を特定することが可能となる。

第１の実施形態における検査システムの構成例を示す図。 第１の実施形態におけるプローブの構成例を示す図。 第１の実施形態における検査システムの構成例を示すブロック図。 第１の実施形態における検査システムの全体フローを示す図。 第１の実施形態における計測処理の処理フローを示す図。 第１の実施形態における超音波画像処理の処理フローを示す図。 第１の実施形態における計測処理の変形例１の処理フローを示す図。 第１の実施形態における人体位置姿勢推定処理の処理フローを示す図。 第１の実施形態における検査部位特定Ａの処理フローを示す図。 第１の実施形態における計測後処理の処理フローを示す図。 第１の実施形態における計測処理の変形例２の処理フローを示す図。 第１の実施形態における検査部位特定ブロックＢの処理フローを示す図。 第１の実施形態における検査部位特定ブロックＢの処理フローを示す図。 第１の実施形態における検査システムを用いた計測のイメージ図 第１の実施形態における検査システムを用いた計測時に得られる表示出力結果のイメージ図。 第１の実施形態における外観画像と外観画像に収まるプローブに付属のマーカーを示すイメージ図。 第１の実施形態における人体位置姿勢の推定結果としての骨格情報とプローブ位置姿勢の推定結果としての十字線を重畳したイメージ図。 第１の実施形態における超音波画像の計測時のディスプレイに表示される画面のイメージ図。 第１の実施形態における超音波画像確定後の検査部位の特定の際にディスプレイに表示される画面のイメージ図。 第１の実施形態の変形例３における検査の様子を示すイメージ図。 第１の実施形態の変形例３における検査システムを用いた計測時に得られる表示出力結果のイメージ図。

［第１の実施形態］
実施の一形態について図面を参照して説明する。

図１は、本実施形態における検査システムの一例としての超音波診断装置１００の全体図を示している。本発明における情報処理装置は、撮像された画像を処理することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

超音波診断装置１００は、超音波診断装置本体１と、超音波プローブ２と、カメラ３と、アーム４と、ディスプレイ５と、コントロールパネル６とを備える。超音波診断装置本体１は情報処理装置として各種コントロールユニットと電源、通信Ｉ／Ｆ（インターフェース）を備えたコンピュータが筐体に内蔵される。

本実施形態における検査デバイスの一例としての超音波プローブ２は、被検者の表面にその先端面を接触させた状態で、超音波の送受信を行う超音波探触子である。超音波プローブ２は複数の圧電振動子を内蔵しており、それらは先端面に一次元的に（一列に）配列されている。超音波プローブ２は、各圧電振動子により被検者内に超音波を送信しながらスキャン領域を走査し、被検者からの反射波をエコー信号として受信する。スキャン手法としては、例えばＢモードスキャンやドプラモードスキャンなど各種のスキャン手法があるがどの手法でもよい。

図２は超音波プローブ２の外観図を示す。超音波プローブ２は、超音波プローブ本体２０１と、コネクタ２０２と、マーカーアタッチメント２０３と、マーカー２０４と、フリーズボタン６ａと、確定ボタン６ｂと、を備えている。

カメラ３は、超音波診断装置本体１に設置されたアーム４の先端に設置され、超音波診断装置１００の周辺の様子を撮像するのに用いることができる。本実施形態では、主に超音波プローブ２を用いた被験者（被検体）への検査時に検査部位の特定のための外観画像を取得するのに用いられる。具体的には、超音波プローブ２を用いた被験者への検査時に被検者の検査部位と超音波プローブ２を含む外観画像を撮像する。

カメラ３は撮像光学系、撮像素子、ＣＰＵ、画像処理回路、ＲＯＭ、ＲＡＭ、少なくとも１つの通信Ｉ／Ｆなど、一般的なカメラとしての構成を備えるものとする。被写体からの光束がレンズ等の光学素子からなる撮像光学系によってＣＣＤやＣＭＯＳセンサ等からなる撮像素子に結像され撮像を行う。撮像光学系はレンズ群を備え、カメラ３はレンズ群を光軸方向に駆動させることでズーム、フォーカスを制御するレンズ駆動制御部も備える。撮像素子から出力された電気信号をＡ／Ｄ変換器にてデジタル画像データに変換し、画像処理回路にて各種画像処理が施され、外部装置に出力される。画像処理回路で行われる画像処理の少なくとも一部は、通信Ｉ／Ｆを介して外部装置に出力してから外部装置の処理部にて処理されてもよい。

また本実施形態においては、カメラ３は主に可視光領域の光を受光して撮像する撮像素子を用いるものとする。しかし、カメラ３の例としてはこれに限らず、赤外光領域の光を受光して撮像するカメラであってもよいし、可視光、赤外光など複数の波長領域の光を受光して撮像するカメラを備えていてもよい。また、外観画像に加えて距離計測をも可能とするステレオカメラや、距離計測用としてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを備えたカメラであってもよい。以降、カメラ３により撮像された画像をカメラ画像と称することとする。

アーム４は、超音波診断装置本体１に設置され、被験者の検査部位と超音波プローブ２を含む外観画像が撮像可能な位置姿勢にカメラ３を配置するために使用される。本実施形態においては、アーム４は５つのジョイント（関節）を持つシリアルリンク機構のアームである。アーム４の先端のカメラ３が接続されているジョイントは、ボールジョイントでカメラ４の姿勢を簡易に設定可能である。

ディスプレイ５は、ＬＣＤ等の表示デバイスを含み、超音波診断装置本体１から入力される画像やメニュー画面、グラフィカルユーザーインターフェース（ＧＵＩ）などを表示デバイスに表示する。メモリ８に記憶されている画像や不揮発性メモリに記録されている画像を表示デバイスに表示する。ＣＰＵ７の制御に基づいて、超音波画像やカメラ画像、ボディマーク画像、プローブマーク画像、部位特定結果を表示するための装置である。ここで、ボディマーク画像は、身体の形状を簡易に表現した画像であり、超音波診断装置で一般的に使用されている。また、プローブマークは、ボディマーク画像に重畳して表示されるマークであり、身体の接平面に対して超音波プローブ２がどのような角度で接しているか一目で特定する目的で付与される。

コントロールパネル６は、キーボード、トラックボール、スイッチ、ダイヤル、タッチパネル等によって構成される。コントロールパネル６はこれらの操作部材を用いて検査者による超音波プローブ２を用いた撮像やカメラ３を用いた撮像の撮像指示、各種画像の画像表示の指示、画像の切り替え、モード指定、各種設定の指示などの様々な入力操作を受け付ける。受け付けた入力操作信号は超音波診断装置本体１に入力され、ＣＰＵ７による各部の制御に反映される。タッチパネルである場合にはディスプレイ５と一体であっても良く、検査者がディスプレイ上に表示されたボタンに対してタッチやドラッグの操作を行うことで、超音波診断装置本体１の各種設定や操作をすることができる。

超音波プローブ２から信号を順次取得してメモリ８の超音波画像が更新されている状態において、検査者によりフリーズボタン６ａが操作されると、超音波プローブ２からの信号が停止し、超音波画像のメモリ８の更新が一時停止される。このとき、カメラ４からの信号も停止し、カメラ画像のメモリ８の更新が一時停止される。カメラ画像のメモリ８の更新が停止された状態からフリーズボタン６ａが操作された場合、再度、超音波プローブ２から信号を受信して、超音波画像のメモリ８の更新が開始され、同様にしてカメラ画像の更新も開始される。フリーズボタン６ａの押下により超音波画像がひとつに定まっているとき、検査者により確定ボタン６ｂが操作されると、ＣＰＵ７が超音波画像を不揮発性メモリ９に保存する。また、フリーズボタン６ａと確定ボタン６ｂは、コントロールパネル６ではなく、超音波プローブ２に備えても良い。

図３は、超音波診断装置本体１の構成を示すブロック図である。超音波診断装置本体１は、内部バス１７に対して、送受信部１２と、信号処理部１３と、画像生成部１４と、カメラ制御部１５と、ＣＰＵ７と、メモリ８と、不揮発性メモリ９と、通信Ｉ／Ｆ１０と、を備えている。内部バス１７に接続される各部は、内部バス１７を介して互いにデータのやり取りを行うことができるように構成される。

メモリ８は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ７は、例えば不揮発性メモリ９に格納されるプログラムに従い、メモリ８をワークメモリとして用いて、超音波診断装置本体１の各部を制御する。不揮発性メモリ９には、画像データや被験者（被検体）のデータ、ＣＰＵ７が動作するための各種プログラムなどが格納される。不揮発性メモリ９は、例えば（ＨＤ）やＲＯＭなどで構成される。

送受信部１２は、超音波プローブ２に電力を供給、制御信号を送信、エコー信号を受信するなどのために少なくとも１つの通信Ｉ／Ｆを備える。送受信部１２は、例えばＣＰＵ７からの制御信号に基づき超音波プローブ２に超音波ビームを送信させるための信号を供給する。更に、送受信部１２は、超音波プローブ２からの反射信号、すなわちエコー信号を受信し、その受信信号に対して整相加算を行い、その整相加算により取得した信号を信号処理部１３に出力する。

信号処理部１３は、Ｂモード処理部（あるいはＢｃモード処理部）やドプラモード処理部、カラードプラモード処理部などを有している。Ｂモード処理部は、公知の処理により送受信部１２から供給された受信信号の振幅情報の映像化を行い、Ｂモード信号のデータを生成する。ドプラモード処理部は、公知の処理により送受信部１２から供給された受信信号からドプラ偏移周波数成分を取り出し、さらに、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓ ｆｏｒｍ）処理などを施し、血流情報のドプラ信号のデータを生成する。カラードプラモード処理部は、公知の処理により送受信部１１から供給された受信信号に基づいて血流情報の映像化を行い、カラードプラモード信号のデータを生成する。信号処理部１２は、生成した各種のデータを画像生成部１４に出力する。

画像生成部１４は、信号処理部１３から供給されたデータに基づいて公知の処理によりスキャン領域に関する二次元や三次元の超音波画像を生成する。例えば、画像生成部１４は、供給されたデータからスキャン領域に関するボリュームデータを生成する。生成したボリュームデータからＭＰＲ処理（多断面再構成法）により二次元の超音波画像のデータやボリュームレンダリング処理により三次元の超音波画像のデータを生成する。画像生成部１４は、生成した二次元や三次元の超音波画像をディスプレイ５に出力する。なお、超音波画像としては、例えば、Ｂモード画像やドプラモード画像、カラードプラモード画像、Ｍモード画像などがある。

なお、図３における送受信部１２、信号処理部１３、画像生成部１４、カメラ制御部１５はそれぞれＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

カメラ制御部１５は、カメラ３に電力を供給、制御信号を送受信、画像信号を送受信するなどのために少なくとも１つの通信Ｉ／Ｆを備える。なお、カメラ３は超音波診断装置本体１からの電力供給を受けず、単体で駆動するための電源を備えていてもよい。また、カメラ制御部１５は通信Ｉ／Ｆを介してカメラ３に制御信号を送信することでカメラ３のズーム、フォーカス、絞り値など各種撮像パラメータを制御することが出来る。カメラ３が自動でパンチルト可能な雲台を備え、パンチルト制御信号も受信し、パンチルト駆動による位置姿勢制御が可能な構成となっていてもよい。この他、アーム４の先端にカメラ３の位置姿勢を電動で制御するための駆動部および駆動制御部を備えて、カメラ制御部１５あるいはＣＰＵ７からの制御信号に基づきカメラ３の位置姿勢を制御してもよい。

＜処理の流れ＞
図４は、超音波診断装置１００による検査処理全体の動作を行うためのＣＰＵ７の処理フローを示すフローチャートである。すなわち、以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

ステップＳ４０１においてＣＰＵ７は、検査者操作に応じて電源をＯＮにし、不揮発性メモリ９に記憶されたＯＳ（オペレーティングシステム）をロードして起動した後に、ステップＳ４０２において自動的に超音波診断アプリ（アプリケーション）を起動する。このときディスプレイ５には起動画面の画像信号を送信し、表示させる。

超音波診断アプリの起動後、初期化処理を経てディスプレイ５の表示画面は被験者情報登録画面に移行させ、ステップＳ４０３において、検査者のコントロールパネル６への操作に応じて被験者情報の登録指示を受け付ける。被験者情報とは、被験者の病状に応じた検査部位（乳腺、心臓、動脈、腹部、頸動脈、甲状腺、静脈、等）、被験者ＩＤ、氏名、性別、生年月日、年齢、身長、体重、入院か外来か、などである。被験者情報の入力後、検査者の操作により、コントロールパネル６（ディスプレイ上あるいは操作パネル上）の開始ボタンが押下されると、ＣＰＵ７は被験者情報をメモリ８あるいは不揮発性メモリ９に保存する。その後、ディスプレイ５の表示画面を超音波診断アプリによる計測画面の表示に移行させる。

また、ステップＳ４０３において、ＣＰＵ７は検査部位を手動で設定するか、自動で設定するかの設定を受け付ける。検査部位を手動で設定する設定がされた際のフローについては、図５を用いて後述する。検査部位を自動で設定する設定がされた際のフロー（変形例１、変形例２）については、図７および図１１を用いて後述する。

超音波診断アプリの計測画面に移行した後、ステップＳ４０４において検査者の操作に応じた超音波診断の計測処理がおこなわれる。計測処理の詳細は後述する。

全ての部位を検査し終えたとき、ステップＳ４０５において、ＣＰＵ７は検査によって得られた検査データを不揮発性メモリ９あるいは不図示の外部メディアに保存するか、または通信Ｉ／Ｆ１０を介して外部装置（外部サーバ）へ転送する。

全ての処理が終了し、検査者の操作によって電源ＯＦＦの操作がなされると、ＣＰＵ７はステップＳ４０６で超音波検査アプリおよびＯＳの終了処理を行い、一連の処理を終了する。

図５は、検査者によって検査部位を手動で設定するように設定された場合の、図４のステップＳ４０４に記した計測処理のフローを示すフローチャートである。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

ステップＳ５０１において、超音波プローブ２から受信するエコー信号に対して、信号処理および画像処理を施すことで超音波画像を生成してディスプレイ５に表示する。ステップＳ５０１における超音波画像処理の詳細は後述する。

検査者はディスプレイ５に表示されている超音波画像を確認して、所望の超音波画像が得られる状態になったとき、検査者の操作に応じてＣＰＵ７は超音波画像を確定し、ステップＳ５０２においてＣＰＵ７は超音波画像をメモリ８に保持する。

ステップＳ５０３において、検査した部位がどこであるかの情報を記録するために、検査者の操作に応じてボディマークおよびプローブマークといった検査部位が設定される。また、検査者の操作に応じて、ディスプレイ５にコメントや矢印などのアノテーションが入力されてもよい。

検査者の操作によって確定ボタンが押下されると、ステップＳ５０４において、検査部位の情報がメモリ８に保持される。

ある検査部位の計測処理が終了したとき、ステップＳ５０５において、ＣＰＵ７は、予め検査内容に応じて決まっている検査部位を全て計測したかどうかの判定をおこなう。もし、まだ検査していない部位が残っていた場合には、再度ステップＳ５０１の計測処理に戻る。検査内容の情報は予め不揮発性メモリ９に検査部位や症状に応じて分類され記録されたものから検査者の操作に応じて選択され、設定されるものとする。検査部位の計測処理が全て終了したと判定された場合、ステップＳ４０４の処理を終了する。

図６は、ステップＳ５０１の超音波画像処理の詳細なフローを示すフローチャートである。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により信号処理部１３や画像生成部１４で実行されるものとする。

上述した通り、超音波プローブ２は検査デバイスの一例であり、各圧電振動子により被検者内に超音波を送信しながらスキャン領域を走査し、被検者からの反射波をエコー信号（超音波信号）として受信する。本実施形態では、超音波プローブ２は検査者が手に持って操作できるようになっている。超音波プローブ２から送られた超音波信号を、ステップＳ６０１において、信号処理部１３及び画像生成部１４により信号処理および画像処理し超音波画像を生成して、ＣＰＵ７がディスプレイ５に表示する。検査者は所望の画像を得るために、ディスプレイ５に表示された超音波画像を確認しながら、コントロールパネル６を用いてさらに各種処理パラメータを調整し補正を行うことができる。すなわちステップＳ６０２においてコントロールパネル６によって受け付けられた操作信号に応じて各種パラメータ（モードやゲイン、フォーカス、エコーレベル、等）が変更され、変更後の超音波画像が再生成されディスプレイ５に表示される。

超音波プローブ２にはフリーズボタン６ａが設けられており、フリーズボタン６ａが押下されたか否かをステップＳ６０３で判断する。フリーズボタン６ａが押下されない場合、ステップＳ６０１とステップＳ６０２を繰り返す。フリーズボタン６ａが押下された場合、所望の超音波画像が取得されたとして、ＣＰＵ７はその時点において撮像、生成された超音波画像をディスプレイ５に表示して、超音波画像処理の処理フローを終える。

図７は、検査者によって検査部位を自動で設定するよう設定された場合の、図４のステップＳ４０４の計測処理の詳細なフローの別の様態を示すフローチャート図である。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

変形例１では、図５のステップＳ５０３において、検査者操作に応じておこなっていた検査部位の設定を自動化する。

ステップＳ７０１において、ＣＰＵ７はカメラ制御部１５にカメラ３を起動・制御させ、被験者を含む画像を撮像させる。図１４に本実施形態における検査システムを用いた計測のイメージ図を示す。このとき、検査者はアーム４を動かすことでカメラ３を被験者の一部を画角に含む適切な位置姿勢に配置し、コントロールパネル６あるいはカメラ３にあらかじめ配されたシャッターボタン等の操作部材を用いた操作によってカメラ３で撮像する。またこれに限らず、カメラ３の位置姿勢制御、撮像制御のための各ステップのうち、少なくとも１つを自動化してもよい。すなわち、アーム４の先端にパンチルト機構を備えた雲台つきのカメラ３が取り付けられている実施形態では、まずカメラ制御部１５によってカメラ３の位置姿勢を適切な位置姿勢に駆動制御する。具体的には、被験者を現在のカメラ位置姿勢における撮像画像から画像解析等で検出し、両者の少なくとも１つが画角に含まれるようにパンチルト制御によってカメラ３の位置姿勢を制御する。現在のカメラ３の位置姿勢における撮像画像から被験者の一部が検出できない場合は、異なる画角にカメラをパンチルトして検出できるまで所定回数、移動と撮像を繰り返す。カメラ３が適切な位置姿勢に制御された後、ＣＰＵ７はカメラ３により被験者の一部を含む外観画像を撮像させ、外観画像を取得する。また、被験者の位置姿勢の推定処理のために複数画角（複数視点、複数の位置姿勢）の撮像画像が必要であれば複数の位置姿勢にカメラ３を駆動制御した上で複数回の撮像を行わせてもよい。

ＣＰＵ７はカメラ３から取得した外観画像からベッド等に横たわった被験者の位置姿勢の推定を行い、推定結果をディスプレイ５に表示させる。検査者のコントロールパネル６に対する操作に応じて被験者の位置姿勢の推定結果が確定されると、その時点での被験者の位置姿勢をメモリ８に保持する。画角内に収めた被験者の位置姿勢の推定処理と超音波プローブ２の位置姿勢の推定処理と、両推定結果に基づく検査部位の特定処理の詳細は後述する。

その後、ステップＳ７０２の超音波画像処理のフローとステップＳ７０３の検査部位特定Ａのフローとが並列に処理される。

ステップＳ７０２は、先に図６を用いて説明したステップＳ５０１における超音波画像処理のフローと同等のフローである。

ステップＳ７０３において、ＣＰＵ７はカメラ３から取得した外観画像を使って自動で検査部位を推定し、推定結果をディスプレイ５に表示する。詳細は後述する。

検査者の操作によって超音波プローブ２のフリーズボタン６ａが押下されると、超音波プローブ２からの超音波信号に基づくディスプレイ５の超音波画像の更新が停止され確定される。超音波画像が確定されるとともにあるいは次いで、フリーズボタン６ａが押下された際の検査部位の推定結果をディスプレイ５に表示し、ステップＳ７０２およびステップＳ７０３を抜ける。

ステップＳ７０４において、図１８に示すようにステップＳ７０１～ステップＳ７０３において得られた超音波画像、外観画像、検査部位特定（推定）情報がディスプレイ５に表示された状態で超音波画像の確定指示を受け付ける。超音波画像１８０１、表示外観画像１８０３は各々の周期で順次更新され、検査部位特定情報１８０２はステップＳ７０３で特定（あるいは推定されてまだ検査者による特定指示はされていない）現時点での部位情報がそれぞれディスプレイ５に表示される。ここでＣＰＵ７は、表示外観画像１８０３は予めステップＳ４０３で受け付けた大まかな検査部位情報あるいは特定された部位情報に基づいてカメラ３からの外観画像の一部を切り出し、回転、リサイズして表示してもよい。超音波画像が所望のものであれば、検査者の操作による確定ボタン６ｂの押下に応じてステップＳ７０５に進み、記録、表示等の後処理をおこなう。超音波画像が所望のものでなければ検査者は確定ボタン６ｂを押下げない、あるいは他の所定の操作を行うことでステップＳ７０２およびステップＳ７０３の並列処理に戻る。

ステップＳ７０６において、ＣＰＵ７は、予め検査内容に応じて決まっている検査部位を全て計測したかどうかの判定を行う。まだ検査していない部位が残っていた場合には、再度ステップＳ７０２およびステップＳ７０３の並列処理に戻る。本実施形態では、複数の検査部位を検査する検査内容を予め不揮発性メモリ９に記憶しておき、ステップＳ７０６にて判定しているが、１の検査部位の撮像、保存が完了したら上記判定を行わずフローが終了するような形態でもよい。

図８は、図７のステップＳ７０１の人体位置姿勢の推定処理の詳細なフローを示すフローチャートである。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

ステップＳ８０１において、ＣＰＵ７はカメラ制御部１５によって図１５（ａ）に示すように、カメラ３でベッド等に横たわった被験者を撮像させる。カメラ３では所定のフレームレートで順次撮像が行われ、ＣＰＵ７はカメラ制御部１５の通信Ｉ／Ｆを介して外観画像を受信し、順次ディスプレイ５に表示する。

検査者はディスプレイ５に表示される外観画像を確認しながら、少なくとも被験者の一部で着目している検査部位がカメラ３の画角に収まるようにアーム４の位置を調節する。なお、ディスプレイ５には、表示された外観画像内のどの位置に被験者の検査部位がくるように検査者がカメラ３の配置を調整すべきか、ガイドするための線を表示してもよい。このときガイドするための線（すなわち表示画像上に重畳するＧＵＩデータ）は検査部位の情報などと対応付けて予め不揮発性メモリ９に記憶しておく。

ステップＳ８０２において、外観画像として取得したカメラ３からの画像に基づき画像解析処理により人体の位置姿勢を推定する。本実施形態では、人体の位置姿勢情報として、各関節等の特徴点の位置座標などからなる骨格情報を出力する。関節等とは、鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、中央尻、右尻、右膝、右踝、左尻、左膝、左踝、右目、左目、右耳、左耳、左親指、左小指、左踵、右親指、右小指、右踵、等である。画像から骨格情報を得る手段としては機械学習（ディープラーニング）の方法を使って学習した学習器を用いる。本実施形態では、被検体としての人体の含まれる複数の学習用画像と各学習用画像における骨格情報（関節等の確率分布）の正解情報とのセットで予め学習された学習モデル（学習器）を用いる。本方法では、カメラ（ステレオカメラ、赤外線カメラ、ＴＯＦカメラを含む、）から得られる情報が、輝度画像のみ、深度画像のみ、その両方の画像のいずれであっても、骨格情報を２Ｄ座標または３Ｄ座標で取得することが可能である。このような学習器として、例えば、カーネギーメロン大学のＯｐｅｎｐｏｓｅ（登録商標）などが知られている。本実施形態では、機械学習が行われた学習器で推定する位置姿勢情報（骨格情報）を配列またはリストなどの形でメモリに保持する。具体的には、上述したような関節等の複数の部位について、各部位が画像内で存在する確率の分布を示す情報が、推定された位置姿勢情報として出力される。画像上で部位ｎ（ｎは整数）が存在する信頼度の分布（確率分布）をＲｎ（ｘ，ｙ）とすると、骨格情報としての出力ＲはＲ＝｛Ｒｎ（ｘ，ｙ）｜ｎ＝１，２，‥‥，Ｎ，Ｎは整数｝で表される。また、Ｒｎ（ｘ，ｙ）は画像上の全領域の信頼度の分布でなくてもよく、閾値より大きい信頼度を有する領域だけの信頼度の分布であってもよい。また、Ｒｎ（ｘ，ｙ）として信頼度のピーク値だけをその座標と関連付けて保持していてもよい（例えば部位３：右肩、信頼度：０．５、座標：（ｘ，ｙ）＝（１２２，７６））。

出力されたＲにおいて、各部位の信頼度のピーク値の位置（すなわち最も各部位が存在する確率が高く検出された位置）を抽出し、この情報を元に骨格情報を可視化したものの一例が図１５（ｂ）のような画像である。

なお、本実施形態では、画像から学習済み学習器を使って骨格情報を得るための前処理として、ノイズ除去や歪補正、色変換、輝度、色の諧調補正などの画質の補正、画像の回転やフリップ等を行う。補正のためのパラメータは撮像するカメラ３の機種、撮像時の撮像条件などに応じてテーブル化されて不揮発性メモリ９に記憶されているものとする。入力される外観画像にこの補正パラメータを用いて補正処理を施し、学習で用いたデータセットの画像の撮像条件に近づけることでより精度よく推論を行う。例えば、暗い室内で撮像した画像には画像を明るく補正する際に高感度ノイズが生じ、学習で用いたデータセットと傾向が異なる場合が考えられる。そのような場合には入力される外観画像に対して高感度ノイズを除去する処理を掛けるのが好ましい。同様に、カメラ３のレンズが広角で周辺の歪が大きい場合には、入力される外観画像に対して歪補正を行うのが好ましい。また、データセットにある画像は頭が上であるものばかりであるような場合には、画像を頭が上になるように回転あるいはフリップして入力するのが好ましい。また、画像を何かしらの処理で変換した画像で学習させている場合には、入力画像も同様に変換させてから学習器に入力するのが好ましい。

図１５（ｂ）に示すように、ステップＳ８０２においては、検査者や周囲の人間の骨格情報も一緒に取得されている可能性がある。そのため、ステップＳ８０３において、ＣＰＵ７は、ステップＳ８０２で得られた骨格情報の画像から被験者の骨格情報を特定する。

被験者の骨格情報の特定の方法としては、例えば以下のような方法が考えられる。１つの方法は、顔認証の処理と組み合わせる方法である。ＣＰＵ７は外観画像から不揮発性メモリ９にあらかじめ登録されている検査者の顔を認証する。検査者の顔が認証され検出された場所と、ステップＳ８０２で検出した骨格情報の中で顔の部位として検出された部分（目、鼻、耳、等）との距離関係から、検査者の骨格情報と被験者の骨格情報とを識別する。

他の方法としては、超音波診断装置１を識別し超音波診断装置１からの平面的（画像ＸＹ方向）あるいは立体的（Ｚ方向）距離関係から検査者と被験者とを識別してもよい。さらに他の方法としては、骨格情報の関節点の位置の関係から姿勢の種類を識別し、検査者と被験者とを識別する。さらに他の方法としては、カメラ３の画角を調整する際に決められた領域に被験者が写るように手続き化しておき、骨格情報の位置から被験者を識別する。

本実施形態では、上記識別手法の少なくとも１つを実行して検査者と被験者を特定し、特定された被験者の位置姿勢情報を図１５（ｃ）のように可視化するものとする。

ステップＳ８０４において、ＣＰＵ７は、このようにして推定された被験者の位置姿勢情報を、カメラ３からの表示画像に重畳させた図１５（ｄ）のような画像をディスプレイ５に表示させる。

ＣＰＵ７がディスプレイ５に表示させる画像は、カメラで取得した画像を直接利用するのではなく、プライバシーに配慮して、公知の画像処理によりアバターやアニメーションに置換、あるいは３Ｄモデルに変換させて表示を行ってもよい。

ステップＳ８０５において、ＣＰＵ７は、検査者の操作に応じてフリーズボタン６ａが押下されると、ディスプレイ５に順次表示されていた外観画像に基づく被験者の骨格情報（位置姿勢情報）の推定結果の更新が終わり、ステップＳ８０６に進む。フリーズボタン６ａが押下されなければステップＳ８０１に戻って位置姿勢情報の推定を継続しておこなう。

ステップＳ８０５においてフリーズボタン６ａが押下された後、ステップＳ８０６において、検査者によってディスプレイ５に表示される位置姿勢情報の推定結果に問題がないことを検査者が確認して確定ボタンを操作すると人体位置姿勢の推定処理は終了する。ステップＳ８０６において所望の位置姿勢の結果が得られなければステップＳ８０１に戻って繰り返し位置姿勢の推定を行う。

ここで、ステップＳ８０６において検査者による確認を待つのは、被験者の姿勢が所望のものでなかったり、カメラアングルがよくなかったり、位置姿勢検出結果が人の目で見たものと著しく乖離していた場合などに対処するためである。

また、他の実施形態として、ステップＳ８０５、ステップＳ８０６を省略（無視）してもよい。すなわち、検査者から後段の検査部位の特定処理が適切と判断され、確定操作が行われるまで、人体の位置姿勢情報は所定の時間間隔で更新され続けてもよい。

なお、本実施形態では人体の位置姿勢を推定する方法として、骨格情報（関節情報）を用いたが、メッシュ状の情報により人間の３Ｄ形状を推定させてもよい。このような技術も機械学習（器）を用いて実現が可能である。すなわち、被検体の含まれる複数の学習用画像と各学習用画像におけるメッシュ状の情報の正解情報とのセットで予め学習された学習器を用いてもよい。

図９は、図７のステップＳ７０３における検査部位特定Ａの詳細な動作を示すフローチャートである。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

ステップＳ９０１において、ＣＰＵ７は、カメラ３から超音波プローブ２を含む外観画像（画像データ）をカメラ制御部１５の通信Ｉ／Ｆを介して取得する。先のステップにおいて被験者を含むようにカメラ３の画角が調整されているのでそのまま撮像してもよいが、超音波プローブ２がより検出しやすい画角になるようにパン制御、チルト制御、ズーム制御等の少なくとも１つが行われてもよい。図１６にカメラ３の画角を被験者主体の外観画像から超音波プローブ２主体の画角に調整した場合の画角の変化と撮像される画像のイメージ図を示す。

ステップＳ９０２において、取得した外観画像を解析して超音波プローブ２の位置姿勢を求める。具体的には、ＣＰＵ７は、外観画像からエッジ検出のためのフィルタ処理、２値化処理、判定処理、形状認識処理などを含む画像認識処理により超音波プローブ２に設けられた複数のＡＲマーカー（各マーカーに複数のコーナーが設けられている）を検出する。ここで、画像認識をより精度よく行うために、ＣＰＵ７がカメラ３から取得した外観画像にさらにシャープネス、ゲイン、ノイズリダクション等の画像処理を行ってもよい。超音波プローブＣＰＵ７は超音波プローブ２に設けられたＡＲマーカーを検出し、検出されたＡＲマーカーに存在する複数のコーナーの位置関係、コーナーの形成する図形のサイズ、歪み具合などから超音波プローブ２の位置姿勢を算出する。超音波プローブ２は剛体であるから、ＡＲマーカーと超音波プローブ２の検査面との関係は計算で求めることができる。このＡＲマーカーは図１６や図１９（ｂ）に示すように、マーカーアタッチメント２０４上に複数（好ましくは３以上）配置されるのが好ましい。超音波プローブ２の向きやコネクタ２０２の配置によらず、カメラ３に映るＡＲマーカーの少なくとも１つは取得できるように超音波プローブ２の周上に所定間隔ごとに配置される。本実施形態では、ＣＰＵ７は超音波プローブ２の位置姿勢に関する出力として、以下を出力する。すなわち、外観画像における位置情報（画像座標情報、（ｘ，ｙ））と、カメラを基準とした３次元実空間における位置情報（ｘ，ｙ，ｚ）及びプローブの向きを表すベクトル情報（方向ベクトルｄ＝（ｘ，ｙ，ｚ））からなる位置姿勢情報とを出力するものとする。位置情報（ｘ，ｙ）はステップＳ９０３で検査部位を特定する処理に用いられる。また、位置姿勢情報（ｘ，ｙ，ｚ），ｄは、ステップＳ９０４においてディスプレイ５に表示される画面において、ボディマーク中の検査部位に対するプローブの位置姿勢を視認可能に表示するために用いられる。しかしこれに限らず、検査部位の特定処理に位置姿勢情報を用いてもよいし、表示処理時に単に位置情報のみを表示するようにしてもよい。

なお、超音波プローブ２の位置姿勢を計算で求められれば、ＡＲマーカーでなくとも、ＬＥＤや再帰反射マークやその他どのようなものを超音波プローブ２の位置姿勢を求めるための基準（指標）に使用してもよい。

このように、超音波プローブ２０１は一般的に剛体で位置姿勢が限られるため、ＡＲマーカー等の所定のパターンを用いた画像認識というルールベースの処理で位置姿勢を検出する。これにより、検出精度が出やすく、機械学習を行った学習済の学習器を用いた手法に比較してより低処理コストで高速に位置姿勢を求めることが可能である。

ステップＳ９０３において、ＣＰＵ７は、ステップＳ７０１で先に求めてメモリ８に保持している被験者の位置姿勢の推定結果（Ｒ）とステップＳ９０２で求めた超音波プローブ２の位置情報（ｘ，ｙ）との関係から、検査部位を特定する。本実施形態では、各骨格情報において検査部位としての評価値が高いものから複数の検査部位候補を特定結果として出力する。

被験者の位置姿勢の情報として、骨格情報Ｒが取得されている場合の検査部位の特定方法としては以下のような方法がある。

例えば、各部位の信頼度分布Ｒｎ（ｘ，ｙ）において信頼度がピーク値である位置、すなわち各部位である信頼度が最も高い位置の座標（単に各部位の座標とよぶ）を抽出する。そして各部位の座標と、超音波プローブ２の位置情報からの距離（ユークリッド／マハラノビス距離等）に基づいて検査部位を特定する。すなわち、各部位の座標と超音波プローブ２との距離が近いほど評価値が高くなるように評価値を算出する。また、各部位の座標に対応する信頼度が大きいほど大きな重みがつくように各部位の評価値を算出する。そして複数の部位において相対的に評価値が高い部位から順に検査部位の候補として抽出される。評価値算出に当たっては、上記超音波プローブ２の位置からの距離、各部位の信頼度分布のいずれか１方のみを参照して求めてもよい。

また各部位の信頼度分布Ｒｎ（ｘ，ｙ）を用いて画像内の各領域において評価値を算出してもよい。すなわち、各部位においてＲｎ（ｘ，ｙ）×（超音波プローブ２との距離に基づく重み）で求められる評価値分布を算出し、最も評価値の高い位置とその部位を検査部位として特定してもよい。

また他の手法としては、上述した各部位の位置間を結ぶ直線と、超音波プローブ２の位置情報（ｘ，ｙ）との距離と、直線に対応する２点の部位の信頼度分布に基づいて評価値を算出し、検査部位を特定してもよい。

また他の手法としては、複数の部位の位置間をある割合で分割して得られる座標と、超音波プローブ２の位置情報（ｘ，ｙ）との距離と、分割元の２点の部位の信頼度分布に基づいて評価値を算出し、検査部位を特定してもよい。

また他の手法としては、複数の関節の関係からある割合で求めた点から２Ｄあるいは３Ｄの閉領域を作成し、その閉領域に対して超音波プローブ２の位置情報（ｘ，ｙ）の内外判定をおこなうことで評価値を算出し、検査部位を特定してもよい。

また、上述したような複数の手法の一部または全部の手法を組み合わせて評価値を算出してもよい。

ステップ９０３において、ステップ７０１の後に被験者が動いてしまったために、メモリ８に保持していた被験者の位置姿勢と現在の被験者の位置姿勢が異なってしまう場合がある。異なった位置姿勢を使用して特定された検査部位は誤った結果である可能性がある。そこで、被験者が動いているか判別して、動きが検出された場合にはステップ７０１に戻り、再度人体の位置姿勢推定を実施しても良い。

被検者が動いているか判別するための方法としては、例えば、差分画像を用いる方法や、オプティカルフローを用いる方法などを用いる。

差分画像を用いる場合には、例えば、検査者の手およびプローブの部分に関してマスク処理をおこない、残りの部分についてＳ８０１とＳ９０１で取得した画像で輝度値や色相に閾値以上の変化がないかどうかを調べる。このとき統計的な処理によって上記変化を検出してもよい。

オプティカルフローを用いる場合には、例えば、人体の位置姿勢推定を実施したときのステップＳ８０１で取得したカメラ画像の人体をパターンとして登録しておき、ステップＳ９０１のカメラ画像に対してテンプレートマッチングをして動きを検出する。あるいは、ステップＳ８０１で取得したカメラ画像を一時的にメモリ８上に格納しておき、Ｓ９０１で取得した画像と２つの画像間で、ＳＨＩＦＴやＡＫＡＺＥ等で求めた特徴点の移動量を算出して、画像内の人体の動きを検出する。

その他、ＫＣＦトラッカーなど公知のトラッキングの手法を用いてもよい。

ステップＳ９０４において、ＣＰＵ７は、ステップＳ９０３において特定した検査部位をディスプレイ５に表示する。ステップＳ９０５において、検査者の操作によってコントロールパネル６においてＯＫに対応する操作、あるいは超音波プローブ２にあるフリーズボタン６ａにおいて押下操作なれたかどうかを確認する。図１９にステップＳ９０５における検査部位の特定結果の承認にあたりディスプレイ５に表示される画面の例を示している。被験者のボディに対応するＧＵＩのボディマーク１９０１に、超音波プローブ２に対応するＧＵＩのプローブマーク２１０２を該当する検査部位の位置に重畳する形でディスプレイ５に表示する。このとき検査部位の名前も特定できている場合には、ボディマーク、プローブマークと共に表示されていてもよい（図では尖中）。画面には検査結果の確認ウインドウが表示され、ＯＫ、やり直しのアイコンボタンが表示されている。検査者はコントロールパネル６を用いてＯＫあるいはやり直しボタンを選択指定するか、超音波プローブ２にあるフリーズボタン６ａを押下げすることで検査部位の確定あるいはやり直しの指示を行う。ＯＫボタンの選択指示、あるいはフリーズボタン６ａが押下されていれば一連の処理を終了し、やり直しボタンの選択指示、あるいはフリーズボタン６ａが押下されていなければ、ステップＳ９０１から繰り返し検査部位特定のための処理を繰り返す。ステップＳ９０５において、図１９に示す検査結果の確認を促すウインドウが表示されている間は検査部位推定のための処理が中断されていてもよい。また、ステップＳ９０５の確定処理を省略し、ステップＳ７０１～ステップＳ７０４の中の任意のタイミングで検査部位の確定処理が行えるようにしてもよい。

図１０は、図７のステップＳ７０５の計測処理後の動作を示すフローチャートである。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

ステップＳ１００１において、ＣＰＵ７は、ステップＳ７０４で確定された超音波画像を不揮発性メモリ９あるいは外部メディアに保存、あるいは外部にデータの転送をおこなうとともにステップＳ７０４で確定された超音波画像をディスプレイ５に表示する。

ステップＳ１００２において、検査者操作に応じて、ステップＳ７０３の検査部位特定Ａの動作で特定された検査部位の確定が行われる。このとき、ディスプレイ５には、ステップＳ７０４で確定された超音波画像とステップＳ９０４から行われているボディマーク及びプローブマークの表示は同時あるいは切替可能に表示されるものとする。検査者はディスプレイ５に表示されている検査部位とプローブの位置姿勢情報を改めて確認し、間違っていなければコントロールパネル６の所定の操作部材あるいは超音波プローブ２にある確定ボタン６ｂを押下する。間違っていた場合、検査者のコントロールパネル６への操作によって、第２、第３の部位の候補がディスプレイ５に表示され、検査者操作によって該当する検査部位が選択された後、上述したような確定操作によって確定される。

ステップＳ１００３において、ＣＰＵ７は、ステップＳ１００２において確定した検査部位の情報とプローブの位置姿勢情報を、ステップＳ７０４で確定された超音波画像と関連付けて不揮発性メモリ９あるいは外部メディアに保存、あるいは外部に転送する。検査部位の情報とプローブの位置姿勢情報としては、例えば検査部位の名称、ボディマークとボディマークに対するプローブマークの位置姿勢情報が挙げられる。プローブマークの位置姿勢情報は２次元画像上での角度に止まってもよいし、３次元の姿勢情報であってもよい。

（変形例２）
図１１は、検査者によって検査部位を自動で設定するよう設定された場合の、図４のステップＳ４０４の超音波診断の計測処理の別の様態を示すフローチャートである。このフローにおいては、図７のフロー同様、図５のステップＳ５０３において、検査者操作に応じておこなっていた検査部位の設定を自動化する。以下の各ステップはＣＰＵ７あるいはＣＰＵ７の指示により各部で実行されるものとする。

ＣＰＵ７は、ステップＳ１１０１とステップＳ１１０２を並列に処理する。ステップＳ１１０１の超音波画像処理は図５のステップＳ５０１（図６で詳細を説明したもの）と同じである。ステップＳ１１０２の検査部位特定Ｂの処理については後述する。

ステップＳ１１０３において、検査者の操作によってコントロールパネル６の所定の操作部材あるいは超音波プローブ２にあるフリーズボタン６ａが押下されると、ＣＰＵ７は、ディスプレイ５の超音波画像５の更新を停止する。それと共にあるいは次いで、フリーズボタン６ａが押下された際の検査部位の特定結果をディスプレイ５に表示し、ステップＳ１１０１およびステップＳ１１０２を終了してステップＳ１１０４に進んで計測の後処理を行う。

超音波画像が所望のものでなければ、ステップＳ１１０１およびステップＳ１１０２の並列処理に戻る。

ある検査部位の計測処理が終了したとき、ステップＳ１１０５において、ＣＰＵ７は、予め検査内容に応じて決まっている検査部位を全て計測したかどうかの判定を行う。もし、まだ検査していない部位が残っていた場合には、再度ステップＳ１１０１およびステップＳ１１０２の並列処理に戻る。

図１２は、図１１のステップＳ１１０２検査部位推定Ｂの動作を示すフローチャート図である。

図９のフローに示す処理と基本的に同じ動作を行うステップの説明は省略する。ステップＳ９０１とステップＳ１２０１、ステップＳ９０２とステップＳ１２０３、ステップＳ９０３とステップＳ１２０４、ステップＳ９０４とステップＳ１２０５、ステップＳ９０５とステップＳ１２０６がそれぞれ対応している。

図１２のフローにはステップＳ１２０２に、図７のステップＳ７０１に相当する人体（被験者）位置姿勢の推定処理が入っていることが異なる。これは、図７においてはステップＳ７０３の検査部位特定Ａのフローの外部において行っていた。

図１２の処理は、図７の処理に対してカメラ３の１回の撮像で得られた１つのカメラ画像から人体の位置姿勢推定とプローブの位置姿勢推定処理をおこない、検査部位を推定する。このため、検査者のフリーズボタン６ａの押下及び確定ボタン６ｂの押下の操作を減らすことができる。ただし、被験者の検査部位と超音波プローブ２を同時に撮影できない場合、検査部位の特定が困難になるといった課題がある。例えば、超音波プローブ２や検査者によって検査部位が隠れてしまう場合が考えられる。また、部位特定の更新頻度が人体の位置姿勢推定処理にかかる時間に制約されるという課題がある。一方、図７の処理は、人体位置姿勢推定のためのカメラ画像とプローブの位置姿勢推定のためのカメラ画像が別であるため、上記課題の回避が容易である。

図１３は、図１１のステップＳ１１０２における検査部位特定Ｂの別様の詳細フローを示すフローチャート図である。

図１２のフローに示す処理と基本的に同じ動作を行うステップの説明は省略する。ステップＳ１２０１とステップＳ１３０１およびステップＳ１３０４、ステップＳ１２０２とステップＳ１３０２、ステップＳ１２０３とステップＳ１３０５、ステップＳ１２０４とステップＳ１３０６、ステップＳ１２０５とステップＳ１３０７、ステップＳ１２０６とステップＳ１３０９がそれぞれ対応している。

図１２とは、ステップＳ１３０１およびステップＳ１３０２の被験者の位置姿勢を推定する処理と、ステップＳ１３０４～ステップＳ１３０８の超音波プローブ２の位置姿勢および検査部位を推定する処理とが並列して行われることが異なる。

本実施形態では、超音波プローブ２の位置姿勢を求める処理よりも、人体の位置姿勢を推定する処理の方が計算コストが高い。超音波プローブ２の位置姿勢の算出には前述したようなフィルタリング処理、２値化処理、形状認識処理といったルールベースの処理を行い、人体（被験者）の位置姿勢の推定処理には深層学習による学習を行った学習器を用いた認識処理を用いているからである。そのため本実施形態のステップＳ１３０８においては、人体の位置姿勢の推定処理が終わるまでの間、超音波プローブ２の位置姿勢の計算結果のみを更新して検査部位の特定を行う。

（変形例３）
図７のステップＳ７０３あるいは図１１のステップＳ１１０２、図１３のステップＳ１３０２、ステップＳ１３０４等で行われる検査部位の特定処理についての変形例を示す。上述した実施形態では、人体全体の検査部位特定を想定して各動作の説明を行った。しかしながら、手などの限局した検査対象においても同様である。

例えば、リウマチなどの症状を検査対象とした超音波検査は、被験者の手や足などの関節を対象に行う。そのため、本変形例で用いる人体位置姿勢推定の学習済み学習器は検査対象が限局されている、学習器としては、一般には人体全体用と異なり、入力される画像から手や足の骨格（関節）情報を出力するものを用いる。あるいは、人体と手や足の骨格を同時に検出可能な学習器であってもよい。

また、限局された検査対象の候補としては前述したように手や足など複数考えられるため、各部の骨格情報を検出するための学習済の学習器は各部に対応して複数用意される。そして検査部位特定処理時には、用意された複数の学習器、カメラ３から取得される外観画像に応じて自動で切り替えるか、検査者の操作により該当部位の情報が予め選択入力されて切り替えられるとよい。

手には、５本の指（親指、人差し指、中指、薬指、小指）それぞれに第一から第四までの関節があり、本変形例における学習済み学習器はそれぞれの関節について位置の推定を行う。

なお、骨格情報の出力は関節に加えて、指先を含むことがある。また、第四関節は５本の指で同じ１点が代表して設定される。

図２０は検査部位の対象が手の各部位のいずれかであるときの検査の様子を示すイメージ図である。被験者の検査部位および超音波プローブ２が画角に収まるようにカメラが配置、位置姿勢制御されている。

図２１（ａ）は、本変形例に示すような手の検査において、ＣＰＵ７が人体位置姿勢の推定処理として手の骨格情報を推定し、カメラ３からの外観画像に重畳してディスプレイ５に表示したイメージ図である。

図２１（ｂ）は、本変形例に示すような手の検査においてカメラで取得した画像とプローブ位置姿勢推定の結果（十字線）とを重畳してディスプレイ５に表示した例である。

図２１（ｃ）は、人体位置姿勢推定の結果と、プローブ位置姿勢推定結果とをディスプレイ５に合わせて表示した例である。ステップＳ９０３と同様の処理によって、どの指の第何関節であるか、検査部位を特定することが可能である。

以上のように、本実施形態では、検査時の人体の位置姿勢の検出を機械学習により得られた学習器を用いて推定し、該推定結果と検査デバイスの位置の推定結果とを合わせて検査部位を特定することでより高精度な検査部位の特定が可能となっている。

また、本実施形態では、検査デバイスの位置の推定に当たってルールベースで人体の位置姿勢の検出よりも処理負荷の低い処理で検出を行うため、移動量や移動頻度の高いプローブの位置に追従しながらも、処理負荷を抑えた検査システムの提供を可能としている。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１ 超音波診断装置本体
２ 超音波プローブ２
３ カメラ
４ アーム
５ ディスプレイ
６ コントロールパネル
７ ＣＰＵ
８ メモリ
９ 不揮発性メモリ９
１０ 通信Ｉ／Ｆ
１１ 電源
１２ 送受信部
１３ 信号処理部
１４ 画像生成部
１５ カメラ制御部

Claims (15)

1. 撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを取得する取得手段と、
   前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定手段と、
   前記第２の画像に基づいて、前記被検体の複数の関節点を推定する第２の推定手段と、
   前記第１及び第２の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、を有し、
   前記第２の推定手段は、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記複数の関節点を出力し、
   前記部位特定手段は、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする情報処理装置。
2. 前記第１の推定手段は、前記検査デバイスの位置をフィルタリング処理及び形状認識処理により推定することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の推定手段は、前記被検体の複数の関節点とその位置を示す骨格情報を出力することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第２の推定手段は、前記被検体の複数の関節点それぞれについて信頼度の情報も出力し、
   前記部位特定手段は、前記信頼度の情報に基づいて前記被検体の検査部位を特定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第２の推定手段は、複数の部位について、各部位が前記第２の画像に対応する領域の中で存在する確率の分布を示す複数の信頼度分布を出力し、
   前記部位特定手段は、前記複数の信頼度分布に基づいて前記被検体の検査部位を特定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記複数の部位それぞれに対応する前記複数の信頼度分布において、各信頼度分布の信頼度がピークである位置を該部位を示す前記関節点とすることを特徴とする請求項５に記載の情報処理装置。
7. 前記部位特定手段は、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離と前記信頼度分布に基づいて前記複数の部位それぞれについて評価値を算出し、該評価値に基づいて前記被検体の検査部位を特定することを特徴とする請求項５に記載の情報処理装置。
8. 前記第１の推定手段によって前記第１の画像を用いて前記検査デバイスの位置を推定する処理負荷は、前記第２の推定手段によって前記第２の画像を用いて前記関節点を推定する処理負荷に比べて軽いことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記取得手段は１回の撮像で得られた画像から前記第１及び第２の画像を取得することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記第１の推定手段は、前記第１の画像から前記検査デバイスに配されたマーカーを検出することで前記検査デバイスの位置を検出することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記第１の推定手段は、前記第１の画像から前記検査デバイスに配されたマーカーを検出することで前記検査デバイスの位置及び姿勢を検出することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
12. 被検体の検査を行う検査手段と、
    検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを撮像する撮像手段と、
    前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定手段と、
    前記第２の画像に基づいて、前記被検体の複数の関節点を推定する第２の推定手段と、
    前記第１及び第２の推定手段による推定結果から、前記被検体の検査部位を特定する部位特定手段と、を有し、
    前記第２の推定手段は、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記複数の関節点を出力し、
    前記部位特定手段は、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする検査システム。
13. 撮像手段によって撮像された、検査デバイスの少なくとも一部を含む第１の画像と被検体の少なくとも一部を含む第２の画像とを取得する取得ステップと、
    前記第１の画像に基づいて、前記検査デバイスの位置を推定する第１の推定ステップと、
    前記第２の画像に基づいて、前記被検体の複数の関節点を推定する第２の推定ステップと、
    前記第１及び第２の推定ステップにて推定された推定結果から、前記被検体の検査部位を特定する部位特定ステップと、を有し、
    前記第２の推定ステップでは、前記被検体の含まれる複数の学習用画像で予め学習された学習モデルに基づいて、前記第２の画像を入力として、前記複数の関節点を出力し、
    前記部位特定ステップでは、前記第１の推定手段によって推定された前記検査デバイスの位置からの距離が近い関節点ほど、該関節点に大きい重みをつけて評価値を算出し、前記複数の関節点についてそれぞれ算出された評価値に基づいて前記被検体の検査部位を特定することを特徴とする情報処理方法。
14. 請求項１乃至１１のいずれか１項に記載の情報処理装置の制御の各手段の機能を実現するための手順が記述されたコンピュータで実行可能なプログラム。
15. コンピュータに、請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段の機能を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images