JP7322774B2 - 超音波診断装置、超音波診断装置の制御方法、及び超音波診断装置の制御プログラム - Google Patents

Description

本開示は、超音波診断装置、超音波診断装置の制御方法、及び超音波診断装置の制御プログラムに関する。

従来、超音波を被検体内部に送信し、その超音波エコーを受信して解析することにより、被検体内の断層画像を生成する超音波診断装置が知られている。超音波診断装置は、特定方向に収束させた超音波を方位方向に対してスキャンすることにより、２次元又は３次元の超音波画像をリアルタイムで取得することができる。そして、超音波診断装置にて超音波画像を時間的に連続して生成することで、被検体の生体部分を動画像観察することが可能である。

又、近年、この種の超音波診断装置においては、表示画像上で超音波プローブの位置や被検体の運動等の状況を認識し得るようにするため、カメラにて、超音波プローブと被検体の双方を撮影し、カメラ画像を、超音波画像に付帯させてモニタに表示するものも構想されている（例えば特許文献１参照）。

特開２００９－２０７８００号公報

ところで、本願の発明者らは、かかる超音波診断装置を、関節、筋肉又は腱等、被検体内の生体部分のうち、被検体の屈伸等の運動に伴って動く生体部（以下、「動生体部」と称する）の観察に適用することを検討している。

例えば、動生体部（例えば、筋肉、腱）の動きを、超音波診断装置にて観察することによって、動生体部の可動性を把握することが可能である。

但し、検査者が、超音波画像を撮影しながら、動生体部の可動性をより正確に検査しようとした場合、被検体の運動（例えば、屈曲、伸展、内転、外転）と超音波画像との両方を同時に視認する必要がある。この点、従来技術に係る超音波診断装置においては、検査者は、実際の被検体の運動又はカメラにて撮影されているカメラ画像を視認しつつ、超音波画像を視認する必要があるため、検査者にとって、被検体の運動と当該被検体の動生体部の動きとの連動（即ち、可動性）を認識しづらい、という問題があった。

本開示は、上記の問題点に鑑みてなされたもので、検査者による動生体部の動態検査を支援することを可能とする超音波診断装置、超音波診断装置の制御方法、及び超音波診断装置の制御プログラムを提供することを目的とする。

前述した課題を解決する主たる本開示は、
被検体内の生体部分のうち、前記被検体の運動に伴って動く生体部の超音波検査に適用される超音波診断装置であって、
超音波の送受信を行う超音波プローブから取得した受信信号に基づいて、前記生体部の超音波画像を生成する超音波画像生成部と、
前記被検体の運動を撮影するカメラから取得した時系列のカメラ画像の画像解析を行い、前記被検体の運動を検出する画像解析部と、
前記超音波画像を含む表示画像を生成すると共に、前記画像解析部により検出される前記被検体の運動に連動させて、前記表示画像の表示内容又は表示態様を変更する表示画像生成部と、
を備える超音波診断装置である。

又、他の局面では、
被検体内の生体部分のうち、前記被検体の運動に伴って動く生体部の超音波検査に適用される超音波診断装置の制御方法であって、
超音波の送受信を行う超音波プローブから取得した受信信号に基づいて、前記生体部の超音波画像を生成し、
前記被検体の運動を撮影するカメラから取得した時系列のカメラ画像の画像解析を行い、前記被検体の運動を検出し、
前記超音波画像を含む表示画像を生成すると共に、検出される前記被検体の運動に連動させて、前記表示画像の表示内容又は表示態様を変更する、
超音波診断装置の制御方法である。

又、他の局面では、
被検体内の生体部分のうち、前記被検体の運動に伴って動く生体部の超音波検査に適用される超音波診断装置の制御プログラムであって、
超音波の送受信を行う超音波プローブから取得した受信信号に基づいて、前記生体部の超音波画像を生成する第１処理と、
前記被検体の運動を撮影するカメラから取得した時系列のカメラ画像の画像解析を行い、前記被検体の運動を検出する第２処理と、
前記超音波画像を含む表示画像を生成すると共に、前記第２処理で検出される前記被検体の運動に連動させて、前記表示画像の表示内容又は表示態様を変更する第３処理と、
を備える超音波診断装置の制御プログラムである。

本開示に係る超音波診断装置によれば、検査者による動生体部の動態検査を支援することが可能である。

第１の実施形態に係る超音波診断装置の構成を示す図 第１の実施形態に係る超音波診断装置の画像処理装置の構成を示す図 第１の実施形態に係る表示画像生成部が生成する表示画像の一例を示す図 第１の実施形態に係る表示画像生成部が生成する支援画像の一例を示す図 第１の実施形態に係る画像処理装置の動作の一例を示すフローチャート 第２の実施形態に係る超音波診断装置の画像処理装置の構成を示す図 第２の実施形態に係る表示画像生成部が生成する支援画像の一例を示す図 第２の実施形態に係る画像処理装置の動作の一例を示すフローチャート 第３の実施形態に係る超音波診断装置の画像処理装置の構成を示す図 第３の実施形態に係る表示画像生成部が生成する支援画像の一例を示す図 第３の実施形態に係る画像処理装置の動作の一例を示すフローチャート

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
［超音波診断装置の全体構成］
以下、図１～図５を参照して、本発明の第１の実施形態に係る超音波診断装置の構成について説明する。

図１は、本実施形態に係る超音波診断装置Ａの構成を示す図である。

超音波診断装置Ａは、画像処理装置１、超音波プローブ２、カメラ３、及び、モニタ４を備えている。尚、画像処理装置１は、超音波診断装置Ａの本体内に内蔵されている。又、超音波プローブ２及びカメラ３は、それぞれ、ケーブルを介して、超音波診断装置Ａの本体（画像処理装置１）に接続されている。

超音波プローブ２は、超音波ビーム（ここでは、１～３０ＭＨｚ程度）を被検体Ｐ１（例えば、人体）内に対して送信するとともに、送信した超音波ビームのうち被検体Ｐ１内で反射された超音波エコーを受信して電気信号に変換する音響センサとして機能する。

超音波プローブ２は、例えば、アレー状に配設された振動子列（例えば、圧電素子列）と、当該振動子列の各振動子の駆動状態のオンオフを個別に又はブロック単位で切替制御するためのチャンネル切替部（例えば、マルチプレクサ）を含んで構成される。超音波プローブ２の各振動子は、超音波診断装置Ａの本体（図示しない送信回路）で発生された電圧パルスを超音波ビームに変換して被検体内へ送信し、被検体内で反射した超音波エコーを受信して電気信号（以下、「受信信号」と称する）に変換し、画像処理装置１へ出力する。そして、超音波プローブ２の駆動対象の振動子が、走査方向に沿って順に切り替えられることにより、被検体内の超音波走査が実行される。

カメラ３は、例えば、一般的な可視カメラであり、自身の有する撮像素子が生成した画像信号をＡＤ変換して、カメラ画像に係る画像データ（以下、「カメラ画像」と略称する）を生成する。そして、カメラ３は、フレーム単位のカメラ画像を連続的に生成して、時系列に並んだカメラ画像（即ち、動画像）を画像処理装置１に対して出力する。

カメラ３は、被検体の運動（即ち、検査対象の動生体部を観察するための運動）を撮影し得るように、被検体の周囲の適宜な位置に配置される。又、カメラ３は、カメラ画像から被検体への超音波プローブ２の押し当て状態（例えば、超音波プローブ２の位置や姿勢）を把握し得るように、超音波プローブ２が被検体と共に撮影される位置に配置されるのが好ましい。尚、超音波プローブ２の位置を検出して、検出された超音波プローブ２の位置に基づいて、カメラ３の撮影方向や撮影位置を自動的に調整し得るようにしてもよい（例えば、特許文献１を参照）。

画像処理装置１は、超音波プローブ２から取得した受信信号に基づいて、超音波画像を生成する。そして、画像処理装置１は、超音波画像に対して、カメラ３にて生成されたカメラ画像等を付加して、モニタ４に表示させる表示画像を生成する。

画像処理装置１は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭ等からなる周知のマイクロコンピュータを中心に構成され、これに加えて、超音波プローブ２から取得した受信信号を受信処理する検波回路、及び、時系列の超音波画像や時系列のカメラ画像を記憶するためのシネメモリ等を備えている。但し、画像処理装置１の一部又は全部は、ＣＰＵ等を有しない専用のハードウェア回路（例えば、ＡＳＩＣ、又はＦＰＧＡ）のみによっても実現できることは勿論である。

モニタ４は、画像処理装置１に生成された表示画像を表示するディスプレイであって、例えば、液晶ディスプレイにて構成される。

［画像処理装置の構成］
図２は、本実施形態に係る超音波診断装置Ａの画像処理装置１の構成を示す図である。

画像処理装置１は、超音波画像生成部１１、カメラ画像取得部１２、タイムスタンプ付与部１３、カメラ画像解析部１４、及び、表示画像生成部１５を備えている。

超音波画像生成部１１は、超音波プローブ２から超音波エコーに係る受信信号を取得して、被検体Ｐ１の内部の超音波画像（即ち、断層画像）を生成する。超音波画像生成部１１は、例えば、超音波プローブ２が深度方向に向けてパルス状の超音波ビームを送信した際に、その後に検出される超音波エコーの信号強度（Intensity）を順次ラインメモリに蓄積する。そして、超音波画像生成部１１は、超音波プローブ２からの超音波ビームが被検体内を走査するに応じて、各走査位置での超音波エコーの信号強度を各別のラインメモリに順次蓄積し、フレーム単位となる二次元データを生成する。そして、超音波画像生成部１１は、被検体の内部の各位置で検出される超音波エコーの信号強度を輝度値に変換することによって、超音波画像に係る画像データ（以下、「超音波画像」と略称する）を生成する。

超音波画像生成部１１は、超音波プローブ２の走査速度に応じたフレームレートで、時間的に連続して超音波画像を生成する。

カメラ画像取得部１２は、カメラ３から、時間的に連続して生成されるカメラ画像を順次取得する。カメラ画像取得部１２は、例えば、カメラ３にてカメラ画像が生成されるフレームレートの間隔で、カメラ画像を順次取得する。

タイムスタンプ付与部１３は、超音波画像生成部１１が超音波画像を生成した際に、当該超音波画像に対して、タイムスタンプを付与する。又、タイムスタンプ付与部１３は、カメラ画像取得部１２がカメラ画像を取得した際に、当該カメラ画像に対して、タイムスタンプを付与する。超音波画像に付与されたタイムスタンプの時刻、及び、カメラ画像に付与されたタイムスタンプの時刻は、それぞれのデータが生成された時刻を表す。

超音波画像生成部１１が超音波画像を生成するフレームレートと、カメラ３がカメラ画像を生成するフレームレートとは、通常、異なっている。そこで、本実施形態では、タイムスタンプ付与部１３が超音波画像及びカメラ画像それぞれに付与するタイムスタンプの時刻によって、超音波画像の生成タイミングとカメラ画像の生成タイミングとの対応関係を特定し得るようにしている。

カメラ画像解析部１４は、カメラ画像取得部１２から取得した時系列のカメラ画像の画像解析を行い、被検体の運動を検出する。そして、カメラ画像解析部１４は、検出された被検体の運動に係る情報を、表示画像生成部１５に送出する。尚、カメラ画像解析部１４にて検出する対象の被検体の運動は、超音波画像にて観察する対象の動生体部と連動する被検体の運動部位（例えば、指、腕、膝、肩、足首等）の運動（以下、単に「被検体の運動」と称する）である。

カメラ画像解析部１４は、例えば、時系列に並んだカメラ画像の各フレーム内から被検体の運動部位を検出し、当該運動部位をトラッキングすることによって、被検体の運動を検出する。カメラ画像解析部１４が運動部位を検出する手法は、任意であり、カメラ画像解析部１４は、テンプレートマッチング等のパターンマッチングにより、運動部位を検出してもよい。尚、被検体にトラッキング用のマーカを装着させている場合には、カメラ画像解析部１４は、当該マーカの位置により、運動部位をトラッキングしてもよい。

尚、カメラ画像解析部１４が出力する被検体の運動に係る情報は、任意の形式であってよい。例えば、当該情報は、時系列に並んだカメラ画像の各フレームにおける運動部位の位置（例えば、運動部位の各関節の位置）の情報であってもよい。又、当該情報は、運動部位の位置の時間的変化を示すベクトルの情報であってもよい。又、当該情報は、検出された被検体の運動が、予め分類された複数の運動のうちのいずれに該当するかを示す分類結果の情報であってもよい。

表示画像生成部１５は、超音波画像生成部１１から超音波画像を取得すると共に、カメラ画像取得部１２からカメラ画像を取得して、超音波画像とカメラ画像とが埋め込まれた表示画像を生成する。そして、表示画像生成部１５は、生成した表示画像のデータをモニタ４に送出し、モニタ４に当該表示画像を表示させる。そして、表示画像生成部１５は、表示画像を順次更新し、動画形式の表示画像をモニタ４に表示させる。

尚、この際、表示画像生成部１５は、例えば、超音波画像に付与されたタイムスタンプの時刻とカメラ画像に付与されたタイムスタンプの時刻とに基づいて、超音波画像が生成されたタイミングとカメラ画像が生成されたタイミングとの時間的な対応関係を特定し、同一又は近接するタイミングに生成された超音波画像とカメラ画像とを含む表示画像を生成する。

図３は、本実施形態に係る表示画像生成部１５が生成する表示画像の一例を示す図である。図３のＲａｌｌは表示画像全体、Ｒ１は超音波画像、Ｒ２はカメラ画像を表す。又、超音波画像Ｒ１中のＲ１ａは動生体部（ここでは、指の屈筋腱）が映った領域に相当する。尚、図３は、被検体が運動していないときの表示画像であり、被検体が運動した場合には当該表示画像上に、後述する支援画像が付加されることになる。

図３では、指の屈筋腱の可動性を評価するための検査を実施している状況を表している。この検査においては、例えば、被検体の指の根元付近に超音波プローブ２を押し当てて、指の屈筋腱の超音波画像を連続的に撮影している状況下で、被検体に指を屈曲させる。そして、この際に、超音波画像Ｒ１に映る動生体部Ｒ１ａの移動態様から、指の屈筋腱の可動性の評価が行われる。尚、指の屈筋腱は、正常例においては、被検体が指を屈曲させた際に、左右に移動するが、異常例においては、周囲の組織に癒着し、その移動態様が指の運動と比較して緩慢（即ち、引っ掛かりが生じているような動態）になる、と言われている。

ここで、表示画像生成部１５は、被検体による動生体部の可動性検査を支援する目的で、表示画像内に、被検体の運動に係る情報又は動生体部の動きに係る情報（本実施形態では、被検体の運動に係る情報）（以下、「支援画像」とも称する）を付加し、当該情報の表示内容又は表示態様を、カメラ画像解析部１４に検出された被検体の運動に連動させて変更する機能を有する。

上記したように、従来技術に係る超音波診断装置においては、検査者は、実際の被検体の運動又はカメラ３にて撮影されているカメラ画像を視認しつつ、超音波画像を視認する必要があるため、検査者にとって、動生体部の可動性（即ち、被検体の運動と動生体部の動きとの連動）を認識しづらい、という問題があった。本実施形態に係る超音波診断装置Ａにおいては、かかる問題点を解消するべく、表示画像生成部１５に当該機能を保有させている。

図４は、本実施形態に係る表示画像生成部１５が生成する支援画像（図４中のＲ３）の一例を示す図である。図４は、図３に対応する表示画像Ｒａｌｌであり、図４では、説明の便宜として、超音波画像Ｒ１及びカメラ画像Ｒ２の画像の図示は省略している。

「支援画像」は、例えば、被検体の運動部位の移動方向を示す画像である。図４では、「支援画像」の一例として、被検体が指を曲げる運動と連動する矢印画像Ｒ３を示している。被検体が指を曲げた際、正常例においては、指の屈筋腱（超音波画像Ｒ１内の動生体部Ｒ１ａ）は、超音波画像内で右側に移動する。そのため、図４では、被検体が指を曲げる運動を行ったことを契機として、右矢印の画像Ｒ３が、支援画像として付加されている。

これによって、検査者は、実際の被検体の運動に注意を払うことなく、表示画像（特に、超音波画像）のみを視認しながら、動生体部（ここでは、指の屈筋腱）の動きの正常度（即ち、被検体の運動と動生体部の動きとの連動）を評価することができる。尚、支援画像の視認性を良好にする観点から、支援画像は、超音波画像と重畳する位置に／又は隣接する位置に表示されるのが好ましい。

「支援画像」の画像データは、例えば、予め画像処理装置１のＲＯＭ等に、運動部位毎に、運動部位の運動態様と関連付けて記憶されている。例えば、運動部位が指である場合には、図４のように、指の屈筋腱は、超音波画像内において横方向に延在するように映り、被検体が指を屈曲させることに伴って左右に移動する特徴を有することから、支援画像Ｒ３のデータは、右矢印の画像及び左矢印の画像として登録される。そして、表示画像生成部１５は、例えば、事前に設定された運動部位の情報と、カメラ画像解析部１４の解析結果と、に基づいて、画像処理装置１のＲＯＭ等から、支援画像のデータを読み出し、超音波画像に重畳するように、支援画像を付加した表示画像を生成する。

「支援画像」は、例えば、被検体の運動部位の移動方向のみを示す画像であってもよいが、当該運動の方向と共に、被検体の運動部位の単位時間当たりの移動変化量（即ち、移動速度）を示す画像であるのが好ましい。この場合、「支援画像」としては、例えば、被検体の運動部位の移動速度に応じて、被検体の運動部位の移動方向を示す矢印の長さ、太さ、又は色等が異なるものが用いられてもよい。これによって、支援画像を用いて、被検体の運動と、動生体部の動きとの連動を、より明確に示唆することが可能となる。

又、「支援画像」は、被検体が運動部位の移動方向を変化させたタイミングを識別し得るように、表示されるのが好ましい。例えば、図４の態様では、表示画像生成部１５は、被検体が運動部位の移動方向を変化させたことを契機として、矢印画像Ｒ３の向きを変更するのが好ましい。これによって、被検体の運動と被検体の動生体部の動きとの連動を、検査者に、より容易に認識させることが可能となる。

図５は、本実施形態に係る画像処理装置１の運動の一例を示すフローチャートである。図５では、画像処理装置１が、支援画像を生成するために実行する処理のみを示している。尚、図５に示すフローチャートは、例えば、画像処理装置１が、コンピュータプログラムに従って、所定間隔（例えば、表示画像を生成するフレーム単位）で繰り返し実行する処理である。

まず、画像処理装置１（カメラ画像解析部１４）は、カメラ画像に対して画像解析を施して、その解析結果に基づいて、被検体の運動を検出する（ステップＳ１）。次に、画像処理装置１（表示画像生成部１５）は、表示画像内の超音波画像に重畳する位置に、ステップＳ１で検出された被検体の運動を示す支援画像を付加する（ステップＳ２）。

表示画像生成部１５は、このような処理を繰り返し実行することによって、被検体の運動に連動するように、超音波画像の動画上に支援画像を表示することが可能となる。

以上のように、本実施形態に係る超音波診断装置Ａによれば、被検体の運動と当該被検体の動生体部の動きとの連動（即ち、動生体部の可動性）を、検査者に容易に認識させることが可能である。

（第２の実施形態）
次に、図６～図８を参照して、第２の実施形態に係る超音波診断装置Ａの構成について説明する。本実施形態に係る超音波診断装置Ａは、表示画像内に、被検体の運動と被検体の動生体部の動きとの相関の強さに係る情報を付加する点で、第１の実施形態に係る超音波診断装置Ａと相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。

図６は、第２の実施形態に係る超音波診断装置Ａの画像処理装置１の構成を示す図である。

本実施形態に係る画像処理装置１は、超音波画像生成部１１、カメラ画像取得部、タイムスタンプ付与部１３、カメラ画像解析部１４、及び表示画像生成部１５に加えて、更に、超音波画像解析部１６及び相関演算部１７を有している。又、本実施形態では、カメラ画像解析部１４は、検出された被検体の運動に係る情報を、相関演算部１７に送出する構成となっている。

超音波画像解析部１６は、超音波画像生成部１１にて生成された時系列の超音波画像の画像解析を行い、被検体の動生体部の動きを検出する。そして、超音波画像解析部１６は、検出された被検体の動生体部の動きに係る情報を、相関演算部１７に送出する。

超音波画像解析部１６は、例えば、テンプレートマッチング等のパターンマッチングを行って、フレーム間での特徴点の同一性を識別する。そして、超音波画像解析部１６は、動生体部の部位の特徴点のトラッキングを行い、当該特徴点の移動を、動生体部の動きとして検出する。

尚、超音波画像解析部１６が動生体部の動きを検出する手法としては、動画像の時空間微分によって各局所領域の移動先を推定する勾配法が用いられてもよい。

相関演算部１７は、カメラ画像解析部１４に検出された被検体の運動と、超音波画像解析部１６に検出された被検体の動生体部の動きとの相関演算を行い、相関演算の演算結果を、表示画像生成部１５に送出する。相関演算部１７の相関演算の演算手法は、被検体の運動及び動生体部の動きそれぞれの表現形式によるが、相関演算部１７は、例えば、ユークリッド距離又は相関関数等を用いて、これらの相関演算を行う。

本実施形態に係る表示画像生成部１５は、相関演算部１７にて演算された被検体の運動と被検体の動生体部の動きとの相関の強さを示す画像を、動生体部の可動性検査を支援するための支援画像として、表示画像に付加する。

図７は、本実施形態に係る表示画像生成部１５が生成する支援画像（図７中のＲ４）の一例を示す図である。図７は、第１の実施形態で参照した図４に対応する表示画像である。本実施形態では、被検体の運動と被検体の動生体部の動きとの相関の強さがゲージ（ここでは、完全一致１００％に対する相関の強さの大きさ）で表されたものが、支援画像Ｒ４として用いられている。

図８は、本実施形態に係る画像処理装置１の運動の一例を示すフローチャートである。尚、図８では、画像処理装置１が、支援画像を生成するために実行する処理のみを示している。

画像処理装置１（カメラ画像解析部１４）は、カメラ画像に対して画像解析を施して、被検体の運動を検出する（ステップＳ１１）。又、ステップＳ１１と並列に、画像処理装置１（超音波画像解析部１６）は、超音波画像に対して画像解析を施して、動生体部の動きを検出する（ステップＳ１２）。

次に、画像処理装置１（相関演算部１７）は、ステップＳ１１で検出された被検体の運動と、ステップＳ１２で検出された被検体の動生体部の動きとの相関演算を行う（ステップＳ１３）。そして、画像処理装置１（表示画像生成部１５）は、表示画像内の超音波画像が表示される位置に、Ｓ１３で算出された被検体の運動と被検体の動生体部の動きとの相関の強さを示す支援画像を重畳させる（ステップＳ１４）。

表示画像生成部１５は、このような処理を繰り返し実行することによって、被検体の運動に連動するように、超音波画像の動画上に、被検体の運動と被検体の動生体部の動きとの相関の強さを示す支援画像を表示することが可能となる。

以上のように、本実施形態に係る超音波診断装置Ａによっても、被検体の運動と当該被検体の動生体部の動きとの連動（即ち、動生体部の可動性）を、検査者に容易に認識させることが可能である。特に、本実施形態に係る超音波診断装置Ａは、支援画像のみから、検査者に被検体の運動と当該被検体の動生体部の動きとの連動を認識させ得る点で、有用である。

（第３の実施形態）
次に、図９～図１１を参照して、第３の実施形態に係る超音波診断装置Ａの構成について説明する。本実施形態に係る超音波診断装置Ａは、カメラ画像から検出された被検体の運動を用いて、表示画像内に表示される動生体部の動きに係る画像の表示内容又は表示態様を変更する点で、第１の実施形態に係る超音波診断装置Ａと相違する。

図９は、第３の実施形態に係る超音波診断装置Ａの画像処理装置１の構成を示す図である。

本実施形態に係る画像処理装置１は、超音波画像生成部１１、カメラ画像取得部、タイムスタンプ付与部１３、カメラ画像解析部１４、及び表示画像生成部１５に加えて、更に、超音波画像解析部１６を有している。

本実施形態に係る超音波画像解析部１６は、超音波画像生成部１１にて生成された時系列の超音波画像の画像解析を行い、動生体部の動きを検出する。そして、超音波画像解析部１６は、検出された動生体部の動きに係る情報を、表示画像生成部１５に送出する。

本実施形態に係る超音波画像解析部１６における特徴点の検出方法及び特徴点のトラッキング方法は、第２の実施形態における超音波画像解析部１６と同様である。超音波画像解析部１６は、例えば、任意のパターンマッチングを用いて、フレーム間での特徴点の同一性を識別し、これにより、動生体部の特徴点のトラッキングを行い、当該特徴点の移動（即ち、ベクトル）を、動生体部の動きとして検出する。

本実施形態に係る表示画像生成部１５は、超音波画像解析部１６にて検出された動生体部の動きの情報を、動生体部の可動性検査を支援するための支援画像として、表示画像に付加する。そして、表示画像生成部１５は、カメラ画像解析部１４にて検出された被検体の運動部位の移動方向の変化タイミングを識別可能に、当該支援画像の表示内容又は表示態様を変更する。

図１０は、本実施形態に係る表示画像生成部１５が生成する支援画像（図１０中のＲ５）の一例を示す図である。図１０は、第１の実施形態で参照した図４に対応する表示画像である。尚、図１０では、被検体の大腿筋（即ち、動生体部）の超音波検査を実施している際に表示される表示画像を示している。超音波画像Ｒ１のうち領域Ｒ１ｂが、被検体の大腿筋である。

図１０の上図は、被検体が膝を屈曲する際の表示画像であり、図１０の下図は、被検体が膝を伸展した直後の表示画像である。尚、大腿筋は、被検体が膝を屈曲する際には、下方向に次第に移動し、被検体が膝を伸展する際には、上方向に移動する特徴を有する。

本実施形態に係る表示画像生成部１５は、被検体の動生体部の複数の部位それぞれの特徴点をトラッキングし、トラッキング対象の特徴点の位置の時間的変化を示すベクトル画像を、支援画像（図１０中のＲ５）として、超音波画像上に重畳表示する。ここで、表示画像生成部１５は、被検体が運動部位を同一方向に運動させている間は、トラッキング対象の特徴点の位置の時間的変化を、連続するベクトル画像として表示する（図１０の上図のベクトル画像Ｒ５を参照）。そして、表示画像生成部１５は、被検体が運動部位の移動方向を変更させたことを契機として、当該ベクトル画像を、一旦、表示画像内から消去して（即ち、リセットして）、再度、移動方向が変更されたタイミングにおけるトラッキング対象の特徴点の位置を始点とした逆向きのベクトル画像を表示画像内に出現させる（図１０の下図のベクトル画像Ｒ５を参照）。表示画像生成部１５は、このベクトル画像の消去と出現のタイミングを、カメラ画像解析部１４にて検出された被検体が運動部位の移動方向を変化させたタイミングを契機として制御する。

尚、被検体の動生体部の各部位の中には、被検体が運動部位の移動方向を変化させた際の追従性が緩慢な部位も存在する。この際、仮に、超音波画像のみに依拠して、ベクトル画像の表示制御を行った場合、異なる方向のベクトル画像が混在する等、ベクトル画像の視認性が悪化することになる。

この点、本実施形態に係る表示画像生成部１５のように、被検体が運動部位の移動方向を変化させたタイミングを契機として、ベクトル画像の消去と出現を制御することによって、検査者は、超音波画像のみを視認しながら、被検体の運動の変化に伴う動生体部の動きを容易に認識することが可能となる。

図１１は、本実施形態に係る画像処理装置１の運動の一例を示すフローチャートである。尚、図１１では、画像処理装置１が、支援画像を生成するために実行する処理のみを示している。

画像処理装置１（超音波画像解析部１６）は、超音波画像に対して画像解析を施して、動生体部の動きを検出する（ステップＳ２１）。又、ステップＳ２１と並列に、画像処理装置１（カメラ画像解析部１４）は、カメラ画像に対して画像解析を施して、被検体の運動を検出する（ステップＳ２２）。そして、画像処理装置１（表示画像生成部１５）は、ステップＳ２２で検出された被検体の運動に基づいて、被検体が運動部位の移動方向を変更したか否かを判定する（ステップＳ２３）。

画像処理装置１（表示画像生成部１５）は、ステップＳ２３の判定結果に基づいて、動生体部の動きを表すベクトル画像の表示態様を変更する。即ち、画像処理装置１（表示画像生成部１５）は、ステップＳ２１で検出された動生体部の動きを表すベクトル画像を表示画像内に付加する際、被検体が運動部位の移動方向が変更されていない場合（ステップＳ２３：ＮＯ）、一時刻前のベクトル画像から連続させるように、当該ベクトル画像を付加する（ステップＳ２４）。一方、画像処理装置１（表示画像生成部１５）は、被検体が運動部位の移動方向が変更された場合（ステップＳ２３：ＹＥＳ）、一時刻前のベクトル画像をリセット（即ち、消去）して、表示画像内に、トラッキング対象の特徴点の末端位置を始点とした逆向きのベクトル画像を付加する（ステップＳ２５）。

表示画像生成部１５は、このような処理を繰り返し実行することによって、被検体の運動に連動するように、超音波画像の動画上に表示する動生体部の動きを表す支援画像の表示内容又は表示態様を切り替えることができる。

以上のように、本実施形態に係る超音波診断装置Ａによっても、被検体の運動と当該被検体の動生体部の動きとの連動（即ち、動生体部の可動性）を、検査者に容易に認識させることが可能である。特に、本実施形態に係る超音波診断装置Ａは、支援画像により、検査者に、動生体部の各部位の可動性を詳細に認識させ得る点で、有用である。

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

上記各実施形態では、表示画像生成部１５が動生体部の可動性検査を支援する機能を実現する一態様として、被検体の運動部位の移動方向を示す画像、被検体の運動と生体部の動きとの相関の強さを示す画像、又は、生体部の動きの方向を示す画像を、被検体の運動に連動させて変更する態様を示した。しかしながら、表示画像生成部１５による当該機能の実現手段は、種々に変更可能であり、例えば、通常時には、表示画像内に超音波画像のみを表示し、被検体の運動が検出された際には、表示画像内にカメラ画像を付加する態様であってもよい。換言すると、表示画像生成部１５による当該機能の実現手段は、画像解析部１４により検出される被検体の運動に連動させて、表示画像の表示内容又は表示態様を変更するものであればよい。

又、上記各実施形態では、表示画像生成部１５が動生体部の可動性検査を支援する機能を実現する一態様として、被検体の運動部位の移動方向を示す画像、被検体の運動と生体部の動きとの相関の強さを示す画像、又は、生体部の動きの方向を示す画像のいずれか一つのみを表示する態様を示したが、これらの画像の二つ以上が表示画像内に同時に表示されてもよい。

又、上記各実施形態では、表示画像生成部１５は、超音波画像と、カメラ画像と、を含む表示画像を生成する態様を示した。しかしながら、表示画像生成部１５は、超音波画像と、カメラ画像から抽出された被検体の運動に係る情報のみが表示された表示画像を生成してもよい。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示に係る超音波診断装置によれば、検査者による動生体部の動態検査を支援することが可能である。

Ａ 超音波診断装置
１ 画像処理装置
１１ 超音波画像生成部
１２ カメラ画像取得部
１３ タイムスタンプ付与部
１４ カメラ画像解析部
１５ 表示画像生成部
１６ 超音波画像解析部
１７ 相関演算部
２ 超音波プローブ
３ カメラ
４ モニタ

Claims (14)

1. 被検体内の生体部分のうち、前記被検体の運動に伴って動く生体部の超音波検査に適用される超音波診断装置であって、
   超音波の送受信を行う超音波プローブから取得した受信信号に基づいて、前記生体部の超音波画像を生成する超音波画像生成部と、
   前記被検体の運動を撮影するカメラから取得した時系列のカメラ画像の画像解析を行い、前記被検体の運動を検出する画像解析部と、
   前記超音波画像を含む表示画像を生成すると共に、前記画像解析部により検出される前記被検体の運動に連動させて、前記表示画像の表示内容又は表示態様を変更する表示画像生成部と、
   を備える超音波診断装置。
2. 前記表示画像生成部は、前記表示画像内に、前記被検体の運動又は前記生体部の動きに係る支援画像を表示し、前記画像解析部により検出される前記被検体の運動に連動させて、前記支援画像の表示内容又は表示態様を変更する、
   請求項１に記載の超音波診断装置。
3. 前記支援画像は、前記被検体の運動部位の移動方向を示す画像を含む、
   請求項２に記載の超音波診断装置。
4. 前記支援画像は、前記被検体の運動部位の移動速度を示す画像を含む、
   請求項２又は３に記載の超音波診断装置。
5. 前記支援画像は、前記被検体の運動と前記生体部の動きとの相関の強さを示す画像を含む、
   請求項２乃至４のいずれか一項に記載の超音波診断装置。
6. 前記支援画像は、前記生体部の動きの方向を示す画像を含む、
   請求項２乃至５のいずれか一項に記載の超音波診断装置。
7. 前記支援画像は、前記生体部の部位毎の動きの方向を示す画像を含む、
   請求項２乃至６のいずれか一項に記載の超音波診断装置。
8. 前記表示画像生成部は、前記被検体が運動部位の移動方向を変化させたタイミングを識別可能に、前記支援画像の表示内容又は表示態様を変更する、
   請求項２乃至７のいずれか一項に記載の超音波診断装置。
9. 前記表示画像生成部が生成する前記表示画像は、前記カメラ画像を更に含む、
   請求項１乃至８のいずれか一項に記載の超音波診断装置。
10. 前記超音波画像生成部にて前記超音波画像が生成された際に、当該超音波画像に対してタイムスタンプを付与すると共に、前記カメラから前記カメラ画像を取得した際に、当該カメラ画像に対してタイムスタンプを付与するタイムスタンプ付与部を更に備え、
    前記表示画像生成部は、前記超音波画像に付与されたタイムスタンプの時刻と前記カメラ画像に付与されたタイムスタンプの時刻とに基づいて、前記超音波画像が生成されたタイミングと前記カメラ画像が生成されたタイミングとの対応関係を特定する、
    請求項９に記載の超音波診断装置。
11. 時系列の前記超音波画像の画像解析を行い、前記生体部の動きを検出する第２画像解析部を更に備える、
    請求項１乃至１０のいずれか一項に記載の超音波診断装置。
12. 前記生体部は、関節部、筋部又は腱部である、
    請求項１乃至１１のいずれか一項に記載の超音波診断装置。
13. 被検体内の生体部分のうち、前記被検体の運動に伴って動く生体部の超音波検査に適用される超音波診断装置の制御方法であって、
    超音波の送受信を行う超音波プローブから取得した受信信号に基づいて、前記生体部の超音波画像を生成し、
    前記被検体の運動を撮影するカメラから取得した時系列のカメラ画像の画像解析を行い、前記被検体の運動を検出し、
    前記超音波画像を含む表示画像を生成すると共に、検出される前記被検体の運動に連動させて、前記表示画像の表示内容又は表示態様を変更する、
    超音波診断装置の制御方法。
14. 被検体内の生体部分のうち、前記被検体の運動に伴って動く生体部の超音波検査に適用される超音波診断装置の制御プログラムであって、
    超音波の送受信を行う超音波プローブから取得した受信信号に基づいて、前記生体部の超音波画像を生成する第１処理と、
    前記被検体の運動を撮影するカメラから取得した時系列のカメラ画像の画像解析を行い、前記被検体の運動を検出する第２処理と、
    前記超音波画像を含む表示画像を生成すると共に、前記第２処理で検出される前記被検体の運動に連動させて、前記表示画像の表示内容又は表示態様を変更する第３処理と、
    を備える超音波診断装置の制御プログラム。
    

Images