JP7284146B2 - 画像処理装置 - Google Patents

Description

本開示は、画像処理装置及び画像表示方法に関する。

従来より、医療器具を心臓等の臓器又は血管（以下、適宜「臓器等」と記載する。）内に挿入し、臓器等を治療することが行われている。例えば特許文献１には、臓器等の３次元画像を生成する技術が開示されている。このように生成した臓器等の３次元画像を利用することで、臓器等の様子を把握することができる。

国際公開第２０１６／１４０１１６号

ところで、臓器等に適切な治療を施すためには、臓器等の内部における医療器具の経時的な位置を把握することが重要である。しかしながら、臓器等の内部に挿入された超音波振動子等の周囲情報取得デバイスでは観測可能な領域が限られ、臓器等の内部を移動する医療器具の経時的な位置を表示することが困難であった。

本開示の目的は、上記問題に鑑み、臓器等の内部における医療器具の経時的な位置を表示することができる画像処理装置及び画像表示方法を提供することである。

本発明の一態様としての画像処理装置は、筒状部材の内部に位置する周囲情報取得デバイスとしての超音波振動子又は撮像素子に連結された駆動部と、前記超音波振動子又は前記撮像素子が取得する臓器、血管又は医療器具の情報に基づいて、臓器、血管又は医療器具の２次元画像を順次生成し、前記２次元画像に基づいて、臓器、血管又は医療器具の３次元画像を生成する画像処理部と、を備え、前記駆動部は、前記超音波素子又は前記撮像素子を前記筒状部材の延在方向に沿って移動させ、前記画像処理部は、前記駆動部の位置に対応する前記３次元画像内の所定の座標軸に沿う位置を示す位置対応情報、及び／又は、前記３次元画像内の所定の座標軸に沿う位置と、複数の２次元画像と、を対応付ける画像対応情報を記憶する記憶部と、前記位置対応情報又は前記画像対応情報に基づいて、前記超音波素子又は前記撮像素子の現在位置に対応する前記３次元画像内の位置を決定し、決定した３次元画像内の位置を前記３次元画像内で識別表示する表示情報をリアルタイムに生成する制御部と、を備える。

本発明の一実施形態としての画像処理装置において、前記記憶部は、前記位置対応情報と、前記駆動部の位置に対する前記超音波素子又は前記撮像素子の位置を示す相関位置対応情報と、を記憶し、前記制御部は、前記位置対応情報及び前記相関位置対応情報に基づいて、前記駆動部の現在位置によって特定される、前記超音波素子又は前記撮像素子の現在位置に対応する前記３次元画像内の前記所定の座標軸に沿う位置を決定する。

本発明の一実施形態としての画像処理装置において、前記駆動部は等速度で移動し、前記制御部は、前記超音波素子又は前記撮像素子が現在位置で取得した前記情報に基づいて、前記臓器又は血管の内部の現在の２次元画像を所定時間間隔で順次生成し、当該現在の２次元画像に対応付けた採番情報を昇順で生成し、前記位置対応情報は、前記駆動部の移動速度の情報及び前記所定時間間隔の情報を含む。

本発明の一実施形態としての画像処理装置において、前記記憶部は、前記画像対応情報を記憶し、前記制御部は、前記超音波素子又は前記撮像素子が現在位置で取得した前記情報に基づいて、前記臓器又は血管の内部の現在の２次元画像を生成し、当該現在の２次元画像が類似する２次元画像を、前記画像対応情報に含まれる複数の２次元画像から抽出し、抽出された２次元画像が対応する前記３次元画像内の前記所定の座標軸に沿う位置を、前記超音波素子又は前記撮像素子の現在位置に対応する前記３次元画像内の位置として決定する。

本発明の一実施形態としての画像処理装置において、前記制御部は、前記超音波素子又は前記撮像素子が現在位置で取得した前記情報に基づいて、前記臓器又は血管の内部の現在の２次元画像を生成し、当該２次元画像を前記表示情報に追加する。

本発明の一態様としての画像処理装置は、筒状部材の内部に位置する超音波素子又は撮像素子に連結された駆動部と、前記超音波素子又は前記撮像素子が取得する臓器、血管又は医療器具の情報に基づいて、臓器、血管又は医療器具の２次元画像を順次生成し、前記２次元画像に基づいて、臓器、血管又は医療器具の３次元画像を生成する画像処理部と、を備え、前記駆動部は、前記超音波素子又は前記撮像素子を前記筒状部材の延在方向に沿って往復移動させ、前記画像処理部は、前記超音波素子又は前記撮像素子が前記駆動部によって往復移動しながら経時的に取得する前記情報に基づいて、前記２次元画像を順次生成する。

本発明の一実施形態としての画像処理装置において、前記画像処理部は、前記２次元画像及び前記３次元画像を記憶する記憶部を備える。

本発明の一実施形態としての画像処理装置において、前記画像処理部は、前記筒状部材の延在方向での前記駆動部の位置に基づいて、前記筒状部材の延在方向での前記超音波素子又は前記撮像素子の位置を特定する。

本発明の一実施形態としての画像処理装置において、前記駆動部は、更に、前記超音波素子又は前記撮像素子を前記筒状部材の周方向に沿って回転させる。

本発明の一実施形態としての画像処理装置において、前記記憶部は、前記超音波素子又は前記撮像素子の往復範囲の情報を更に記憶し、前記駆動部は、前記往復範囲の情報に基づいて、前記超音波素子又は前記撮像素子を往復移動させる。

本発明の一実施形態としての画像処理装置において、前記画像処理部は、始点位置情報及び終点位置情報の入力を受付可能な入力部を更に備え、前記記憶部は、入力された始点位置情報及び終点位置情報を、前記往復範囲の情報として記憶する。

本発明の一実施形態としての画像処理装置において、前記超音波素子又は前記撮像素子は、前記延在方向に直交する平面に沿う、前記筒状部材の周囲の周囲情報、を取得可能であり、前記記憶部は、前記延在方向における所定の位置を指定する位置指定情報を更に記憶し、前記画像処理部は、前記超音波素子又は前記撮像素子が前記位置指定情報に対応する位置で取得した前記周囲情報に基づいて、前記２次元画像を生成する制御部を備える。

本発明の一態様としての画像表示方法は、筒状部材の内部に位置する超音波素子又は撮像素子、に連結された駆動部と、前記超音波素子又は前記撮像素子が取得する臓器、血管又は医療器具の情報に基づいて、臓器、血管又は医療器具の２次元画像を順次生成し、前記２次元画像に基づいて、臓器、血管又は医療器具の３次元画像を生成する画像処理部と、を備え、前記駆動部は、前記超音波素子又は前記撮像素子を前記筒状部材の延在方向に沿って移動させ、前記画像処理部は、前記３次元画像と、前記３次元画像の断面位置情報と、前記断面位置情報に対応する位置での２次元画像と、を表示可能な表示部を備え、前記表示部は、前記３次元画像、前記断面位置情報、前記２次元画像を同時に表示する。

本発明の一実施形態としての画像表示方法において、前記表示部は、前記断面位置情報としての、前記３次元画像の所定の座標軸に沿って異なる位置での複数の断面位置情報と、前記２次元画像としての、前記複数の断面位置情報それぞれに対応する、複数の２次元画像と、を表示する。

本発明の一実施形態としての画像表示方法において、前記表示部は、前記超音波素子又は前記撮像素子の現在位置を前記３次元画像上に表示する。

本開示の画像処理装置及び画像表示方法によると、臓器等の３次元画像内における医療器具の経時的な位置を表示することができる。

本発明の一実施形態としての画像処理装置の概略構成を示すブロック図である。 図１に示す画像処理装置の概略図である。 超音波振動子が挿入された医療デバイスの斜視図である。 図３に示す医療デバイスの断面図である。 図３に示す医療デバイスを遠位側から見た正面図である。 超音波振動子を用いた臓器等情報取得方法を示すフローチャートである。 カテーテルを右心房で固定した状態を示す図である。 図７に示す状態で得られる臓器等の３次元画像を示す図である。 カテーテルを左心房で固定した状態を示す図である。 図９に示す状態で得られる臓器等の３次元画像を示す図である。 画像処理装置が実行する第１の表示処理を示すフローチャートである。 画像処理装置が実行する第１の往復範囲設定処理を示すフローチャートである。 画像処理装置が実行する第２の往復範囲設定処理を示すフローチャートである。 画像処理装置が実行する第２の表示処理を示すフローチャートである。 第２の表示処理に伴う表示情報の一例を示す模式図である。 ３次元画像内の所定の座標軸に沿う位置の一例を示す図である。 駆動部の位置の一例を示す図である。 位置対応情報の一例を示す図である。 画像対応情報の一例を示す図である。 画像処理装置が実行する第３の表示処理を示すフローチャートである。 第３の表示処理に伴う表示情報の一例を示す模式図である。 第３の表示処理に伴う表示情報の一例を示す模式図である。

以下、本開示の一実施形態について、図面を参照して説明する。各図において共通の構成部には、同一の符号を付している。また、本明細書では、医療デバイス２の臓器等の内部に挿入する側を「遠位側」又は「先端側」、操作する手元側を「近位側」又は「基端側」と称することとする。

［画像処理装置１］
図１は、本開示の一実施形態としての画像処理装置１の概略構成を示すブロック図である。図２は、画像処理装置１の概略図である。図１及び図２に示すように、画像処理装置１は、駆動部５０と、台座５９と、画像処理部６０と、を備える。画像処理部６０は、表示部５１と、入力部５２と、記憶部５３と、制御部５４と、情報入力部５５と、を備える。詳細は後述するが、画像処理部６０は、後述する超音波振動子２１等の周囲情報取得デバイスが取得する臓器、血管又は医療器具の情報に基づいて、３次元画像を生成する。

図１に示すように、情報入力部５５は、外部の超音波検査器２０の超音波振動子２１と電気的に接続されている。超音波検査器２０は、超音波振動子２１と、シャフト２２と、チューブ２３と、を備える。

周囲情報取得デバイスとしての超音波振動子２１は、心臓等の臓器又は血管（以下、適宜「臓器等」と記載する。）、又は、臓器等の内部に位置する医療器具の情報を取得する。具体的に、超音波振動子２１は、臓器等、又は臓器等の内部に位置する医療器具に向けて超音波を出射し、当該臓器等又は当該医療器具から反射した超音波を情報として受信する。画像処理装置１は、情報入力部５５を介して、当該超音波振動子が受信した情報としての超音波に基づいて、臓器等又は医療器具の２次元画像を順次生成する。さらに、画像処理装置１は、順次生成した複数の２次元画像に基づいて、臓器等又は医療器具の３次元画像を生成及び表示する。

図１に示すように、駆動部５０は、モータを内蔵し、シャフト２２を介して超音波振動子２１に連結され、当該超音波振動子２１を後述するカテーテル４０の延在方向に沿って往復移動させる。具体的に、駆動部５０は、図２に示すように、超音波検査器２０を固定し、台座５９に載置される。駆動部５０は、台座５９に対して超音波検査器２０の延在方向（すなわち、後述するカテーテル４０の延在方向）に沿って往復移動可能である。よって、駆動部５０は、駆動部５０自体が超音波検査器２０の延在方向に沿って往復移動することで、超音波振動子２１をカテーテル４０の延在方向に沿って往復移動させることができる。さらに、駆動部５０は、超音波振動子２１を往復移動させつつ、カテーテル４０の周方向に沿って回転させてもよい。この場合、駆動部５０は、超音波振動子２１を一方の向きに連続的に回転させてもよいし、回転の向きを繰り返し入れ替えながら揺動させてもよい。

表示部５１は、制御部５４により生成された表示情報を表示出力する。表示部５１は、例えば液晶ディスプレイ又は有機ＥＬディスプレイなどの表示デバイスを含む。

入力部５２は、操作者による情報又は指示の入力を受け付けて、受け付けた入力情報又は入力指示を制御部５４に出力する。入力部５２は、例えばキーボード、マウス、又はタッチパネルなどの入力デバイスを含む。入力部５２がタッチパネルを含む場合、タッチパネルは表示部５１と一体に設けられていてもよい。

記憶部５３は、制御部５４に特定の機能を実行させるための種々の情報及びプログラムを記憶する。また、記憶部５３は、制御部５４により生成された被検者の臓器等の３次元画像を記憶する。記憶部５３は、例えばＲＡＭ又はＲＯＭなどの記憶装置を含む。

制御部５４は、画像処理装置１を構成する各構成部の動作を制御する。制御部５４は、特定のプログラムを読み込むことにより特定の機能を実行する。制御部５４は、例えばプロセッサを含む。

情報入力部５５は、周囲情報取得デバイスとしての超音波振動子２１が取得する臓器等、又は臓器等の内部に位置する医療器具等の周囲情報の入力を受け付ける。具体的に、情報入力部５５は、シャフト２２内に延在する信号線を介して超音波振動子２１と電気的に接続されており、超音波振動子２１が取得する周囲情報に関する信号を取得し、当該信号を制御部５４に送信する。制御部５４は、入力された情報に基づいて２次元画像を生成し、当該２次元画像に基づいて臓器等又は医療器具の位置又は領域の情報を生成する。

超音波振動子２１は、例えば超音波検査器２０の遠位端に位置し、超音波を送受信する。超音波振動子２１は、超音波を対象物に照射し、当該対象物から反射する超音波に基づいて当該対象物までの距離等の情報を取得可能である。シャフト２２は、先端部で超音波振動子２１を固定し、基端部で駆動部５０と連結した可撓性を有する線状部材である。チューブ２３は、シャフト２２の周方向を覆う可撓性を有する筒状の部材である。超音波振動子２１は、例えば、後述する医療デバイス２のカテーテル４０に挿入されて使用される。超音波検査器２０、及び、後述する医療デバイス２は、合わせて１つの超音波カテーテルを構成してもよい。

［医療デバイス２］
図３は、超音波振動子２１が挿入された医療デバイス２の斜視図である。図４は、医療デバイス２の断面図であり、図５は、医療デバイス２を遠位側から見た正面図である。

図３～図５に示すように、医療デバイス２は、ガイドワイヤ１０と、電極３０ａ～３０ｊと、筒状部材としてのカテーテル４０とを備えている。カテーテル４０は、超音波検査器２０を内挿可能な第１ルーメン４１と、ガイドワイヤ１０を内挿可能な第２ルーメン４２とを内部に区画している。図３～図５では、超音波検査器２０が第１ルーメン４１に内挿され、ガイドワイヤ１０が第２ルーメン４２に内挿された状態を示す。以下、特に断らない限り、超音波検査器２０及びガイドワイヤ１０が、それぞれ第１ルーメン４１及び第２ルーメン４２に内挿された状態であるとして説明する。

ガイドワイヤ１０は、近位側から遠位側に延在する。ガイドワイヤ１０は、直線状部１１と、直線状部１１と連結する遠位側の端部に設けられた環状拡張部１２とを有する。環状拡張部１２は、例えば形状記憶合金などの金属で構成されており、一定以下の外力が作用する環境では、環状に拡張するように形状記憶されている。

図３及び図５に示す状態では、環状拡張部１２は第２ルーメン４２の遠位端（後述する遠位側連通孔４４）よりも遠位側に位置し、環状に拡張している。環状拡張部１２は、ガイドワイヤ１０の直線状部１１の径方向Ａ外側に向かって拡張し、ガイドワイヤ１０の直線状部１１の周方向Ｂに沿って延在している。環状拡張部１２は、環状に拡張した状態では、カテーテル４０の外径よりも大きい。また、図３に示すように、ガイドワイヤ１０の先端側から見た場合に、カテーテル４０の外径よりも大きい環状に拡張した環状拡張部１２の環状内部に、ガイドワイヤ１０の直線状部１１とカテーテル４０とが位置している。以下、環状拡張部１２が環状に拡張した状態であっても、ガイドワイヤ１０の直線状部１１の径方向を単に「径方向Ａ」と記載し、ガイドワイヤ１０の直線状部１１の周方向を単に「周方向Ｂ」と記載する。また、以下、特に断らない限り、環状拡張部１２は環状に拡張した状態であるとして説明する。

電極３０ａ～３０ｊは、環状拡張部１２に固定され、環状拡張部１２の延在方向、すなわち、ガイドワイヤ１０の周方向Ｂに沿って、それぞれ異なる位置に固定されている。以下、電極３０ａ～３０ｊを区別しない場合には、まとめて電極３０と記載する。

電極３０は、臓器等の内壁に接触させることで、その臓器等の内壁の電気的特性を検出可能である。電気的特性としては、例えば、電極３０と、臓器等の他の部位に接触した他の電極との間の電位差等を用いることができる。電極３０は、環状拡張部１２の遠位端１３から露出するように配置されており、環状拡張部１２の遠位端１３を臓器等の内壁に押し当てることで、臓器等の内壁に接触させることができる。

図３及び図４に示すように、超音波検査器２０の中心軸Ｏは、カテーテル４０の延在方向に沿って延在している。超音波振動子２１は、中心軸Ｏの周りを回転し、超音波を送受信することで、中心軸Ｏに直交する平面における周囲情報を取得する。さらに、超音波振動子２１により取得された周囲情報が、情報入力部５５を介して、制御部５４に送信され、制御部５４は、中心軸Ｏに直交する平面の２次元画像を生成する。制御部５４は、得られた２次元画像に基づいて、例えば臓器等の内壁面の位置および領域の情報（以下、「臓器等位置情報」と記載する。）など、臓器等の内壁面の位置および領域の情報を生成可能である。制御部５４は、カテーテル４０の外側で、かつ、臓器等の内部に位置する医療器具の位置および領域の情報（以下、「器具位置情報」と記載する。）を生成可能である。ここで、超音波振動子２１は、超音波を径方向から所定角度、例えば３°～１８°、傾けて発信してもよい。このように超音波を径方向から所定角度傾けて発信することで、第１ルーメン４１の内周面から反射される超音波が検出されること（リングダウン）を抑制することができる。

超音波振動子２１は、ガイドワイヤ１０の直線状部１１から反射される超音波を受信することで、中心軸Ｏを中心とした周方向でのガイドワイヤ１０の器具に相当する超音波情報を取得することができる。超音波振動子２１が取得した周囲情報は、情報入力部５５を介して制御部５４に送信される。制御部５４は、入力された周囲情報に基づいて、２次元画像を生成した後、当該２次元画像に基づいて、ガイドワイヤ１０の位置および領域を推定することができる。

図４に示すように、シャフト２２は、中心軸Ｏに沿う遠位端で超音波振動子２１を固定している。シャフト２２は、中心軸Ｏを中心としてカテーテル４０の周方向に沿って回転可能である。超音波振動子２１は、シャフト２２の回転に連動して中心軸Ｏの周りを回転することで、中心軸Ｏの周りの周囲情報を取得可能である。また、シャフト２２は、中心軸Ｏすなわちカテーテル４０の延在方向に沿って移動可能である。超音波振動子２１は、シャフト２２の中心軸Ｏに沿った移動に連動して中心軸Ｏに沿って移動することで、中心軸Ｏに沿って周囲情報を取得可能である。ここで得られた周囲情報は、制御部５４に順次送信される。制御部５４は、中心軸Ｏに直交する平面の２次元画像を生成する。シャフト２２が中心軸Ｏに沿って移動するとき、チューブ２３もシャフト２２の移動に連動して移動する。シャフト２２の外径は、超音波振動子２１の外径よりも小さい。

図４に示すように、チューブ２３は、シャフト２２の周方向を覆う可撓性を有する筒状部材である。チューブ２３は、シャフト２２と密着しているため、シャフト２２の回転及び移動を阻害することなく、カテーテル４０に対して延在方向にスライド可能である。また、超音波検査器２０の基端側の手元の押し込み力を超音波検査器２０の先端側に伝えやすくするために、チューブ２３の基端部はチューブ２３の先端部よりも硬い。

図３及び図４に示すように、カテーテル４０は、遠位側の端部である先端部４５と、近位側の端部である図示しない基端部とを有し、第２ルーメン４２が先端部４５にのみ区画された、ラピッドエクスチェンジ（ＲＸ）タイプのカテーテルである。カテーテル４０の第１ルーメン４１は、カテーテル４０の先端部４５から図示しない基端部まで連通する。換言すると、第１ルーメン４１は、基端部に設けられた図示しない開口から外部と連通し、プライミング可能にするために先端部４５に設けられた開口４６から外部と連通している。開口４６の内径は、超音波振動子２１の外径よりも小さいことが好ましい。これにより、第１ルーメン４１に内挿された超音波振動子２１が開口４６を通じて外部に排出されることが抑制されるので、超音波振動子２１の位置がガイドワイヤ１０の環状拡張部１２よりも基端側に規制される。超音波振動子２１は、ガイドワイヤ１０に対してガイドワイヤ１０の延在方向に移動可能である。また、第１ルーメン４１は、ガイドワイヤ１０の環状拡張部１２よりもガイドワイヤ１０の径方向Ａ内側に区画されているので、超音波振動子２１は、環状拡張部１２よりもガイドワイヤ１０の径方向Ａ内側に配置される。カテーテル４０は、ＲＸタイプのカテーテルには限定されず、他の形状のカテーテル、例えば、オーバーザワイヤー（ＯＴＷ）タイプでのカテーテルであってもよい。ただし、上述のように構成しやすい点で、ＲＸタイプのカテーテルが好ましい。

図４に示すように、カテーテル４０の第２ルーメン４２は、先端部４５で第１ルーメン４１の延在方向に直交する方向に位置する。また、第２ルーメン４２は、第１ルーメン４１の延在方向に沿って延在している。本例では、第２ルーメン４２は、カテーテル４０の側面に形成された近位側連通孔４３からカテーテル４０の遠位端に形成された遠位側連通孔４４まで延在している。第１ルーメン４１と第２ルーメン４２とを上述の位置関係とすることにより、超音波振動子２１を、ガイドワイヤ１０の環状拡張部１２よりも基端側の直線状部１１の延在方向に沿って配置させることができる。また、ガイドワイヤ１０は、第２ルーメン４２を貫通した状態で内挿され、カテーテル４０に対して延在方向に自由に動くことができる。このとき、ガイドワイヤ１０の直線状部１１は、超音波振動子２１の軸方向に直交する方向に位置する。第２ルーメン４２の内径は、第１ルーメン４１の内径よりも小さい。

［臓器等情報取得方法］
図６は、カテーテル４０の内部の第１ルーメン４１に位置した超音波振動子２１を用いた臓器等情報取得方法を示すフローチャートである。図６に示すように、臓器等情報取得方法は、時系列順に、挿入工程（ステップＳ１０）と、固定工程（ステップＳ２０）と、情報取得工程（ステップＳ３０）と、を含む。

まず、臓器等としての心臓の内腔としての右心房内で臓器等情報を取得する方法について説明する。図７は、カテーテル４０を右心房ＲＡで固定した状態を示す図である。図７に示すように、ステップＳ１０の挿入工程では、医療従事者等の操作者は、カテーテル４０を先端側から被検者の右心房ＲＡよりも径の小さい第１の血管としての下大静脈ＩＶＣを経て右心房ＲＡ内に第１シース８３を通じて挿入する。このとき、操作者は、医療器具としてのブロッケンブロー針８０を、下大静脈ＩＶＣを経て右心房ＲＡ内に第２シース８４を通じて挿入する。ブロッケンブロー針８０は、右心房ＲＡと左心房ＬＡとを隔離する卵円窩Ｈを貫通して右心房ＲＡから左心房ＬＡを開通させるために用いられる。

図７に示すように、ステップＳ２０の固定工程では、操作者は、カテーテル４０の先端部４５を、右心房ＲＡから連通する右心房ＲＡよりも径の小さい第２の血管としての上大静脈ＳＶＣに挿入する。具体的に、まずガイドワイヤ１０を上大静脈ＳＶＣに挿入し、次にガイドワイヤ１０に沿ってカテーテル４０の先端部４５を上大静脈ＳＶＣに挿入することができる。これにより、カテーテル４０の先端部４５の振動が抑制される。更に、カテーテル４０の基端側は右心房ＲＡよりも径の小さい下大静脈ＩＶＣに入っているため、カテーテル４０は、右心房ＲＡよりも径の小さい上大静脈ＳＶＣと下大静脈ＩＶＣとに亘って延在することとなり、カテーテル４０の右心房ＲＡ内に位置する部分の振動及び移動が抑制される。また、カテーテル４０の右心房ＲＡ内に位置する部分を湾曲させることで、超音波振動子２１が通る第１ルーメン４１を湾曲させることができる。このように第１ルーメン４１を湾曲させることで、超音波振動子２１がカテーテル４０の延在方向に沿って移動する際に通過する位置を変化させることができるので、例えば臓器等の内壁面の特に観察したい部位（例えば心臓の卵円窩Ｈ）に近づけることができる。また、カテーテル４０の先端部４５よりも径の大きいガイドワイヤ１０の先端に位置する環状拡張部１２を上大静脈ＳＶＣ内に挿入することで、カテーテル４０の先端部４５の位置をより固定することができる。

図７に示すように、ステップＳ３０の情報取得工程では、超音波振動子２１は、カテーテル４０の右心房ＲＡ内に位置する部分の振動及び移動が抑制された状態で、カテーテル４０の第１ルーメン４１内で動かされながら、右心房ＲＡの内壁面の臓器等の周囲情報を取得する。そして、制御部５４は、超音波振動子２１が取得する周囲情報に基づいて、２次元画像を順次生成し、当該２次元画像に基づいて、右心房ＲＡの内壁面の臓器等位置情報を生成する。このように、カテーテル４０の右心房ＲＡ内に位置する部分の振動及び移動が抑制された状態で、超音波振動子２１をカテーテル４０内で動かすので、超音波振動子２１をカテーテル４０の周方向に沿って回転させても安定して回転し、超音波振動子２１をカテーテル４０の延在方向に沿って移動させても安定して移動する。従って、右心房ＲＡの内壁面の臓器等位置情報を安定的に取得することができる。ステップＳ３０の情報取得工程では、超音波振動子２１は、医療器具としてのブロッケンブロー針８０の器具の情報も取得する。このとき、記憶部５３は、超音波振動子２１がカテーテル４０の延在方向に沿って移動する際に制御部５４が生成する２次元画像と、その際の超音波振動子２１の位置を、随時記憶している。

制御部５４は、記憶部５３に記憶された情報を用いて、ステップＳ３０の位置取得工程で取得される右心房ＲＡの内壁面の臓器等位置情報、及びその臓器等位置情報が取得された際の超音波振動子２１の位置および領域から、臓器等（ここでは、心臓の右心房ＲＡ）の３次元画像を生成する。図８は、図７に示す状態で得られる臓器等としての心臓の３次元画像を示す図である。図８に示すように、右心房ＲＡの内壁面のうち、ブロッケンブロー針８０により貫通させる目標部位である卵円窩Ｈを含む３次元画像が得られる。臓器等の３次元画像の生成方法の詳細については、後述する。

臓器等情報取得方法は、調整工程を更に含んでもよい。図７に示すように、調整工程では、操作者は、カテーテル４０の先端部４５が第２の血管としての上大静脈ＳＶＣに挿入された状態を維持しつつ、カテーテル４０を変形させて、超音波振動子２１の移動経路を変化させる。例えば、操作者がカテーテル４０を押し込むと、カテーテル４０が変形することで、カテーテル４０の第１ルーメン４１の経路の形状が変化する。超音波振動子２１は第１ルーメン４１内を移動するため、第１ルーメン４１の経路の形状が変化すると、超音波振動子２１が移動する経路も変化する。これにより、超音波振動子２１によって取得される右心房ＲＡの内壁面の周囲情報が変化するため、当該周囲情報に基づいて生成される臓器等（ここでは、心臓の右心房ＲＡ）の３次元画像も変化する。したがって、例えば、医療器具としてのブロッケンブロー針８０が、３次元画像上で第２シース８４等に隠れて表示されない場合であっても、操作者がカテーテル４０を更に押し込むことで、ブロッケンブロー針８０を３次元画像に表示させることができる。

次に、臓器等としての心臓の内腔としての左心房内で臓器等位置情報を取得する方法について説明する。図９は、カテーテル４０を左心房ＬＡで固定した状態を示す図である。図９に示すように、ステップＳ１０の挿入工程では、操作者は、カテーテル４０を先端側から下大静脈ＩＶＣ（図７参照）、右心房ＲＡ（図７参照）、及びブロッケンブロー針８０により貫通した左心房ＬＡよりも径の小さい卵円窩Ｈを経て、左心房ＬＡ内に第１シース８３を通じて挿入する。このとき、操作者は、医療器具としてのアブレーションカテーテル８１を、右心房ＲＡ及び卵円窩Ｈを経て左心房ＬＡ内に第２シース８４を通じて挿入する。アブレーションカテーテル８１は、肺静脈ＰＶの開口周囲を焼灼してアブレーション治療を行うために用いられる。

図９に示すように、ステップＳ２０の固定工程では、操作者は、カテーテル４０の先端部４５を、左心房ＬＡから連通する左心房ＬＡよりも径の小さい第２の血管としての肺静脈ＰＶに挿入する。具体的に、まずガイドワイヤ１０を肺静脈ＰＶに挿入し、次にガイドワイヤ１０に沿ってカテーテル４０の先端部４５を肺静脈ＰＶに挿入することができる。これにより、カテーテル４０の先端部４５の振動が抑制される。更に、カテーテル４０の基端側は左心房ＬＡよりも径の小さい卵円窩Ｈに入っているため、カテーテル４０は左心房ＬＡよりも径の小さい肺静脈ＰＶと卵円窩Ｈとに亘って延在することとなり、カテーテル４０の左心房ＬＡ内に位置する部分の振動及び移動が抑制される。

図９に示すように、ステップＳ３０の情報取得工程では、超音波振動子２１は、カテーテル４０の左心房ＬＡ内に位置する部分の振動及び移動が抑制された状態で、カテーテル４０の第１ルーメン４１内で動かされながら左心房ＬＡの内壁面の周囲情報を取得する。そして、制御部５４は、当該周囲情報に基づいて、２次元画像を順次生成し、当該２次元画像に基づいて、左心房ＬＡの内壁面の臓器等位置情報を生成する。このように、カテーテル４０の左心房ＬＡ内に位置する部分の振動及び移動が抑制された状態で、超音波振動子２１をカテーテル４０内で動かすので、超音波振動子２１をカテーテル４０の周方向に沿って回転させても安定して回転し、超音波振動子２１をカテーテル４０の延在方向に沿って移動させても安定して移動する。従って、左心房ＬＡの内壁面の臓器等位置情報を安定的に取得することができる。ステップＳ３０の情報取得工程では、超音波振動子２１は、医療器具としてのアブレーションカテーテル８１の周囲情報も取得する。このとき、記憶部５３は、超音波振動子２１がカテーテル４０の延在方向に沿って移動する際に制御部５４が生成する２次元画像と、その際の超音波振動子２１の位置を、随時記憶している。

制御部５４は、記憶部５３に記憶された情報を用いて、ステップＳ３０の情報取得工程で取得される左心房ＬＡの内壁面の臓器等位置情報、及びその臓器等位置情報が取得された際の超音波振動子２１の位置および領域から、左心房ＬＡの３次元画像を生成する。図１０は、図９に示す状態で得られる左心房ＬＡの３次元画像を示す図である。図１０に示すように、左心房ＬＡの内壁面のうち、アブレーションカテーテル８１により焼灼される目標部位である肺静脈ＰＶの開口周囲を含む３次元画像が得られる。

ところで、臓器等情報取得方法は、再固定工程を更に含んでもよい。図７及び図９に示すように、再固定工程では、操作者は、カテーテル４０が第１の血管としての下大静脈ＩＶＣを経て心臓内腔としての右心房ＲＡ内に挿入された状態を維持しつつ、先端部４５を、第２の血管としての上大静脈ＳＶＣから抜去して、右心房ＲＡから卵円窩Ｈを経て連通する第３の血管としての肺静脈ＰＶに挿入する。再固定工程により、右心房ＲＡ（図７参照）内で臓器等位置情報を取得した後に、左心房ＬＡ（図９参照）内で臓器等位置情報を取得する場合、右心房ＲＡ内で臓器等位置情報を取得する操作から、左心房ＬＡ内で臓器等位置情報を取得する操作へと、スムーズに移行することができる。

超音波振動子２１が超音波発信部を中心軸Ｏ（図３及び図４参照）に沿う方向に複数有する場合、超音波振動子２１をカテーテル４０の周方向に沿って回転させれば、カテーテル４０の延在方向に沿って移動させなくても、図８及び図１０に示した３次元画像を得ることができる。一方、超音波振動子２１が超音波発信部を中心軸Ｏに沿う方向に１つ有する場合、超音波振動子２１をカテーテル４０の周方向に沿って回転させながら、カテーテル４０の延在方向に沿って移動させることで、図８及び図１０に示した３次元画像を得ることができる。

［第１の表示処理］
図１１は、画像処理装置１が実行する第１の表示処理を示すフローチャートである。第１の表示処理は、図６に示したステップＳ３０の情報取得工程における処理として実行される。また、画像処理装置１は、第１の表示処理を実行する前に、被検者の臓器等の３次元画像を記憶部５３に記憶している。

図１１に示すように、画像処理装置１は、例えば入力部５２（図１等参照）が開始指示の入力を受け付けると、超音波振動子２１（図３等参照）の往復移動を開始する（ステップＳ４１）。詳細には、超音波振動子２１は、駆動部５０（図２等参照）の駆動によって、カテーテル４０（図３等参照）の延在方向に沿って往復移動を開始する。以降、後述するステップＳ４５の処理で入力部５２が終了指示を受け付けるまで、超音波振動子２１は往復移動し続ける。画像処理装置１は、後述する第１の往復範囲設定処理（図１２参照）又は第２の往復範囲設定処理（図１３参照）によって、予め往復範囲の情報が記憶部５３に記憶されている場合、駆動部５０を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子２１を往復移動させる。

画像処理装置１は、超音波振動子２１によって取得される周囲情報に基づいて、制御部５４を用いて、医療器具の器具位置情報を取得する（ステップＳ４２）。ここで、医療器具は、カテーテル４０の外側で、かつ、臓器等の内部の所定範囲に位置する。超音波振動子２１は、カテーテル４０の延在方向に沿って往復移動しながら、カテーテル４０の延在方向に直交する平面に沿う、周囲情報を取得する。制御部５４は、当該周囲情報に基づいて、医療器具の器具位置情報を取得する。

その後、画像処理装置１は、取得した医療器具の器具位置情報を臓器等の３次元画像に、重畳表示等によって識別表示した表示情報を、リアルタイムに、すなわち、実時間処理で生成して記憶する（ステップＳ４３）。詳細には、超音波振動子２１は、カテーテル４０の延在方向に沿って往復移動しながら、周囲情報を取得し、制御部５４は当該周囲情報に基づいて、器具位置情報と共に、臓器等位置情報も取得する。画像処理装置１は、制御部５４（図１等参照）を用いて臓器等の３次元画像を記憶部５３（図１等参照）から読み出し、経時的に取得した臓器等位置情報に対応する３次元画像内の位置をそれぞれ特定する。そして、画像処理装置１は、ステップＳ４２の処理で取得した医療器具の器具位置情報を、３次元画像の特定した位置に重畳表示した表示情報を生成する。その後、画像処理装置１は、生成した表示情報を、記憶部５３に記憶する。このとき、記憶部５３に既に表示情報が記憶されている場合、画像処理装置１は、既に記憶された表示情報に代えて、新たに生成した表示情報を記憶する。例えば、図７に示したように、カテーテル４０を右心房ＲＡで固定した状態で、図１１に示す第１の表示処理が実行される場合、図８に示すように、右心房ＲＡの３次元画像に、医療器具としてのブロッケンブロー針８０の器具位置情報が重畳された表示情報が生成される。また、例えば、図９に示したように、カテーテル４０を左心房ＬＡで固定した状態で、図１１に示す第１の表示処理が実行される場合、図１０に示すように、左心房ＬＡの３次元画像に、医療器具としてのアブレーションカテーテル８１の器具位置情報が重畳された表示情報が生成される。

画像処理装置１は、生成した表示情報をリアルタイムに、すなわち、実時間処理で表示する（ステップＳ４４）。詳細には、画像処理装置１は、制御部５４を用いて、記憶部５３に記憶された表示情報を読み出し、表示部５１（図１等参照）に表示させる。このとき、既に表示部５１に表示情報が表示されている場合、画像処理装置１は、新たに生成した表示情報の表示に更新する。

画像処理装置１は、入力部５２が終了指示を受け付けたか否かを判定する（ステップＳ４５）。画像処理装置１は、入力部５２が終了指示を受け付ける場合（ステップＳ４５のＹｅｓ）、第１の表示処理を終了する。一方、画像処理装置１は、入力部５２が終了指示を受け付けない場合（ステップＳ４５のＮｏ）、ステップＳ４２の処理に戻って、医療器具の器具位置情報を再度取得する。

上記のように、超音波振動子２１は、駆動部５０によってカテーテル４０の延在方向に沿って往復移動することで、経時的な周囲情報を取得する。さらに制御部５４は、当該周囲情報に基づいて、医療器具の経時的な器具位置情報を取得する。そして、制御部５４は、医療器具の経時的な器具位置情報を、臓器等の３次元画像内で識別表示した表示情報を生成する。これにより、治療中に、臓器等の３次元画像内における医療器具の経時的な位置を表示することができるので、臓器等の適切な治療に寄与し得る。

図１２は、画像処理装置１が実行する第１の往復範囲設定処理を示すフローチャートである。第１の往復範囲設定処理は、図１１に示した第１の表示処理を実行する前に実行される。

図１２に示すように、画像処理装置１は、臓器等の３次元画像を表示する（ステップＳ５１）。詳細には、画像処理装置１は、制御部５４（図１等参照）を用いて、記憶部５３（図１等参照）から臓器等の３次元画像を読み出し、読み出した３次元画像を表示部５１（図１等参照）に表示させる。

画像処理装置１は、入力部５２（図１等参照）を用いて、始点位置情報の入力を受け付ける（ステップＳ５２）。始点位置情報は、表示部５１に表示された臓器等の３次元画像の任意の位置を、超音波振動子２１（図３等参照）の往復範囲の始点として指定する情報である。

画像処理装置１は、入力部５２を用いて、終点位置情報の入力を受け付ける（ステップＳ５３）。詳細には、終点位置情報は、表示部５１に表示された臓器等の３次元画像の任意の位置を、超音波振動子２１の往復範囲の終点として指定する情報である。始点位置情報及び終点位置情報の入力は、例えば、入力部５２としての表示部５１と一体に設けられたタッチパネル、又は、入力部５２としてのマウスを用いて、表示部５１に表示された臓器等の３次元画像の任意の２点を指定することで行われる。ステップＳ５３の処理は、ステップＳ５２の処理の前に実行されてもよいし、ステップＳ５２の処理と同時に実行されてもよい。

画像処理装置１は、制御部５４を用いて、入力部５２が決定指示を受け付けたか否かを判定する（ステップＳ５４）。画像処理装置１は、入力部５２が決定指示を受け付けた場合（ステップＳ５４のＹｅｓ）、ステップＳ５５の処理に進む。一方、画像処理装置１は、入力部５２が決定指示を受け付けてない場合（ステップＳ５４のＮｏ）、ステップＳ５２の処理に戻って、始点位置情報の入力を再度受け付ける。

画像処理装置１は、入力部５２が決定指示を受け付けた場合（ステップＳ５４のＹｅｓ）、入力された始点位置情報及び終点位置情報を、超音波振動子２１の往復範囲の情報として記憶部５３に記憶して（ステップＳ５５）、第１の往復範囲設定処理を終了する。その後、画像処理装置１は、図１１に示した第１の表示処理のステップＳ４１の処理において、記憶部５３に記憶された往復範囲の情報を読み出し、駆動部５０を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子２１を往復移動させる。

上記のように、画像処理装置１は、図１１に示す第１の表示処理における超音波振動子２１の往復範囲を、３次元画像を参照しながら、簡易な操作で視覚的に設定することができる。

図１３は、画像処理装置１が実行する第２の往復範囲設定処理を示すフローチャートである。第２の往復範囲設定処理は、図１１に示した第１の表示処理を実行する前に実行される。

図１３に示すように、画像処理装置１は、入力部５２（図１等参照）を用いて、始点設定指示の入力を受け付ける（ステップＳ６１）。

画像処理装置１は、始点設定指示が入力された時点での駆動部５０（図２等参照）の位置に基づいて、往復範囲の始点の位置を記憶する（ステップＳ６２）。ここで、始点設定指示が入力された時点での駆動部５０の位置から、駆動部５０と超音波振動子２１（図３等参照）を連結するシャフト２２（図４参照）の往復移動の方向に沿う位置が特定されるため、始点設定指示が入力された時点での超音波振動子２１の位置が特定可能である。したがって、当該駆動部５０の位置に基づいて、その時点での超音波振動子２１の位置を特定し、当該超音波振動子２１の位置を往復範囲の始点の位置とすることができる。

画像処理装置１は、入力部５２を用いて、終点設定指示の入力を受け付ける（ステップＳ６３）。

画像処理装置１は、制御部５４を用いて、終点設定指示が入力された時点での駆動部５０の位置に基づいて、往復範囲の終点の位置を記憶する（ステップＳ６４）。ここで、終点設定指示が入力された時点での駆動部５０の位置から、駆動部５０と超音波振動子２１を連結するシャフト２２の往復移動の方向に沿う位置が特定されるため、終点設定指示が入力された時点での超音波振動子２１の位置が特定可能である。したがって、当該駆動部５０の位置に基づいて、その時点での超音波振動子２１の位置を特定し、当該超音波振動子２１の位置を往復範囲の終点の位置とすることができる。

画像処理装置１は、制御部５４を用いて、入力部５２が決定指示を受け付けたか否かを判定する（ステップＳ６５）。画像処理装置１は、入力部５２が決定指示を受け付けた場合（ステップＳ６５のＹｅｓ）、第２の往復範囲設定処理を終了し、往復範囲の情報を記憶部５３に記憶する。一方、画像処理装置１は、入力部５２が決定指示を受け付けてない場合（ステップＳ６５のＮｏ）、ステップＳ６１の処理に戻って、始点設定指示の入力を再度受け付ける。画像処理装置１は、ステップＳ６１の処理に戻る場合、新たにステップＳ６１～Ｓ６４の処理で設定された往復範囲の情報を、既に記憶されている往復範囲の情報に代えて、記憶部５３に記憶する。第２の往復範囲設定処理の終了後、画像処理装置１は、図１１に示した第１の表示処理のステップＳ４１の処理において、記憶部５３に記憶された往復範囲の情報を読み出し、駆動部５０を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子２１を往復移動させる。

上記のように、画像処理装置１は、図１１に示す第１の表示処理における超音波振動子２１の往復範囲を、駆動部５０の位置に基づいて、実際に超音波振動子２１が移動する距離を確認しながら、簡易な操作で設定することができる。

［第２の表示処理］
図１４は、画像処理装置１が実行する第１の表示処理（図１１参照）の変形例としての第２の表示処理を示すフローチャートである。第２の表示処理は、図６に示したステップＳ３０の位置取得工程における処理として実行される。第２の表示処理は、図１１に示す第１の表示処理での表示情報に加えて、被検者の臓器等の３次元画像上の任意の位置の断面である２次元画像を表示情報とする処理である。また、画像処理装置１は、第２の表示処理を実行する前に、被検者の臓器等の３次元画像を記憶部５３（図１等参照）に記憶している。

図１４に示すように、画像処理装置１は、臓器等の３次元画像を表示する（ステップＳ３０１）。詳細には、画像処理装置１は、制御部５４（図１等参照）を用いて、記憶部５３から臓器等の３次元画像を読み出し、読み出した３次元画像を表示部５１（図１等参照）に表示させる。

画像処理装置１は、入力部５２（図１等参照）を用いて、位置指定情報の入力を受け付ける（ステップＳ３０２）。位置指定情報は、表示部５１に表示された臓器等の３次元画像の任意の位置を、断面である２次元画像を表示させる位置の対象として指定する情報である。

画像処理装置１は、制御部５４を用いて、入力された位置指定情報を、記憶部５３に記憶する（ステップＳ３０３）。

画像処理装置１は、制御部５４を用いて、入力部５２が入力終了指示を受け付けたか否かを判定する（ステップＳ３０４）。画像処理装置１は、入力部５２が入力終了指示を受け付けた場合（ステップＳ３０４のＹｅｓ）、ステップＳ３０５の処理に進む。一方、画像処理装置１は、入力部５２が入力終了指示を受け付けてない場合（ステップＳ３０４のＮｏ）、ステップＳ３０２の処理に戻って、位置指定情報の入力を再度受け付ける。画像処理装置１は、ステップＳ３０２の処理に戻る場合、新たにステップＳ３０２及びＳ３０３の処理で設定された位置指定情報を、既に記憶されている位置指定情報と共に、記憶部５３に記憶する。換言すれば、画像処理装置１は、複数の位置指定情報を、記憶部５３に記憶することができる。

画像処理装置１は、ステップＳ３０５の処理において、超音波振動子２１（図３等参照）の往復移動を開始する（ステップＳ３０５）。詳細には、超音波振動子２１は、駆動部５０（図２等参照）の駆動によって、カテーテル４０（図３等参照）の延在方向に沿って往復移動を開始する。以降、後述するステップＳ３１１の処理で入力部５２が終了指示を受け付けるまで、超音波振動子２１は往復移動し続ける。同様に、ステップＳ３１１の処理で入力部５２が終了指示を受け付けるまで、画像処理装置１は、後述するステップＳ３０６～３１０の処理に加えて、第１の表示処理（図１１参照）のステップＳ４２～Ｓ４４の処理も並行して実行する。換言すれば、画像処理装置１は、第２の表示処理による２次元画像の表示・更新に加えて、第１の表示処理による３次元画像の表示・更新も実行する。また、画像処理装置１は、上記した第１の往復範囲設定処理（図１２参照）又は第２の往復範囲設定処理（図１３参照）によって、予め往復範囲の情報が記憶部５３に記憶されている場合、駆動部５０を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子２１を往復移動させる。

画像処理装置１は、ステップＳ３０６の処理において、位置指定情報に対応する位置で取得された周囲位置情報に基づいて、２次元画像を生成する。詳細には、まず、画像処理装置１は、超音波振動子２１を用いて、カテーテル４０の延在方向に直交する平面に沿う周囲情報を経時的に取得する。画像処理装置１は、制御部５４を用いて、超音波振動子２１が位置指定情報に対応する位置で取得した周囲情報に基づいて、２次元画像を生成する。ここで、生成される２次元画像は、カテーテル４０の延在方向に直交する平面に沿った、臓器等の３次元画像に対する断面画像である。

画像処理装置１は、制御部５４を用いて、記憶部５３に記憶されている表示情報に、位置指定情報に対応する２次元画像が既に含まれているか否かを判定する（ステップＳ３０７）。画像処理装置１は、第１の表示処理のステップＳ４３の処理により、表示情報を記憶部５３に記憶している。画像処理装置１は、記憶部５３に記憶されている表示情報に、位置指定情報に対応する２次元画像が含まれていない場合（ステップＳ３０７のＮｏ）、今回生成した二次元画像を、記憶部５３に記憶されている表示情報に追加して、記憶部５３に記憶する（ステップＳ３０９）。一方、画像処理装置１は、記憶部５３に記憶されている表示情報に、位置指定情報に対応する２次元画像が既に含まれている場合（ステップＳ３０７のＹｅｓ）、記憶部５３に記憶されている表示情報に含まれる２次元画像を、今回生成した２次元画像で更新して記憶部５３に記憶する（ステップＳ３０８）。

画像処理装置１は、制御部５４を用いて、記憶部５３に記憶された表示情報を、表示部５１に表示させる（ステップＳ３１０）。

画像処理装置１は、制御部５４を用いて、入力部５２が終了指示を受け付けたか否かを判定する（ステップＳ３１１）。画像処理装置１は、終了指示を受け付けていない場合（ステップＳ３１１のＮｏ）、ステップＳ３０６の処理に戻る。一方、画像処理装置１は、終了指示を受け付けた場合（ステップＳ３１１のＹｅｓ）、第１の表示処理の変形例における処理を終了する。

上記のように、画像処理装置１は、医療器具の経時的な器具位置情報を取得して臓器等の３次元画像に重畳表示させつつ、臓器等の３次元画像中で任意に指定された位置の断面である２次元画像も経時的に表示させることができる。したがって、治療中に、臓器等の内部に位置する医療器具の経時的な位置を、３次元画像と２次元画像で表示することができるので、臓器等の適切な治療に更に寄与し得る。

図１５は、第２の表示処理に伴う表示情報の一例を示す模式図である。図１５では、臓器等の３次元画像１１１を、模式的に単純な円柱で表している。図１５に示すように、表示情報１００は、３次元画像表示領域１１０と、２次元画像表示領域１２０と、を含む。３次元画像表示領域１１０には、臓器等の３次元画像１１１と、臓器等の内部に位置する医療器具の器具位置情報１１２と、が示されている。また、３次元画像表示領域１１０には、位置指定情報によって指定された位置を示す情報である、断面位置情報１１３ａ～１１３ｃが示されている。２次元画像表示領域１２０には、断面位置情報１１３ａ～１１３ｃに対応する位置で取得された周囲位置情報に基づいて生成された２次元画像が、それぞれ２次元画像表示領域１２０ａ～１２０ｃに示されている。具体的には、２次元画像表示領域１２０ａには、臓器等の２次元画像１２１のみが示されている。２次元画像表示領域１２０ｂ及び１２０ｃには、臓器等の２次元画像１２１と、臓器等の内部に位置する医療器具の２次元画像１２２と、が示されている。このように、臓器等の３次元画像中で任意に指定された位置の断面である２次元画像が経時的に表示されるので、医療器具がどの２次元画像に表示されているかを判別すれば、カテーテル４０の延在方向に沿う位置における、医療器具の位置を容易に特定することができる。

［第３の表示処理］
以下、画像処理装置１が実行する第３の表示処理について説明する。画像処理装置１は、第３の表示処理を実行する前に、被検者の臓器等の３次元画像を記憶部５３（図１等参照）に予め記憶している。また、画像処理装置１は、第３の表示処理を実行する前に、カテーテル４０（図３等参照）の延在方向に沿う超音波振動子２１（図３等参照）の位置に基づいて臓器等の３次元画像内の所定の座標軸に沿う位置を特定可能な対応情報（以下、適宜「対応情報」と記載する。）を、記憶部５３に予め記憶している。

対応情報は、例えば、後述する第１の対応情報、又は第２の対応情報である。第１の対応情報は、位置対応情報と、相関位置対応情報と、を含む。位置対応情報は、臓器等の３次元画像内の所定の座標軸に沿う位置に対応する、駆動部５０（図２等参照）の位置を示す情報である。換言すれば、位置対応情報は、駆動部５０の位置に対応する３次元画像内の所定の座標軸に沿う位置を示す情報である。位置対応情報は、例えば、臓器等の３次元像内の所定の座標軸に沿う位置と、駆動部５０の位置と、の組み合わせの情報であってもよい。相関位置対応情報は、駆動部５０の位置に対する、カテーテル４０の延在方向に沿う超音波振動子２１の位置を示す情報である。すなわち、第１の対応情報は、カテーテル４０の延在方向に沿う超音波振動子２１の位置と、臓器等の３次元画像内の所定の座標軸に沿う位置と、を対応付けた情報である。

駆動部５０（図２等参照）は、例えば、第２の往復範囲設定処理（図１３参照）で用いた駆動部５０の位置に基づいて、カテーテル４０の延在方向に沿う超音波振動子２１の位置を特定可能である。また、臓器等の３次元画像は、駆動部５０によって、超音波振動子２１がカテーテル４０の延在方向に沿って移動しながら取得した周囲情報に基づいて生成される。したがって、画像処理装置１は、駆動部５０が超音波振動子２１を移動させて３次元画像を生成する際に、カテーテル４０の延在方向における超音波振動子２１の位置と、３次元画像内の所定の座標軸、すなわちカテーテル４０の延在方向に対応する座標軸に沿う位置と、の対応情報を、第１の対応情報として生成することができる。

図１６は、臓器等の３次元画像２１１内の所定の座標軸としてのＺ軸に沿う位置の一例を示す図である。図１６では、臓器等の３次元画像２１１を、模式的に単純な円柱で表している。図１７は、駆動部５０の位置の一例を示す図である。図１７に示すように、駆動部５０は、所定の座標軸としてのＡ軸に沿って、台座５９の上を移動可能である。図１７に示す例では、駆動部５０の中心位置が、所定の座標軸としてのＡ軸に沿って、Ａ＝１となる位置に位置している。

図１８は、位置対応情報の一例を示す図である。図１８に示すように、位置対応情報は、図１６に示した臓器等の３次元画像２１１内の所定の座標軸としてのＺ軸に沿う位置と、図１７に示した駆動部５０の所定の座標軸としてのＡ軸に沿う位置と、を対応付けた組み合わせの情報であってもよい。ただし、位置対応情報は、図１８に示すような組み合わせの情報には限定されない。

上述した位置対応情報は、臓器等の３次元画像内の所定の座標軸に沿う位置と、駆動部５０の位置と、の組み合わせの情報には限定されない。例えば、位置対応情報は、例えば、駆動部５０の移動速度の情報、及び、フレームレートとしての所定時間間隔の情報を含んでもよい。この場合、駆動部５０は、位置対応情報に含まれる移動速度（等速度）で移動する。そして、制御部５４は、超音波振動子２１が現在位置で受信した超音波に基づいて、臓器等の内部の現在の２次元画像を、位置対応情報に含まれる所定時間間隔で順次生成し、当該現在の２次元画像に対応付けたフレーム番号としての採番情報を昇順で生成する。その後、制御部５４は、位置対応情報と、採番情報と、に基づいて、臓器等の３次元画像内での駆動部５０の位置を決定することができる。なお、位置対応情報は、駆動部５０の初期位置の情報も含んでいてもよい。

第２の対応情報は、複数の２次元画像と、臓器等の３次元画像内の所定の座標軸に沿う位置と、を対応付ける画像対応情報を含む。詳細には、第２の対応情報に含まれる複数の２次元画像は、超音波振動子２１によって取得された、カテーテル４０の延在方向に沿った周囲情報に基づいて生成される。そして、生成された複数の２次元画像に基づいて、臓器等の３次元画像が生成される。したがって、各２次元画像は、３次元画像の所定の座標軸に沿って配置された、当該所定の座標軸に直交する断面を構成する断面画像である。画像処理装置１は、カテーテル４０の延在方向に沿って超音波振動子２１を移動させながら、複数の２次元画像と、各２次元画像が対応する臓器等の３次元画像内の所定の座標軸、すなわちカテーテル４０の延在方向に対応する座標軸に沿う位置の情報と、を含む第２の対応情報を生成することができる。

図１９は、画像対応情報の一例を示す図である。図１９に示すように、画像対応情報は、図１６に示した臓器等の３次元画像２１１内の所定の座標軸としてのＺ軸に沿う位置と、各位置の超音波振動子によって取得され、制御部５４によって生成された断面画像と、を対応付けた組み合わせの情報であってもよい。

図２０は、画像処理装置１が実行する第３の表示処理を示すフローチャートである。第３の表示処理は、図６に示したステップＳ３０の情報取得工程における処理として実行される。

図２０に示すように、画像処理装置１は、制御部５４（図１等参照）を用いて、超音波振動子２１の現在位置に対応する３次元画像内の位置を、記憶部５３に記憶された対応情報に基づいて決定する（ステップＳ７１）。詳細には、記憶部５３に記憶された対応情報が第１の対応情報である場合、画像処理装置１は、制御部５４を用いて、駆動部５０によって特定されるカテーテル４０の延在方向に沿う超音波振動子２１の現在位置に対応する、３次元画像内の所定の座標軸に沿う位置を、第１の対応情報に基づいて決定する。

また、記憶部５３に記憶された対応情報が第２の対応情報である場合、画像処理装置１は、制御部５４を用いて、超音波振動子２１によって現在位置で取得された周囲情報に基づく、臓器等の現在の２次元画像を生成する。画像処理装置１は、生成した現在の２次元画像が類似する２次元画像を、第２の対応情報に含まれる複数の２次元画像から抽出する。類似する２次元画像の抽出は、例えば、パターン認識によって行うことができる。そして、画像処理装置１は、抽出された２次元画像が対応する３次元画像内の位置を、第２の対応情報から読み出し、読み出された位置を超音波振動子２１の現在位置に対応する３次元画像内の位置として決定する。

画像処理装置１は、制御部５４を用いて、決定した位置を３次元画像内で識別表示した表示情報を生成する（ステップＳ７２）。

画像処理装置１は、制御部５４を用いて、超音波振動子２１が現在位置で取得する周囲情報に基づいて、臓器等の現在の２次元画像を生成する（ステップＳ７３）。ここで、生成される２次元画像は、カテーテル４０の延在方向に直交する平面に沿った、臓器等の３次元画像に対する断面画像である。

画像処理装置１は、制御部５４を用いて、生成した２次元画像を表示情報に追加する（ステップＳ７４）。このとき、画像処理装置１は、既に表示情報に追加された２次元画像があった場合、今回生成した２次元画像を、以前に生成された２次元画像に代えて、表示情報に追加する。

画像処理装置１は、制御部５４を用いて、記憶部５３に記憶された表示情報を、表示部５１（図１等参照）に表示させる（ステップＳ７５）。このとき、既に表示部５１に表示情報が表示されている場合、画像処理装置１は、新たに生成した表示情報の表示に更新する。

画像処理装置１は、制御部５４を用いて、入力部５２（図１等参照）が終了指示を受け付けたか否かを判定する（ステップＳ７６）。画像処理装置１は、終了指示を受け付けていない場合（ステップＳ７６のＮｏ）、ステップＳ７１の処理に戻る。一方、画像処理装置１は、終了指示を受け付けた場合（ステップＳ７６のＹｅｓ）、第３の表示処理を終了する。

図２１及び図２２は、それぞれ互いに異なる時刻における、第３の表示処理に伴う表示情報の一例を示す模式図である。図２１及び図２２では、臓器等の３次元画像２１１を、模式的に単純な円柱で表している。図２１及び図２２に示すように、表示情報２００は、３次元画像表示領域２１０と、２次元画像表示領域２２０と、を含む。３次元画像表示領域２１０には、臓器等の３次元画像２１１が示されている。また、３次元画像表示領域２１０には、超音波振動子２１の現在位置に対応する３次元画像２１１内の位置として決定された位置を示す、超音波振動子位置情報２１３が示されている。２次元画像表示領域２２０には、超音波振動子位置情報２１３に対応する超音波振動子２１の現在位置で取得された周囲情報に基づいて生成された２次元画像が示されている。具体的には、図２１に示す２次元画像表示領域２２０ａには、臓器等の２次元画像２２１のみが示されている。図２２に示す２次元画像表示領域２２０ｂには、臓器等の２次元画像２２１と、臓器等の内部に位置する医療器具の２次元画像２２２と、が示されている。

上記のように、画像処理装置１は、超音波振動子２１の現在位置に対応する臓器等の３次元画像内の位置を、３次元画像内で識別表示することができるので、超音波振動子２１の臓器等の３次元画像内における位置を容易に把握することができる。また、画像処理装置１は、超音波振動子２１の現在位置で取得する周囲情報に基づいて生成される２次元画像を表示することができるので、臓器等の内部に位置する医療器具が、事前に生成した臓器等の３次元画像には含まれない場合や、事前に生成した３次元画像からは視認が困難な場合であっても、カテーテル４０の延在方向に沿う位置における、医療器具の位置を容易に特定することができる。

本開示は、上述した各実施形態で特定された構成に限定されず、請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形が可能である。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

上記実施形態では、周囲情報取得デバイスとして、超音波検査器２０の超音波振動子２１を用いるとして説明したが、このような構成には限定されない。例えば、超音波検査器２０に替えて、周囲情報取得デバイスとしての撮像素子を備える装置を用いてもよい。撮像素子を用いる装置としては、光干渉断層診断装置、光学周波数領域画像化診断装置、又は、内視鏡等が挙げられる。光干渉断層診断装置又は光学周波数領域画像化診断装置を用いる場合、撮像素子としては、周囲に向けて光を出射し、その反射光を検出するイメージングコアユニットを用いることができる。内視鏡を用いる場合、撮像素子としては、被写体からの光を受光して、当該光の強度に応じた電気信号に変換する、ＣＣＤセンサやＣＭＯＳセンサ等の受光素子を用いることができる。

以上のように、本開示に係る画像処理装置の一実施形態としての画像処理装置１は、駆動部５０と、画像処理部６０と、を備える（図１参照）。
駆動部５０は、筒状部材としてのカテーテル４０の内部に位置し、超音波又は光を送信し、臓器、血管または医療器具に反射した超音波又は光を受信する超音波振動子２１又は撮像素子、に連結されている（図２、図３等参照）。
画像処理部６０は、超音波振動子２１又は撮像素子が受信した情報（以下、「受信情報」と記載する。）を電気信号に変換し、臓器、血管又は医療器具の２次元画像を順次生成し、生成した２次元画像を積層し、臓器、血管又は医療器具の３次元画像を生成することができる。

更に、上述したように、駆動部５０は、超音波振動子２１又は撮像素子を、筒状部材としてのカテーテル４０の延在方向に沿って移動させることができる。

また、画像処理部６０は、記憶部５３及び制御部５４を備える（図１参照）。

記憶部５３は、駆動部５０の位置と３次元画像内の所定の座標軸に沿う位置と、を対応付ける位置対応情報、及び／又は、３次元画像内の所定の座標軸に沿う位置と、この所定の座標軸に沿って積層されている２次元画像の位置と、を対応付ける画像対応情報、を記憶することができる。

位置対応情報とは、上述したように、臓器等の３次元画像内の所定の座標軸に沿う位置に対応する、駆動部５０の位置を示す情報である。駆動部５０の位置と３次元画像内の所定の座標軸に沿う位置とを対応付ける情報は、上述の位置対応情報の一例である。

画像対応情報とは、上述したように、複数の２次元画像と、臓器等の３次元画像内の所定の座標軸に沿う位置と、を対応付ける情報である。３次元画像内の所定の座標軸に沿う位置と、この所定の座標軸に沿って積層されている２次元画像の位置と、を対応付ける情報は、上述の画像対応情報の一例である。

制御部５４は、位置対応情報又は画像対応情報に基づいて、超音波振動子２１又は撮像素子の現在位置に対応する３次元画像内の位置を決定することができる。また、制御部５４は、決定した３次元画像内の位置を３次元画像内で識別表示する表示情報をリアルタイムに生成することができる。

より具体的に、制御部５４は、上述の画像対応情報に基づく決定方法の一例として、以下の手順を採用してもよい。
（Ｉ）超音波振動子２１又は撮像素子が現在位置で取得した受信情報を電気信号に変換し、現在位置の２次元画像を生成する。
（ＩＩ）生成された現在位置の２次元画像と、既に生成された３次元画像において積層されている複数の２次元画像と、を対比する。
（ＩＩＩ）積層されている複数の２次元画像の中から、生成された現在位置の２次元画像と類似の２次元画像を抽出する。
（ＩＶ）抽出した２次元画像の、３次元画像の所定の座標軸に沿う位置を、生成された現在位置の２次元画像の、３次元画像の所定の座標軸に沿う位置として決定する。

上記（Ｉ）～（ＩＶ）の手順により、制御部５４は、超音波振動子２１又は撮像素子の現在位置に対応する３次元画像内の位置を決定してもよい。

ここで、上記（ＩＩＩ）における「類似」とは、対比する２つの２次元画像の一致度が例えば９０％以上である場合を意味する。

更に、記憶部５３は、上述の位置対応情報に加えて、相関位置対応情報を記憶してもよい。相関位置対応情報とは、上述したように、駆動部５０の位置に対する、超音波振動子２１又は撮像素子の位置を示す情報である。記憶部５３は、相関位置対応情報の一例として、例えば、駆動部５０の位置と、超音波振動子２１又は撮像素子の位置と、を対応付ける情報を記憶することができる。このような相関位置対応情報の一例は、例えば、筒状部材としてのカテーテル４０の延在方向での駆動部５０の位置に基づいて、筒状部材としてのカテーテル４０の延在方向での超音波素子２１又は前記撮像素子の位置を特定することで取得可能である。

制御部５４は、上述したように、上述の位置対応情報及び相関位置対応情報に基づいて、超音波振動子２１又は撮像素子の現在位置に対応する３次元画像内の位置を決定してもよい。

最後に、本開示に係る画像処理装置の一実施形態としての画像処理装置１により実行される画像表示方法について説明する。

上述したように、画像処理装置１の画像処理部６０は、表示部５１を備える（図１、図２参照）。
表示部５１は、上述したように、３次元画像と、この３次元画像の断面位置情報と、この断面位置情報に対応する位置での２次元画像と、を表示可能である（図１５、図２１、図２２参照）。
表示部５１は、３次元画像、断面位置情報及び２次元画像を同時に表示することができる（図１５、図２１、図２２参照）。

より具体的には、図１５に示すように、表示部５１は、３次元画像の断面位置情報としての、３次元画像の所定の座標軸に沿って異なる位置での複数の断面位置情報を表示してもよい。また、図１５に示すように、表示部５１は、２次元画像としての、複数の断面位置情報それぞれに対応する、複数の２次元画像を表示してもよい。

更に、図２１、図２２に示すように、表示部５１は、超音波素子２１又は前記撮像素子の現在位置を前記３次元画像上に表示してもよい（図２１、図２２の符号「２１３」参照）。

本開示は、画像処理装置及び画像表示方法に関する。

１：画像処理装置
２：医療デバイス
１０：ガイドワイヤ
１１：直線状部
１２：環状拡張部
１３：環状拡張部の遠位端
２０：超音波検査器
２１：超音波振動子（位置取得部）
２２：シャフト
２３：チューブ
３０、３０ａ～３０ｊ：電極
４０：カテーテル（筒状部材）
４１：第１ルーメン
４２：第２ルーメン
４３：近位側連通孔
４４：遠位側連通孔
４５：先端部
４６：開口
５０：駆動部
５１：表示部
５２：入力部
５３：記憶部
５４：制御部
５５：情報入力部
５９：台座
６０：画像処理部
８０：ブロッケンブロー針（医療器具）
８１：アブレーションカテーテル（医療器具）
８３：第１シース
８４：第２シース
１００：表示情報
１１０：３次元表示領域
１１１：臓器等の３次元画像
１１２：器具位置情報
１１３ａ、１１３ｂ、１１３ｃ：断面位置情報
１２０、１２０ａ、１２０ｂ、１２０ｃ：２次元表示領域
１２１：臓器等の２次元画像
１２２：医療器具の２次元画像
２００：表示情報
２１０：３次元画像表示領域
２１１：臓器等の３次元画像
２１３：超音波振動子位置情報
２２０、２２０ａ、２２０ｂ：２次元画像表示領域
２２１：臓器等の２次元画像
２２２：医療器具の２次元画像
Ａ：ガイドワイヤの径方向
Ｂ：ガイドワイヤの周方向
Ｏ：超音波検査器の中心軸
Ｈ：卵円窩
ＩＶＣ：下大静脈
ＳＶＣ：上大静脈
ＰＶ：肺静脈
ＬＡ：左心房
ＲＡ：右心房

Claims (9)

1. 筒状部材の内部に位置する超音波素子又は撮像素子である周囲情報取得デバイスに連結された駆動部と、
   前記周囲情報取得デバイスが臓器又は血管の内部で前記筒状部材の周囲に向けて超音波又は光を出射して取得した反射波又は反射光の情報である周囲情報に基づいて、前記臓器、前記血管又は前記臓器若しくは前記血管の内部に位置する医療器具の２次元画像を順次生成し、生成した２次元画像に基づいて、前記臓器、前記血管又は前記医療器具の３次元画像を生成する画像処理部と、を備え、
   前記駆動部は、前記駆動部自体が移動することで前記周囲情報取得デバイスを前記筒状部材の延在方向に沿って移動させ、
   前記画像処理部は、
   前記駆動部の位置に対応する前記３次元画像内の所定の座標軸に沿う位置を示す位置対応情報を記憶する記憶部と、
   前記周囲情報取得デバイスが現在位置で取得した周囲情報に基づいて、前記臓器、前記血管又は前記医療器具の２次元画像を新たに生成すると、前記位置対応情報に基づいて、前記駆動部の現在位置に対応する前記３次元画像内の前記所定の座標軸に沿う位置を、前記周囲情報取得デバイスの現在位置に対応する前記３次元画像内の前記所定の座標軸に沿う位置として特定し、特定した位置を示す位置情報が前記３次元画像とともに表示される３次元画像表示領域と、新たに生成した２次元画像が前記位置情報によって示された位置の、前記所定の座標軸に直交する断面を示す断面画像として表示される２次元画像表示領域と、を含む表示情報をリアルタイムに生成し、生成した表示情報を表示部に表示させるか、又は過去に生成した表示情報が既に前記表示部に表示されている場合は、表示されている表示情報を、生成した表示情報に更新する制御部と、を備える画像処理装置。
2. 前記駆動部は等速度で移動し、
   前記制御部は、前記臓器、前記血管又は前記医療器具の２次元画像を所定時間間隔で順次生成し、生成した２次元画像に対応付けた採番情報を昇順で生成し、
   前記位置対応情報は、前記駆動部の移動速度の情報及び前記所定時間間隔の情報を含む、請求項１に記載の画像処理装置。
3. 前記記憶部は、前記駆動部の位置に基づいて設定される、前記筒状部材の延在方向での前記周囲情報取得デバイスの往復範囲の情報を更に記憶し、
   前記駆動部は、前記往復範囲の情報に基づいて、前記周囲情報取得デバイスを往復移動させ、
   前記制御部は、前記周囲情報取得デバイスが前記駆動部によって往復移動しながら経時的に取得する周囲情報に基づいて、前記臓器、前記血管又は前記医療器具の２次元画像を順次生成し、生成した２次元画像を前記表示情報に順次追加する、請求項１又は２に記載の画像処理装置。
4. 前記画像処理部は、始点設定指示の入力を受付可能な入力部を更に備え、
   前記制御部は、前記始点設定指示が入力された時点での前記駆動部の位置に基づいて、前記往復範囲の始点の位置を前記記憶部に記憶する、請求項３に記載の画像処理装置。
5. 前記入力部は、終点設定指示の入力を受付可能であり、
   前記制御部は、前記終点設定指示が入力された時点での前記駆動部の位置に基づいて、前記往復範囲の終点の位置を前記記憶部に記憶する、請求項４に記載の画像処理装置。
6. 前記制御部は、前記周囲情報取得デバイスが現在位置で取得した周囲情報に基づいて、前記臓器、前記血管又は前記医療器具の２次元画像を新たに生成すると、過去に生成した表示情報が既に前記表示部に表示されている場合は、新たに生成した２次元画像に基づいて、前記３次元画像表示領域に表示されている前記３次元画像を更新する、請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像処理部は、前記表示部を更に備える、請求項１から６のいずれか１項に記載の画像処理装置。
8. 筒状部材の内部に位置する超音波素子又は撮像素子である周囲情報取得デバイスに連結された駆動部と、
   前記周囲情報取得デバイスが臓器又は血管の内部で前記筒状部材の周囲に向けて超音波又は光を出射して取得した反射波又は反射光の情報である周囲情報に基づいて、前記臓器若しくは前記血管の２次元画像又は前記臓器若しくは前記血管と前記臓器若しくは前記血管の内部に位置する医療器具との２次元画像を順次生成し、生成した２次元画像に基づいて、前記臓器若しくは前記血管と前記医療器具との３次元画像を生成する画像処理部と、を備え、
   前記駆動部は、前記周囲情報取得デバイスを前記筒状部材の延在方向に沿って移動させ、
   前記画像処理部は、
   前記３次元画像内の所定の座標軸に沿う位置を指定する位置指定情報の入力を受付可能な入力部と、
   前記３次元画像と、前記位置指定情報によって指定された位置を示す断面位置情報と、を表示可能な３次元画像表示領域と、前記周囲情報取得デバイスが前記断面位置情報に対応する指定位置で取得した周囲情報に基づいて前記画像処理部が生成した２次元画像を表示可能な２次元画像表示領域と、を有する表示部と、を備え、
   前記表示部は、前記位置指定情報が複数回入力されることで、前記３次元画像内の前記所定の座標軸に沿う複数の位置が指定された場合は、前記断面位置情報として、指定された複数の位置を示す情報を、前記３次元画像とともに前記３次元画像表示領域に表示するのと同時に、前記周囲情報取得デバイスが前記断面位置情報に対応する、前記筒状部材の延在方向に沿う複数の指定位置で取得した周囲情報に基づいて前記画像処理部が生成した複数の２次元画像を前記２次元画像表示領域に表示し、
   前記画像処理部は、前記周囲情報取得デバイスが前記複数の指定位置のうちいずれかの指定位置で取得した周囲情報に基づいて前記画像処理部が過去に生成した２次元画像が既に前記２次元画像表示領域に表示されている場合は、表示されている２次元画像を、前記周囲情報取得デバイスが当該指定位置で取得した周囲情報に基づいて前記画像処理部が新たに生成した２次元画像に更新する、画像処理装置。
9. 前記表示部は、前記周囲情報取得デバイスの現在位置を前記３次元画像上に表示する、請求項８に記載の画像処理装置。

Images