JP6689666B2 - 超音波撮像装置 - Google Patents

Description

本発明は、超音波撮像装置に係り、特に、撮像した超音波画像と、被検体内所定の特徴部位を同時に表示する撮像技術に関する。

超音波撮像装置は、超音波を被検体に照射し、その反射信号により被検体内部の構造を画像化するため、無侵襲かつリアルタイムに患者を観察することが可能である。また、超音波探触子に位置センサを貼り付けてスキャン面の位置関係を算出し、医用画像診断装置から撮像した３次元診断用ボリューム（３Ｄ画像）データから、超音波スキャン面の画像に対応する２次元断面画像を構築し、表示する画像診断システムも普及し始めている。その診断用３Ｄ画像データは、超音波のほか、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置あるいはＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置などの他の医用画像撮像装置から撮像された画像データが一般的である。

特許文献１には、医用画像診断装置から撮像した診断用３次元（３Ｄ）画像データから、超音波スキャン面の画像である超音波２次元（２Ｄ）画像に対応する２次元断面画像を構築する際に、診断目的および超音波プローブの種類に応じて２次元断面画像の断面方向を設定する。得られた断面方向と超音波探触子に貼り付けられた位置センサの位置情報に基づいて、超音波スキャン面の画像と診断用３Ｄ画像との位置合わせを行い、診断用３Ｄ画像から２次元断面画像を構築し表示する。また、非特許文献１は、超音波３Ｄ画像のスティッチング法などを開示している。

特開２０１４−２３９７３１号公報

Ni, Dong, et al. "Volumetric ultrasound panorama based on 3D SIFT." Medical Image Computing and Computer-Assisted Intervention-MICCAI 2008. Springer Berlin Heidelberg, 2008. 52-60.

近年では、被検体の手術中に腫瘍等の手術すべき領域を、無侵襲かつリアルタイムで撮像できる術中超音波画像で確認することが望まれている。さらに、手術を正確にガイドするためには、術中超音波画像に、被検体内腫瘍や解剖学的な特徴部位の位置、名称、および距離関係などの情報をリアルタイムに表示することが望まれている。また、手術中の医師等のユーザの手が、術中超音波画像と被検体との位置合わせのために、手動入力装置のスイッチやマウス等に触ることはできるだけ避けたい。また、開腹状態の被検体の負担を軽減するために、できるだけ短時間に位置合わせを行うことが望ましい。

しかしながら、特許文献１の技術では、ユーザにより、超音波スキャン面の画像と診断用３Ｄ画像から構築される２次元断面画像の両方で観察可能な目印上に点を設定し位置を一致させる目印合わせにより位置合わせを行う必要がある。このような繁雑なユーザ操作および開腹状態の被検体の負担が大きな課題である。また、特許文献１の技術では、解剖学的な特徴部位の位置や名称などの情報をリアルタイムに表示できないという課題がある。

本発明の目的は、術中超音波画像に特徴部位の情報を自動的かつリアルタイムに表示し、手術を正確にガイドすることが可能な超音波撮像装置、画像処理装置、及びその方法を提供することにある。

上記の目的を達成するため、本発明においては、超音波撮像装置であって、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子の受信信号から超音波２Ｄ画像を生成し、複数回の超音波の送受信により超音波３Ｄ画像を生成する画像生成部と、超音波２Ｄ画像と超音波３Ｄ画像を受け取って処理する画像処理装置とを備え、画像処理装置は、超音波３Ｄ画像から被検体の特徴部位を推定および識別し、超音波２Ｄ画像と超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像上に、特徴部位の情報を表示する超音波撮像装置を提供する。

また、上記の目的を達成するため、本発明においては、画像処理装置であって、被検体についての超音波３Ｄ画像から被検体の特徴部位を推定および識別する特徴部位推定・識別部と、被検体についての超音波２Ｄ画像と、超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像の位置を算出する画像位置合わせ部とを備える画像処理装置を提供する。

さらに、上記の目的を達成するため、本発明においては、画像処理装置における画像処理方法であって、画像処理装置は、被検体についての超音波３Ｄ画像から被検体の特徴部位を推定および識別し、被検体についての超音波２Ｄ画像と、超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像に対応する前記超音波３Ｄ画像の２Ｄ断面画像の位置を算出する画像処理方法を提供する。

本発明によれば、超音波３Ｄ画像から被検体の特徴部位を推定および識別し、超音波２Ｄ画像と超音波３Ｄ画像との位置合わせを行い、特徴部位の情報を超音波２Ｄ画像に表示することにより、手術を正確にガイドすることが可能となる。

実施例１に係る、超音波撮像装置の全体構成例を示すブロック図。 実施例１に係る、超音波撮像装置のハードウェア構成例を示すブロック図。 実施例１に係る、超音波撮像装置の画像処理装置の機能ブロック図。 実施例１に係る、超音波撮像装置の処理の流れを示すフローチャート図。 実施例１に係る、特徴部位の一例を示す説明図。 実施例１に係る、特徴部位の他の例を示す説明図。 実施例１に係る、特徴部位の他の例を示す説明図。 実施例１に係る、超音波特徴部位情報の一例を示す図。 実施例１に係る、ボリュームデータから特徴部位の位置推定・識別処理を示すフローチャート図。 実施例１に係る、超音波２Ｄ画像と超音波３Ｄ画像の位置合わせ処理を示すフローチャート図。 実施例１に係る、超音波２Ｄ画像と超音波３Ｄ画像の位置合わせ処理の初期位置を示す図。 実施例２に係る、超音波撮像装置の画像処理装置の機能ブロック図。 各実施例に係る、ディスプレイの表示画面とボタン選択手段の一例を示す図。 実施例３に係る、超音波撮像装置の全体構成例を示すブロック図。 実施例３に係る、超音波撮像装置のハードウェア構成例を示すブロック図。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。なお、本明細書において、特徴部位の情報とは、特徴部位の位置、名称、更には距離関係の情報を意味し、距離関係とは、特徴部位から超音波２Ｄ画像までの投影距離を意味する。

実施例１は、超音波撮像装置であって、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子の受信信号から超音波２Ｄ画像を生成し、複数回の超音波の送受信により超音波３Ｄ画像を生成する画像生成部と、超音波２Ｄ画像と超音波３Ｄ画像を受け取って処理する画像処理装置とを備え、画像処理装置は、超音波３Ｄ画像から被検体の特徴部位を推定および識別し、超音波２Ｄ画像と超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像上に、特徴部位の情報を表示する超音波撮像装置の実施例である。また、画像処理装置であって、被検体についての超音波３Ｄ画像から被検体の特徴部位を推定および識別する特徴部位推定・識別部と、被検体についての超音波２Ｄ画像と、超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像の位置を算出する画像位置合わせ部とを備える画像処理装置、およびその方法の実施例である。

本実施例の超音波撮像装置においては、被検体を撮像した超音波３Ｄ画像から、所定の解剖学的な特徴部位に対し、位置推定と名称識別を行う。また、手術中にリアルタイムに撮像した超音波２Ｄ画像、すなわち超音波スキャン面の２Ｄ画像と超音波３Ｄ画像との位置合わせを行い、位置合わせ用の幾何変換行列を算出し、推定された特徴部位の位置と、撮像した超音波２Ｄ画像との距離関係を算出する。得られた特徴部位の名称・位置と、超音波２Ｄ画像との距離関係を、特徴部位の情報として超音波２Ｄ画像上に表示することにより、リアルタイムに手術をガイドすることを可能とする。

ここで、本実施例における特徴部位の情報の一つである距離関係は、被検体内の特徴部位から超音波２Ｄ画像までの投影距離を意味する。好適には、超音波３Ｄ画像から推定された被検体の特徴部位の３次元的な位置、すなわち、３Ｄ空間上の点の座標から、超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像の位置、すなわち３次元空間上の面の位置までの投影距離を算出し、この算出した投影距離を特徴部位の超音波２Ｄ画像との距離関係とする。

＜構成及び動作＞
以下、実施例１の超音波撮像装置の具体的な一構成例について詳述する。図１に示すように、本実施例の超音波撮像装置は、超音波探触子７と、画像生成部１０７と、画像処理装置１０８とを備え、さらに、送信部１０２、送受切替部１０１、受信部１０５、ユーザインタフェース（ＵＩ）１２１、および、制御部１０６とから構成される。この超音波撮像装置１００で得られる画像は、ディスプレイ１６に表示される。なお、ディスプレイ１６は、ユーザインタフェース（ＵＩ）１２１に含まれる構成であっても良い。図１に示す超音波撮像装置の構成例は、他の実施例においても共通に利用される。

送信部１０２は、制御部１０６の制御下で、送信信号を生成し、超音波プローブと呼ばれる超音波探触子７を構成する複数の超音波素子各々に受け渡す。これにより、超音波探触子７の複数の超音波素子は、それぞれ超音波を被検体１２０に向かって送信する。被検体１２０で反射等された超音波は、再び超音波探触子７の複数の超音波素子に到達して受信され、電気信号に変換される。超音波素子が受信した信号は、受信部１０５によって、受信焦点の位置に応じた所定の遅延量で遅延され、整相加算される。これを複数の受信焦点ごとについて繰り返す。整相加算信号は、受信部１０５から画像生成部１０７に受け渡される。送受切替部１０１は、送信部１０２または受信部１０５を選択的に超音波探触子７に接続する。

画像生成部１０７は、受信部１０５から受け取った整相加算信号を受信焦点に対応する位置に並べる等の処理を行い、超音波２Ｄ画像を生成する。ユーザが超音波探触子７を煽りながら、画像生成部１０７が複数の超音波２Ｄ画像を生成して、超音波３Ｄ画像を合成ことができる。

画像処理装置１０８は、画像生成部１０７から超音波３Ｄ画像を受け取って、所定の解剖学的な特徴部位の名称識別と位置推定を行う。また、画像処理装置１０８は、リアルタイムに生成した超音波２Ｄ画像を受け取って、超音波２Ｄ画像と超音波３Ｄ画像との位置合わせを行い、得られた特徴部位の名称・位置と、超音波２Ｄ画像との距離関係を、リアルタイムに生成した超音波２Ｄ画像に表示する。

以下、画像処理装置１０８とユーザインタフェース（ＵＩ）１２１の具体的な構成と動作について詳しく説明する。
図２は、画像処理装置１０８とユーザインタフェース１２１のハードウェア構成例を示すブロック図である。図２に示すハードウェア構成例は、図１の超音波撮像装置の構成同様、他の実施例においても、共通に用いられる。

画像処理装置１０８は、ＣＰＵ（プロセッサ）１、ＲＯＭ（不揮発性メモリ：読出専用の記憶媒体）２、ＲＡＭ（揮発性メモリ：データの読み書きが可能な記憶媒体）３、記憶装置４、及び表示制御部１５を備えている。ユーザインタフェース１２１は、媒体入力部１１、入力制御部１３および入力装置１４、及びディスプレイ１６を備えている。画像生成部１０７、画像処理装置１０８、ユーザインタフェース１２１は、バス５によって相互に接続されている。

画像処理装置１０８のＲＯＭ２およびＲＡＭ３の少なくとも一方には、画像処理装置１０８の動作を実現するために必要とされるＣＰＵ１の演算処理のためのプログラムとデータが予め格納されている。ＣＰＵ１が、このＲＯＭ２およびＲＡＭ３の少なくとも一方に予め格納されたプログラムを実行することによって、画像処理装置１０８の各種処理が実現される。なお、ＣＰＵ１が実行するプログラムは、例えば、光ディスクなどの記憶媒体１２に格納しておき、媒体入力部１１（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ３に格納する様にしてもよい。また、記憶装置４に当該プログラムを格納しておき、記憶装置４からそのプログラムをＲＡＭ３にロードしてもよい。また、ＲＯＭ２にあらかじめ当該プログラムを記憶させておいてもよい。

記憶装置４は、例えば、フラッシュメモリなどの不揮発性半導体記憶媒体を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

入力装置１４は、ユーザの操作を受け付ける装置であり、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを含む。入力制御部１３は、ユーザによって入力された操作入力を受け付ける。入力制御部１３が受けた操作入力は、ＣＰＵ１によって処理される。表示制御部１５は、例えば、ＣＰＵ１の処理で得られた画像データをディスプレイ１６に表示させる制御を行う。ディスプレイ１６は、表示制御部１５の制御下で画像を表示する。

図３は、本実施例の画像処理装置１０８の一機能を示す機能ブロック図である。図３に示すように、画像処理装置１０８は、超音波３Ｄ画像取得部２１と、超音波３Ｄ画像の特徴部位位置推定・識別部２２と、超音波２Ｄ画像取得部２４とを含む。更に、画像処理装置１０８は、特徴部位の名称・位置の情報を示す超音波特徴部位情報２３と、超音波２Ｄ−３Ｄ画像位置合わせ部２５と、画像表示部２６とを含む。

図４に示すフローチャートを用いて、図３に示した画像処理装置１０８の動作処理を説明する。まず、ステップＳ２０１において、超音波探触子７を当てて、煽りながらスキャンを行うように促す表示をディスプレイ１６に表示する。ユーザが表示に従い超音波探触子７をその臓器の区域でスキャンすると、送信部１０２、受信部１０５および画像生成部１０７により、連続的に超音波２Ｄ画像が生成される。画像生成部１０７により、連続的に生成された超音波２Ｄ画像から超音波３Ｄ画像が合成される。超音波３Ｄ画像取得部２１は、合成された超音波３Ｄ画像を受け付ける。

ステップＳ２０２において、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、公知の機械学習の手法を用いて、超音波３Ｄ画像から、所定の解剖学的な特徴部位の位置を推定し、推定結果に従い、各特徴部位の名称を識別する。ここで特徴部位とは、例えば肝臓の門脈臍部、下大静脈の流入部、胆嚢、そして肝臓門脈や静脈の各分岐点など、医学的に定義されている臓器や臓器内の部位である。

図５Ａ、図５Ｂ、図５Ｃは、超音波３Ｄ画像において、特徴部位としての肝臓の門脈臍部、下大静脈の流入部、胆嚢の３次元的な位置や画像の特徴を示す説明図である。図５Ａ、図５Ｂ、図５Ｃに示した立方体５０が上記の解剖学的な特徴部位それぞれの位置の周囲局所領域を示している。超音波３Ｄ画像の特徴部位位置推定・識別部２２における特徴部位の位置推定と名称識別の詳細は後で述べる。

図６に、超音波特徴部位情報２３である、超音波３Ｄ画像から推定・識別された特徴部位の名称、および３次元位置情報の一例を示す。これらの超音波特徴部位情報２３は、ＲＡＭ３や記憶装置４などにテーブルとして記憶することができる。

ステップＳ２０３において、超音波２Ｄ画像取得部２４は、画像生成部１０７からリアルタイムに取得した２Ｄ超音波画像を受け付ける。

ステップＳ２０４において、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、超音波３Ｄ画像取得部２１と超音波２Ｄ画像取得部２４から、超音波３Ｄ画像と超音波２Ｄ画像をそれぞれ受け付けて両者の位置合わせを行うための位置合わせ変換行列を算出する。位置合わせ変換行列算出の詳細は後で述べる。

ステップＳ２０５において、画像表示部２６は超音波３Ｄ画像と、超音波２Ｄ画像と、超音波特徴部位情報２３と、位置合わせ変換行列と、更には２Ｄ断面画像の位置を受け取る。画像表示部２６は、これらのデータを用いて、被検体の特徴部位の３Ｄ空間上の点の座標から、超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像の位置までの投影距離を算出し、この算出した投影距離を特徴部位の超音波２Ｄ画像との距離関係とする。そして、画像表示部２６は、超音波２Ｄ画像を、図１１の(a)に一例を示すようにディスプレイ１６の画面に表示する。そして、識別された特徴部位の位置、名称１７Ａ、１８Ａと、特徴部位と超音波２Ｄ画像との距離関係を画面上に表示する。その際、画像表示部２６は、位置合わせ変換行列を用いて、超音波３Ｄ画像の３次元座標系における特徴部位の位置から、現在表示されている超音波２Ｄ画像へ投影し、投影された場所に特徴部位の場所と×印で示すマーカ１７Ｂ、１８Ｂを表示する。すなわち、画像表示部２６は、超音波３Ｄ画像から推定した特徴部位の名称と、特徴部位とリアルタイムに取得した超音波２Ｄ画像との位置関係を、ディスプレイ１６上の超音波２Ｄ画像にリアルタイムに表示することができるため、ユーザに対する正確な手術ナビゲーションを実現することができる。

上述した通り、画像表示部２６は、超音波３Ｄ画像から推定された被検体の特徴部位の３Ｄ空間上の点の座標から、超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像の位置までの投影距離を算出し、特徴部位とリアルタイムに取得した超音波２Ｄ画像との距離関係とする。そして、マーカ１７Ｂ、１８Ｂのサイズを、算出した特徴部位と超音波２Ｄ画像との距離関係である投影距離に比例して表示する。すなわち、画像表示部２６では、超音波２Ｄ画像上に特徴部位を示すマーカを表示する際に、マーカ１７Ｂ、１８Ｂのサイズを算出した投影距離と比例するように表示することにより、両者の位置関係が一目で把握できるのでユーザの使い勝手がより向上する。

なお、画像表示部２６は、チェックボックス２８のユーザ選択により、特徴部位の名称１７Ａ、１８Ａと、マーカ１７Ｂ、１８Ｂの表示をオンとオフにすることができ、ユーザが必要とする場合にのみ、特徴部位の名称１７Ａ、１８Ａと、マーカ１７Ｂ、１８Ｂを表示することができる。なお、図１１の(a)のタッチパネル操作ボタン１９、及び図１１の(b)については、実施例２において説明する。

また、ステップＳ２０５の表示の際に、画像表示部２６は、リアルタイムの超音波２Ｄ画像と、超音波３Ｄ画像の超音波２Ｄ画像に対応する位置の２Ｄ断面画像の内の一方の色を変えて、これら二つを透過的に重畳した画像を生成して、ディスプレイ１６に表示することができる。さらに、画像表示部２６は、特徴部位の名称１７Ａ、１８Ａとマーカ１７Ｂ、１８Ｂを、重畳して生成した２Ｄ画像に表示する。この場合においても、画像表示部２６はマーカ１７Ｂ、１８Ｂのサイズを、算出した特徴部位から超音波２Ｄ画像への投影距離に比例して表示することが可能である。

続いて図７に示すフローチャートを用いて、本実施例の超音波３Ｄ画像の特徴部位位置推定・識別部２２の処理を詳述する。先に説明した通り、画像処理装置１０８は、ＣＰＵ１のプログラム実行によって実現されるため、図７の各処理もＣＰＵ１のプログラム処理によって実現される。

まず、ステップＳ４０１において、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、画像生成部１０７から超音波３Ｄ画像を受け付ける。ステップＳ４０２においては、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、特徴部位候補の位置推定と名称識別を行う。処理速度を向上するため、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、超音波３Ｄ画像のサイズを縮小して、機械学習を用いて粗い解像度で特徴部位候補を探索する。特徴部位の位置推定と名称識別の方法としては、例えば、公知の機械学習の方法であるＨｏｕｇｈ Ｆｏｒｅｓｔ法を用いることができる。

つぎに、ステップＳ４０３においては、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、通常サイズの超音波３Ｄ画像から、探索された特徴部位候補の周囲局所領域である局所３Ｄ画像を取得する。ステップＳ４０４において、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、特徴部位候補の周囲局所領域において、詳細に特徴部位を探索と識別を行う。ここで、上述のＨｏｕｇｈ Ｆｏｒｅｓｔ法を用いることができる。また、より高精度な位置推定・識別結果が望ましい場合、公知の深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）方法である３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）法を用いることができる。

ステップＳ４０５においては、特徴部位位置推定・識別部２２は、ステップＳ４０４の探索で得られた特徴部位の識別スコアが、所定の閾値以下になる場合、その特徴部位を誤識別部位として除外する。ステップＳ４０６において、超音波３Ｄ画像の特徴部位位置推定・識別部２２は、識別された特徴部位の位置・名称情報を、超音波特徴部位情報２３として出力する。

続いて、図８に示すフローチャートを用いて、本実施例の超音波２Ｄ−３Ｄ画像位置合わせ部２５の処理を詳述する。超音波２Ｄ−３Ｄ画像位置合わせ部２５の処理も、ＣＰＵ１によるプログラム実行によって実現される。

ステップＳ３０１において、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、超音波３Ｄ画像取得部２１から超音波３Ｄ画像、超音波２Ｄ画像取得部２４から超音波２Ｄ画像を受け付けて、超音波３Ｄ画像の中から超音波２Ｄ画像の対応する３次元位置を大まかに推定する。すなわち、対応する超音波２Ｄ画像の初期位置を推定する。

図９には、超音波２Ｄ−３Ｄ画像位置合わせ部２５で用いる３次元初期位置候補の例を１５パターン示している。各パターン中にそれぞれの位置９１を示した。初期位置を推定する時に、機械学習を用いて超音波２Ｄ画像をこの１５パターンの識別器に入力し、一番高い識別スコアを得られるパターンの位置９１を超音波２Ｄ画像取得部２４から得られた超音波２Ｄ画像の初期位置とする。超音波２Ｄ−３Ｄ画像位置合わせ部２５は、超音波３Ｄ画像から超音波２Ｄ画像に対応する２Ｄ断面画像の３次元位置の候補を選択して初期位置として用い、超音波２Ｄ画像と前記超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像を算出する。

各パターンの識別器は学習で作成される。多数の超音波３Ｄ画像を学習データとして集めて、各々の超音波３Ｄ画像から、図９の各位置９１における２Ｄ断面画像を抽出し、その位置に対応するパターンの学習データとして作成する。また、学習データの数量と多様性を増やすために、図９の各位置９１から、ランダムかつ小範囲の平行移動と回転角度をさせて、２Ｄ断面画像を抽出し、その位置の学習データとして用いる。これによって、例えば、図９の１５パターンの３次元初期位置の学習データを作成でき、機械学習を用いて、各パターンの識別器を作成することが可能となる。機械学習の方法としては、例えば、公知のＡｄａｂｏｏｓｔ法や深層学習法を用いることができる。

ステップＳ３０２において、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、推定された超音波２Ｄ画像の初期位置から、超音波２Ｄ−３Ｄ画像位置合わせ用の幾何変換情報である平行移動と回転角度を推定する。ステップＳ３０３において、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、得られた平行移動と回転角度を用いて、超音波３Ｄ画像から超音波２Ｄ画像に対応する２Ｄ断面画像を構築する。

ステップＳ３０４において、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、超音波３Ｄ画像から得られた２Ｄ断面画像と、超音波２Ｄ画像取得部２４で取得された超音波２Ｄ画像の画像類似度評価関数の演算を行う。画像類似度としては、公知の相互情報量を使用することができる。

ステップＳ３０５において、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、超音波３Ｄ画像から得られた２Ｄ断面画像と、超音波２Ｄ画像の画像類似度が最大、あるいは極大となるような平行移動と回転角度を求めるため、収束計算を実施する。

ステップＳ３０６においては、画像類似度が収束していない場合は、より高い類似度を得るために、平行移動と回転角度を更新する。そして、更新された平行移動と回転角度を用いて、ステップＳ３０３〜Ｓ３０５を改めて実施する。

一方、ステップＳ３０５において類似度が収束している場合は、超音波２Ｄ−３Ｄ画像位置合わせ部２５は、ステップＳ３０７において求められた平行移動と回転角度情報、２Ｄ断面画像の位置等を出力することによって、図３の超音波２Ｄ−３Ｄ画像位置合わせ部２５の処理を完了することができる。

また、リアルタイムかつ連続的に取得した複数の超音波２Ｄ画像に対し、最初の超音波２Ｄ画像の位置合わせが完了した後の後続の超音波２Ｄ画像の位置合わせの初期位置は、前の時刻で取得した超音波２Ｄ画像の位置合わせ結果である平行移動と回転角度情報を用いることができる。すなわち、前の超音波２Ｄ画像の平行移動と回転角度を用いて、ステップＳ３０３〜Ｓ３０７の処理を行えば、リアルタイムな超音波２Ｄ−３Ｄ画像位置合わせが可能となる。

以上説明した通り、本実施例の超音波撮像装置によれば、患者体内の特徴部位の名称・位置と、特徴部位から超音波２Ｄ画像までの投影距離を示す距離関係を、超音波２Ｄ画像にリアルタイムに表示し、自動かつ正確な手術ナビゲーションを実現することが可能となる。

なお、実施例１の構成では、画像処理装置１０８を超音波撮像装置１００の内部に備える構成であったが、図１、図２に示す画像処理装置１０８を、超音波撮像装置１００とは別の装置とすることも可能である。その場合、画像処理装置１０８と超音波撮像装置１００とは、信号線やネットワークを介して接続する。例えば、画像処理装置１０８を一般的な計算機、あるいは、ワークステーションなどの処理装置に実装し、ネットワークを介して超音波撮像装置１００と接続する。

この場合、画像処理装置１０８は、特徴部位識別をする超音波３Ｄ画像、及び位置合わせする超音波２Ｄ画像は、ネットワークを介してクライアント端末である超音波撮像装置からそれぞれ受け取り、図７の特徴部位位置推定・識別処理と図８の画像位置合わせ処理を行う。そして、識別された特徴部位の名称と位置情報、および超音波２Ｄ−３Ｄ画像位置合わせ結果は、クライアント端末に送信する。これにより、比較的大きな演算量が必要な画像処理装置１０８を、クライアント端末である超音波撮像装置１００に搭載する必要がない。そのため超音波撮像装置１００は、ネットワークを介して接続された画像処理装置１０８の演算能力を用いて位置合わせ処理を行うことができるため、小型で簡素な超音波撮像装置でありながら、患者体内の特徴部位の名称と距離関係を、超音波２Ｄ画像にリアルタイムに表示可能な装置を提供できる。

以上説明したように、本実施例によれば、被検体を撮像した超音波３Ｄ画像から、所定の解剖学的な特徴部位に対し、位置推定と名称識別を行い、その部位と名称を手術中にリアルタイムに撮像した超音波２Ｄ画像との距離関係を含めて超音波２Ｄ画像に表示し、自動かつ正確な手術ナビゲーションを実現することが可能となる。

実施例１では、超音波３Ｄ画像から、所定の解剖学的な特徴部位に対し、位置推定と名称識別を行い、手術中にリアルタイムに撮像した超音波２Ｄ画像と超音波３Ｄ画像と位置合わせし、識別された特徴部位の位置・名称と、超音波２Ｄ画像との距離関係を、超音波２Ｄ画像上に表示した。実施例２は、この実施例１の構成に加えて更に、特徴部位の追加や修正、または位置合わせの幾何変換計算の修正を、ユーザ指示に基づいて実行することが可能な超音波撮像装置の実施例である。すなわち、超音波撮像装置であって、その画像処理装置は、超音波３Ｄ画像と、超音波３Ｄ画像以外の超音波探触子で撮像して得られた超音波３Ｄ画像とをつなぎ合わせして第２超音波３Ｄ画像を生成し、超音波２Ｄ画像と第２超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像に対応する第２超音波３Ｄ画像の２Ｄ断面画像の位置を算出し、特徴部位の位置と第２超音波３Ｄ画像の２Ｄ断面画像の位置を用いて、超音波２Ｄ画像上に特徴部位の位置、名称、および距離関係を表示する超音波撮像装置の実施例である。

また、画像処理装置であって、超音波３Ｄ画像と、超音波３Ｄ画像以外の超音波３Ｄ画像とをつなぎ合わせし、第２の超音波３Ｄ画像を生成する修正部を備え、特徴部位推定・識別部は、第２超音波３Ｄ画像から被検体の特徴部位を推定および識別し、画像位置合わせ部は、超音波２Ｄ画像と第２超音波３Ｄ画像との位置合わせを行い、超音波２Ｄ画像に対応する第２超音波３Ｄ画像の２Ｄ断面画像の位置を算出する画像処理装置、及びその画像処理方法の実施例である。なお、実施例２の説明において、実施例１と同じ構成及び処理については、同じ符号を付して説明を省略する。

＜構成及び動作＞
図１０は、実施例２における画像処理装置１０８の機能を示す機能ブロック図、図１１は実施例２におけるディスプレイの表示画面とボタン選択手段の一例を示す図である。図１０に示すように、本実施例の画像処理装置１０８は、超音波３Ｄ画像取得部２１と、超音波３Ｄ画像の特徴部位位置推定・識別部２２と、超音波２Ｄ画像取得部２４とを含む。また、画像処理装置１０８は、特徴部位の名称・位置の情報を示す超音波特徴部位情報２３と、超音波２Ｄ−３Ｄ画像位置合わせ部２５と、画像表示部２６に加え、更に特徴部位識別および位置合わせ結果の修正部２７とを含む。本実施例においても、画像表示部２６は、超音波２Ｄ画像を、図１１の(a)に一例を示すようにディスプレイ１６の画面に表示し、超音波特徴部位情報、及び特徴部位の超音波２Ｄ画像との距離関係などに基づき、識別された特徴部位の位置、名称１７Ａ、１８Ａ、特徴部位と超音波２Ｄ画像との距離関係をそのサイズで示すマーカ１７Ｂ、１８Ｂを画面上に表示する。

本実施例においては、図１１の(a)に一例を示すように、識別された特徴部位の位置、名称と、特徴部位と超音波２Ｄ画像との距離関係をディスプレイ１６に表示した状態で、特徴部位識別および位置合わせ結果の修正部２７は、ユーザが特徴部位識別および位置合わせが成功と判断するかどうかを尋ねる表示として、タッチパネル操作ボタン１９を表示する。すなわち、ボリューム追加、特徴部位手動修正、位置合わせ初期位置修正、位置合わせ詳細修正等のタッチパネル操作ボタン１９をディスプレイ１６に表示し、マウス等の入力装置１４のボタン選択手段を介して、ユーザの判断を受け付ける。ユーザが、特徴部位識別と位置合わせが成功であると入力装置１４を介して入力した場合には、位置合わせ処理は終了である。なお、このボタン選択手段としては、入力装置１４とタッチパネル操作ボタン１９に代え、トラックボールや、図１５の(b)に示したような術中に使うためのＵＳＢケーブル２０Ｂで接続されたフットスイッチ２０Ａを利用することができる。

一方、ユーザが、特徴部位識別と位置合わせが不成功と判断して入力した場合には、本実施例の特徴部位識別および位置合わせ結果の修正部２７は、特徴部位識別と位置合わせの修正処理を実行する。

特徴部位識別および位置合わせ結果の修正部２７は、ユーザが追加で超音波ボリュームを取得すると判断するかどうかを尋ねる表示をディスプレイ１６に表示し、入力装置１４やタッチパネル操作ボタン１９を介して、ユーザの判断を受け付ける。ユーザが特徴部位の情報が不足と判断し、上述した超音波３Ｄ画像以外に超音波探触子から１以上の超音波３Ｄ画像を追加取得すると、入力装置１４やタッチパネル操作ボタン１９を介して入力した場合には、超音波撮像装置１００は超音波３Ｄ画像を追加取得する。そして、特徴部位識別および位置合わせ結果の修正部２７は、追加取得した超音波３Ｄ画像と元の超音波３Ｄ画像とつなぎ合わせ、すなわちスティッチングを行い、合成された１つの超音波３Ｄ画像、すなわち第２超音波３Ｄ画像を生成する。スティッチング処理の方法としては、例えば、非特許文献１に記載の方法を用いることができる。

特徴部位識別および位置合わせ結果の修正部２７は、スティッチング処理により生成された第２超音波３Ｄ画像を用いて、前述の図７の特徴部位識別、および前述の図８の超音波２Ｄ−３Ｄ画像位置合わせ処理を実行する。特徴部位識別処理、および位置合わせ処理は実施例１と同様であるので説明は省略する。

一方、ユーザが、超音波３Ｄ画像を追加取得しないで、手動で修正すると判断・入力する場合、図６にその一例を示した超音波特徴部位情報２３、すなわち超音波３Ｄ画像の特徴部位の位置と名称を、ユーザが入力装置１４等を使って手動で修正する。特徴部位識別および位置合わせ結果の修正部２７は、修正済の３Ｄ画像特徴部位の位置・名称情報を受け付けて、画像表示部２６に出力する。画像表示部２６は、前述の図４のステップ２０５の画像表示処理を実行する。

また、ユーザが、入力装置１４やタッチパネル操作ボタン１９を介して、位置合わせ初期位置修正と判断・入力する場合、特徴部位識別および位置合わせ結果の修正部２７は、ディスプレイ１６に、例えば図９の位置合わせ初期位置パターンを表示し、ユーザの選択を受け付ける。ユーザは、選択した位置合わせ初期位置パターンを手動で微修正することもできる。そして、ユーザは修正済の位置合わせ初期位置から、超音波２Ｄ画像を取得する。特徴部位識別および位置合わせ結果の修正部２７は、修正済の位置合わせ初期位置パターンと超音波２Ｄ画像を受け付けて、図８のステップＳ３０２〜Ｓ３０７の処理を実行する。

さらに、ユーザが、入力装置１４やタッチパネル操作ボタン１９を介して、位置合わせ詳細修正と判断・入力する場合、特徴部位識別および位置合わせ結果の修正部２７は、超音波２Ｄ画像取得部２４からの超音波２Ｄ画像と、当該超音波２Ｄ画像に対応する超音波３Ｄ画像の２Ｄ断面画像をディスプレイ１６に重畳して表示する。ユーザは、２Ｄ断面画像の位置や回転角度を手動で調整しながら、超音波２Ｄ画像との位置合わせを修正する。特徴部位識別および位置合わせ結果の修正部２７は、修正済の位置合わせ結果を受け付けて、画像表示部２６に出力する。

そして、画像表示部２６は、前述の図４のステップ２０５の画像表示処理を実行する。なお、本実施例においても、画像表示部２６はチェックボックス２８のユーザ選択により、ユーザが必要とする場合に特徴部位の名称１７Ａ、１８Ａと、マーカ１７Ｂ、１８Ｂを表示することができる。

以上のように、本実施例では、ユーザ指示に基づいて、特徴部位の追加もしくは修正、そして位置合わせの座標変換情報の再計算を実行することが可能な超音波撮像装置を構成することができる。

実施例３は、超音波探触子が位置センサを備え、画像生成部は、超音波２Ｄ画像と、位置センサから得た超音波探触子の位置情報から超音波３Ｄ画像を生成する構成の超音波撮像装置の実施例である。実施例１では、複数回超音波の送受信により生成した超音波３Ｄ画像から、所定の解剖学的な特徴部位に対し位置推定と名称識別を行い、手術中にリアルタイムに撮像した超音波２Ｄ画像と超音波３Ｄ画像と位置合わせし、識別された特徴部位の位置・名称と超音波２Ｄ画像との距離関係を、超音波２Ｄ画像上に表示した。実施例３では、超音波探触子に位置センサを取り付け、超音波探触子の受信信号から超音波画像を生成するとともに、超音波画像と位置センサから得た超音波探触子の位置情報から超音波３Ｄ画像を生成し、この超音波３Ｄ画像から、所定の解剖学的な特徴部位に対し、位置推定と名称識別を行う。

更に、実施例３では、手術中にリアルタイムに超音波２Ｄ画像を撮像する際に、超音波探触子の位置センサからの位置情報を用いて、超音波２Ｄ画像と超音波３Ｄ画像と位置合わせし、識別された特徴部位の位置、名称、及び超音波２Ｄ画像との距離関係を、超音波２Ｄ画像上に表示する。なお、本実施例の説明においても、実施例１と同じ構成及び処理については、同じ符号を付して説明を省略する。

＜構成及び動作＞
図１２は、実施例３の超音波撮像装置の一構成例を示す。また、図１３は、本実施例３における画像処理装置１０８とユーザインタフェース１２１のハードウェア構成例を示すブロック図である。図１２、図１３においては、実施例１の構成に更に位置検出ユニット６と位置センサ８を加える。位置検出ユニット６は、位置センサ８の出力から、超音波探触子７の位置を検出する。例えば、位置検出ユニット６として、磁気センサユニットを用いることができる。位置検出ユニット６は、磁場空間を形成し位置センサ８である磁気センサが磁場を検出することにより、基準点となる位置からの座標、すなわち超音波探触子の位置情報を検出することができる。

実施例１と同様に、実施例３の画像処理装置１０８の機能例を示す機能ブロック図は図３である。また、図３に示した実施例３における画像処理装置１０８の動作処理は図４のフローチャートに示す通りである。

実施例３における画像生成部１０７は、超音波探触子７の受信信号から超音波画像を生成するとともに、超音波画像と位置センサ８から得た超音波探触子の位置情報から超音波３Ｄ画像を生成する。実施例３における図４のステップＳ２０４において、超音波２Ｄ-３Ｄ画像位置合わせ部２５は、超音波３Ｄ画像に付与した超音波探触子の位置情報と、手術中にリアルタイムに撮像した超音波２Ｄ画像に付与した超音波探触子の位置情報を用いて、位置合わせを行うための位置合わせ変換行列を算出する。実施例３におけるそれ以外の処理は、実施例１と同様である。

以上のように、実施例３では、超音波探触子に位置センサを取り付け、超音波探触子の受信信号から超音波画像を生成するとともに、超音波画像と位置センサから得た超音波探触子の位置情報から超音波３Ｄ画像を生成し、超音波３Ｄ画像から、所定の解剖学的な特徴部位に対し、位置推定と名称識別を行う。更に、手術中にリアルタイムに超音波２Ｄ画像を撮像する際に、超音波探触子の位置情報を用いて、超音波２Ｄ画像と超音波３Ｄ画像と位置合わせし、識別された特徴部位の位置、名称、及び超音波２Ｄ画像との距離関係の情報を、超音波２Ｄ画像上に表示することが可能な超音波撮像装置を構成することができる。

以上詳述した本発明は、超音波３Ｄ画像から、所定の解剖学的な特徴部位の位置推定と名称識別を行い、超音波３Ｄ画像と、リアルタイムで撮像した超音波２Ｄ画像である超音波スキャン面の２次元画像との位置合わせを行い、超音波２Ｄ画像に特徴部位の位置を投影し、特徴部位と超音波２Ｄ画像との距離関係を算出し、当該超音波２Ｄ画像に特徴部位の位置、名称、及び超音波２Ｄ画像との距離関係の情報を表示する超音波撮像装置を提供することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。上述した通り、本発明は、超音波撮像装置に限定されるものでなく、ネットワークを介して超音波撮像装置と接続された画像処理装置、及びその画像処理方法として実現することができることは言うまでもない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

更に、上述した各構成、機能、画像処理装置等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良い。

１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ 記憶装置
５ バス
６ 位置検出ユニット
７ 超音波探触子
８ 位置センサ
１０ 画像撮像装置
１１ 媒体入力部
１２ 記憶媒体
１３ 入力制御部
１４ 入力装置
１５ 表示制御部
１６ ディスプレイ
１７Ａ、１８Ａ 名称
１７Ｂ、１８Ｂ マーカ
１９ タッチパネル操作ボタン
２０Ａ フットスイッチ
２０Ｂ ＵＳＢケーブル
２１ 超音波３Ｄ画像取得部
２２ 超音波３Ｄ画像の特徴部位位置推定・識別部
２３ 超音波特徴部位情報
２４ 超音波２Ｄ画像取得部
２５ 超音波２Ｄ−３Ｄ画像位置合わせ部
２６ 画像表示部
２７ 特徴部位識別および位置合わせ結果の修正部
２８ チェックボックス
５０ 立方体
９１ 位置
１００ 超音波撮像装置
１０１ 送受切替部
１０２ 送信部
１０５ 受信部
１０６ 制御部
１０７ 画像生成部
１０８ 画像処理装置
１２０ ユーザ
１２１ ユーザインタフェース（ＵＩ）

Claims (5)

1. 超音波撮像装置であって、
   被検体に超音波を送信し、前記被検体からの超音波を受信する超音波探触子と、
   前記超音波探触子の受信信号から超音波２次元（２Ｄ）画像を生成し、複数回の超音波の送受信により超音波３次元（３Ｄ）画像を生成する画像生成部と、
   前記超音波２Ｄ画像と、前記超音波３Ｄ画像を受け取って処理する画像処理装置と、を備え、
   前記画像処理装置は、
   前記超音波３Ｄ画像から前記被検体の特徴部位を推定および識別し、
   前記超音波２Ｄ画像と前記超音波３Ｄ画像との位置合わせを行い、
   前記超音波２Ｄ画像上に、前記特徴部位の情報を表示し、
   前記特徴部位の情報は、前記特徴部位の位置、名称、および前記超音波２Ｄ画像との距離関係であり、
   前記画像処理装置は、前記超音波３Ｄ画像から前記特徴部位の位置、名称を推定および識別する特徴部位位置推定・識別部と、前記超音波２Ｄ画像と前記超音波３Ｄ画像との位置合わせを行う画像位置合わせ部と、前記特徴部位位置推定・識別部で推定および識別された前記特徴部位の位置を修正する修正部と、を有し、
   前記画像位置合わせ部は、前記超音波２Ｄ画像に対応する前記超音波３Ｄ画像の２Ｄ断面画像の位置を算出し、前記修正部は、前記画像位置合わせ部で算出した、前記超音波２Ｄ画像に対応する前記超音波３Ｄ画像の前記２Ｄ断面画像の位置を修正する、
   ことを特徴とする超音波撮像装置。
2. 請求項１に記載の超音波撮像装置であって、
   前記超音波２Ｄ画像を表示する画像表示部を備え、
   前記画像表示部は、
   前記特徴部位の位置と前記２Ｄ断面画像の位置を用いて、前記超音波２Ｄ画像との距離関係を算出し、前記特徴部位の位置、名称、および前記超音波２Ｄ画像との距離関係を、前記超音波２Ｄ画像上に表示する、
   ことを特徴とする超音波撮像装置。
3. 請求項２に記載の超音波撮像装置であって、
   前記画像表示部は、
   前記超音波２Ｄ画像と、前記２Ｄ断面画像とを重畳した画像を表示する、
   ことを特徴とする超音波撮像装置。
4. 請求項１に記載の超音波撮像装置であって、
   前記画像位置合わせ部は、
   前記超音波３Ｄ画像から前記超音波２Ｄ画像に対応する２Ｄ断面画像の３次元位置の候補を選択して初期位置として用い、前記超音波２Ｄ画像と前記超音波３Ｄ画像との位置合わせを行い、前記超音波２Ｄ画像に対応する前記超音波３Ｄ画像の２Ｄ断面画像を算出する、
   ことを特徴とする超音波撮像装置。
5. 請求項１に記載の超音波撮像装置であって、
   前記画像処理装置は、
   前記超音波３Ｄ画像と、前記超音波３Ｄ画像以外の前記超音波探触子で撮像して得られた超音波３Ｄ画像とをつなぎ合わせして、第２超音波３Ｄ画像を生成し、
   前記超音波２Ｄ画像と前記第２超音波３Ｄ画像との位置合わせを行い、前記超音波２Ｄ画像に対応する前記第２超音波３Ｄ画像の２Ｄ断面画像の位置を算出し、
   前記特徴部位の位置と前記第２超音波３Ｄ画像の２Ｄ断面画像の位置を用いて、前記超音波２Ｄ画像上に前記特徴部位の位置、名称、および距離関係を表示する、
   ことを特徴とする超音波撮像装置。

Images