JP6566420B2 - 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム - Google Patents

Description

本発明は、手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラムに関する。

従来、手術ナビゲーションシステムとしては、網膜投影型ヘッドマウントディスプレイ装置（ＲＰＨＭＤ装置）によってインプラントの三次元シミュレーションイメージ情報を術者の網膜に投影させて患者の術部に重ね合わせるものが提案されている（例えば、特許文献１参照）。このシステムでは、患者の口腔内に固定される第１マーカとＲＰＨＭＤ装置に固定される第２マーカとの三次元位置姿勢を測定し、第１マーカおよび第２マーカの三次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置と、を用いてインプラントの三次元シミュレーションイメージ情報を三次元座標系から術者視野座標系に変換し、変換後の三次元シミュレーションイメージ情報をＲＰＨＭＤ装置によって術者の網膜に投影させて患者の術部に重ね合わせる。

また、手術ナビゲーションシステムとしては、患者と手術具とをトラッキングする複眼カメラによって撮影した三次元画像を用いて手術ナビゲーション用の三次元画像を作成し、作成した三次元画像を患者の術部に重ね合わせるものも提案されている（例えば、非特許文献１参照）。このシステムでは、マーカを必要とせず、患者のトラッキングと三次元の輪郭マッチングとによって手術ナビゲーション用の三次元画像を作成し、作成した三次元画像を三次元ディスプレイに表示してハーフミラーを介して患者の術部に重ね合わせる。

特開２０１０−２５９４９７号公報

J. Wang, H. Suenaga, K. Hoshi, L. Yang, E. Kobayashi, I. Sakuma and H. Liao, "Augmented Reality Navigation With Automatic Marker-Free Image Registration Using 3-D Image Overlay for Dental Surgery", IEEE Trans. Biomed. Eng., Vol. 61, No. 4, 1295-1304, 2014

前者のシステムでは、口腔内にマーカを固定する必要があり、マーカが、患者に負担を与えたり、手術の妨害になったりする可能性がある。また、後者のシステムでは、複眼カメラが必要となり、現状、手術室には複眼カメラでなく単眼カメラが設置されていることが多いことから、複眼カメラを用いた上述のシステムを新たに導入しないと、リアルタイムでの手術情報のナビゲーションを行なえない。

本発明の手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラムは、マーカを用いずに且つ単眼カメラを用いた手術ナビゲーションを可能とすることを主目的とする。

本発明の手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラムは、上述の主目的を達成するために以下の手段を採った。

本発明の手術ナビゲーションシステムは、
手術位置を含む手術情報のナビゲーションを行なう手術ナビゲーションシステムであって、
患者または該患者の三次元モデルにおける位置合わせ部を含む第１部分に対する視点と該視点から前記第１部分を見たときの画像である視点対応画像との複数の組が、階層が高いほど前記視点の数が少なくなると共に前記視点対応画像の解像度が低くなるように所定規則に従って階層的にクラスタリングされた、クラスタリング情報を記憶する記憶手段と、
前記患者の前記位置合わせ部を含む第２部分を撮影するための単眼カメラと、
前記単眼カメラによって撮影された撮影画像の解像度を前記クラスタリング情報の各階層の解像度に変換して複数の比較用画像を作成する比較用画像作成手段と、
前記クラスタリング情報における階層が最も高い初回階層から該初回階層よりも階層が低い最終階層まで、前記初回階層では、前記視点対応画像が前記比較用画像と類似する視点を探索し、前記初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、前記視点対応画像が前記比較用画像と類似する視点を探索する視点探索手段と、
前記最終階層で探索した視点に基づいて代表視点を設定し、前記単眼カメラに対する前記第２部分の前記位置合わせ部の位置および姿勢を前記代表視点に対する前記第１部分の前記位置合わせ部の位置および姿勢として復元し、該復元後の前記第１部分の前記位置合わせ部に対する前記手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、該ナビゲーション画像を出力する出力手段と、
を備えることを要旨とする。

この本発明の手術ナビゲーションシステムでは、患者またはその患者の三次元モデルにおける位置合わせ部を含む第１部分に対する視点とその視点から第１部分を見たときの画像である視点対応画像との複数の組が、階層が高いほど視点の数が少なくなると共に視点対応画像の解像度が低くなるように所定規則に従って階層的にクラスタリングされた、クラスタリング情報を記憶手段に記憶させておく。そして、手術時には、まず、単眼カメラによって患者の位置合わせ部を含む第２部分を撮影し、その撮影画像の解像度をクラスタリング情報の各階層の解像度に変換して複数の比較用画像を作成する。続いて、クラスタリング情報における階層が最も高い初回階層から初回階層よりも階層が低い最終階層まで、初回階層では、視点対応画像が比較用画像と類似する視点を探索し、初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、視点対応画像が比較用画像と類似する視点を探索する。そして、最終階層で探索した視点に基づいて代表視点を設定し、単眼カメラに対する第２部分の位置合わせ部の位置および姿勢を代表視点に対する第１部分の位置合わせ部の位置および姿勢として復元し、復元後の第１部分の位置合わせ部に対する手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、ナビゲーション画像を出力する。こうした方法により、マーカを用いずに且つ単眼カメラを用いて手術ナビゲーションを行なうことができる。そして、視点の数が少なく視点対応画像の解像度が低い階層から順に視点対応画像が比較用画像と類似する視点を探索し、且つ、初回階層以外の階層では直前の階層で探索した視点とつながりを有するクラスタに属する視点のみから視点対応画像が比較用画像と類似する視点を探索することにより、単眼カメラによって撮影を行なってから最終階層で視点を探索するまでに要する時間を短くすることができる。

ここで、ナビゲーション画像の出力方法としては、患者の術部に投影する（重ね合わせる）方法，単眼カメラによって撮影された画像に重ね合わせてディスプレイに表示する方法，手術用顕微鏡の接眼レンズ或いは透過型のヘッドマウントディスプレイのディスプレイなどに患者の術部と重なるように投影する方法などが考えられる。

本発明の手術ナビゲーションシステムにおいて、前記クラスタリング情報は、前記複数の組が前記所定規則としての前記視点対応画像の類似度によって階層的にクラスタリングされた階層的アスペクトグラフであるものとしてもよい。こうすれば、クラスタリング情報を、視点対応画像の類似度によって視点が階層的にクラスタリングされた情報とすることができる。即ち、各クラスタを、視点対応画像の類似度が高い視点の集合とすることができる。この結果、初回階層から最終階層までの各階層で、視点対応画像が比較用画像と類似する視点を探索する際に、比較用画像との類似度が比較的高い視点対応画像に対応する視点が判定対象から外れる（直前の階層で探索した視点とつながりを有するクラスタに属さない）のを抑制し、視点の探索精度を向上させることができる。

本発明の手術ナビゲーションシステムにおいて、前記クラスタリング情報は、前記複数の組が、階層が高いほど前記視点対応画像の解像度が一定比率で低くなるように階層的にクラスタリングされた情報であるものとしてもよい。ここで、一定比率は、例えば、４分の１，９分の１，１６分の１などとすることができる。

本発明の手術ナビゲーションシステムにおいて、前記視点探索手段は、前記視点対応画像が前記比較用画像と類似しているか否かの判定を、前記視点対応画像の前記位置合わせ部を含む所定領域と前記比較用画像の前記所定領域との比較によって行なう手段であるものとしてもよい。こうすれば、視点に対応する画像が比較用画像と類似しているか否かの判定をより短い時間で行なうことができる。

本発明の手術ナビゲーションシステムにおいて、前記視点探索手段は、前記視点対応画像に回転，平行移動，倍率変更の少なくとも１つの補正処理を施すことによって前記比較用画像に対する位置合わせを行なってから前記視点対応画像が前記比較用画像と類似しているか否かを判定する手段であり、前記出力手段は、前記最終階層で探索した視点である最終探索視点に対応する視点対応画像に対する前記補正処理の内容に応じて、前記代表視点に対する前記第１部分の前記位置合わせ部の位置および姿勢を復元する手段であるものとしてもよい。こうすれば、代表視点に対する第１部分の位置合わせ部の位置および姿勢をより適切に復元することができる。

本発明の手術ナビゲーションシステムにおいて、前記位置合わせ部は、歯であるものとしてもよい。この場合、口腔外科手術などに特に有効である。

本発明の手術ナビゲーション方法は、
患者または該患者の三次元モデルにおける位置合わせ部を含む第１部分に対する視点と該視点から前記第１部分を見たときの画像である視点対応画像との複数の組が、階層が高いほど前記視点の数が少なくなると共に前記視点対応画像の解像度が低くなるように所定規則に従って階層的にクラスタリングされた、クラスタリング情報と、
単眼カメラによって撮影された、前記患者の前記位置合わせ部を含む第２部分の撮影画像と、
を用いて手術位置を含む手術情報のナビゲーションを行なう手術ナビゲーション方法であって、
（ａ）前記撮影画像の解像度を前記クラスタリング情報の各階層の解像度に変換して複数の比較用画像を作成するステップと、
（ｂ）前記クラスタリング情報における階層が最も高い初回階層から該初回階層よりも階層が低い最終階層まで、前記初回階層では、前記視点対応画像が前記比較用画像と類似する視点を探索し、前記初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、前記視点対応画像が前記比較用画像と類似する視点を探索するステップと、
（ｃ）前記最終階層で探索した視点に基づいて代表視点を設定し、前記単眼カメラに対する前記第２部分の前記位置合わせ部の位置および姿勢を前記代表視点に対する前記第１部分の前記位置合わせ部の位置および姿勢として復元し、該復元後の前記第１部分の前記位置合わせ部に対する前記手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、該ナビゲーション画像を出力するステップと、
を含むことを要旨とする。

この本発明の手術ナビゲーション方法では、患者またはその患者の三次元モデルにおける位置合わせ部を含む第１部分に対する視点とその視点から第１部分を見たときの画像である視点対応画像との複数の組が、階層が高いほど視点の数が少なくなると共に視点対応画像の解像度が低くなるように所定規則に従って階層的にクラスタリングされた、クラスタリング情報を準備する。そして、手術時には、まず、単眼カメラによって撮影された患者の位置合わせ部を含む第２部分の撮影画像の解像度をクラスタリング情報の各階層の解像度に変換して複数の比較用画像を作成する。続いて、クラスタリング情報における階層が最も高い初回階層から初回階層よりも階層が低い最終階層まで、初回階層では、視点対応画像が比較用画像と類似する視点を探索し、初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、視点対応画像が比較用画像と類似する視点を探索する。そして、最終階層で探索した視点に基づいて代表視点を設定し、単眼カメラに対する第２部分の位置合わせ部の位置および姿勢を代表視点に対する第１部分の位置合わせ部の位置および姿勢として復元し、復元後の第１部分の位置合わせ部に対する手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、ナビゲーション画像を出力する。こうした方法により、マーカを用いずに且つ単眼カメラを用いて手術ナビゲーションを行なうことができる。そして、視点の数が少なく視点対応画像の解像度が低い階層から順に視点対応画像が比較用画像と類似する視点を探索し、且つ、初回階層以外の階層では直前の階層で探索した視点とつながりを有するクラスタに属する視点のみから視点対応画像が比較用画像と類似する視点を探索することにより、単眼カメラによって撮影を行なってから最終階層で視点を探索するまでに要する時間を短くすることができる。

本発明のプログラムは、上述の手術ナビゲーション方法の各ステップをコンピュータに実現させるためのプログラムである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばＳＳＤ，ハードディスク，ＲＯＭ，ＦＤ，ＣＤ，ＤＶＤなど）に記録されているものとしてもよいし、伝送媒体（インターネット，ＬＡＮなどの通信網）を介して或るコンピュータから他のコンピュータに配信されるものとしてもよい。このプログラムをコンピュータに実行させれば、上述の手術ナビゲーション方法の各ステップが実現されることから、手術ナビゲーション方法と同様の作用効果を奏することができる。

本発明の一実施例としての手術ナビゲーションシステム２０の構成の概略を示す構成図である。 クラスタリング情報作成プログラム４５の一例を示すフローチャートである。 三次元モデルを中心に配置して視点を設定する様子を示す説明図である。 三次元モデルに対する各視点の位置を示す説明図である。 或る視点からの三次元モデルのバーチャル画像を示す説明図である。 図５のバーチャル画像から作成した投影画像を示す説明図である。 各階層の各視点を示す説明図である。 階層的アスペクトグラフの一部を示す説明図である。 手術ナビゲーションプログラム３５の一例を示すフローチャートである。 各階層で投影画像が比較用画像と類似する視点を探索する様子を示す説明図である。 投影画像と比較用画像とが類似しているか否かを判定する際の手順を示す説明図である。 実施例の方法によってナビゲーション画像を作成して単眼カメラ２２による撮影画像に重ね合わせた実験結果の様子を示す説明図である。 実施例の方法によってナビゲーション画像を作成して単眼カメラ２２による撮影画像に重ね合わせた実験結果の様子を示す説明図である。

次に、本発明を実施するための形態を実施例を用いて説明する。

図１は、本発明の一実施例としての手術ナビゲーションシステム２０の構成の概略を示す構成図である。実施例の手術ナビゲーションシステム２０は、図示するように、患者を撮影するための単眼カメラ２２と、ハーフミラー２６を介して画像を患者の術部に投影するためのディスプレイ２４と、画像を表示するディスプレイ２８と、演算処理装置としてのコンピュータ３０，４０と、を備える。単眼カメラ２２，ディスプレイ２４，ハーフミラー２６，コンピュータ３０は、手術室に配置され、コンピュータ４０は、手術前にシミュレーションが行なわれる場所などに配置される。なお、この手術ナビゲーションシステム２０は、実施例では、口腔，顎，顔面などに関する口腔外科手術に用いられるものとした。

コンピュータ３０は、汎用コンピュータにアプリケーションソフトウェアとしての手術ナビゲーションプログラム３５がインストールされたものとして構成されている。このコンピュータ３０は、ＣＰＵ３１，ＲＯＭ３２，ＲＡＭ３３，ＳＳＤ３４，グラフィックプロセッサ（ＧＰＵ），システムバス，入出力ポート，通信ポートなどを備える。そして、ＳＳＤ３４に手術ナビゲーションプログラム３５が記憶されている。コンピュータ３０には、単眼カメラ２２，ディスプレイ２４，２８，キーボード，マウスなどが接続されており、コンピュータ３０は、コンピュータ４０と通信可能である。

コンピュータ４０は、汎用コンピュータにアプリケーションソフトウェアとしてのクラスタリング情報作成プログラム４５がインストールされたものとして構成されている。このコンピュータ４０は、ＣＰＵ４１，ＲＯＭ４２，ＲＡＭ４３，ＳＳＤ４４，グラフィックプロセッサ（ＧＰＵ），システムバス，入出力ポート，通信ポートなどを備える。そして、ＳＳＤ４４にクラスタリング情報作成プログラム４５が記憶されている。また、コンピュータ４０には、ディスプレイ，キーボード，マウスなどが接続されており、コンピュータ４０は、コンピュータ３０と通信可能である。

次に、実施例の手術ナビゲーションシステム２０の動作、特に、コンピュータ４０によるクラスタリング情報作成プログラム４５の処理およびコンピュータ３０による手術ナビゲーションプログラム３５の処理について説明する。基本的に、クラスタリング情報作成プログラム４５は、手術前に術者などのユーザによって実行が指示され、手術ナビゲーションプログラム３５は、手術時（手術の開始直前）にユーザによって実行が指示される。以下、順に説明する。

図２は、クラスタリング情報作成プログラム４５の一例を示すフローチャートである。クラスタリング情報作成プログラム４５は、ユーザによって実行が指示されたときに、ＣＰＵ４１によって、ＳＳＤ４４から読み出されてＲＡＭ４３に書き込まれて実行される。なお、実施例では、このプログラムの実行前に、術者などによって、患者のＣＴ（Computed Tomography）データなどを用いて位置合わせ部としての歯を含む頭部の三次元モデルが作成され、その三次元モデルに手術情報が付加され、手術前のシミュレーション（手術計画の作成）などが行なわれるものとした。ここで、位置合わせ部としては、上顎などの頭蓋顔面の手術時には、上顎の歯を用いるのが好ましく、下顎の手術時には、下顎の歯を用いるのが好ましい。また、手術情報としては、ＣＴなどの三次元画像に加えて、穿孔位置，切断位置，切断面，切除位置，移植位置，血管・神経の位置などが考えられる。

クラスタリング情報作成プログラム４５が実行されると、ＣＰＵ４１は、まず、歯を含む頭部の三次元モデルに対して複数の視点を設定し、各視点から三次元モデルを見たときのバーチャル画像をＣＧ（Computer Graphics）でレンダリングし、各視点と各バーチャル画像とを関連づける（ステップＳ１００）。図３は、三次元モデルを中心（ｘ軸，ｙ軸，ｚ軸を３軸とする直交座標系の中心）に配置して視点を設定する様子を示す説明図であり、図４は、三次元モデルに対する各視点の位置を示す説明図であり、図５は、或る視点からの三次元モデルのバーチャル画像を示す説明図である。なお、図３〜図５では、患者の三次元モデルではなく、模型の三次元モデルを用いた場合を図示した。図３中、「ＳＣＳ」は、球面座標系（Spherical Coordinates System）であることを示し、「ｒ」は、中心から視点までの距離を示し、「φ」は、視点をｚｘ平面に投影した位置のｚ軸に対する角度（ｘ軸側を正）を示し、「θ」は、視点のｚｘ平面に対する角度（ｙ軸側を正）を示す。各視点の範囲としては、例えば、１．２ｍ≦ｒ≦１．４ｍ，−３０°≦φ≦３０°，−３０°≦θ≦３０°などとすることができる。

続いて、各バーチャル画像から三次元モデルの投影形状を抽出して二次元の投影画像を作成し、各視点と各投影画像とを関連づける（ステップＳ１１０）。図６は、図５のバーチャル画像から作成した投影画像を示す説明図である。この処理により、画像のデータ量を低減することができる。

そして、クラスタリング情報を作成し、このクラスタリング情報をＳＳＤ４４に記憶させて（ステップＳ１２０）、本ルーチンを終了する。実施例では、クラスタリング情報として、階層的アスペクトグラフを作成するものとした。アスペクトは、投影画像が類似する少なくとも１つの視点を含むクラスタを意味する。階層的アスペクトグラフの作成は、視点と投影画像との複数の組を、階層が高いほど視点の数が少なくなると共に投影画像の解像度が一定比率で低くなるように、階層が高くなるに従って視点および投影画像を作成しながら、投影画像の類似度によって視点を階層的にクラスタリングする、ことによって行なう。２つの投影画像が類似しているか否かの判定は、例えば、２つの投影画像における画素値（例えば輝度）のズレが所定差分以下となる画素数（以下、「類似画素数」という）が所定画素数以上となるか否かによって行なうことができる。一定比率は、例えば、４分の１，９分の１，１６分の１などとすることができる。投影画像の解像度の低減（ダウンサンプリング）は、例えば、ニアレストネイバー法，バイリニア法，バイキュービック法などによって行なうことができる。

図７は、各階層の各視点を示す説明図であり、図８は、階層的アスペクトグラフの一部を示す説明図である。図８の丸印は、視点を示す。実施例では、図７，図８に示すように、第０階層から第５階層までの６つの階層の階層的アスペクトグラフを作成するものとした。第０階層ではステップＳ１００の処理で設定した視点（および視点に対応する投影画像）を、第１〜第４階層では１つ低い階層のクラスタから作成された視点（および投影画像）を、投影画像の類似度によって（投影画像が類似する視点をクラスタとして）複数のクラスタに分けて、各クラスタの視点（および投影画像）から１つ高い階層の視点および投影画像を作成し、階層間で関連づける。この際、現在の階層において、１つの視点が属するクラスタについては、その１つの視点およびその視点に対応し且つ解像度を低くした投影画像を１つ高い階層の視点および投影画像として作成し、複数の視点が属するクラスタについては、その複数の視点の平均座標の新たな視点およびその新たな視点に対応し且つ解像度を低くした投影画像を１つ高い階層の視点および投影画像として作成する。なお、各階層の解像度は、例えば、第０階層の解像度を２０４８×２０４８，第１層の解像度を１０２４×１０２４，・・・，第５階層の解像度を６４×６４などとすることができる。

次に、コンピュータ３０による手術ナビゲーションプログラム３５の処理について説明する。図９は、手術ナビゲーションプログラム３５の一例を示すフローチャートである。手術ナビゲーションプログラム３５は、ユーザによって実行が指示されたときに、ＣＰＵ３１によって、ＳＳＤ３４から読み出されてＲＡＭ３３に書き込まれて、その後、単眼カメラ２２から撮影画像を受信する毎に実行される。なお、実施例では、このプログラムの実行前に、術者等が、コンピュータ４０のＳＳＤ４４に記憶されているクラスタリング情報のファイルをコンピュータ３０のＳＳＤ３４にコピー或いは移動させるものとした。また、単眼カメラ２２では、患者の位置合わせ部としての歯の付近を撮影するものとした。

手術ナビゲーションプログラム３５が実行されると、ＣＰＵ３１は、まず、単眼カメラ２２によって撮影された二次元の撮影画像を入力し（ステップＳ２００）、その撮影画像の解像度を階層的アスペクトグラフの各階層の画像の解像度に変換して複数の比較用画像を作成する（ステップＳ２１０）。実施例では、第０階層から第５階層までの６つの階層の階層的アスペクトグラフを作成するものとしたから、この第０階層から第５階層までの各解像度の比較用画像を作成することになる。

続いて、クラスタリング情報（階層的アスペクトグラフ）における階層が最も高い初回階層から最も低い最終階層まで、順に、投影画像が比較用画像と類似する視点を探索する（ステップＳ２２０）。図１０は、各階層で投影画像が比較用画像と類似する視点を探索する様子を示す説明図である。図中、実線丸印は、判定対象の視点（投影画像が比較用画像と類似するか否かの判定を行なった視点）を示し、点線丸印は、判定対象でない視点を示す。そして、実線丸印のうち、ハッチングありは探索した視点を示し、ハッチングなしは探索しなかった視点を示す。また、図中、太線矢印の基端側は、上側の階層で探索した視点を示し、先端側は、上側の階層で探索した視点とつながりを有するクラスタに属する視点を示す。初回階層（第５階層）では、初回階層に属する全ての視点を判定対象の視点とし、この判定対象の視点から、投影画像が比較用画像と類似する視点を探索する。また、初回階層以外の各階層（第４階層〜第０階層）では、直前の階層で探索した視点とつながりを有するクラスタに属する視点を判定対象の視点とし、この判定対象の視点から、投影画像が比較用画像と類似する視点を探索する。したがって、（１）初回階層以外の各階層で、直前の階層で探索した視点とつながりを有するクラスタに属する視点のみを判定対象の視点とすること、（２）階層が高いほど投影画像および比較用画像の解像度を低くしたこと、などにより、単眼カメラ２２による画像の撮影から最終階層（第０階層）での視点の探索までに要する時間を短くすることができる。また、各クラスタを投影画像の類似度が高い視点の集合としたことにより、初回階層から最終階層までの各階層で、投影画像が比較用画像と類似する視点を探索する際に、比較用画像との類似度が比較的高い投影画像に対応する視点が判定対象から外れる（直前の階層で探索した視点とつながりを有するクラスタに属さない）のを抑制し、視点の探索精度を向上させることができる。

ここで、投影画像と比較用画像とが類似しているか否かの判定は、以下の方法によって行なう。図１１は、投影画像と比較用画像とが類似しているか否かを判定する際の手順を示す説明図である。なお、図１１では、図３〜図５と同様に、患者およびその三次元モデルの画像でなく、模型およびその三次元モデルの画像を用いた。まず、投影画像および比較用画像から歯の領域を選択する。この歯の領域の選択は、例えば、画素値（例えば輝度）を閾値と比較することによって行なうことができる。また、歯の領域は、矩形領域として選択するものとした。続いて、比較用画像の歯の領域と投影画像の歯の領域とがある程度一致するように、投影画像の比較用画像に対する位置合わせを行なう。この投影画像の位置合わせは、例えば、矩形領域に含まれる画素数，矩形領域の長手方向および短手方向，矩形領域の中心などが比較用画像と略一致するように、投影画像に、その中心を貫通する軸回りの回転，平行移動，倍率の変更の少なくとも１つを施すことによって行なうことができる。この際の回転角をγ，水平方向および垂直方向の移動距離（画素数）をｔｘ，ｔｙ，倍率をσとする。なお、比較用画像の歯の領域と位置合わせ前の投影画像の歯の領域とがある程度一致しているときには、この位置合わせを行なう必要がないから、回転角γおよび移動距離ｔｘ，ｔｙを値０とすると共に倍率σを値１とすればよい。そして、位置合わせ後の投影画像の歯の領域と比較用画像の歯の領域とを比較して、投影画像と比較用画像とが類似しているか否かを判定する。この判定は、例えば、互いの歯の領域の類似画素数（画素値のズレが所定差分以下となる画素数）が所定画素数以上となるか否かによって行なうことができる。このように、投影画像と比較用画像とが類似しているか否かの判定を、投影画像の歯の領域と比較用画像の歯の領域との比較によって行なうことにより、投影画像と比較用画像との互いに重複する全領域の比較によって行なうものに比して、各階層での視点の探索に要する時間、ひいては、最終階層（第０階層）での視点の探索までに要する時間をより短くすることができる。

そして、最終階層で探索した視点である最終探索視点に基づいて代表視点を設定し（ステップＳ２３０）、単眼カメラ２２に対する患者の歯の位置および姿勢を、代表視点に対する三次元モデルの歯の位置および姿勢として復元する（ステップＳ２４０）。実施例では、三次元モデルに手術情報を付加して、この復元を行なうものとした。ステップＳ２３０，Ｓ２４０の処理では、最終探索視点が１つの場合には、その最終探索視点を代表視点とすると共に、その最終探索視点に対応する投影画像を比較用画像と比較した際の（γ，ｔｘ，ｔｙ，σ）に基づいて、代表視点に対する三次元モデルの歯の位置および姿勢を復元する。また、最終探索視点が複数の場合には、その複数の最終探索視点の平均座標を代表視点とすると共に、その複数の最終探索視点に対応する複数の投影画像を比較用画像と比較した際の複数の（γ，ｔｘ，ｔｙ，σ）の平均値に基づいて、代表視点に対する三次元モデルの歯の位置および姿勢を復元する。代表視点に対する三次元モデルの歯の位置および姿勢の復元は、図３を用いて考えれば、中心と代表視点とを結ぶ直線およびその延長線を所定軸として設定し、三次元モデル（歯）を手術情報と共に、所定軸周りに回転角γに応じて回転させると共に所定軸に直交する方向に移動距離ｔｘ，ｔｙに応じて移動させて更に所定軸方向に倍率σに応じて移動させる、ことによって行なうことになる。なお、この処理で不十分な場合には、更に、最小二乗法などの処理によって、代表視点に対する三次元モデルの歯の位置および姿勢の再復元を行なうのが好ましい。

次に、二次元および三次元のナビゲーション画像を作成する（ステップＳ２５０）。この二次元および三次元のナビゲーション画像は、三次元モデルの歯に対する手術情報の位置および姿勢に基づいて作成することができる。三次元モデル（歯）に手術情報を付加してから代表視点に対する三次元モデルの歯の位置および姿勢を復元することを考えれば、この復元後の三次元モデルに付加されている手術情報を代表視点から見た画像をナビゲーション画像として作成することになる。したがって、ナビゲーション画像は、代表視点から見て、三次元モデルの歯に対する手術情報の位置および姿勢を二次元または三次元で十分に反映した画像となる。

そして、作成したナビゲーション画像を出力して（ステップＳ２６０）、本ルーチンを終了する。実施例では、三次元のナビゲーション画像については、ディスプレイ２４からハーフミラー２６を介して患者の術部に投影する（重ね合わせる）ものとし、二次元のナビゲーション画像については、単眼カメラ２２による撮影画像に重ね合わせてディスプレイ２８に表示するものとした。なお、ハーフミラー２６は、ディスプレイ２４に適切なナビゲーション画像を表示した場合にその画像が術部に適切に投影されるように位置および角度が手術前に予め調節されている。このようにして、手術ナビゲーションを行なうことができる。

図１２および図１３は、実施例の方法によってナビゲーション画像を作成して単眼カメラ２２による撮影画像に重ね合わせた実験結果の様子を示す説明図である。なお、この実験では、患者ではなく模型を用いた。図１２は、一部の歯（点線で囲んだ歯）のナビゲーション画像を撮影画像に重ね合わせた結果を示し、図１３は、全部の歯および神経のナビゲーション画像を撮影画像に重ね合わせた結果を示す。図１２の上段（左臼歯の領域）では、位置合わせ誤差は０．８７ｍｍ程度であり、図１２の下段（前歯の領域）では、位置合わせ誤差は０．７５ｍｍ程度であった。口腔外科手術の分野での許容誤差は一般に１ｍｍ程度であることから、実施例の方法により、ナビゲーション画像を撮影画像に精度よく重ね合わせることができていると言える。また、単眼カメラ２２による撮影から図１１の画像の表示までに要する時間は３００ｍｓｅｃ〜４００ｍｓｅｃ程度であった。したがって、単眼カメラ２２による撮影間隔を数百ｍｓｅｃ程度に設定しておけば、手術中に患者（術部）が移動したときに、その移動にナビゲーション画像を十分に追従させることができると考えられる。さらに、図１３から、表面的に見えない構造（神経など）についてもナビゲーション画像として表示できる（手術ナビゲーションを行なえる）ことが分かる。

以上説明した実施例の手術ナビゲーションシステム２０では、患者の三次元モデル（歯を含む頭部）に対する視点とその視点から三次元モデルを見たときの投影画像との複数の組が、階層が高いほど視点の数が少なくなると共に投影画像の解像度が低くなるように投影画像の類似度によって階層的にクラスタリングされた、クラスタリング情報をＳＳＤ３４に記憶させておく。手術時には、単眼カメラ２２によって患者における歯の付近を撮影し、その撮影画像から作成した比較用画像を用いて、クラスタリング情報における階層が最も高い初回階層から初回階層よりも階層が低い最終階層まで、初回階層では、投影画像が比較用画像と類似する視点を探索し、初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、投影画像が比較用画像と類似する視点を探索する。そして、最終階層で探索した視点である最終探索視点に基づいて代表視点を設定し、単眼カメラ２２に対する患者の歯の位置および姿勢を代表視点に対する三次元モデルの歯の位置および姿勢として復元し、復元後の三次元モデルの歯に対する手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、ナビゲーション画像を出力する。こうした方法により、マーカを用いずに且つ単眼カメラ２２を用いて手術ナビゲーションを行なうことができる。そして、視点の数が少なく投影画像の解像度が低い階層から順に投影画像が比較用画像と類似する視点を探索し、且つ、初回階層以外の階層では直前の階層で探索した視点とつながりを有するクラスタに属する視点のみから投影画像が比較用画像と類似する視点を探索することにより、単眼カメラ２２で撮影を行なってから最終階層で視点を探索するまでひいてはナビゲーション画像を出力するまでに要する時間を短くすることができる。

実施例の手術ナビゲーションシステム２０では、位置合わせ部として、歯を用いるものとしたが、歯以外の部分、例えば、歯肉，今回の手術よりも前の手術で患者に取り付けられたインプラント（今回の手術にのみ用いられる専用のマーカではない）などを用いるものとしてもよい。

実施例の手術ナビゲーションシステム２０では、患者の三次元モデルから視点と投影画像との複数の組を作成し、クラスタリング情報を作成するものとした。しかし、患者の三次元モデルを作成せずに、患者のＣＴデータなどから視点と投影画像との複数の組を作成し、クラスタリング情報を作成するものとしてもよい。この場合、手術情報は、ＣＴデータなどに書き込んでおくものとしてもよい。

実施例の手術ナビゲーションシステム２０では、クラスタリング情報は、投影画像の類似度によって６つの階層にクラスタリングされた階層的アスペクトグラフとした。しかし、階層の数は、６つに限定されるものではなく、４つ，５つ，７つ，８つなどとしてもよい。また、クラスタリング情報は、投影画像の類似度以外、例えば、視点の位置関係（例えば図３の「ｒ」，「φ」，「θ」のズレなど），視点の個数などによってクラスタリングされた情報としてもよい。

実施例の手術ナビゲーションシステム２０では、クラスタリング情報を作成する際、階層が高いほど投影画像の解像度を一定比率で低下させるものとしたが、階層が高いほど投影画像の投影画像の解像度を低下させるものであればよく、一定比率に限定されるものではない。

実施例の手術ナビゲーションシステム２０では、クラスタリング情報（階層的アスペクトグラフ）における階層が最も高い初回階層から最も低い最終階層まで（図１０では第５階層から第０階層まで）、順に、投影画像が比較用画像と類似する視点を探索するものとした。しかし、最終階層は、初回階層よりも低い階層であれば、階層が最も低い階層以外の階層（図１０の第１階層，第２階層など）としてもよい。

実施例の手術ナビゲーションシステム２０では、投影画像と比較用画像とが類似しているか否かの判定を、投影画像の歯の領域と比較用画像の歯の領域との比較によって行なうものとした。しかし、投影画像と比較用画像とが類似しているか否かの判定を、投影画像と比較用画像とが互いに重複する全領域の比較によって行なうものとしてもよい。

実施例の手術ナビゲーションシステム２０では、三次元のナビゲーション画像をディスプレイ２４からハーフミラー２６を介して患者の術部に投影する（重ね合わせる）と共に、二次元のナビゲーション画像を単眼カメラ２２による撮影画像に重ね合わせてディスプレイ２８に表示するものとした。しかし、これらの何れかのみを行なうものとしてもよい。また、三次元または二次元のナビゲーション画像を、手術用顕微鏡の接眼レンズ或いは透過型のヘッドマウントディスプレイなどに患者の術部と重なるように投影するものとしてもよい。この場合、単眼カメラ２２の視界と手術用顕微鏡或いはヘッドマウントディスプレイの視界とが略一致するように、手術用顕微鏡の対物レンズ周辺など或いはヘッドマウントディスプレイの透過部周辺などに単眼カメラを取り付けるのが好ましい。こうすれば、単眼カメラ２２の視点とナビゲーション画像の投影位置とのズレを小さくすることができる。この結果、術者に対して、ナビゲーション画像が術部により精度よく重なっているように見せることができる。

実施例の手術ナビゲーションシステム２０では、単眼カメラ２２とコンピュータ３０とは、別体に構成されるものとした。しかし、これらは、一体に構成されるものとしてもよい。

実施例の手術ナビゲーションシステム２０は、口腔外科手術に用いられるものとしたが、口腔外科手術に限定されるものではなく、他の手術に用いられるものとしてもよい。

実施例では、本発明を手術ナビゲーションシステム２０に適用するものとした。しかし、図９の手術ナビゲーションプログラムの各ステップを実行する手術ナビゲーション方法の形態としてもよいし、手術ナビゲーション方法の各ステップをコンピュータに実現させるためのプログラムの形態としてもよい。

実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。実施例では、クラスタリング情報（階層的アスペクトグラフ）を記憶するＳＳＤ３４，４４が「記憶手段」に相当し、単眼カメラ２２が「単眼カメラ」に相当し、図９の手術ナビゲーションプログラムのステップＳ２１０の処理を実行するコンピュータ３０のＣＰＵ３１が「比較用画像作成手段」に相当し、図９の手術ナビゲーションプログラムのステップＳ２２０の処理を実行するコンピュータ３０のＣＰＵ３１が「視点探索手段」に相当し、図９の手術ナビゲーションプログラムのステップＳ２３０〜Ｓ２６０の処理を実行するコンピュータ３０のＣＰＵ３１が「出力手段」に相当する。

なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。

以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。

本発明は、手術ナビゲーションシステムの分野などに利用可能である。

２０ 手術ナビゲーションシステム、２２ 単眼カメラ、２４ ディスプレイ、２６ ハーフミラー、２８ ディスプレイ、３０，４０ コンピュータ、３１，４１ ＣＰＵ、３２，４２ ＲＯＭ、３３，４３ ＲＡＭ、３４，４４ ＳＳＤ、３５ 手術ナビゲーションプログラム、４５ クラスタリング情報作成プログラム。

Claims (8)

1. 手術位置を含む手術情報のナビゲーションを行なう手術ナビゲーションシステムであって、
   患者または該患者の三次元モデルにおける位置合わせ部を含む第１部分に対する視点と該視点から前記第１部分を見たときの画像である視点対応画像との複数の組が、階層が高いほど前記視点の数が少なくなると共に前記視点対応画像の解像度が低くなるように所定規則に従って階層的にクラスタリングされた、クラスタリング情報を記憶する記憶手段と、
   前記患者の前記位置合わせ部を含む第２部分を撮影するための単眼カメラと、
   前記単眼カメラによって撮影された撮影画像の解像度を前記クラスタリング情報の各階層の解像度に変換して複数の比較用画像を作成する比較用画像作成手段と、
   前記クラスタリング情報における階層が最も高い初回階層から該初回階層よりも階層が低い最終階層まで、前記初回階層では、前記視点対応画像が前記比較用画像と類似する視点を探索し、前記初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、前記視点対応画像が前記比較用画像と類似する視点を探索する視点探索手段と、
   前記最終階層で探索した視点に基づいて代表視点を設定し、前記単眼カメラに対する前記第２部分の前記位置合わせ部の位置および姿勢を前記代表視点に対する前記第１部分の前記位置合わせ部の位置および姿勢として復元し、該復元後の前記第１部分の前記位置合わせ部に対する前記手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、該ナビゲーション画像を出力する出力手段と、
   を備える手術ナビゲーションシステム。
2. 請求項１記載の手術ナビゲーションシステムであって、
   前記クラスタリング情報は、前記複数の組が前記所定規則としての前記視点対応画像の類似度によって階層的にクラスタリングされた階層的アスペクトグラフである、
   手術ナビゲーションシステム。
3. 請求項１または２記載の手術ナビゲーションシステムであって、
   前記クラスタリング情報は、前記複数の組が、階層が高いほど前記視点対応画像の解像度が一定比率で低くなるように階層的にクラスタリングされた情報である、
   手術ナビゲーションシステム。
4. 請求項１ないし３のいずれか１つの請求項に記載の手術ナビゲーションシステムであって、
   前記視点探索手段は、前記視点対応画像が前記比較用画像と類似しているか否かの判定を、前記視点対応画像の前記位置合わせ部を含む所定領域と前記比較用画像の前記所定領域との比較によって行なう手段である、
   手術ナビゲーションシステム。
5. 請求項１ないし４のいずれか１つの請求項に記載の手術ナビゲーションシステムであって、
   前記視点探索手段は、前記視点対応画像に回転，平行移動，倍率変更の少なくとも１つの補正処理を施すことによって前記比較用画像に対する位置合わせを行なってから前記視点対応画像が前記比較用画像と類似しているか否かを判定する手段であり、
   前記出力手段は、前記最終階層で探索した視点である最終探索視点に対応する視点対応画像に対する前記補正処理の内容に応じて、前記代表視点に対する前記第１部分の前記位置合わせ部の位置および姿勢を復元する手段である、
   手術ナビゲーションシステム。
6. 請求項１ないし５のいずれか１つの請求項に記載の手術ナビゲーションシステムであって、
   前記位置合わせ部は、歯である、
   手術ナビゲーションシステム。
7. 患者または該患者の三次元モデルにおける位置合わせ部を含む第１部分に対する視点と該視点から前記第１部分を見たときの画像である視点対応画像との複数の組が、階層が高いほど前記視点の数が少なくなると共に前記視点対応画像の解像度が低くなるように所定規則に従って階層的にクラスタリングされた、クラスタリング情報と、
   単眼カメラによって撮影された、前記患者の前記位置合わせ部を含む第２部分の撮影画像と、
   を用いて手術位置を含む手術情報のナビゲーションを行なう手術ナビゲーション方法であって、
   （ａ）前記撮影画像の解像度を前記クラスタリング情報の各階層の解像度に変換して複数の比較用画像を作成するステップと、
   （ｂ）前記クラスタリング情報における階層が最も高い初回階層から該初回階層よりも階層が低い最終階層まで、前記初回階層では、前記視点対応画像が前記比較用画像と類似する視点を探索し、前記初回階層以外の階層では、直前の階層で探索した視点とつながりを有するクラスタに属する視点から、前記視点対応画像が前記比較用画像と類似する視点を探索するステップと、
   （ｃ）前記最終階層で探索した視点に基づいて代表視点を設定し、前記単眼カメラに対する前記第２部分の前記位置合わせ部の位置および姿勢を前記代表視点に対する前記第１部分の前記位置合わせ部の位置および姿勢として復元し、該復元後の前記第１部分の前記位置合わせ部に対する前記手術情報の位置および姿勢に基づいてナビゲーション画像を作成し、該ナビゲーション画像を出力するステップと、
   を含む手術ナビゲーション方法。
8. 請求項７記載の手術ナビゲーション方法の各ステップをコンピュータに実現させるためのプログラム。