JP6476125B2 - 画像処理装置、及び手術顕微鏡システム - Google Patents

Description

本発明は、外科手術の際に用いられる画像処理装置、及びそれを含む手術顕微鏡システムに関する。

外科手術に際しては、術者は事前に行われたＣＴ（Computer Tomography）や、ＭＲＩ（Magnetic Resonance Imaging）、その他種々の医療用画像機器（モダリティ）を用いた検査の画像を参照しているのが一般的である。

従来、脳神経外科の手術等では手術顕微鏡として、スタンド装置の支持アームに支持された一対の接眼部を備え、術部の光学像を立体的に観察可能なものが広く知られている（特許文献１等）。また、術部の顕微鏡画像に対してＣＴ等の検査画像を重ね合わせて表示する技術が考えられている。

特開２０１１−１７２７８１号公報

しかしながら、上記従来の検査画像の重ね合わせにおいては、異なるモダリティにより得られた画像を複数重ね合わせることは一般に困難である。これはモダリティごとにコントラスト（濃淡の視認性）が良好となる解剖構造が互いに異なっていることによる。つまり複数の互いに異なるモダリティから得られた画像では互いに対応する位置（同じ位置）の確定が困難であるために、複数の互いに異なるモダリティから得られた画像に基づいて一体的な参考画像情報を生成することは困難であった。

さらにこうした検査画像を術部の顕微鏡画像（実視画像）に重ね合わせるときにも、術者が顕微鏡を移動させたときに、対応する位置に追尾することは困難であった。すなわち、顕微鏡の位置や姿勢を計測する計測機器の計測値は、振動的な計測誤差を含むが、顕微鏡画像の場合は画像の拡大率が大きいため、実視画像のスケールは上記計測機器の誤差のスケールに近くなる。このために計測機器の計測値をそのまま利用して合成を行うこととすると、画像情報が振動的になって実質的な使用に耐えない。

本発明は上記実情に鑑みて為されたもので、その目的の一つは、異なるモダリティから得られた画像に基づいて一体的な参考画像情報を生成できる画像処理装置を提供することであり、また別の目的の一つは、複数の検査画像を顕微鏡画像に対して重ね合わせながら可用性を向上した手術顕微鏡システムを提供することである。

上記従来例の問題点を解決するための本発明は、画像処理装置であって、複数の検査画像情報を取得する手段、前記取得した複数の検査画像情報のうちから、予め定めた条件を満足する検査画像情報のペアを複数対決定する位置合わせペア決定手段、前記位置合わせペア決定手段により決定されたペアごとに、一対の検査画像情報の位置合わせを行う位置合わせ手段、前記位置合わせされた検査画像情報のペアのうち、いずれか一方が同じ検査画像情報である２つのペアを用い、各ペアに含まれる３つの検査画像情報の位置合わせを行い、当該検査画像情報の少なくとも一部、複数の検査画像情報を用いた画像情報を生成する画像生成手段、及び、当該生成した画像情報を出力する出力手段、を備えたものである。

また本発明の一態様に係る手術顕微鏡システムは、手術顕微鏡の視野に含まれる術中画像情報を取得する手段と、検査画像情報に基づいて生成した参考画像情報を生成する手段と、前記生成した参考画像情報と前記術中画像情報とを併せて出力する手段とを備える画像処理装置を備え、当該画像処理装置が、前記手術顕微鏡の所定部位の位置及び姿勢を検出する手段と、前記検出した手術顕微鏡の所定部位の位置及び姿勢の移動量の統計演算結果に基づいて、前記手術顕微鏡の視野が移動されたか否かを判断する手段と、前記判断の結果、前記手術顕微鏡の視野が移動していないと判断される場合に、前記手術顕微鏡の所定部位の位置及び姿勢を推定する推定手段と、前記判断の結果、前記手術顕微鏡の視野が移動されたと判断したときに、移動後の前記視野の情報を用いて前記参考画像情報を更新する手段と、を含むものである。

本発明によれば、複数の互いに異なるモダリティから得られた画像に基づいて一体的な参考画像情報を生成できる。

本発明の実施の形態に係る手術顕微鏡システムの概要例を表す説明図である。 本発明の実施の形態に係る手術顕微鏡の例を表す概要図である。 本発明の実施の形態に係るトラッキング装置の例を表す概要図である。 本発明の実施の形態に係る画像処理装置の例を表す構成ブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が保持する設定情報の例を表す説明図である。 本発明の実施の形態に係る画像処理装置における別の処理例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置におけるまた別の処理例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置における画像処理の例を表す説明図である。 本発明の実施の形態に係る画像処理装置における画像処理の別の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係る手術顕微鏡システムは、図１にシステム全体の概略を示すように、手術顕微鏡１、トラッキング装置２、及び画像処理装置３を含んで構成される。

また手術顕微鏡１は、図２に例示するように、ベース１１と、スタンド本体１２と、リンク機構１３と、支持アーム１４と、顕微鏡部１５とを含んで構成される。また、トラッキング装置２は図３に例示するように、患者の術部とともに移動する位置に配される原点マーカー２０と、手術顕微鏡１のリンク機構１３や支持アーム１４等に取り付けられたマーカー２１と、撮像部２２と、制御部２３とを含んで構成される。また画像処理装置３は、図４に例示するように、制御部３１と、記憶部３２と、操作部３３と、表示部３４と、入出力部３５とを含んで構成される。

手術顕微鏡１のスタンド本体１２は、ベース１１上に取り付けられる。このスタンド本体１２には、回動軸ｒを中心としてリンク機構１３が軸支される。このリンク機構１３は、互いに平行な縦リンク部材１３ａ，ｂと、互いに平行な横リンク部材１３ｃ，ｄとを含んで構成される平行リンクである。縦リンク部材１３ａの両端には、横リンク部材１３ｃ，ｄの一端側がそれぞれ回動軸ａ，ｂを中心として回動可能に取り付けられる。さらに縦リンク部材１３ｂの両端には、横リンク部材１３ｃ，ｄの他端側が、それぞれ回動軸ｃ，ｄを中心として回動可能に取り付けられる。また縦リンク部材１３ａが、その下端から所定長さだけ離れた位置（回転軸ｒ）でスタンド本体１２に軸支されている。また下側横リンク部材１３ｄの後端部側には、バランスウェイトＷが配される。

上側横リンク部材の１３ｃの前端側には支持アーム１４が一体的に形成される。この支持アーム１４は術者と干渉しないよう、上側へ湾曲した部分を含む。支持アーム１４の前端側、軸ｓには顕微鏡部１５が軸支される。この顕微鏡部１５は垂直下方へ伸びる支持部１５０と、顕微鏡本体１５１とを含んで構成される。

さらに本実施の形態の一例においては、縦リンク部材１３ａ，ｂに平行な状態で連動するサブリンク１６ａと、横リンク部材１３ｃ，ｄに平行な状態で連動するサブリンク１６ｂとが含まれてもよい。

術者が顕微鏡本体１５１を前方へ移動させると、リンク機構１３は回動軸ｒを中心として回動する。このときバランスウェイトＷは後方へ移動し、回動軸ｒを中心とした回転方向のモーメントを打ち消すように働く。

顕微鏡本体１５１は、顕微鏡部１５の鉛直下方にある対象物を、別途設定された倍率で拡大した映像を術者に提示する。この拡大は光学的に行われてもよい。また本実施の形態では、顕微鏡部１５はこの術者に提示する映像をハーフミラーを通して分岐し、撮像素子（不図示）に導いて撮像して、その撮像した画像情報（術中画像情報）や視野に関する情報を、画像処理装置３に出力してもよい。

ここで視野に関する情報には、例えば合焦距離に関する情報（顕微鏡本体１５１内の所定位置、例えばレンズの中心から合焦している対象までの距離を表す情報）と、視野の倍率に関する情報とが含まれるものとする。

トラッキング装置２の原点マーカー２０は、患者の術部とともに移動する位置に配される。具体的に脳外科手術を行う場合、患者の頭部を固定具で固定するが、この場合、当該固定具に原点マーカー２０を取り付けることとすればよい。また固定具を用いない場合、手術中、患者を載せる手術台に取り付けてもよい。
マーカー２１は、手術顕微鏡１の筐体の少なくとも一点に配される。本実施の形態の一例では、このマーカー２１は、リンク機構１３に含まれる縦リンク部材１３ａ，ｂまたは横リンク部材１３ｃ，ｄ、またはバランスウェイトＷ、または支持アーム１４、または顕微鏡部１５など、手術顕微鏡の筐体の少なくとも一点（所定部位）に取り付けられる。なお、本実施の形態の手術顕微鏡１は、バランスウェイトＷを備えない手術顕微鏡１であってもよく、この場合マーカー２１は支持アーム等、手術顕微鏡の筐体の少なくとも一点（所定部位）に取り付ければよい。
これら原点マーカー２０，及びマーカー２１は、アクティブまたはパッシブ型のマーカーであり、アクティブ型であれば撮像部２２に対して赤外線を放射してその姿勢（角度）と位置とを知らせる。またパッシブ型のマーカーは例えばＹ字状をなし、各先端部に赤外線を反射する反射体が取り付けられたものである。このパッシブ型のマーカーを用いる場合は、撮像部２２側から放射される赤外線が反射されて撮像部２２にてその位置が捉えられることとなる。

後に説明するように、本実施の形態ではこれらの原点マーカー２０とマーカー２１との位置及び姿勢により、顕微鏡本体１５１の視野範囲を推定する処理を行うので、マーカー２１は顕微鏡部１５の移動に伴って位置が変化する部位に取り付けられる。例えば、縦リンク部材１３ａ上の回転軸ｒ、及びその近傍の予め設定された範囲を避けて配する。本実施の形態のある例では、顕微鏡部１５の微動に対してもなるべく大きくその位置が変化する部分であること、また術者の作業に干渉しない位置であることが好適であるので、支持アーム１４の前端部あるいは、バランスウェイトＷの後端部にマーカー２１を配する。

撮像部２２は、複数のカメラを備えてなり、各カメラにてマーカー２１の像（特に赤外線像）を撮像して取得し、制御部２３に出力する。制御部２３は、撮像部２２の複数のカメラが得た原点マーカー２０及びマーカー２１の像から、原点マーカー２０とマーカー２１とのそれぞれの位置及び姿勢を特定する情報を生成して出力する。
具体的にこの情報は、原点マーカー２０の位置及び姿勢（各軸の方向）により、手術が行われている空間に仮想的に三次元座標を設定したときの、当該三次元座標におけるマーカー２１の位置及び姿勢（各軸の向き）を表す情報である。この三次元座標系を以下、実座標系と呼ぶ。
これにより本実施の形態において手術顕微鏡１の筐体の少なくとも一点、所定部位の位置及び姿勢が検出され、また位置、姿勢を繰り返し検出することで、当該位置の移動が検出されることとなる。このトラッキング装置２については、例えばノーザン・ディジタル・インクの光学式トラッキングシステム等、広く知られたものが利用できるので、ここでの詳しい説明を省略する。

画像処理装置３の制御部３１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部３２に格納されたプログラムに従って動作する。具体的にこの制御部３１は、モダリティの互いに異なる複数種類の検査画像情報を、入出力部３５を介して受け入れて、記憶部３２に格納する。一例として、脳外科における検査画像としては、ＣＴ画像のほか、３ＤＣＴＡ（3 dimensional CT angiography）画像、ＭＲＡ（Magnetic Resonance Angiography）画像、ＭＲＩ画像等の各検査画像情報が含まれる。ここでＣＴ画像等には一つの検査画像情報として複数個のイメージが含まれる。

またこの制御部３１は、記憶部３２に格納された検査画像情報を処理の対象として、予め定めた条件に従い、位置合わせを行う複数対の検査画像情報を選択し、当該選択された各対の検査画像情報ごとに、検査画像情報同士の位置合わせ処理を行う。また制御部３１は、この位置合わせ処理の結果を利用して、任意の複数個の検査画像情報を互いに重ね合わせた画像情報を生成して、表示部３４に出力する。

さらに制御部３１は、トラッキング装置２からマーカー２１の位置情報を受け入れる。そして制御部３１は、予め定められている、マーカー２１の取り付け位置と、顕微鏡本体１５１との位置との位置情報の差に基づき、顕微鏡本体１５１の位置情報を演算し、さらにこの顕微鏡本体１５１の位置情報に基づき、制御部３１は、顕微鏡の視野にある対象物の座標情報（実座標系での情報）を生成する。これらの制御部３１による各処理の詳しい内容については、後に説明する。

記憶部３２は、例えばメモリデバイスであり、制御部３１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読なＤＶＤ−ＲＯＭ等の記録媒体に格納されて提供され、この記憶部３２に格納されたものであってもよい。また、このプログラムはネットワークを介して受信され、この記憶部３２に格納されたものであってもよい。またこの記憶部３２は、制御部３１のワークメモリとしても動作し、制御部３１から入力される指示に従って種々の検査画像情報等を保持する。

操作部３３は、マウスやキーボード等であり、利用者からの指示操作を受け入れて、当該指示操作の内容を制御部３１に出力する。表示部３４は、ディスプレイ等であり、制御部３１から入力される指示に従って画像情報や種々のメッセージ等を表示出力する。

入出力部３５は、ＵＳＢ（Universal Serial Bus）インタフェース等であり、トラッキング装置２や他のデバイスから種々の情報の入力を受け入れて制御部３１に出力する。またこの入出力部３５は、制御部３１から入力される指示に従って種々の情報を外部のデバイスに出力する。

ここで本実施の形態の画像処理装置３の制御部３１の動作の例について説明する。本実施の形態の制御部３１は、図５に機能ブロック図を用いて例示するように、検査画像情報に基づいた参考画像情報の生成処理を実行する。本実施の形態では、この参考画像情報は、複数の検査画像情報に基づいて生成した三次元画像の二次元投影像、あるいは当該三次元画像の断面像である。

この参考画像情報の生成処理を実行する制御部３１は機能的には、図５に例示するように、位置合わせペア決定部５１と、位置合わせ処理部５２と、重ね合わせ画像生成部５３とを含んで構成される。また重ね合わせ画像生成部５３は、セグメンテーション部５５と、モダリティ選択部５６と、レンダリング部５７とを含んで構成される。

ここで位置合わせペア決定部５１は、予め定めた条件に従い、記憶部３２に格納された検査画像情報のうちから、位置合わせを行う複数対（複数ペア）の検査画像情報を選択する。具体的にこの条件は、利用者によって指定されたとの条件であってもよい。また、この条件は次のように定められてもよい。

一例として、脳外科における検査画像としては、ＣＴ画像のほか、３ＤＣＴＡ（3 dimensional CT angiography）画像、ＭＲＡ（Magnetic Resonance Angiography）画像、ＭＲＩ画像の各検査画像情報が記憶部３２に格納されており、これらから位置合わせペア決定部５１が位置合わせを行う検査画像情報のペアを決定する場合を説明する。

またＣＴ画像では、その濃淡により比較的良好に視認できるよう描出される情報として頭蓋骨情報が含まれ、３ＤＣＴＡ画像では、同様に頭蓋骨情報と血管情報とが含まれ、ＭＲＡ画像では、同様に血管情報と大脳画像の情報とが含まれ、ＭＲＩ画像では、同様に大脳画像の情報が含まれるものとする。

そこで制御部３１の位置合わせペア決定部５１は、比較的良好に視認できるよう描出される情報が共通しているペアを列挙する。位置合わせペア決定部５１は、まずＣＴ画像を注目画像として選択する。そしてこの注目画像において、比較的良好に視認できるよう描出される情報となっている解剖構造を表す情報（ここでは「頭蓋骨情報」）を取り出す。

位置合わせペア決定部５１は、この取り出した情報「頭蓋骨情報」で表される解剖構造を、比較的良好に視認できるよう描出する検査画像情報を検索する。ここでは「頭蓋骨情報」を比較的良好に視認できるよう描出する３ＤＣＴＡ画像が、検索により見出される。これによりＣＴ画像と３ＤＣＴＡ画像とのペアが位置合わせを行う検査画像情報のペアとして決定される。

また位置合わせペア決定部５１は、次に注目画像として選択されていない検査画像情報の一つを選択する。例えば３ＤＣＴＡ画像を注目画像として選択する。そして位置合わせペア決定部５１は、この３ＤＣＴＡ画像と同様に「頭蓋骨情報」の視認性が比較的良好に描出される検査画像情報としてＣＴ画像を見出す。また位置合わせペア決定部５１は、この３ＤＣＴＡ画像と同様に「血管情報」が濃淡により比較的良好に視認できるよう描出される検査画像情報としてＭＲＡ画像を見出す、これによりＣＴ画像と３ＤＣＴＡ画像とのペア、並びに、３ＤＣＴＡ画像とＭＲＡ画像とのペアが、それぞれ位置合わせを行う検査画像情報のペアとして決定される。なお、ここでＣＴ画像と３ＤＣＴＡ画像とのペアは既に選択されているので無視してもよい。

以下同様の処理を行うことで、
（１）ＣＴ画像と３ＤＣＴＡ画像、
（２）３ＤＣＴＡ画像とＭＲＡ画像、
（３）ＭＲＡ画像とＭＲＩ画像、
の各検査画像情報のペアが、位置合わせを行う対象として選択される。

なお、利用者が人為的操作により位置合わせの対象となるペアを選択する際も、それぞれの検査画像情報において比較的良好な視認性で描出される解剖構造が共通しているもの同士を選択するよう、利用者に予め指示しておけばよい。

位置合わせ処理部５２は、位置合わせペア決定部５１が決定した検査画像情報のペアごとに、当該ペアに含まれる検査画像情報同士の位置合わせ処理を行う。この位置合わせ処理は、具体的には相互情報量（Mutual Information）や、規格化相互情報量（Normalized Mutual Information）を用いる方法等、広く知られた方法を用いることができる（例えばC Studholme, DLG Hill, and DJ Hawkes: An overlap invariant entropy measure of 3d medical image alignment. Artif. Intell., 17, 185-203,(1998)などを参照）。

位置合わせ処理部５２は、ペアとなった検査画像情報について正規化相互情報量が最大となるまで、画像情報の回転や平行移動（断層画像として複数のイメージが含まれる場合は当該イメージを切替えることで断層方向の平行移動も行う）等の変形処理を繰り返し行う。規格化相互情報量が最大となった時点での変形処理結果において、ペアとなった各検査画像情報において互いに対応する画素の位置座標が一致したものとする。

位置合わせ処理部５２は、処理の対象とするいずれかの検査画像情報を参照画像として、この参照画像について基準座標系となる三次元の座標系を設定する。ここで参照画像が予め三次元座標内の画像として表現されるものであれば、当該参照画像の表現に用いられている座標系をそのまま基準座標系としてもよい。また、ＣＴ画像のように、複数の断層画像を含むものであれば、断層画像の面内にＸＹ直交座標系を設定し、断層の方向にＺ軸を設定する（つまり各断層画像のＺ軸の値が互いに異なるものとなる）などすればよい。そしてこの参照画像とペアとなった検査画像情報については、それに含まれる各画素の座標値を、上記位置合わせのために変形処理した後に対応する参照画像の画素の座標値に設定する。こうして当該検査画像情報に含まれるイメージ中の各画素に、基準座標系上の座標値を関連付ける。また、参照画像とペアとなっていない検査画像情報については、ペアとなる他方の検査画像情報のイメージ中の各画素が基準座標系上の座標値に関連付けられていれば、上記変形処理後に、当該他方の検査画像情報のイメージ中の画素に、自己のイメージ中の画素との座標値を一致させることで、その画素のそれぞれに基準座標系上の座標値を関連付けることができる。
位置合わせ処理部５２は、これにより、各検査画像情報に含まれるイメージ中の各画素を、検査画像情報の種類（検査画像情報を生成したモダリティ）に関わらず共通の座標情報（基準座標系）に関連付ける。この座標情報は、関心領域（ＲＯＩ）中に仮想的に設定された三次元の座標系であり、一般には実座標系とは異なる。この座標系を以下、基準座標系と呼ぶ。

重ね合わせ画像生成部５３のセグメンテーション部５５は、検査画像情報が表す三次元のＲＯＩ（基準座標系によって表される空間）を所定の方法でイメージブロックに分割する。このイメージブロックは例えば所定の自然数Ｎを用いてＮ×Ｎ×Ｎ画素の立方体状のものとしてもよい。一例として脳神経外科手術における検査画像情報であれば、頭蓋骨内の三次元空間がＲＯＩとして表されているので、この頭蓋骨内の三次元空間をＲＯＩとして所定画素数ごとの立方体状のブロックに分割することとしてもよい。

モダリティ選択部５６は、ＲＯＩを分割して得たイメージブロックの各々について、各検査画像情報の、当該イメージブロックの範囲内に撮像されている解剖構造（神経や血管、骨など）の外形（表面構造）を、エッジ検出法等の広く知られた画像処理方法により検出する。そしてモダリティ選択部５６は、各イメージブロック内において検出した解剖構造の種類を決定する。

この決定は、イメージブロックから検出された解剖構造の外形の形状について、その形状自体のパターン認識を用いる方法や、当該形状が複数見出されているか否か、また複数あれば、当該形状間の距離や形状部分がイメージブロック全体の画素のうちに占める画素の割合といった、予め定めた特徴量を用いる方法で行ってもよい。またこの決定は、利用者からどの種類の解剖構造かを指定する指示に従って行ってもよい。

モダリティ選択部５６は、イメージブロックにおいて検出される解剖構造の種類ごとに予め定められているモダリティとレンダリング方法とを選択する。具体的にモダリティ選択部５６は、図６に例示するように、解剖構造の種類と、当該種類の解剖構造の描出において利用する検査画像情報を出力するモダリティを特定する情報と、そのレンダリング方法とを関連付けた設定情報を保持している。

モダリティ選択部５６は、この設定情報と、各イメージブロックにおいて検出される解剖構造の種類とを参照して、各イメージブロック内の画像を描出する際にどのモダリティが出力した検査画像情報を用いるか、また、その検査画像情報に基づくレンダリングをどのように行うかを選択し、その選択の結果を出力する。

一例として、モダリティ選択部５６は、各イメージブロックにおいて検出した解剖構造を、「細い動脈」と、「細くない動脈」とを含む複数の種類のいずれかに分類する。そしてモダリティ選択部５６は、分類の結果、「細い動脈」を含むと判断されたイメージブロックについては、脳血管撮影装置といったモダリティが出力する検査画像情報を用い、「細くない動脈」を含むと判断されたイメージブロックについては、ＭＲＡまたは３ＤＣＴＡといったモダリティが出力する検査画像情報を用いるよう選択する。

また図６に例示した設定情報に含まれるレンダリング方法の情報には、元となった検査画像情報から構造を抽出する画像処理方法と、描画方法とが指定される。具体的にある例では、「細くない動脈」（主幹動脈や動脈瘤部分を含む）については、比較的高い閾値を設定して当該閾値を超える輝度の部分を抽出することでその構造の表面を抽出し、描画方法としてサーフェスレンダリング法を用いるべきこととする。また、「細い動脈」（動脈瘤表面を走行する前脈絡動脈（anterior choroidal artery）など）については、比較的低い閾値を設定して、当該閾値を超えない輝度の部分を抽出することでその構造の表面を抽出し、描画方法としてはサーフェスレンダリング法を用いるべきこととする。

さらに骨や病巣周囲の微小構造物など、ＣＴやＰＥＴ（ポジトロン診断装置）等によって得られる検査画像情報において比較的良好な視認性で描出されている解剖構造については、描画方法として例えばボリュームレンダリング法を用いる。

レンダリング部５７は、イメージブロックごとに、モダリティ選択部５６が選択したモダリティの検査画像情報を用い、当該検査画像情報に含まれるイメージのうち、基準座標系上でイメージブロックの範囲にあると判断される部分の画像を抽出し、モダリティ選択部５６にて選択されたレンダリング方法にてレンダリングを行い、ＲＯＩ中の三次元画像を生成する。この三次元画像は、基準座標系中の画素によって表現される。

なお、検査画像情報は、それぞれを得たモダリティごとに撮像範囲(Field of view；ＦＯＶ)が異なる場合もあり得る。この場合には、各モダリティから得られた検査画像情報の撮像範囲の共通部分をＲＯＩとして位置合わせし、当該ＲＯＩ内の三次元画像を生成することとすればよい。

制御部３１はこうして得られた三次元画像を用い、利用者の指示した断面で当該三次元画像を破断した映像を生成して表示部３４に出力する。利用者は、断面の位置等を、操作部３３を操作して指示し、三次元画像を参照して術前のプランニング等を行う。

さらに本実施の形態の画像処理装置３は、手術顕微鏡１から、顕微鏡本体１５１が撮像した、実際の術中画像情報を受け入れて、表示部３４に表示出力してもよい。またこの際、画像処理装置３は、当該術中画像情報に対して、上記の生成した三次元画像を合成して表示してもよい。具体的にこの場合の画像処理装置３は、図７に例示するように、術中画像受入部６１と、顕微鏡パラメータ受入部６２と、位置姿勢情報受入部６３と、対象位置情報生成部６４と、三次元画像取得部６５と、移動判定部６６と、画像生成部６７とを機能的に含んでなる。

術中画像受入部６１は、手術顕微鏡１から、顕微鏡本体１５１が撮像した、実際の術中画像情報を受け入れる。また顕微鏡パラメータ受入部６２は、手術顕微鏡１から、合焦距離に関する情報や倍率に関する情報等、視野にかかる情報を受け入れる。

位置姿勢情報受入部６３は、トラッキング装置２から、原点マーカー２０を原点とした、マーカー２１の位置及び姿勢（手術が行われている空間に仮想的に設定された実座標系での向き）を特定する情報を受け入れる。この情報はすなわち、手術顕微鏡１の筐体の少なくとも一点（所定部位）、マーカー２１が取り付けられた位置を表す。

対象位置情報生成部６４は、トラッキング装置２から入力されたマーカー２１の位置及び姿勢を特定する情報から、顕微鏡本体１５１の合焦位置（顕微鏡本体１５１の映像として結像している対象の位置）を表す情報を、手術が行われている空間に仮想的に設定された実座標系上の座標の値として生成する。具体的に本実施の形態の一例では、マーカー２１を、支持アーム１４の前方端部の軸ｓに配し、その姿勢の情報が鉛直下方（つまり支持アーム１４から顕微鏡部１５へ至る方向）を表すよう設置する。これによりトラッキング装置２からは、支持アーム１４の前方端部の軸ｓの位置座標と、当該位置座標が表す位置から顕微鏡部１５の方向を表す情報（ベクトル情報）とが得られる。

対象位置情報生成部６４は、この支持アーム１４の前方端部の軸ｓの位置座標Ｐｓと、顕微鏡部１５の方向を表すベクトル情報ｖとを用い、位置座標Ｐｓから当該ベクトル情報ｖが表す向きの方向へ予め定められた距離ｒだけ離れた座標Ｐｃを得る。この距離ｒは、合焦位置から鉛直上方に合焦距離だけ離れた顕微鏡本体１５１内の所定位置（例えばレンズの中心）と、位置座標Ｐｓとの間の距離とする。またこの対象位置情報生成部６４は、座標Ｐｃからさらに合焦距離だけ鉛直下方（ベクトル情報ｖが表す向きの方向）だけ離れた位置の座標Ｐｔを得る。

対象位置情報生成部６４は、さらに、この座標Ｐｔを中心として、手術顕微鏡１から得られた倍率に関する情報に基づいて生成される視野範囲Ａの外周を表す情報を生成する。例えばこの情報は手術顕微鏡１の視野に相当する円の半径とする。

三次元画像取得部６５は、既に説明した参照画像情報の生成処理によって三次元画像を取得する。また、この三次元画像取得部６５は、取得した三次元画像の座標系（基準座標系）と、実座標系とを相互に変換する行列を生成する。具体的にこの行列は各座標系間のアフィン変換行列や、非剛体変形を考慮した変換行列等である。この行列を得るため、本実施の形態の画像処理装置３は、顕微鏡本体１５１にて撮像された術中画像情報と、生成した三次元画像とを表示部３４に並べて表示し、利用者に対して対応する位置を複数指定するよう指示することとしてもよい。この指示に従って術中画像情報の複数の点と、それら各点に対応する、生成した三次元画像上の各点とを利用者が指定すると、画像処理装置３は、この指定された点の間を変換するアフィン変換行列等を演算により求める。この演算やアフィン変換行列等を用いるなどした三次元座標間の変換処理については広く知られた方法を採用できるので、ここでの詳しい説明を省略する。

三次元画像取得部６５は、対象位置情報生成部６４が生成する情報により、実座標系の座標Ｐｔを中心とした視野範囲Ａの外周で囲まれる範囲に対応する基準座標系上の座標範囲で表される画素を、取得した三次元画像のうちから抽出して、画像生成部６７に出力する。その後、この三次元画像取得部６５は、後に説明する移動判定部６６から画像の更新指示を受けるまで待機する。そして移動判定部６６から画像の更新指示があると、その時点で対象位置情報生成部６４が生成する情報で表される、実座標系の座標Ｐｔを中心とした視野範囲Ａの外周で囲まれる範囲に対応する基準座標系上の座標範囲で表される画素を、取得した三次元画像のうちから抽出する。そして三次元画像取得部６５は、当該抽出した画素を含む画像情報を参考画像情報として、画像生成部６７に出力する。

移動判定部６６は、対象位置情報生成部６４が出力する座標Ｐｔや視野範囲Ａの値が、術者の手術顕微鏡１の操作等によって変動したときに、三次元画像取得部６５に対して更新指示を出力する。本実施の形態においてはこの移動判定部６６は、手術顕微鏡１の筐体の少なくとも一点の移動量の統計演算を用いて、座標Ｐｔや視野範囲Ａの値が、術者の手術顕微鏡１の操作等によって変動したものであるか否かを判断する。具体的な例として、移動判定部６６は、座標Ｐｔと視野範囲Ａの値のそれぞれの時間平均（過去、所定の時間Ｔの間の出力値の平均）Ｐｔ_av及びＡ_avを演算する。この平均は算術平均で構わない。そして移動判定部６６は、次に対象位置情報生成部６４が出力する座標Ｐｔや視野範囲Ａの値と、対応する時間平均との差の絶対値｜Ｐｔ−Ｐｔ_av｜または｜Ａ−Ａ_av｜がそれぞれについて別途定められたしきい値を超える場合（例えばそれぞれの値の標準偏差の所定重み値ｗ倍）に、三次元画像取得部６５に対して更新指示を出力する。なお、ここで｜＊｜は、＊の絶対値を意味し、＊が座標の値などベクトル値である場合は、そのノルム（例えばユークリッドノルムでよい）を演算することを意味するものとする。

本実施の形態では、このように、移動判定部６６により術者の意図的な手術顕微鏡１の操作があったか否かを判断し、意図的に操作されたと判断されたときに限り、術中画像情報とともに表示する三次元画像情報の更新を行う。これがない場合、トラッキング装置２の位置判定精度と、手術顕微鏡１の視野の大きさ（一般に１ミリメートル程度の対象を手術の対象として扱う）との差により、三次元画像情報が逐一更新されて画像が揺れてしまい、正視できない状態となるためである。

画像生成部６７は、手術顕微鏡１から得られた術中画像情報と、三次元画像取得部６５が出力する、三次元画像情報から抽出した参考画像情報とを表示する。この表示の態様は特に限定されるものではなく、互いに対応する座標を一致させて重ね合わせて表示してもよい（実座標系と基準座標系との間の変換行列が求められているので、対応する座標を判断できる）し、この際、三次元画像から抽出した画像については、術中画像情報に半透明合成してもよい。また別の態様では、術中画像情報と三次元画像から抽出した画像とを並べて表示してもよい。

また、手術顕微鏡１が微動装置を備えており、視野を水平面（鉛直方向を法線とする面）内で微動可能な場合は、手術顕微鏡１は、術者が当該微動装置を操作したときに当該操作の内容（微動方向と微動量とを表す情報）を画像処理装置３へ出力することとすればよい。画像処理装置３の対象位置情報生成部６４は、当該微動方向と微動量とを表す情報が入力されたときには、座標Ｐｔの値に当該微動方向への微動量を加算した値を生成して出力することとすればよい。

本実施の形態の手術顕微鏡システムは、以上の構成を備えてなり、次のように動作する。すなわち例えば脳神経外科手術の術前プランニングにおいては、脳腫瘍に隣接する脳神経や栄養血管の位置、あるいは脳動脈瘤に隣接する穿通枝の位置など、病巣周囲の状況を正確に把握することが重要である。これらの解剖構造は通常、１ミリメートル程度であり、例えばＣＴ等の検査画像情報から、輪郭線抽出処理を行ってサーフェスレンダリングを行う等の従来の三次元画像の生成方法では、十分な画像が得られない場合があった。

具体的には、サーフェスレンダリング法によるレンダリングでは、対象物の表面情報のみを抽出して描画するため、濃度情報が近接して表面形状が曖昧な対象物（病巣周囲の微小構造物）の描出が困難になっていた。一方、ボリュームレンダリング法によるレンダリングでは、ボクセルの不透明度を調整することで対象物の表面情報のみならず、内部情報を加味した表示が可能である。ボリュームレンダリング法では、予め対象物の境界面を抽出する必要がなく、表面形状が曖昧な物でも比較的正確に３次元表示が可能であるが、脳外科手術に求められる１ミリメートル程度の構造の３次元表示方法としては十分ではなかった。

本実施の形態の画像処理装置３ではまず、得られている複数種類の検査画像情報について、それぞれにおいて比較的良好な視認性で描出されている構造を列挙する。そしてこの列挙された構造に共通するものが含まれている検査画像情報間で、例えば正規化相互情報量（ＮＭＩ）を用いて、対応する画素を見出す（つまり位置合わせを行う）。これにより、例えば検査画像情報のペアＡ，Ｂ間で位置合わせを行うことができ、また検査画像情報のペアＢ，Ｃ間で位置合わせを行うことができたならば、列挙された構造に共通するものが含まれていない検査画像情報のペアＡ，Ｃ間でもその対応する画素を見出すことができる（それぞれと検査画像情報Ｂとの位置合わせ結果による）。

また本実施の形態の画像処理装置３では、レンダリングを行うべき三次元空間を所定の方法で複数のブロックに分割し、各ブロックに含まれる解剖構造（ブロック内の画素に撮像されている解剖構造）の種類を判断する。そして画像処理装置３は、これらブロックごとに、それぞれに含まれる解剖構造を参照して、解剖構造ごとに予め定められた抽出方法（例えばエッジ検出の対象とする検査画像情報の種類や、エッジ検出の際の閾値等のパラメータの指定）や、レンダリング方法を取得する。

具体的に、動脈であれば、ブロックに比較的太い動脈・中等度の動脈が含まれている場合は、当該ブロックに対応する範囲の三次元画像の描画にＭＲＡまたは３ＤＣＴＡの検査画像情報を用い、比較的高い閾値以上の画素値となっている画素を、当該構造の表面として抽出する。そしてこの抽出した像をサーフェスレンダリング法により描出する。

また、ブロックに比較的細い動脈が含まれている場合は、当該ブロックに対応する範囲の三次元画像の描画に脳血管撮影により得られた検査画像情報を用い、比較的低い閾値以下の画素値となっている画素を、当該構造の表面として抽出する。そしてこの抽出した像をサーフェスレンダリング法により描出する。

こうして画像処理装置３は、各ブロック内の三次元画像について、それぞれその内部に含まれる構造に応じて予め定めた方法で描出を行い、全体として一つの三次元画像を生成する。

さらに本実施の形態の手術顕微鏡システムでは、手術顕微鏡１の視野の画像（術中画像情報）を画像処理装置３が取得して表示する。またこのとき、手術顕微鏡１の視野を表す座標範囲の情報を画像処理装置３が取得する。この情報を取得する方法としては、手術顕微鏡１の視野範囲を移動する操作をしたときに、当該操作に応じて移動する手術顕微鏡１上の少なくとも一点の位置座標を検出する装置（例えばトラッキング装置２）を用いる方法がある。具体的に、トラッキング装置２が出力する上記の座標情報と手術顕微鏡１の視野を表す情報とを関連付ける演算式を予め求めておき、この演算式により、画像処理装置３がトラッキング装置２の出力する情報に基づいて手術顕微鏡１の視野を表す情報を得る。

また、手術の前、あるいは手術中に一度でも、画像処理装置３の生成する三次元画像の座標系と、手術顕微鏡１から得られる術中画像情報の座標系とを一致させておけば、その後は、手術顕微鏡１の視野の移動操作に応じて三次元画像のうちから視野に相当する範囲の画像を抽出して表示できるようになる。このとき、術者（あるいは手術顕微鏡１の操作者）の意図的操作によって視野が変更された場合にのみ、表示する三次元画像の更新を行うようにする。

具体的な例として画像処理装置３は、トラッキング装置２等から得られる手術顕微鏡１の所定位置の移動量等、手術顕微鏡１の視野の移動に関わる情報の表す値が有意に変化しているか否かを統計的検定等によって判断する。そして有意に変化していると判断された場合に、術者（あるいは手術顕微鏡１の操作者）の意図的操作によって視野が変更されたと判断して、表示する三次元画像の更新を行う。

本実施の形態によると、複数の検査画像情報から解剖構造に応じて三次元画像の元とする検査画像情報を選択し、当該選択した検査画像について解剖構造に応じた方法で構造の表面等レンダリングするべき部分を抽出して、解剖構造に応じた方法でレンダリングを行い、位置合わせして三次元画像を得るので、各解剖構造に適したレンダリング結果を合成した画像が得られ、比較的微細な構造まで明確なものとすることができる。

また、この三次元画像（レンダリング結果）を、手術顕微鏡の視野の画像と合成して表示するにあたり、手術顕微鏡の視野が有意に変化したか（術者等が意図的に操作した結果として視野が変化したものであるか否か）により、三次元画像の更新を行うか否かを定めるので、逐一更新が行われて画像が揺らいで見えることがなく、視認性を向上できる。

さらに術中画像情報に対して、三次元画像を合成して表示する場合の画像処理装置３は、図８に例示するように、術中画像受入部６１と、顕微鏡パラメータ受入部６２と、位置姿勢情報受入部６３と、レジストレーション情報生成部７１と、情報保持部７２と、三次元画像取得部６５′と、移動判定部６６′と、画像生成部６７とを機能的に含んでなるものでもよい。なお、図７の例と同等の構成となる部分については同じ符号を付している。

ここで移動判定部６６′は、位置姿勢情報受入部６３から原点マーカー２０を原点とした、マーカー２１の位置及び姿勢（手術が行われている空間に仮想的に設定された実座標系での向き）を特定する情報を受け入れる。この情報はすなわち、手術顕微鏡１の筐体の少なくとも一点（所定部位）、マーカー２１が取り付けられた所定部位の位置及び姿勢を表す。

移動判定部６６′は、この受け入れた位置及び姿勢を表す情報を顕微鏡本体１５１における、予め定めた部位の位置を表す情報を生成する。具体的に本実施の形態の一例では、マーカー２１を、支持アーム１４の前方端部の軸ｓに配する。これによりトラッキング装置２からは、患者の術部を原点とした座標系（実座標系）における支持アーム１４の前方端部の軸ｓの位置座標Ｐｓと、当該位置座標が表す位置から顕微鏡部１５の方向（顕微鏡の視野の方向）を表す情報（ベクトル情報ｖ）とが得られる。

移動判定部６６′は、マーカー２１を取り付けた支持アーム１４の前方端部の軸ｓの位置座標Ｐｓと、顕微鏡部１５の方向を表すベクトル情報ｖとを用い、位置座標Ｐｓから当該ベクトル情報ｖが表す向きの方向へ予め定められた距離ｄだけ離れた座標Ｐｃを得る。この距離ｄは、支持アーム１４の前方端部の軸ｓの位置座標Ｐｓから顕微鏡本体１５１内の予め定めた部位の位置（例えばレンズの中心）までのベクトル情報ｖ方向の距離とする。

移動判定部６６′は、この顕微鏡本体１５１内の予め定めた部位の位置を表す座標Ｐｃ（実座標系）を、情報保持部７２に出力する。この情報に含まれる位置の情報は三次元の座標成分により表現されている。従ってこの情報は複数の成分を含むベクトル情報である。

移動判定部６６′は、当該情報が、術者の手術顕微鏡１の操作等によって変動したか否かを判断し、移動したと判断したときに、情報保持部７２に対して、保持している位置及び姿勢の情報を更新するべき旨の指示を出力する。

具体的に移動判定部６６′は、位置Ｐｃを表す情報の時間平均（過去、所定の時間Ｔの間の成分ごとの出力値の平均）を演算し（この平均は算術平均で構わない）、次に入力された位置の情報の各成分の値と、演算した時間平均における対応する成分の値との差の絶対値が別途定められたしきい値（例えば当該情報の標準偏差の所定重み値ｗ倍）を超えるときに、術者の手術顕微鏡１の操作等によって変動したと判断すればよい。

レジストレーション情報生成部７１は、三次元画像の座標系（基準座標系）と、実座標系とを相互に変換する行列を生成する。具体的にこの行列は各座標系間のアフィン変換行列や、非剛体変形を考慮した変換行列等である。この行列を得るため、本実施の形態の画像処理装置３は、顕微鏡本体１５１にて撮像された術中画像情報と、生成した三次元画像とを表示部３４に並べて表示し、利用者に対して対応する位置を複数指定するよう指示することとしてもよい。この指示に従って術中画像情報の複数の点と、それら各点に対応する、生成した三次元画像上の各点とを利用者が指定すると、画像処理装置３は、この指定された点の間を変換するアフィン変換行列等を演算により求める。この演算やアフィン変換行列等を用いるなどした三次元座標間の変換処理については広く知られた方法を採用できるので、ここでの詳しい説明を省略する。

またこのレジストレーション情報生成部７１は、後に説明する、情報保持部７２が出力する座標の情報Ｔoutput（実座標系内の値）を、基準座標系内の座標の情報に変換する。この変換は、情報保持部７２が出力する、実座標系の三次元座標の情報に対して、上記演算により求められたアフィン変換行列等を乗じることにより行うこととすればよい。一例としてＴoutputが、顕微鏡本体１５１内の予め定めた部位の位置を表す座標Ｐｃの平均値である場合、レジストレーション情報生成部７１は、顕微鏡本体１５１内の予め定めた部位の位置を表す座標Ｐｃの平均を、基準座標系で表現した情報を出力することとなる。

情報保持部７２は、移動判定部６６′から入力された情報（顕微鏡本体１５１内の予め定めた部位の位置を表す座標Ｐｃの情報）を蓄積して保持する。また電源投入時等、初期化時、あるいは移動判定部６６′より情報を更新するべき旨の指示が入力されたときには、それまでに蓄積した情報を削除する。

情報保持部７２は、移動判定部６６′から情報が入力されるごとに、それまでに蓄積した情報について統計演算を行い、当該統計演算の結果を出力する。つまり、この情報保持部７２は、移動判定部６６′から入力される情報を（更新の指示がない間は）継続的に補正し続けることとなる。一例として情報保持部７２は、ｋ番目に蓄積した情報のｉ番目の成分をＰk,iと書くこととして、各成分の平均値

を演算する。

この（１）式においてｎは、蓄積された情報（ベクトル情報）の数である。なお、蓄積された情報が一つだけである場合は、ｎ＝１であり、Ｐ1,iは、移動判定部６６′が入力を受けた、現在のマーカー２１の位置及び姿勢の情報Ｔinputそのものとなる。

情報保持部７２は、ここで演算した平均値を各成分として含む情報を、出力情報Ｔoutputとしてレジストレーション情報生成部７１に出力する。
なお情報保持部７２は、前回の演算結果（ｎ−１番目までに蓄積した情報についての（１）式の演算結果）と、今回の演算結果とを比較し、これらの差の絶対値が予め定めたしきい値を下回ると判断されたときには、以後、更新するべき旨の指示があるまで（１）式の演算を行わず、今回演算した演算結果を出力し続けることとしてもよい。

三次元画像取得部６５′は、既に説明した参照画像情報の生成処理によって三次元画像を取得する。またこの三次元画像取得部６５′は、顕微鏡パラメータ受入部６２が出力する情報と、レジストレーション情報生成部７１が生成する情報との入力を受け入れて、次の処理を行う。

三次元画像取得部６５′は、レジストレーション情報生成部７１が出力する顕微鏡本体１５１内の予め定めた部位の位置を表す座標Ｐｃの平均を、基準座標系で表現した情報を受け入れる。また、三次元画像取得部６５′は、顕微鏡パラメータ受入部６２が出力する情報から、手術顕微鏡１の視野を現す情報を生成する。具体的に三次元画像取得部６５′は、顕微鏡本体１５１の顕微鏡視野を表す画角αの情報を、顕微鏡パラメータ受入部６２が出力する倍率や視野数等のパラメータから生成する。

三次元画像取得部６５′は、さらに座標Ｐｃ（基準座標系）を中心として、当該画角αで切り取られる範囲（視野範囲）に対応する基準座標系上の座標範囲で表される画素を、取得した三次元画像のうちから抽出して、画像生成部６７に出力する。そして三次元画像取得部６５′は、当該抽出した画素を含む画像情報を参考画像情報として、画像生成部６７に出力する。

なお、ここまでの説明における三次元画像取得部６５，６５′の動作は一例に過ぎず、手術顕微鏡１の所定部位の位置情報を上述のように補正、更新して使用し、手術顕微鏡１の視野を特定するものであれば、どのようにして切り出す画素の範囲を決定するかは問わない。

本実施の形態では、このように、移動判定部６６′により術者の意図的な手術顕微鏡１の操作があったか否かを判断し、意図的に操作されたと判断されたときに限り、顕微鏡の視野に関わる情報（手術顕微鏡１の所定部位の位置や姿勢の情報等）を改めて生成し、意図的に操作されたと判断されない間は、顕微鏡の視野に関わる情報を統計的に補正し続ける。

［位置合わせ処理部の変形例］
また画像処理装置３の制御部３１での処理において、位置合わせ処理部５２は、位置合わせペア決定部５１が決定した検査画像情報のペアごとに、当該ペア（注目ペアと呼ぶ）に含まれる検査画像情報同士の位置合わせ処理を行う際、次のように処理を行うようにしてもよい。すなわち位置合わせ処理部５２は、注目ペアに含まれる検査画像情報の撮像範囲が異なる場合は、当該検査画像情報のうち、撮像範囲が比較的広い検査画像情報の撮像範囲から、撮像範囲の比較的狭い検査画像情報の撮像範囲を切り出す。そして位置合わせ処理部５２は、当該切り出し処理後の検査画像情報同士を位置合わせする。

さらに、位置合わせ処理部５２は、注目ペアに含まれる検査画像情報の各々について、そのイメージ内の領域のうち、コントラストが所定の閾値より高い領域を関心領域（ＲＯＩ）として抽出（クリッピング）してもよい。
具体的に、本実施の形態の一例に係る位置合わせ処理部５２は、注目ペアに係る各検査画像情報に含まれる各イメージについて予め定めた小領域に区分する。そして各小領域についてコントラスト値（最大輝度の画素の明度と最小輝度の画素の明度との比）を演算する。位置合わせ処理部５２は、演算したコントラスト値が検査画像情報の種類ごとに予め定めた閾値を超える小領域を選択的に取りだす。そして注目ペアに係る一対の検査画像情報のそれぞれから取りだした、対応する小領域の対がいずれも選択されている場合に、当該一対の小領域ごとに、相互情報量（Mutual Information）や、規格化相互情報量（Normalized Mutual Information）を用いる方法等、広く知られた方法を用いて、位置合わせを行う。

例えば、位置合わせ処理部５２は、ペアとなった検査画像情報について正規化相互情報量が最大となるまで、画像情報の回転や平行移動（断層画像として複数のイメージが含まれる場合は、異なるイメージから取りだした小領域に切替えて処理することで断層方向の平行移動も行う）等の変形処理を繰り返し行う。規格化相互情報量が最大となった時点での変形処理結果において、ペアとなった各検査画像情報において互いに対応する画素の位置座標が一致したものとする。

この例でも位置合わせ処理部５２は、処理の対象とするいずれかの検査画像情報を参照画像として、この参照画像について基準座標系となる三次元の座標系を設定する。そしてこの参照画像とペアとなった検査画像情報の小領域については、それに含まれる各画素の座標値を、上記位置合わせのために変形処理した後に対応する参照画像中の小領域内の画素の座標値に設定する。こうして小領域中の各画素に、基準座標系上の座標値を関連付ける。また、参照画像とペアとなっていない検査画像情報から取り出された小領域については、当該検査画像情報とペアとなる他方の検査画像情報から取り出された小領域中の各画素が基準座標系上の座標値に関連付けられていれば、上記変形処理後に、当該他方の検査画像情報のイメージ中の画素に、自己のイメージ中の画素との座標値を一致させることで、その画素のそれぞれに基準座標系上の座標値を関連付けることができる。
位置合わせ処理部５２は、これにより、各検査画像情報から取りだした小領域ごとに、小領域に含まれる各画素を、検査画像情報の種類（検査画像情報を生成したモダリティ）に関わらず共通の座標情報（基準座標系による座標情報）に関連付ける。この座標情報は、関心領域（ＲＯＩ）中に仮想的に設定された三次元の座標系であり、一般には実座標系とは異なるものである。

またこの例では、位置合わせ処理部５２の上記処理により基準座標系の座標情報に関連付けられる画素は、注目ペアに含まれる検査画像情報のイメージ内から取り出された小領域のうち、コントラスト値が閾値を超える画素を含む領域内の画素のみである。さらに小領域ごとに上記変形処理を行って互いに一致する画素を見出すので、同じ検査画像情報から取り出された小領域でも互いに異なる変形処理が行われることがあり得る。

そこで位置合わせ処理部５２により変形処理が行われなかった領域内の画素（取り出された小領域に含まれない画素）については、最近傍の小領域内の画素の座標情報から内挿または外挿して、その座標情報を求める。例えば、注目ペアに含まれる検査画像情報の各々のイメージ中の画素を、その検査画像情報本来の座標系での座標情報（ξ，η，ζ）で特定すると、そのうちいま基準座標系の座標情報を求めようとする注目画素（ξ，η，ζ）について、当該画素の最近傍の２つの画素であって、位置合わせ処理部５２の処理により基準座標系の座標情報が設定された、それぞれが互いに異なる２つの小領域に属する２つの画素のもともとの座標情報（その検査画像情報本来の座標系での座標情報）が、（ξ1，η1，ζ1），（ξ2，η2，ζ2）、また基準座標系での座標情報が（ｘ1，ｙ1，ｚ1），（ｘ2，ｙ2，ｚ2）であれば、注目画素の基準座標系での座標情報（ｘ，ｙ，ｚ）を、α＝ξ／（ξ2−ξ1），β＝η／（η2−η1），γ＝ζ／（ζ2−ζ1）とおいて、ｘ＝α×（ｘ2−ｘ1），ｙ＝β×（ｙ2−ｙ1），ｚ＝γ×（ｚ2−ｚ1）として求める。

このようにすれば、この例での位置合わせ処理部５２は、各検査画像情報に含まれるイメージ中の各画素を、検査画像情報の種類（検査画像情報を生成したモダリティ）に関わらず共通の基準座標情報に関連付けることができるようになる。以下の重ね合わせ画像生成部５３により処理は、既に述べた例と同様に行えばよい。もっとも、コントラスト値が閾値より低い領域内の画素情報を使用しないようにしてもよい。この場合、セグメンテーション部５５は、検査画像情報が表す三次元のＲＯＩ（基準座標系によって表される空間）を、位置合わせ処理部５２における小領域と同じイメージブロックに分割する。そしてモダリティ選択部５６が、ＲＯＩを分割して得たイメージブロックの各々について、各検査画像情報の、当該イメージブロックの範囲内に撮像されている解剖構造（神経や血管、骨など）の外形（表面構造）を、エッジ検出法等の広く知られた画像処理方法により検出する。この際、位置合わせ処理部５２での処理においてコントラスト値に基づいてクリッピング（抽出）された小領域に対応するイメージブロックのみを処理の対象として、検出した解剖構造の種類を決定する。

またレンダリング部５７は、モダリティ選択部５６にて処理の対象としたイメージブロックごとに、モダリティ選択部５６が選択したモダリティの検査画像情報を用い、当該検査画像情報に含まれるイメージのうち、基準座標系上でイメージブロックの範囲にあると判断される部分の画像を抽出し、モダリティ選択部５６にて選択されたレンダリング方法にてレンダリングを行ってＲＯＩ中の三次元画像を生成する。
この例では、位置合わせ処理部５２におけるクリッピング（抽出）の対象を選択する閾値を調整することにより、不要と判断される解剖構造（使用する検査画像情報においてコントラスト値が比較的低く撮像される解剖構造）の処理を省略して、所望の解剖構造を選択的にレンダリングさせることを可能としている。

［解剖構造の検出］
さらに本実施の形態のモダリティ選択部５６は、ＲＯＩを分割して得たイメージブロックの各々について、各検査画像情報の、当該イメージブロックの範囲内に撮像されている解剖構造（神経や血管、骨など）の外形（表面構造）を、エッジ検出法等の広く知られた画像処理方法により検出するが、このときイメージブロックごとに解剖構造の検出閾値（エッジ検出の閾値等）を異ならせてもよい。例えば、イメージブロック内の画素値に基づいて得られるコントラスト比（最高輝度の画素値の輝度と、最低輝度の画素値の輝度との比）が大きくなるにつれてエッジ検出の閾値を大きく（周辺画素との輝度が閾値以上に異なる場合にエッジとする場合の当該閾値を大きく）することとしてもよい。なお、この解剖構造の検出閾値は、解剖構造の外形の検出方法に応じて異なる。ここでの例のようにエッジ検出法を用いる場合、解剖構造の検出閾値はエッジ検出の閾値であり、明度の条件等により検出する場合は、明度値の閾値であってもよい。

具体的に、３ＤＣＴＡの画像においてモダリティ選択部５６が、イメージブロックごとに共通の検出閾値を用いた場合（図９）と、イメージブロック内の画素値に基づいて得られるコントラスト比（最高輝度の画素値の輝度と、最低輝度の画素値の輝度との比）が大きくなるにつれてエッジ検出の閾値を大きく（周辺画素との輝度が閾値以上に異なる場合にエッジとする場合の当該閾値を大きく）した場合（図１０）との例を示す。

１ 手術顕微鏡、２ トラッキング装置、３ 画像処理装置、１１ ベース、１２ スタンド本体、１３ リンク機構、１４ 支持アーム、１５ 顕微鏡部、２０ 原点マーカー、２１ マーカー、２２ 撮像部、２３，３１ 制御部、３２ 記憶部、３３ 操作部、３４ 表示部、３５ 入出力部、５１ 位置合わせペア決定部、５２ 位置合わせ処理部、５３ 重ね合わせ画像生成部、５５ セグメンテーション部、５６ モダリティ選択部、５７ レンダリング部、６１ 術中画像受入部、６２ 顕微鏡パラメータ受入部、６３ 位置姿勢情報受入部、６４ 対象位置情報生成部、６５，６５′ 三次元画像取得部、６６，６６′ 移動判定部、６７ 画像生成部、７１ レジストレーション情報生成部、７２ 情報保持部、１５０ 支持部、１５１ 顕微鏡本体。

Claims (4)

1. 複数の検査画像情報を取得する手段、
   前記取得した複数の検査画像情報のうちから、検査画像情報のペアであって、共通の解剖構造に関する濃淡の視認性が、いずれも良好と判断される検査画像情報のペアを複数対決定する位置合わせペア決定手段、
   前記位置合わせペア決定手段により決定されたペアごとに、検査画像情報の種類に関わらない共通の座標情報に関連付けて一対の検査画像情報の位置合わせを行う位置合わせ手段、
   前記位置合わせされた検査画像情報のペアのうち、いずれか一方が同じ検査画像情報である２つのペアを用い、各ペアに含まれる３つの検査画像情報の位置合わせを行い、当該検査画像情報の少なくとも一部、複数の検査画像情報を用いた画像情報を生成する画像生成手段、及び、
   当該生成した画像情報を出力する出力手段、
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記位置合わせ手段は、位置合わせした検査画像情報に含まれるイメージを複数のイメージブロックに分割し、イメージブロックごとに、イメージブロックに含まれる画素値に基づいて得られるコントラスト比に基づき、解剖構造の検出閾値を制御する画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記位置合わせ手段は、位置合わせした検査画像情報に含まれるイメージを複数のイメージブロックに分割し、
   前記画像生成手段は、前記イメージブロックごとに、イメージブロックに含まれる解剖構造の種類を判断し、当該イメージブロックに含まれると判断された解剖構造について予め定められた抽出方法及びレンダリング方法を取得し、取得した抽出方法により得られる濃度情報または解剖構造の表面形状に基づき、前記取得したレンダリング方法にてレンダリングした三次元画像を、前記画像情報として生成する画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記取得した検査画像情報には、ＭＲＡまたは３ＤＣＴＡの検査画像情報と、ＣＴまたはＰＥＴ（ポジトロン診断装置）の検査画像情報とを含み、
   前記画像生成手段は、前記イメージブロックに含まれる解剖構造が主幹動脈または動脈瘤部分であれば、前記検査画像情報のうち、ＭＲＡまたは３ＤＣＴＡの検査画像情報から、所定の閾値を超える輝度の部分を抽出して当該構造の表面を抽出し、サーフェスレンダリング法によりレンダリングして三次元画像を生成し、
   前記イメージブロックに含まれる解剖構造が骨、または病巣周囲の微小構造物であれば、ＣＴまたはＰＥＴの検査画像情報に基づき、ボリュームレンダリング法により、レンダリングを行って三次元画像を生成して、
   当該それぞれ生成した三次元画像の共通部分を注目領域として位置合わせして、当該注目領域内の三次元画像を生成する画像処理装置。

Images