JP6493885B2 - 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム - Google Patents

Description

本発明は、術中映像と対象部位の手術に関連する関連画像との位置合せを行う画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラムに関するものである。

近年、３次元医用画像を用いた手術シミュレーションが盛んに行われている。手術シミュレーションとは、医用画像から手術対象となる組織、臓器およびその周辺構造を可視化し、実際の手術で行われる手技をシミュレーションするものである。例えば、肝臓の部分切除シミュレーションでは、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像の断層画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化した画像を生成し、その画像を用いて、例えば肝臓内にある腫瘍を含む肝臓領域を切除する範囲をコンピュータで計算する等して、手術計画を立てる。

一方、上述したような手術シミュレーションに用いた画像（以下、シミュレーション画像とする）を、手術中に参照したいという要求がある。このため、シミュレーション画像を紙に印刷して手術室に持ち込んだり、手術室に設置されたディスプレイに表示したりすることが行われている。そして医師は、実際の患者の術部を見ながら、確認のために紙に印刷したあるいはディスプレイに表示したシミュレーション画像を見ながら手術を行う。

しかしながら、患者とシミュレーション画像とを交互に見ながら手術を行うことは、非常に煩わしく、実際の手術対象にシミュレーション画像を重畳させて確認したいという要望がある。このため、手術中に手術の対象部位を撮影して複数の画像からなる映像を取得し、映像にシミュレーション画像を重畳して表示する手法が提案されている。例えば、特許文献１には、光学センサあるいは磁気センサを、術部を撮影するカメラ、術具、もしくは臓器に直接取り付け、それらの相対位置関係をキャリブレーション、すなわち初期位置合せし、初期位置合せ後のカメラの位置および向きの変更、並びに臓器の移動に対して、シミュレーション画像を移動させることにより、手術の対象となる部位とシミュレーション画像とを位置合せして重畳表示する手法が提案されている。

また、手術の対象となる部位にマーカを配置し、マーカの位置をセンサにより検出して、手術の対象部位の映像とシミュレーション画像とを位置合せし、ヘッドマウントディスプレイに表示する手法（特許文献２参照）、および手術の対象部位にマーカを埋め込み、これをセンサにより検出して手術の対象部位とシミュレーション画像とを位置合せし、モニタに表示する手法も提案されている（特許文献３参照）。

一方、センサ等を用いることなく、撮影された患者の映像とシミュレーション画像とを位置合せする手法も提案されている。例えば、特許文献４においては、３次元画像から臓器モデルを生成し、超音波画像にリアルタイムで臓器モデルを重畳させて表示する際に、超音波画像の各フレームと臓器モデルとの間のアフィン変換関数を求め、これに基づいて臓器モデルを変換して超音波画像に重畳させる手法が提案されている。また、特許文献５においては、立体視をしつつシミュレーション画像を映像に重畳するために、撮影された映像の視差を用いてシミュレーション画像を撮影された画像に重畳する手法が提案されている。

また、撮影された映像とシミュレーション画像とを位置合せするためには、撮影された映像を構成する時系列の画像間の位置合せが必要である。位置合せを精度よく行うためには、位置合せに使用する特徴点を適切に決定する必要がある。このため、映像に含まれる、時系列に取得される２つの画像について、画像中の特徴点を検出し、特徴点の変動を求めることにより撮影装置の変動を検出する際に、特徴点の軌跡の方向、軌跡の量および分布率等に基づいて、特徴点を選択する手法が提案されている（特許文献６参照）。また、映像に含まれる、時系列に取得される２つの画像について、先に取得された画像に注目領域を設定し、次に取得された画像において注目領域を位置合せできる特徴点を抽出可能な領域を決定し、その領域において決定された特徴点を用いて，２つの画像の位置合せを行う手法が提案されている（特許文献７参照）。特許文献６，７の手法を用いることにより、２つの画像の位置合せに使用する特徴点を適切に選択することができるため、２つの画像の位置合せを精度よく行うことができる。

特開２０１３−２０２３１３号公報 特開２０１０−２５９４９７号公報 特開２０１０−２００８９４号公報 特表２０１５−５２３１０２号公報 特表２０１０−５３２０３５号公報 特開２０１０−１４４５０号公報 特開２００７−２５７２８７号公報

しかしながら、特許文献６，７に記載された手法は２つの画像の位置合せのみを考慮している。このため、術中に取得される術中映像にシミュレーション画像等の関連画像を位置合せする際に、特許文献６，７に記載された手法を用いても、術中映像と関連画像との位置合せを適切に行うことができるように特徴点を選択することができず、その結果、特許文献６，７に記載された手法を用いたのでは、術中映像と関連画像とを精度よく位置合せすることができなくなるおそれがある。

本発明は上記事情に鑑みなされたものであり、手術の対象部位を含む術中映像と対象部位の手術に関連する関連画像とを精度よく位置合せすることを目的とする。

本発明による画像位置合せ装置は、手術中の人体における手術の対象部位を含む、撮影時刻が異なる２以上の術中画像からなる術中映像を取得する画像取得手段と、
対象部位の手術に関連する関連画像を取得する関連画像取得手段と、
術中映像と関連画像との位置合せを行う位置合せ手段とを備え、
位置合せ手段は、関連画像と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点を抽出し、互いに対応する複数の特徴点に対して関連画像に基づいて優先度を設定し、優先度が設定された複数の特徴点に基づいて、位置合せ済み術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、位置情報に基づいて、関連画像と新たに取得された術中画像とを位置合せすることを特徴とするものである。

「関連画像」とは、術中映像に含まれる対象部位に関連する任意の画像を意味し、例えば、ＣＴ画像またはＭＲＩ画像から生成した対象部位の３次元形状を表す画像、ＣＴ画像またはＭＲＩ画像から生成した対象部位および対象部位に含まれる構造物の３次元形状を表す画像、構造物の３次元形状を表す画像上において決定された対象部位の切除位置を表す線もしくは矢印等の記号を画像化したもの、またはＰＥＴ（Positron Emission Tomography）検査もしくはＮＭ（Nuclear Medical）検査（核医学検査）等により取得される機能３次元画像等を用いることができる。

なお、本発明による画像位置合せ装置においては、位置合せが行われている間、術中映像と関連画像とを重畳して表示手段に表示する表示制御手段をさらに備えるものとしてもよい。

また、本発明による画像位置合せ装置においては、位置合せ手段は、優先度に応じて互いに対応する複数の特徴点のそれぞれに対して重み付けをして、位置情報の取得に使用する特定数の特徴点を、互いに対応する複数の特徴点から選択し、選択された特定数の特徴点に基づいて位置情報を取得するものであってもよい。

また、本発明による画像位置合せ装置においては、関連画像上の各位置に優先度が設定されてなるものであり、位置合せ手段は、関連画像上の優先度を参照して、互いに対応する複数の特徴点に優先度を設定するものであってもよい。

この場合、関連画像において、対象部位における特徴的な位置ほど高い優先度が設定されてなるものであってもよい。

「特徴的な位置」とは、位置合せを行うのに適した特徴的な位置を意味し、例えば、関連画像における対象部位の輪郭、シミュレーションで設定した切除位置を表す線、および病変等が存在して他の部位と識別可能な位置等を特徴的な位置として用いることができる。

また、本発明による画像位置合せ装置においては、関連画像が対象部位の切除位置を表す線を含む場合、線の近傍の位置ほど高い優先度が設定されてなるものであってもよい。

また、本発明による画像位置合せ装置においては、関連画像が対象部位の切除位置を表す線を含む場合、線による切除後に残る位置ほど高い優先度が設定されてなるものであってもよい。

また、本発明による画像位置合せ装置においては、術中映像と関連画像との初期位置合せをする初期位置合せ手段をさらに備えるものとし、
位置合せ手段は、初期位置合せの結果に基づいて位置合せを行うものであってもよい。

この場合、位置合せ手段は、特定数の術中画像が取得される毎に、初期位置合せに使用した術中画像と新たに取得された術中画像との位置合せを行うものであってもよい。

またこの場合、位置合せ手段は、初期位置合せに使用した術中画像を位置合せ済み術中画像として使用するものであってもよい。

また、本発明による画像位置合せ装置においては、関連画像は、対象部位の３次元形状を表す画像であってもよい。

本発明による画像位置合せ方法は、手術中の人体における手術の対象部位を含む、撮影時刻が異なる２以上の術中画像からなる術中映像を取得し、
対象部位の手術に関連する関連画像を取得し、
術中映像と関連画像との位置合せを行うに際し、
関連画像と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点を抽出し、互いに対応する複数の特徴点に対して関連画像に基づいて優先度を設定し、優先度が設定された複数の特徴点に基づいて、位置合せ済み術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、位置情報に基づいて、関連画像と新たに取得された術中画像とを位置合せすることを特徴とするものである。

なお、本発明による画像位置合せ方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、関連画像と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点が抽出され、互いに対応する複数の特徴点に対して関連画像に基づいて優先度が設定され、優先度が設定された複数の特徴点に基づいて、位置合せ済み術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報が取得され、位置情報に基づいて、関連画像と新たに取得された術中画像とが位置合せされる。このように、関連画像に基づいて特徴点に優先度を付与することにより、関連画像に基づくほど高い優先度を持った特徴点が使用されて、位置情報を取得することができる。したがって、取得した位置情報を用いて、位置合せ済み術中画像と新たに取得された術中画像との位置合せ、さらには関連画像と新たに取得された術中画像との位置合せを精度よく行うことができる。

本発明の第１の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図 タブレット端末に画像位置合せプログラムをインストールすることにより実現された、第１の実施形態による画像位置合せ装置の概略構成を示す図 関連画像を示す図 優先度の設定を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第１の位置合せの際にディスプレイに表示される画像を示す図 第２の位置合せの処理を示すフローチャート 新たに取得された術中画像の位置合せ済み術中画像に対する位置のずれを説明するための図 エピポーラ幾何を説明するための図 特徴点ペアについての、術中画像におけるエピポーラ線からの距離の算出を説明するための図 関連画像と術中映像との重畳表示を説明するための図 第２の実施形態において行われる処理を示すフローチャート

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による画像位置合せ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

３次元画像撮影装置２は、被検体７の手術の対象部位を撮影することにより、対象部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体７の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、被検体７の腹部の３次元画像Ｖ０が生成されるものとする。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。

画像位置合せ装置１は、１台のコンピュータに、本発明の画像位置合せプログラムをインストールしたものである。本実施形態においては、コンピュータは、装置の操作者である医師が直接操作するネットワーク４と無線接続されたタブレット端末である。位置合せプログラムは、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からタブレット端末にインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてタブレット端末にダウンロードされ、インストールされる。

図２はタブレット端末に画像位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図である。図２に示すように、画像位置合せ装置１は、標準的なタブレット端末の構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、液晶等のディスプレイ１５、タッチパネル式の入力部１６、およびモーションセンサ１７を備えている。

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０および画像位置合せ装置１での処理によって生成された画像を含む各種情報が記憶されている。

カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。医師は画像位置合せ装置１、すなわちタブレット端末のカメラ１４を用いて、手術中の被検体７における手術の対象部位である、開腹された被検体７の肝臓を撮影することにより、撮影時刻が異なる２以上の術中画像からなる、肝臓を含む術中の術中映像Ｌ０を取得する。なお、本実施形態においては、肝臓が手術の対象部位となる。術中映像Ｌ０は３０ｆｐｓ等のフレームレートによる術中画像が連続する動画像となる。

モーションセンサ１７は、タブレット端末のある位置を基準としたｘ軸、ｙ軸およびｚ軸の３軸の加速度、３軸の角速度および３軸の傾きを検出する９軸のモーションセンサである。これにより、モーションセンサ１７は、タブレット端末の動き、すなわちカメラ１４の動きを検出する。モーションセンサ１７が検出した加速度、角速度および傾きは動き情報としてＣＰＵ１１に出力され、必要な処理に使用される。

また、メモリ１２には、画像位置合せプログラムが記憶されている。画像位置合せプログラムは、ＣＰＵ１１に実行させる処理として、手術中の人体における手術の対象部位を含む、撮影時刻が異なる２以上の術中画像からなる術中映像Ｌ０および３次元画像Ｖ０を取得する画像取得処理、肝臓の手術に関連する関連画像Ｓ０を取得する関連画像取得処理、術中映像Ｌ０に含まれる肝臓と関連画像Ｓ０との初期位置合せである第１の位置合せを行う第１の位置合せ処理、第１の位置合せの結果に基づいて、術中映像Ｌ０に含まれる肝臓と関連画像Ｓ０との位置合せである第２の位置合せを行う第２の位置合せ処理、および第２の位置合せが行われている間、術中映像Ｌ０に含まれる肝臓と関連画像Ｓ０とを重畳してディスプレイ１５に表示する表示制御処理を規定している。なお、第２の位置合せ処理は、関連画像Ｓ０と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点を抽出し、互いに対応する複数の特徴点に対して関連画像に基づいて優先度を設定し、優先度が設定された複数の特徴点に基づいて、位置合せ済み術中画像と新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、位置情報に基づいて、関連画像Ｓ０と新たに取得された術中画像とを位置合せするものである。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、タブレット端末は、画像取得部２１、関連画像取得部２２、第１の位置合せ部２３、第２の位置合せ部２４、および表示制御部２５として機能する。なお、画像位置合せ装置１は、画像取得処理、関連画像取得処理、第１の位置合せ処理、第２の位置合せ処理および表示制御処理をそれぞれ行うプロセッサを備えるものであってもよい。なお、第１の位置合せ部２３が初期位置合せ手段に、第２の位置合せ部２４が位置合せ手段にそれぞれ対応する。

画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された手術中の被検体７の対象部位を含む術中映像Ｌ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、本実施形態においては、術中映像Ｌ０は、開腹された被検体７の上方から医師が肝臓を撮影することにより取得される。

関連画像取得部２２は、肝臓の手術のシミュレーション画像を関連画像Ｓ０として生成する。このため、関連画像取得部２２は、まず３次元画像Ｖ０から肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を抽出する。関連画像取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。関連画像取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。

そして、関連画像取得部２２は、肝臓等の３次元形状を表す画像を関連画像Ｓ０として生成する。具体的には、抽出した肝臓等をあらかじめ定めた投影面に投影した投影像を、関連画像Ｓ０として生成する。ここで、投影面としては、例えば、被検体７の肝臓を正面から臨む面とすればよい。なお、投影の具体的な方法としては、例えば、公知のボリュームレンダリングの手法等を用いる。

この際、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色を定義して関連画像Ｓ０を生成してもよく、異なる透明度を定義して関連画像Ｓ０を生成してもよい。例えば、肝動脈を赤色、肝静脈を青色、病変を緑色としたり、肝臓の不透明度を０．１、肝動脈および肝静脈の不透明度を０．５、病変の不透明度を０．８としたりしてもよい。これにより、図３に示すような関連画像Ｓ０が生成される。このように、関連画像Ｓ０において、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を容易に識別することができる。なお、異なる色および異なる透明度の双方を定義して関連画像Ｓ０を生成してもよい。また、シミュレーションにより設定された切除する部分を表す線、すなわち切除ラインを関連画像Ｓ０に付与してもよい。生成された関連画像Ｓ０はストレージ１３に保存される。

なお、関連画像Ｓ０に対しては、各位置に対して優先度が設定される。なお、優先度は関連画像の全ての画素位置に設定してもよいが、数画素間隔で間引いた画素位置に設定してもよい。優先度は、ディスプレイ１５に表示された関連画像Ｓ０を見ながら入力部１６を用いて医師により設定されてもよく、自動で設定されてもよい。図４は優先度の設定を説明するための図である。なお、図４においては、関連画像Ｓ０には肝臓に含まれる肝動脈、肝静脈および病変が省略されており、肝臓の輪郭４０、手術の際に切除する切除ライン４１および肝臓表面に現れる区域の境界４２が含まれている。優先度は、関連画像Ｓ０において特徴的な、位置合せを行うのに適した位置にある画素ほど大きくなるように付与される。例えば、肝臓の輪郭４０、切除ライン４１および肝臓表面に現れる区域の境界４２上にある画素位置には大きい優先度が設定される。この場合、肝臓の輪郭４０、切除ライン４１および肝臓表面に現れる区域の境界４２から離れるほど低くなるように優先度が設定される。また、切除ライン４１により切除された後に残る肝臓の部分、すなわち図４における肝臓の左側の部分に対しては、切除される部分、すなわち図４における肝臓の右側の部分よりも大きい優先度が付与される。なお、本実施形態においては、優先度は例えば０〜１の間の値により設定し、値が大きいほど優先度が大きいものとする。

以下、第１および第２の位置合せ部２３，２４および表示制御部２５の説明と併せて、第１の実施形態において行われる処理について説明する。

図５は第１の実施形態において行われる処理を示すフローチャートである。なお、関連画像Ｓ０は既に生成されて、かつ優先度が設定されてストレージ１３に保存されているものとする。まず、被検体７の肝臓が撮影されて術中映像Ｌ０が取得される（ステップＳＴ１）。そして、表示制御部２５が関連画像Ｓ０を術中映像Ｌ０に重畳してディスプレイ１５に表示する（ステップＳＴ２）。なお、この段階においては、関連画像Ｓ０はディスプレイ１５におけるあらかじめ定められた位置に表示される。

続いて、第１の位置合せ部２３が、第１の位置合せの指示がなされたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、第１の位置合せ部２３が、医師による第１の位置合せの指示を受け付ける（ステップＳＴ４）。これにより、第１の位置合せ部２３が初期位置合せである第１の位置合せを行う。

図６は第１の位置合せの際にディスプレイ１５に表示される画像を示す図である。上述したように表示された関連画像Ｓ０は、入力部１６の操作、すなわちディスプレイ１５へのタッチ操作により、平行移動、回転および拡大縮小が可能となっている。なお、ディスプレイ１５の表示面にｘ軸およびｙ軸を、表示面に直交する方向にｚ軸を設定した場合、回転は３軸の任意の方向に可能となっている。本実施形態における回転とは、ｚ軸の周りの回転を意味する。また、関連画像Ｓ０に対してｚ軸の周りの回転以外の回転、すなわちｘ軸およびｙ軸の少なくとも一方の周りの回転がなされた場合、関連画像Ｓ０の向きが変更される。本実施形態においては、関連画像Ｓ０のｘ軸およびｙ軸の少なくとも一方の周りの回転を向きの変更と定義する。

なお、第１の位置合せ時に表示される術中映像Ｌ０は動画像および静止画像のいずれであってもよいが、本実施形態においては静止画像であるものとする。また、初期位置合せ時には、できるだけ術野全体が術中映像Ｌ０に含まれるように、タブレット端末の位置を調整することが好ましい。

ここで、関連画像Ｓ０の向きが変更された場合、関連画像Ｓ０の投影面が変化する。このため、関連画像取得部２２は、関連画像Ｓ０の向きが変更されて投影面が変化した場合、関連画像Ｓ０を改めて生成する。

医師は、ディスプレイ１５に表示された術中映像Ｌ０および関連画像Ｓ０を見ながら、関連画像Ｓ０の位置が、術中映像Ｌ０に含まれる肝臓の位置と一致するように、関連画像Ｓ０を平行移動、回転および拡大縮小する。また、必要であれば、関連画像Ｓ０の向きを変更する。この際、関連画像Ｓ０の透明度を変更するようにしてもよい。関連画像Ｓ０の透明度の変更は、入力部１６からの指示によるものであってもよく、第１の位置合せのために、医師がディスプレイ１５にタッチ操作を行ったときに、透明度を変更するようにしてもよい。

そして、関連画像Ｓ０の位置が、術中映像Ｌ０に含まれる肝臓の位置と一致した時点で、入力部１６を用いて第１の位置合せ終了の指示を行うことにより、第１の位置合せが完了する。なお、第１の位置合せ終了の指示は、入力部１６の操作により、終了指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。これにより、第１の位置合せ終了時にディスプレイ１５に表示されていた術中映像Ｌ０の１つのフレームである術中画像が初期術中画像Ｔ０としてストレージ１３に保存される。

続いて、第１の位置合せ部２３は、第１の位置合せ終了の指示がなされたか否かを判断する（ステップＳＴ５）。なお、ステップＳＴ５の処理は第２の位置合せ部２４が行うようにしてもよい。ステップＳＴ５が否定されるとステップＳＴ４に戻り、引き続き第１の位置合せの指示が受け付けられる。ステップＳＴ５が肯定されると、第２の位置合せ部２４が第２の位置合せを行う（ステップＳＴ６）。

ここで、本実施形態においては、カメラ１４により術中画像が順次取得されて術中映像Ｌ０が構成される。第２の位置合せ部２４は、順次取得される術中画像と関連画像Ｓ０との位置合せを行う。具体的には、第２の位置合せ部２４は、関連画像Ｓ０と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から、位置合せ済み術中画像と新たに取得された術中画像との相対的な位置に相違を表す位置情報を取得し、位置情報に基づいて関連画像Ｓ０と新たに取得された術中画像との位置合せを行う。なお、位置合せ済み術中画像には、初期術中画像Ｔ０を含む。

図７は第２の位置合せ処理のフローチャートである。第１の位置合せ後、医師は手術を進める。手術中、医師はタブレット端末を被検体７の上方に常時保持しておくことはできないため、タブレット端末による対象部位の撮影は一時的に中断され、その後、病変の位置の確認等、必要なときにタブレット端末を用いての対象物である肝臓の撮影が行われる。この際、タブレット端末の位置は第１の位置合せを行った位置から移動され、肝臓の撮影が再度行われることとなる。このような状況においては、カメラ１４は、位置合せ済み術中画像を取得したときとは位置がずれるため、新たに取得される術中画像Ｔｎは、図８に示すように、位置合せ済み術中画像Ｔｆに対して位置がずれることとなる。また、タブレット端末を被検体７の上方に保持しておく場合においても、タブレット端末を手で持っている限り、タブレット端末は動いてしまうため、新たに取得される術中画像Ｔｎは、位置合せ済み術中画像Ｔｎに対して位置がずれることとなる。

第２の位置合せ部２４は、術中画像Ｔｆ，Ｔｎの互いに対応する特徴点を抽出し、ＲＡＮＳＡＣ（RANdam SAmple Consensus）の手法を用いて基礎行列を算出し、基礎行列に基づいて術中画像Ｔｆ，Ｔｎを撮影したカメラ１４、すなわちタブレット端末の位置および姿勢の変化を推定して位置情報を取得し、位置情報を用いて関連画像Ｓ０と術中画像Ｔｎとの位置合せである第２の位置合せを行う。

このため、第２の位置合せ部２４は、第２の位置合せに使用する術中画像Ｔｆ，Ｔｎから互いに対応する複数の特徴点である複数の特徴点ペアを抽出する（ステップＳＴ１１）。特徴点ペアの抽出は、例えば「Feature Detection with Automatic Scale Selection, Computational Vision and Active Perception Laboratory (CVAP) Department of Numerical Analysis and Computing Science KTH (Royal Institute of Technology) S-100 44 Stockholm, Sweden.Int. J. of Computer Vision, vol 30, number 2, 1998. (In press).」に記載された手法等を用いて、術中画像Ｔｆ，Ｔｎに含まれる肝臓の輪郭および肝臓表面に現れる区域の境界上の、対応する画素位置を特徴点ペアとして抽出する。なお、特徴点ペアの抽出方法はこれに限定されるものではなく、テンプレートマッチング等の公知の任意の手法を用いることができる。ここで、互いに対応する特徴点ペアを（ｐfi，ｐni）＝（（ｘfi，ｙfi），（ｘni，ｙni））（ｉ＝１〜Ｍ：Ｍは特徴点ペアの数）と定義する。

次に第２の位置合せ部２４は、エピポーラ幾何に基づいて基礎行列をあらかじめ定められた回数繰り返し算出する。以下、エピポーラ幾何について説明する。図９はエピポーラ幾何を説明するための図である。図９に示すように、空間上の点Ｂ０をカメラ１４によりそれぞれ異なる位置において撮影して、術中画像Ｔｆおよび術中画像Ｔｎが取得されたと仮定する。なお、図中の点Ｃｆ，Ｃｎは術中画像Ｔｆ，Ｔｎを取得した際のカメラ１４の主点である。そして、術中画像Ｔｆにおいて点Ｂ０が含まれる点をｐｂｆとする。また、術中画像Ｔｎにおいて点Ｂ０が含まれる点をｐｂｎとする。また、点Ｃｆと点Ｃｎとを結んだ直線と術中画像Ｔｆとの交点を第１のエピポールｅｆと称し、点Ｃｐと点Ｃｓとを結んだ直線と術中画像Ｔｎとの交点を第２のエピポールｅｎと称する。また、点Ｂ０、点Ｃｆおよび点Ｃｎを含む平面と、術中画像Ｔｆとの交線を第１のエピポーラ線Ｌｆと称し、術中画像Ｔｎとの交線を第２のエピポーラ線Ｌｎと称する。なお、エピポーラ線Ｌｆをａfiｘ＋ｂfiｙ＋ｃfi＝０、エピポーラ線Ｌｎをａniｘ＋ｂniｙ＋ｃni＝０で表すものとする。

エピポーラ幾何における基本方程式はエピポーラ方程式である。基礎行列は３×３の行列でありこれをＦとすると、エピポーラ方程式は以下の式（１）により表される。

第２の位置合せ部２４は、公知の８点アルゴリズムにより、８点の特徴点ペアを用いてエピポーラ方程式を解くことにより基礎行列Ｆを算出し、最適な８点の特徴点ペアが算出されるまで、基礎行列Ｆの算出を繰り返す。このため、第２の位置合せ部２４は、エピポーラ方程式を解くための８つの特徴点ペアを複数の特徴点ペアから選択し（ステップＳＴ１２）、選択した８つの特徴点ペアを用いてエピポーラ方程式を解き、基礎行列Ｆを算出する（ステップＳＴ１３）。基礎行列Ｆが算出されると、第２の位置合せ部２４は、下記の式（２）、（３）により、エピポーラ線Ｌｆ，Ｌｎを規定するベクトル（ａfi，ｂfi，ｃfi）および（ａni，ｂni，ｃni）を算出する。

そして選択された８点の特徴点ペアについて、下記の式（４）、（５）により、術中画像Ｔｆ，Ｔｎのそれぞれにおけるエピポーラ線Ｌｆ，Ｌｎからの距離ｄfi，ｄniを算出する。ここで、１つの特徴点ペア（ｐfi，ｐni）についての距離ｄfi，ｄniは図１０に示すものとなる。続いて、第２の位置合せ部２４は、８点の特徴点ペアについてエピポーラ誤差Ｅｒｒを下記の式（６）により算出する（ステップＳＴ１４）。すなわち、エピポーラ誤差Ｅｒｒは、各特徴点ペアにおけるエピポーラ線Ｌｆ，Ｌｎからの距離が大きい方の値となる。

さらに第２の位置合せ部２４は、下記の式（７）により、選択された８つの特徴点ペアの評価値Ｖｋを算出する（ステップＳＴ１５）。なお、式（７）において、ｆ（Ｅｒｒ（ｐfi，ｐni））は、Ｅｒｒ（ｐfi，ｐni）があらかじめ定められたしきい値Ｔｈ１以下となる場合に、特徴点ペアを構成する特徴点の優先度の値となり、それ以外の場合には０となる関数である。したがって、評価値Ｖｋは、Ｅｒｒ（ｐfi，ｐni）があらかじめ定められたしきい値Ｔｈ１以下となる場合の、Ｅｒｒ（ｐfi，ｐni）の加算値となる。

ここで、優先度は、関連画像Ｓ０に付与された優先度を参照して、特徴点ペアを構成する特徴点に設定される。具体的には、術中画像Ｔｆ，Ｔｎのうち、術中画像Ｔｆには関連画像Ｓ０が位置合せされているため、術中画像Ｔｆ上の各画素位置と関連画像Ｓ０の各画素位置とを１対１で対応づけることができる。ここで、本実施形態においては、関連画像Ｓ０の各画素に優先度が設定されているため、術中画像Ｔｆ上の各画素位置に対して、対応する関連画像Ｓ０の画素位置の優先度を対応づけることができる。したがって、術中画像Ｔｆに設定された特徴点の優先度は、関連画像Ｓ０における対応する画素位置の優先度となる。なお、術中画像Ｔｎにおける術中画像Ｔｆと特徴点ペアを構成する特徴点の優先度は、対応する術中画像Ｔｆにおける特徴点の優先度とする。したがって、特徴点ペアに対して１つの優先度が設定される。

ここで、本実施形態においては、肝臓の輪郭４０、手術の際に切除する切除ライン４１、肝臓表面に現れる区域の境界４２、および切除された後に残る肝臓の部分に対して高い優先度が設定されている。このため、選択された８つの特徴点ペアに、これらの位置に対応する特徴点ペアが含まれると、評価値Ｖｋの値は大きくなる。

第２の位置合せ部２４は、評価値Ｖｋが今までの評価値の最大値Ｖｍａｘよりも大きいか否かを判定する（ステップＳＴ１６）。ステップＳＴ１６が肯定されると、評価値Ｖｋを更新し（ステップＳＴ１７）、さらに、評価値Ｖｋの算出をあらかじめ定められた回数α行ったか否かを判定する（評価値算出回数＝α；ステップＳＴ１８）。ここで、あらかじめ定められた回数は統計的に定められた回数であり、総当たりで特徴点ペアのマッチングを行うことなく、特定の確率（例えば９９．９％）で，最適な８つの特徴点ペアを検出することができる回数である。なお、ステップＳＴ１６が否定されるとステップＳＴ１８に進む。ステップＳＴ１８が否定されると、新たな８つの特徴点ペアを選択し（ステップＳＴ１９）、ステップＳＴ１３に戻る。

ステップＳＴ１８が肯定されると、第２の位置合せ部２４は、現在の評価値の最大値Ｖｍａｘとなった８つの特徴点ペアにより算出した基礎行列Ｆを、位置合せ用の基礎行列Ｆｄに決定する（ステップＳＴ２０）。さらに、第２の位置合せ部２４は、位置合せ用基礎行列Ｆｄに基づいて、以下の式（８）により基本行列Ｅを算出する。式（８）において、Ａはカメラ内部行列と呼ばれる３×３の行列で、カメラ１４の焦点距離、画角、および光軸点等の情報から得られる。

基本行列ＥはＥ＝ｔ・Ｒと書き表すことができる。ここで、ｔは並進移動量および拡大縮小量を表すベクトルであり、Ｒは回転を表す３×３の行列である。ｔおよびＲが、術中画像Ｔｆを取得したときのカメラ１４の位置と、術中画像Ｔｎを取得したときのカメラ１４の相対的な位置の相違、すなわち術中画像Ｔｆとその後に取得される術中画像Ｔｎとの相対的な位置との相違を表す位置情報となる。したがって、第２の位置合せ部２４は、基本行列Ｅを算出し、さらに基本行列Ｅからベクトルｔおよび行列Ｒを位置情報として算出する（ステップＳＴ２１）。

第２の位置合せ部２４は、位置情報を用いて関連画像Ｓ０と術中画像Ｔｎとを位置合せする（ステップＳＴ２２）。すなわち、術中画像Ｔｆと位置合せされている関連画像Ｓ０を位置情報に基づいて、術中画像Ｔｎにおいても、術中画像Ｔｎに含まれる肝臓と重畳されるように、関連画像Ｓ０を平行移動、回転および／または拡大縮小する。そして、表示制御部２５が位置合せされた術中画像Ｔｎに関連画像Ｓ０を重畳表示し（ステップＳＴ２３）、ステップＳＴ１１に戻る。このような第２の位置合せを繰り返すことにより、図１１に示すように、関連画像Ｓ０は、初期術中画像Ｔ０と位置合せした位置と同様の位置において、術中映像Ｌ０に重畳表示されることとなる。

このように、第１の実施形態においては、複数の特徴点ペアに対して，関連画像Ｓ０に基づいて優先度を設定し、優先度が設定された複数の特徴点ペアに基づいて、術中画像Ｔｆ，Ｔｎの相対的な位置の相違を表す位置情報を取得し、位置情報に基づいて、関連画像Ｓ０と術中画像Ｔｎとの位置合せを行うようにしたものである。このように、関連画像Ｓ０に基づいて特徴点に優先度を設定することにより、関連画像Ｓ０に基づくほど高い優先度を持った特徴点が使用されて、位置情報を取得することができる。したがって、取得した位置情報を用いて、術中画像Ｔｆ，Ｔｎの位置合せ、さらには関連画像Ｓ０と術中画像Ｔｎとの位置合せを精度よく行うことができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像位置合せ装置の構成は、図２に示す第１の実施形態による画像位置合せ装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第２の実施形態においては、特定数の術中画像が取得される毎に、初期位置合せに使用した初期術中画像Ｔ０と新たに取得された術中画像Ｔｎとを用いて位置情報を取得するようにした点が第１の実施形態と異なる。

図１２は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態においては、図７におけるステップＳＴ２３以降の処理が第１の実施形態と異なるため、ステップＳＴ２３以降の処理についてのみ説明する。第２の実施形態においては、第２の位置合せ部２４は、ステップＳＴ２３に引き続き、特定数の新たな術中画像Ｔｎを取得したか否かを判定する（ステップＳＴ３１）。なお、特定数はあらかじめ医師が定めておけばよい。ステップＳＴ３１が否定されるとステップＳＴ１１に戻る。ステップＳＴ３１が肯定されると、位置合せ済み術中画像Ｔｆを初期術中画像Ｔ０に設定し（ステップＳＴ３２）、ステップＳＴ１１に戻る。これにより、初期術中画像Ｔ０と新たな術中画像Ｔｎとに基づいて位置情報が取得されて、関連画像Ｓ０と術中画像Ｔｎとの第２の位置合せが行われる。

ここで新たに取得された術中画像のみを用いて位置合せを行うと、初期位置合せをした際の関連画像Ｓ０と初期術中画像Ｔ０との位置関係が徐々にずれてくるおそれがある。そうすると、新たに取得された術中画像Ｔｎに含まれる肝臓と関連画像Ｓ０との位置がずれてしまう。このため、第２の実施形態においては、特定数の術中画像が取得される毎に、初期位置合せに使用した初期術中画像Ｔ０と新たに取得された術中画像Ｔｎとを用いて位置情報を取得するようにしたものである。これにより、初期術中画像Ｔ０と新たに取得した術中画像Ｔｎとから取得した位置情報を用いて、関連画像Ｓ０と新たに取得した術中画像Ｔｎとの位置合せを、第１の位置合せの状態から再開することができるため、第２の位置合せをより精度よく継続することができる。

なお、上記各実施形態においては、位置合せ済み術中画像Ｔｆとして、初期術中画像Ｔ０を用いるようにしてもよい。これにより、初期位置合せをした際の関連画像Ｓ０と初期術中画像Ｔ０との位置関係を損なうことなく、関連画像Ｓ０と新たに取得された術中画像Ｔｎとの第２の位置合せを行うことができる。

また、上記各実施形態においては、関連画像Ｓ０として、ＣＴ装置等のモダリティにより生成した３次元画像Ｖ０から抽出した肝臓の投影像を用いているが、これに限定されるものではなく、ＰＥＴ検査または核医学検査等により取得される機能３次元画像を関連画像として用いてもよい。また、関連画像Ｓ０としては、矢印等の記号を画像化したもの、または切除位置周囲の部位および組織名等の文字情報を画像化したもの等を用いてもよい。

また、上記各実施形態においては、初期術中画像Ｔ０をディスプレイ１５に表示して、操作者が手動で関連画像Ｓ０との第１の位置合せを行っているが、初期術中画像Ｔ０に含まれる肝臓と関連画像Ｓ０とを自動で初期位置合せしてもよい。

また、上記各実施形態においては、第１の位置合せ時に関連画像Ｓ０を用いているが、関連画像Ｓ０に含まれる肝臓の輪郭のみを境界画像として抽出し、境界画像を用いて第１の位置合せを行うようにしてもよい。

また、上記各実施形態においては、タブレット端末に術中映像Ｌ０および関連画像Ｓ０を重畳表示しているが、術中映像Ｌ０をヘッドマウントディスプレイに表示する際の関連画像Ｓ０との位置合せを行う場合にも本発明を適用できる。また、術中映像Ｌ０を、手術台の上部に設置されたカメラにより撮影し、撮影により取得した画像を手術室内あるいは手術室外のディスプレイに表示する際の関連画像Ｓ０との位置合せを行う場合にも本発明を適用できる。この場合、本実施形態による画像位置合せ装置１はコンピュータにインストールされ、コンピュータにおいて術中映像Ｌ０と関連画像Ｓ０との位置合せが行われ、コンピュータに接続されたヘッドマウントディスプレイおよびディスプレイに、術中映像Ｌ０と関連画像Ｓ０とが重畳表示される。

さらに、腹腔鏡により撮影した術中映像Ｌ０、またはロボット手術用の術中映像Ｌ０に関連画像Ｓ０を表示して、術中映像Ｌ０と関連画像Ｓ０との位置合せを行う場合にも本発明を適用できる。

また、上記各実施形態においては、関連画像取得部２２において関連画像Ｓ０を生成しているが、画像位置合せ装置１とは別個に設けられた関連画像生成装置において、関連画像Ｓ０を生成するようにしてもよい。この場合、関連画像取得部２２は、関連画像Ｓ０を生成する必要がなくなるため、装置の構成を簡易なものとすることができる。

また、上記各実施形態においては、関連画像Ｓ０を平行移動、回転移動、拡大縮小および向きを変更して第１の位置合せを行っているが、各種方向を向いた複数の関連画像を用意しておき、第１の位置合せ時の術中映像Ｌ０に含まれる対象部位の向きに最も一致した向きの関連画像を選択して第１の位置合せを行うようにしてもよい。

また、上記各実施形態においては、肝臓に含まれる肝動脈等を抽出して関連画像Ｓ０に含めるようにしているが、手術の対象部位である肝臓のみを抽出し、肝臓のみの３次元形状を表す画像を関連画像Ｓ０として用いるようにしてもよい。

また、上記各実施形態においては、手術の対象部位として肝臓を用いているが、これに限定されるものではなく、任意の部位を手術の対象部位とする場合における、術中映像Ｌ０と関連画像Ｓ０とを位置合せして重畳表示する際にも、本発明を適用することができる。

以下、本発明の実施形態の効果について説明する。

優先度に応じて互いに対応する複数の特徴点のそれぞれに対して重み付けをして、位置情報の取得に使用する特定数の特徴点を、互いに対応する複数の特徴点から選択し、選択された特定数の特徴点に基づいて位置情報を取得することにより、関連画像との位置合せにより適切な特徴点を用いて位置情報を取得することができる。このため、取得した位置情報を用いて、位置合せ済み術中画像と新たに取得された術中画像との位置合せ、さらには関連画像と新たに取得された術中画像との位置合せをより精度よく行うことができる。

関連画像上の各位置に優先度が設定されてなる場合、関連画像上の優先度を参照して、複数の特徴点に優先度を設定することにより、関連画像との位置合せにより適切な特徴点を用いて位置情報を取得することができる。このため、取得した位置情報を用いて、位置合せ済み術中画像と新たに取得された術中画像との位置合せ、さらには関連画像と新たに取得された術中画像との位置合せをより精度よく行うことができる。

関連画像において、対象部位における特徴的な位置ほど高い優先度を設定することにより、取得した位置情報を用いて、位置合せ済み術中画像と新たに取得された術中画像との位置合せ、さらには関連画像と新たに取得された術中画像との位置合せをより精度よく行うことができる。

新たに取得された術中画像のみを用いて位置合せを行うと、初期位置合せをした際の関連画像と術中映像との位置関係が徐々にずれ、その結果、新たに取得された術中画像と関連画像との位置がずれるおそれがある。このため、特定数の術中画像が取得される毎に、初期位置合せに使用した術中画像と新たに取得された術中画像とを用いて位置情報を取得することにより、初期位置合せに使用した術中画像と新たに取得した術中画像とから取得した位置情報を用いて、関連画像と新たに取得した術中画像との位置合せを、第１の位置合せの状態から再開することができる。したがって、第２の位置合せをより精度よく継続することができる。

初期位置合せに使用した術中画像を位置合せ済み術中画像として使用することにより、初期位置合せをした際の関連画像と術中映像との位置関係を損なうことなく、関連画像と新たに取得された術中画像との位置合せを行うことができる。

１ 画像位置合せ装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
７ 被検体
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
１７ モーションセンサ
２１ 画像取得部
２２ 関連画像取得部
２３ 第１の位置合せ部
２４ 第２の位置合せ部
２５ 表示制御部

Claims (13)

1. 手術中の人体における該手術の対象部位を含む、撮影時刻が異なる２以上の術中画像からなる術中映像を取得する画像取得手段と、
   前記対象部位の前記手術に関連する関連画像を取得する関連画像取得手段と、
   前記術中映像と前記関連画像との位置合せを行う位置合せ手段とを備え、
   前記位置合せ手段は、前記関連画像と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点を抽出し、前記互いに対応する複数の特徴点に対して前記関連画像に基づいて優先度を設定し、該優先度が設定された前記複数の特徴点に基づいて、前記位置合せ済み術中画像と前記新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、該位置情報に基づいて、前記関連画像と前記新たに取得された術中画像とを位置合せすることを特徴とする画像位置合せ装置。
2. 前記位置合せが行われている間、前記術中映像と前記関連画像とを重畳して表示手段に表示する表示制御手段をさらに備えた請求項１記載の画像位置合せ装置。
3. 前記位置合せ手段は、前記優先度に応じて前記互いに対応する複数の特徴点のそれぞれに対して重み付けをして、前記位置情報の取得に使用する特定数の特徴点を、前記互いに対応する複数の特徴点から選択し、該選択された特定数の特徴点に基づいて前記位置情報を取得する請求項１または２記載の画像位置合せ装置。
4. 前記関連画像上の各位置に前記優先度が設定されてなり、前記位置合せ手段は、前記関連画像上の優先度を参照して、前記互いに対応する複数の特徴点に優先度を設定する請求項１から３のいずれか１項記載の画像位置合せ装置。
5. 前記関連画像において、前記対象部位における特徴的な位置ほど高い優先度が設定されてなる請求項４記載の画像位置合せ装置。
6. 前記関連画像が前記対象部位の切除位置を表す線を含む場合、該線の近傍の位置ほど高い優先度が設定されてなる請求項４または５記載の画像位置合せ装置。
7. 前記関連画像が前記対象部位の切除位置を表す線を含む場合、該線による切除後に残る位置ほど高い優先度が設定されてなる請求項４から６のいずれか１項記載の画像位置合せ装置。
8. 前記術中映像と前記関連画像との初期位置合せをする初期位置合せ手段をさらに備え、
   前記位置合せ手段は、前記初期位置合せの結果に基づいて前記位置合せを行う請求項１から７のいずれか１項記載の画像位置合せ装置。
9. 前記位置合せ手段は、特定数の前記術中画像が取得される毎に、前記初期位置合せに使用した術中画像と前記新たに取得された術中画像との前記位置合せを行う請求項８記載の画像位置合せ装置。
10. 前記位置合せ手段は、前記初期位置合せに使用した術中画像を前記位置合せ済み術中画像として使用する請求項８項記載の画像位置合せ装置。
11. 前記関連画像は、前記対象部位の３次元形状を表す画像である請求項１から１０のいずれか１項記載の画像位置合せ装置。
12. 手術中の人体における該手術の対象部位を含む、撮影時刻が異なる２以上の術中画像からなる術中映像を取得する画像取得手段と、
    前記対象部位の前記手術に関連する関連画像を取得する関連画像取得手段と、
    前記術中映像と前記関連画像との位置合せを行う位置合せ手段とを備えた画像位置合せ装置の作動方法であって、
    前記位置合せ手段が、前記関連画像と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点を抽出し、前記互いに対応する複数の特徴点に対して前記関連画像に基づいて優先度を設定し、該優先度が設定された前記複数の特徴点に基づいて、前記位置合せ済み術中画像と前記新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、該位置情報に基づいて、前記関連画像と前記新たに取得された術中画像とを位置合せすることを特徴とする画像位置合せ装置の作動方法。
13. 手術中の人体における該手術の対象部位を含む、撮影時刻が異なる２以上の術中画像からなる術中映像を取得する手順と、
    前記対象部位の前記手術に関連する関連画像を取得する手順と、
    前記術中映像と前記関連画像との位置合せを行う手順であって、前記関連画像と位置合せがなされた位置合せ済み術中画像および新たに取得された術中画像から互いに対応する複数の特徴点を抽出し、前記互いに対応する複数の特徴点に対して前記関連画像に基づいて優先度を設定し、該優先度が設定された前記複数の特徴点に基づいて、前記位置合せ済み術中画像と前記新たに取得された術中画像との相対的な位置の相違を表す位置情報を取得し、該位置情報に基づいて、前記関連画像と前記新たに取得された術中画像とを位置合せする手順をコンピュータに実行させることを特徴とする画像位置合せプログラム。