JP6392192B2 - 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム - Google Patents

Description

本発明は、映像に含まれる対象物と対象物に関連するシミュレーション画像との位置合せを行う画像位置合せ装置、画像位置合せ装置の作動方法およびプログラムに関するものである。

近年、３次元医用画像を用いた手術シミュレーションが盛んに行われている。手術シミュレーションとは、医用画像から手術対象となる組織、臓器およびその周辺構造を可視化し、実際の手術で行われる手技をシミュレーションするものである。例えば、肝臓の部分切除シミュレーションでは、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像の断層画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化して、手術時の術野から見たシミュレーション画像を生成する。その後、シミュレーション画像を用いて、肝臓内にある腫瘍を切除する範囲をコンピュータで計算して、手術計画を立てて手術を行う。

一方、シミュレーション画像を、手術中に参照したいという要求がある。このため、シミュレーション画像を紙に印刷して手術室に持ち込んだり、手術室に設置されたディスプレイに表示したりすることが行われている。そして医師は、実際の患者の術部を見ながら、確認のために紙に印刷したあるいはディスプレイに表示したシミュレーション画像を見ながら手術を行う。

しかしながら、患者とシミュレーション画像とを交互に見ながら手術を行うことは、非常に煩わしい。このため、手術中に手術の対象部位を撮影して複数の画像からなる映像を取得し、映像にシミュレーション画像を重畳して表示する手法が提案されている。例えば、特許文献１には、光学センサあるいは磁気センサを、術部を撮影するカメラ、術具、もしくは臓器に直接取り付け、それらの相対位置関係をキャリブレーション、すなわち初期位置合せし、初期位置合せ後のカメラの位置および向きの変更、並びに臓器の移動に対して、シミュレーション画像を移動させることにより、手術の対象となる部位とシミュレーション画像とを位置合せして重畳表示する手法が提案されている。

また、手術の対象となる部位にマーカを配置し、マーカの位置をセンサにより検出して、手術の対象部位とシミュレーション画像とを位置合せし、ヘッドマウントディスプレイに表示する手法（特許文献２参照）、および手術の対象部位にマーカを埋め込み、これをセンサにより検出して手術の対象部位とシミュレーション画像とを位置合せし、モニタに表示する手法も提案されている（特許文献３参照）。

一方、センサ等を用いることなく、撮影された患者の画像とシミュレーション画像とを位置合せする手法も提案されている。例えば、特許文献４においては、３次元画像から臓器モデルを生成し、超音波画像にリアルタイムで臓器モデルを重畳させて表示する際に、超音波画像の各フレームと臓器モデルとの間のアフィン変換関数を求め、これに基づいて臓器モデルを変換して超音波画像に重畳させる手法が提案されている。また、特許文献５においては、骨の画像と骨の輪郭からなるテンプレートとの位置合せを行う手法が提案されている。また、特許文献６には、３次元画像のワイヤフレームモデルと対象物との位置合せを行う手法も提案されている。さらに、特許文献７には、超音波画像に輪郭モデルを重畳して超音波画像と輪郭モデルとを位置合せする手法が提案されている。

特開２０１３−２０２３１３号公報 特開２０１０−２５９４９７号公報 特開２０１０−２００８９４号公報 特開２０１２−２０５８９９号公報 特開２０１２−５１８５２０号公報 特開２００７−２６８２５９号公報 特開２００８−０６８０８６号公報

上記特許文献５から７に記載の手法により、対象物とテンプレートあるいはワイヤフレームモデル等のシミュレーション画像との位置合せを容易に行うことができる。しかしながら、特許文献５から７に記載された手法は、対象物とシミュレーション画像とを初期位置合せした後の位置合せに関するものである。ここで、対象物を撮影する際には、カメラを手で持っている限り、カメラを完全に静止することは難しく、表示された映像内において対象物が移動する。このため、映像に含まれる対象物とシミュレーション画像とを、操作者が手動で初期位置合せする作業は非常に困難である。とくに、シミュレーション画像が対象物と重なっていると、対象物が見にくくなるため、初期位置合せが非常に困難なものとなる。

本発明は上記事情に鑑みなされたものであり、映像に含まれる対象物とシミュレーション画像との初期位置合せを、容易に行うことができるようにすることを目的とする。

本発明による第１の画像位置合せ装置は、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する画像取得手段と、
対象物に関連するシミュレーション画像を取得するシミュレーション画像取得手段と、
シミュレーション画像の境界を表す境界画像を取得する境界画像取得手段と、
映像およびシミュレーション画像を表示手段に表示する表示制御手段と、
第１の位置合せの指示により、映像に含まれる対象物とシミュレーション画像との第１の位置合せを行う第１の位置合せ手段とを備え、
表示制御手段は、少なくとも第１の位置合せの指示が行われている間、シミュレーション画像に代えて、境界画像を表示手段に表示することを特徴とするものである。

「シミュレーション画像」とは、対象物に関連し、かつ対象物の外形を表す情報を含む任意の画像を意味する。例えば、対象物を手術の対象部位とした場合において、対象部位の３次元形状を表す画像、並びに対象部位および対象部位に含まれる構造物の３次元形状を表す画像等をシミュレーション画像として用いることができる。なお、ＰＥＴ（Positron Emission Tomography）検査またはＮＭ（Nuclear Medical）検査（核医学検査）等により取得される機能３次元画像等の画像であっても、対象物の外形を表す情報を含むものであれば、シミュレーション画像として用いることができる。

「第１の位置合せの指示」とは、シミュレーション画像を平行移動、回転移動、拡大縮小および向きの少なくとも１つを変更して、映像に含まれる対象物にシミュレーション画像を一致させる指示を意味する。なお、「向きを変更する」とは、表示手段の表示面に平行なあるいは表示面に沿った軸の周りにシミュレーション画像を回転させることを意味する。一方、「回転移動」とは、表示手段の表示面に直交する軸の回りの回転を意味する。

「第１の位置合せ」とは、上述した初期位置合せに限定されるものではなく、第１の位置合せの終了後、後述する第２の位置合せが行われている最中に改めて第１の位置合せの指示に応じて位置合せを行う場合も、第１の位置合せに含めるものとする。

「シミュレーション画像の境界」とは、表示手段に表示されたシミュレーション画像にいて、シミュレーション画像とシミュレーション画像以外の部分との境界を意味する。なお、シミュレーション画像が３次元画像である場合、シミュレーション画像の向きを変更すると、シミュレーション画像の形が変更される場合がある。このような場合、向きの変更に応じた境界を抽出して境界画像を生成する。

「少なくとも第１の位置合せの指示が行われている間、シミュレーション画像に代えて境界画像を表示する」とは、第１の位置合せの指示が行われている間、すなわち操作者が第１の位置合せの操作を行っている間にのみ境界画像を表示するものであってもよく、第１の位置合せの指示を中断した状態においても、第１の位置合せが終了するまで、境界画像を表示し続けることも含む。

なお、本発明による第１の画像位置合せ装置においては、第１の位置合せの結果に基づいて、映像に含まれる対象物とシミュレーション画像との第２の位置合せを行う第２の位置合せ手段をさらに備えるものとし、
表示制御手段を、第２の位置合せが行われた映像に含まれる対象物とシミュレーション画像とを表示手段に重畳表示するものとしてもよい。

この場合、表示制御手段を、第２の位置合せ時に、境界画像の表示の指示により、シミュレーション画像に代えて境界画像を表示手段に表示するものとしてもよい。

本発明による第２の画像位置合せ装置は、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する画像取得手段と、
対象物に関連するシミュレーション画像を取得するシミュレーション画像取得手段と、
シミュレーション画像の境界を表す境界画像を取得する境界画像取得手段と、
映像およびシミュレーション画像を表示手段に表示する表示制御手段と、
第１の位置合せの指示により、映像に含まれる対象物とシミュレーション画像との第１の位置合せを行う第１の位置合せ手段と、
第１の位置合せの結果に基づいて、映像に含まれる対象物とシミュレーション画像との第２の位置合せを行う第２の位置合せ手段とを備え、
表示制御手段は、第２の位置合せが行われた映像に含まれる対象物とシミュレーション画像とを表示手段に重畳表示し、境界画像の表示の指示により、シミュレーション画像に代えて、境界画像を表示手段に表示することを特徴とするものである。

なお、本発明による第１および第２の画像位置合せ装置においては、境界画像取得手段を、シミュレーション画像の境界を抽出して境界画像を生成するものとしてもよい。

また、本発明による第１および第２の画像位置合せ装置においては、境界画像は破線からなるものであってもよく、透明画像からなるものであってもよい。

「境界画像が破線からなる」とは、境界画像が複数の線分からなることを意味する。なお、線分と線分との間隔および線分の長さは一定である必要はなく、一点鎖線あるいは二点鎖線のように、線分と線分との間隔および線分の長さが変化するものであってもよい。

「透明画像」とは、映像に重畳表示した際に、映像における境界画像と重なる部分を視認できる画像を意味する。例えば、境界画像に対してあらかじめ定められた透明度を設定することにより、境界画像を透明画像とすることができる。

また、本発明による第１および第２の画像位置合せ装置においては、対象物が少なくとも１つの構造物を含む場合、シミュレーション画像を、対象物および少なくとも１つの構造物の３次元形状を表す画像としてもよい。

この場合、境界画像を、対象物の境界および少なくとも１つの構造物の３次元形状を表す画像としてもよい。

本発明による第１の画像位置合せ装置は、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得し、
対象物に関連するシミュレーション画像を取得し、
シミュレーション画像の境界を表す境界画像を取得し、
映像およびシミュレーション画像を表示手段に表示し、
第１の位置合せの指示により、映像に含まれる対象物とシミュレーション画像との第１の位置合せを行い、
少なくとも第１の位置合せの指示が行われている間、シミュレーション画像に代えて、境界画像を表示手段に表示することを特徴とするものである。

本発明による第２の画像位置合せ装置は、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得し、
対象物に関連するシミュレーション画像を取得し、
シミュレーション画像の境界を表す境界画像を取得し、
映像およびシミュレーション画像を表示手段に表示し、
第１の位置合せの指示により、映像に含まれる対象物とシミュレーション画像との第１の位置合せを行い、
第１の位置合せの結果に基づいて、映像に含まれる対象物とシミュレーション画像との第２の位置合せを行い、
第２の位置合せが行われた映像に含まれる対象物とシミュレーション画像とを表示手段に重畳表示し、境界画像の表示の指示により、シミュレーション画像に代えて、境界画像を表示手段に表示することを特徴とするものである。

なお、本発明による第１および第２の画像位置合せ方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、少なくとも第１の位置合せの指示が行われている間、シミュレーション画像に代えて境界画像が表示される。このため、境界画像を用いて対象物との第１の位置合せを行うことにより、シミュレーション画像に邪魔されることなく、対象物と境界画像とを容易に位置合せすることができる。

第２の位置合せの際に、境界画像の表示の指示によりシミュレーション画像に代えて境界画像を表示することにより、シミュレーション画像に邪魔されることなく、対象物と境界画像とが位置合せされているかを容易に確認することができる。また、境界画像を表示することにより、シミュレーション画像に邪魔されることなく、対象物の状態を確認することができる。

本発明の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図 タブレット端末に位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図 シミュレーション画像を示す図 境界画像の例を示す図 境界画像の例を示す図 境界画像の例を示す図 本実施形態において行われる処理を示すフローチャート 第１の位置合せの際にディスプレイに表示される術中画像を示す図 不変位置を中心とした領域の設定を説明するための図 現在表示されている術中映像の初期術中画像に対する位置のずれを説明するための図 シミュレーション画像と術中映像との重畳表示を説明するための図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態による画像位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による画像位置合せ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

３次元画像撮影装置２は、被検体７の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体７の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、被検体７の腹部の３次元画像Ｖ０が生成されるものとする。なお、手術の対象部位である肝臓が対象物となる。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

画像位置合せ装置１は、１台のコンピュータに、本発明の画像位置合せプログラムをインストールしたものである。本実施形態においては、コンピュータは、装置の操作者である医師が直接操作するネットワーク４と無線接続されたタブレット端末である。位置合せプログラムは、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からタブレット端末にインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてタブレット端末にダウンロードされ、インストールされる。

図２はタブレット端末に画像位置合せプログラムをインストールすることにより実現された画像位置合せ装置の概略構成を示す図である。図２に示すように、画像位置合せ装置１は、標準的なタブレット端末の構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、液晶等のディスプレイ１５、タッチパネル式の入力部１６、およびモーションセンサ１７を備えている。

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０および画像位置合せ装置１での処理によって生成された画像を含む各種情報が記憶されている。

カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。医師は画像位置合せ装置１、すなわちタブレット端末のカメラ１４を用いて、手術中の被検体７における手術の対象部位である、開腹された被検体７の肝臓を撮影することにより、撮影時刻が異なる２以上の画像からなる、肝臓を含む術中の術中映像Ｌ０を取得する。術中映像Ｌ０は所定のフレームレートによる術中画像Ｔ０が連続する動画像となる。なお、カメラ１４が撮影手段に対応する。

モーションセンサ１７は、タブレット端末のある位置を基準としたｘ軸、ｙ軸およびｚ軸の３軸の加速度、３軸の角速度および３軸の傾きを検出する９軸のモーションセンサである。これにより、モーションセンサ１７は、タブレット端末の動き、すなわちカメラ１４の動きを検出する。モーションセンサ１７が検出した加速度、角速度および傾きは動き情報としてＣＰＵ１１に出力され、必要な処理に使用される。

また、メモリ１２には、画像位置合せプログラムが記憶されている。画像位置合せプログラムは、ＣＰＵ１１に実行させる処理として、術中映像Ｌ０および３次元画像Ｖ０を取得する画像取得処理、術中映像Ｌ０に含まれる対象物である肝臓のシミュレーション画像Ｓ０を取得するシミュレーション画像取得処理、シミュレーション画像の境界を表す境界画像Ｂ０を取得する境界画像取得処理、初期位置合せ、すなわち第１の位置合せの指示により、術中映像Ｌ０に含まれる肝臓とシミュレーション画像Ｓ０との初期位置合せである第１の位置合せを行う第１の位置合せ処理、第１の位置合せの結果に基づいて、術中映像Ｌ０に含まれる肝臓とシミュレーション画像Ｓ０との第２の位置合せを行う第２の位置合せ処理、術中映像Ｌ０、シミュレーション画像Ｓ０および境界画像Ｂ０をディスプレイ１５に表示する表示制御処理を規定している。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、タブレット端末は、画像取得部２１、シミュレーション画像取得部２２、境界画像取得部２３、第１の位置合せ部２４、第２の位置合せ部２５および表示制御部２６として機能する。なお、画像位置合せ装置１は、画像取得処理、シミュレーション画像取得処理、境界画像取得処理、第１の位置合せ処理、第２の位置合せ処理および表示制御処理をそれぞれ行うプロセッサを備えるものであってもよい。

画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された手術中の被検体７の対象部位を含む術中映像Ｌ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、本実施形態においては、術中映像Ｌ０は、開腹された被検体７の上方から医師が肝臓を撮影することにより取得される。

シミュレーション画像取得部２２は、手術の対象部位である肝臓のシミュレーション画像を生成する。このため、シミュレーション画像取得部２２は、まず３次元画像Ｖ０から手術の対象部位である肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を抽出する。シミュレーション画像取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。シミュレーション画像取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。

そして、シミュレーション画像取得部２２は、肝臓等の３次元形状を表す画像をシミュレーション画像Ｓ０として生成する。具体的には、抽出した肝臓等をあらかじめ定めた投影面に投影した投影像を、シミュレーション画像Ｓ０として生成する。ここで、投影面としては、例えば、被検体７の肝臓を正面から臨む面とすればよい。なお、投影の具体的な方法としては、例えば、公知のボリュームレンダリングの手法等を用いる。

この際、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色を定義してシミュレーション画像Ｓ０を生成してもよく、異なる透明度を定義してシミュレーション画像Ｓ０を生成してもよい。例えば、肝動脈を赤色、肝静脈を青色、病変を緑色としたり、肝臓の不透明度を０．１、肝動脈および肝静脈の不透明度を０．５、病変の不透明度を０．８としたりしてもよい。これにより、図３に示すようなシミュレーション画像Ｓ０が生成される。このように、シミュレーション画像Ｓ０において、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を容易に識別することができる。なお、異なる色および異なる透明度の双方を定義してシミュレーション画像Ｓ０を生成してもよい。生成されたシミュレーション画像Ｓ０はストレージ１３に保存される。

境界画像取得部２３は、シミュレーション画像Ｓ０の境界を抽出して境界画像Ｂ０を生成することにより境界画像Ｂ０を取得する。本実施形態においては、シミュレーション画像Ｓ０は肝臓の３次元形状を表す投影像である。このため、境界画像取得部２３は、シミュレーション画像Ｓ０をトゥーンレンダリングの手法を用いて２次元に描画して肝臓の２次元画像を生成し、その境界からあらかじめ定められた範囲を境界画像Ｂ０として生成する。図４は境界画像Ｂ０を示す図である。図４に示すように、境界画像Ｂ０はシミュレーション画像Ｓ０に含まれる肝臓の境界を表すものとなっている。なお、境界画像Ｂ０の色は術中映像Ｌ０に含まれる肝臓の色とは異なるものとすることが好ましい。例えば、白色および黄色等の人体の内部組織の色とは異なる比較的明るい色とすることが好ましい。

また、境界画像取得部２３は、トゥーンレンダリングの手法に代えて、３次元画像Ｖ０を投影してシミュレーション画像Ｓ０を生成する際に、投影面に向かうベクトルとシミュレーション画像Ｓ０における表面の法線ベクトルとの内積が９０度に近い値となるシミュレーション画像Ｓ０の表面の領域のみを、境界画像Ｂ０として生成してもよい。また、３次元画像Ｖ０においてシミュレーション画像Ｓ０の領域を単一色で塗りつぶし、単一色のシミュレーション画像Ｓ０における隣接する画素との相違が大きい部分を境界として抽出し、抽出した境界からあらかじめ定められた範囲の領域を境界画像Ｂ０として生成してもよい。また、３次元画像Ｖ０を投影面に投影してシミュレーション画像Ｓ０を生成する際の深度情報であるｚバッファを用いてもよい。この場合、ｚバッファを参照し、投影面に向かう方向における深さが大きく変化する部分をシミュレーション画像Ｓ０の境界として抽出し、抽出した境界からあらかじめ定められた範囲の領域を境界画像Ｂ０として生成してもよい。

また、境界画像取得部２３は、図５に示すように、破線からなる境界画像Ｂ０を生成してもよい。なお、図５においては、線分と線分との間が等間隔の破線により境界画像Ｂ０を生成しているが、一点鎖線あるいは二点鎖線のように、線分と線分との間隔および線分の長さが変化するものであってもよい。また、術中映像Ｌ０に重畳表示した際に、術中映像Ｌ０における境界画像と重なる部分を視認できるように、境界画像Ｂ０を半透明となるように生成してもよい。この場合、透明度はあらかじめ定められた値に設定すればよい。また、境界画像取得部２３は、図６に示すように、シミュレーション画像Ｓ０に含まれる肝臓並びに肝臓に含まれる動脈、静脈および病変のうち、肝臓のみの境界を有し、境界の内部に肝臓以外の動脈、静脈および病変のシミュレーション画像を含む境界画像Ｂ０を生成してもよい。

以下、第１の位置合せ部２４、第２の位置合せ部２５および表示制御部２６の説明と併せて、本実施形態において行われる処理について説明する。

図７は本実施形態において行われる処理を示すフローチャートである。なお、シミュレーション画像Ｓ０および境界画像Ｂ０は既に生成されて、ストレージ１３に保存されているものとする。まず、被検体７の手術対象部位である肝臓が撮影されて術中映像Ｌ０が取得される（ステップＳＴ１）。なお、術中映像Ｌ０は例えば３０ｆｐｓ等の所定のフレームレートにより順次取得される複数の術中画像Ｔ０からなる。そして、表示制御部２６がシミュレーション画像Ｓ０を術中映像Ｌ０に重畳してディスプレイ１５に表示する（ステップＳＴ２）。なお、この段階においては、シミュレーション画像Ｓ０はディスプレイ１５におけるあらかじめ定められた位置に表示される。

続いて、第１の位置合せ部２４が、第１の位置合せの指示がなされたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、表示制御部２６がシミュレーション画像Ｓ０に代えて境界画像Ｂ０を術中映像Ｌ０に重畳表示する（ステップＳＴ４）。次いで、第１の位置合せ部２４が、医師による第１の位置合せの指示を受け付ける（ステップＳＴ５）。これにより、第１の位置合せ部２４が初期位置合せである第１の位置合せを行う。

図８は第１の位置合せの際にディスプレイ１５に表示される画像を示す図である。第１の位置合せ時においては、表示制御部２６は、術中映像Ｌ０に境界画像Ｂ０を重畳して、ディスプレイ１５に表示する。表示された境界画像Ｂ０は、入力部１６の操作、すなわちディスプレイ１５へのタッチ操作により、平行移動、回転および拡大縮小が可能となっている。なお、画像が存在する平面にｘ軸およびｙ軸を、画像に直交する方向にｚ軸を設定した場合、回転は３軸の任意の方向に可能となっている。なお、ｘｙ平面における回転以外の回転、すなわちｘ軸および／またはｙ軸の周りの回転がなされた場合、シミュレーション画像Ｓ０の投影面が変化する。このため、シミュレーション画像取得部２２は、投影面が変化した場合、シミュレーション画像Ｓ０を改めて生成し、境界画像取得部２３は境界画像Ｂ０を改めて生成する。なお、第１の位置合せ時には、できるだけ術野全体が術中映像Ｌ０に含まれるように、タブレット端末の位置を調整することが好ましい。

医師は、ディスプレイ１５に表示された術中映像Ｌ０および境界画像Ｂ０を見ながら、境界画像Ｂ０の位置が、術中映像Ｌ０に含まれる肝臓の位置と一致するように、境界画像Ｂ０を平行移動、回転および拡大縮小する。そして、境界画像Ｂ０の位置が、術中映像Ｌ０に含まれる肝臓の位置と一致した時点で、入力部１６を用いて第１の位置合せ終了の指示を行うことにより、第１の位置合せが完了する。なお、第１の位置合せ終了の指示は、入力部１６の操作により、終了指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。これにより、第１の位置合せ終了時にディスプレイ１５に表示されていた術中映像Ｌ０の１つのフレームである術中画像Ｔ０が初期術中画像Ｔ１としてストレージ１３に保存される。

なお、本実施形態においては、手術の対象部位は肝臓であり、手術中に肝臓は切除されて移動する可能性がある。このため、本実施形態においては、第１の位置合せ終了時にディスプレイ１５に初期術中画像Ｔ１を表示しておき、手術中に移動しない不変位置の指定を受け付ける。例えば、図９に示す初期術中画像Ｔ１において、鉗子３０等の手術用具が存在する部位は手術中には移動しない。また、肝臓の左葉を切除する場合、肝臓の右葉は手術中には移動しない。このため、本実施形態においては、入力部１６により鉗子３０のエッジ上の位置Ｏ１あるいは肝臓の右葉の位置Ｏ２等、手術中に移動しない不変位置の指定を受け付け、不変位置をストレージ１３に保存しておく。

続いて、第１の位置合せ部２４は、第１の位置合せ終了の指示がなされたか否かを判断する（ステップＳＴ６）。なお、ステップＳＴ６の処理は第２の位置合せ部２５が行うようにしてもよい。ステップＳＴ６が否定されるとステップＳＴ５に戻り、引き続き第１の位置合せの指示が受け付けられる。ステップＳＴ６が肯定されると、表示制御部２６が、境界画像Ｂ０に代えて、シミュレーション画像Ｓ０を術中映像Ｌ０に重畳表示し（ステップＳＴ７）、第２の位置合せ部２５が初期位置合せである第１の位置合せの結果に基づいて、第２の位置合せを行う（ステップＳＴ８）。

第１の位置合せ後、医師は手術を進める。手術中、医師はタブレット端末を被検体７の上方に保持しておくことはできないため、タブレット端末による対象部位の撮影は一時的に中断され、その後、病変の位置の確認等、必要な時にタブレット端末を用いての対象部位の撮影が行われる。この際、タブレット端末の位置は第１の位置合せを行った位置から移動され、対象部位の撮影が再度行われることとなる。このような状況においては、カメラ１４は、初期術中画像Ｔ１とは位置がずれるため、ディスプレイ１５に表示される術中映像Ｌ０は、図１０に示すように、初期術中画像Ｔ１に対して位置がずれることとなる。第２の位置合せ部２５は、術中映像Ｌ０に含まれる、手術中における不変位置に基づいて、初期術中画像Ｔ１と術中映像Ｌ０に含まれる新たに取得された術中画像Ｔ０との相対的な位置の相違を表す位置情報を取得する。

まず、第２の位置合せ部２５は、位置情報を取得するために、不変位置を基準として、術中画像Ｔ０と初期術中画像Ｔ１とのテンプレートマッチングを行う。なお、テンプレートマッチングの手法としては、図９に示すように不変位置Ｏ１，Ｏ２を中心とした領域Ａ１，Ａ２を初期術中画像Ｔ１に設定し、領域Ａ１、Ａ２と術中画像Ｔ０との対応関係に基づいて、術中画像Ｔ０の初期術中画像Ｔ１に対する平行移動成分、回転成分および拡大率の少なくとも１つを位置情報として算出する手法を用いることができる。なお、回転とは、上記ｚ軸の周り（すなわちｘｙ平面における）２次元的な回転を意味する。

ここで、位置情報は、現在表示されている術中画像Ｔ０の初期術中画像Ｔ１に対する相対的な位置の相違を表すものである。このため、位置情報は、現在のカメラ１４の位置と、第１の位置合せ時のカメラ１４の位置との相対的な位置の相違に相当するものとなる。

第２の位置合せ部２５は、位置情報を用いて初期術中画像Ｔ１と術中画像Ｔ０とを位置合せし、この位置合せの結果を用いて第２の位置合せを行う。すなわち、位置合せされた術中画像Ｔ０にシミュレーション画像Ｓ０を重畳表示する。この際、シミュレーション画像Ｓ０は、位置情報に基づいて、平行移動、回転および／または拡大縮小される。これにより、図１１に示すように、シミュレーション画像Ｓ０は、初期術中画像Ｔ１と位置合せした位置と同様の位置において、術中映像Ｌ０に重畳表示されることとなる。

次いで、表示制御部２６が、医師によるシミュレーション画像Ｓ０または境界画像Ｂ０の表示の指示がなされたか否かを判定する（ステップＳＴ９）。ステップＳＴ９が否定されるとステップＳＴ８に戻り、引き続き第２の位置合せが行われる。ステップＳＴ９が肯定されると、表示制御部２６は、術中映像Ｌ０に重畳されて現在表示されている画像に代えて、指示された画像を表示し（ステップＳＴ１０）、ステップＳＴ８に戻る。第２の位置合せ部２５は引き続き第２の位置合せを行う。ここで、術中映像Ｌ０に重畳されてシミュレーション画像Ｓ０が表示されていた場合には、表示制御部２６は境界画像Ｂ０を表示する。また、術中映像Ｌ０に重畳されて境界画像Ｂ０が表示されていた場合には、表示制御部２６はシミュレーション画像Ｓ０を表示する。

このように、本実施形態においては、少なくとも第１の位置合せの指示が行われている間、シミュレーション画像Ｓ０に代えて境界画像Ｂ０を表示するようにしたものである。このため、境界画像Ｂ０を用いて対象物である肝臓との第１の位置合せを行うことにより、シミュレーション画像Ｓ０に邪魔されることなく、対象物と境界画像Ｂ０とを容易に第１の位置合せすることができる。

また、第２の位置合せの際に、境界画像Ｂ０の表示の指示によりシミュレーション画像Ｓ０に代えて境界画像Ｇ０を表示することにより、シミュレーション画像Ｓ０に邪魔されることなく、肝臓とシミュレーション画像Ｓ０とが位置合せされているかを容易に確認することができる。また、境界画像Ｂ０を表示することにより、シミュレーション画像Ｓ０に邪魔されることなく肝臓の状態を核にすることができる。

なお、上記実施形態においては、第１の位置合せの指示があった場合に境界画像Ｂ０を術中映像Ｌ０に重畳表示しているが、第１の位置合せの指示の前から、境界画像Ｂ０を術中映像Ｌ０に重畳表示してもよい。

また、上記実施形態においては、第１の位置合せの指示があった場合に境界画像Ｂ０を術中映像Ｌ０に重畳表示しているが、第１の位置合せの指示、すなわち境界画像Ｂ０を平行移動、回転および拡大縮小等すべく、医師が入力部１６による操作を行っている間にのみ、境界画像Ｂ０を術中映像Ｌ０に重畳表示し、操作を中断している間は、境界画像Ｂ０に代えてシミュレーション画像Ｓ０を術中映像Ｌ０重畳表示してもよい。

また、上記実施形態においては、第１の位置合せの終了指示があると、シミュレーション画像Ｓ０を術中映像Ｌ０に重畳表示しているが、引き続き境界画像Ｂ０を術中映像Ｌ０に重畳表示してもよい。

また、上記実施形態においては、第１の位置合せ時において、境界画像Ｂ０を術中映像Ｌ０に重畳表示しているが、シミュレーション画像Ｓ０を術中映像Ｌ０に重畳表示して、第１の位置合せを行うようにしてもよい。この場合、第２の位置合せ時において、シミュレーション画像Ｓ０または境界画像Ｂ０の表示の指示がなされた場合、シミュレーション画像Ｓ０に代えて境界画像Ｂ０を術中映像Ｌ０に重畳表示してもよい。

また、上記実施形態において、第２の位置合せが行われている間に、シミュレーション画像Ｓ０と肝臓との位置がずれてくる場合がある。このような場合、医師は改めて第１の位置合せの指示を入力部１６から行えばよい。これにより、第１の位置合せ部２４により、改めて第１の位置合せが行われることとなる。

また、上記実施形態においては、タブレット端末に術中映像Ｌ０およびシミュレーション画像Ｓ０または境界画像Ｂ０を重畳表示しているが、術中映像Ｌ０をヘッドマウントディスプレイに表示する際の第１の位置合せ時においても、シミュレーション画像Ｓ０に代えて境界画像Ｂ０を術中映像Ｌ０に重畳表示してもよい。また、術中映像Ｌ０を、手術台の上部に設置されたカメラにより撮影し、撮影により取得した画像を手術室内あるいは手術室外のディスプレイに表示する際の第１の位置合せを行う場合にも、シミュレーション画像Ｓ０に代えて境界画像Ｂ０を術中映像Ｌ０に重畳表示してもよい。この場合、本実施形態による画像位置合せ装置１はコンピュータにインストールされ、コンピュータにおいて術中映像Ｌ０と境界画像Ｂ０との初期記位置合せが行われ、その後の第２の位置合せにおいて、コンピュータに接続されたヘッドマウントディスプレイまたはコンピュータのディスプレイに、術中映像Ｌ０とシミュレーション画像Ｓ０とが重畳表示される。

また、上記実施形態においては、シミュレーション画像Ｓ０として、３次元画像Ｖ０から抽出した肝臓の投影像を用いているが、肝臓の外形の情報が含まれていれば、これに限定されるものではなく、ＰＥＴ検査または核医学検査等により取得される機能３次元画像をシミュレーション画像として用いてもよい。また、シミュレーション画像Ｓ０に、切除位置を表す線、矢印等の記号、あるいは切除位置周囲の部位および組織名等の文字情報を加えてもよい。

また、上記実施形態においては、シミュレーション画像取得部２２においてシミュレーション画像Ｓ０を生成しているが、画像位置合せ装置１とは別個に設けられたシミュレーション画像取得装置において、シミュレーション画像Ｓ０を生成するようにしてもよい。この場合、シミュレーション画像取得部２２は、シミュレーション画像Ｓ０を生成する必要がなくなるため、装置の構成を簡易なものとすることができる。

また、上記実施形態においては、境界画像取得部２３において境界画像Ｂ０を生成しているが、画像位置合せ装置１とは別個に設けられた境界画像取得装置において、境界画像Ｂ０を生成するようにしてもよい。この場合、境界画像取得部２３は、境界画像Ｂ０を生成する必要がなくなるため、装置の構成を簡易なものとすることができる。

また、上記実施形態においては、シミュレーション画像Ｓ０から生成した境界画像Ｂ０を平行移動、回転移動、拡大縮小および向きを変更して第１の位置合せを行っているが、各種方向を向いた複数のシミュレーション画像から生成した複数の境界画像Ｂ０を用意しておき、第１の位置合せ時の術中映像Ｌ０に含まれる対象部位の向きに最も一致した向きの境界画像Ｂ０を選択して第１の位置合せを行うようにしてもよい。

また、上記実施形態においては、肝臓に含まれる肝動脈等を抽出してシミュレーション画像Ｓ０に含めるようにしているが、手術の対象部位である肝臓のみを抽出し、肝臓のみの３次元形状を表す画像をシミュレーション画像Ｓ０として用いるようにしてもよい。

また、上記実施形態においては、手術対象部位として肝臓を用いているが、これに限定されるものではなく、任意の部位を手術の対象とする場合における、術中映像Ｌ０と境界画像Ｂ０とを第１の位置合せする際に、本発明を適用することができる。

また、上記実施形態においては、人体における手術の対象となる部位を対象物としているが、人体以外を被写体とする映像に含まれる対象物と対象物のシミュレーション画像Ｓ０との位置合せを行う際に、シミュレーション画像Ｓ０に代えてシミュレーション画像Ｓ０から生成した対象物の境界画像Ｂ０を用いるようにしてもよい。

以下、本発明の実施形態の効果について説明する。

破線からなる境界画像または透明画像からなる境界画像を生成することにより、対象物と境界画像との境界が見やすくなるため、第１の位置合せをさらに容易に行うことができる。

１ 画像位置合せ装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
１７ モーションセンサ
２１ 画像取得部
２２ シミュレーション画像取得部
２３ 境界画像取得部
２４ 第１の位置合せ部
２５ 第２の位置合せ部
２６ 表示制御部

Claims (13)

1. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する画像取得手段と、
   前記対象物に関連するシミュレーション画像を取得するシミュレーション画像取得手段と、
   前記シミュレーション画像の境界を表す境界画像を取得する境界画像取得手段と、
   前記映像および前記シミュレーション画像を表示手段に表示する表示制御手段と、
   第１の位置合せの指示により、前記映像に含まれる前記対象物と前記シミュレーション画像との第１の位置合せを行う第１の位置合せ手段とを備え、
   前記表示制御手段は、少なくとも前記第１の位置合せの指示が行われている間、前記シミュレーション画像に代えて、前記境界画像を前記表示手段に表示することを特徴とする画像位置合せ装置。
2. 前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記シミュレーション画像との第２の位置合せを行う第２の位置合せ手段をさらに備え、
   前記表示制御手段は、前記第２の位置合せが行われた前記映像に含まれる前記対象物と前記シミュレーション画像とを前記表示手段に重畳表示する請求項１記載の画像位置合せ装置。
3. 前記表示制御手段は、前記第２の位置合せ時に、前記境界画像の表示の指示により、前記シミュレーション画像に代えて前記境界画像を前記表示手段に表示する請求項２記載の画像位置合せ装置。
4. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する画像取得手段と、
   前記対象物に関連するシミュレーション画像を取得するシミュレーション画像取得手段と、
   前記シミュレーション画像の境界を表す境界画像を取得する境界画像取得手段と、
   前記映像および前記シミュレーション画像を表示手段に表示する表示制御手段と、
   第１の位置合せの指示により、前記映像に含まれる前記対象物と前記シミュレーション画像との第１の位置合せを行う第１の位置合せ手段と、
   前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記シミュレーション画像との第２の位置合せを行う第２の位置合せ手段とを備え、
   前記表示制御手段は、前記第２の位置合せが行われた前記映像に含まれる前記対象物と前記シミュレーション画像とを前記表示手段に重畳表示し、前記境界画像の表示の指示により、前記シミュレーション画像に代えて、前記境界画像を前記表示手段に表示することを特徴とする画像位置合せ装置。
5. 前記境界画像取得手段は、前記シミュレーション画像の境界を抽出して前記境界画像を生成する請求項１から４のいずれか１項記載の画像位置合せ装置。
6. 前記境界画像は破線からなる請求項１から５のいずれか１項記載の画像位置合せ装置。
7. 前記境界画像は透明画像からなる請求項１から６のいずれか１項記載の画像位置合せ装置。
8. 前記対象物が少なくとも１つの構造物を含む場合、前記シミュレーション画像は、前記対象物および前記少なくとも１つの構造物の３次元形状を表す画像である請求項１から７のいずれか１項記載の画像位置合せ装置。
9. 前記境界画像は、前記対象物の境界および前記少なくとも１つの構造物の３次元形状を表す画像である請求項８記載の画像位置合せ装置。
10. 画像取得手段が、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得し、
    シミュレーション画像取得手段が、前記対象物に関連するシミュレーション画像を取得し、
    境界画像取得手段が、前記シミュレーション画像の境界を表す境界画像を取得し、
    表示制御手段が、前記映像および前記シミュレーション画像を表示手段に表示し、
    第１の位置合せ手段が、第１の位置合せの指示により、前記映像に含まれる前記対象物と前記シミュレーション画像との第１の位置合せを行い、
    前記表示制御手段が、少なくとも前記第１の位置合せの指示が行われている間、前記シミュレーション画像に代えて、前記境界画像を前記表示手段に表示することを特徴とする画像位置合せ装置の作動方法。
11. 画像取得手段が、撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得し、
    シミュレーション画像取得手段が、前記対象物に関連するシミュレーション画像を取得し、
    境界画像取得手段が、前記シミュレーション画像の境界を表す境界画像を取得し、
    表示制御手段が、前記映像および前記シミュレーション画像を表示手段に表示し、
    第１の位置合せ手段が、第１の位置合せの指示により、前記映像に含まれる前記対象物と前記シミュレーション画像との第１の位置合せを行い、
    第２の位置合せ手段が、前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記シミュレーション画像との第２の位置合せを行い、
    前記表示制御手段が、前記第２の位置合せが行われた前記映像に含まれる前記対象物と前記シミュレーション画像とを前記表示手段に重畳表示し、前記境界画像の表示の指示により、前記シミュレーション画像に代えて、前記境界画像を前記表示手段に表示することを特徴とする画像位置合せ装置の作動方法。
12. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する手順と、
    前記対象物に関連するシミュレーション画像を取得する手順と、
    前記シミュレーション画像の境界を表す境界画像を取得する手順と、
    前記映像および前記シミュレーション画像を表示手段に表示する手順と、
    第１の位置合せの指示により、前記映像に含まれる前記対象物と前記シミュレーション画像との第１の位置合せを行う手順と、
    少なくとも前記第１の位置合せの指示が行われている間、前記シミュレーション画像に代えて、前記境界画像を前記表示手段に表示する手順とをコンピュータに実行させることを特徴とする画像位置合せプログラム。
13. 撮影の対象物を含む、撮影時刻が異なる２以上の画像からなる映像を取得する手順と、
    前記対象物に関連するシミュレーション画像を取得する手順と、
    前記シミュレーション画像の境界を表す境界画像を取得する手順と、
    前記映像および前記シミュレーション画像を表示手段に表示する手順と、
    第１の位置合せの指示により、前記映像に含まれる前記対象物と前記シミュレーション画像との第１の位置合せを行う手順と、
    前記第１の位置合せの結果に基づいて、前記映像に含まれる前記対象物と前記シミュレーション画像との第２の位置合せを行う手順と、
    前記第２の位置合せが行われた前記映像に含まれる前記対象物と前記シミュレーション画像とを前記表示手段に重畳表示し、前記境界画像の表示の指示により、前記シミュレーション画像に代えて、前記境界画像を前記表示手段に表示する手順とをコンピュータに実行させることを特徴とする画像位置合せプログラム。