JP4187830B2

JP4187830B2 - 医用画像合成装置

Info

Publication number: JP4187830B2
Application number: JP18920398A
Authority: JP
Inventors: 裕子田中
Original assignee: Toshiba Corp; Toshiba Medical Systems Engineering Co Ltd
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 1998-07-03
Filing date: 1998-07-03
Publication date: 2008-11-26
Anticipated expiration: 2018-07-03
Also published as: JP2000020696A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置又は被検出体側を大きく動かしても、立体ファントムによって容易に撮像装置の補正パラメータを修正し、この修正した補正パラメータ及び立体ファントムの座標系で正しい焦点位置、視線を算出し、ずれない合成画像を得る医用画像合成装置に関する。
【０００２】
【従来の技術】
近年、外科手術を支援する目的で、手術の進入位置を、前もって撮影された医用画像上マッピングして表示する医用ナビゲーションシステムの開発が進められている。例えば、脳外科、耳鼻科領域では、顕微鏡下での手術が一般的に行われている。また、患者への侵襲が少ないという理由から内視鏡下の手術にも普及してきている。
【０００３】
これらの手術では患者の視野が限定されることもあり、手術の進入位置がどこであるかをリアルタイムで確認することが手術の安全性、確実性といった点から要求される。
【０００４】
このような内視鏡下、顕微鏡下の手術を支援する目的の医用ナビゲーションシステムがある。このような医用ナビゲーションシステムは、ＣＴ装置、ＭＲＩ装置、核医学装置等の各種医用画像診断装置から得られた患者の医用画像情報と、ビデオカメラ、顕微鏡、内視鏡によって得た術台の患者の画像との相対的な位置関係を算出し、同一部位の同一方向から見た画像を同時に表示することにより、患者の体内、或いは体外からリアルタイムで得られるビデオカメラ、顕微鏡、内視鏡映像中に映っている領域が前もって撮影された医用画像中のどこに相当するかを画像として表示することにより、医師に診断、治療上有効な情報を提供するものである。
【０００５】
例えば、特願平７−３３７２５６の医用ナビゲーションシステムにおいては、内視鏡、顕微鏡、カメラ等（総称して撮像装置という）によって得た患者のビデオ映像と、ＣＴ装置又はＭＲ装置等によって前もって撮影された患者の立体医用画像（以下単に医用画像という）との位置関係を随時算出し、患者に対する撮像装置から見たときの位置、方向の医用画像を生成し、この医用画像との合成画像を表示する。
【０００６】
また、特願平８−３０３２７０の医用ナビゲーションシステムにおいては、内視鏡、顕微鏡、カメラ等に存在する歪みパラメータを算出し、ＣＴ装置やＭＲ装置等の医用画像から作成した３次元画像又は断面画像をこの歪みにあわせて変形させ、同じ２次元画像上で重ね合わせて表示する。
【０００７】
【発明が解決しようとする課題】
しかしながら、手術中には手術がしやすいように、患者の姿勢、内視鏡、顕微鏡、カメラの位置を常に変えることがよくある。
【０００８】
このように、患者をカメラの位置関係が変わっても、前述の医用ナビゲーションシステムは患者の位置を、フレーム又は寝台とカメラの三次元座標を常に測定することによって両者の相対位置関係が求められるので、合成表示を行うことができる。
【０００９】
現在、三次元座標を連続的に測定する手法としてモーションキャプチャと呼ばれている方法があり、前述の医用ナビゲーションシステムにおいても用いている。
【００１０】
これは、測定する対象物（患者、フレーム）に小さな光源を複数設け、対象物の周囲に固定した数台のカメラからこの光源を撮影することで、カメラからの空間位置を測定するものである。
【００１１】
しかし、この方法では、対象物がカメラに対してある決められた範囲にないと高精度の測定ができないという課題がある。例えば、カメラと対象物との距離が離れると画像の歪みが大きくなる。
【００１２】
また、手術室では、術中に内視鏡、顕微鏡、カメラを動かすことがある。特に、カメラを大きく動かした場合には、精度の高い測定ができず、合成画像にずれが生じることがある。
【００１３】
本発明では、このように光学装置を大きく動かし、合成画像にずれが生じた場合には、カメラキャリブレーション用立体ファントムを再度カメラによって撮影し、正しいカメラ焦点位置、撮影方向を算出し、ずれない合成画像を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、撮像装置からの画像を用いて術台上の被検体と前記撮像装置との相対関係を求め、該相対関係に基づいて、医用画像診断装置によって得られた被検体の医用画像を投影した画像と前記撮像装置により撮像した画像とを合成表示する医用画像合成装置において、前記撮像装置からの画像と前記医用画像との合成表示における位置を補正するための指標とする基準ターゲットと、前記前記撮像装置と前記基準ターゲットの位置を計測する位置計測手段と、前記撮像装置からの画像と前記位置計測手段で計測した位置のデータに基づいて、前記撮像装置と前記被検体の相対位置関係を補正する補正手段と、前記撮像装置及び前記術台が、前記補正手段による位置関係の補正を行なった位置より大きく移動した場合に警告を表示する手段を備えることを特徴とする。
【００１５】
【発明の実施の形態】
図１は本発明の医用ナビゲーションシステムの概略構成図である。図１の医用ナビゲーションシステム１は、マーカーが印字された凸形状のカメラキャリブレーション立体ファントム２（以下立体ファントムという）を用いてビデオカメラ３の補正パラメータを求める。
【００１６】
この補正パラメータと立体ファントム２、患者、ビデオカメラとの相対関係を用いてビデオカメラ３、術台４の患者が動いても、ＣＴ装置又はＭＲＩ装置、核医学装置等によって得た医療画像とカメラ画像とをずれないように合成した合成画像を得るものである。
【００１７】
図１の医用ナビゲーションシステム１は、ビデオカメラ３（顕微鏡装置、内視鏡装置であってもよい）と、患者を術台４に固定する固定フレーム５と、患者、カメラ位置、立体ファントム２の位置を計測するポィンティング装置６と、このポィンティング装置６からの位置データと、ビデオカメラ３からの映像を入力して立体ファントム２の座標系に基づく変換行列でビデオカメラ３と患者側の相対位置関係を補正して、常に医療画像とカメラ画像とのずれない合成画像を得る画像処理装置７とから構成されている。
【００１８】
また、本実施の形態では、手術直前及び手術中は患者と固定フレームと術台４とは常に固定されている。つまり、これらは同一座標系で定義できるので、固定フレーム５の３点をポィンティング装置６によって患者側の座標系を定義する３点とする場合、又は患者の３点を指定して患者側の座標系を定義する３点とする場合もあるので、総称して単に患者側の３点という。
【００１９】
画像処理装置７は、医用画像用メモリ１０と、カメラ情報用メモリ１１と、画像メモリ１２と、システムコントローラ１３と、画像処理部１４と、座標変換部１５と、カメラ画像記憶処理部１６と、カメラ情報生成部１７と、立体ファントム座標変換部１８と、画像合成部１９と、表示部２０と、マウス２１等を備えている。
【００２０】
医用画像用メモリ１０には、ＣＴ装置、ＭＲ装置等によって得たスライス画像が３次元空間（Ｘｉ、Ｙｉ、Ｚｉ）に積み重ねられ記憶されている。
【００２１】
システムコントローラ１３は、システム全体を管理し、バス９を介してビデオカメラ３、ポィンティング装置６等に接続され、ビデオカメラ３からのカメラ映像を画像メモリ１２に記憶させたり、各部のデータの受け渡しの制御を行う。
【００２２】
画像処理部１４は、医用画像用メモリ１０の医用画像、カメラ画像又は合成画像等に対して所定の処理を行って表示部２０に表示させる。例えば、医用画像、カメラ画像に対して色付け又は透明化等の処理を行う。
【００２３】
座標変換部１５は、ポィンティング装置６によって測定された術台４の患者の形状情報を読み、この形状情報と医用画像用メモリ１０に記憶されている患者の
【外１】

ラ映像座標系に変換する処理等を行う。
【００２４】
カメラ画像記憶処理部１６は、ビデオカメラ３からの焦点距離ｆｏをＺｃ軸にとった三次元座標系（Ｘｃ、Ｙｃ、Ｚｃ）を画像メモリ１２に生成し、この画像メモリ１２にカメラ画像（Ｘｃ、Ｙｃ）を順次記憶する。
【００２５】
カメラ情報生成部１７は、画像メモリ１２に記憶されたビデオカメラ３のカメラ画像を解析して補正パラメータＰｏを求め、この補正パラメータＰｏとビデオカメラ３の焦点距離ｆｏとを対応させたカメラ情報をカメラ情報メモリ用のテーブルに登録する。
【００２６】
立体ファントム座標変換部１８は、ポィンティング装置６によって計測された術台４の患者側の座標系（Ｘｐ、Ｙｐ、Ｚｐ）を定義すると共に、立体ファントム２の座標系（Ｘｑ、Ｙｑ、Ｚｑ）を定義し、立体ファントムの位置と患者側の
【外２】

そして、ビデオカメラ３からの立体ファントム２の画像とから現時点での立体ファントム２に対するビデオカメラ３の焦点位置と視線方向を求め、この位置と方向とから立体ファントム２の座標系（Ｘｑ、Ｙｑ、Ｚｑ）に対するビデオカメ
【外３】

２は術台４を介して患者に固定されているので、患者側に対してのビデオカメラ３の現在の焦点位置と視線方向とを求めている。
【００２７】
さらに、ポィンティング装置６からのビデオカメラ位置、患者側の位置が新たに入力する毎に、その現在のビデオカメラの位置と立体ファントム２を用いたときのビデオカメラの位置（キャリブレーション処理を行ったときのカメラ位置と
【外４】

ると共に、立体ファントム２を用いて求めた患者側の位置（キャリブレーション処理を行ったときの患者位置ともいう）と現在の患者側の位置とから、その現在
【外５】

そして、これらの座標変換行列を用いて、現在の患者側（患者又は固定フレー
【外６】

画像合成部１９は、ビデオカメラ３からのカメラ映像（術台上の患者の画像）と焦点距離とが入力する毎に、カメラ情報用メモリ１１のカメラ情報テーブルからその焦点距離に対応する補正パラメータを抽出し、医用画像用メモリ１０の医用画像の歪みを補正し、カメラ画像と医用画像とを合成するとき前述の座標変換
【外７】

に表示させる。
【００２８】
図２は立体ファントム２の立体図である。図２に示すように、立体ファントム２は、箱を３段重ねた形状にされ、最上段の箱から順に大きくなっている。
【００２９】
また、各箱の上面（重なる面を除く）にはマーカが印字されている。例えば、最上段の箱Ａの上面にはマーカＡｍ１、中段の箱ＢにはマーカＢｍ１〜Ｂｍ７、最下段の箱ＣにはマーカＣｍ１〜Ｃｍ１６が印字されている。これらのマーカは、それぞれ同一形状（図２おいては黒丸）で、同一間隔で配列されている。
【００３０】
さらに、最下段の箱Ｃには、立体ファントム２の座標系を画像処理装置に定義させるための、マーカＥ１、Ｅ２、…が側面に刻印されている。このマーカＥ１、Ｅ２、…は、同一面において同一線上に少なくも３点が存在しないように配列されている。
【００３１】
また、この立体ファントム２には術台４又は固定フレーム５に取付固定可能な支持具２５が多関節構造で設けられている。
【００３２】
上記のように構成された医用ナビゲーションシステムについて以下に動作を説明する。
【００３３】
図３は本実施の形態の患者、カメラの移動による座標変換の概念を説明する説明図である。
【００３４】
図３に示すように、医用画像はＣＴ装置、ＭＲＩ等によって得たものであり、複数のスライス画像を三次元空間座標（Ｘｉ、Ｙｉ、Ｚｉ）に積み重ねて得た３次元画像である。
【００３５】
また、ビデオカメラで撮影した患者の２元画像は、ビデオカメラの焦点距離をＺｃ軸にとった、Ｘｃ、Ｙｃ、Ｚｃからなる３次元座標に定義した画像である。
【００３６】
すなわち、医用画像及びカメラ画像は同じ患者の画像であり、かつそれぞれ３次元座標に定義しているので、両方の画像の関係は、座標変換式で定義できる。
【００３７】
しかし、カメラ映像にはレンズ系の歪みと焦点位置によって決定される透視投影による歪み（遠くは小さく見えて近くは大きく見える）が存在する。したがって医用画像の座標系とカメラの座標系間の座標変換は単純な回転、平行移動できまる変換とはならず、歪みの補正が含まれた変換となる。
【００３８】
一般に、カメラの幾何補正は、写真計測、コンピュータビジョンの分野でさまざまな方式が提案されている。これらの多くは、各カメラの焦点距離ごとに既知のパターンを撮影し、写ったパターンの形状から、補正パラメータを数学的に求める方式がとられている。
【００３９】
カメラの補正パラメータには、カメラの焦点距離、レンズの歪み、画像中心位置といった射影特性を表す内部パラメータ（以下補正パラメータという）と、カメラの被写体に対する焦点位置、視線方向といった外部パラメータの２種類があることをここで述べておく。
【００４０】
図３においては、予め立体ファントムを基準ターゲットとしてビデオカメラ３、立体ファントム２を動かして前述の補正パラメータを求めておく。
【００４１】
そして、位置計測装置であるポィンティング装置６によって術台４の患者側の座標系（Ｘｐ、Ｙｐ、Ｚｐ）を定義すると共に、立体ファントム２の座標系（Ｘｑ、Ｙｑ、Ｚｑ）を定義し、基準座標系（ポィンティング装置の座標系）に対す
【外８】

を求める。
【００４２】
そして、立体ファントム２をビデオカメラ３で撮影し、外部パラメータ（カメラの被写体に対する焦点位置、視線方向）を補正パラメータで補正し、この補正
【外９】

視線方向をビデオカメラの位置及び視線方向と同じになるように補正する。
【００４３】
すなわち、立体ファントムのマーカ（黒マーカ）のパターンを用いた幾何補正処理によって、このパターンに対する相対的なカメラの焦点位置、視線方向を求めている。
【００４４】
図４は本実施形態の医用ナビゲーションシステムの動作を説明するフローチャートである。
【００４５】
手術直前に、図２に示すような立体ファントム２を基準ターゲットとし、この立体ファントム２とビデオカメラ３とを所定間隔毎にはなして立体ファントム２を撮影し、このときのビデオカメラ３の焦点距離ｆｏ毎のレンズの歪み等の補正パラメータを算出し、焦点距離ｆｏと対応させたカメラ情報としてカメラ情報テーブルに記憶する（Ｓ１）。
【００４６】
具体的には、ビデオカメラ３からの映像信号は画像処理装置７のカメラ画像記憶処理部１６によって画像メモリ１２に図５に示すように記憶され、この立体ファントム２の映像におけるマーカＡｍ１、マーカＢｍ１〜Ｂｍ７、マーカＣｍ１〜Ｃｍ１６の大きさの割合、間隔、ゆがみ等から補正パラメータを求める。
【００４７】
また、ビデオカメラ３においては立体ファントム２の各箱の上面までの焦点距離を知らせている。
【００４８】
そして、カメラ情報生成部１７が画像メモリ１２の立体ファントム画像からマーカ（黒点）の間隔、マーカの大きさ、画像のゆがみ等を求め、これらの値から各焦点距離ｆｏ当たりの補正パラメータＰｏを求め、この補正パラメータＰｏを焦点距離ｆｏに対応させたカメラ情報として図６に示すようにカメラ情報用メモリ１１（カメラ情報テーブルともいう）に記憶する。
【００４９】
同じく手術直前に、術台４に乗せられた患者の外形情報をポィンティング装置６によって計測し、この外形情報と医用画像用メモリ１０の医用画像と相対関係
【外１０】

前述の患者の外形情報は、特願平７ー３３７２５６号及び特願平８ー３０３２に示すように、ポィンティング装置６がもつ座標系に基づいて各計測点の座標値が計測されて座標変換部１５に設定される。
【００５０】
しかし、前述の如くポィンティング装置６がもつ座標系に基づいて各計測点の座標値は計測されるが、患者自体がもつ座標系（Ｘｐ、Ｙｐ、Ｚｐ）に基づく座標値であるほうが都合がよい。これは手術を進める際に、直観的に位置関係が理解しやすくなるからである。
【００５１】
そのために、例えば、頭部形状計測時に患者の頭部を固定している固定フレーム５の形状も合わせて計測し、ポィンティング装置６によってフレームの任意の位置に定められた同一直線上にない３点を指定する。この３点の指定に伴って、座標変換部１５が前述の３点に基づく患者の座標系（Ｘｐ、Ｙｐ、Ｚｐ）を設ける。次に、座標変換部１５がポィンティング装置６によって計測された形状データを、前述の患者の座標系（Ｘｐ、Ｙｐ、Ｚｐ）に定義する。
【００５２】
また、医用画像用メモリ１０に記憶されている医用画像情報というのは、別の部屋にあるＣＴ装置又はＭＲＩ装置等によって得たものであり、これらの撮像装置の座標系に基づいている。例えば、ＣＴ画像，ＭＲＩ画像においては、１スライスの断層画像は撮影装置のガントリの中央を原点とした直交座標系上で定義され、患者は寝台上に寝て、ヘッドレスト上に頭をのせた状態で撮影が行われる。
【００５３】
従って、座標系も患者の体位も、手術のときとは一致しないので、医用画像と患者の実体（形状）との位置関係を明確にする必要がある。
【００５４】
このため、ステップＳ２において、図２に示すように座標変換部１５が医用画
【外１１】

次に、手術直前に、患者を固定フレーム５または術台４に固定したのち、術野をカバーするように立体ファントム２をカメラの撮像面に向けて固定しておき、この立体ファントム２をファントムの支持具２５によって固定フレーム５または術台４に固定する。
【００５５】
そして、ポィンティング装置６によって、立体ファントム２の直線上にない３点のマーカ（例えば、Ｅ１、Ｅ２、Ｅ３）の位置を計測する。この立体ファント
【外１２】

が座標変換部によって求められる。
【００５６】
このような、医用画像ー患者間の座標変換の後に、立体ファントム２を用いて現在の患者側の位置と現在のビデオカメラ位置との相対位置を校正するキャリブレーション処理を立体ファントム座標変換部１８が行う。
【００５７】
このキャリブレーション処理は、初めにビデオカメラ３で術台４に固定された立体ファントム２を撮影し、立体ファントム２の各箱の面（黒マーカ）までの焦
【外１３】

いて定義する（Ｓ３）。
【００５８】
【外１４】

【数１】

すなわち、予め求めた患者側と立体ファントムとの相対関係を表す座標変換行
【外１５】

次に、ポィンティング装置６を用いてビデオカメラ３の位置を計測すると共に
【外１６】

そして、これらの変換行列から現在の患者に対するのカメラの相対位置を表す
【外１７】

【数２】

すなわち、予め求めた患者側と立体ファントム２との相対関係を表す座標変換
【外１８】

ビデオカメラ３の最新の相対位置を求める（Ｓ４）。
【００５９】
つまり、ステップ４の処理によってカメラの相対位置情報が更新され、医用画像の座標系とカメラの座標系間の変換行列が算出しなおされる。
【００６０】
次に、立体ファントム座標変換部１８は医用画像をビデオカメラ３の座標系（
【外１９】

用画像から抽出した画像がカメラの画像と同じ位置から見た画像にする。
【００６１】
そして、手術中においては、立体ファントム２を固定フレーム５又は術台４から取り外す。
【００６２】
この手術中においては、ビデオカメラ３及び患者側の位置は、これらが動く毎にポィンティング装置６によってその位置が常に計測される。
【００６３】
次いで、画像合成部１９はビデオカメラ３から焦点情報を入力させ（Ｓ６）、予め作成してあったカメラ情報テーブルから焦点距離ｆｏに対応する補正パラメータＰｏを抽出し（ステップＳ７）、この補正パラメータに基づき３次元医用画像の歪みの補正を行ない（Ｓ８）、補正後の医用画像とビデオカメラ３の映像とを重ね合せ処理を行って（Ｓ９）、合成画像を作成する（Ｓ１０）。
【００６４】
そして、両画像にずれがあるかどうかを判定し（Ｓ１１）、ずれがある場合は処理をステップＳ３に戻して上記説明のステップＳ３〜Ｓ８のキャリブレーション処理に戻す。例えば、手術中に、患者の姿勢を変えたり、カメラを動かし続けた結果、モニタ画像に表示される合成画像にずれが生じてしまった場合には、再度キャリブレーション処理を行う。
【００６５】
このキャリブレーション処理においても、立体ファントム２を固定フレーム５または術台４に固定し、外部パラメータを測定しなおし、ずれのない合成画像を生成する。
【００６６】
またずれがない場合は処理をステップＳ４に戻す。つまり、患者側に対してのカメラの相対位置情報が常に最新なものに更新され、医用画像の座標系とカメラの座標系間の変換行列が算出しなおされる。
【００６７】
従って、患者側又はビデオカメラ３が動いても常にずれのない患者の外観映像と医用画像の合成ができ、手術支援に有効となる。
【００６８】
上記の実施の形態では、合成画像にずれが生じたかどうかを表示される画像をみることで判断するようになっているが、あらかじめ、位置計測装置であるポィンティング装置６の特性を知ることができれば、精度の低下する距離、角度などの情報をシステムコントローラに入力しておき、計測対象であるカメラ及びフレーム（寝台）が，はじめのキャリブレーション用立体ファントムを用いた較正処理をおこなった位置より大きく移動し、この距離、角度を超えた場合には、合成画面上に警告を表示することも可能である。
【００６９】
本発明によって、常にずれのない患者の外観映像と医用画像の合成ができ、手術支援に有効となる。
【００７０】
【発明の効果】
以上のように本発明によれば、術台上の被検体の撮像装置の視野となる領域に基準ターゲットである立体ファントムを配置し、この立体ファントムと被検体と撮像装置とによる相対関係に基づいて位置関係を補正し、この補正結果に基づく被検体の立体医用画像と撮像装置による被検体の画像とを合成表示する。
【００７１】
従って、術台の被検体又は撮像装置が動いても、立体ファントムによって被検体と撮像装置との相対関係を容易に構成できるという効果が得られている。
【図面の簡単な説明】
【図１】本実施の形態の医用ナビゲーションシステムの概略構成図である。
【図２】立体ファントムの斜視図である。
【図３】本実施の形態の患者、カメラの移動による座標変換の概念を説明する説明図である。
【図４】本実施形態の医用ナビゲーションシステムの動作を説明するフローチャートである。
【図５】立体ファントムの画像を説明する説明図である。
【図６】カメラ情報テーブルを説明する説明図である。
【符号の説明】
１医用ナビゲーションシステム
２立体ファントム
３ビデオカメラ
４術台
５固定フレーム
６ポィンティング装置
７画像処理装置
１０医用画像用メモリ
１１カメラ情報用メモリ
１２画像メモリ
１３システムコントローラ
１４画像処理部
１５座標変換部
１６カメラ画像記憶処理部
１７カメラ情報生成部
１８立体ファントム座標変換部

Claims

撮像装置からの画像を用いて術台上の被検体と前記撮像装置との相対関係を求め、該相対関係に基づいて、医用画像診断装置によって得られた被検体の医用画像を投影した画像と前記撮像装置により撮像した画像とを合成表示する医用画像合成装置において、
前記撮像装置からの画像と前記医用画像との合成表示における位置を補正するための指標とする基準ターゲットと、
前記前記撮像装置と前記基準ターゲットの位置を計測する位置計測手段と、
前記撮像装置からの画像と前記位置計測手段で計測した位置のデータに基づいて、前記撮像装置と前記被検体の相対位置関係を補正する補正手段と、
前記撮像装置及び前記術台が、前記補正手段による位置関係の補正を行なった位置より大きく移動した場合に警告を表示する手段を備えることを特徴とする医用画像構成装置。