JPH04183446A

JPH04183446A - 画像合成による手術支援システム

Info

Publication number: JPH04183446A
Application number: JP2313682A
Authority: JP
Inventors: Takesumi Doi; 土肥　建純; Masakazu Tsuzuki; 正和都築; Hirosada Hashimoto; 橋本　大定
Original assignee: Research Development Corp of Japan
Current assignee: Japan Science and Technology Agency
Priority date: 1990-11-19
Filing date: 1990-11-19
Publication date: 1992-06-30

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は手術の支援、医療診断等にも利用可能ブよ画像
合成による手術支援システムに関するものである。

〔従来の技術〕

近年の医用画像撮影技術の進歩は著しく、Ｘ線ＣＴ、Ｍ
ＲＩ、超音波断層画像などの各種断層データを短時間の
うちに得ることが可能となっている。この大量の画像デ
ータを基に、単なる二次元的断層診断から更に積極的に
患部の三次元的な位置関係を把握し、診断・治療に役立
てたいという要請があるが、従来は目的部位を中心とし
た数枚の連続する断層像を比較しながら、患部付近の三
次元的位置情報を医師自身の頭の中で再構成して認識す
る以外に方法は無かった。

これに対してコンピュータ技術を用いた、三次元画像再
構成の試みがフシされてきてし）る。これらの試みによ
り、医師にとっては従来よりも非常に容易にかつ直観的
に患部の三次元的位置関係をＳ居職することが可能とな
っている。特に最近では、χ線ＣＴＳＭＲＩ、超音波断
層画像などの画像撮影装置から得られる画像データ（二
次元断層像）を計算機内で処理し、三次元的画像に再構
成して各種の表示を行うシステムの開発が積極的に行わ
れている。

現在三次元医用画像再構成の研究は、診断ならびに実際
の手術計画やシュミレーションに役立つシステムの開発
が始められた段階であるが、この技術は術前のみならず
、術中、術後の手術全般に渡る支援をも可能とするもの
であるたｂｌそのシステムとしてのハードウェアおよび
ソフトウェアの開発はこれからの医療の進歩にとって欠
かせない重要な研究課題である。しかし現在のところ、
術前の得られたｘｉ透視像やＣＴ等による断層像を元に
して術者が頭の中で患部の三次元的位置・形状を把握す
ることにより手術を行わざるを得ない状況である。

＝発明が解決しようとする課題二このように、従来の手術におし１ては、医師が各種画像
をもとに頭の中で患部を中心とする三次元形状を把握す
るという作業をしなければならず、また実際の手術の場
におし）では患部位置を確認するという作業のために、
必要以上に開腹、切開を行うこともあり、患者にとって
は大きな侵襲となっていた。

本発明は上記課題を解決し、容易な手術計画の立案、侵
襲の少ない外科手術を実現するためのものである。即ち
各種断層像撮影装置のもつそれぞれの画像描出性を活か
して患部の立体像を作成し、さらに得られた立体像の長
所のみを重ね合わせて観察できるようにすることにより
、極めて有効な画像情報を提供でき、医療の支援を行う
ことができる画像合成による手術支援システムを提供す
ることを目的とする。

口課題を解決するための手段〕本発明の画像合成による手術支援システムは、複数の異
なる断層像撮影手段と、各断層像撮影手段からの断Ｍ懺
の輪郭をそれぞれ抽出する複数の輪郭抽出手段と、血管
情報抽出手段と、各輪郭抽出手段および血管情報抽出手
段からの画像を接続して立体像を作成する複数の三次元
再構成手段と、各三次元再構成手段からの立体像を統合
して一つの立体モデル像を作成する統合処理手段と、作
成された立体モデル像を表示する表示手段とを備えたこ
とを特徴とする。また、統合処理手段は、各三次元再構
成手段からの立体像を変形操作処理して統合すること、
標準モデルを参照して各三次元再構成手段からの立体像
を変形処理して統合すること、統合処理手段により作成
された立体モデル像に、さらに他の画像（術野画像、Ｘ
線テレビ画像、超音波画像等）を重ね合わせる重ね合わ
せ手段を備えたこと、複数の異なる断層像撮影手段とし
て、Ｘ線ＣＴＳＭＲＩ、超音波ＣＴ等を用いることを特
徴とする。

３作用〕本発明はＸ線ＣＴＳＭＲＩ、超音波断層像等、核断層画
儒について、各断層像を接続することにより立体画像を
作成し、次に各立体画像の重心位置を合わせて変形操作
し、また必要に応じて標準モデルを参照することにより
これらを統合し、一つの立体モデルを作成するようにし
たものであり、各種画像撮影装置の長所を活かした患部
の立体モデルを作成することができ、体内臓器の三次元
的位置情報が切開を要することなくリアルタイムの立体
画像として得られるので手術計画、手術現場、術後管理
等の支援等に極めて有効に利用することができる。特に
術中においては、統合された立体モデルと、Ｘ線ＴＶ、
超音波画像、術野画像等を重ね合わせて画像表示するこ
とにより、より的確に患部を＃Ｅｍすることができるの
で医療行為にとって極めて有効な画像を作成して提示す
ることができる。

：実施例〕以下、図面を参照して本発明の詳細な説明する。

第１図は本発明の直置合成による手術支援システムの機
能ブロック構成を示す図、第２図は装置構成を示す図で
ある。図中、１はＸＷＣＴ、２はＭＲＩ、３．４は輪郭
抽出手段、５は血管情報抽出手段、６．７．８は三次元
再構成手段、９は統合処理手段、１０は標準モデル、１
１は重ね合わせ手段、１２は術野画像、１３１ｔＸ！Ｔ
Ｖｉｌｌ！、１４は超音波画像、１５は表示装置、２Ｄ
は画像処理装置、２１は記憶装置、２２はスーパーイン
ポーザ、２３はＣＲＴである。

本発明のシステム構成は第２図に示すようになッテイル
。すなｈ＋ｉ５、ＸｌＩＣＴｌ、ＭＨＩ２の、にうに複
数の異なる断層像撮影装置からの画像データを、コンピ
ュータからブ＝る画像処理装置２０に取込み、Ｘ１ｌＣ
Ｔで得られた断層像、ＭＨＩで得られた断層像を画像処
理してそれぞれ三次元立体像を作成するとともに、各三
次元立体像を統合して一つの立体モデルを作成し、高解
像度のＣＲＴ２３に表示する。また、得られた立体モデ
ルに、必要に応じて患者を撮影した術野画像、ＸｉｍＴ
Ｖ画像、超音波画像等をスーパーインポーザ２２でミキ
シングして重畳し、ＣＲＴ２３に表示することにより、
的確に患部の位置関係を把握することができる。

次に、第１図の機能ブロック図を参照してより詳細に本
発明を説明する。

先ず、第１図におけるｘＨｃＴ、ＭＲＩについて第１０
図、第１１図により概略説明する。

ＸＩＣＴは、例えば第１０図（ａ）に示すようにＸ線管
１０１とＸ線検出器１０２とで直線走査して患者の目的
部位をスライスしてｘＨの透過強度を検出し、さらに第
１０図（ｂ）に示すように同じスライス面でＸＩ！投影
角度を順次変えて同様に直線走査してＸ線の透過強度を
検出し、これらの透過強度分布から重畳積分法により二
次元吸収分布を算出して断層像を求めるものであり、実
際には第１０図（Ｃ）に示すように環状に配置したＸ線
検出器１０４で移動するＸＩｌＸ線管１０３照射された
Ｘ＊の透過強度を検出するようにする。

このようなＸ１ｌＣＴは、得られる画像のコントラスト
分解能がよく、臓器、癌組織、骨等の断層像を得ること
ができるが、軟組織の像が得にくいという欠点がある。

一方、ＭＲＩは核磁気共鳴現象利用用した画像撮影装置
であり、例えば第１１図ら〕に示すように２方向に勾配
磁場Ｈ＝Ｈｏ　＋Ｇ、　・２をかけておき、中心周波数ωｏ＝ＴＨｏの近傍に限った
周波数成分を含む９０°パルスによりスピン系を励起す
ると、図の斜線部分１１５のスライス面が選択励起され
、この領域からの自由減衰信号検出し、信号処理するこ
とでスライスの画像を求めることができる。実際の装置
は、第１１図（ａ）に示すように、例えば患者の頭部の
周囲に主コイル１１０を配置して静磁場を印加しておき
、高周波コイル１１１でスピン系を励起してスピンエコ
ーを検出するようにしている。

ＭＲＩ画像は、主として１Ｈの密度、緩和時間等を検出
するものであり、臓器の深部や、血管像等軟組織の像を
鮮明に得ることができるが、骨等の硬組織部分の像が得
にくい。

このように、各撮影法により臓器の画像描出性が異なる
。

次にＸ１ｌＩＣＴ、ＭＲＩによって得られた断層画像は
、第１図の輪郭抽出手段３．４、血管情報抽出手段５に
よりその輪郭像が抽出されることになる。

輪郭抽出手段３．４は、第３図に示すように、原画像３
０の輪郭を抽出すべき臓器３１の画像データに対して２
値化処理を行って２値化画像を作成し、次に画像処理の
手法として周知の細線化処理により輪郭データ３３を得
るものである。

血管情報抽出手段５は、第４図に示すように、［ＭＲＩ
画像４０の血管画像を含む領域４１を指定して血管領域
４２を指示し、同様に２値化処理して２値化画像を作成
し、細線化処理により得られた輪郭データに対して中心
と半径を求めるものである。

こうして、第５図（ａ）に示すように、多数のＸ線ＣＴ
断層像５０に対して輪郭データ５１が得られ、同様に第
５図ら）に示すように多数のＭＲＩ断層像５２に対して
臓器の輪郭データ５３、及び血管データ５４が得られる
。

次に、輪郭像が得られたＸ１ＩＣＴ断層儂、ＭＲＩ断層
像より三次元再構成手段６．７．８により三次元像を作
成する。

三次元再構成手段６．７は、第６図（ａ）に示すように
、隣接する断層輪郭像６０．６１に対して、対応する複
数の点を結ぶ３角形像を形成して立体モデル化するもの
である。各輪郭データは点列で表現されるので、上下に
隣接する輪郭の間に、点列をもとに、各点列を頂点とす
る３角形を形成する。例えば、断層輪郭像６０が点列Ｉ
Ｊ　Ｉ　％　ＩＪ　２・・・・・・Ｕ、、、断層輪郭像
６１が点列Ｌ１、Ｌ、・・・・・・Ｌｏからなるとする
と、上下の輪郭点列から各１点づつを接続して３角ルの
１辺を作る。この場合、現在Ｕｉ−Ｌ、まで接続済みと
すると、次の接続候補はＵ、−Ｌ、、、かＬｉ、−、−
Ｌ、のどちらかであり、それぞれの距離を計算し、短い
方を選んで接続する。これを輪郭−周分繰り返すことに
より、輪郭間に３角形が作成される。

この操作を、第６図ら）に示すように、例えば最上段の
隣接輪郭データを接続し、順次最下段まで繰り返すこと
により立体モデルが完成する。

血管に対する三次元再構成手段８は、第７図に示すよう
に、得られた断層血管像７０を基にし、隣接血管像の各
断層間を接続していくものである。

血管データは半径と中心からなっているので、ＷＪ接す
る血管データの中心を線７１で順次接続していくことに
より、容易に立体儂が得られる。

更に臓器の各立体モデル、血管モデルは統合化処理手段
９により統合して一つの立体モデルが作成される。

Ｘ！１ＩＣＴから得られた立体モデル、ＭＨＩから得ら
れた立体モデル、血管モデルは、画像を得たときの撮影
条件、患者の姿勢等の違いにより同一ではないため、単
純に重ね合わせることは不可能である。そこで、相互の
モデルを統合する場合には、形状が揃うように変形する
必要がある。

この変形操作は、先ず、被変形モデルの断面と対応する
変形目標のキデル断面との重心が一致するように重ね合
わせて表示し、この平面で変形指示を行うものである。

第８図に示すように、重心Ｇを一致させた変形すべきモ
デルの断面輪郭８０を変形目標の輪郭８１に変形する場
合、点Ｐ。

（Ｐ８．θｌ）とＰ、の変形後の位置とを結ぶ変形ベク
トルＶ家、点Ｐ　＋−＋　　（Ｐ　Ｉ−＋　、　　θ１
．１）とＰ１＊１の変形後の位置とを結ぶ変形ベクトル
Ｖ　ｉ＋、を考え、重心ｃ−ｐｔ−ｐｔ、、からなる扇
形を重心Ｇ−■１−■、。、からなる扇形に変形するも
のである。

Ｖ、−Ｖ、。１に挟まれた扇形の任意位置における変形
ベクトルの算出は、直線近似の場合には次式により行え
ばよい。

Ｖ　（ｒ、　　θ）＝Ａｔ　　Ｄ）Ｂ＋　　（θ）■。

？Ａ１−１　（ｒ）Ｂ＋、、　（θ）Ｖ＋−＋ここで、
ＡＩ　　（ｒ）、Ａｔ、＋　　（ｒ）は第８図（Ｃ）に
示すようなＯ〜１の間の値であり、Ｂ□　（θ）、Ｂ、
。ｌ　（θ）は第８図（６）に示すような０〜１の間の
値である。なお、直線近似に限らず、補間曲線を利用す
るなどしてもよい。

こうして、第８図ら〕に示すように、変形前の扇形８２
に含まれる全ての像：ま変形後のＳ形８３に変形される
ことになる。これにより、Ｘ線ＣＴとＭＨＩの画像統合
において、例えば腹部表面が一致するように変形するこ
とで内部の臓器構造も一致するように変形することがで
きる。実際の変形操作は一度に複数の変形ベクトルを指
示した後、−括して全体の変形操作の演算を行うように
する。

なお、変形操作を行う場合には、必要に応じて既に得ら
れている標準モデル１０を参照するようにしでもよい。

この統合処理により、第９図に示すように、骨組織まで
含まれるＸ１ＩＣＴの立体モデル９０と、ＭＨＩにより
得られた臓器モデル９１、血管モデル９２を統合し、一
つの患部の立体モデル９３が得られる。この立体モデル
は、各種画像撮影装置の長所が取り入れられたことにな
り、手術、診察等の医療に対して極とて有効な情報を提
供することができる。

一方、こうして統合された一つの立体モデルは、コンピ
ュータグラフィックス技術により、移動・拡大縮小・回
転等の様々な表示を行うことができる。また、切断面表
示、半透明表示、色によるラベル付けを行うことによっ
て術者の特に必要としている情報を強調して表示するこ
とも可能である。

更に統合処理により得られた立体モデルに、術野画像１
２、ＸｌｉＴＶ画像１３、超音波画像１４等を重ね合わ
せ手段１１により重ねることもできる。これらの画像は
術中に大いに効力を発揮する。

この画像は、立体視によりその三次元位置情報を容易に
理解できるようにするためのものであり、複数の画像を
リアルタイムで重ね合わせるものである。

例えば、Ｘｉｉステレオ透視装置を使用し、左右両眼に
相当する二つのＸ線焦点を持ったＸＩｌ管によって人体
のＸ線立体透視像を得る。また、テレビカメラを使用し
、患部の実際の様子を二台のテレビカメラによって立体
画像として撮影し、いわば術者の目に相当する画像を得
るようにしてもよい。これらの画像を合成すれば患者の
透視画像を提供することになる。また、二台のカメラを
人間の瞳孔間距離よりも離して配置することにより、立
体感を容易に強調することが可能となり、微細な手術操
作に効果的である。また、さらに超音波画像を用いて重
ねるようにしてもよい。

こうして、Ｘ線透視像、カメラによって撮影された実体
像、超音波画像、コンビニ−タグラフィックス（三次元
立体像）をミキシングし、術者の要求に応じてフェード
イン・フェードアウトを行い、立体視覚装置等で術者の
左右両眼に提示する画像を作成することができる。

また、手術ロボットの導入による遠隔手術が可能となる
。

この場合の画像合成も単純に重ね合わせるだけでは不十
分である。例えば、カメラによる実体像撮影においては
、左右両テレビカメラの視点を術者の注目点に持ってく
ることによって立体視を容易にしており、従ってこの場
合の視線は注目点を交点として交差している。一方、Ｘ
線立体透視装置においては視線は平行である。このため
にテレビカメラとＸ線の焦点を光学的に同一の位置に配
置したとしても得られる画像は歿何的に同一ではない。

両者を合成するためには透視像を光学的関係から数学的
に変換することによって実体画像との位置合わせを行う
必要がある。

表示装置１５は、ミキサーによって得た左右両眼像を術
者の左右両眼に対して個別に提示することによって患部
の立体画像を把握させ、その三次元的位置情報を容易に
理解せしめるたｔに、立体視可能なものからなっている
。

〔発明の効果〕

以上のように本発明によれば、各種医用画像撮影装置の
長所を活かして体内の立体モデルを作成することができ
るので、体内臓器の三次元的位置情報が切開を要するこ
となく術中にリアルタイムで立体画像として得られ、穿
刺のような侵襲の少ない治療手段が熟練を要することな
く容易に行え、また必要以上に多くの侵襲を伴う手術が
少なくなり、手術がより安全かつ確実に実行される。ま
た、ロボット技術と組み合わせることで医療費が軽減さ
れ、さらに通慣手段を用いた手術が可能となり、地域医
療に大きく貢献することが予想される。

【図面の簡単な説明】

第１図は本発明の画像合成による手術支援システムの機
能ブロック構成を示す図、第２図は装置構成を示す図、
第３図は輪郭抽出方法を説明するための図、第４図は血
管情報抽出を説明するための図、第５図は断層像から得
られた輪郭データ、血管データを説明するたｔの図、第
６図は三次元再構成を説明するための図、第７図は血管
データの断層間接続を説明するための図、第８図は変形
操作を説明するための図、第９図は統合化処理を説明す
るための図、第１０図はＸＩＩＣＴを説明するための図
、第１１図はＭＨＩを説明するための図である。１・・・ＸＩＩＣＴ、２・・・ＭＲＩ、３．４・・・輪
郭抽出手段、５・・・血管情報抽出手段、６．７．８・
・・三次元再構成手段、９・・・統合処理手段、１０・
・・標準モデル、１１・・・重ね合わせ手段、１２・・
・術野画像、１３・・・Ｘ！ＩＴＶ画像、１４・・・超
音波画像、１５・・・表示装置、２０・・・画像処理装
置、２１・・・記憶装置、２２・・・スーパーインポー
ザ、２３・・・ＣＲＴ。出　　願　　人　　新技術事業団代理人　弁理士　　蛭　川　昌　償（外７名）第２図（ａ）（ｂ） ■ ５４証菅テ一グ見６図（ａ）（ｂ）景上段上楕寺（兜−氷菓７図（ａ） ■１．１第８図（ｂ）尾８図（ｃ）第８図（ｄ） θ＋　　　　　　　　＠＋＋１第９図第１０図（ａ）　　　　　　　　　　　（ｂ）（ｃ）第１図（ａ）（ｂ）

Claims

【特許請求の範囲】

（１）複数の異なる断層像撮影手段と、各断層像撮影手
段からの断層像の輪郭をそれぞれ抽出する複数の輪郭抽
出手段と、血管情報抽出手段と、各輪郭抽出手段および
血管情報抽出手段からの画像を接続して立体像を作成す
る複数の三次元再構成手段と、各三次元再構成手段から
の立体像を統合して一つの立体モデル像を作成する統合
処理手段と、作成された立体モデル像を表示する表示手
段とを備えたことを特徴とする画像合成による手術支援
システム。
（２）前記統合処理手段は、各３次元再構成手段からの
立体像を変形操作処理して統合することを特徴とする請
求項１記載の画像合成による手術支援システム。
（３）前記統合処理手段は、標準モデルを参照して各３
次元再構成手段からの立体像を変形処理して統合するこ
とを特徴とする請求項１記載の画像合成による手術支援
システム。
（４）請求項１記載の手術支援システムにおいて、統合
処理手段により作成された立体モデル像に、さらに他の
画像を重ね合わせる重ね合わせ手段を備えたことを特徴
とする画像合成による手術支援システム。
（５）前記他の画像は、術野画像、Ｘ線テレビ画像、超
音波画像である請求項４記載の画像合成による手術支援
システム。
（６）複数の異なる断層像撮影手段は、Ｘ線ＣＴ、ＭＲ
Ｉ、超音波ＣＴからなる請求項１記載の画像合成による
手術支援システム。