JP5800039B2

JP5800039B2 - 生体データモデル作成方法及びその装置

Info

Publication number: JP5800039B2
Application number: JP2014009513A
Authority: JP
Inventors: 健太郎高波; 長坂　学; 学長坂; 英男坂本; 正人緒方; 横田　秀夫; 秀夫横田; 博行島井
Original assignee: RIKEN Institute of Physical and Chemical Research; Mitsubishi Precision Co Ltd
Current assignee: RIKEN Institute of Physical and Chemical Research; Mitsubishi Precision Co Ltd
Priority date: 2014-01-22
Filing date: 2014-01-22
Publication date: 2015-10-28
Anticipated expiration: 2028-07-11
Also published as: JP2014064957A

Description

本発明は、手術のシミュレーションをするために用いる生体データモデル作成方法及びその装置に関するものである。

近年、医療と工学の融合が急速に深まり、先端的計算技術を活用する手術シミュレータが提案された。これらは手術対象の生体をポリゴンで構成し、基本的に臓器の表面のみを模擬するものであり、このため、内部構造を持つ複雑な臓器の力学的なシミュレーションが正確に行えない。３次元ボリュームデータでのモデル作成が急務であった。

解決しようとする問題点は、手術シミュレータ開発に伴い、患者固有であり、内部構造を持ち、生体力学シミュレーション可能なデータモデルの作成が必須であった。その実現への課題は以下の通りである。
・医療画像データの利用を図ること
・画像情報による生体部分の物性値の付与をすること
・対象臓器を画像データから分離すること
・三次元生体データモデルを作成すること

請求項１に係る生体データモデル作成方法は、生体を撮像した医用画像から生体の部位を抽出して生体の断面画像単位の医用画像データにより三次元データモデルを作成する方法において、操作者がコンピュータが備える画像合成手段を操作して、生体の断面画像単位で、部位を抽出した抽出画像と抽出元画像とを、色分けして合成する第１の過程と、操作者がコンピュータが備える画像修正手段を操作して、コンピュータ画面上の前記第１の過程により合成された表示画像について元画像を基準に追加箇所または削除箇所を指定し、その情報を抽出画像に反映した修正画像を出力する第２の過程と、操作者がコンピュータが備える３次元データ出力手段を操作して、前記第２の過程により作成した抽出部位の画像を模擬対象の手術内容に応じて選択し生体の断面画像単位で合成して得た合成画像を積層して３次元データとして出力する第３の過程とからなることを特徴とするものである。

請求項２に係る生体データモデル作成装置は、生体を撮像した医用画像から生体の部位を抽出して生体の断面画像単位の医用画像データにより三次元データモデルを作成する装置において、生体の断面画像単位で、部位を抽出した抽出画像と抽出元画像とを、色分けして合成する画像合成手段と、前記画像合成手段により合成されたコンピュータ画面上の表示画像について元画像を基準に追加箇所または削除箇所を指定され、その情報を抽出画像に反映した修正画像を出力する画像修正手段と、前記画像修正手段により作成した部位毎に抽出した生体の断面画像を模擬対象の手術内容に応じて選択し断面画像単位で合成して得た合成画像を積層して３次元データとして出力する３次元データ出力手段とからなることを特徴とするものである。

請求項１に係る生体データモデル作成方法によると、対象部位を抽出後の三次元データモデルを、生体の断面画像単位で、抽出部位の追加又は削除、及び生体の断面画像単位で選択した部位の合成を行うから、所望する模擬に沿った三次元画像データを得ることができる。

請求項２に係る生体データモデル作成装置によると、対象部位を抽出後の三次元データモデルを、画像修正手段が、生体の断面画像単位で、部位を抽出した抽出画像と抽出元画像とを、コンピュータ画面上の画像合成手段により合成された表示画像について元画像を基準に追加箇所または削除箇所を指定し、その情報を抽出画像に反映した修正画像を出力し、３次元データ出力手段が前記画像修正手段により作成した部位毎に抽出した生体の断面画像を模擬対象の手術内容に応じて選択し断面画像単位で合成して得た合成画像を積層して３次元データとして出力するから、所望する模擬に沿った三次元画像データを得ることができる。

図１は、生体データモデル作成装置を説明する機能ブロック図である。図１において、１０１はＣＴ画像データファイル、１０２はＭＲＩ画像データファイル、１０３はＰＥＴ画像データファイル、１０４は歪み補正部、１０５はセグメンテーション部、１０６は物性値付与部、１０７は物性値テーブル、１０８は有限要素分割部、１０９は前処理部、１１０は四面体分割部、１１１は後処理部、１１２は構造化ファイルである。歪み補正部１０４から後処理部１１１全体をコンピュータで構成し、各ブロックの機能を実現する。さらに、ＣＴ画像データファイル１０１、ＭＲＩ画像データファイル１０２及びＰＥＴ画像データファイル１０３は、医用画像データであり、生体の断面を背の高さ方向に所定の範囲について順次撮影した画像すなわちスライス画像の複数を格納している。ＣＴ、ＭＲＩ、ＰＥＴはそれぞれ画像センサを構成し、それぞれの画像はセンサ画像を与え、センサ画像にはそれぞれＣＴ値又はＭＲＩ値又はＰＥＴ値と呼ばれるセンサ値を有し、各組織の材料特性に対する固有の値が色の濃淡として写っている。

図２、図３は、異なる２種の画像センサデータからの生体断面画像に基づいて、より好ましい生体断面画像を得る技術を説明するブロック図及びフロー図であり、図２は図１における歪み補正部１０４を含む。
操作者は、例えば手術対象者のＣＴ画像データファイル１０１、ＭＲＩ画像データファイル１０２又はＰＥＴ画像データファイル１０３中から、対になる例えばＣＴ画像データファイル１０１、ＭＲＩ画像データファイル１０２を選択し（図３の過程Ｐ３０１）、第１の画像表示装置２０１の画面上にＣＴ画像、第２の画像表示装置２０２の画面上にＭＲＩ画像を組として表示する。このとき、表示する画像は、同一人の体について同一断面であり、順次断面箇所を替えて表示することができる。また、ＣＴ画像は、ＭＲＩ画像よりも空間解像度が高く、撮像時にも歪みも生じないため組織の形状をより正確に捉えられる特徴がある。また、ＭＲＩ画像は、軟部組織の分解能が高いためＣＴ画像よりも情報量が多く、そのゆえＣＴ画像よりも多くの組織の物性値が取得可能であり、撮像装置によっては撮像時に歪みが生じる場合もあり、形状が正確に写っていない場合がある。各画像に特徴が異なり、それぞれの利点を活かすため、ＣＴ画像の輪郭を含む形状に、ＭＲＩ画像による組織画像を再配置する。なお、ＰＥＴはコンピュータ断層撮影技術の一種であり、癌診断等に利用されており、ＣＴ／ＭＲＩ画像と併用して癌化した臓器のモデル生成が可能となる。
実施例では、ＣＴ／ＭＲＩ画像を選択し、ＣＴ画像の輪郭にＭＲＩ画像による組織画像を再配置しているが、これに限らずＣＴ／ＭＲＩ／ＰＥＴ画像いずれかを対として組み合わせ一方を輪郭、他方をそれに再配置する組織画像用としてもよい。
操作者は、表示されたＣＴ画像、ＭＲＩ画像から同一箇所を指している特徴点を複数個設定する（図３の過程Ｐ３０２）。コンピュータはこの特徴点の設定により、両画像画面上のその特徴点に指定番号を付して表示する。この特徴点は、医師としての専門家の知識と経験に基づき、画像を観察することにより、骨や体組織の鋭角部を特徴点として両画面上で１点ずつの組として対応付ける（図４（ａ），（ｂ））。特徴点群記憶手段２０３は、操作者が指定した特徴点の番号に対応して、それぞれの画面の特徴点座標を記憶する。
多項式群設定手段２０４は、各特徴点について例えば前記指定番号ごとに、特徴点群記憶手段２０３からＣＴ画像における特徴点座標ｘ，ｙと、ＭＲＩ画像における特徴点座標ｕ，ｖを読み出し、射影変換式
ｕ＝（ａ_１ｘ＋ａ_２ｙ＋ａ_３）／（ａ_７ｘ＋ａ_８ｙ＋１）
ｖ＝（ａ_４ｘ＋ａ_５ｙ＋ａ_６）／（ａ_７ｘ＋ａ_８ｙ＋１）
に当てはめる（図３の過程Ｐ３０３）。変換係数計算手段２０５は前記多項式群設定手段２０４で設定した多項式群を最小二乗法によって解き、変換係数ａ_１〜ａ_８を導出する（図３の過程Ｐ３０４）。変換係数ａ_１〜ａ_８は、８であるので、８個以上の方程式を連立させておき、変換係数ａ_１〜ａ_８を導出する。特徴点１組で２つの方程式が成立するので、特徴点は最低４組必要である。
輪郭補正手段２０６は、前記変換係数計算手段２０５が導出した変換係数ａ_１〜ａ_８を第２の画像表示装置２０２に表示されているＭＲＩ画像について前記射影変換式に当てはめ、対応するＣＴ画像の座標を求めるとともに線形補間による再配置を実施して画像の歪みを補正する（図３の過程Ｐ３０５）。再配置により、ＭＲＩ画像をＣＲＴ画像に対応した位置が計算され、配置される。この処理により、生体の断面例えば胴部分の輪郭がＣＴ画像による輪郭と一致した画像を得ることができる（図４（ｃ））。この輪郭補正した画像を歪み補正画像格納部２０７に記憶する。

次に、人体の臓器を抽出（セグメンテーション）するため、以下のような技術について説明する。すなわち、抽出対象領域内部の一点（注目点）を指定し、その近傍画素に対し注目点との類似判定を行い、類似と判定された画素を取り込むことで注目点との類似領域を拡張してゆき対象領域を抽出するリージョングローイング法（領域成長法）と呼ばれる画像領域抽出法を改良し、その類似度判定において、（１）抽出対象領域及び非抽出領域の位置及び画素値である既得情報を判定の教師データとして使用、（２）注目点付近の局所領域の情報のみを判定に使用、及び（３）判定基準にメディアンを用いて、３次元人体データより対象領域を抽出するものである。
ここで局所領域の情報のみを使用することの理由を説明する。リージョングローイング処理は全領域の特徴分布が正規分布と仮定した上で領域拡張の評価基準（閾値）を生成している。生体ボリュームデータは画像の特徴分布が正規分布に倣うという仮定は必ずしも成立しないため、対象領域抽出においては局所的な評価基準をもつ必要があり、その評価基準生成のため、局所領域の情報のみを使用する。
図５、図６は、セグメンテーション部１０５の動作機能を説明する機能ブロック図及びフロー図である。
前記輪郭補正手段２０６で歪み補正されたＭＲＩ画像すなわち抽出対象部位を含む人体３次元データである医用画像データは入力され、第２の画像表示装置２０２に表示される。操作者は当該画面を観察し、抽出しようとする部位としての臓器の局所領域（＝抽出判定領域）を画面上で指定するとともにその局所領域のサイズ（局所領域の幅、高さ、奥行きのピクセルサイズ）を局所領域サイズ格納部５０１に入力する（図６の過程Ｐ６０１）。局所領域のサイズは抽出処理ごとに設定変更可能である。
教師データ作成手段５０２は、コンピュータ画面すなわち第２の画像表示装置２０２上で対話的処理により抽出開始点並びに開始点周辺の抽出対象点及び非抽出対象点を選択するとともに、これらの情報を、抽出結果を書き込むデータ配列に「１：領域内、−１：領域外、０：未処理」という形式で書き込み、初期教師データとする（図６の過程Ｐ６０２）。このデータは教師データ格納部５０３に記憶される。
閾値決定手段５０４は、前記抽出開始点を初期位置としてその注目点を中心とする局所領域にて、局所領域としての抽出判定領域における抽出対象点データ集合のメディアン値と、抽出判定領域における非抽出対象点データ集合のメディアン値とからなる内部の教師データより閾値を決定する（図６の過程Ｐ６０３）。このときの閾値は以下の式により決定する。
閾値＝（（ｍｅｄＴ＋ｍｅｄＦ）／２）・（１−α）
ここで、α：シフト値、
ｍｅｄＴ：抽出判定領域における抽出対象点データ（画素値）集合のメディアン値
ｍｅｄＦ：抽出判定領域における非抽出対象点データ（画素値）集合のメディアン値
シフト値α（０≦α≦１）は抽出強度を示しており、α＝０をデフォルト値としてαを大きく設定すると抽出条件が緩くなり抽出が素数がデフォルト値の時よりも増え、小さいほど抽出条件が厳しくなり、抽出画素数が減ることとなる。メディアン値を用いることにより、抽出判定において、画像の特徴（画素値の差）の急激な変化及び近隣の既抽出領域に影響を受けない。
注目点更新手段５０５は、前記閾値決定手段５０４が決定した閾値により注目点を対象か非対象か（抽出すべき臓器であるか、臓器でないか）を判定する（図６の過程Ｐ６０４）。さらに注目点更新手段５０５は、その結果を判定結果データ格納部５０６及び教師データ格納部５０３に追加し（図６の過程Ｐ６０５）て、閾値決定手段５０４によるさらなる閾値決定に供する。また、注目点更新手段５０５は、局所領域内で最後に対象領域と判定された点を新たな注目点とする（図６の過程Ｐ６０６）。
その点を中心とする局所領域にて、図６の過程Ｐ６０３から過程Ｐ６０５の処理を局所領域内部で対象領域と判定される点がなくなるまで実行する（図６の過程Ｐ６０７）。抽出すべき１つの臓器について、局所領域内部で対象領域と判定される点がない場合、１枚の画像について処理完了とする。この処理を前記背の高さ方向に所定の範囲について順次撮影した複数のスライス画像について行う。他の臓器を抽出するときは同様の処理を行う。

次に、前記セグメンテーション部１０５の注目点更新手段５０５により得た対象部位を抽出した３次元画像データを、スライス画像単位でＧＵＩを用いて手動による抽出部位の追加又は削除、及びスライス単位で選択した部位の重ね合わせを行い、模擬状況に沿った３次元画像データを出力する技術について説明する。
図７は機能ブロック図、図８はフロー図、図９は手動設定により抽出画像修理処理を説明する図、図１０はスライス画像単位での抽出部位の統合を説明する図である。図７の機能ブロックは、セグメンテーション部１０５に含まれる。
操作者は、所定の範囲のスライス画像を指定して、画像合成手段７０１により、前記生体の背の高さ方向について同一位置のスライス画像すなわち前記注目点更新手段５０５から出力された抽出画像データによるスライス画像と歪み補正画像格納部２０６から得た抽出前の抽出元画像すなわち輪郭補正したスライス画像とを、両者が視覚的に区別できるように色分けして合成する（図８の過程Ｐ８０１）。この合成画像は例えば、第１の画像表示装置２０１に表示される。操作者はこの画面を見ることになる。
画像修正手段７０２は、前記画像合成手段７０１により合成され第１の画像表示装置２０１に表示された画像について元画像を基準に追加箇所を例えば赤でまたは削除箇所を例えば緑でそれぞれマウスで指定し、その追加、削除情報を抽出画像に反映した修正画像を出力する（図８の過程Ｐ８０２）。この追加は、前記過程Ｐ６０１〜過程Ｐ６０７の処理において抽出漏れがあったとき抽出を補完するためである。この追加処理は、前記過程Ｐ６０１〜過程Ｐ６０７の処理と同様に行う。また、削除箇所の指定とその修正は、余分な抽出が行われた場合を補完するためである。削除は、削除すべき箇所について、前記注目点について判定結果データ格納部５０６に記録されている抽出対象であることを示す結果情報を非抽出対象であることを示す情報に書きかえることにより行う。
図８の過程Ｐ８０２の処理をシミュレーションに必要な臓器の数だけ繰り返して実行する（図８の過程Ｐ８０３）。
３次元データ出力手段７０３は、前記画像修正手段７０２が作成した抽出部位の画像を模擬対象の手術内容に応じて複数選択し生体の断面画像単位で合成して得た合成画像を積層して出力する（図８の過程Ｐ８０４、図１０）。模擬に必要な臓器のみを合成し、積層することにより、３次元データとして得られる。前述したように抽出処理は、１種類の臓器、組織について行っており、シミュレータに適用するモデルは通常複数の部位が存在するため、別個に抽出した部位を重ね合わせるものである。モデルには例えば、腎臓付近のモデル構築を考えた場合に腎臓、腎動脈、腎静脈及び腎臓周辺に存在する膜を考える。これらをそれぞれ抽出し、整形（画素の追加、削除）した後に合成してデータモデル作成用の３次元データとする。他にも、病院の各診療科（脳外科、心臓外科、…等）の要求に対応したモデル構築が可能である。

次に、センサ値例えばＣＴ値、ＭＲＩ値に基づき、これに対応する既存の物理情報（Ｙｏｕｎｇ率、Ｐｏｉｓｓｏｎ比等）を生体データモデルに組み込む技術について説明する。
図１１は動作機能を説明する機能ブロック図、図１２は動作機能を説明するフロー図である。図１３は構成を説明する図である。
歪み補正部１０４では、上述のように、生体の同一対象をＣＴ画像とＭＲＩ画像として撮像した複数の医用画像を前記ＣＴ画像又はＭＲＩ画像の一方の輪郭を得、他方の画像を前記輪郭内に両画像の同一箇所を対応させて配置する（図１２の過程Ｐ１２０１）。セグメンテーション部１０５では前記歪み補正部１０４が配置することで得られたＣＴ画像又はＭＲＩ画像について生体部位を抽出する（図１２の過程Ｐ１２０２）。ＣＴ／ＭＲＩ画像にはそれぞれＣＴ値又はＭＲＩ値と呼ばれる各組織の材料特性に対する固有の値が色の濃淡として写っている。物性値付与部１０６は、前記セグメンテーション部１０５で抽出した生体部位を示すＣＴ値又はＭＲＩ値に対応する当該抽出部位の物性値を当該抽出生体の対象領域の画素と結びつけるため、物性値テーブル１０７に前記部位の物性値を記憶させて、用意する（図１２の過程Ｐ１２０３、図１３）。
このとき、物性値テーブルは物性値に、想定する模擬に対応した事故内容を規定した情報を含ませる（図１２の過程Ｐ１２０３ａ）。例えば、腎臓モデルを考えた場合腎臓の一部が壊死したことを想定し、前述した図５、図６により説明した生体抽出の技術を当該壊死箇所に適用し、その領域に壊死に対応した物性値を付与する。なお、同一腎臓について壊死の部分と、壊死のない部分とは図７および図８により説明した重ね合わせの技術により１つの腎臓を再現する。
有限要素分割部１０８で、ＣＴ／ＭＲＩ画像から生体モデルを生成する際に、ＣＴ値／ＭＲＩ値に対応する物性値テーブル１０７から生体モデルを構成する要素毎に物性値を付与する。

次に、ボリュームデータから生体データモデルを生成する際、処理負荷を考慮し、モデルデータの規模を制御し、且つ形状精度を保つ技術について説明する。
図１４は機能ブロック図、図１５はフロー図、図１６はマーチンキューブ法を説明する図、図１７は本提案の等値面決定則を従来法との違いとともに説明する図である。
前処理部１０９は、マーチングキューブ法で生体モデルの表面を生成し、八分木法等の既存手法で、内部の四面体メッシュを生成する。
ボリュームデータは、ＣＴ画像及びＭＲＩ画像から生成される３Ｄデータであり、画像のピクセルのように、格子状に規則正しく並んで情報を持っている。これに対し、生体部分を四面体要素の集まりで表したデータが生体モデルである。
ここでマーチングキューブ法の概略を図１６を参照して説明する。セグメンテーションで生成されるボリュームデータに対し、ある閾値に対する境界を求めてポリゴンで表示する手法である。ボリュームデータは前述のように格子状に規則正しく並んでいる点（図１６の丸印で示す点で内部が塗りつぶされているもの（●）は、生体の領域外の点を示し、丸印で示す点で内部が塗られていないもの（○）は、生体の領域内の点を示す。）の情報であり、隣り合う点の情報から、境界線（三次元を考えるから境界面）を生成する（図１６の（×）印を結んだ線で形成される。）。出力であるこの境界線がすなわち生体領域の輪郭となる表面のポリゴンとなる。
図１７に示すように、丸印で示す点で内部が塗りつぶされているもの（●）は、生体の領域外の点を示し、丸印で示す点で内部が塗られていないもの（○）は、生体の領域内の点を示し、（×）を等値面すなわち境界線上にある点を示す。図１７（ａ）の元データを、図１７（ｂ）（従来の場合）、同図（ｃ）（本提案手法の場合）のように隣り合う格子点が領域の内外が異なる場合に後述する手法で交点（×）を生成する。図１７（ｂ）では、サンプリング間隔の中点に交点を生成し、図１７（ｃ）では、異符号の現れる位置によって交点を決めている。
サンプリング手段１４０１は、セグメンテーション部１０５で生成した抽出画像データを入力し、ボリュームデータを構成する格子点を所定のサンプリング間隔で離散的にサンプリングする（図１５の過程Ｐ１５０１）。このサンプリング間隔はメッシュサイズ調整のため変更することができる。
メッシュサイズは生体モデルの四面体要素の数である。同じデータに対し、メッシュサイズが大きいほど、詳細なモデルとなるが、それだけ処理量が増える。マーチングキューブ法では、入力であるボリュームデータの解像度と出力である生体データモデルのメッシュサイズすなわち四面体要素の数の大きさは基本的に比例する。ボリュームデータのサイズが大きい（解像度が高い）とそれを元に、四面体を生成するので、より詳細な四面体（メッシュ）が生成される（つまりメッシュサイズが大きくなる）。逆にボリュームデータのサイズが小さければ（解像度が低ければ）、メッシュサイズは小さくなる。できるだけ詳細なモデルがよいが、メッシュサイズが大きすぎると、実時間で処理できなくなるため、解像度の高いボリュームデータを使う場合、ある程度、解像度を落としたものを入力データとする必要がある。例えば、５１２×５１２のデータについて、サンプリング間隔を２にすると、データを一つずつ飛ばして解像度を落としたデータが生成される。このように、入力となるボリュームデータの解像度を予め落とすことで、メッシュサイズを調整する。
境界検索手段１４０２は、前記サンプリング手段１４０１においてサンプリングした格子点の情報が示す生体内外の情報が異なるときに離散的にサンプリングして飛ばされた格子点の生体内外の情報を検索し、最初に変わる位置を生体内外の境界の交点とする（図１５の過程Ｐ１５０２）。
例えば、図１８において、サンプリングを１と４で取り、生体内外の判定をし、２，３のデータを落とす場合を考える。１と４とが共に内もしくは外ならば何もしない（図１８（ａ））。もし、１と４が異符号の場合（図１８（ｂ））は、その間に境界（生体表面）があるはずであるから、辺（サンプリング方向に格子点を結ぶ仮想の線）と境界との交点を求める。なお、このようにして求めた交点を繋ぎ合わせれば、生体表面のポリゴンデータが出来上がる。従来の手法では、１と４の間ということで、単純に中点を使用していた（図１８（ｃ））。本提案では、交点を作る際、サンプリングで飛ばした２と３の情報を用いて、交点を計算する。飛ばした２と３の組み合わせで図１８（ｄ）〜（ｇ）に示すような４ケースが考えられる。４から順次それに隣り合う格子点の情報と比較し、異符号かを見て、最初に異符号である格子点間に交点があると判定する。ケース４である図１８（ｇ）の場合は交点が３箇所あるが、サンプリングを落とした意味がないから、検索方向（４から１に向かう方向）から最初に見つけた交点（４と３の間）を採用する。すべての格子点についてサンプリング間隔を一定にするのでなく、隣り合うサンプリング間で異符号の場合に飛ばした格子点について内外が最初に変わるところを見つけることで、交点の精度を上げることができる。
なお、通常のマーチングキューブ法では、単純な２値化ではなく、格子点には様々な値が入っている。例えば、白“１０”、黒“２０”のときに、『閾値“１３”の等値面』を形成する場合、『白−黒間を３：７に分割する点を交点』として結び、線（面）を形成する。

次に、境界検索手段１４０２が得た生体領域の輪郭となる表面についてポリゴン化する際に、等値面データの頂点位置を周辺の頂点の位置により平滑化することで、モデルデータの幾何学的形状を修正する技術について説明する。
その前提として、八分木法の手法で生体表面及び内部の四面体メッシュを生成する。生成された四面体メッシュを備える生体は、そのままでは実際の生体とは異なる印象を与えるほど生体表面に凹凸があった。そこで、等値面データの頂点位置を周辺の頂点の位置により平滑化して、映像化したときにその臓器の形状を見た目上そのものらしく滑らかにする。
図１９は機能ブロック図、図２０はフロー図、図２１は平滑を説明する図である。平滑化手段１９０１は、図１４の境界検索手段１４０２により処理作成された等値面データであるボリュームデータを入力し、有限要素分割した四面体メッシュを生成する。その際、平滑化手段１９０１は、データモデルの有限要素の拡張点について以下のような処理を行う。すなわち、ノードのｉ番目とその近傍のノードｊとの相対位置（ｘ_ｊ−ｘ_ｉ）から、その位置ｘ_ｉを次式で修正する（図２０の過程Ｐ２００１）。
すなわち、ｉ番目のノードの位置ｘ_ｉを、ｘ_ｉ ^ｎｅｗへ移動させるための式は、
ｘ_ｉ ^ｎｅｗ＝ｘ_ｉ＋λΣ_ｊ（ｘ_ｊ−ｘ_ｉ）
ここで、ｊはｉの近傍のノード（図２１ではｊ＝１，２）、λは補正係数であり、臓器がそれらしく滑らかになるように適当に定める。
この式では、近傍のノードに対し、大きく離れている場合は修正量が大きく、それほど離れていない場合は、修正量が小さい。
全てのノードｉに対して、上記処理を行う（図２０の過程Ｐ２００２）と、平均的な位置に配置され、結果として、全体的に滑らかな形状となる。

次に、臓器間の接触計算を迅速に行わせるために、生体データモデルに対し、ツリー構造を構築したデータ構造について説明する。
生体モデルの力学計算の中で、臓器間の接触計算は、時間が掛かる処理のうちの一つである。臓器間の接触計算を網羅的に行うと時間が掛かりすぎる。例えば、図２２のように、構造化されていないモデルの接触計算の場合、右腎臓と肝臓間、左腎臓と肝臓間、及び、右腎臓と左腎臓間というように、すべての臓器の組み合わせに対し、接触判定が必要であった。
そこで、生体データモデルに対し、図２３のようなツリー構造を構築する。図２３のツリーには、節（ノード）を有する。当該節は末端の節２３１ａ，２３１ｂ，２３１ｃと、これら節を統合する接続節２３２ａ，２３２ｂとを有する。末端の節２３１ａ，２３１ｂ，２３１ｃは、補助データとして、所定範囲の生体を構成する各部位として各節に固有の臓器モデル、各々の臓器を包む幾何モデル（例えば、単純な直方体、球等）の情報を持つ。各末端の節２３１ａ，２３１ｂ，２３１ｃには、各節の運動処理を担当するノードコンピュータが割り当てられ、また、接続節２３２ａ，２３２ｂには、前記各末端の節２３１ａ，２３１ｂ，２３１ｃを担当するノードコンピュータ処理を統合するホストコンピュータが割り当てられる。節２３１ａ，２３１ｂ，２３１ｃは、それぞれ右腎臓モデル、肝臓モデル、左腎臓モデルの情報を有する。節２３１ａと２３１ｂとは、実際の臓器の位置関係からそれらを近くに配置し、接続節２３２ａで接続される。各節２３１ａ，２３１ｂを担当する各ノードコンピュータは、右腎臓モデル及び肝臓モデルを取り囲む境界モデルの情報を接続節２３２ａに割り当てられるホストコンピュータへ渡し、ホストコンピュータから接触しそうな臓器モデルの情報を受ける。また、末端の節２３１ｃを担当するノードコンピュータは、左腎臓モデルを取り囲む境界モデルの情報を接続節２３２ｂを担当するホストコンピュータに渡し、接続節２３２ａを介して受けた右腎臓、肝臓のモデルの情報を受ける。このとき、接続節２３２ａには接続される末端の節２３１ａ，２３１ｂの右腎臓と肝臓モデルとを統合した状態で、末端の節が有する補助データと同様にして、備え、各節はツリー状に構築される（図２４の過程Ｐ２４０１）。このようにツリー状に構築したデータは図２５のように構造化データ格納部２５０１に格納される。
各臓器を包む幾何モデルを単純な幾何形状として、接触判定の際に、実際の臓器のような複雑な形状に比べ、非常に早く処理することができる。ツリーを辿りつつ、単純形状による接触判定を用いることで、各々が接触する可能性のある臓器を早い段階で絞ることができ、衝突計算の軽減をすることができる。
ホストコンピュータ、ノードコンピュータは並列に処理される。ホストコンピュータがツリー構造を用いて、どの臓器とどの臓器が接触しそうなのか、大まかな判定を行う。その情報を末端の節２３１ａ，２３１ｂ，２３１ｃに接続するコンピュータに送信する。これらノードコンピュータは受け取ったノードコンピュータの臓器と衝突判定を行う（図２６）。ホストコンピュータはノードコンピュータが変形処理や描画処理を行っているときに、これらの計算を行うため、総合処理時間は軽減される。

次に、指定した処理プロセッサ数に応じて負荷分散する技術について説明する。
生体データモデル処理はデータを構成する有限要素の頂点数に依存し、頂点数が多いデータを処理するには、複数の処理プロセッサを負荷分散して処理する。負荷分散のために、生体データモデルを任意に分割すると、処理プロセッサ間の互いの通信回数が増えることとなる。
そこで、並列処理を効率よく行わせるためには、生体データモデルの頂点数を出来るだけ均一にして、分割する。また、通信回数を少なくするために、生体モデルをモニタ画面に表示したとき、分割面が生体モデル内で交差しないようにする。図２７に分割例を、図２８に機能ブロック図を示す。これにより、互いに通信するのは両隣の分割モデルに限定される。図２８において、２８０１ａ，２８０１ｂ，２８０１ｃ…は処理プロセッサ、２８０２は通信装置、２８０３は通信回線である。
分割するアルゴリズムは、以下の３手法から選択され、コンピュータプログラムにより図２９に示すようにコンピュータの分割処理手段２９０１が処理する。
手法１．分割数が２^ｎの場合、図３０のように、２分割を再帰的に行う手法
手法２．ある一端を出発点とし、境界を決めていく。各境界に挟まれたノード数（分割モデルのノード数）をｎ_ｉ、生体データモデルの全ノード数をＮ、分割数をＰとする。一端からｉ番目の境界ｂ_ｉまでのノード数を数える（すなわちノード数の和Σｎ_ｉ）。これが、分割したノード数に比例するように、境界ｂｉを修正していく。以降、順に行う。（図３１）
総ノード数が１６個。３分割する場合を説明する。
各分割モデルのノード数は５．３なので、大体５個前後になるように分割モデルを構築する。分割モデルは端から決めていく。図３２（ｂ）のように、境界内のノード数を数えると、図に例示されたものは“２”である。境界を少しずらして再度ノード数を数える。５個前後になるまで繰り返す。条件を満たしたならば、図３２（ｃ）のように次の境界を与え同様の処理を行う。
手法３．分割数に合わせて、すべての境界を設定する。各境界に挟まれたノード数（分割モデルのノード数）ｎ_ｉを数え、隣り合うノードの差（｜ｎ_ｉ−ｎ_ｊ｜）から、境界の位置を修正する。ノードの差がある閾値以下になった（｜ｎ_ｉ−ｎ_ｊ｜＜ε）とき、処理を終了する。（図３３）
総ノード数が１６個。３分割する場合を説明する。
各分割モデルのノード数は５．３なので、大体５個前後になるように分割モデルを構築する。３分割のための境界をモデルの両端から少しの距離の位置に設定する（図３４（ｂ））。このとき、左側の境界について、その隣り合う領域のノード数の差から境界を調整する。境界の左側は“２”に対し右側は“１０”であるから右側に境界を移動させる。左側の境界について、その隣り合う領域のノード数の差から境界を調整する。境界の左側は“１０”に対し右側は“４”であるから左側に境界を移動させる。これを繰り返す。（図３４（ｃ））のように、左側の境界について、境界の左側は“５”に対し右側は“６”で、ほぼ同数となったので目的を達したとする。右側の境界について、境界の左側は“６”に対し右側は“５”で、ほぼ同数となったので目的を達したとする。

生体データモデル作成装置を説明する機能ブロック図である。歪み補正部の機能ブロック図である。生体断面画像を得る技術を説明するフロー図である。ＭＲＩ画像の組織画像をＣＴ画像による輪郭に再配置を説明する図である。セグメンテーション部の一部を示す機能ブロック図である。セグメンテーション部の動作機能を説明するフロー図である。セグメンテーション部の一部を示す機能ブロック図である。セグメンテーション部の動作機能を説明するフロー図である。手動設定により抽出画像修理処理を説明する図である。スライス画像単位での抽出部位の統合を説明する図である。センサ値に基づき、物理情報付与を説明する機能ブロック図である。センサ値に基づき、物理情報付与を説明するフロー図である。センサ値に基づき、物理情報付与を説明する構成図である。前処理部の一部の機能ブロック図である。前処理部のサンプリング動作を説明するフロー図である。マーチンキューブ法を説明する図である。等値面決定則を従来法との違いとともに説明する図である。格子点内外の決定を説明する図である。前処理部の一部の機能ブロック図である。前処理部の平滑化を説明するフロー図である。平滑化を説明する図である。構造化されていないモデルの接触計算を説明する図ある。構築されたツリー構造を説明する図である。ツリー構造の構築を説明するフロー図である。ツリー状に構築したデータを格納する構造化データ格納部の図である。ツリー構造による接触判定処理を説明する図である。生体データモデルを分割した一例の図である。処理の負荷分散の接続を説明する機能ブロック図である。分割処理の機能ブロック図である。分割処理を説明する図である。分割処理を説明する図である。分割処理を説明する図である。分割処理を説明する図である。分割処理を説明する図である。

１０１…ＣＴ画像データファイル、１０２…ＭＲＩ画像データファイル、１０３…ＰＥＴ画像データファイル、１０４…歪み補正部、１０５…セグメンテーション部、１０６…物性値付与部、１０７…物性値テーブル、１０８…有限要素分割部、１０９…前処理部、１１０…四面体分割部、１１１…後処理部、１１２…構造化ファイル。

Claims

生体を撮像した医用画像から生体の部位を抽出して生体の断面画像単位の医用画像データにより三次元データモデルを作成する生体データモデル作成方法において、
操作者がコンピュータが備える画像合成手段を操作して、生体の断面画像単位で、部位を抽出した抽出画像と抽出元画像とを、色分けして合成する第１の過程と、
操作者がコンピュータが備える画像修正手段を操作して、コンピュータ画面上の前記第１の過程により合成された表示画像について元画像を基準に追加箇所または削除箇所を指定し、その情報を抽出画像に反映した修正画像を出力する第２の過程と、
操作者がコンピュータが備える３次元データ出力手段を操作して、前記第２の過程により作成した抽出部位の画像を模擬対象の手術内容に応じて選択し生体の断面画像単位で合成して得た合成画像を積層して３次元データとして出力する第３の過程とからなることを特徴とする生体データモデル作成方法。
生体を撮像した医用画像から生体の部位を抽出して生体の断面画像単位の医用画像データにより三次元データモデルを作成する生体データモデル作成装置において、
生体の断面画像単位で、部位を抽出した抽出画像と抽出元画像とを、色分けして合成する画像合成手段と、
前記画像合成手段により合成されたコンピュータ画面上の表示画像について元画像を基準に追加箇所または削除箇所を指定され、その情報を抽出画像に反映した修正画像を出力する画像修正手段と、
前記画像修正手段により作成した部位毎に抽出した生体の断面画像を模擬対象の手術内容に応じて選択し断面画像単位で合成して得た合成画像を積層して３次元データとして出力する３次元データ出力手段とからなることを特徴とする生体データモデル作成装置。