JP4979682B2 - 手術前予測のための方法及びシステム - Google Patents

Description

本発明は手術後の身体又は身体の一部（例えば顔）の手術前予測のための方法に関する。また、本発明はその方法が適用される計画システムに関する。

顎顔面及び形成外科又は皮膚外科では、頭蓋、歯列、軟組織又は皮膚斑の如き身体の部分が外科的に再構築又は修復される。一例は顎骨の位置関係が調整される頬顎異常矯正手術である。別の例は乳房が乳房インプラントを使用して拡大される乳房増大手術である。

（例えば顔の）写実的な像を生成することは三次元（３Ｄ）形状取得、動画作成及び視覚化における主要な目的である。

３Ｄ取得
身体（の一部）の３Ｄ幾何学的描写を取得する幾つかの方法が存在する。ＣＴ及びＭＲＩの如き医療画像診断法、及び３Ｄ写真システムが良く知られている。後者は二つのカテゴリー、即ち身体に特定のパターンを投射する能動法を使用するもの、及び先験的な幾何学的知識の使用ありで又はなしで一つ以上の像及び照明条件から身体の３Ｄ幾何学的描写を取得する受動法を使用するものに細分されることができる。３Ｄ幾何学的描写と同時に、３Ｄ写真システムは３Ｄ表面を表現するために使用される身体のテクスチャを与える。

動画作成
３Ｄ身体形状を動画化するための幾つかの方法が存在する。動きのシミュレーションは帰納法、物理学ベースの知識に基くことができ、又はそれは画像導出されることができる（例えば、異なる人及び／又は表現からの一組の像に基いた統計的な変形モデルを構築する）。結果は自然なものであってもよいし、又は人工的なものであってもよい。例えば、ある人の顔の動きは別の人の顔の動きを導出するために使用されることができる。

視覚化
３Ｄ視覚化又は表現（レンダリング）はテクスチャマップ及び身体（の部分）の反射率モデルを使用する。

テクスチャマッピングはテクスチャ像（又はテクスチャマップ）がテクスチャ像（又はテクスチャマップ）（関連したカラー／グレー値を有する）を３Ｄ表面に結合することによって多角形メッシュ又は幾つかの他の表面表現に適用されるコンピュータグラフィックス技術に関する。結果はテクスチャ像（の幾つかの部分）が表面の表現時に表面上にマッピングされることである。

テクスチャは身体の一つ以上の２Ｄ又は３Ｄ写真から導出される。３Ｄ写真システムを使用するとき、テクスチャマップは典型的には３Ｄ形状描写と同時に与えられる。２Ｄ写真を使用するとき、これらの２Ｄ写真を３Ｄ表面描写と一致又は整合する方法が必要とされる。マッチング（一致）は一組の対応する点に基くか、又は２Ｄ画像導出特徴と３Ｄ形状ベースの特性の間の対応を表現する計量（例えば相互情報）に基いて行われることができる。

身体の反射率のモデルは皮膚又は皮膚状の拡散及び鏡（鏡状反射）特性に基くことができる。

２Ｄ視覚化は身体（の一部）を変形することによって動画のために及びシミュレートされた又は人工的な照明条件下で身体（の一部）を示すために使用されている。これらの適用では、フォトリアリズムが主要な関心事である。

以下の従来技術文献は本発明の主題に最も近い。

Ｘｉａら及びＩｗａｋｉｒｉらの方法は３Ｄ視覚化のためのＣＴから得られた３Ｄヘッドメッシュ上へテクスチャマップとして投射される患者の正面（０°観察）、右（９０°観察）及び左（２７０°観察）を含む一組の写真を使用する。

本発明は手術後、特に顎顔面又は形成外科の後、患者の外観の正確な像を手術前にシミュレート又は予測するための装置及び方法を提供することを目的とする。別の側面では本発明はその方法を適用できる計画システムを提供することを目的とする。

本発明は、以下の工程を含む、身体の少なくとも一部の手術後像の予測を手術前に得るための方法に関する：
− 身体の少なくとも一部の３Ｄ手術前描写を決定する；
− 任意の観察位置からの身体の少なくとも一部の手術前２Ｄ写真を取得する；
− ３Ｄ手術前描写を手術前２Ｄ写真と一致させる；
− 典型的には３Ｄ計画システムで、３Ｄ手術前描写を変形するための変形範囲（ｄｅｆｏｒｍａｔｉｏｎ ｆｉｅｌｄ）を決定する、そして
− 変形範囲及び手術前２Ｄ写真によって身体の少なくとも一部の３Ｄ手術後描写の予測された手術後像を導出する。

好ましい実施態様では、予測された手術後像は前記変形範囲を使用して手術前２Ｄ写真を変形することによって得られる２Ｄ写真である。

別の好ましい実施態様では、予測された手術後像は３Ｄ像である。この場合において複数の手術前２Ｄ写真が有利に取得され、続いて後の方法工程で使用される。

方法は身体の少なくとも一部の少なくとも輪郭の３Ｄ手術前表面メッシュを３Ｄ手術前描写から生成する工程をさらに含む。予測された像を導出する工程は身体の少なくとも一部の少なくとも輪郭の３Ｄ手術後表面メッシュの予測を３Ｄ手術前表面メッシュから導出することを含む。輪郭の予測はそのとき変形範囲の決定において使用される。

別の実施態様では、３Ｄ手術前描写は３Ｄ像取得システムを使用して得られる。かかる３Ｄ像取得システムはコンピュータ断層撮影システム、磁気共鳴画像診断システム又は３Ｄ写真システムであることができる。

一致させる工程は前記３Ｄ手術前描写及び前記２Ｄ手術前写真上の一組の対応する点によって実施されることが好ましい。あるいは、一致させる工程は手術前２Ｄ写真から導出される特徴と３Ｄ手術前描写から導出される特徴の間の対応を計量的に表現することによって実施される。

さらに特別な実施態様では、方法は較正対象の写真をとる工程をさらに含む。そのとき前記較正対象の写真は手術前２Ｄ写真が取得されるカメラを較正するために使用されることができる。

一致させる工程の後、一致させた手術前２Ｄ写真から３Ｄ視覚化のためのテクスチャマップを作成する工程が実施される。

３Ｄ手術前描写は典型的には身体の少なくとも一部の軟組織描写を含む。有利には、それはまた、身体の少なくとも一部の内部構造についての情報を含む。

別の側面では、本発明はまた、以下のものを含む、身体の少なくとも一部の予測された手術後像を手術前に示すための手術計画システムに関する：
− 身体の少なくとも一部の３Ｄ手術前描写を決定するための手段；
− ３Ｄ手術前描写を身体の少なくとも一部の２Ｄ手術前写真と一致させるための手段；
− ３Ｄ手術前描写を変形するために変形範囲を決定するため及び身体の少なくとも一部の３Ｄ手術後描写の予測された手術後像を導出するための計算手段、及び
− 予測された手術後像を示すための表示手段。

特別な実施態様では、予測された手術後像は３Ｄ像である。あるいは、予測された手術後像は変形範囲を使用して手術前２Ｄ写真を変形することによって得られる予測された手術後２Ｄ写真である。

図面の簡単な記述
図１ａは整合後に２Ｄ手術前写真上に投射された３Ｄ手術前表面メッシュを表す。図１ｂ及び図１ｃはそれぞれ、２Ｄ手術前及び手術後の写真を示す。図１ｄは２Ｄ写真の組から得られたテクスチャマップを使用して表現された表面メッシュの二つの図を表す。

図２ａは整合後に２Ｄ手術前写真上に投射された３Ｄ手術前表面メッシュを表す。図２ｂ及び図２ｃはそれぞれ、２Ｄ手術前及び手術後の写真を示す。図２ｄは２Ｄ写真の組から得られたテクスチャマップを使用して表現された表面メッシュの二つの図を表す。

図３ａは整合後に２Ｄ写真上に投射された３Ｄ写真システムで得られた３Ｄ表面メッシュを表す。図３ｂは２Ｄ写真を示す。図３ｃは２Ｄ写真の組から得られたテクスチャマップを使用して表現された表面メッシュの六つの図を与える。

図４は較正対象を表す。

図５は左側上に３Ｄ表面メッシュから得られた３Ｄ表現（ｒｅｎｄｅｒｅｄ）非テクスチャ表面上に手で特定された点の組を、そして右側上に２Ｄ写真上に手で特定された（明るい）点の組を、３Ｄ表面を２Ｄ写真と一致させることによって得られた（暗い）点の上の組とともに表す。

図６は投射された表面メッシュ及び２Ｄ写真上の追加の対応する点を使用することによる精度の繰り返しの向上を表す。

図７は３Ｄカメラ空間Ｉ，３Ｄカメラ空間Ｃ及び２Ｄ写真像の概略図を与える。

図８は図３ｂの写真から作られた球状のテクスチャマップを表す。

図９は初期の手術前頭蓋を左から右へ表す。頭蓋は整復されることができる部分に切断される。

図１０は上段に手術前の顔の皮膚表面を、下段に予測される手術後の皮膚表面を表す。

図１１は計画システム精度を表す。上方：骨移動範囲（１３．７ｍｍまで）。中央：表現された表面はシミュレートされた（手術前）表面と実際の（手術後）表面の間の差がそれぞれ２ｍｍ及び１ｍｍ未満である顔の位置に対応する。下方：これらの差のヒストグラム（左）及び累積ヒストグラム（右）。

図１２は軟組織予測を容易にするための作業時の３Ｄ計画システムのスナップショットを表す。顔は３Ｄ表現テクスチャ表面（手術前状態）として示される。軟組織予測を容易にするための作業時の３Ｄ計画システムのスナップショット。顔は３Ｄ表現テクスチャ表面（シミュレートされた手術後状態）として示される。

図１３は図２ｂの写真から作られた円柱形テクスチャマップを表す。

図１４は２Ｄ像上に投射された変形範囲（短い線）を表す。

図１５は移動範囲（短い線）及び広げられた領域の境界（外側輪郭）を表す。この領域の外側では、移動はゼロであり、像は変形されない。

本発明は従来技術とは二つの基本的な点で異なる。第一に、本発明によるアプローチでは、いかなる観察位置から取られた一つ以上の２Ｄ写真も使用できる。観察位置は方向及び大きさを有するベクトルとして考えられるべきである。即ち、観察位置は観察方向及びカメラ距離からなる。２Ｄ写真の数は従って任意である。第二に、視覚化は２Ｄ写真がテクスチャマップとして使用される３Ｄ視覚化に制限されないが、単一の任意の手術前２Ｄ写真は、物理学ベースの信頼性のある、個別化された、正確に予測する３Ｄ変形範囲を使用してシミュレートされた手術後２Ｄ写真に変形されることができる。テクスチャマッピングを使用する３Ｄ視覚化はフォトリアリズムに欠けるが（特に３Ｄ像取得のためのＣＴの如き医療診断画像技術を使用するときの不自然なテクスチャ混合及びヘアモデル化アーチファクト）、シミュレートされた手術後２Ｄ写真は元の手術前写真と同じフォトリアリズムを本質的に有する。

患者の外観を示す能力は３Ｄ手術前計画のためのシステムに統合されることができる。「計画システム（ｐｌａｎｎｉｎｇ ｓｙｓｔｅｍ）」は医者が介入の処置を計画又はシミュレートすることができるソフトウェア環境を意味する。それは、例えばその介入の結果を予測するため、様々な処置を試験するため、処置を最適化するため、処置を作成して医療スタッフと患者の間のコミュニケーションを改善するために使用されることができる。

テクスチャマッピングを使用するリアルタイム３Ｄ視覚化は３Ｄ計画システムを使用しながら、例えば骨質構造又はインプラントを調整又は整復するとき、外科医に追加の評価を与える。計画処置における精度及び統合は極めて重要であり、フォトリアリズムは重要性が小さい。視覚化はいかなる観察方向からも可能である。

他方、２Ｄ幾何学的に変形された写真は高い精度と高いフォトリアリズムの両方を与え、例えば患者と外科処置の予想される結果を討論するための優れた手段である。視覚化は元の２Ｄ写真の観察方向に制限されるが、数並びに観察方向は任意に選択されることができる。

本発明による方法の初期工程では、３Ｄ手術前像は患者の身体（の一部）から取得される。３Ｄ像取得システムは例えばＣＴ（コンピュータ断層撮影）、ＭＲＩ（磁気共鳴画像診断）又は他の３Ｄ走査もしくは写真システムに使用されることが好ましい。ＣＴ又はＭＲＩの如き３Ｄ医療画像診断法は身体の輪郭の幾何学的情報（さらに「軟組織」としても言及）及び骨質構造の如き内部構造を与える。容積測定データに基いて、皮膚及び骨の如き他の組織の３Ｄ輪郭が区分化される。皮膚及び骨の場合において、区分化は例えば簡単なしきい値処理によって実施されることができる。３Ｄ医療画像診断法の代わりに、３Ｄ写真システムの如き外部の身体輪郭を得るために他の３Ｄ走査装置を使用することができる。３Ｄ写真システムは二つのカテゴリー、即ち身体上に特定のパターンを投射する能動法を使用するもの、及び先験的な幾何学的知識の使用ありで又はなしで一つ以上の像及び照明条件から身体の３Ｄ幾何学的描写を取得する受動法を使用するものに細分されることができる。「Ｍｏｄｅｌｉｎｇ ａｎｄ ａｎｉｍａｔｉｎｇ ｒｅａｌｉｓｔｉｃ ｆａｃｅｓ ｆｒｏｍ ｉｍａｇｅｓ」（Ｐｉｇｈｉｎら、Ｉｎｔ Ｊ Ｃｏｍｐ Ｖｉｓｉｏｎ ５０（２），ｐｐ．１４３−１６９，２００２）では、例えば３Ｄ一般顔モデルは３Ｄ形状を取得するために一組の像に対話形式で適合される。

次に、任意のカメラを使用して任意の観察方向及びカメラ距離（即ち、前に規定したような任意の観察位置）から身体（の一部）の一組の（一つ以上の）２Ｄ写真が取得される。図１ｂ、２ｂ及び３ｂに示されるように、一つ以上の２Ｄ写真が任意の選択方向からとられる。後述する整合（ｒｅｇｉｓｔｒａｔｉｏｎ）法の精度を改善するために、較正対象の写真をとり（図４）、カメラの内部パラメータを算出して写真作業（以下参照）の残りの間にこれらの設定を固定することが推奨される。

３Ｄデータは、身体の輪郭（「軟組織」）、及びもし必要ならば計画システムによって骨の如き他の組織の３Ｄ表面メッシュを生成するために使用される。図１ａ，２ａ及び３ａに示された三角形メッシュの如き表面メッシュは例えばずらっと並ぶ三乗アルゴリズムを使用して作られることができる。

次いで整合法が３Ｄ手術前表面描写を２Ｄ写真と一致又は整合するために適用される。３Ｄ表面を２Ｄ写真と整列又は整合するための一つの方法は図５に示され、そこでは３Ｄ表面及び２Ｄ写真のそれぞれの上の一組の対応する点が使用される。そのとき問題は３Ｄ像空間Ｉから関連するカメラ空間Ｃへ、そしてさらに対応する２Ｄ写真像へ点を移動する方法である。カメラはＣ（図７参照）に光学中心がある遠近法ピンホールカメラとしてモデル化されることができることが想定される。ＩとＣの間の幾何学的関係はそのとき回転Ｒ及び平行移動Ｉによって表現されることができる。いったんＣにおける点Ｐ（ｘ，ｙ，ｚ）の座標がわかると、平面ｚ＝ｆにおけるその射影（ｘ_Ｐ，ｙ_Ｐ，ｆ）は下記方程式を使用して簡単に算出されることができる（図７参照）：
この射影は下記のように行列の形で書かれることができる：
次に、座標（ｕ，ｖ）を有する写真像は平面ｚ＝ｆにおける射影像から取得される。この読み出し工程はスケーリング、せん断（ｓｈｅａｒ）及び平行移動を受ける。それは３×３行列として表されることができる。
従って、
方程式２と方程式３を組み合わせると以下のようになる。
カメラ読み出し機構に関連する技術的な理由のため、ｋ_ｙは通常、０である。方程式４において行列を乗算し、ｓ_ｘ・ｆ，ｓ_ｙ・ｆ及びｋ_ｘ・ｆをそれぞれｆ_ｘ，ｆ_ｙ及びｋ_ｘに置換すると以下のようになる。
方程式５における変換行列は５つのパラメータを含む。これらのパラメータがわかるとき、カメラは内部的に較正されていると言える。カメラはＩ及びＲの６つの自由度がわかるなら外部的に構成される。従って、合わせると、較正工程全体は１１個のパラメータを規定することを要求する。これは３Ｄ表面及び２Ｄ写真（図５）のそれぞれの上に一組の対応する点を示すことによってなされることができる。それぞれのこのような点は二つの方程式を生み出す。これは少なくとも６個の点が１１個のパラメータの値を算出するために必要とされることを意味する。実際には、解の精度を向上するためにより多くの参照点が推奨される。

内部較正パラメータは対応する参照点の位置についての小さな誤差に極めて敏感である。従って、既に述べたように、まず正確に知られた幾何学及びテクスチャで別個の較正対象の写真をとり（図４）、カメラの内部パラメータを算出し、写真作業の残りの間にこれらの設定を固定することが推奨される。身体（の一部）の取得された３Ｄ像及び２Ｄ写真像上の対応する参照点（図５）は続いて外部構成のために使用される。整合の精度は２Ｄ写真及び投射された表面メッシュ上に対応する点を加えることによって繰り返し改善されることができる（図６）。一組の対応する点を使用する代わりに、２Ｄ写真と３Ｄ表面の整合はまた、例えば２Ｄ像導出特徴と３Ｄ形状ベースの特性（例えば相互情報）の間の対応を表現する客観的機能（ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ）の最適化に基いて実施されることができる。

さらなる工程では、２Ｄテクスチャマップが整合された２Ｄ写真から作られる。表面メッシュ及び対応するテクスチャは３Ｄ視覚化のために使用される。次いでテクスチャマップは３Ｄ身体表面上にマッピングされる。視界依存（例えば３Ｄ身体輪郭を包囲する仮想球体を高速表示するための単一テクスチャマップを使用する）及び視界非依存テクスチャマッピング（図８）は３Ｄ表面座標と２Ｄ写真座標の間の既知の関係、並びに利用可能な写真におけるカラー又はグレー値からテクスチャ値を算出する方法をとる。いったん２Ｄ写真と３Ｄ表面が一致すると、各写真における３Ｄ表面座標と２Ｄ座標の間のマッピングがわかる。各３Ｄメッシュ点は各２Ｄ写真における点に対応し、そのテクスチャ値は、もし３Ｄメッシュ点が２Ｄ写真の少なくとも一つにおいて及びそれに面する正面で見ることができるなら、ゼロではない。従って、各２Ｄ写真に対して、対応する「見ることができるメッシュ」はカメラ位置から見ることができない頂点をそれらが属する三角形とともに除去することによって生成される。テクスチャ値は、例えばＰｉｇｈｉｎ又はＩｗａｋｉｒｉによって上述の論文で提案されたように寄与する写真中の対応するカラー又はグレー値の正規化された加重組み合わせとして算出されることができる。この加重関数は写真斑点の間に滑らかで継ぎ目のない移行を与えるべきである。例えば図１ｄ，２ｄ及び３ｃでは加重関数（θ−π／２）^２が使用される。θは表面垂線と表面点から写真のカメラ位置までの線の間の角度である。

軟組織予測を含む３Ｄ患者特定計画システム（例えば顎顔面手術、乳房増大、鼻修正など）は手術後形状をシミュレートするために使用される。軟組織予測は関連したテクスチャマップを有する軟組織の手術前表面メッシュを関連した再マッピングされたテクスチャを有する予測された手術後軟組織メッシュに変形するために使用される。手術後軟組織メッシュ及び対応するテクスチャマップは軟組織の３Ｄ視覚化のために使用される。

３Ｄ身体形状を動画化するための幾つかの方法が存在する。動画のシミュレーションは帰納法、物理学ベースの知識に基くことができるか、又はそれは画像から導出されることができる（例えば喜び、怒り、悲しみの如き顔表現にそれぞれ対応する一組のテクスチャ化された顔メッシュの一次結合又は異なる表現からの一組の像に基いて統計的な変形モデルを構築する）。結果は自然なものであってもよく、又は人工的なものであってもよい（例えばある人の顔の動きは別の人の顔の動きを導出するために使用されることができる）。

本発明は、顎顔面及び形成外科のための３Ｄ変形範囲の個別化された正確な予測を利用する。一例として、次のパラグラフは顎顔面外科のための３Ｄ計画システムを記載し、それは顔の個別化された正確な３Ｄ変形範囲を生み出す。

顎顔面処置を計画することは二つの別個の部分、即ち骨関連計画と軟組織シミュレーションに細分されることができる。骨関連計画者は外科医が３Ｄ環境において頭蓋を再造形することを可能にする。頭蓋の再造形は、頭蓋を異なる部分に切断し、異なる部分の各々を再配置することを意味する（図９）。骨関連計画から出発すると、患者の新しい顔形状をシミュレートすることができる（図１０）。新しい顔の外観を予測するために、顔組織の挙動を正確にシミュレートすることができる数学的モデルが使用される。既知のモデルは有限要素モデル（ＦＥＭ）、質量ばねモデル（ＭＳＭ）及び質量テンソルモデル（ＭＴＭ）である。これらのモデルの一つとともに、一組の境界条件が使用され、それは骨関連計画から生成される。例えば「Ｖｅｒｙ ｆａｓｔ ｓｏｆｔ ｔｉｓｓｕｅ ｐｒｅｄｉｃｔｉｏｎｓ ｗｉｔｈ ｍａｓｓ ｔｅｎｓｏｒ ｍｏｄｅｌ ｆｏｒ ｍａｘｉｌｌｏｆａｃｉａｌ ｓｕｒｇｅｒｙ ｐｌａｎｎｉｎｇ ｓｙｓｔｅｍｓ」（Ｍｏｌｌｅｍａｎｓら、Ｐｒｏｃ Ｃｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｒａｄｉｏｌｏｇｙ ａｎｄ Ｓｕｒｇｅｒｙ（ＣＡＲＳ），２００５）では、軟組織が多数の場所で骨に取り付けられていること、そしてこれらの点中の軟組織が対応して取り付ける頭蓋点と同じ軌道に従うことが想定されている。軟組織の残りの変形はこのような軟組織の各々における全ての力がゼロであることを要求することによって又は時間にわたって動きの方程式を積分することによって見出される。図１１はシミュレーションの精度を示す。

図１２は図９〜１１に使用されたのと同じ患者の作業時の計画システムの幾つかのスナップショットを示す。関連するテクスチャを有する軟組織はリアルタイムに骨移動と同時に動く。図１３はこの患者のための関連するテクスチャマップを示す。

さらなる工程では、３Ｄ手術前及び手術後表面メッシュは手術前２Ｄ写真上に投射される。カメラ視点から見ることができる手術前３Ｄ表面メッシュの頂点は予め得られた整合パラメータ及び行列を使用して手術前２Ｄ写真（図１ａ，２ａ，３ａ）上に予めマッピング又は投射される。これらの頂点の各々について手術後３Ｄ表面メッシュにおける移動ベクトル及び対応する頂点がわかる。これらの対応する頂点はまた、手術前２Ｄ写真上に投射される。手術前３Ｄ表面メッシュは手術後メッシュに変形されるので、予め見ることができた幾つかの頂点は今、見ることができないかもしれない。これらの頂点はまた、手術前メッシュにおけるそれらの関連する頂点と同様に除去される。

手術前及び手術後の軟組織メッシュから取得された投射された変形範囲は手術前２Ｄ写真を幾何学的に変形しかつ手術後２Ｄ写真を予測するために使用される（図１ｃ，２ｃ）。

コンピュータグラフィックスでは、カラー／グレー値変換及び／又は幾何学的変換を使用する純粋な２Ｄ像処理はシミュレートされた又は人工的な照明条件下でかつ身体（の一部）のモーフィングによる動画のために身体（の一部）を示すために利用されている。これらの用途では、フォトリアリズムは主要な関心事である。しかしながら、顎顔面及び形成外科では、シミュレートされた像は手術後外観を正確に予測しなければならない。

この発明では、患者特定３Ｄ変形モデルは２Ｄ写真を幾何学的に変形するために使用される。投射された手術前及び手術後の軟組織メッシュから、２Ｄ写真における全ての投射されたメッシュ頂点の２Ｄ移動がわかる。従って、２Ｄ幾何学的変形ベクトルは２Ｄ写真における離散した多数の点でわかる（図１４）。そのとき写真の各画素における移動は離散した変形ベクトル間で内挿することによって算出されることができる。投射されたメッシュの外側では、変形は原則としてゼロである。しかしながら、２Ｄ写真と投射された手術前表面メッシュの間の小さな不一致のため、メッシュの外側の変形範囲をわずかに外挿することが推奨されうる。もし身体（の一部）の姿勢が２Ｄ写真及び３Ｄ表面において異なるなら（例えば立っている位置及び横たわっている位置のそれぞれでとったとき）、特に不一致が起こる。図１５は典型例である。この場合において、拡大された領域の輪郭はゼロ変形境界線として使用されることができる。この領域内では、離散変形範囲の内挿は例えば双三次スプライン関数を使用して実施されることができる。

上述の方法はまた、原則として変形範囲を決定し、変形範囲を使用して一つ以上の手術前２Ｄ写真を変形する工程なしで使用されることができる。後者の工程は予測された手術後２Ｄ写真を生じる。しかしながら、テクスチャマッピングを使用する３Ｄ視覚化はフォトリアリズムに欠け（例えば不自然なテクスチャ合成及びヘアモデルの欠陥（特に３Ｄ像取得のためのＣＤの如き医療画像診断を使用するとき））、テクスチャマップはほとんど修正を必要とする。他方、シミュレートされた手術後２Ｄ写真は元の手術前写真と本質的に同じフォトリアリズムを持つ。

は整合後に２Ｄ手術前写真上に投射された３Ｄ手術前表面メッシュを表す。 ２Ｄ手術前の写真を示す。 ２Ｄ手術後の写真を示す。 ２Ｄ写真の組から得られたテクスチャマップを使用して表現された表面メッシュの二つの図を表す。 整合後に２Ｄ手術前写真上に投射された３Ｄ手術前表面メッシュを表す。 ２Ｄ手術前の写真を示す。 ２Ｄ手術後の写真を示す。 ２Ｄ写真の組から得られたテクスチャマップを使用して表現された表面メッシュの二つの図を表す。 整合後に２Ｄ写真上に投射された３Ｄ写真システムで得られた３Ｄ表面メッシュを表す。 ２Ｄ写真を示す。 ２Ｄ写真の組から得られたテクスチャマップを使用して表現された表面メッシュの六つの図を与える。 較正対象を表す。 左側上に３Ｄ表面メッシュから得られた３Ｄ表現非テクスチャ化表面上に手で特定された点の組を、そして右側上に２Ｄ写真上に手で特定された（明るい）点の組を、３Ｄ表面を２Ｄ写真と一致させることによって得られた（暗い）点の上の組とともに表す。 投射された表面メッシュ及び２Ｄ写真上の追加の対応する点を使用することによる精度の繰り返しの向上を表す。 ３Ｄカメラ空間Ｉ，３Ｄカメラ空間Ｃ及び２Ｄ写真像の概略図を与える。 図３ｂの写真から作られた球状のテクスチャマップを表す。 初期の手術前頭蓋を左から右へ表す。 上段に手術前の顔の皮膚表面を、下段に予測される手術後の皮膚表面を表す。 計画システム精度を表す。 軟組織予測を容易にするための作業時の３Ｄ計画システムのスナップショットを表す。 図２ｂの写真から作られた円柱形テクスチャマップを表す。 ２Ｄ像上に投射された変形範囲（短い線）を表す。 移動範囲（短い線）及び広げられた領域の境界（外側輪郭）を表す。

Claims (15)

1. 以下の工程を含む、身体の少なくとも一部の手術後像の予測を手術前に得るための方法：
   − 身体の少なくとも一部の３Ｄ手術前モデルを決定する；
   − 一つ以上の観察位置からの前記身体の少なくとも一部の手術前２Ｄ写真を取得する；
   − 前記３Ｄ手術前モデル上の点の第一の組を前記手術前２Ｄ写真上の点の対応する第二の組と一致させる、但し前記点の第一の組及び第二の組は、変換によって幾何学的に関連付けられる；
   − 前記３Ｄ手術前モデル及び前記点の第一の組を変形するための変形範囲を決定する、そして
   − 前記身体の少なくとも一部の３Ｄ手術後モデルの予測された手術後像を導出する、但し前記予測された手術後像は前記変形範囲を使用して前記手術前２Ｄ写真上の前記点の第二の組を変形することによって得られる２Ｄ写真である。
2. 前記予測された手術後像が３Ｄ表面レンダリングである請求項１に記載の方法。
3. 複数の手術前２Ｄ写真が取得される請求項１又は２に記載の方法。
4. 前記身体の少なくとも一部の少なくとも輪郭の３Ｄ手術前表面メッシュを前記３Ｄ手術前描写から生成する工程をさらに含む請求項１〜３のいずれかに記載の方法。
5. 前記予測された像を導出する工程が前記身体の少なくとも一部の少なくとも前記輪郭の３Ｄ手術後表面メッシュの予測を前記３Ｄ手術前表面メッシュから導出することを含む請求項４に記載の方法。
6. 前記輪郭の予測が前記変形範囲の決定において使用される請求項５に記載の方法。
7. 前記３Ｄ手術前モデルが３Ｄ像取得システムを使用して得られる請求項１〜６のいずれかに記載の方法。
8. 前記３Ｄ像取得システムがコンピュータ断層撮影システム、磁気共鳴画像診断システム又は３Ｄ写真システムである請求項７に記載の方法。
9. 較正対象の写真をとる工程をさらに含む請求項１〜８のいずれかに記載の方法。
10. 前記較正対象の前記写真がカメラを較正するために使用され、前記カメラが前記少なくとも一つの手術前２Ｄ写真を取得するために使用され、カメラを較正することが前記変換のパラメータを決定することを含む請求項９に記載の方法。
11. 前記一致させる工程の後、前記一致させた手術前２Ｄ写真から３Ｄ視覚化のためのテクスチャマップを作成する工程が実施される請求項３〜１０のいずれかに記載の方法。
12. 前記３Ｄ手術前モデルが前記身体の少なくとも一部の軟組織描写を含む請求項１〜１１のいずれかに記載の方法。
13. 前記身体の少なくとも一部の前記３Ｄ手術前モデルが前記身体の少なくとも一部の内部構造についての情報を含む請求項１〜１２のいずれかに記載の方法。
14. 以下のものを含む、身体の少なくとも一部の予測された手術後像を手術前に示すための手術計画システム：
    − 身体の少なくとも一部の３Ｄ手術前モデルを決定するための手段；
    − 前記３Ｄ手術前モデル上の点の第一の組を前記身体の少なくとも一部の２Ｄ手術前写真上の点の対応する第二の組と一致させるための手段、但し前記点の第一の組及び第二の組は、変換によって幾何学的に関連付けられる；
    − 前記３Ｄ手術前モデル及び前記点の第一の組を変形するために変形範囲を決定するため及び前記身体の少なくとも一部の３Ｄ手術後モデルの予測された手術後像を導出するための計算手段、但し前記予測された手術後像は前記変形範囲を使用して前記手術前２Ｄ写真上の前記点の第二の組を変形することによって得られる予測された手術後２Ｄ写真である、及び
    − 前記予測された手術後像を示すための表示手段。
15. 前記予測された手術後像が３Ｄ像である請求項１４に記載の手術計画システム。