JP5390377B2

JP5390377B2 - 三次元デジタル拡大鏡手術支援システム

Info

Publication number: JP5390377B2
Application number: JP2009513502A
Authority: JP
Inventors: 淳高橋
Original assignee: 淳高橋
Priority date: 2008-03-21
Filing date: 2009-03-23
Publication date: 2014-01-15
Anticipated expiration: 2029-03-23
Also published as: WO2009116663A1; JPWO2009116663A1; US8253778B2; DK2269533T3; CA2727585C; CA2727585A1; EP2269533A4; CN102036616A; EP2269533B1; KR101189550B1; CN102036616B; KR20100139049A; US20110102549A1; EP2269533A1

Description

本発明は、外科手術において最小侵襲手術で不可視領域に対するアプローチを行う際に、安全性と確実性を高める為に、手術中の患者位置と手術器具の位置関係を表示することを目的とした医療用ナビゲーション手術支援システムに関する。より詳しくは、三次元デジタル拡大鏡を利用して立体認識する実体（患者及び手術器具）の画像上に、その実体の不可視領域あるいは外形の三次元コンピュータグラフィクスを重畳表示し、実体画像と仮想三次元コンピュータグラフィクスを一体化し全てを立体的に認識する三次元デジタル拡大鏡拡張現実手術支援システムに関する。

古くは、外科手術で不可視領域に対するアプローチを行う場合、Ｘ線、超音波、磁気などによる非破壊検査データを基に構成した二次元あるいは三次元画像データを観察することによって物体の内部構造、あるいは生体個々の解剖学的形状とその位置関係のイメージを記憶に残し、手術時にはそれらの記憶イメージオリエンテーションに従って実体の視野イメージに重ね合わせ手術を行っていた。特に単純骨折あるいはかんせつ関節脱臼の整復処置のような非観血的な手術においては術者の経験による三次元イメージと手指の感覚に頼ることになる。この繊細な人間の3次元感覚は経験を積み熟練することによって向上してゆくものであるが、非観血的な処置の正否は術後の三次元画像データで評価するしか無い。また、観血的な手術で見通しの悪い体内を手術する場合等にオリエンテーションを失えば間違った方向に進み、不要な組織損傷を招くことにもなりかねない。このような危険性を回避する為に、手術の操作をしている患者と手術器具の3次元的位置をリアルタイムに計測し、これを術前に撮影したCTやMRIの画像の上に重畳表示する事で、初心者でも容易に目標に到達できることから、手術の安全性、確実性に貢献するとの認識されている。このようなコンピュータ計測装置を使用して、脳神経外科に留まらず、頭頸部外科、整形外科領域の応用も試みられ、術中にMRIを撮影し、画像情報も更新しつつナビゲーションを行なう方法も考案されている。

しかしながら、前述の如く、術前に撮影したCTやMRIの画像の上に重畳表示するイメージベースナビゲーションシステムの場合では、CTやMRIの撮影画像上にセンシングマーカーの位置を表示する為には、予めCTやMRIの撮影時にセンシングマーカーを装着して撮影する必要があり、手術時には撮影時と同一位置にセンシングマーカーを再装着し、3次元的位置をリアルタイムに計測する必要がある。正確なトラッキングを行うには、センシングマーカー固定方法、固定位置の再現性の問題などに加えて、患者と画像位置のイニシャライズ登録作業（レジストレーション）は、煩雑な調整作業を要し、実際のトラッキング精度はセンサー自体の精度に依存する為に拡大画像上で処置を行う場合トラッキング精度は術野画像の拡大率に比例してモニター上で拡大率に反比例して増大することになる。

このため位置精度向上と処置中のセンシングマーカーのズレ補正の為に、術中にMRIを撮影し、画像情報を更新すると同時にレジストレーション及びトラッキンングを行なう方法もあるが、断層撮影には一定の時間を要する為に、リアルタイムという観点では時間的な制約のある外科手術に於いて好ましい物ではない。

しかし,これらの全てのナビゲーションシステムは、基本的に手術中の患者位置にCTやMRIの画像を重畳し、手術器具のコンピュータグラフィクスをトラッキングし表示するものであり、前記手術器具操作による器具の生体内での到達状況は全て固定二次元モニターに表示される仮想イメージ上で行うことになる。従って、処置によって患者（実体）におこる変化はモニターで確認することは不可能であり、患者の状況を確認する為にはモニターから視線を変更して患者術野に視線を変更する必要がある。
このような事実に鑑み、赤外線や磁気等のセンシングマーカーを患者（実体）に固定することなく、実際の患者位置と三次元CG画像位置との関係を一致させる登録作業（レジストレーション）を自動的に行い、患者（実体）及び撮像装置の相対的位置変化にトラッキングを行い追従して重畳した三次元CG画像を画像追尾させ、術中の患者の体動に対応して、不可視領域の解剖学的三次元CG画像や手術器具操作に追従する手術器具重畳した器具の三次元CG画像を実体に三次元的な位置変化に追従させ、操作状況と患者の実体を視線を移動させること無くリアルタイム画像としてナビゲーションを可能とし、その他バイタルサイン等の患者生体情報についても視線を変更することなく同一モニターで確認可能とするものである。

本発明は、人間が直視のもとに行う医科手術や精密な手技を実施する際に三次元デジタル拡大鏡を利用して不可視領域に対する視覚的支援をするシステムであって、目前の実体に不可視領域画像を合成表示する事によって以下に記述する様な拡張現実感を再現する作用が得られる。

一般的に前記医科手術やその他の精密技術を施術する場合、拡大術野を獲得するために双眼拡大ルーペを用いて作業を行う。この様な頭部に搭載する双眼拡大ルーペなどの光学拡大鏡と同様の拡大術野は、術者両眼の直前に一対のモニターを設置し、そのモニター前面の装着作業者左右瞳孔中央部に相当する位置から、裸眼視野方向に向けて一対のステレオ配置撮像装置を取り付けた三次元デジタル拡大鏡を利用しても同一空間内の立体的な視野を確保することが可能となる。術者が肉眼あるいは光学拡大鏡で対象を視覚的に認識する場合と同様の状況が再現されているので、術者の視野方向の変化、対象の三次元的な位置変化は裸眼で日常作業を実施する場合と同様に立体的に認識されるので、極めて自然な感覚で頭部の位置、言い換えれば視野方向を変更して視野範囲の対象に対する作業を実施する事が可能となる。

第一の発明は、この三次元デジタル拡大鏡のステレオ配置撮像装置を利用して視野方向に存在する実体をステレオ法によって撮影し、撮像画像を構成する画素の三次元位置計測を行い、固定した2 台のカメラ間の距離を三角測量することによって立体計測を行うステレオ画像法（両眼立体視）を利用して非接触立体計測によって得た撮像範囲内の複数の実体の三次元形状のサーフェースポリゴンモデル２を獲得する。立体計測の方法は、両眼立体視法だけではなく、その他、ステレオ画像立体計測法として、発光ダイオードなどで点を発光し飛行時間計測をおこなうスポット発光法によるステレオ法、あるいは対応点を作り出すスリットを通った直線状の光で、対象の断面を取得するように光をスキャンし、実体の形状を取得するスリット光投影法、実体に撮像装置画像内の座標が判断できるようなパターンを投影して、奥行きを求めるパターン光投影法でも良いが、基本的には左右撮像画像を構成する特定部位の画素の三次元位置計測を行い、固定した2 台のカメラ間の距離を三角測量することによって立体計測を行うステレオ画像法を用いてパーソナルコンピューター演算処理によって実体の三次元形状のサーフェースポリゴンモデル２を獲得する。
これらの方法を後いる場合の光源としては、撮像する施術対象物体あるいは生体（実体）画像のモニター上での視覚に影響を与えることが無い赤外線などの不過視光線を使用する事が望ましい。
また、これらの発光光源は、撮像装置と共に三次元デジタル拡大鏡に設置されているので、実体の三次元空間上の相対的位置関係を計測し実体の画像追尾をする場合に、常に撮像装置装置撮像方向に対して同一方向から投光された光源光をステレオ撮像装置で受光し、投光部と受光部の位置補正要素を統合することによって、計測精度と計測速度を向上させることが可能となる。

別途予め施術対象物体あるいは生体の断層撮影二次元スライスデータから構築した表層から内部構造を表す各構造構成要素のサーフェースポリゴンモデル１を作成する。このサーフェースポリゴンモデル１と三次元的相似形状の前記サーフェースポリゴンモデルをサーフェースポリゴンモデル２の中から形状パターン認識することによって判別検出し、検出した施術対象物体あるいは生体のサーフェースポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスをオーバーレイすると供にトラッキングさせるシステムである。このサーフェースポリゴンモデル２は撮像方向の撮像範囲で形成される物であるから、判別検出に利用する施術対象となる物体あるいは生体のサーフェースポリゴンモデル１は、施術の際の視野方向、言い換えればアプローチする方向に従って対象物の三次元座標軸中心から裏面部を構成するサーフェースを削除してイニシャライズ時の撮像装置視野範囲と同一範囲あるいは、特徴的なランドマーク形状部位を含む最小範囲に加工するとともに、構成ポリゴン数を可及的に減少させることによって、検出、判別、トラッキング処理のそれぞれの精度とスピードを向上する。術者三次元デジタル拡大鏡視野内には、非表示のサーフェースポリゴンモデル１と連動してトラッキングする内部構造構成要素テクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスが視野内に存在する前方術野画像上に合成表示される。この際のサーフェースポリゴンモデル１およびサーフェースポリゴンモデル２を構成するポリゴン形状に整合性を持たせる事は言うまでもない。

このように、実態画像の一部あるいは全体を三次元ボリュームモデルコンピュータグラフィクスオーバーレイすることによって、三次元デジタル拡大鏡に表示される実体の内部構造不可視領域を、実体の撮像空間上と視覚的に同一の三次元的位置に仮想三次元ボリュームモデルコンピュータグラフィクスの内部構造構成要素画像として認識することを可能とする。目前に存在する実体を手に取る動作と同様に、視覚的に目前の実体と三次元空間上同一位置に認識する三次元ボリュームモデルコンピュータグラフィクスを直接あるいは間接的に手に取る様に（触覚的に）施術することが可能となる。

さらに施術中は、この仮想三次元ボリュームモデルコンピュータグラフィクスは、撮像空間における撮像装置と実体の相対的三次元位置変化に追従してリアルタイムに表示レイアウトを変更し追尾するので高い実時間相互作用を生み出す三次元デジタル拡大鏡拡張現実手術支援システムが構成される。このように実体に重畳した仮想三次元ボリュームモデルコンピュータグラフィクスは、断層撮影二次元スライスデータから構築可能な解剖学的構成要素、つまりボリュームモデルであるので全要素を表示した場合、外層構成要素のみが認識される事になる。

第二の発明は、前述のような三次元デジタル拡大鏡の撮像装置を利用した立体計測で構成する実体の三次元形状のサーフェースポリゴンモデル２使用することなく、三次元デジタル拡大鏡の左右撮像装置と画像表示装置を並列に個別構成として使用するものである。予め断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築した各構造構成要素のサーフェースポリゴンモデル１を構成する輪郭あるいは特徴的なポイントあるいはラインを三次元デジタル拡大鏡の左右それぞれの撮像装置が撮像する画像データにマッピングしトラッキングすることによって、前記ポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした各内部構成要素中の任意の三次元コンピュータグラフィクスが両眼視画像表示装置に左右それぞれ表示する対象実体画像と個々にマッチムーブさせることにより、三次元デジタル拡大鏡の左右画像表示装置に表示される実体画像上に重畳表示した被写体内部構造三次元コンピュータグラフィクスが両眼視差角によって撮像空間実体画像上に溶け込むような臨場感のある透視画像として立体認識を可能とした三次元デジタル拡大鏡拡張現実手術支援システムである。

第三の発明は、これら内部要素を随時視覚的に認識するために撮像空間中の実体に重畳配置する仮想三次元コンピュータグラフィクス画像を、応用目的に従って、構造上のあるいは解剖学的構成要素に従って分類すると共に個別のレイヤーとして保存し、前記各レイヤーを術中の手術器具到達深度やその他の経過状況に応じて、個別にあるいは選択的組み合わせて合成表示する表示可能とした物である。このシステムを利用して行う下顎骨歯科インプラント手術を例にあげれば、実空間における三次元デジタル拡大鏡視野内の下顎口腔内撮像画像に下顎解剖学的構成要素である下顎骨皮質骨の仮想三次元コンピュータグラフィクス画像がトラッキング表示されるので、歯肉の上から切開する以前に歯槽骨の形状を三次元的に視覚認識可能となる。したがって、歯肉を切開すること無く骨量が十分な部位を選択して正しい位置からアクセス方向を選定しアクセスすることが可能となるので切開による内出血が引き起こすことが無く術後の浮腫の防止に役立つ。続いて、前記処置でアクセスホールが皮質骨上に形成された後、下顎骨骨体皮質骨の三次元コンピュータグラフィクスレイヤーを非表示とし、代わりに下歯槽神経の三次元コンピュータグラフィクスレイヤーを実体の相対的固定位置に配置し表示することによって、実体に形成したアクセスホールをガイド口として、実体にドリリング穿孔操作を進める際に三次元的視覚認識の基に、神経損傷の危険性を排除した上で、咬合力を支える為に可及的に深くまでインプラント埋入窩を形成するという、これまでは感と経験による高度な手術技術を、安全的確に実施することが可能となる。これらレイヤーの選択的表示は、解剖学的要素のみならず、DICOMデータから作成した下顎解剖学的構成要素の三次元コンピュータグラフィクス上で正確なインプラント窩穴形成の為のドリリングを行うガイドとしてシュミレーションして作製したサージカルステントのコンピュータグラフィクスレイヤーを相対的固定配置することも可能となる。この際に、実体画像を非表示とする場合は、三次元デジタル拡大鏡モニター上に裸眼視野あるいは光学拡大鏡の視野と同じ様に術者前方の実体空間上に立体的に表示される患者実体と三次元的に同一位置に表示される仮想三次元コンピュータグラフィクスを視覚的に確認し、この外層構造の透明化や着色等のコンピュターグラフィクスの画像処理によって実体画像で認識することができない内部構造を明視化した仮想コンピューターグラフィクス画像の視覚と、術者が手を伸ばして実体に触れる触覚は、人間が目の前の実体を視覚認識しながら直接手触れる触覚によって作業を行う場合と同様の同化した感覚として認識する意識で作業を行う事が可能となる。

更に、実体画像を観察して施術を行う場合と比較して遥かに密度の高い内部構造情報を把握した上で不過視領域に対する手術を安全かつ正確に行うことが可能となる。

従来は、固定式位置センサーと据え置き型のモニターを使用して施術する場合、術者は視線を患者（実体）ではなくモニター方向に向けて不自然な作業を強いられ、視野方向を変更しようとする場合は、患者（実体）を移動させるか、あるいはセンサー位置を移動する必要があったが、本発明によれば、術者は裸眼視野方向に視覚認識する患者（実体）に直接的な感覚を用いて施術する事が可能となり、術者の視線変更、患者の体位の変化に対しても装置を装着していない状態と同様に、実体空間上に於ける視覚的三次元相対位置関係を保つので、極めて自然な感覚で手術を行う事が可能となる。

その他、この解剖学的構成要素に従って分類した三次元コンピュータグラフィクスの視覚的認知性を向上させる方法として第四の発明は、第一、第二及び第三の発明の三次元デジタル拡大鏡のモニターに表示される撮像画像と三次元コンピュータグラフィクス画像のどちらか一方あるいは両方の画像の色相、彩度、明度、シェーディング、ライティング方向の少なくとも一つの要素に付いて透過マピング、陰線消去ワイヤーフレーム表示、それらの点滅表示などの画像処理による変更を加え撮像画像に対する合成画像の視覚的識別認知性を向上させたモノである。これによって３次元デジタル眼鏡によって視覚的に三次元認識している実態空間の中で３次元コンピューターグラフィックス画像が被写体の内部構造を示す状況であっても、より鮮明に浮きあがらせ視覚的に認識することが可能となる。更に、第三の発明のように解剖学的構成要素毎に構成された各レイヤーを画像処理することによって視覚的識別認知性を向上させることが可能となる。撮像画像に対する視覚的識別認知性の向上のみならず、解剖学的な構成要素を三次元的に一挙に視覚的認識することが可能となるので、病巣摘出手術の場合を例に挙げれば、大血管と神経束を同時に三次元的視覚認識しながら安全に病巣にアプローチすることが可能となるばかりか、三次元認識によってより最短距離で直線的アプローチが可能となるので外科的侵襲撃を最小限に収めることが可能となる。

拡張現実感の三要素は、実時間相互作用、自己投射性、および三次元の空間性であるが、前述の様に三次元デジタル拡大鏡を頭部に装着固定して手技を実施する場合、仮想三次元ボリュームモデルコンピュータグラフィクスは術者と実体の相対的三次元位置変化に追従してリアルタイムトラッキングを行うので、実体と仮想画像間にタイムラグない高い実時間相互作用を生み出す。さらに、左右の視差角と同一アングルに設置したステレオ配置撮像装置なお画像情報を平行法あるいは交差法で左右眼前方に設置した画像表示装置に表示する三次元デジタル拡大鏡は、作業空間の三次元認識を可能とすることによって三次元の空間性を確保し、三次元認識する作業空間上の施術対象物体あるいは生体の画像上にレンダリングおよびトラッキングする仮想コンピュータグラフィクスも三次元ボリュームモデルで構成されているので、術者は三次元デジタル拡大鏡の視野を全て立体的に認識可能である。術者は三次元デジタル拡大鏡の装着を意識する事無く、裸眼で手技を行う場合と同様に目の前の施術対象物体あるいは生体に手を伸ばし触れる事が可能であり、仮想三次元ボリュームモデルコンピュータグラフィクスが存在する術野空間に入れた自らの手を三次元デジタル拡大鏡の視野内の実体画像として自己投射する事が可能である。

三次元デジタル拡大鏡に左右画像表示装置で立体視するには、右眼で右の画像を、左眼で左の画像を見る平行法と、左眼で右の画像を、右眼で左の画像を見る、つまり視線が画像の前で交差するように見る交差法がある。交差法には画像のサイズを平行法より大きくできる利点があり、生物学的に立体視が不得意とされる女性に取って交差法は平行法と比較して習得しやすい事は周知であり本発明に於いても使用状況に応じて左右画像の表示方法および各仮想コンピュータグラフィクスの左右モニター表示方法が変更される事は言うまでもないが、第五の発明の様に三次元デジタル拡大鏡のステレオ配置撮像装置を利用して左右撮像情報に対する二点計測によって獲得した撮像範囲内の複数の実体の三次元形状のサーフェースポリゴンモデル２中から、施術対象物体あるいは生体のサーフェースポリゴンモデル１と三次元的相似形状のサーフェースポリゴンモデルを形状パターン認識によって判別検出し、平行法表示する三次元デジタル拡大鏡の利き目側のモニターに内部構造構成要素テクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスをオーバーレイ表示すると供にトラッキングさせる三次元デジタル拡大鏡拡張現実手術支援システムである。

このシステムでは、左右視差角による実体画像の立体視をする三次元デジタル拡大鏡の片側モニターのみに仮想三次元ボリュームモデルコンピュータグラフィクスをオーバーレイヤー表示することにより、三次元デジタル拡大鏡で立体視する術野実体上に不可視領域である内部構造を、仮想三次元ボリュームモデルコンピュータグラフィクスの内部構造構成要素画像で立体的に認識することが可能となる。この際に視野全体に占める施術対象物体あるいは生体の仮想三次元ボリュームモデルコンピュータグラフィクスの割合が比較的大きくなる場合に於いては、背景画像となる術野画像は片側利き目側の撮像装置画像を両眼のモニターに表示するか、あるいは三次元デジタル拡大鏡の左右モニターに生体の仮想三次元ボリュームモデルコンピュータグラフィクスのみ表示しても良い。特に拡大倍率が大きい場合に於いては、撮像装置の実態倍率をもって生体のサーフェースポリゴンモデル１と三次元的相似形状のサーフェースポリゴンモデルの形状パターン認識判別し、三次元デジタル拡大鏡表示画像の全てを生体のサーフェースポリゴンモデル１に三次元的にマッピングした、仮想三次元ボリュームモデルコンピュータグラフィクスで表現する事も可能である。表示画像の品質は仮想三次元ボリュームモデルコンピュータグラフィクスに依存する事になるので、実態を高拡大した場合のハードウエア性能に依存する画像品質の低下を考慮する必要が無く、実施する処置内容に要求される解剖学的な要素のみ仮想三次元ボリュームモデルコンピュータグラフィクスにデフォルメして再現表示する事が可能となるので術者にシンプルでありながら高品質の視覚情報を提供することが可能となる。この際三次元的な視覚的表示をした高品質の仮想三次元ボリュームモデルコンピュータグラフィクスを利用すれば三次元デジタル拡大鏡左右画像表示部に単一画像を表示することによって術者前方の実態の状況を三次元仮想画像で認識させることが可能となる。同様に単眼の撮像装置の三次元デジタル拡大鏡の利き目側の撮像装置の術野画像情報を同側の画像表示装置に表示し、逆の目側のモニターに奥行きのある三次元コンピュータグラフィクス画像を表示することによって実体画像を三次元画像のように拡張認識することも可能となる。この場合、撮像装置の位置は口腔内のように頬口唇などによる障壁で比較的視野が制約を受ける部位を除きこむような状況に於いては、人間は習慣的に利き目を主に直線的位置に置いて対象を捉えようとするので、利き目側モニター前方に撮像装置が設置されていることが望ましい。

第一の発明のサーフェースポリゴンモデルの形状パターン認識による判別検出に加えて、第六の発明は三次元デジタル拡大鏡の光学式あるいはデジタル方式の拡大率に従って、三次元デジタル拡大鏡のステレオ配置撮像装置の画像情報中の対象実体の視野方向から重なる事の無い任意の位置に設定した４点のマーカーをステレオカメラで二点計測することによって、撮像装置と実体の距離から実体三次元形状のサーフェースポリゴンモデルの実測値の測定を行い、この実測値に従って立体計測サーフェースデータ認識パターンの縮尺および三次元的位置を補正変更する物である。このように検出元データである施術対象物体あるいは生体のサーフェースポリゴンモデルの縮尺に適合するように患者解剖学的CG及び対象物（手術器具CG）の表示位置、方向、大きさを補正する事によって、対象物体あるいは生体画像の判別検出およびマッピング精度を向上させることが可能となり、加えてリアルタイムトラッキングのタイムラグを減少させる事が可能となる。

また、第二の発明を実施する際にも第六の発明のマーカーを利用することによって安定的なマッピング基点を得ることが可能である。

この第一及び第二の発明を使用する場合、第七の発明の様に、三次元デジタル拡大鏡モニター表示範囲外に存在する対象物あるいは患者解剖学的特定部位の三次元コンピュータグラフィクスボリュームモデルを表示装置上に視覚的に存在方向を表示することによって不可視領域にある目標対象物を容易に認識する事が可能となる。この視覚的なサインは矢印あるいは画面辺縁の点滅表示などの手法を用いる。また、特にデジタル処理による高拡大で使用する場合は、三次元デジタル拡大鏡表示蔵置画面上には拡大率に従って対象物あるいは生体の一部分がモニター上に表示される事になる。この様な場合、三次元デジタル拡大鏡モニター表示範囲外の対象物あるいは患者解剖学的特定部位の三次元コンピュータグラフィクスボリュームモデルが存在する方向を、前記画像表示装置の辺縁を点滅するか、矢印で方向指示を表示する、あるいは分画表示画面に縮小全体表示した対象物あるいは生体の裸眼視野範囲と同等の全体画像中に表示部位の画角部位を枠で囲んで表示することによって、常時施術中に視野部位と目標部位の位置関係を認識させトラッキング作動中の対象物体あるいは生体の三次元コンピュータグラフィクス画像の施術目標部位の検出を支援する。

第八の発明は、大鏡視野内の個別に稼働する任意のCGボリュームモデルを特定の施術対象CGボリュームモデルに三次元的相対位置で固定して、機能時の施術位置、方向、角度の視覚的な位置的評価に利用するために、請求項１及び請求項２に記載のシステムを利用して三次元デジタル拡大鏡モニター上の個別に稼働する患者実体にレジストレーションレイアウトしてマッチムーブする各解剖学的CGボリュームモデル中の任意のCGボリュームモデルを運動させ、その任意のCGボリュームモデルを運動軌跡上の任意の位置で実体とのトラッキングを解除した上で特定CGボリュームモデルに三次元的相対的位置で固定し、前記患者実体とマッチムーブする特定CGボリュームモデルと一体化して連動稼働する機能を備える三次元デジタル拡大鏡拡張現実手術支援システムである。一般的にスペースの限られた口腔内手術に於いて特に歯科インプラントを植立する場合、開口状態でなければハンドピースのコントラアングルにドリルを挿入して埋入窩を形成することは困難である。この際に、咬合状態の下顎のCGボリュームモデルを施術対象である上顎CGボリュームモデルに固定連動することによって、手術時に器具を挿入するプペースを確保するために開口した状態であっても仮想下顎CGボリュームモデルによって対合歯の咬合状態が視覚的に確認する事が可能となるので、対合関係を三次元的視覚認識して適切なサージカルガイドを得る事が可能となる。このシステムを使用して実際に施術対象に手術器具で切開、切削、削除あるいはドリリングなどの操作によって形態的な変化あるいは変形を加えた場合、仮想三次元ボリュームモデルコンピュータグラフィクスには何ら反映される事は無い。この仮想三次元ボリュームモデルコンピュータグラフィクスは術前の状態との比較検討には有用な資料となり得るが、術中あるいは術直後の状況を仮想三次元ボリュームモデルコンピュータグラフィクス上に再現することによって施術対象を全て仮想三次元ボリュームモデルコンピュータグラフィクスに置き換えることも可能となる。この様な視覚的表現を可能とするために、第九の発明に於いては、予め施術対象物体あるいは生体に追従してマッチムーブする内部構造構成要素テクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスと同様に前記手術器具にレジストレーションレイアウトして手術器具コンピュータグラフィクスボリュームモデルをマッチムーブさせている。これら二つの三次元ボリュームモデルをコンピューター上でブール演算を用いて、前記患者実体にレジストレーションレイアウトしてマッチムーブする患者解剖学的コンピュータグラフィクスボリュームモデルから手術器具コンピュータグラフィクスボリュームモデルに対して切り取り演算を行う事によって、手術器具操作によって実体に切削などで物理的な切り込みなどを行った場合の実体におこる変化と同様の視覚的な変化を、三次元デジタル拡大鏡表示装置上に表示される患者解剖学的コンピュータグラフィクスボリュームモデル上に表現する事が可能となる。しかもインプラント埋入窩を骨にドリリングして形成する場合の様に、この患者解剖学的コンピュータグラフィクスボリュームモデルに画像情報は実体不可視領域を表現するものであるので、肉眼では認識する事が不可能である施術対象内部の手術器具到達深度あるいは到達角度などを患者解剖学的コンピュータグラフィクスボリュームモデル画像上で認識し、実体に加えられた変化と同様の視覚的な形状変化として患者解剖学的コンピュータグラフィクスボリュームボクセルボリュームモデル上に表現する事が可能となる。

各解剖学的構成要素の三次元ボリュームモデルコンピュータグラフィクスは、外側の解剖学的構成要素を透明化すると共に複数の構成を表現するために着色などの手段を講じることによって内部構造を明視化するが、何層にも及ぶ複雑なコンピュータグラフィクス構成を識別することは混乱を招く危険性がある。この様な問題を回避するために、第十の発明は、第一及び第二の発明に記載のシステムを利用して施術する場合に、三次元デジタル拡大鏡と患者の距離が三次元デジタル拡大鏡モニター上の患者実体にレジストレーションレイアウトしてマッチムーブする患者解剖学的コンピュータグラフィクスボリュームモデルに対して、三次元デジタル拡大鏡あるいは領域指示具に固定した任意のサーフェースモデル領域（ワイヤーフレーム、半透明着色表示or透明）でブール演算を用いて、予め設定した断面表示範囲を一つの単位として患者解剖学的コンピュータグラフィクスボクセルボリュームモデル断面を表示するか、任意に設定した三次元デジタル拡大鏡と患者実体の距離に従って切り取られる範囲が変化する前記患者解剖学的コンピュータグラフィクスボクセルボリュームモデル断面をリアルタイム表示することによって、三次元ボリュームモデルコンピュータグラフィクスの各解剖学的構成要素を透明化する事なく、複雑な構成内部構造を明視化するが、何層にも及ぶ複雑なコンピュータグラフィクスの構成を、装着者あるいは指示具と対象実体の距離に応じた位置で解剖学的コンピュータグラフィクスボクセルボリュームモデル断面として識別することが可能となる。

第十一の発明は、第九の発明の三次元デジタル拡大鏡装着した術者の手術器具を用いて実体に対して施術するのと同一の状況が表示される手術器具CGボリュームモデル及び手術器具によって実体に引き起こされる形態的変化と同様の状態を、不可視領域も含んで表示する仮想三次元ボリュームモデルコンピュータグラフィクス、あるいは第十の発明に記載の三次元デジタル拡大鏡あるいは領域指示具に固定した任意のサーフェースモデル領域の形状に削去された断面を持つ患者解剖学的コンピュータグラフィクスボクセルボリュームモデルを、各仮想三次元ボリュームモデルコンピュータグラフィクスの相対的位置を保った状態でパーソナルコンピュータにデータ転送し、前記パーソナルコンピュータモニターあるいは三次元デジタル拡大鏡モニターに表示された各相対的位置関係を保った仮想三次元ボリュームモデルコンピュータグラフィクスを、チルト、パン、ズーム、回転の６軸方向に回転移動自在に表示することによって、実体空間の状況を術者視線と異なる方向から観察する三次元デジタル拡大鏡拡張現実手術支援システムである。これにより三次元的な状況評価を異なった視野方向から行う事が可能となるので、本来ならば患者の体位を全面的に変更しなくては観察する事が不可能である床方向からの視野も観察可能となる。つまり術者は視線と体位を移動することなく、対象を裏側から実体と同様の形状を持つ仮想三次元ボリュームモデルコンピュータグラフィクスとして認識する事が可能となり、施術介助者が同様のヘッドマウントディスプレイを装着すれば術者の視野を共有する事が可能であると同時に、仮想三次元ボリュームモデルコンピュータグラフィクスを三次元的に回転して自在に全方向からの視野を獲得することができる。仮想三次元ボリュームモデルコンピュータグラフィクスとサーフェースモデル領域の形状に削去された断面および手術器具CGボリュームモデルがトラッキングする相対的位置関係は術者が装着する三次元デジタル拡大鏡システムのトラッキンングおよびレンダリング画像情報を介助者のヘッドマウントディスプレイが装着されたパーソナルコンピュータ画像処理で三次元的に回転させて同期表示する物であるためにリアルタイムで第三者のモニターあるいはヘッドマウントディスプレイに表示する事が可能となる。この多方向からの仮想三次元ボリュームモデルコンピュータグラフィクス表示は、前述の転送先パーソナルコンピュータモニター上、ヘッドマウントディスプレイあるいは術者三次元デジタル拡大鏡の一方の画像表示装置、または同画像表示装置にウインドウを設けて分画表示しても良い。

さらに、第十二の発明では、前述の施術介助者のヘッドマウントディスプレイが装着されたパーソナルコンピュータ画像処理によって同期表示する術者の視野、あるいは仮想三次元ボリュームモデルコンピュータグラフィクスを三次元的に回転させて獲得する仮想三次元ボリュームモデルコンピュータグラフィクスのトラッキングおよびレンダリング画像情報をモニター上で確認しながら任意のサーフェースモデル領域（ワイヤーフレーム、半透明着色表示or透明）を６軸方向にコントロール可能なインターフェースで仮想空間上を自在に移動させて重畳部分を同パーソナルコンピュータ画像処理によってブール演算法で削去することによって前記仮想三次元ボリュームモデルコンピュータグラフィクスの断面を表示することが可能となる。この介助者によってコントロールされる任意の仮想三次元ボリュームモデルコンピュータグラフィクスの断面表示を、同時に術者三次元デジタル拡大鏡画像表示装置上の仮想三次元ボリュームモデルに反映する事によって第三者が視覚的な指導画像を表示し術者視野立体画像中に注目すべき解剖学的な構成要素を表す内部構造断面を示す事が可能となるので、臨場感のある視覚指示を行うことが可能となる。

前述の様な各解剖学的な構成要素を保持した仮想三次元ボリュームモデルコンピュータグラフィクスの中で、特に歯牙の様に歯冠部と歯根部が連続した一個の剛体でありながらその一部（歯根）を顎骨中有に埋設する組織の場合、第一及び第二の発明を利用すれば顎骨内での歯根の状態を非観血的にしかも三次元的に認識する事が可能となるので、歯根の干渉による歯根吸収、歯牙移動速度の遅延などを回避して効率的な歯牙移動のためのワイヤーベンディングに役立つ。さらに、第十三の発明の様に、予め断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築するサーフェースポリゴンモデル１を顎骨、顎顔面、および個々の歯牙（歯冠、歯根）を、それぞれ個別パーツデータとして保存し、そのパーツ要素ごとに、三次元デジタル拡大鏡で撮像する歯牙（歯冠）および口腔、顎顔面をステレオ法立体計測したサーフェースポリゴンモデル２中の、個別パーツのサーフェースポリゴンモデル１と三次元的に相似形状サーフェースポリゴンモデルをそれぞれ形状パターン認識によって個別に判別検出して個別パーツのサーフェースポリゴンモデル２を重畳の上、前記ポリゴンモデル１にテクスチャーマッピングし、それぞれ歯牙（歯冠、歯根）、顎骨の仮想三次元ボリュームモデルコンピュータグラフィクスをトラッキングする物である。個々の歯牙の計時的な変化を三次元デジタル拡大鏡画像表示装仮想三次元ボリュームモデルコンピュータグラフィクスデータとして記録保存することによって、従前の診療時の歯牙の仮想三次元ボリュームモデルコンピュータグラフィクスの記録保存データを表示することによって計時的な歯牙の移動状態をタイムマシンの様に三次元的に認識する事が可能となるので治療効率の評価と、治療計画の再構築に有用な手立てを提供する事が可能となる。これらの仮想三次元ボリュームモデルコンピュータグラフィクスの記録保存は、全ての形態変化を及ぼす治療行為に対して術後評価の有用な手段となりえる。この術前記録の参照による治療評価以外に第十四の発明の様に施術対象物体あるいは生体の二次元スライスデータから構築する仮想三次元ボリュームモデルコンピュータグラフィクスボクセルモデルを治療目標(V.T.O.)の形態にコンピュターサージェリー（再構築）し、実体画像上にマッピング表示することによって治療目標を視覚的に確認する事ができる。この応用例としては、下顎前突の整形外科治療を行う場合、予め骨整形後の下顎骨格の仮想三次元ボリュームモデルコンピュータグラフィクスボクセルモデルをコンピュータサージェリーで制作し、手術対象である下顎骨にマッピング表示しておけば、左右顎関節によって離断後に位置決めが不安定になりやすい咬合をV.T.Oで視覚的に確認することによって容易に再現する事が可能となり、矯正治療に於いては、
第十の発明に記載の各々歯牙の三次元ボリュームモデルコンピュータグラフィクスを再構成した治療目標アイディアルアーチ歯列画像を、顎顔面と撮像装置の三次元的相対的位置変化に追従して三次元デジタル拡大鏡モニターに表示される口腔内に表示すれば、治療目標(V.T.O.)に向けて的確で効率的な治療ステップを構築可能となる。

第十五の発明は、施術対象物体あるいは生体の二次元スライスデータから構築する仮想三次元ボリュームモデルコンピュータグラフィクスボクセルモデルに寸法ゲージのテクスチャーをマッピングしたものである。解剖学的構成要素表面に直接寸法ゲージが等高線の様に表示されているもので三次元的形状の視覚的認識を助け、第十の発明および第十二の発明で形成された断面表示部寸法ゲージを表示すれば正確な施術を支援することが可能となる。また、透明化した仮想三次元ボリュームモデルコンピュータグラフィクスのボクセルを方眼キューブテクスチャーで表示することによって、三次元的により寸法精度の高い施術を施す事が可能となる。この様な寸法ゲージは生体や施術対象にのみ与える物ではなく、歯科インプラント手術の場合などでは、施術器具の切削ドリルに同心円的、あるいは球形、角形の破門状に広がる寸法ゲージをマッピングすることによって、施術中に隣接歯牙や解剖学的ランドマークからの距離を把握する事が可能となる。また、施術対象となる物体あるいは生体と器具に、予め設計した内部構造不可視領域に対する器具の三次元的アプローチ方向を示す無限遠の直線あるいは図形の三次元コンピュータグラフィクスサージカルガイドをオーバーレイすることによって、物体あるいは生体に対する器具のアプローチ方向を容易に確認し骨切削などの手術を行うことが可能となる。

第十六の発明は、第一及び第二の発明に記載の三次元デジタル拡大鏡モニター上の患者実体に複数の別個に稼動可能な患者解剖学的CGボリュームモデルをレジストレーションレイアウトして、マッチムーブする不可視領域の状況を患者解剖学的CGボリュームモデルの動きをモニター上で確認しながらマニピュレーションする場合、任意の固定基準点に対する運動軌跡をモニター表示するとともに記録保存再生機能を備える三次元デジタル拡大鏡拡張現実手術支援システムである。このシステムを利用して、下顎骨にレジストレーションレイアウトしてマッチムーブする下顎骨CGボリュームモデルの左右間接頭に仮想の蝶幡軸の直線で結びマニピュレーションによって開閉運動を実施することによって、これまでは電気的筋収縮運動や経験値に頼って求められていた下顎頭の回転中心が視覚的にモニター上で確認して正確に求めることが可能となる。この中心位からスタートする左右下顎頭の下顎運動をモニターで確認し正確な顆路角の軌跡をグラフィカルにモニター表示することによって、下学運動を三次元データとして記録再現することが可能となる。この再現記録はパーソナルコンピュータ上にバーチャル咬合器構成することになり、このバーチャル咬合器を利用して補綴物の設計を行えば従来のキネマチック咬合器とは比較にならない精巧な咬合機能回復が可能となる。

第一及び第二の発明では、実体の画像上に仮想三次元ボリュームモデルコンピュータグラフィクス画像を重畳表示することによって実体の内部構造を視覚的に認識する物であるが、第十七の発明は、第一及び第二の発明の三次元デジタル拡大鏡の画像表示装置に前方視野撮像画像を非表示とし、撮像する施術対象物体あるいは生体（実体）画像にトラッキングする仮想三次元ボリュームモデルコンピュータグラフィクス画像のみ表する物である。第一及び第二の発明で術者が装着する実体と三次元デジタル拡大鏡の三次元的相対位置は仮想三次元ボリュームモデルコンピュータグラフィクス画像への再現は保証されているので、術者は仮想三次元ボリュームモデルコンピュータグラフィクスを実体と同様に三次元デジタル拡大鏡の画像表示装置内での視覚認識と、施術対象物体あるいは生体（実体）に対する直接あるいは手術器具を介しての間接的触覚を利用して、あたかも直接実体の撮像画像を観察しながら施術するかの様に、被写体=実体に対する手術を行うことが可能となる。これは人間が自らの手が届く範囲の作業が主体であり、この人間が裸眼（眼鏡や光学拡大鏡を使用している場合も同様）の視覚で作業をしている場合と同様の頭部姿勢と視野方向であり、従来の据え置きモニターに対面して視線方向と異なった部位に対する不自然な作業体制とは全く異なる自然な感覚を与える物であり、使用者は短時間で臨床応用可能である。特に高拡大の手術に於いては、仮想三次元ボリュームモデルコンピュータグラフィクス画像の解剖学的構成要素をデフォルメして表現する事によって視覚的認識を容易にする。この様に術者の視野を生体（実体）画像にトラッキングする仮想三次元ボリュームモデルコンピュータグラフィクス画像のみで補う場合は、撮像する施術対象物体あるいは生体（実体）画像は術者の視覚に影響を与える事が無いので、発光ダイオードなどで点を発光するスポット発光法による受動的なステレオ法、あるいは対応点を作り出すスリットを通った直線状の光で、対象の断面を取得するように光をスキャンさせ、実体の形状を取得するスリット光投影法や、実体に撮像装置画像内の座標が判断できるようなパターンを投影して、奥行きを求めるパターン光投影法などの能動的なステレオ法を用いる事も可能であり、これによって計測時間の短縮と処理スピードの向上が可能となる。

第十八の発明は、左右撮像装置の実体空間撮像画像の記録に加えて、前記実体空間撮像画像にトラッキングする三次元コンピュータグラフィクス画像を、それぞれモニター表示あるいは非表示に係らず各レイヤー別に動画記録保存する物である。実体空間撮像画像の記録については三次元表示モニターを利用すれば、HMDに限らず三次元記録画像を提供する事が可能となる。加えて三次元コンピュータグラフィクス画像は、録画再生すれば前記実体画像と連動して三次元アニメーション表示される事になるが、この三次元コンピュータグラフィクス画像に加えられた経時的な形状データを保持させて、前記経時的形状変化を保持した三次元コンピュータグラフィクス記録データをモニター上で自在に、チルト、パン、ズーム、回転の６軸方向に回転移動自在に操作して観察することによって、各三次元コンピュターグラフィクス保存データを個別にあるいは選択的組み合わせで表示しモニター上で自在に操作可能であるので、手術の進行状況を術者が観察不可能な視点から評価することが可能である。これにより第十一の発明の手術器具CGボリュームモデル及び手術器具によって実体に引き起こされる形態的変化と同様の変を表現する仮想三次元ボリュームモデルコンピュータグラフィクス記録データを自在に視点変更し検討を加える事が可能となる。データの記録保存は断片的な計時的記録データの蓄積でも同様の効果を表現する事が可能であるので、長期的な治療である矯正治療等の評価に於いても有用であり、骨成長の要素を記録データに反映し評価する場合は、骨格の成長中心の同定診断に有用であるので、成長予測に基づく治療計画の立案に有用な手立てとなる。

本発明は、前述の実体三次元画像目的にしたがってリアルタイムに加工されるコンピュータグラフィクス画像によって手術支援が成立するが、コンピュータグラフィクス画像の表現能力を向上させるためには、シェーディングが重量な用件である。しかるに、第十九の発明は、前記全ての三次元コンピュータグラフィクス画像シーン全体を2次元のデジタル拡大鏡撮像装置の実体画像で覆い、そのフラットな画像を光源として施術対象物体あるいは生体（実体）に重畳する仮想現実である三次元コンピュータグラフィクス画像にライティングすることによって、背景として用いる実体空間上の視野画像と仮想現実である合成三次元コンピュータグラフィクスの内部構造を含む仮想三次元ボリュームモデルコンピュータグラフィクスボクセルモデル画像が非常によく「馴染んだ」解剖学的内部構造として表示されるフォトリアルな合成画面を作り出すことが可能となるのでより高度な拡張現実感を表現する事ができる。

第二十の発明は、左右撮像装置の実体空間撮像画と三次元コンピュータグラフィクス画像フレームを交互に表示する場合は、それぞれの一秒間の表示フレーム数を調整可能とし、実体画像と三次元コンピュータグラフィクス画像の認識率に差異を持たせることによって認識目的とする画像の明視性を向上し、また、オーバーレイ表示する場合は、左右撮像装置の実体空間撮像画あるいは三次元コンピュータグラフィクス画像のそれぞれの表示割合と、左右撮像画あるいは三次元コンピュータグラフィクス画像の一方もしくは両方の三次元デジタル拡大鏡左右モニター表示割合を自在に変更可能とする事によって、両眼視による距離感、被写界深度、立体感などの認識効果を向上させる事が可能となる。逆の目に表示される画像は利き目側に表示する画像と比較して認識程度が低い物となるので、この作用を利用して、左右モニターそれぞれの表示画像の明視状況に差異を生じさせる事によって、個人差のある利き目、逆の目に対応して認識割合を簡便に変化させ目的とする表現画像の認識率を調整する事が可能となるので裸眼視から本装置装着時に即座に三次元デジタル拡大鏡の画面に順応し三次元画像による拡張現実空間を快適に観察する事ができる。

上記手段によれば、以下のような作用が得られる。

本発明の請求項１〜１９に記載の三次元デジタル拡大鏡拡張現実手術支援システムによれば、同一空間内に存在する被写体画像をステレオ法立体計測したサーフェースポリゴンモデル２中から、被写体断層撮影二次元スライスデータサーフェースポリゴンモデルと三次元的に相似形状サーフェースポリゴンモデル１を形状パターン認識によって判別検出の上、前記サーフェースポリゴンモデル１にテクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスをトラッキングすることによって、実際の三次元空間で引き起こされる前記被写体と撮像装置の相対的位置変化に追従して、実際の相対的位置変化と同様の変化の様に撮像装置視野内の被写体である実体と仮想の三次元コンピュータグラフィクス画像が一体化された様に表示されるので、解剖学的な構成要素毎に構成した三次元コンピュータグラフィクス画像の各レイヤーを選択的にあるいは透視画像加工し撮像画像上に表示することによって、人間が目の前の実体を視覚認識しながら直接手触れる触覚によって作業を行う場合と同一の感覚として、実体画像で認識することができない内部構造を明視化した仮想コンピューターグラフィクス画像の視覚を利用して、内部構造を確認しながら経験や感による不確定予測に頼ること無く目前の実体内部不可視部位に対して正確にアプローチすることが可能となる。
また、第二の発明によれば、三次元デジタル拡大鏡の左右撮像装置と画像表示装置を並列に個別構成とすることによって、内部構造構成要素テクスチャーをマッピングした各内部構成要素中の任意の三次元コンピュータグラフィクスを両眼視画像表示装置に左右それぞれ表示する対象実体画像と個々にトラッキングしマッチムーブさせることによって、次元デジタル拡大鏡の左右画像表示装置に表示される実体画像上に二つの異なった被写体内部構造三次元コンピュータグラフィクスを重畳表示することが可能となるので、両眼視差角によって撮像空間実体画像上に溶け込むような臨場感のある透視画像として術者に品質の高い立体認識による拡張現実感を提供することができる。

加えて、前記被写体（患者実体）を手術器具で切開、切削、削除など、体積変化を及ぼす形態的な変化を与えた場合、前記手術器具にレジストレーションレイアウトしてマッチムーブする手術器具CGボリュームモデルが患者解剖学的CGボクセルボリュームモデルに対してブール演算を用いて前記患者実体にレジストレーションレイアウトしてマッチムーブする患者解剖学的CGボリュームモデルを除算し、被写体（患者実体）の形態変化と同様の視覚的な変化を患者解剖学的CGボリュームモデルに実体不可視領域を含み表示することによって、実空間における被写体の状態変化に関するシミュレーションが、被写体に重畳合成表示、追尾する三次元コンピュータグラフィクスの状態と、他の被写体（実体）が前記被写体に影響を与える撮像空間の状態の変化によって引き起こされる間接的な影響が仮想三次元コンピュータグラフィクス上にシミュレーションによって表示される。

さらに、前記仮想コンピューターグラフィクス画像を加工することによって、三次元的な視覚的ガイドマーカーやアニメーションを加える事で、作業効率の向上と高精度の作業を可能とし、これら加工三次元コンピューターグラフィクス画像と前記全てのコンピューターグラフィクス画像レイヤーは個別に録画、記録保存可能であるので、経時的変化の評価、および予知性予測の有用な根拠となり得る。

三次元拡大鏡に表示されるステレオ画像V-1-R,V-1-Lと、その左右画像データD-1-R,D-1-Lを利用してサーフェースポリゴンモデルW-1を構成する状況を示すイメージを示す図二次元スライスデータから合成した頭蓋骨コンピュータグラフィクス、顔面コンピュータグラフィクス、顔面サーフェースポリゴンモデルを構成する状況を示すイメージを示す図三次元デジタル拡大鏡モニター上に二次元断層データから構築したコンピュータグラフィクスを合成表示するシステムの構成を示すフロー図各種設定に従って外層コンピュータグラフィクスを切り取り内層コンピューターグラフィクスが表示された状況を示す図三次元デジタル拡大鏡モニターに表示される実体画像上でインプラント窩を形成する状況と、実体画像上に解剖学的内部構造、器具のコンピュータグラフィクス、および器具の到達深度に従って前記解剖学的構造体のコンピューターグラフィクスに引き起こされる仮想コンピュータグラフィクス画像を合成表示した状態を示す図図５の解剖学的内部構造、器具のコンピュータグラフィクス、および仮想コンピュータグラフィクス画像に加えて、予めコンピュータグラフィクス上で設計したサージカルガイドを実体画像上に合成表示した状態と、前記状況の外層コンピュータグラフィクスを切り取り内層コンピューターグラフィクスが表示された状況を示す図三次元デジタル拡大鏡モニター上に表示される正面および側面の口腔内歯列実体画像が表示された状態と、前記口腔内歯列実体画像に不過視領域である歯根、歯槽骨の二次元断層データから構築したコンピュータグラフィクスを合成表示した状態、および予めコンピュータグラフィクス上で設計したブラケットポジションを実体画像上に合成表示した状態を示す図矯正治療目標に歯列アイディアルアーチホルムを歯列実体画像、あるいは歯列実体画像と三次元視覚的に同一位置に合成表示した歯列コンピュータグラフィクス上に合成表示した状態を示す図実体画像と三次元視覚的に同一位置に合成表示した頭蓋骨、および下顎骨のコンピュータグラフィクス上に任意に下顎骨間接頭に対する相対的位置を移動可能な仮想下顎運動下顎頭回転中心蝶番軸を合成表示した状態を示す図図９に示す方法で獲得したヒンジアキシスを起始点とした下顎運動三軸二次元仮想パントグラフ表示と、下顎切歯の限界運道路を表示する仮想咬合器を示す図

符号の説明

１、実体（顔面、頭蓋）
２、三次元デジタル拡大鏡
３-a、透視ライン
３-b、透視ライン
３-c、透視ライン
３-d、透視ライン
３-e、透視ライン
４、歯牙
４-C、歯牙CG
５-C、歯根CG
６、顔面軟組織CG
７、下顎骨CG
８、頭蓋骨CG
９、歯肉軟組織
９-C、歯肉軟組織CG
１０、皮質骨
１０-C、皮質骨CG
１１、海綿骨
１１-C、海綿骨CG
１２、下顎歯槽神経管
１２-C、下顎歯槽神経管CG
１３、モーター
１４、切削ドリル
１４-B、インプラント窩CG
１４-C、切削ドリルCG
１５-C、サージカルガイドCG
１６、アイディアルアーチ
１６-C、コンピューターグラフィクスアイディアルアーチ
１７-C、コンピューターグラフィクスヒンジアキシス
１８-C、コンピューターグラフィクスヒンジアーク
１９-R、仮想右側パントグラフフラッグ X軸面
１９-L、仮想左側パントグラフフラッグ X軸面
２０-R、仮想右側パントグラフフラッグ Y軸面
２０-L、仮想左側パントグラフフラッグ Y軸面
２１-R、仮想右側パントグラフフラッグ Z軸面
２１-L、仮想左側パントグラフフラッグ Z軸面
２２、切歯部下顎限界運道路
２３、下顎頭中心運動軌跡
２４、仮想ブラケットポジションCG
２５、仮想咬合平面CG
２６、口唇
２７、明視マーカー
C、頭部解剖学的要素のサフェースデータコンピュータグラフィクス
C-１、頭蓋骨コンピュータグラフィクス
C-２、顔面サーフェースポリゴンモデル
C-３、顔面コンピュータグラフィクス
D-１、三次元デジタル拡大鏡撮像画像データ
D-１-R、三次元デジタル拡大鏡右側撮像画像データ
D-１-L、三次元デジタル拡大鏡左側撮像画像データ
D-２、立体計測（CT）ポリゴンサーフェースモデル
V-１、三次元撮像画像
V-１-R、三次元デジタル拡大鏡右側画像
V-１-L、三次元デジタル拡大鏡左側画像
V-２、実体、骨格CG重畳画像
V-３?V-６、ソフトティシュCG、骨格CG重畳画像
V-７?V-９、下顎歯槽実体画像
V-１０?V-１２、歯肉軟組織CG、皮質骨CG、海綿骨CG、下顎歯槽神経管CG、および切削ドリル、インプラント窩CG、切削ドリルCG重畳表示画像
V-１３?V-１５、歯肉軟組織CG、皮質骨CG、海綿骨CG、下顎歯槽神経管CG、および切削ドリル、インプラント窩CG、切削ドリルCG、サージカルガイドCG重畳表示画像
V-１６?V-１８、歯肉軟組織CG、皮質骨CG、海綿骨CG、下顎歯槽神経管CG、切削ドリル、インプラント窩CG、切削ドリルCG、サージカルガイドCG重畳表示画像および透視断面
V-１９、コンピューターグラフィクスアイディアルアーチ、下顎骨格CG重畳画像
W-１、顔面サーフェースポリゴンモデル（三次元デジタル拡大鏡撮像画像データから合成）

以下、本発明の実施の形態について添付図面を参照して説明する。

図１〜図１０は発明実施の要素および実施状況を示す一例であって、図中の枠は、デジタル拡大鏡のモニター画面、モニターの認識イメージあるいはPCモニター画面を表し、デジタル拡大鏡モニターに付いては、左右モニターの構成によって立体的認識を表す物である。また、同一の符号を付した部分は同一物を表わす。

本発明の基本的な構成要素である三次元デジタル拡大鏡の原理は、人間が肉眼を使って網膜に投射する像を脳で認識する際に左右両目の視差角を利用して距離を把握する生体システムをそのまま周到し、立体として認識する状況を左右眼前方に設置した画像表示装置の視覚によって再現する物である。つまり、三次元デジタル拡大鏡の左右瞳孔の前方に設置したステレオ撮像装置は装着者の両眼、言い換えれば、視覚認識の最前部に位置する水晶体の役目をする物であり、この左右別個の画像情報を左右別個の画像表示装置に表示することによって、装着者は裸眼で物体を認識するばあいと同様に立体視する事が可能となる。この様な原理の三次元デジタル拡大鏡を利用して図１に示す様な撮像方向の異なる画像を左右表示装置V-1R,V-1-Lに投射することによって、術者は撮像対象を立体画像として認識する事が可能となる。この両眼の役目をする両眼立体視に用いた左右二次元画像情報D-1-L,D-1-Rを、ステレオ配置した左右撮像装置の変位角度と、固定した2 台のカメラ間の距離での三角測量データで演算処理し立体計測を行うステレオ画像法を用いてサーフェースポリゴンモデルW-1が構成される。このサーフェースポリゴンモデルW-1は実体画像撮像と同様の視点（同一の撮像装置）であるので、一切の補正を加える事無く、撮像対象（実体）と三次元デジタル拡大鏡撮像装置（術者）の三次元的相対位置関係を表現する物であり実体画像との整合性を得るための補正処理を必要としない。これら撮像装置によって撮像される画像の撮像範囲は撮像対象と撮像装置の距離、および撮像装置の拡大率のよって規定されるが、作業に好適な拡大率を設定した場合、ワーキングレングスはエルゴノミクスの観点から術者前方１０センチから４０センチの範囲の作業距離が対象となるので、イニシャライズ時の計測点の設定は想定されるワーキングレングスの最接近位置で行う事になる。仮に口腔内の様に口唇、頬等でイニシャライズ時の測定点画像として設定できない場合は、可視範囲二於ける測定点と、前記測定点の内側つまり口唇や頬の内側に存在する歯列あるいは歯牙の不動点に対しても予めイニシャライズを実行することによって拡大表示時の立体測定精度を向上させる。
また、断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築した各構造構成要素のサーフェースポリゴンモデル１を三次元デジタル拡大鏡の左右それぞれの撮像装置が撮像する両眼立体視に用いた左右それぞれの二次元画像情報D-1-L,D-1-R画像データに直接コンピューター画像認識処理によってマッピングしトラッキングすれば、前記ポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした各内部構成要素中の任意の三次元コンピュータグラフィクスを両眼視画像表示装置に左右それぞれ表示する対象実体画像と個々にマッチムーブさせることが可能となる。図２に示すのは、施術対象に対して予め断層撮影を行った二次元スライスデータを補完構成する事によって構成した施術対象の解剖学的構成要素、骨サフェースデータコンピュータグラフィクスC-１、皮膚サーフェースコンピュータグラフィクスC-２、皮膚上皮サーフェースポリゴンモデルC-３を示す。この皮膚上皮サーフェースポリゴンモデルC-３は、三次元デジタル拡大鏡の画像情報から構成したサーフェースポリゴンモデルW-1のポリゴンの形状構成は整合性があり、また対象実体に対する構成ポリゴン数はその実体の形態的な特徴を表現することが可能である範囲内に於いて最小の構成数である。従ってこのポリゴン構成は、骨サフェースデータコンピュータグラフィクスC-１、皮膚サーフェースコンピュータグラフィクスC-２、のテクスチャーマッピングの構成に使用するポリゴンモデルのポリゴン構成をレデュースして可及的にポリゴン数を減少させた物を使用する事になる。このレデュース処理は、三次元デジタル拡大鏡による立体測定データで構成したサーフェースポリゴンモデルW-1に於いても同様に処理されることによって、前記それぞれのポリゴンモデルは整合性を維持する。これらのデータは、各相対的な位置関係を保ちつつモニター上に自在に表示非表示が可能であると同時に、一括データCあるいは各組み合わせで表示する場合は、それぞれの透明度や色調に対して自在に変更可能であるので各解剖学的構成要素は視覚的に容易に識別認識する事が可能である。

図３に示すのは、三次元デジタル拡大鏡撮像装置データと断層撮影データの画像情報の統合過程の流れを示す物である。三次元デジタル拡大鏡は、左側撮像装置の画像情報を一方の画像用事装置に、右側撮像装置の画像情報を、他方の画像用事装置に表示し、肉眼と同様に実体を立体的認識可能とするので、単独で使用する場合は、その名称が示す様に、この三次元デジタル拡大鏡の左右撮像装置二次元画像情報は、パーソナルコンピューターで左右個別にあるいは同様に透明化、色調変更等の画像処理を行い三次元デジタル拡大鏡に表示装置に個別の画像情報としてリターンすれば拡大鏡として使用することが可能である。これらの三次元デジタル拡大鏡撮像装置のステレオ配置した固定変位角度と固定カメラ間距離の左右撮像装置二次元画像情報は、図１に示す様に、パーソナルコンピューターで立体計測することによってサーフェースポリゴンモデルC-２が構成される。このサーフェースポリゴンモデルC-２は、図３に示したCT二次元断層データから構築したこのサーフェースポリゴンモデルW-1で判別認識されると同時に骨サフェースデータコンピュータグラフィクスC-１、皮膚サーフェースコンピュータグラフィクスC-２画像が選択的にあるいは総合的に画像追尾する。従って、術者は三次元デジタル拡大鏡を装着した際に視野三次元空間上の立体視する実体画像V-1と三次元的同一位置にオーバーレイ表示されると共に、実体画像V-1を画像追尾する骨サフェースデータコンピュータグラフィクスC-１、皮膚サーフェースコンピュータグラフィクスC-２などの断層撮影データから構築した各解剖学的形状を表すコンピュータグラフィクスを認識する事が可能となる。これら三次元デジタル拡大鏡に表示される実体画像V-1と実体１の各解剖学的構成要素を表現する骨サフェースデータコンピュータグラフィクスC-１、皮膚サーフェースコンピュータグラフィクスC-２は、各レイヤーの透明度を変更することによって、実体１の不過視領域を実体画像V-1上に表現する事が可能となり、実体画像V-1を排除して表示画像を全てコンピュータグラフィクスの組み合わせのみで表現し、視覚的に裸眼視覚認識する場合と同様の位置に手に取る様に三次元認識するコンピュータグラフィクスと、実体１に対する触覚を利用して不過視領域に対する手術を実施する事が可能となる。

また、図４V-4の様に不透明の前記皮膚サーフェースコンピュータグラフィクスC-２を透視ライン３-aでカットすることによってレイヤーを下層配置した内部構造である歯牙CG４-Cを口唇を閉じた状態で明視することができる。この様なCGの表現は、予め撮像実空間上の被写体画像に三次元コンピュータグラフィクス画像断面形状を固定配置加工したCGを表示するのではなく、撮像装置の視線方向を軸とする任意設定した透明立体形状（本図示例においては円筒形）が視線方向と連動して透視ライン３-aで皮膚サーフェースコンピュータグラフィクスC-２をカットするので視線を変更すると透視範囲も３-bに移動して同部がブール演算によって除算され内部レイヤーの骨サフェースデータコンピュータグラフィクスC-１が透視される。また、前記透明立体形状（本例では球形の設定）を三次元デジタル拡大鏡撮像装置と三次元空間上の相対的位置関係で固定範囲に設定すれば、V-4、３-aの歯列CG４が透視できる状態から、三次元デジタル拡大鏡を装着した状態で術者が顔を実体接近させると透視範囲が拡大されてV-5、３-cの様に歯列CG４および下顎骨CG７の範囲まで透視される。この透明立体形状を更に無限大に拡大した透視ライン３-dとすれば、V-6に示す様に皮膚サーフェースコンピュータグラフィクスC-２の三次元拡大鏡撮像装置側全体を透視する事が可能となる。これら全ての透視処理は各レイヤー毎に設定可能であるのでレイヤー断層の透視は本図示例の様に皮膚サーフェースコンピュータグラフィクスの透視だけではなく各レイヤーに対して自在に行う事が可能である。

前述のレイヤー階層を自在に透視する技術を用いれば図４に示す様に、歯科インプラント手術を無切開で安全に実施する事も可能となる。歯科インプラント窩形成時に考慮すべき問題は、術後にインプラントネック周囲に順調な骨形態を保つために施術部位の骨量と形状の確認をする事、および下歯槽神経を回避して歯冠歯根比１対１以上の深さのインプラント埋入窩を獲得する事である。このため従来は施術部位の粘膜骨膜弁を切開剥離して歯槽骨を露出させて骨の状態を確認し、インプラント窩形成に際しては予めパノラマレントゲン、あるいはCT断層撮影の縮尺計測で下歯槽神経までの距離を測定し、レントゲン画像の記憶を頼りにブラインドドリリングを行っていた。仮に無切開でインプラント窩形成を実施した場合、図５のV-7からV-8,の様に切削ドリル１４で歯肉軟組織９に切り込んだ瞬間にドリルの方向およびドリルの先端位置は不過視領域に飲み込まれる。さらにV-9の切削後も形成されたインプラント窩実体は確認する事が出来ない。ところが、V-10に示す様に仮想コンピューターグラフィクス表示される、歯肉軟組織CG９-C、内に確認する皮質骨CG１０-Cで皮質骨の状態を把握しながら切削ドリル１４のドリリング位置を決定しV-11に示す様に海綿骨CG１１-Cを切削してインプラント窩を形成することができる。この際に下顎歯槽神経管CG１２-Cも視覚的に確認可能であるので神経損傷の危険を起こす事無く安全にしかも可及的に深い位置までインプラント埋入窩を形成する事が可能である。さらに歯肉軟組織CG９-C、皮質骨CG１０-C、海綿骨CG１１-C、を切削ドリルCG１４-Cでブール演算によって除算することによってV-１２の様に形成後のインプラント窩CG１４-Bを保持し三次元視覚的に確認する事ができる。

この手術は、図６V-13に示す様にドリリング深度と方向をサージカルガイドCG１５-C、を表示し、ドリルの先端を歯肉軟組織CG９-C上のサージカルガイドCG１５-Cに置き、V-14の様にターゲット方向にサージカルガイド先端までドリリングを行い、顎骨の解剖学的形状、骨密度、さらに終末補綴処置を考慮して術前設計したインプラント植立位置に正確にインプラント窩を形成する。必要に応じてインプラント窩形成後は、インプラント窩CG１４-BとサージカルガイドCG１５-Cを表示することによって術後の評価を行う。この際に、三次元CG表示される下顎透視画像を、V-16、V-17に示す透視ライン３-aでカットしサージカルガイドCG１５-Cに対する切削ドリルCG１４-Cをカット断面方向から確認してV-18の様に奥行きを確認したドリリングを行う。これによってサージカルガイドCG１５-Cと透視ライン３-aの二方向からのドリル方向および深度を術者が視線を変更する事無く確認しながら手術を行う事が可能である。

同様に、口腔内歯牙を三次元デジタル拡大鏡で撮像し、実体画像を観察すると図７のV-O-1、V-O-2に示す様に認識される。この解剖学的不動点である個々の歯牙実体画像に対して歯牙CG４-C、歯根CG５-C、歯肉軟組織CG９-C、コンピュータグラフィクスレイヤーと、透明化した口唇２６レイヤーと共に重畳表示するとV-O-3、V-O-4に示す様に不過視領域である歯根の状態が目前の患者の顔面上に三次元的に視覚認識できる。口腔外科領域に於いて埋伏歯の抜歯の際には三次元的に歯牙歯根の位置と方向を確認して安全確実な手術に役立つ。また、矯正治療に於いて、V-O-5、V-O-6、に示す様に歯根方向と歯牙植立方向を考慮した仮想ブラケットポジションCG２４を歯牙CG４-C上に表示することによって歯根方向にマッチしたブラケットポジショニングが可能となる。矯正治療中には現在の撮像画像上に記録保存した治療経過の歯牙CG４-Cをオーバーレイ表示することによって歯牙の移動状況を経時的に比較検討する事ができる。この比較検討は個々の歯牙に限らず歯列全体として咬合平面の評価にも応用可能である。図８に示す様に矯正治療の治療目標設計段階で決定したコンピューターグラフィクスアイディアルアーチ１６-Cに対する各歯牙の状態をV-19の様に三次元デジタル拡大鏡に表示される歯列実体画像上、あるいは選択的に歯列歯牙CG４-Cと下顎骨CG７上に表示することによって現在の歯列の評価がこうであり、記録保存した治療経過の歯牙CG４-Cをオーバーレイ表示することによって治療ステップの再評価を実施し効率的な治療を可能とする。

この様な不過視領域を明視化する本発明は外科治療あるいは歯科矯正治療に限らず補綴咬合治療にも有用である。従来、下顎運動の起始点であるヒンジアキシスを求めるためには、パントグラフを用いて下顎をマニュピレーションし、左右コンダイル軸の動きを左右のフラッグに描記針で描記し変位が相殺された位置を回転中心として設定するという複雑な調整を強いられていた。しかし、本発明では、図９に示す様に実体画像と三次元視覚的に同一位置に重畳合成表示した頭蓋骨CG８、および下顎骨CG７の解剖学的コンダイル中心を結んだ暫定コンピューターグラフィクスヒンジアキシス１７-Cを合成表示し、実体に対して開閉運動をマニピュレーションするとコンピューターグラフィクスヒンジアーク１８-Cが回転するので、前記コンピューターグラフィクスヒンジアーク１８-Cの回転変位量が自動計算されて、コンピューターグラフィクスヒンジアキシス１７-Cが修正表示される。

図１０は、このようにして求められたリアルコンピューターグラフィクスヒンジアキシス１７-Cを起始点とした下顎運動を記録した仮想パントグラフである。

従来のパントグラフではフラッグの位置は、顔面の外側に位置するために描記される下顎運動はコンダイルの中心部の運動軌跡ではないが、本発明に於いてはリアルヒンジアキシスを起始点とした下顎運動を三軸二次元表示面で表示するので正確に左右コンダイルの下顎頭中心運動軌跡２３を三軸方向から評価できる。この運動軌跡はコンダイル以外にも歯牙CG４-C等にマーキングを行って下顎限界運動を誘導すれば、切歯部下顎限界運道路２２が表示される。この各運動軌跡記録は、限界運動以外に咀嚼運動、嚥下、スピーチ等の際の生理的な下顎運動も記録するので、特に歯列をこすらせた側方運動および前方運動と更に下顎頭中心運動軌跡２３データを利用してコンピュター上に仮想咬合器を構築する。この仮想咬合器は、生体の運動を完全に表現しているので、この咬合器上に上下歯列CGを表示し、コンピュター上の仮想咬合器で三次元CADを使用して各種生理的運動にマッチした補綴物の設計を行い、チュウイングサイクル、嚥下運動等を再現し補綴物の機能解剖学的形状を再評価する事で完璧な補綴治療を行う事が可能となる。

また、このような非観血的な施術場面、取り分け顎運動のレコード、診断あるいは矯正治療においてで本システムを利用する場合は、不動点である歯牙、あるいは骨面を直接撮影する範囲が限定されることになるが、このような場合図９の明視マーカー２７を再現性のある装着手段を以て上下歯牙に固定した状態で断層撮影を行いポリゴンモデルデータとして、実体画像のレンダリングマーカーとして利用すればより精度の高いゴンピュターグラフィクスのマッチムーブ機能を得ることが可能である。この明視マーカー２７は、口唇を閉じた状態でも上下歯牙に取り付けることが可能であるため、口腔周囲筋の運動を妨げることなく生理的な運動時の顎運動を記録することが可能となる。

尚、本発明の三次元デジタル拡大鏡手術支援システムの画像合成レイヤー要素の構成は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々要素に分解あるいは合体等の変更を加え得ることは勿論である。

本発明の三次元デジタル拡大鏡手術支援システムは被写体に装着したセンシングマーカーと撮像装置に装着した三次元位置センサーを用いて両者の相対的位置変異をリアルタイム位置計測し、被写体と撮像装置の三次元的相対的位置変化に従って三次元デジタル拡大鏡の利き目側のモニターに表示される撮像空間中の特定の被写体画像に相対的に固定配置した三次元コンピュータグラフィクス画像の表示方向と表示拡大率あるいは表示位置を変更し、実際の三次元空間で引き起こされる前記被写体と撮像装置の相対的位置変化に追従させることによって撮像装置視野内の被写体である実体と仮想の三次元コンピュータグラフィクス画像が一体となり、撮像装置視野内において被写体と撮像装置の空間的位置変化に係らす被写体と三次元コンピュータグラフィクス画像が一体化された様に表示し、前記、撮像装置と被写体、三次元コンピュータグラフィクス画像の三次元状態変化の形で表現し、三次元コンピュータグラフィクス画像を実際の相対的位置変化と同様の変化の様に撮像画像上に三次元表示する統合現実感を表現するシステムである。
このシステムによって、三次元デジタル拡大鏡モニターに表示される撮像画像空間上で三次元コンピュータグラフィクス画像は特定被写体に相対的固定配置されているので、実空間における被写体の三次元的位置移動に三次元的に連動し、撮像装置側の三次元デジタル拡大鏡が移動した場合は、被写体と同じにその位置に留まり、撮像装置の視野方向の変化による被写体投影方向と同一視野方向の三次元コンピュータグラフィクス画像を提供することになるので、あたかも透視眼鏡の様に目前の実体の内部を視覚的に認識し、その三次元として認識する撮像画像中の被写体と、三次元のコンピュータグラフィクス画像を確認しながら、全ての視野情報を三次元的に認識することによって、経験や感に頼ること無く目前の実体内部不可視部位に対して正確にアプローチすることが可能となる。

同様に、同一空間内に存在する被写体が複数である場合、複数の被写体画像にそれぞれ三次元コンピュータグラフィクス画像を相対的に固定配置し、対象被写体が一塊の個体であっても変形する被写体である場合、応力あるいは自律変形する各部位単位に対応して三次元コンピュータグラフィクス画像を相対的に固定配置し、それぞれの被写体に、あるいは応力あるいは自律変形する各部位単位に装着したセンシングマーカーを撮像装置に装着した三次元位置センサーを用いて各被写体と撮像装置の相対的位置変異をリアルタイム位置計測し、被写体と撮像装置の三次元的相対的位置変化に従って装着者の利き目側のモニターに表示される撮像空間中の各被写体画像に相対的に固定配置したそれぞれの三次元コンピュータグラフィクス画像の表示方向と表示拡大率あるいは表示位置を変更し、実際の三次元空間で引き起こされる前記被写体と撮像装置の相対的位置変化に追従させることによって撮像装置視野内の被写体である実体と仮想の三次元コンピュータグラフィクス画像が一体となり、撮像装置視野内において被写体と撮像装置の空間的位置変化に係らす被写体と三次元コンピュータグラフィクス画像が一体化された様に表示し、前記、撮像装置と被写体、三次元コンピュータグラフィクス画像の三次元状態変化の形で表現し、撮像装置視野内の被写体である複数の実体あるいは変形する実体と複数あるいは形状を変化させる仮想の三次元コンピュータグラフィクス画像が一体となり、撮像装置視野内において被写体と撮像装置の空間的位置変化に係らす被写体と三次元コンピュータグラフィクス画像が一体化された様に表示し、各被写体の関連性に関してもそれぞれの変形あるいは変異が互いに影響を及ぼす場合も、実空間における被写体の状態変化に関するシミュレーションが三次元コンピュータグラフィクスの状態を各素材の変形として忠実に再現され、撮像空間の状態の変化によって引き起こされる三次元コンピュータグラフィクスに対する間接的な影響のシミュレーション表現が含まれることを特長とするマルチ合成画像位置補完追尾システムである。

このシステムによって、三次元デジタル拡大鏡モニターに表示される撮像画像空間上でそれぞれの被写体に相対的固定配置されている三次元コンピュータグラフィクス画像は、実空間における各被写体の三次元的位置移動に三次元的に連動し、あたかも透視眼鏡の様に目前の実体の内部を視覚的に認識し、その三次元として認識する撮像画像中の各被写体と各被写体に貼り付けられた各三次元のコンピュータグラフィクス画像を確認しながら、全ての視野情報を三次元認識することが可能となるので、一例をあげれば完全骨折などの症例において、骨折部位の接合状況を撮像空間上で透視することにより視覚的に確認しながら不可視領域でありながら経験や感に頼ること無く正確に整復することが可能となる。また、特に歯科補綴分野では、仮想咬合器を使用して設計した補綴物CADデータを基にCADによって補綴物を制作すれば、従来の間接法の様に寸法精度低下させる要因となる印象採得、副模型作製、ワックスアップ、鋳造、などの製造工程を省く事が可能となり極めて精度が高く生態適合製の高い補綴物を製作することが可能となる。

本発明の各種機能は医療分野のみならず一般工業界、特に組み立て作業などの工程のマニュアルとして有用であり、特に視野方向と異なる不可視方向からの視野と内部状況を獲得する事が可能となるので、不過視領域に対して効率的な作業を行う事が可能となる。

Claims

術者が肉眼あるいは光学拡大鏡で対象を視覚的に認識する場合と同様の視野状況を再現する様に、
術者両眼の視線上に配置した一対の両眼視画像表示装置と、
その画像表示装置背面の両眼瞳孔中央部に相当する位置から、視野方向に向けて取り付けたステレオ配置撮像装置と、
を備える三次元デジタル拡大鏡であって、
左右の前記撮像装置で撮像した撮像画像を利用してステレオ法立体計測法を用いて獲得した前記三次元デジタル拡大鏡の前方視野撮像画像上のサーフェースポリゴンモデル２と、予め断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築した各構造構成要素のサーフェースポリゴンモデル１と、を利用して、
前記三次元デジタル拡大鏡の前方視野撮像画像上のサーフェースポリゴンモデル２中の部位のうち、予め断層撮影法によって得たサーフェースポリゴンモデル１のうちの、三次元的に相似する形状の部位を形状パターン認識によって判別検出の上、前記サーフェースポリゴンモデル２に前記サーフェースポリゴンモデル１を、前方視野撮像画像上のサーフェースポリゴンモデル２と、予め断層撮影法によって得たサーフェースポリゴンモデル１の三次元的に互いに相似する部位同士が重なり合うようにして、重畳し、
前記サーフェースポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスをトラッキングすることによって、
術者三次元デジタル拡大鏡視野内に存在する施術対象となる物体あるいは生体画像の一部あるいは全体を三次元ボリュームモデルコンピュータグラフィクスでオーバーレイし、
三次元デジタル拡大鏡に表示される物体の内部構造不可視領域を、仮想三次元ボリュームモデルコンピュータグラフィクスの内部構造構成要素画像で表現すると共に、撮像空間における撮像装置と物体の相対的三次元位置変化に追従して仮想三次元コンピュータグラフィクス画像がリアルタイムに表示レイアウトを変更し追尾し、実空間における被写体の状態変化に関するシミュレーションが、被写体に重畳表示した三次元コンピュータグラフィクスの状態と、撮像空間の状態の変化によって引き起こされる三次元コンピュータグラフィクスに対する間接的な影響がシミュレーションによって表示されるようになっている
三次元デジタル拡大鏡拡張現実手術支援システム。
予め断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築した各構造構成要素のサーフェースポリゴンモデル１を構成する輪郭あるいは特徴的なポイントあるいはラインを三次元デジタル拡大鏡の左右それぞれの撮像装置が撮像する画像データにマッピングしトラッキングすることによって、
前記サーフェースポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした各内部構成要素中の任意の三次元コンピュータグラフィクスが両眼視画像表示装置に左右それぞれ表示する対象実体画像と個々にマッチムーブさせ、実空間における被写体の状態変化に関するシミュレーションが、三次元デジタル拡大鏡によって立体視する対象実体上に重畳表示した両眼視差角によって撮像空間上に浮かびあがるような臨場感のある被写体内部構造三次元コンピュータグラフィクスの状態と、撮像空間の状態の変化によって引き起こされる三次元コンピュータグラフィクスに対する間接的な影響がシミュレーションによって表示される、
請求項１に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
撮像空間中の被写体画像に重畳配置する三次元コンピュータグラフィクス画像を、構造上のあるいは解剖学的構成要素で分割し個別の三次元コンピュータグラフィクスとしてレイヤー化し、物体画像を含む前記各レイヤーを個別にあるいは選択的組み合わせで合成表示するマルチ合成画像を物体画像に対して位置補完追尾し、物体画像レイヤーを非表示とする場合は、裸眼視野あるいは光学拡大鏡の視野と同様に三次元デジタル拡大鏡の視線方向に認識する仮想三次元コンピュータグラフィクスに対する視覚と、実体に対する触覚によって実体に直接的に施術を行うことを特徴とする、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
撮像画像と合成画像の視覚的認知性を向上させる為に、撮像画像あるいは三次元コンピュータグラフィクス画像、又はその両方に色相、彩度、明度、シェーディング、ライティング方向の少なくとも一つの要素に付いて画像処理を施すか、あるいは透過マピング、陰線消去ワイヤーフレーム表示、点滅表示などの表示手法でオーバーレイし前記術者三次元デジタル拡大鏡に表示される施術対象となる物体あるいは生体の画像情報に対して差異を設け視覚的認知性を向上させた合成画像位置補完追尾する、
請求項１、請求項２又は請求項３に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
ステレオ配置撮像装置画像をそれぞれ一対の両眼視画像表示装置に表示し、左右視差角による実体画像の立体視をする三次元デジタル拡大鏡モニターの片側画像表示装置に仮想三次元ボリュームモデルコンピュータグラフィクスをオーバーレイヤー表示することによって、立体視する三次元デジタル拡大鏡視野画像上に表示される実体の内部構造不可視領域を、仮想三次元ボリュームモデルコンピュータグラフィクスの内部構造構成要素画像で表現する、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
三次元デジタル拡大鏡の光学式あるいはデジタル方式の拡大率に従って、三次元デジタル拡大鏡のステレオ配置撮像装置の画像情報中の対象実体の任意の位置に設定した四点のマーカーをステレオカメラで二点計測し、撮像装置と実体の距離から実体三次元形状のサーフェースポリゴンモデルの三次元的位置測定と共に立体計測サーフェースデータ認識パターンの縮尺を変更し、対象物体あるいは生体画像を選択的に判別検出の上、三次元ボリュームモデルコンピュータグラフィクスをマッピングするとともにリアルタイムトラッキングし、患者解剖学的CG及び対象物の表示位置、方向、大きさを変更して三次元デジタル拡大鏡モニター左右画像表示装置に合成表示する機能を備える、
請求項１に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを使用する場合、三次元デジタル拡大鏡モニター表示範囲外の対象物あるいは患者解剖学的特定部位の三次元コンピュータグラフィクスボリュームモデルが存在する視野方向をモニターに表示し、特にデジタル高拡大率で使用する場合には、三次元コンピュータグラフィクスボリュームモデルの三次元デジタル拡大鏡モニター表示範囲外の対象物あるいは患者解剖学的の目的部位が存在する方向を、画像表示装置の辺縁を点滅するか、矢印で方向指示を表示する、あるいは分画表示画面に縮小全体表示した全体画像中に表示部位の画角部位を枠で囲んで表示する機能を備える、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを利用して三次元デジタル拡大鏡モニター上の患者実体にレジストレーションレイアウトしてマッチムーブする関節あるいは組織によって連結する個々の患者解剖学的CGボリュームモデルを運動させる場合、個別に患者実体にレジストレーションレイアウトしてマッチムーブする任意のCGボリュームモデルを運動軌跡上の任意の位置で特定CGボリュームモデルに対する相対的位置で固定し、前記患者実体とマッチムーブする特定CGボリュームモデルと一体化して連動稼働する機能を備える、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを利用して施術する場合に、患者実体を手術器具で切開、切削、削除など、形態的な変化を与えた場合、前記手術器具にレジストレーションレイアウトしてマッチムーブする手術器具CGボリュームモデルが患者解剖学的CGボクセルボリュームモデルに対してブール演算を用いて前記患者実体にレジストレーションレイアウトしてマッチムーブする患者解剖学的CGボリュームモデルを切り取り実体と同様の視覚的な変化を患者解剖学的CGボリュームモデルに実体不可視領域を含み表示する機能を備える、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを利用して施術する場合に、三次元デジタル拡大鏡と患者の距離が三次元デジタル拡大鏡モニター上の患者実体にレジストレーションレイアウトしてマッチムーブする患者解剖学的CGボリュームモデルに対して、三次元デジタル拡大鏡あるいは領域指示具に固定した任意のサーフェースモデル領域（ワイヤーフレーム、半透明着色表示or透明）を重ねあわせ、その重畳部分をブール演算法で削去し、予め設定した断面表示範囲を一つの単位として患者解剖学的CGボクセルボリュームモデル断面を表示するか、任意に設定した三次元デジタル拡大鏡と患者実体の距離に従って切り取られる範囲が変化する前記患者解剖学的CGボクセルボリュームモデル断面をリアルタイム表示する機能を備える、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを利用して施術する場合に、三次元デジタル拡大鏡と患者の距離が三次元デジタル拡大鏡モニター上の患者実体にレジストレーションレイアウトしてマッチムーブする患者解剖学的CGボリュームモデルに対して、三次元デジタル拡大鏡あるいは領域指示具に固定した任意のサーフェースモデル領域（ワイヤーフレーム、半透明着色表示or透明）を重ねあわせ、その重畳部分をブール演算法で削去し、予め設定した断面表示範囲を一つの単位として患者解剖学的CGボクセルボリュームモデル断面を表示するか、任意に設定した三次元デジタル拡大鏡と患者実体の距離に従って切り取られる範囲が変化する前記患者解剖学的CGボクセルボリュームモデル断面をリアルタイム表示する機能を備えるものであり、
手術器具CGボリュームモデルと、
その手術器具CGボリュームモデルによって実体と同様の変化を実体不可視領域も含んで表示する仮想三次元ボリュームモデルコンピュータグラフィクスと、
前記患者解剖学的CGボクセルボリュームモデル断面を表示するか、任意に設定した三次元デジタル拡大鏡と患者実体の距離に従って切り取られた断面を表示する仮想三次元ボリュームモデルコンピュータグラフィクスと、
が、前記術者三次元デジタル拡大鏡に表示される各仮想三次元ボリュームモデルコンピュータグラフィクスの相対的位置を保った状態でパーソナルコンピュータにデータ転送し、前記パーソナルコンピュータモニターあるいは三次元デジタル拡大鏡に表示された各相対的位置関係を保った仮想三次元ボリュームモデルコンピュータグラフィクスを、チルト、パン、ズーム、回転の６軸方向に回転移動自在に表示することによって、実体空間の状況を術者視線と異なる方向から観察できるようにする機能を有する、
請求項７記載の三次元デジタル拡大鏡拡張現実手術支援システム。
パーソナルコンピュータに接続した三次元デジタル拡大鏡モニターあるいは一般モニターに表示される術野実体と器具あるいは指示器具の各相対的位置関係を保った仮想三次元ボリュームモデルコンピュータグラフィクスに、同パーソナルコンピュータインターフェースで６軸方向にコントロール可能な任意のサーフェースモデル領域（ワイヤーフレーム表示、半透明着色表示あるいは透明）を重ねあわせ、その重畳部分をブール演算法で削去し、前記仮想三次元ボリュームモデルコンピュータグラフィクスの断面を表示し、同時に術者三次元デジタル拡大鏡画像表示装置上の仮想三次元ボリュームモデルに反映する事によって第三者が視覚的な指導画像を表示し術者視野立体画像中に臨場感のある視覚指示を行うことを特徴とする三次元視覚指示機能を備える、
請求項９に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
予め断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築した歯牙（歯冠、歯根）顎骨および顎顔面、個別パーツのサーフェースポリゴンモデル１をそれぞれ記録保存し、
三次元デジタル拡大鏡で撮像する歯牙（歯冠）および口腔、顎顔面をステレオ法立体計測したサーフェースポリゴンモデル２に、前記三次元デジタル拡大鏡の前方視野撮像画像上のサーフェースポリゴンモデル２中の、個別パーツのサーフェースポリゴンモデル１と三次元的に相似形状サーフェースポリゴンモデルをそれぞれ形状パターン認識によって個別に判別検出の上、前記個別パーツのサーフェースポリゴンモデル２を重畳し、
前記サーフェースポリゴンモデル１にテクスチャーマッピングしたそれぞれ歯牙（歯冠、歯根）、顎骨の仮想三次元ボリュームモデルコンピュータグラフィクスをトラッキングすることによって、
三次元デジタル拡大鏡画像表示装置で口腔内粘膜下不可視領域の顎骨と顎骨内残存歯牙歯根の状態を三次元的に視覚認識可能とするとともに、三次元コンピュータグラフィクスとして歯列状態の記録保存機能を備える、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
三次元サーフェースモデルとテクスチャーをマッピングした各々歯牙の三次元ボリュームモデルコンピュータグラフィクスを再構成した治療目標アイディアルアーチ歯列画像を、顎顔面と撮像装置の三次元的相対的位置変化に追従して三次元デジタル拡大鏡モニターに表示される口腔内に表示し、治療目標(V.T.O.)の表示記録保存機能を備える、
請求項１０に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを利用して、術者三次元デジタル拡大鏡視野内に存在する寸法ゲージのテクスチャーをマッピングした施術対象となる物体あるいは生体または器具に、予め設計した三次元ボリュームモデルコンピュータグラフィクスサージカルガイドをオーバーレイし、
三次元デジタル拡大鏡に表示される実体の内部構造不可視領域に対する器具の三次元的アプローチ方向を、仮想三次元ボリュームモデルコンピュータグラフィクスサージカルガイドで表示すると共に、撮像空間における撮像装置と実体の相対的三次元位置変化に追従して仮想三次元ボリュームモデルコンピュータグラフィクスサージカルガイド画像がリアルタイムに表示レイアウトを変更し追尾する、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
システムを利用して、下顎骨にレジストレーションレイアウトしてマッチムーブする下顎骨CGボリュームモデルの左右関節頭に仮想の蝶幡軸の直線で結び開閉運動をさせ、前記仮想蝶幡軸を運動時の残像の変位が発生しない左右下顎頭横断線をモニター上で確認しながら前記横断線を設定することによって下顎頭の中心を求め、この中心位からスタートする下顎運動をモニターで確認し正確な顆路角の軌跡をグラフィカルにモニター表示し、三次元データとして下顎運動を記録することによってモニター上にバーチャル咬合器構成可能とする機能を備える、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
実体画像ステレオ法立体計測を、発光ダイオードなどで点を発光するスポット発光法による受動的なステレオ法、あるいは対応点を作り出すスリットを通った直線状の光で、対象の断面を取得するように光をスキャンさせ、実体の形状を取得するスリット光投影法や、実体に撮像装置画像内の座標が判断できるようなパターンを投影して、奥行きを求めるパターン光投影法などの能動的なステレオ法で実体画像をステレオ法立体計測してサーフェースポリゴンモデル２を得る場合、ダイオード発光、あるいはパターン投影によって影響を受ける前方視野撮像画像を非表示とし、撮像する施術対象物体あるいは生体（実体）画像にトラッキングする仮想三次元ボリュームモデルコンピュータグラフィクスを三次元コンピュータグラフィクス画像のみ表示し、仮想三次元ボリュームモデルコンピュータグラフィクスの視覚認識と、撮像中の施術対象物体あるいは生体（実体）に対する直接あるいは間接的触覚を利用して被写体=実体に対する施術を行う、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
画像情報は、左右撮像装置の実体空間撮像画像、及び三次元コンピュータグラフィクス画像データを実体撮像中に表示あるいは非表示に係わらず各レイヤー別に記録保存し、前記各レイヤー画像を個別にあるいは選択的組み合わせで出力可能とし、三次元デジタル拡大鏡あるいは一般モニターに表示すると共に、経時的形状変化を保持した三次元コンピュータグラフィクス記録データをモニター上で自在に、チルト、パン、ズーム、回転の６軸方向に回転移動自在に操作することを特徴とする、
請求項１〜６のいずれかに記載の三次元デジタル拡大鏡拡張現実手術支援システム。
全ての三次元コンピュータグラフィクス画像シーン全体を二次元のデジタル拡大鏡撮像装置の実体画像で覆い実体空間上の画像を背景として用い、仮想現実である三次元コンピュータグラフィクス画像およびその内部構造を、前記二次元画像を光源としてライティングすることによって、フォトリアルな合成画像を作り出すことを特徴とする、
請求項１〜１７のいずれかに記載の三次元デジタル拡大鏡拡張現実手術支援システム。
左右撮像装置の実体空間撮像画と三次元コンピュータグラフィクス画像フレームを交互に表示する場合は、それぞれの一秒間の表示フレーム数を調整可能とし、オーバーレイ表示する場合は、左撮像画、右撮像画、あるいは三次元コンピュータグラフィクス画像の三次元デジタル拡大鏡左右モニター表示割合を自在に変更可能とする事によって、両眼視による画像認識を調整可能とした、
請求項１又は請求項２に記載の三次元デジタル拡大鏡拡張現実手術支援システム。
両眼の視線上に配置した一対の両眼視画像表示装置と、その画像表示装置背面の両眼瞳孔中央部に相当する位置から、視野方向に向けて取り付けたステレオ配置撮像装置と、を備える三次元実体デジタル拡大鏡を含んでいる三次元デジタル拡大鏡拡張現実手術支援システムにて実行される方法であって、
三次元デジタル拡大鏡の左右の前記撮像装置で撮像した撮像画像を利用してステレオ法立体計測法を用いて獲得したサーフェースポリゴンモデル２と、予め断層撮影法によって得た施術対象物体あるいは生体の二次元スライスデータから構築した各構造構成要素のサーフェースポリゴンモデル１と、
を利用して、
前記三次元デジタル拡大鏡の前方視野撮像画像上のサーフェースポリゴンモデル２中の部位のうち、予め断層撮影法によって得たサーフェースポリゴンモデル１と三次元的に相似形状サーフェースポリゴンモデルうちの、三次元的に相似する形状の部位をパターン認識によって判別検出の上、前記サーフェースポリゴンモデル２に前記サーフェースポリゴンモデル１を、前方視野撮像画像上のサーフェースポリゴンモデル２と、予め断層撮影法によって得たサーフェースポリゴンモデル１の三次元的に互いに相似する部位同士が重なり合うようにして、重畳し、
前記サーフェースポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした仮想三次元ボリュームモデルコンピュータグラフィクスをトラッキングするか、
または、サーフェースポリゴンモデル１を構成する輪郭あるいは特徴的なポイントあるいはラインを三次元デジタル拡大鏡の左右それぞれの撮像装置が撮像する画像データにマッピングしトラッキングすることによって、
或いは前記サーフェースポリゴンモデル１に内部構造構成要素テクスチャーをマッピングした各内部構成要素中の任意の三次元コンピュータグラフィクスが両眼視画像表示装置に左右それぞれ表示する対象実体画像と個々にマッチムーブさせることによって、
術者三次元デジタル拡大鏡視野内に存在する施術対象となる物体あるいは生体画像の一部あるいは全体を三次元ボリュームモデルコンピュータグラフィクスでオーバーレイし、
三次元デジタル拡大鏡に表示される物体の内部構造不可視領域を、仮想三次元ボリュームモデルコンピュータグラフィクスの内部構造構成要素画像で表現すると共に、撮像空間における撮像装置と物体の相対的三次元位置変化に追従して仮想三次元コンピュータグラフィクス画像がリアルタイムに表示レイアウトを変更し追尾し、実空間における被写体の状態変化に関するシミュレーションが、被写体に重畳表示した三次元コンピュータグラフィクスの状態と、撮像空間の状態の変化によって引き起こされる三次元コンピュータグラフィクスに対する間接的な影響がシミュレーションによって表示する、
方法。