JP4295520B2

JP4295520B2 - 立体鏡視方法および立体鏡視システム

Info

Publication number: JP4295520B2
Application number: JP2003027322A
Authority: JP
Inventors: ハイシュ、ミヒャエル; モンツ、ルードヴィン
Original assignee: カールツァイスアーゲー
Priority date: 2002-02-04
Filing date: 2003-02-04
Publication date: 2009-07-15
Anticipated expiration: 2023-02-04
Also published as: DE10204430A1; DE50310178D1; EP1333306A3; EP1333306B1; US7193773B2; JP2003309861A; EP1333306B8; US20030151810A1; EP1333306A2

Description

【０００１】
【発明の属する技術分野】
本発明は、少なくとも１人のユーザが観察する対象物の少なくとも一組の表示を生成する立体鏡視方法および立体鏡視システムに関する。
【０００２】
本発明の立体鏡視方法および本発明の立体鏡視システムは、対象物の立体表示を提示するものであり、その表示を見たときに、ユーザはその表示の３次元的な印象を得ることができる。そのために、ユーザの左右の眼は、対象物を異なる方向から見た際の対象物の表示を知覚する必要がある。
【０００３】
【従来の技術】
従来の立体鏡視システムの一例として立体顕微鏡が挙げられる。図１は、従来の立体顕微鏡における光路を模式的に示したものである。この図に示した立体顕微鏡９０１は、光軸９０５を備えた対物レンズ９０３と、観察対象物を配置する対象面９０７とを含む。光軸９０５を中心とする立体角領域９０９にあって対象物および対象面９０７が発するビーム束９１１は、それぞれ対物レンズ９０３において無限遠像を形成して平行ビーム束９１３に変換される。２つのズーム系９１５および９１６は、それぞれ独自の光軸９１７および９１８を備えており、平行ビーム束９１３内において互いに近接している。ここでこれらズーム系の光軸９１７および９１８は、対物レンズ９０３の光軸９０５から離れた位置でかつそれに平行であり、光軸間の距離ａだけ互いに離れて配置されている。これら２つのズーム系９１５および９１６は、平行ビーム束９１３の部分ビーム束９１９および９２０をそれぞれ、ユーザの左眼９２１およびユーザの右眼９２２に供給する。このために、部分ビーム束９１９および９２０のそれぞれに、視野レンズ９２３、プリズム系９２５および接眼レンズ９２７が配置されている。この結果、左眼９２１は、光軸９０５に対して視野角α傾斜した表示を知覚し、右眼は光軸９０５に対して視野角−α傾斜した表示を知覚し、これによって、ユーザは、対象物の立体的、３次元的な印象を得ることになる。
【０００４】
図２に、別の従来の顕微鏡９０１の光路の一部を示す。この顕微鏡９０１によれば、２人のユーザが対象物を観察する場合の立体表示が得られる。図１に示した顕微鏡と同様に、対物レンズ９０３によって、立体角領域内にあって対象物から発せられるビーム束９１１から平行ビーム束を生成する。２つのズーム系９１５および９１６が設けられており、その各々によって平行ビーム束のうちの部分ビーム束９１９および９２０が供給され、更にこのズーム系によって、図２には図示されていない視野レンズ９２３、プリズム系および接眼レンズを介して、第１ユーザの両眼に対象物の表示が付与される。
【０００５】
前記平行ビーム束内に、更に２つのミラー９３１が配置され、このミラーによって平行ビーム束から更なる部分ビーム束９３３および９３４が生成され、平行ビーム束９１９および９２０のビーム方向と交差する方向に延びるように反射される。この部分ビーム束９３３および９３４はそれぞれ、ズーム系９３５および９３６を介して、図２には図示されていないプリズム系および接眼レンズを経て、第２ユーザの両眼に入る。
【０００６】
【発明が解決しようとする課題】
この顕微鏡を２人のユーザが使用するためには、対象物を観察する際に、２人のユーザの対象物および顕微鏡との相対的な空間位置を常に固定しておく必要がある。また、２人のユーザの互いの位置も固定される。特に、外科手術中の外科顕微鏡としてこの顕微鏡を使用する際には、このように空間的な配置を固定されることは、手術現場の外科医として手術を行う２人のユーザにとって障害となるという問題点があった。
【０００７】
従って、本発明は、ユーザと観察対象物との相対位置について、少なくとも１人のユーザに対する自由度を提供するような立体鏡視方法および立体鏡視システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、図１および２に示した従来の顕微鏡において、対象物から発せられ、対物レンズによって処理される放射、すなわち、対象物から対物レンズに向かう立体角領域内の放射および対物レンズを通過することによって生じる平行ビーム束のそれぞれには、対象物についての十分な空間情報が含まれており、この情報によって、対象物を複数の方向から観察した際の対象物の立体表示を生成することが可能であるという知見に基づいている。更に、対象物から発せられる放射に含まれる情報を用いる従来の方法、つまり、図１および２に示した従来の顕微鏡のズーム系やミラーによって完全な平行ビーム束からの部分ビーム束をそれぞれ供給するだけでも、ユーザの所在地および対象物に対するユーザの観察方向に関する限定的な効果が得られることがわかった。
【０００９】
従って、本発明は、ユーザ座標系における固定点とのユーザの相対的位置を検出することのできる立体鏡視方法および立体鏡視システムを提案する。自身の座標系におけるユーザの位置に応じて、対象物座標系における観察対象物の一領域との２つの相対位置が決定される。この２箇所の位置のうち第１位置はユーザの左眼に割り当てられ、第２位置はユーザの右眼に割り当てられる。このように決定した位置と観察対象物の該当領域との間に直線を結ぶことによって、対象物の観察方向が定義され、そこからユーザの左右の眼に供給される表示が本発明の方法およびシステムによって生成される。これらの表示は、対応する画像データを受信する立体ディスプレイによって生成される。このディスプレイに供給される画像データは、観察対象物の該当領域から発せられる放射を検出する検出システムによって生成される放射データから次々に生成される。
【００１０】
この画像データは、前述のような決定された２箇所の位置、すなわち、対象物に対するユーザの仮想的な観測方向に応じて放射データから生成される。これに関して、特に、放射データから画像データへの変換をより簡便に行えるように、もしくは放射データを画像データとして直接使用可能なように、これらの２箇所の位置に応じて対象物から発せられる放射の検出作業を予め行っておくことも可能である。
【００１１】
要するに、ユーザが立体表示装置の２つの表示を見た時に、図１もしくは２に示した従来の立体顕微鏡によって対象物を直接的に観察したかのような印象に匹敵するような対象物に対する印象が得られる。ただし、ユーザは、自身の座標系における固定点との相対位置を変更することが可能である。その結果、変更後の位置に対応して変化した対象物の表示がユーザに提示される。従って、対象物に対するユーザの仮想的な観測位置を選択する際、ユーザは従来の立体顕微鏡の固定された光学系によって制限を受けない。
【００１２】
好ましくは、放射データから画像データを生成する際に、まず、対象物を表すデータモデルを生成して、このデータモデルから２つの表示に対する画像データを生成する。ここで、データモデルは、対象物の表面の少なくとも一領域における空間的構成および微細構成を反映もしくは表すような、少なくとも部分的に３次元的なデータモデルである。
【００１３】
この少なくとも部分的に３次元的なデータモデルを生成するには、適切な微細構成検出装置を使用し、この装置によって、対象物から発せられる放射を適切に検出し、得られた放射データに基づいてデータモデルを計算する。これに関して、線状投影法、パターン投影法、写真測量法、および干渉法等の従来の微細構成検出装置およびその方法が使用可能である。
【００１４】
微細構成検出装置が対象物の表面の３次元的な構造を検出するだけで、色や質感等の対象物の表面特性を検出しない場合には、少なくとも評価対象領域の対象物表面の色を場所に応じて検出するような検出装置を準備し、対応する色データを提供するとよい。
【００１５】
このようにして得られた色情報はデータモデルに組み込まれ、データモデルによって対象物表面の色も示すことになる。
【００１６】
なお、写真測量法において、２台のカメラを用いて異なる視野角における対象物の画像を得るようにするとよい。
【００１７】
これに関して、２台のカメラのうちの第１カメラを用いて対象物のより広い領域の画像をより低い空間分解能で記録し、第２カメラを用いてこの広い領域のより小さい部分的領域の画像だけをより高い分解能で記録するとよりよい。この結果、対象物のより小さな領域から該当領域の３次元的な微細構成を表す放射データが得られる。従って、対象物の部分的領域の微細構成を表す３次元的データモデルの生成が可能となる。第１カメラのみによって観察した対象物の領域、つまり第２カメラも用いて観察した部分的領域の外側の領域からは、この対象領域の３次元データモデルを生成するには不十分であって、この領域における対象物の２次元な構造を単に示す放射データが得られる。しかしながら、このような放射データもデータモデルに組み込まれ、第１カメラによって観測した全体的な領域を表す。故に、このようなデータモデルは部分的にのみ３次元的なデータモデルとなる。
【００１８】
第２カメラによっても観察される対象物の部分的領域が、第１カメラによって観察される対象物の領域の中央部分に位置する場合には、ユーザは、視野の中央において分解能が高い対象物の立体表示を知覚することになり、視野の端部では、分解能の低い２次元的な表示のみを知覚することになる。視野の端部において立体表示がなされないことはユーザにとって必ずしも不便に感じられるわけでないが、視野の中央部分の分解能が高いことは有利であると感じられる。
【００１９】
ユーザ座標系における固定点の位置は、観察中の対象物の該当領域内に設定することが可能である。対象物座標系とユーザ座標系との互いの相対位置が適切に配置された場合には、ユーザが立体表示を見たときに、対象物を直接観察しているかの如き距離感および方向で対象物の表示を知覚することになる。
【００２０】
あるいは、ユーザ座標系の固定点の位置を対象物から離れた位置に設定することによって、ユーザとユーザが観察する対象物との空間的な距離を離すことも可能である。
【００２１】
【発明の実施の形態】
以下に、本発明の実施態様について図面を参照しながらより詳細に述べる。
【００２２】
図３に、本発明の立体鏡視システム１を設置した手術室を示す。手術台５の上には、患者７が横たわっており、外科医９によってこの患者に対する顕微手術が行われる。ここで、手術台５は手術室の床３に固定されている。架台１１が手術室の床３に固定されており、この架台１１は、回転アーム１３上において微細構成検出装置１５を回転可能に保持している。回転アーム１３は、微細構成検出装置１５によって患者７の患部１７における表面形状もしくは微細構成が記録可能なように患者７の上部に配置されている。この微細構成検出装置１５は、光学的機能を有する。図３において、患者７の患部１７から発せられ、微細構成検出装置１５によって記録される光学ビームを、鎖線１９を用いて模式的に示している。
【００２３】
微細構成検出装置１５によって、この放射１９より放射データが得られ、このデータはデータ線２１を介してコンピュータ２３に送られる。このようにして得られた放射データを基に、コンピュータ２３は、患者７の患部１７の３次元的構成もしくは微細構成を３次元データモデルとして再構築する。つまり、コンピュータのメモリー領域において、患者７の患部１７の形状もしくは微細構成を表すようなデジタル表示がなされる。このデータモデルは、図３の参照符号２５を用いて図式的に示したｘ、ｙ、ｚ座標系に変換して計算される。
【００２４】
手術室の座標系２５上にこの３次元データモデルを正しく変換するために、微細構成検出装置１５は、ＬＥＤ２７を搭載しており、そこからの放射を架台１１上に互いに間隔を開けて搭載されている３台のカメラ２９を用いて記録する。この３台のカメラに関する手術室の座標系２５における位置は既知である。これらのカメラ２９の画像は、データ線３１を介してコンピュータ２３に送られ、コンピュータは受信した画像を基に手術室の座標系２５における微細構成検出装置１５の位置を計算する。このように、微細構成検出装置１５から得られた放射データは、手術室の座標系２５に正しく組み込まれる。
【００２５】
また、３つのＬＥＤ２７を互いに間隔を置いて配置し、微細構成検出装置１５の位置に加えてその方向も計算することが可能である。この場合、３つのＬＥＤ２７は、その光の色およびまたは点滅周波数を異ならせることによって、互いに判別可能とすることが可能である。
【００２６】
外科医９は、頭上にＬＥＤ３３を携帯しており、上述のようにカメラ２９によって手術室の座標系２５におけるこのＬＥＤの位置が検出され、コンピュータ２３によって評価が行われる。よって、コンピュータ２３は座標系２５における外科医９の正確な位置も検出する。更に、外科医は頭部に頭部搭載ディスプレイ３５を携帯しており、これによって外科医９の両眼に患者７の患部１７の別々の表示が提供される。外科医の両眼に提供される表示に必要な画像データは、患者７の患部１７の３次元データモデルからコンピュータ２３によって生成され、データ線３７を介してディスプレイ３５に提供される。
【００２７】
このために、外科医９が、提示された立体表示を見たときに、図３の鎖線状の視線３９によって記号的に表されるような、患部１７を直接見ているかのような患者７の患部１７の印象を得るように、コンピュータ２３は画像データを生成する。
【００２８】
図４は、微細構成検出装置１５の一部をより詳細に示したものである。この微細構成検出装置１５は、写真測量の原理に基づいて機能する。このために、この装置は、互いに間隔を置いて配置されている２台のカメラ４１および４２を備えており、このカメラ４１および４２のそれぞれによって患者７の体表面４３の患部１７の画像を記録することができる。これら２台のカメラ４１、４２間の距離によって、患部１７の異なる視野角における写真を撮ることができる。この結果、カメラ４１、４２によって撮影された写真は互いに異なるものとなる。これについて、図４における点４５、４６によって例示的に図示する。この２つの点４５、４６は、カメラ４１の画像平面内においてそれぞれ画像４５’、４６’として結像され、互いに距離ｘ₁の距離で隔てられている。この距離ｘ₁はカメラ４２の画像平面内における像点４５”および４６”間の距離ｘ₂よりも大きい。
【００２９】
カメラ４１および４２により供給された画像および放射データをそれぞれ適切に評価して、コンピュータ２３は、患者７の体表面４３の患部１７のデータモデルを得ることができる。
【００３０】
このような目的にかなう写真測量方法および装置の更なる例が、米国特許６，１６５，１８１号に示されており、その開示内容のすべてを参照によってここに引用する。写真測量法の更なる例は、この文献に引用されている文献により得られる。
【００３１】
図５に、患部１７について計算されたデータモデルを、格子線４９の集まりを用いて模式的に示す。交点５１についてのｘ、ｙ、ｚ座標のデータ集合が、格子線４９の各交点５１に対して割り当てられている。このように、３次元データモデルは、手術室の座標系２５における患者７の患部１７の体表面４３の座標を表す複数の３重項によって表される。更に、各交点５１に関して、観測された対象物のそれぞれの場所において、例えば色値等のその他の特性を表すデータ集合を割り当てることが可能である。
【００３２】
上述のようなコンピュータ２３のメモリーを用いたデータモデルの表示は一例であって、空間における３次元構成を表すデータモデルに関して、複数のその他の記憶技術が存在する。
【００３３】
このようなデータ構造の中央領域内に配置された格子線４９の交点の１箇所に、一方ではユーザ座標系５５の起点として機能し、もう一方で対象物７の中央領域の中心として機能する固定点５３が設定されており、外科医９の視線３９がこの中央領域の固定点５３に向けられているかのような印象を受けるように外科医に提示されている。ユーザ座標系５５における外科医９の位置は、対象物座標系２５のｚ軸と平行で対象物座標系２５において水平に延びる任意の直線φ₀から延びる垂直軸ｚ’を中心とする方位角φで表される。
【００３４】
２つの位置Ｐ₁とＰ₂が、対象物座標系２５において、例えば、ｘ、ｙ、ｚ座標系として決定されるが、ユーザ座標系５５においては、異なる方位角φ、φ’と同じ仰角θを有する。この仰角θは、外科医の視線３９が対象物７の患部１７と交差する際の仰角となる。この２つの方位角φ、φ’の平均値が、外科医９の患者７に対する方位角にほぼ対応している。φ、φ’間の差異は、例えば２０°等の所定の値とすることができるが、固定点５３からの外科医９の距離および距離が増すごとに減少する関係を表す関数として選択してもよい。
【００３５】
コンピュータ２３は、位置Ｐ₁から見た３次元データモデルであるかのような表示を外科医９の左眼に提示する一方、位置Ｐ₂から見た３次元データモデルのように右眼に示される表示の画像データが生成されるように、頭部搭載ディプレイ３５による患者７の患部１７の表示を行うための画像データを生成する。
【００３６】
ユーザ座標系５５における外科医９の位置が、方位角に関して角度φ₂、仰角に関して角度θ₂変化した場合には、位置Ｐ₁およびＰ₂は、対象物座標系２５において位置Ｐ₁’およびＰ₂’に移動し、この新しい位置は、以前の位置と比較して、固定点５３を基準にして方位角に関して角度φ₂、仰角に関して角度θ₂だけ
同様に変更されている。
【００３７】
以下に、立体鏡視方法について図６の流れ図を参照しながら再度記述する。
【００３８】
対象物１７は、２台のカメラ４２、４３によって異なる距離から記録される。このカメラ４２、４３によって、コンピュータ２３に対して放射データ５９、６０が供給される。ここで、これらの放射データはカメラが撮影した写真に相当する。コンピュータは、微細高精細構築ソフトウェアモジュール６１を用いて、放射データ５９、６０から観察時の対象物１７の３次元データモデル６３を生成する。
【００３９】
この立体鏡視システムによれば、数名のユーザの左眼６５Ｌおよび右眼６５Ｒに、観察時の対象物の表示を提示することができる。このために、各ユーザの位置、例えば、ユーザ座標系５５において両眼６５Ｌ、６５Ｒ間のユーザの頭部の位置を検出し対応する位置データ６９を生成するための位置検出装置６７が各ユーザ用に割り当てられる。このような位置データは表示生成装置もしくは翻訳エンジン７１に供給され、ここで３次元モデル６３から画像データが生成され、ユーザ（の眼６５）が観察する表示７５に供給される。
【００４０】
翻訳エンジン７１は各ユーザ用の画像データ７３Ｌ、７３Ｒを生成し、これによってユーザの左右の眼６５Ｌ、６５Ｒ用の表示がディスプレイ７５Ｌ、７５Ｒそれぞれに生成される。このように、対象物７の表示がディスプレイ７５Ｌ、７５Ｒを介して各ユーザに提示され、ユーザはユーザの位置から直接対象物７を見ているかのような視点に対応する視点で対象物７を見ているかのようにこれを知覚する。
【００４１】
上述の実施例において、ユーザの位置を検出するユーザ座標系の固定点５３は、観察中の対象物７の領域１７の中央に置かれる。この構成は、ユーザが観察中の対象物７を直接操作するような場合に適切であり、図３に示したような手術室での外科医のケースがこれに当てはまる。
【００４２】
しかしながら、観察中の対象物から離れた位置にユーザを配置することも可能であり、この場合ユーザ座標系の固定点は観察中の対象物の領域とは一致しない。このような適用の例として遠隔外科療法があり、外科医は患者からは離れた位置にいて、遠隔操作ロボットを用いて患者の手術を行う。このような場合、位置データ６９を決定するための固定点は、外科医すなわちユーザの視野内に置き、外科医の前に位置する固定点を例えば観察中の患者の患部に移動できるような固定点を用いて、ユーザ座標系と手術室の座標系との間で画像を定義する。従って、外科医の頭部が移動して患者から外科医が離れた場合にも、異なる距離からの手術中の患者の印象を得ることが可能となる。
【００４３】
また、観察中の対象物から観察者を離すことも可能である。例えば、手術台には数人分のスペースしかなく、その他の人、例えば直接「肉体」を観察するために手術の見学を希望する学生がいる場合、これらの人達は手術室の外にいることができる。ユーザ座標系の固定点やその向きは、これらの人達が頭部搭載ディスプレイを見たときに、観察中の患者の患部が各自の固定点のまさに周囲に置かれているかのような印象を受けるように、各人の空間において決定することが可能である。
【００４４】
以下に、図１〜６に示した本発明の実施例の変形例について説明する。図１〜６の構成要素と対応する構造および機能を備えた構成要素については、同じ参照符号を付与している。ただし、区別のために付加的な文字を補っている。説明のために、上述の記述全てを参照する。
【００４５】
図７に、図４に示した微細構成検出装置と同様の微細検出装置１５ａを模式的に示す。この微細検出装置１５ａも同じように光学的原理に基づいて機能する。カメラ４１ａは、観察中の対象物のより大きい領域１７ａの画像を記録する。もう１台のカメラ４２ａは、カメラ４１ａによって記録される領域１７ａの中央付近に配置されたより小さい部分的領域７９の画像を記録する。カメラ４１ａおよび４２ａは、同じ分解能、即ち、感光性画素の数が同じである。従って、カメラ４１ａが撮影する写真およびカメラ４１ａによって生成される画像データのそれぞれに関して、カメラ４２ａと比べると、観察中の対象物における解像度はより低いものが得られる。この部分的領域７９において、対象物は２つの異なる視点からカメラ４１ａおよび４２ａによって記録されるので、この部分的領域７９では３次元データモデルを再構築することができ、これによってこの部分的領域７９内の対象物の空間的構造が表される。ただし、この部分的領域７９の外側に位置する領域１７ａの部分については３次元的な対象物の構造を再構築することができない。しかしながら、カメラ４１ａの（２次元的な）放射データは、部分的領域７９の外側に位置する領域１７ａの部分に対して、この部分にある対象物の対応する２次元的表示を提供するのに用いられる。
【００４６】
図８に、図４および７に示した微細構成検出装置の変形例を示す。図８に示す微細構成検出装置１５ｂは同様に、立体鏡視システム１ｂの一部を構成するものであり、光軸８３を備えた顕微鏡対物レンズ８１を含む。対象物７ｂは対物レンズ８１の対象面内に配置される。対物レンズ８１は対象物７ｂの無限遠像を形成する。更に、レンズ系８５が光軸８３に沿って対物レンズ８１とは間隔を置いて配置されており、観察中の対象物７ｂの領域１７ｂの画像がレンズ系８５の画像平面内に配置されたＣＣＤチップ８７上に形成される。
【００４７】
対物レンズ８１とレンズ系８５との間の平行光路において、切り替え可能絞り８９が配置されており、この絞りの切り替え状態はコンピュータ２３ｂによって制御されている。ＣＣＤチップ８７によって記録された放射データは、コンピュータ２３ｂに供給される。
【００４８】
この切り替え可能絞り８９は、別々に制御可能な複数の液晶素子を有している。２つの環状の離れた領域９１および９２の外側では、液晶素子は常に光を通さない切り替え状態になっている。環状の領域９１および９２では、実質的に光を透過させる状態と実質的に光を透過させない状態を交互に切り替えている。
【００４９】
図８に示した切り替え状態において、領域９１は光透過状態に切り替えられており、一方、領域９２は光を透過しない状態に切り替えられている。従って、対物レンズ８１から発せられる完全なビーム束のうちの部分ビーム束９３は、切り替え可能絞り８９を通過し、レンズ系８５によってＣＣＤチップ８７上で像を結ぶ。従って、光軸８３に対して角度αの範囲にある観察中の領域１７ｂから発せられる円錐形ビーム束９５の光だけがチップ８７に到達することになる。したがって、チップ８７は、光軸８３に対して角度αで観察したかのような観察中の領域１７ｂの画像を記録する。この画像を表す放射データはコンピュータ２３ｂに送られる。
【００５０】
次に、コンピュータ２３ｂは、絞り８９を制御し、領域９１が光を透過させない状態になるように液晶素子を切り替える一方、領域９２が光を透過させる状態になるように液晶素子を切り替える。従って、部分的ビーム束９４が、光軸８３に対して角度−αの範囲にある対象物７ｂから発せられる円錐状ビーム束９６に対応した絞り８９を通過し、レンズ系８５によって検出素子８７上で像を結ぶ。かくして、この検出素子８７は、このような切り替え状態においては、光軸に対して角度−α内にある対象物７ｂの画像を記録する。この画像もまた、放射データとしてコンピュータ２３ｂに送られる。
【００５１】
したがって、コンピュータ２３ｂは、対象物を異なる方向からの観察したときの対象物の放射データを時系列的に受け取る。すでに述べたような方法で、これらの放射データを基に、コンピュータ２３ｂは、次々に対象物７ｂの３次元データモデルを生成する。
【００５２】
図９に、図８に示した微細構成検出装置の更なる変形例を示す。図８に示した微細構成検出装置に対して、図９に示した装置１５ｃは、対象物７ｃの異なる視点からの画像を時系列的にではなく同時に記録する。このために、カラーＣＣＤチップ８７ｃが光軸８３ｃ上に配置され、観察中の領域１７ｃの像がカラーＣＣＤチップ上で結ばれ、平行なビーム路がレンズ系８５ｃと対物レンズ８１ｃとの間に形成されるように、光軸上にレンズ系８５ｃ、対物レンズ８１ｃ、および観察中の対象物７ｃの領域１７ｃが配置される。対物レンズ８１ｃとレンズ系８５ｃとの間には、絞り８９ｃが置かれ、環状領域９１ｒ、９１ｇ、９１ｂを除く領域は光を透過させない。この光を透過させる領域９１ｒ、９１ｇ、９１ｂは、互いにおよび光軸８３ｃから間隔を空けて、光軸の周縁に分布して配置されている。環状領域９１ｒは赤い光だけを通過させ、領域９１ｇは緑色の光だけを通過させ、領域９１ｂは青い光だけを通過させる。このカラーＣＣＤ８７ｃによって、赤、緑、青の各色の放射データがコンピュータ２３ｃに供給される。このように異なる分光色で記録される対象物１７ｃの画像は、光軸８３ｃに対して異なる視点および角度から記録される。コンピュータ２３ｃは、これらの放射データを適切に評価して次々に対象物７ｃの３次元データモデルを生成する。
【００５３】
図１０に、更なる変形例としての微細構成検出装置１５ｄを模式的に示す。この装置、パターン投影原理に基づいて機能する。この微細構成検出装置の構造は図１に示した従来の顕微鏡の構造と同様であり、光軸８３ｄに沿って配置される対物レンズ８１ｄと、その対象面９５内に配置可能な観察対象物とを含む。２つのズーム系９７および９８が光軸８３ｄから離れた位置に設けられ、それぞれユーザの左眼と右眼に割り当てられる。これによって、ユーザは従来のような方法で顕微鏡を通じて直接対象物を観察することもできる。対象物を従来のように観察することに加えて、絞り１０１を照らす赤外線光源９９が設けられており、対象面９５内で像が結ばれる。このために、集光レンズ１０３がダイクロイックミラー１０５と共に設けられており、赤外線光源９９からの光が絞り１０１を通過し、更に顕微鏡の対物レンズ８１ｄを通過して、絞り１０１の画像が顕微鏡の光路中に供給される。絞り１０１は格子構造を備えており、赤外線によって対象面９５内で結像する。従って、赤外線によって投影されたパターンが対象面９５に形成される。ここで、赤外線が照射した対象面の部分によって赤外線は反射される。なお、対象物に対するパターンの投影は、光軸８３ｄに対して−αの角度で行われる。対象物によって反射された赤外線は光軸８３ｄに対して角度αで対物レンズ８１ｄに戻り、ダイクロイックミラー１０７によって顕微鏡の光路から外れ、赤外線カメラ１０９上で結像する。
【００５４】
カメラ１０９によって得られた画像を評価して、観察中の対象物の３次元構造を再構築し、これを３次元データモデルとして記録することができる。このような３次元データモデルは、立体表示システムを通じて表示を観察するユーザに対してこのような表示を生成する際にも使用することができる。
【００５５】
パターン投影法のその他の例としては、例えば、米国特許４，４９８，７７８号、米国特許４，６２８，４６９号、米国特許５，９９９，８４０号に示されており、これらの文献の開示内容のすべてを参照によってここに引用する。
【００５６】
パターン投影法に基づいて対象物の微細構成を再構築すれば、対象物の３次元構造の再構築が可能となるが、パターン投影法だけでは表面の色に関する情報を得ることはできない。従って、半透明の鏡１１１を顕微鏡の光路内に配置し、可視域における感度の高いカメラ１１３に対して光を供給する。このカメラの放射データを使用して、先のカメラにより得られる放射データを基に生成した対象物の３次元データモデルに色情報を取り入れる。
【００５７】
図１１に位置検出装置２９ｅの変形例を示す。この装置は、例えば、微細構成検出装置に対する手術室内のユーザの相対位置を検出するために、図３に示した微細構成検出装置上に直接搭載することが可能である。
【００５８】
このために、位置検出装置２９ｅの光軸１２３は手術室において垂直な方向にする必要がある。位置検出装置２９ｅは、円錐形ミラー１２５を備えており、水平面１２７に対して角度±γでミラー１２５に当たる放射を光学系１３１に対して反射させて、ＣＣＤチップ１２１上で結像させる。
【００５９】
このシステム２９ｅによれば、手術室で頭部に光源を携帯したユーザの位置が明らかになる。これは、軸１２３を中心とする方位角および平面１２７に対する±γの範囲内のユーザの仰角が、ＣＣＤチップ１２１の画像を評価することによって決定可能だからである。手術室に複数のユーザがいる場合には、各ユーザが光源を携帯することが可能である。それぞれの光の強さは時間ごとに変化しており、光の強さに対する個々の特徴的な時間のパターンを各ユーザ毎に提供できる。従って、カメラ１２１の画像を評価し、記録された時間のパターンを吟味することによって、各ユーザの位置を検出することが可能となる。
【００６０】
図８に示した微細構成検出装置によれば、その対象物の完全な３次元データモデルを再構築する必要性なしに、場所に応じた対象物の立体画像をユーザに提供することが可能である。この図に示したカメラ８７によって、時系列的に画像が記録され、対応する放射データが、対象物７ｂに対する異なる観測方向である−α、αのそれぞれに対応して供給される。このような放射データは、ユーザの左右の眼それぞれに対する表示を生成する画像データとして直接使用可能となる。例えば、領域９１が光を透過させ、領域９２は光を透過させない場合の放射データを右眼用の画像データとして使用し、領域９２が光を透過させ、領域９１は光を透過させない場合の放射データを左眼用の画像データとして使用可能である。これにより、観察者がこれらの表示を見たときには、観察者にとって対象物７ｂの完全な立体表示が得られる。
【００６１】
ユーザの位置が対物レンズの光軸８３を中心とする方位角に関して変化した場合、同様に光軸を中心に方位角に関して光透過性および光非透過性領域９１、９２を交互に移動させることが可能である。これは切り替え可能絞り８９の液晶素子を対応するように制御することによって行える。領域９１、９２の移動については、図８の矢印１４１で示している。
【図面の簡単な説明】
【図１】従来の立体顕微鏡の光路を示す模式図
【図２】従来の立体顕微鏡の光路の一部を示す模式図
【図３】本発明の立体鏡視システムの一実施態様を示す模式図
【図４】図３に示すシステムで用いられる微細構成検出装置を示す図
【図５】図３に示す立体鏡視システムのデータモデルを示す図
【図６】図３に示す立体鏡視システムを参照して立体鏡視方法を説明する流れ図
【図７】図４に示す微細構成検出装置の変形例を示す図
【図８】図４に示す微細構成検出装置の更なる変形例を示す図
【図９】図４に示す微細構成検出装置の更なる変形例を示す図
【図１０】図４に示す微細構成検出装置の更なる変形例を示す図
【図１１】図３に示す微細構成検出装置の変形例を示す図

Claims

少なくとも１人のユーザが対象物を観察した際に、前記対象物に対する少なくとも一組の表示を生成する立体鏡視方法であって、
前記対象物のある領域から発せられる放射を検出し、前記検出された放射に対応する放射データを提供し、
ユーザ座標系において、固定点に対する前記ユーザの第１所在地を検出し、
対象物座標系において、前記対象物の前記領域に対する第１位置および第２位置を求め、
前記放射データを用いて、前記第１位置から見た前記対象物の前記領域を示す第１表示に対する画像データおよび前記第２位置から見た前記対象物の前記領域を示す第２表示に対する画像データを生成し、
前記画像データをディスプレイに供給し、前記ユーザの左眼のための前記第１表示を表示し、前記ユーザの右眼のための前記第２表示を表示し、
前記ユーザの前記固定点に対する第２所在地を検出し、この第２所在地が前記第１所在地と比べて変化した場合には、前記第１位置および前記第２位置を共に、前記対象物座標系における前記対象物の前記領域に対して移動させることを特徴とする立体鏡視方法。
前記対象物座標系における前記対象物の前記領域に対する前記第１位置および前記第２位置の方位角および仰角を求める工程を更に備え、前記第１および前記第２位置の方位角は互いに異なる、請求項１に記載の立体鏡視方法。
前記第２所在地の方位角が前記第１所在地の方位角と比べて第１角度だけ変化した場合に、前記第１位置および前記第２位置を共に方位角に関して第１角度だけ移動させる工程を更に備える、請求項２に記載の立体鏡視方法。
前記第２所在地の仰角が前記第１所在地の仰角と比べて第２角度だけ変化した場合に、前記第１位置および前記第２位置を共に仰角に関して第２角度だけ移動させる工程を更に備える、請求項２および３のいずれかに記載の立体鏡視方法。
複数のユーザの所在地を検出し、各ユーザに対してそれぞれのユーザの検出位置の関数として前記第１および前記第２位置を割り当て、各ユーザ毎に作成された画像データを前記第１位置および前記第２位置のそれぞれの位置からの前記対象物の観察と対応させてそれぞれのユーザに割り当てる、請求項１〜４のいずれかに記載の立体鏡視方法。
前記放射データから前記画像データを生成する際に、
前記放射データから、前記対象物の前記領域の表面の微細構成を示す、前記対象物座標系における少なくとも部分的には３次元的であるデータモデルを生成し、
前記データモデルから前記第１表示および前記第２表示用の前記画像データを生成する、請求項１〜５のいずれかに記載の立体鏡視方法。
前記対象物の前記領域から発せられる放射の検出とは、その表面位置から発せられる放射の色とその色に対応する色データを備えた色放射データとの検出を含み、前記データモデルは前記対象物の表面の色も表すように生成される、請求項６記載の立体鏡視方法。
前記データモデルを生成する際に、パターン投影法および／または写真測量法を応用する、請求項６および７のいずれかに記載の立体鏡視方法。
前記固定点は前記対象物の前記領域内に配置されている、請求項１〜８のいずれかに記載の立体鏡視方法。
少なくとも１人のユーザが対象物を観察した際に、前記対象物に対する少なくとも一組の表示を生成する立体鏡視システムであって、
前記対象物のある領域から発せられる放射を検出し、前記検出された放射に対応する放射データを提供する検出システムと、
ユーザ座標系における固定点に対する前記ユーザの第１所在地を検出する所在地検出装置と、
前記ユーザ座標系における前記ユーザの所在地とは独立した対象物座標系における第１位置および第２位置を求める位置決定装置と、
前記放射データを用いて、前記第１位置から見た前記対象物の前記領域を示す第１表示と前記第２位置から見た前記対象物の前記領域を示す第２表示とに対する画像データを生成する画像データ生成装置と、
前記画像データの関数として、前記ユーザの左眼に対して前記第１表示を表示し、前記ユーザの右眼に対して前記第２表示を表示する表示装置とを備えたことを特徴とする立体鏡視システム。
前記画像データ生成装置は、前記対象物座標系における前記対象物の微細構成を表す少なくとも部分的には３次元的であるデータモデルを生成する微細構成検出装置と、
前記データモデルから前記第１表示および前記第２表示を生成する翻訳エンジンとを備えている、請求項１０に記載の立体鏡視システム。
前記検出装置は、表面箇所から発せられる放射の色を検出する色検出器を備えており、前記検出された色に対応する色データを含む色放射データが提供され、前記微細構成検出装置は、前記対象物の前記表面の色も表すように前記３次元データモデルを生成する、クレーム１１に記載の立体鏡視システム。
前記検出装置が、前記対象物の前記領域に対して放射パターンを投影するための放射投影器と、
前記対象物の前記領域によって反射される前記放射投影器からの放射を検出する検出器とを備えている、クレーム１１および１２のいずれかに記載の立体鏡視システム。
前記検出装置は、少なくとも１つのレンズと前記対象物の前記領域を配置するための対象面とを備えた対物レンズを含み、前記投影されたビームパターンと反射された放射とは前記対物レンズを通過する、請求項１５に記載の立体鏡視システム。
前記検出装置は、それぞれ異なる観察角度における前記対象物の前記領域の少なくとも２つの画像を生成する少なくとも１台のカメラを備えている、請求項１１〜１４に記載の立体鏡視システム。
２台のカメラが設けられており、そのうちの第１カメラは前記対象物の前記領域の画像を形成し、第２カメラは前記領域の一部のみの画像を形成し、前記微細構成検出装置によって生成されるデータモデルは、この部分的な領域のみにおいて３次元的にこの領域の微細構成を表しており、この部分的な領域の外側は２次元的な構成が表されている、請求項１５に記載の立体鏡視システム。
前記少なくとも２つの画像を時系列的に生成するカメラが設けられており、切り替え可能な放射誘導装置が備えられており、これによって、前記対象物の前記領域から異なる方向に発せられた少なくと２本のビーム束が前記カメラに供給される、請求項１５に記載の立体鏡視システム。
異なるスペクトル領域にある少なくとも２つの画像を記録するためにカラーカメラが設けられており、異なる分光透過率特性を有する少なくとも２つのカラーフィルターを備えた放射誘導装置が、前記対象物の該当領域から異なる方向に向かって発せられ、前記カラーフィルターを通過するビーム束を、前記カラーカメラに供給するために設けられている、請求項１５に記載の立体鏡視システム。