JP2023539962A - リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法 - Google Patents

Abstract

開示されているのは、リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法である。リアルタイム画像上に仮想画像を重ね合わせるためのシステムは、リアルタイム画像モジュールおよび仮想画像モジュールを備える。リアルタイム画像モジュールは、所定の倍率で第１の場所および第１の深度に対象物のリアルタイム画像を生成する拡大組立体を備える。仮想画像モジュールは、見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を生成する。右光信号および対応する左光信号は、第２の場所および第２の深度に仮想画像を表示するように見る人により知覚される。第２の深度は、見る人の眼に投影される右光信号と対応する左光信号の間の角度に関係がある。第２の深度は第１の深度とほぼ同じである。【選択図】図１Ａ

Description

本開示は、一般にリアルタイム画像上に仮想画像を重ね合わせるための方法およびシステムに関し、詳細には見る人の眼に多数の右光信号および対応する左光信号をリアルタイム画像上に投影することにより生成される、深度を伴う仮想画像を重ね合わせるための方法およびシステムに関する。

健康診断中、または眼科手術を含む外科手術中に医療従事者を手助けするための多くの可視化補助システムおよび方法が近年開発されてきた。医療手技中、可視化補助システムは、診療記録、写真などの手術パラメータ、磁気共鳴画像法（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ、ＭＲＩ）、Ｘ線写真、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ、ＣＴ）、または光干渉断層法（ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）などのような患者の付加的視覚情報を提供できる。場合によっては、付加的視覚情報は、印がいくつか付いたＣＴ画像など、患者の処理された画像である。可視化補助システムは多くの場合、患者のリアルタイム画像を提供できる他の医療機器と一緒に使用される。
医療従事者は、可視化補助システムにより提供される、リアルタイム画像から分離された付加的情報を受け取ってよい。たとえば、付加的情報は、患者のリアルタイム画像を観察できる外科用顕微鏡からではなく、モニタにより別々に表示される。モニタは通常、２次元画像だけを提供できる。しかしながら、医療処置中、医療従事者は、患者のリアルタイム画像と重なった付加的視覚情報（たとえば、患者のすでに処理された画像）を観察することを望む。それに加えて、従来の可視化補助システムは、付加的視覚情報を２Ｄ画像でしか提供できない。
この結果、患者のリアルタイム画像と重なった付加的視覚情報に関する３次元画像を作り出す能力が、医療産業の主要な関心事になっている。たとえば眼科の検査および手術では、医療従事者は、眼科顕微鏡の接眼レンズを通して見て、その結果、患者の眼のリアルタイム光学画像を見ることにより手術する。しかしながら、外科医は、手技中に顕微鏡を通して患者の眼の処理された網膜画像を同時に観察できず、別個のモニタの方に自分の頭を向けて観察し、次いで顕微鏡に戻らなければならない。したがって、医療従事者が見るリアルタイム光学画像と共に可視化補助システムにより与えられる患者の付加的視覚情報を組み入れる必要が依然として存在する。

国際公開第ＰＣＴ／ＵＳ２０／５９３１７号

本開示の目的は、リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法を提供することである。リアルタイム画像上に仮想画像を重ね合わせるためのシステムは、リアルタイム画像モジュールおよび仮想画像モジュールを備える。リアルタイム画像モジュールは、所定の倍率で第１の場所および第１の深度に対象物のリアルタイム画像を生成する拡大組立体を備える。

仮想画像モジュールは、見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を生成する。右光信号および対応する左光信号は、見る人により知覚されて、第２の場所および第２の深度に仮想画像を表示する。第２の深度は、見る人の眼に投影された右光信号と対応する左光信号の間の角度に関係がある。一実施形態では、第２の深度は第１の深度とほぼ同じである。仮想画像は、リアルタイム画像上に重ね合わされて、見る人に、より多くの情報を提供する。その結果、一実施形態では、仮想画像は対象物の処理された画像である。

リアルタイム画像の倍率は調節可能である。リアルタイム画像が拡大された後、仮想画像は手作業でまたは自動的に拡大されて、仮想画像とリアルタイム画像の間の最初の重ね合わせを維持してよい。重ね合わせのための自動モードが選択されてよい。

リアルタイム画像上に仮想画像を重ね合わせるために、システムは最初に、見る人に関して較正されなければならない。あらゆる見る人の眼は、瞳孔間距離を含む異なる物理的特性を有するので、システムは、見る人の眼の中に投影された右光信号および左光信号を用いて、見る人が第２の場所および第２の深度に表示された仮想画像を知覚することを確実にするために、見る人に関して具体的に較正されなければならない。

リアルタイム画像上に仮想画像を重ね合わせる処理は、（ａ）第１の目印としてリアルタイム画像上の第１の点を選択するステップ、（ｂ）所定の倍率で第１の場所および第１の深度にリアルタイム画像を表示するステップ、ならびに（ｃ）仮想画像上の対応する第１の目印がリアルタイム画像上の第１の目印と重なるように、見る人が第２の場所および第２の深度に仮想画像を知覚するように、見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を投影するステップを含む。一実施形態では、リアルタイム画像上の第１の目印の深度は、仮想画像上の対応する第１の目印の深度とほぼ同じである。より正確な重ね合わせをするために、類似の手法で第２の目印および第３の目印を使用してよい。

本開示の付加的な特徴および利点について以下の記述に示されており、一部は記述から明らかになる、または本開示を実践することによって学ばれてよい。本開示の目的および他の有利な利点は、それらの書面による記述および特許請求の範囲だけではなく添付図面で詳細に指摘される構造および方法により実現および達成される。前述の一般的説明も以下の詳細な説明も代表的なものであり、説明のためであり、特許請求される本発明の説明をさらに提供することが意図されることを理解されたい。

本発明による、システムの実施形態を例示する概略図である。 本発明による、システムの別の実施形態を例示する概略図である。 本発明による、システムの仮想画像モジュール内のコリメータを例示する概略図である。 本発明による、さまざまなモジュールを伴うシステムの実施形態を提示する構造図である。 本発明による、システムの可能な実施形態を例示する概略図である。 本発明による、システムの可能な実施形態を例示する概略図である。 本発明による、対象物とリアルタイム画像と仮想画像との間の関係の実施形態を例示する概略図である。 本発明による、リアルタイム画像上での網膜の仮想画像重ね合わせを例示する写真である。 本発明による、リアルタイム画像上に仮想画像を重ね合わせるための処理の実施形態を例示する流れ図である。 本発明による、リアルタイム画像上に仮想画像を重ね合わせるための処理の別の実施形態を例示する流れ図である。 本発明による、仮想画像モジュールの実施形態を例示する概略図である。 本発明による、仮想両眼画素と右画素および左画素の対応する対との間の関係を例示する概略図である。 本発明による、光信号発生器からビームスプリッタおよび見る人の網膜に至る光路を例示する概略図である。 本発明による、右光信号および左光信号により形成される仮想両眼画素を例示する概略図である。 本発明による、ルック・アップ・テーブルの実施形態を例示するテーブルである。

以下で提示する記述で使用する専門用語は、技術のある種の特有の実施形態の詳細な記述に関連して使用されるとしても、その用語の最も広い合理的な手法で解釈されることが意図される。ある種の用語は以下で強調される場合さえあるが、しかしながら、任意の制限された手法で解釈されることを意図されるどんな専門用語も、この「発明を実施するための形態」の節でそのようなものとして具体的に規定される。

本開示は、リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法に関する。深度を伴う仮想画像は、リアルタイム画像の上に重ね合わされて手術のガイダンス、指示、ナビゲーションなどのような、リアルタイム画像に関連するより多くの情報を見る人に提供してよい。リアルタイム画像は、対象物の変化をリアルタイムで反映する画像である。
リアルタイム画像は、２次元（２Ｄ）画像であっても、３次元（３Ｄ）画像であってもよい。一実施形態では、リアルタイム画像は、対象物から、たとえば顕微鏡または望遠鏡により観察される画像から反射または放出される光により生成される。別の実施形態では、リアルタイム画像は、おそらくはカメラによりリアルタイムの手法で撮られる対象物の画像を、たとえば内視鏡から得られる表示装置上の画像を受信する表示装置により生成される。これに加えて、リアルタイム画像は、現実の画像であっても、仮想画像であってもよい。深度を伴う仮想画像は、見る人の両眼に光信号を投影することにより生成される。仮想画像の深度は、見る人の眼に投影される右光信号と対応する左光信号の間の角度に関係がある。仮想画像は２Ｄ画像であっても、３Ｄ画像であってもよい。仮想画像がリアルタイム画像の上に重ね合わされたとき、仮想画像の一部分はリアルタイム画像と重なる。

リアルタイム画像上に仮想画像を重ね合わせるためのシステムは、リアルタイム画像モジュールおよび仮想画像モジュールを備える。リアルタイム画像モジュールは、所定の倍率で第１の場所および第１の深度に対象物のリアルタイム画像を生成する拡大組立体を備える。倍率は、対象物の物理的サイズではなく見かけのサイズを増大する処理である。この拡張は、対象物の（リアルタイム画像の）見かけのサイズと倍率なしの対象物の観察されたサイズの間の比である「倍率」とも呼ばれる計算値により定量化される。倍率は調節可能であり、０．５、１、および１０などの任意の正値であってよい。倍率が１未満であるとき、サイズ低減と呼ばれ、場合によっては縮小（ｍｉｎｉｆｉｃａｔｉｏｎ）または脱拡大（ｄｅ－ｍａｇｎｉｆｉｃａｔｉｏｎ）と呼ばれることがある。

仮想画像モジュールは、見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を生成する。右光信号および対応する左光信号は、第２の場所および第２の深度に仮想画像を表示するように見る人により知覚される。第２の深度は、見る人の眼に投影された右光信号と対応する左光信号の間の角度に関係がある。一実施形態では、第２の深度は第１の深度とほぼ同じである。

仮想画像は、リアルタイム画像上に重ね合わされて、見る人に、より多くの情報を提供する。たとえば、一実施形態では、仮想画像は対象物の処理された画像である。たとえば、対象物は脳であってよく、リアルタイム画像は、外科用顕微鏡によりリアルタイムに生成された脳画像である。仮想画像は、外科手術前に撮られた脳のＣＴ画像またはＭＲＩ画像であってよく、外科手術で取り除かれる脳腫瘍の場所に印が付けられる。印の付いた仮想画像は、外科手術中に脳のリアルタイム画像の上に重ね合わされて、取り除かれる脳腫瘍の場所を外科医が識別するのを補助する。この状況では、外科手術の場所に関して正確であるために、仮想画像（印の付いたＣＴ画像またはＭＲＩ画像）の第２の深度は、リアルタイム画像、すなわち外科用顕微鏡から得られる実際の脳画像の第１の深度とほぼ同じである。
仮想画像は、診断および処置を補助するためのガイダンスおよび説明のための何らかのテキスト情報、印、およびポインタをさらに含んでよい。それに加えて、画像重ね合わせにより、見る人は、仮想画像により提示された対象物の以前の画像とリアルタイム画像により提示される対象物の現在の状態を比較し、その結果、疾患進行および処置結果を推定できるようになってよい。

リアルタイム画像の倍率は調節可能である。一実施形態では、そのような調節は、ノブを回転させること、対物レンズを変更すること、仮想スイッチを制御すること、または口頭による指示を与えることにより、手作業で達成できる。リアルタイム画像が拡大された後、仮想画像は手作業でまたは自動的に拡大されて、仮想画像とリアルタイム画像の間の最初の重ね合わせを維持してよい。重ね合わせのための自動モードを選択してよい。

リアルタイム画像上に仮想画像を重ね合わせるために、システムは最初に、見る人に関して較正されなければならない。あらゆる見る人の眼は、瞳孔間距離（ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅ、ＩＰＤ）を含む、異なる物理的特性を有するので、システムは、見る人の眼の中に投影された右光信号および左光信号を用いて見る人が第２の場所および第２の深度に表示される仮想画像を知覚することを確実にするために、見る人に関して具体的に較正されなければならない。たとえば、顕微鏡の右接眼レンズと左接眼レンズの間の距離は、見る人の瞳孔間距離に適合するように調節される必要があり、右光信号と対応する左光信号の間の角度は、見る人により、正確に第２の深度に仮想画像が知覚されるように調節される必要がある。

リアルタイム画像上に仮想画像を重ね合わせる処理は、（ａ）第１の目印としてリアルタイム画像の第１の点を選択するステップ、（ｂ）所定の倍率で第１の場所および第１の深度にリアルタイム画像を表示するステップ、ならびに（ｃ）仮想画像上の対応する第１の目印がリアルタイム画像上の第１の目印に重なるように、見る人が第２の場所および第２の深度に仮想画像を知覚するように、見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を投影するステップを含む。上記で論じるように、第２の深度は、見る人の眼に投影された右光信号と対応する左光信号の間の角度に関係がある。一実施形態では、リアルタイム画像上の第１の目印の深度は、仮想画像上の対応する第１の目印の深度とほぼ同じである。より正確な重ね合わせを行うために、類似の手法で第２の目印および第３の目印を使用してよい。

図１Ａおよび図１Ｂに示すように、リアルタイム画像１１５上に仮想画像１６５を置くためのシステム１００は、リアルタイム画像モジュール１１０および仮想画像モジュール１６０を含む。リアルタイム画像モジュール１１０は、見る人の両眼のために脳などの対象物１０５の拡大リアルタイム画像を生成する拡大組立体１２０を含んでよい。拡大組立体１２０は、対物レンズ１１３を含むさまざまなタイプのレンズなど、多数の光学ユニットおよび組立体を含んでよい。別の実施形態では、拡大組立体１２０は、対象物１０５のリアルタイム画像を処理および拡大する電子回路を使用してよい。リアルタイム画像モジュールの倍率は、観察前に決定されてよく、観察中に調節可能であってよい。倍率は１／２、１、３、１０、１００などであってよい。倍率調節は、リアルタイム画像モジュールと通信状態にあるユーザインタフェースを介して遂行されてよい。
リアルタイム画像モジュールは、見る人の両眼用にリアルタイム画像を生成する１組の光学ユニットおよび組立体を、または見る人の右眼および左眼用にリアルタイム画像をそれぞれ生成する別個の２組の光学ユニットおよび組立体を有してよい。リアルタイム画像モジュール１１０は、光の方向を変えるプリズム組立体１３０、光を分裂させるビームスプリッタ１４０、１４５、光を誘導する観察筒１５０、および画像をさらに拡大する接眼レンズ１５２、１５４をさらに含んでよい。さらにまた、リアルタイム画像は、外科用顕微鏡を含む顕微鏡により生成されたリアルタイム画像など、対象物１０５から反射または放出される光から生成されてよい。別の実施形態では、リアルタイム画像は、内視鏡およびその関連する表示装置などの画像取込機器および表示機器により生成されてよい。画像のサイズおよび解像度に応じて、リアルタイム画像は、実際にまたは概念上１２８０×７２０のアレイ内に９２１，６００画素を包含してよい。各画素は、その近接する画素とわずかに異なる場所および深度を有してよい。
リアルタイム画像に関して第１の目印などの代表的画素を選択してよい。第１の目印および第２の目印などの目印は通常、中心点、２つの特有の血管の交差点など、リアルタイム画像内で、見る人により、容易に認識されてよい識別可能な特徴を伴う固有の点である。目印は画素であっても、互いに近接する多数の画素を備えてもよい。一実施形態では、代表的画素の場所および深度は、リアルタイム画像の場所および深度として、すなわち、第１の場所および第１の深度として使用されてよい。

リアルタイム画像モジュール１１０と接続されるように構成された仮想画像モジュール１６０は、右光信号発生器１７０および左光信号発生器１７５を含む。右光信号発生器１７０は、仮想画像に関する多数の右光信号を生成し、リアルタイム画像モジュールの右側部分の近くに位置する可能性が高い。同様に、左光信号発生器１７５は、仮想画像に関する多数の左光信号を生成し、リアルタイム画像モジュールの左側部分の近くに位置する可能性が高い。右光信号は、次いで右ビームスプリッタ１４０により、見る人の一方の眼に向けて向きを変えられる。同様に、左光信号は、次いで左ビームスプリッタ１４５により、見る人の他方の眼に向けて向きを変えられる。向きを変えられた右光信号および向きを変えられた対応する左光信号は、見る人により知覚されて、第２の深度に仮想画像を表示する。
画像のサイズおよび解像度に応じて仮想画像は、実際に１２８０×７２０のアレイ内に９２１，６００の仮想両眼画素を包含してよい。各仮想両眼画素は、その近接する画素とわずかに異なる場所および深度を有してよい。仮想画像に関して、第１の目印などの代表的仮想両眼画素が選択されてよい。一実施形態では、仮想画像に関して代表的仮想両眼画素の場所および深度を、すなわち第２の場所および第２の深度を使用してよい。見る人の眼が代表的仮想両眼画素の、向きを変えられた右光信号および向きを変えられた対応する左光信号を受け取った後、見る人は、そのような向きを変えられた右光信号と向きを変えられた対応する左光信号の間の角度に関係がある第２の深度に代表的仮想両眼画素を知覚する。

リアルタイム画像の光ビームはまた、右ビームスプリッタ１４０および左ビームスプリッタ１４５を通して、見る人の眼に向けて進んでよい。その結果、ある程度まで、右ビームスプリッタ１４０および左ビームスプリッタ１４５は、リアルタイム画像モジュールと仮想画像モジュールの両方により共用される。一実施形態では、リアルタイム画像を他の見る人と共用するために当初リアルタイム画像モジュール内に設置されたビームスプリッタは、仮想画像モジュールから生成された光信号を、見る人の眼に向けて向きを変えるために、適切な角度だけ回転させることができる。

図１Ｂおよび図１Ｃに示すように、仮想画像モジュール１６０は、見る人のために仮想画像の明瞭性を改善するために、右光信号発生器１７０（または利用可能である場合には右コリメータ１８０）と右ビームスプリッタ１４０の間に右焦点調節ユニット１８２を、左光信号発生器１７５（利用可能である場合には右光コリメータ１８５）と左ビームスプリッタ１４５の間に左焦点調節ユニット１８７をさらに含んでよい。右／左焦点調節ユニットは、凸レンズを含むさまざまなタイプのレンズなどの光学ユニットを含んでよい。
焦点調節ユニットとして凸レンズを使用する一実施形態では、光信号発生器とビームスプリッタの間の距離が同じままであると仮定して、光信号発生器と凸レンズの距離を調節することにより光ビームの焦点の場所は変化する。光ビームの焦点の場所が網膜に近いほど、それだけ見る人にとって仮想画像は明瞭になる。見る人の眼の眼軸長は変動することがあるので、それに応じて光ビームの好ましい焦点の場所、およびその結果、光信号発生器と焦点調節ユニットの間の距離は変動する。換言すれば、より長い眼軸長を有する見る人にとって、焦点調節ユニットは、光ビームの焦点の場所が見る人の網膜により近くなるように光信号発生器からより遠く離れている必要がある。コリメータが利用可能であるとき、焦点調節ユニットは、コリメータとビームスプリッタの間に位置決めされる。コリメータを通過した後、光信号発生器からの光ビームは実質的に平行になり、次いで焦点調節ユニットを通過した後に集光する。それに加えて、焦点調節ユニットは光ビームの入射角を変えないので、仮想画像の深度は影響を受けない。

図１Ｃに部分的に示すように、仮想画像モジュール１６０は、多数の光信号の光ビームを狭めるため、たとえば、動く方向を特有の方向にもっと整列するようにするため、または光ビームの空間横断面がより狭くなるようにするために、右コリメータ１８０および左コリメータ１８５をさらに含んでよい。右コリメータ１８０は、右光信号発生器１７０と右ビームスプリッタ１４０の間に位置決めされてよく、左コリメータ１８５は、左光信号発生器１７５と左ビームスプリッタ１４５の間に位置決めされてよい。コリメータは、湾曲した鏡またはレンズであってよい。

これに加えて、仮想画像モジュール１６０は、右光信号発生器１７５および左光信号発生器１７５に関する仮想画像信号を制御する制御モジュール１９０を含んでよい。制御モジュール１９０は、リアルタイム画像の変動に基づきリアルタイム画像の上に仮想画像を重ね合わせるために、仮想画像が自動的に修正されてよいように仮想画像モジュール１６０に通信可能に連結されて、右光信号および対応する左光信号を調節する。
リアルタイム画像の変動は、視野角、倍率、または場所の変動を含む。たとえば、リアルタイム画像の倍率が３倍から１０倍などに調節されたとき、制御モジュール１９０は、画像信号を処理して、仮想画像を同じサイズまで拡大して、少なくとも第１の目印を使用して、仮想画像がリアルタイム画像の上に重ね合わされ続けているようにする。制御モジュール１９０は、１つまたは複数のプロセッサを含むが、複雑な信号処理のために計算用外部サーバ２５０を使用してよい。

仮想画像はメモリモジュール１９５に記憶されてよい。一実施形態では、仮想画像は、関心のある領域にいくつかの目印またはハイライトを伴う、対象物のＸ線画像、超音波画像、ＣＴ画像、およびＭＲＩ画像など、対象物の処理された画像である。仮想画像は、ガイダンスまたは説明用にいくつかのテキスト情報およびポインタをさらに含んでよい。たとえば、仮想画像は、レーザによりふさがれる出血血管上に印を伴う、患者の以前に撮られ処理された網膜画像であってよい。システム１００は、そのような仮想画像を細隙灯顕微鏡から得られる、同じ網膜のリアルタイム画像上に重ね合わせてよい。制御モジュール１９０は、必要なときはいつでも、メモリモジュール１９５に記憶された仮想画像を取り出し、次いで右光信号発生器１７０および左光信号発生器１７５に関する仮想画像を生成してよい。

図２に示すように、リアルタイム画像モジュール１１０および仮想画像モジュール１６０に加えて、システム１００は、リアルタイム画像および仮想画像のいずれかまたは両方を記録する記録モジュール２１０、対象物の場所および深度を測定する対象物測定モジュール２２０、対象物１０５に対して外科手術を物理的に遂行する外科手術モジュール２３０、および見る人がシステム１００のさまざまなモジュールと通信して、システム１００のさまざまな機能を制御するユーザインタフェース２４０をさらに含んでよい。
システム１００のモジュールはすべて、有線または無線の手法を介した互いの電子通信を有してよい。無線の手法は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）、インターネット、電気通信、無線周波数（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ、ＲＦ）などを含んでよい。リアルタイム画像モジュール１１０、仮想画像モジュール１６０、および記録モジュール２１０は、光ビームおよび光信号を介した互いの光通信を有してよい。見る人は、システム１００を通してリアルタイム画像および仮想画像を観察し、次いでユーザインタフェース２４０との物理的相互作用を介してシステム１００を制御してよい。システム１００は、対象物から反射または放出される光ビームを受信する、および対象物の上に光ビームを投影するなど、対象物１０５との光通信を有してよい。システム１００は、対象物に対してレーザ手術を遂行するなど、対象物との物理的相互作用を有してよい。

上記で記述するように、システム１００は、リアルタイム画像および仮想画像のいずれかまたは両方を記録する記録モジュール２１０をさらに含んでよい。一実施形態では、記録モジュール２１０は、リアルタイム画像、すなわち、外科手術中にそれぞれ右ビームスプリッタおよび左ビームススプリッタにより反射された、対象物から得られる光ビームを記録するために、右ビームスプリッタ１４０と左ビームスプリッタ１４５の間に位置決めされてよい。
記録モジュール２１０は、画像を取り込むデジタルカメラまたは電荷結合素子（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）を含んでよい。別の実施形態では、記録モジュール２１０は、リアルタイム画像および仮想画像を形成する両方のビームを含む、接眼レンズを通過するが見る人の眼に到達する前の光ビームを記録するために、接眼レンズに近接して位置決めされてよい。記録モジュール２１０は、制御ユニットに接続されて、仮想画像信号、および関連情報、およびさらに表示するためのパラメータを直接記録してよい。

上記で記述するように、システム１００は、対象物の場所および深度を測定する対象物測定モジュール２２０をさらに含んでよい。システムに接続されるように構成された対象物測定モジュール２２０は、対象物測定モジュール（または見る人）を基準にして対象物の場所および深度を連続的または周期的に測定し、仮想画像を調節するために仮想画像モジュールに関連情報を伝達してよい。そのような情報を受信すると、制御モジュール１９０は、対象物測定モジュールおよび見る人を基準として更新された対象物の場所および深度に基づき仮想画像信号を処理してよい。その結果、仮想画像は、リアルタイム画像の上に重ね合わされたままであってよい。
対象物１０５と対象物測定モジュール２２０（または見る人の眼）の間の距離または相対的場所は、時間を通して変化してよい。ある状況では、眼球のような人体の一部分などの対象物１０５は、外科手術中に動くことがある。別の状況では、システム１００は、外科医などの見る人により装着されてよく、見る人は、外科手術中に自分の頭を動かしてよい。その結果、対象物１０５と見る人の眼の間の相対的な場所および距離は測定されて、リアルタイム画像上への仮想画像重ね合わせを維持するために計算される必要がある。対象物測定モジュール２２０は、ジャイロスコープ、室内／室外全地球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、および対象物１０５のそのような相対的な場所および深度の変動に正確に追従する距離測定構成要素（たとえば、放射体およびセンサ）を含んでよい。

上記で記述するように、システム１００は、対象物１０５に対して外科手術を物理的に遂行する外科手術モジュール２３０をさらに含んでよい。外科手術モジュール２３０は、組織を除去する、もしくは出血血管をふさぐレーザ、および／または組織を切断するメスを含んでよい。外科手術モジュール２３０は、リアルタイム画像に示すように、リアルタイム画像モジュール１１０と連係して、見る人、たとえば外科医により識別された関心のある地点に向けてレーザおよび／またはメスを位置決めしてよい。

上記で記述するように、システム１００は、見る人がシステム１００のさまざまな機能、たとえばリアルタイム画像の拡大、仮想画像の第２の場所および第２の深度、焦点調節ユニット、記録モジュール２１０、対象物測定モジュール２２０などを制御するユーザインタフェース２４０をさらに含んでよい。ユーザインタフェース２４０は音声、手ぶり、指／足の動きにより、およびペダル、キーボード、マウス、ノブ、スイッチ、スタイラス（登録商標）、ボタン、スティック、タッチ画面の形で動作させられてよい。
ユーザインタフェース２４０は、有線または無線の手法を介してシステム１００の（リアルタイム画像モジュール１１０、仮想モジュール１６０、記録モジュール２１０、対象物測定モジュール２２０、および外科手術モジュール２３０を含む）他のモジュールと通信してよい。無線の手法は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）、インターネット、電気通信、無線周波数（ＲＦ）などを含んでよい。見る人は、スティックを制御するなど、ユーザインタフェース２４０を使用して、リアルタイム画像上で関心のある地点にカーソルを動かし、次いでペダルを踏むなど、ユーザインタフェース２４０を使用して組織を除去する、または出血血管をふさぐために、対象物１０５上で関心のある対応する地点に向けてレーザビームを起動してよい。

一実施形態では、システム１００は、ＡＲ検眼鏡およびＡＲ細隙灯顕微鏡などの、外科手術および／または診断のためのＡＲ顕微鏡であってよい。図３Ａは、ユーザインタフェースペダル３２０を含む固定ＡＲ外科用顕微鏡３１０の例を示す。図３Ｂは、携帯型ＡＲ外科用顕微鏡３５０、すなわちリアルタイム画像モジュール３７０および仮想画像モジュール３６０を含む頭部装着可能機器の例を示す。リアルタイム画像モジュール３７０は、仮想画像モジュール３６０に取り付けられるが、仮想画像モジュール３６０と分離可能である。

図４に示すように、対象物１０５、リアルタイム画像モジュール１１０により生成されたリアルタイム画像１１５、および仮想画像モジュール１６０により生成された仮想画像１６５は、異なる場所および深度を有してよい。この実施形態では、仮想画像１６５は、対象物１０５の処理された部分的画像である。仮想画像モジュール１６０は、対象物の関心のある視野または領域に関する仮想画像１６５だけを生成してよい。対象物の画像は、１秒などの非常に短い時間間隔の範囲内に仮想画像を生成するために、たとえば人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）モジュールにより取り込まれ、処理されてよい。

すでに記述したように、解像度に応じて、対象物１０５、リアルタイム画像１１５、および仮想画像１６５は、１２８０×７２０のアレイ内の９２１，６００画素など、多数の画素を概念的にまたは実際に備えてよい。この実施形態では、対象物１０５、リアルタイム画像１１５、および仮想画像１６５の場所および深度は、それぞれそれらの対応する第１の目印の場所および深度により表される。深度は、接眼レンズ１５２と対象物１０５、またはリアルタイム画像１１５、または仮想画像１６５との間の距離に基づき測定される。これに応じて、図４に示すように、対象物１０５は、対象物位置Ｌ（ｏ）および対象物深度Ｄ（ｏ）に位置し、リアルタイム画像１１５、すなわち対象物１０５の拡大された画像は、第１の場所Ｌ（ｒ）および第１の深度Ｄ（ｒ）に位置し、仮想画像１６５は、第２の場所Ｌ（ｖ）および第２の深度Ｄ（ｖ）に位置する。
リアルタイム画像モジュールの光学的特徴に応じて、リアルタイム画像１１５の深度は、見る人の眼により近くなっても、より遠くなってもよい。この実施形態では、リアルタイム画像の深度Ｄ（ｒ）は、対象物の深度Ｄ（ｏ）よりも大きい。しかしながら、他の実施形態では、リアルタイム画像の深度Ｄ（ｒ）は、対象物の深度Ｄ（ｏ）よりも小さくても、ほとんど同じであってもよい。この場合、仮想画像１６５は、仮想画像モジュール１６０によりリアルタイム画像１１５よりも接眼レンズにより近い深度Ｄ（ｖ）に生成される。

Ｌ（ｒ）およびＤ（ｒ）の情報を用いて、図４に示すように、システム１００の仮想画像モジュール１６０は、リアルタイム画像上の第１の目印ＬＭ１（ｒ）と仮想画像上の対応する第１の目印ＬＭ１（ｖ）を重ねることにより、リアルタイム画像上に仮想画像を重ね合わせてよい。より高度の重ね合わせのために、システム１００の仮想画像モジュール１６０はさらに、リアルタイム画像上の第２の目印ＬＭ２（ｒ）と仮想画像上の対応する第２の目印ＬＭ２（ｖ）を重ねてよい。
重ね合わせが、目印の場所に関して、目印を重ねること以上に及ぶ別の実施形態では、仮想画像上の対応する第１の目印の深度は、リアルタイム画像上の第１の目印の深度とほぼ同じであってよい。同様に、仮想画像上の対応する第２の目印の深度は、リアルタイム画像上の第２の目印の深度とほぼ同じであってよい。３Ｄリアルタイム画像上に３Ｄ仮想画像を正確かつ完全に重ね合わせるために、第１の目印および第２の目印に加えて、リアルタイム画像上の第３の目印が選択される。この場合、仮想画像モジュールは、仮想画像上の対応する第３の目印の場所および深度が、リアルタイム画像上の第３の目印の場所および深度とほぼ同じになるようにする。

図５は、３つの画像、すなわち、患者の網膜のリアルタイム画像、網膜の処理された仮想画像、および両方を重ね合わせた画像を例証する。一実施形態では、患者の網膜の血管造影画像は、おそらくは細隙灯顕微鏡により取り込まれ処理される。この場合、仮想画像モジュール１６０は、そのような処理された画像を使用して、重ね合わされた仮想画像を外科手術中に患者の網膜のリアルタイム画像の上に投影して、脈絡膜新生血管膜の縁部の識別および可視化に役立つことがある。ＡＲ／ＭＲ顕微鏡は、さまざまな眼科の障害および疾患の診断および治療を大いに容易にすることがある。

図６に示すように、リアルタイム画像上に仮想画像を重ね合わせる処理は４つのステップを含む。
ステップ６１０で、見る人、専門科、コンピュータ、またはシステム１００により第１の目印としてリアルタイム画像上の第１の点が選択される。たとえば、見る人は、マウスまたはスティックを制御して、接眼レンズから見ることができるカーソルまたはポインタを動かして、リアルタイム画像上で第１の目印を選択する。上記で記述するように、第１の目印、第２の目印、および第３の目印を含む目印は、通常は中心点、２つの特有の血管の交差点など、見る人によりリアルタイム画像内で容易に認識されてよい識別可能な特徴を伴う固有の点である。目印は、専門科により手作業で、またはコンピュータ・プログラムにより自動的に規定されてよい。３つの基本的タイプの目印が、すなわち解剖学的目印、数学的目印、および擬似目印が存在する。解剖学的目印は、生体内の生物学的に意味のある点である。どの解剖学的特徴も、すなわち、ひだ、隆起、管、血管などは、特有の構造または位置を示すのに役立つ組織内に常に存在する。解剖学的目印は、検体配向のために外科病理医により使用されてよい。数学的目印は、何らかの数学的または幾何学的特性により配置された形状内の点、実例では大きな湾曲点、極限点である。コンピュータ・プログラムは、自動パターン認識のために使用される数学的目印を決定してよい。擬似目印は、解剖学的目印または数学的目印の間に位置する構造化された点である。典型的な例は、形状からより多くのサンプル点を得るために、２つの解剖学的目印の間に等間隔に配置された１組の点である。擬似目印は、照合処理が多数の点を必要とするとき、形状照合中に有用である。目印は画素であってよい、または互いに近接する多数の画素を備えてよい。

ステップ６２０で、対象物のリアルタイム画像は、所定の倍率で第１の場所および第１の深度に表示される。上記で記述するように、少なくとも２つのタイプのリアルタイム画像が存在する。第１のタイプのリアルタイム画像は、対象物、たとえば顕微鏡または望遠鏡により観察される画像から反射または放出される光により生成される。この状況では、第１の場所および第１の深度は、リアルタイム画像モジュールの光学的特徴により決定されてよい。見る人は、接眼レンズを通してリアルタイム画像を観察してよい。第２のタイプのリアルタイム画像は、おそらくはカメラによりリアルタイムの手法で撮られる対象物の画像を、たとえば胃内視鏡、大腸内視鏡、または直腸鏡を含む内視鏡から得られる表示装置上の画像を受信する表示装置により生成される。内視鏡は、３Ｄ画像を得る、および３Ｄ画像を生成するために別個に位置決めされた２つの画像取込機器を有してよい。リアルタイム画像は、２次元（２Ｄ）画像であっても、３次元（３Ｄ）画像であってもよい。ステップ６１０およびステップ６２０は交換可能である。

ステップ６３０で、仮想画像モジュールは、特定の見る人に関して較正される。すでに記述したように、瞳孔間距離など、見る人それぞれの何らかの物理的特性は、見る人が同じ右光信号および対応する左光信号で知覚する仮想画像の場所および深度に影響を及ぼすことがある。一実施形態では、制御モジュールは、右光信号発生器１７０および左光信号発生器１７５が適切な場所および角度に光信号を投影して、見る人が正確に第２の場所および第２の深度に仮想画像を知覚するのを確実にするために、見る人のＩＰＤに基づき仮想画像信号を調節してよい。

ステップ６４０で、仮想画像モジュールは、仮想画像上の対応する第１の目印がリアルタイム画像上の第１の目印に重なるように、見る人が第２の場所および第２の深度に仮想画像を認識するように、見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を投影する。換言すれば、仮想画像モジュールは、仮想画像を投影して、リアルタイム画像上に重ね合わせる。
仮想画像上の対応する第１の目印の少なくとも場所（第２の場所）は、リアルタイム画像上の第１の目印の場所（第１の場所）とほぼ同じである。一般に仮想画像は、解像度に応じて多数の仮想両眼画像、たとえば１２８０×７２０のアレイ内の９２１，６００の仮想両眼画素に分割される。見る人の網膜の上に投影される右光信号およびその対応する左光信号ごとに、見る人は、特有の場所および深度に仮想両眼画素を知覚する。深度は、見る人の眼の中に投影された右光信号と対応する左光信号の角度に関係がある。リアルタイム画像上の第１の目印が第１の場所および第１の深度にあるとき、仮想画像上の対応する第１の目印の仮想両眼画素は、見る人により第２の場所および第２の深度に知覚されるように投影される。最初の重ね合わせについては、仮想画像上の対応する第１の目印の場所（第２の場所）は、リアルタイム画像上の第１の目印の場所（第１の場所）とほぼ同じになるように設定されるが、一方では、２つの場所の深度は異なってよい。この重ね合わせは、見る人により手作業で、または人工知能（ＡＩ）アルゴリズムを含む形状認識技術を使用してシステム１００により自動的に達成できる。
重ね合わせをさらに改善するために、第２の深度は、第１の深度とほぼ同じになるように設定される。それに加えて、リアルタイム画像が対象物の実際のサイズから拡大された場合、仮想画像は、重ね合わせのために同じ程度まで拡大される必要がある。さらに、重ね合わせをさらに改善するために、仮想画像の視野角は、リアルタイム画像の視野角に整合する必要がある。光信号発生器により生成される光信号と見る人により知覚される深度の間の関係について以下で詳細に記述する。

ステップ６５０で、リアルタイム画像の場所、倍率、または視野角が変動する場合、仮想画像モジュールは、仮想画像を修正して、仮想画像とリアルタイム画像の間の重ね合わせを維持する。リアルタイム画像の場所、倍率、および視野角の変動は、見る人の操作、または対象物もしくは見る人の動きにより引き起こされることがある。システム１００は、リアルタイム画像の第１の場所および第１の深度、ならびに仮想画像の第２の場所および第２の深度を常に監視する。リアルタイム画像に何か変動が発生すると、仮想画像モジュールは、仮想画像信号を修正して、仮想画像とリアルタイム画像の間の重ね合わせを維持する。

図７に示すように、リアルタイム画像上に仮想画像を重ね合わせる代替処理は、６つのステップを含む。いくつかのステップは、図６に示す先行する実施形態で記述されるステップと同じ、またはそれらに類似する。いくつかのステップは任意選択であり、さらに変えることができる。
ステップ７１０で、リアルタイム画像上の第１の点、第２の点、および第３の点は、見る人、専門科、コンピュータ、またはシステム１００によりそれぞれ第１の目印、第２の目印、および第３の目印として選択される。最も正確な重ね合わせのために、この場合３つの目印が使用される。脳神経外科手術などのいくつかの外科手術は、非常に高いレベルの精度を必要とし、その結果、仮想画像がリアルタイム画像の上に完全に重ね合わせられることを確実にするために、３つの目印が必要とされることがある。しかしながら、必要に応じて処理は２つの目印を含んでよい。ステップ７２０はステップ６２０と同じあってよく、ステップ７３０はステップ６３０と同じであってよい。
ステップ７４０は、ステップ６４０に関して記述された同じ原理に従う。しかしながら、仮想画像上の対応する第１の目印、第２の目印、および第３の目印の場所および深度は、それぞれリアルタイム画像上の第１の目印、第２の目印、および第３の目印の場所および深度とほぼ同じである。ステップ７５０で、第１の場所および第１の深度は、反復して監視され、測定される。第１の場所および第１の深度は、対象物測定モジュールにより測定された、対象物測定モジュール（または見る人）を基準にした対象物の場所および深度に基づき計算されてよい。その結果、仮想画像は、リアルタイム画像上に重ね合わされたままでいることができる。ステップ７６０で、見る人、たとえば外科医は、見る人により識別された関心のある地点でレーザまたはメスにより対象物に対して手術を遂行する。

仮想画像モジュール１６０、ならびに第２の場所および第２の深度に仮想画像１６５を生成する方法だけではなく、望むように仮想画像を動かす方法についても、以下で詳細に論じる。２０２０年１１月６日に提出された、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＡＮ ＯＢＪＥＣＴ ＷＩＴＨ ＤＥＰＴＨＳ（深度を有する対象物を表示するためのシステムおよび方法）」と題する国際公開第ＰＣＴ／ＵＳ２０／５９３１７号は、全体が本明細書に援用される。
図８に示すように、仮想画像モジュール１６０は、ＲＬＳ＿１に関する１２、ＲＬＳ＿１に関する１４、およびＲＬＳ＿３に関する１６など、多数の右光信号を生成する右光信号発生器１７０，多数の右光信号を受信して、見る人の右網膜５４に向けて向きを変える右ビームスプリッタ１４０、ＬＬＳ＿１に関する３２、ＬＬＳ＿２に関する３４、およびＬＬＳ＿３に関する３６など、多数の左光信号を生成する左光信号発生器１７５、ならびに多数の左光信号を受信して、見る人の左網膜６４に向けて向きを変える左ビームスプリッタ１４５を含む。見る人は、右瞳孔５２および右網膜５４を包含する右眼５０、ならびに左瞳孔６２および左網膜６４を包含する左眼６０を有する。人間の瞳孔の直径は一般に、部分的に環境光に応じて２ｍｍ～８ｍｍの範囲にわたることがある。成人の正常な瞳孔サイズは、明るい光の中で直径が２ｍｍから４ｍｍまで、暗闇の中で４ｍｍから８ｍｍまで変動する。多数の右光信号は、右ビームスプリッタ１４０により向きを変えられ、右瞳孔５２を通り、最終的に右網膜５４により受信される。右光信号ＲＬＳ＿１は、見る人の右眼が特有の水平面上で見ることができる右側に最も遠い光信号である。右光信号ＲＬＳ＿２は、見る人の右眼が同じ水平面上で見ることができる左側に最も遠い光信号である。向きを変えられた右光信号を受信すると、見る人は、向きを変えられた右光信号ＲＬＳ＿１およびＲＬＳ＿２の範囲により境界を定められる領域Ａ内に対象物１０５に関する多数の右画素を知覚する。領域Ａは、右眼５０に関する視界（ｆｉｅｌｄ ｏｆ ｖｉｅｗ、ＦＯＶ）と呼ばれる。同様に多数の左光信号は、左ビームスプリッタ１４５により向きを変えられ、左瞳孔６２の中心を通り、最終的に左網膜６４により受信される。左光信号ＬＬＳ＿１は、見る人の左眼が特有の水平面上で見ることができる右側に最も遠い光信号である。左光信号ＬＬＳ＿２は、見る人の左眼が同じ水平面上で見ることができる左側に最も遠い光信号である。
向きを変えられた左光信号を受信すると、見る人は、向きを変えられた左光信号ＬＬＳ＿１およびＬＬＳ＿２の範囲により境界を定められる領域Ｂ内に対象物１０５に関する多数の左画素を知覚する。領域Ｂは、左眼６０に関する視界（ＦＯＶ）と呼ばれる。
多数の右画素と多数の左画素の両方が領域Ａおよび領域Ｂにより重なった領域Ｃ内に表示されるとき、１つの右画素を表示する少なくとも１つの右光信号および１つの左画素を表示する対応する左光信号は融合されて、特有の深度を伴う仮想両眼画素を領域Ｃ内に表示する。深度は、見る人の網膜の中に投影される、向きを変えられた右光信号と向きを変えられた左光信号の角度に関係がある。そのような角度はまた輻湊角と呼ばれる。

図８および図９に示すように、見る人は、自身の前方で領域Ｃ内に多数の深度を伴う脳対象物１０５の仮想画像を知覚する。脳対象物１０５の画像は、第１の深度Ｄ１に表示された第１の仮想両眼画素７２および第２の深度Ｄ２に表示された第２の仮想両眼画素７４を含む。第１の向きを変えられた右光信号１６’と対応する第１の向きを変えられた左光信号２６’の間の第１の角度はθ１である。第１の深度Ｄ１は第１の角度θ１に関係がある。詳細には、対象物１０５の第１の仮想両眼画素の第１の深度は、第１の向きを変えられた右光信号と対応する第１の向きを変えられた左光信号の光路の広がりの間の第１の角度θ１により決定できる。その結果、第１の仮想両眼画素７２の第１の深度Ｄ１は、次式によりほぼ計算できる。

右瞳孔５２と左瞳孔６２の間の距離は瞳孔間距離（ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅ、ＩＰＤ）である。同様に、第２の向きを変えられた右光信号１８’と対応する第２の方向を変えられた左光信号３８’の間の角度はθ２である。第２の深度Ｄ２は第２の角度θ２に関係がある。詳細には、対象物１０５の第２の仮想両眼画素の第２の深度Ｄ２は、同じ式により第２の向きを変えられた右光信号と対応する第２の向きを変えられた左光信号の光路の広がりの間の第２の角度θ２によりほぼ決定できる。第２の仮想両眼画素７４は、第１の仮想両眼画素７２よりも見る人から遠く離れている（すなわち、より大きな深度にある）ように見る人により知覚されるので、第２の角度θ２は第１の角度θ１よりも小さい。

さらに、そうはいっても、ＲＬＧ＿２に関する向きを変えられた右光信号１６’およびＬＬＳ＿２に関する対応する向きを変えられた左光信号３６’は一緒に、第１の深度Ｄ１に第１の仮想両眼画素７２を表示する。ＲＬＧ＿２に関する向きを変えられた右光信号１６’は、ＬＬＳ＿２に関する対応する向きを変えられた左光信号３６’と同じまたは異なる視野角を有してよい。換言すれば、第１の角度θ１は、第１の仮想両眼画素の深度を決定するが、ＲＬＧ＿２に関する向きを変えられた右光信号１６’は、ＬＬＳ＿２に関する対応する向きを変えられた左光信号３６’の視差であっても、そうではなくてもよい。その結果、右光信号および左光信号の赤、青、および緑（ｒｅｄ、ｂｌｕｅ ａｎｄ ｇｒｅｅｎ、ＲＢＧ）の色の強度および／または輝度は、いくつかの３Ｄ効果をよりよく提示する影、視野角などのためにほぼ同じであっても、わずかに異なってもよい。

上記で記述するように、多数の右光信号は右光信号発生器により生成され、右ビームスプリッタにより向きを変えられ、次いで右網膜の上で直接スキャンされて、右網膜上に右網膜画像を形成する。同様に、多数の左光信号は左光信号発生器により生成され、左ビームスプリッタにより向きを変えられ、次いで左網膜の上でスキャンされて、左網膜上に左網膜画像を形成する。
図９に示す実施形態では、右網膜画像８０は、６×６のアレイ内に３６の右画素を包含し、左網膜画像９０はまた、６×６のアレイ内に３６の左画素を包含する。別の実施形態では、右網膜画像８０は、１２８０×７２０のアレイ内に９２１，６００の右画素を包含し、左網膜画像９０はまた、１２８０×７２０のアレイ内に９２１，６００の左画素を包含する。仮想画像モジュール１６０は、右網膜上に右網膜画像を、左網膜上に左網膜画像それぞれ形成する多数の右光信号および対応する多数の左光信号を生成するように構成される。その結果、見る人は、画像融合のために、領域Ｃ内で特有の深度に仮想画像を知覚する。

図９を参照する。右光信号発生器１７０からの第１の右光信号１６は、右ビームスプリッタ１４０により受信および反射される。第１の向きを変えられた右光信号１６’は、右瞳孔５２を通して、見る人の右網膜に到達して右画素Ｒ４３を表示する。左光信号発生器１７５からの対応する左光信号３６は、左ビームスプリッタ１４５により受信および反射される。第１の向きを変えられた光信号３６’は、左瞳孔６２を通して、見る人の左網膜に到達して左網膜画素Ｌ３３を表示する。画像融合の結果として、見る人は、多数の向きを変えられた右光信号と対応する多数の向きを変えられた左光信号の角度により深度が決定される多数の深度を伴う仮想画像を知覚する。向きを変えられた右光信号と対応する左光信号の間の角度は、右画素と左画素の相対的水平距離により決定される。その結果、仮想両眼画素の深度は、仮想両眼画素を形成する右画素と対応する左画素の間の相対的水平距離と逆相関関係がある。換言すれば、そのような仮想両眼画素を形成する右画素と左画素の間のＸ軸での相対的水平距離が短いほど、仮想両眼画素は見る人により、より深く知覚される。
たとえば、図９に示すように、第２の仮想両眼画素７４は、第１の仮想両眼画素７２よりも大きな深度を有する（すなわち、見る人から遠く離れている）ように見る人により知覚される。その結果、第２の右画素と第２の左画素の間の水平距離は、網膜画像上で第１の右画素と第１の左画素の間の水平距離よりも小さくなる。具体的には、第２の仮想両眼画素を形成する第２の右画素Ｒ４１と第２の左画素Ｌ５１の間の水平距離は４画素の長さである。しかしながら、第１の仮想両眼画素を形成する第１の右画素Ｒ４３と第１の左画素Ｌ３３の間の距離は６画素の長さである。

図１０に示す一実施形態では、光信号発生器から網膜に至る多数の右光信号および多数の左光信号の光路が例示されている。右光信号発生器１７０から生成された多数の右光信号は、右ビームスプリッタ１４０の上に投影されて、右スプリッタ画像（ｒｉｇｈｔ ｓｐｌｉｔｔｅｒ ｉｍａｇｅ、ＲＳＩ）８２を形成する。これらの多数の右光信号は、右ビームスプリッタ１４０により向きを変えられ、小さな右瞳孔画像（ｒｉｇｈｔ ｐｕｐｉｌ ｉｍａｇｅ、ＲＰＩ）８４の中に集光して右瞳孔５２を通過し、次いで最終的に右網膜５４に到達して右網膜画像（ｒｉｇｈｔ ｒｅｔｉｎａ ｉｍａｇｅ、ＲＲＩ）８６を形成する。ＲＳＩ、ＲＰＩ、およびＲＲＩの各々はｉ×ｊ画素を備える。各右光信号ＲＬＳ（ｉ，ｊ）は、同じ対応する画素を通してＲＳＩ（ｉ，ｊ）からＲＰＩ（ｉ，ｊ）に、次いでＲＲＩ（ｘ，ｙ）に移動する。たとえば、ＲＬＳ（５，３）は、ＲＳＩ（５，３）からＲＰＩ（５，３）に、次いでＲＲＩ（２，４）に移動する。同様に、左光信号発生器１７５から生成された多数の左光信号は、左ビームスプリッタ１４５の上に投影されて、左スプリッタ画像（ｌｅｆｔ ｓｐｌｉｔｔｅｒ ｉｍａｇｅ、ＬＳＩ）９２を形成する。これらの多数の左光信号は、左ビームスプリッタ１４５により向きを変えられ、小さな左瞳孔画像（ｌｅｆｔ ｐｕｐｉｌ ｉｍａｇｅ、ＬＰＩ）９４の中に集光して左瞳孔６２を通過し、次いで最終的に左網膜６４に到達し右網膜画像（ｒｉｇｈｔ ｒｅｔｉｎａ ｉｍａｇｅ、ＬＲＩ）９６を形成する。
ＬＳＩ、ＬＰＩ、およびＬＲＩの各々はｉ×ｊ画素を備える。各左光信号ＬＬＳ（ｉ，ｊ）は、同じ対応する画素を通してＬＣＩ（ｉ，ｊ）からＬＰＩ（ｉ，ｊ）に、次いでＬＲＩ（ｘ，ｙ）に移動する。たとえば、ＬＬＳ（３，１）は、ＬＣＩ（３，１）からＬＰＩ（３，１）に、次いでＬＲＩ（４，６）に移動する。（０，０）画素は、各画像の左上端にある画素である。網膜画像内の画素は、スプリッタ画像内の対応する画素に対して右左が反転され、上下が反転されている。光信号発生器およびビームスプリッタの相対的な位置および角度の適切な配列に基づき、各光信号は、光信号発生器から網膜に至るそれ自体の光路を有する。右網膜上に１つの右画素を表示する１つの右光信号と左網膜上に１つの左画素を表示する１つの対応する左光信号の組合せは、見る人により知覚される特有の深度に仮想両眼画素を形成する。その結果、空間内の仮想両眼画素は、右網膜画素および左網膜画素の対、または右スプリッタ画素および左スプリッタ画素の対により表すことができる。

見る人により領域Ｃ内で知覚される仮想画像は、多数の仮想両眼画素を含む。空間内の仮想両眼画素の場所を正確に記述するために、空間内の各場所は３次元（３Ｄ）座標、たとえばＸＹＺ座標を提供される。別の実施形態では、他の３Ｄ座標系を使用できる。その結果、各仮想両眼画素は３Ｄ座標、すなわち水平方向、垂直方向、および深度方向を有する。水平方向（またはＸ軸方向）は、瞳孔間線の方向に沿っている。垂直方向（またはＹ軸方向）は、顔の中心線に沿って水平方向に垂直である。深度方向（またはＺ軸方向）は、前額面に垂直であり、水平方向と垂直方向の両方に垂直である。水平方向座標および垂直方向座標は、本発明では集合的に場所と呼ばれる。

図１１は、右スプリッタ画像内の画素と左スプリッタ画像内の画素と仮想両眼画素との間の関係を例示する。上記で記述するように、右スプリッタ画像内の画素は、右網膜画像内の画素（右画素）と１対１対応である。左スプリッタ画像内の画素は、左網膜画像内の画素（左画素）と１対１対応である。しかしながら、網膜画像内の画素は、結合器画像内の対応する画素に対して右左が反転され、上下が反転されている。しかしながら、システム１００で接眼レンズ１５２、１５４が利用可能である場合、スプリッタ画像内の画素と網膜画像内の対応する画素の間の関係は、接眼レンズの光学的特徴によりさらに修正されることがある。
３６（６×６）の右画素を備える右網膜画像および３６（６×６）の右画素を備える左網膜画像については、見る人の両眼のＦＯＶの範囲内にすべての光信号があると仮定して、領域Ｃ内に２１６（６×６×６）の（ドットとして示す）仮想両眼画素が存在する。１つの向きを変えられた右光信号の光路の広がりは、画像の同じ行で向きを変えられた各左光信号の光路の広がりと交差する。同様に、１つの向きを変えられた左光信号の光路の広がりは、画像の同じ行で向きを変えられた各右光信号の光路の広がりと交差する。その結果、空間内の１つの層および６つの層上に３６（６×６）の仮想両眼画素が存在する。通常、交差して仮想両眼画素を形成する光路の広がりを表す２つの近接する線は、図１１で平行線として示されるが、これらの線間には小さな角度が存在する。各網膜のほぼ同じ高さ（すなわち、右網膜画像および左網膜画像の同じ行）にある右画素および対応する左画素は、より早く融合する傾向にある。その結果、右画素は、網膜画像の同じ行にある左画素と対を成して、仮想両眼画素を形成する。

図１２に示すように、仮想両眼画素ごとに右画素および左画素を識別するのを容易にするためにルック・アップ・テーブルを作成する。たとえば、３６（６×６）の右画素および３６（６×６）の左画素により、１から２１６まで番号を付けられた２１６の仮想両眼画素を形成する。第１の（１番目の）仮想両眼画素ＶＢＰ（１）は、右画素ＲＲＩ（１，１）と左画素ＬＲＩ（１，１）の対を表す。第２の（２番目の）仮想両眼画素ＶＢＰ（２）は、右画素ＲＲＩ（２，１）と左画素ＬＲＩ（１，１）の対を表す。第７の（７番目の）仮想両眼画素ＶＢＰ（７）は、右画素ＲＲＩ（１，１）と左画素ＬＲＩ（２，１）の対を表す。第３７の（３７番目の）仮想両眼画素ＶＢＰ（３７）は、右画素ＲＲＩ（１，２）と左画素ＬＲＩ（１，２）の対を表す。第２１６の（２１６番目の）仮想両眼画素ＶＢＰ（２１６）は、右画素ＲＲＩ（６，６）と左画素ＬＲＩ（６，６）の対を表す。その結果、見る人のために空間内に仮想画像の特有の両眼画素を表示するために、対応する右光信号および左光信号を生成するために右画素および左画素のどの対を使用できるかが決定される。それに加えて、ルック・アップ・テーブル上の仮想両眼画素の各行は、知覚されるＶＢＰの深度（ｚ）および知覚されるＶＢＰの位置（ｘ、ｙ）を記憶するメモリアドレスにつながるポインタを含む。
サイズのスケール、重なっている対象物の数、およびシーケンス深度内の深度などのような追加情報もまた、ＶＢＰに関して記憶できる。サイズのスケールは、標準的ＶＢＰと比較した特有のＶＢＰの相対的サイズ情報であってよい。たとえば、サイズのスケールは、見る人の前方１ｍにある標準ＶＢＰに仮想画像が表示されたとき、１に設定されてよい。その結果、サイズのスケールは、見る人の前方９０ｃｍにある特有のＶＢＰに関して１．２に設定されてよい。同様に、見る人の前方１．５ｍにある特有のＶＢＰに関してサイズのスケールは０．８に設定されてよい。サイズのスケールを使用して、仮想画像が第１の深度から第２の深度に動かされたとき、表示するための仮想画像のサイズを決定できる。サイズのスケールは、本発明では倍率であってよい。
重なっている対象物の数は、一方の対象物が別の対象物の背後に完全にまたは部分的に隠れるように互いに重なった対象物の数である。シーケンス内の深度は、重なっているさまざまな画像の深度のシーケンスに関する情報を提供する。たとえば３つの画像が互いに重なっている。前面にある第１の画像のシーケンス内の深度は１に設定されてよく、第１の画像の背後に隠れた第２の画像のシーケンス内の深度は２に設定されてよい。重なっている画像の数およびシーケンス内の深度を使用して、重なっているさまざまな画像が動いている状態にあるとき、表示するために画像のどちらのどの部分を使用する必要があるかを決定してよい。

ルック・アップ・テーブルは以下の処理により作成されてよい。第１のステップで、右網膜画像と左網膜画像を融合したために深度を伴う仮想画像を見る人が知覚できる領域Ｃの境界を指定する、開始または較正の間に仮想画像モジュールにより作成される、見る人のＩＰＤに基づく個々の仮想マップを得る。第２のステップで、Ｚ軸方向での深度（Ｚ座標での各点）ごとにＸ座標およびＹ座標の場所とは無関係に、それぞれ右網膜画像および左網各画像上に右画素と左画素の対を識別する輻湊角を計算する。第３のステップで、Ｘ軸方向に沿って右画素と左画素の対を動かして、Ｙ座標の場所とは無関係に特有の深度に右画素と左画素の各対のＸ座標およびＺ座標を指定する。第４のステップで、Ｙ軸方向に沿って右画素と左画素の対を動かして、右画素と左画素の各対のＹ座標を決定する。その結果、それぞれ右網膜画像および左網膜画像上で右画素と左画素の各対のＸＹＺなどの３Ｄ座標系を決定して、ルック・アップ・テーブルを作成できる。それに加えて、第３のステップと第４のステップは交換可能である。

光信号発生器１７０および１７５は、その光源としてレーザ、またはミニおよびマイクロ発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、「ＬＥＤ」）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、「ＯＬＥＤ」）、もしくはスーパールミネッセントダイオード（ｓｕｐｅｒｌｕｍｉｎｅｓｃｅｎｔ ｄｉｏｄｅ、「ＳＬＤ」）を含む発光ダイオード（「ＬＥＤ」）、またはＬＣｏＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）、または液晶表示装置（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、「ＬＣＤ」）、またはそれらの任意の組合せを使用してよい。
一実施形態では、光信号発生器１７０および１７５は、赤色光レーザ、緑色光レーザ、青色光レーザを含む光源を備えてよいレーザ・ビーム・スキャニング・プロジェクタ（ＬＢＳプロジェクタ）、二色性結合器および偏光結合器などの光の色の修正器、ならびに２次元（２Ｄ）電気機械システム（「ＭＥＭＳ」）鏡などの２Ｄ調節可能反射器である。２Ｄ調節可能反射器は、２つの１次元（１Ｄ）ＭＥＭＳ鏡などの２つの１Ｄ反射器と置換できる。ＬＢＳプロジェクタは、光信号を１つずつ順次生成およびスキャンして、所定の解像度で、たとえばフレームあたり１２８０×７２０画素で２Ｄ画像を形成する。その結果、１画素のために１光信号が生成され、ビームスプリッタ１４０、１４５に向けて一度に投影される。見る人がそのような２Ｄ画像を片方の眼から見るために、ＬＢＳプロジェクタは、視覚の存続する期間の範囲内で、たとえば１／１８秒の範囲内で画素ごとに光信号を、たとえば１２８０×７２０の光信号を順次生成しなければならない。その結果、各光信号の継続時間は約６０．２８ナノ秒である。

別の実施形態では、光信号発生器１７０および１７５は、２Ｄカラー画像を一度に生成できるデジタル光処理プロジェクタ（ｄｉｇｉｔａｌ ｌｉｇｈｔ ｐｒｏｃｅｓｓｉｎｇ ｐｒｏｊｅｃｔｏｒ、「ＤＬＰプロジェクタ」）であってよい。Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔ社のＤＬＰ技術は、ＤＬＰプロジェクタを製造するために使用できるいくつかの技術のうちの１つである。たとえば１２８０×７２０画素を備えてよい２Ｄ単色画像フレームは、スプリッタ１４０および１４５に向けて同時に投影される。

ビームスプリッタ１４０、１４５は、光信号発生器１７０、１７５により生成された多数の光信号を受信し、向きを変える。一実施形態では、ビームスプリッタ１４０、１４５は、ビームスプリッタ１４０、１４５に関して、向きを変えられた光信号が入射光信号と同じ側にあるように多数の光信号を反射させる。別の実施形態では、ビームスプリッタ１４０、１４５は、ビームスプリッタ１４０、１４５に関して、向きを変えられた光信号が入射光信号と異なる側にあるように多数の光信号を屈折させる。そのとき、ビームスプリッタ１４０、１４５は屈折器として機能する。反射率は、一部は光信号発生器の電力に応じて２０％～８０％など、広範囲に変動する可能性がある。当業者は、光信号発生器およびスプリッタの特性に基づき適切な反射率を決定する方法を知っている。その上、一実施形態では、ビームスプリッタ１４０、１４５は、見る人がリアルタイム画像を同時に観察できるように、入射光信号の反対側からの周囲の（環境）光に対して光学的に透明である。透明度は用途に応じて広範に変動する可能性がある。ＡＲ／ＭＲの用途では、透明性は、一実施形態では約７５％など、５０％よりも大きくなることが好ましい。光信号の向きを変えることに加えて、焦点調節ユニット１８２、１８７は、多数の光信号が瞳孔を通過して、見る人の両眼に到達できるように多数の光信号を集光してよい。

ビームスプリッタ１４０、１４５は、部分的に透明に、部分的に反射性にする金属などのある種の材料でコートされたレンズのようなガラスまたはプラスチック材料から作られてよい。見る人の眼に光信号を誘導するために従来技術の導波管の代わりに反射性スプリッタを使用する１つの有利な点は、多数の影、色ずれなどのような望ましくない回折効果の問題をなくすることである。

実施形態についての上記の説明は、当業者が主題を製作および使用可能にするために提供される。これらの実施形態のさまざまな修正形態は当業者に容易に明らかになり、本明細書で開示される新規な原理および主題は、革新的能力を使用することなく他の実施形態に適用されてよい。特許請求の範囲に示す特許請求される主題は、本明細書で示す実施形態に限定することを意図するのではなく、本明細書で開示する原理および新規な特徴と整合性のある最も広い範囲に従うべきである。追加の実施形態は、開示する主題の精神および真の範囲に入ることが企図される。したがって、本発明は、添付の特許請求の範囲およびそれらの均等物の範囲に入る修正形態および変形形態を範囲に含むことが意図される。

Claims (28)

1. リアルタイム画像上に仮想画像を重ね合わせるためのシステムであって、
   所定の倍率で第１の場所および第１の深度に対象物のリアルタイム画像を生成するように構成された拡大組立体を備えるリアルタイム画像モジュールと、
   見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより前記仮想画像を生成するように構成された仮想画像モジュールであって、前記右光信号および前記対応する左光信号は、第２の場所および第２の深度に前記仮想画像を表示するように前記見る人により知覚され、前記仮想画像は前記リアルタイム画像上に重ね合わせられる仮想画像モジュールと、を備えるシステムにおいて、
   前記第２の深度は、前記見る人の眼の中に投影される前記右光信号と前記対応する左光信号の間の角度に関係があることを特徴とする、
   システム。
2. 前記第２の深度は前記第１の深度とほぼ同じであることを特徴とする、請求項１に記載のシステム。
3. 前記リアルタイム画像は、前記対象物から反射または放出される光により生成されることを特徴とする、請求項１に記載のシステム。
4. 前記仮想画像は前記対象物の処理された画像であることを特徴とする、請求項１に記載のシステム。
5. 前記倍率は調節可能であることを特徴とする、請求項１に記載のシステム。
6. 前記倍率を調節するとき、前記仮想画像のサイズはそれに応じて調節されることを特徴とする、請求項１に記載のシステム。
7. 前記リアルタイム画像上の第１の点は、前記リアルタイム画像上の第１の目印上に前記仮想画像上の対応する第１の目印を重ねることにより前記リアルタイム画像上に前記仮想画像を重ね合わせるための前記第１の目印として選択されることを特徴とする、請求項１に記載のシステム。
8. 前記リアルタイム画像上の第２の点は、前記リアルタイム画像上の第２の目印上に前記仮想画像上の対応する第２の目印を重ねることにより前記リアルタイム画像上に前記仮想画像を重ね合わせるための前記第２の目印として選択されることを特徴とする、請求項７に記載のシステム。
9. 前記仮想画像モジュールは、前記見る人が前記第２の場所および前記第２の深度に表示された前記仮想画像を知覚するように、前記見る人に関して較正されることを特徴とする、請求項１に記載のシステム。
10. 前記仮想画像モジュールは、前記仮想画像が前記リアルタイム画像の変動に基づき前記リアルタイム画像上に重なり合うように修正されるように、前記右光信号および前記対応する左光信号を処理する制御モジュールをさらに備えることを特徴とする、請求項１に記載のシステム。
11. 前記リアルタイム画像の前記変動は、視野角、前記倍率、または場所の変動を含むことを特徴とする、請求項１０に記載のシステム。
12. 前記見る人が前記仮想画像の前記第２の場所および前記第２の深度を制御するように構成されたユーザインタフェースをさらに備える、請求項１に記載のシステム。
13. 前記対象物の場所および深度を測定するように構成された対象物測定モジュールをさらに備える、請求項１に記載のシステム。
14. 前記仮想画像モジュールは、前記見る人のために前記仮想画像の明瞭度を改善する焦点調節ユニットをさらに備えることを特徴とする、請求項１に記載のシステム。
15. 前記リアルタイム画像および前記仮想画像のいずれかまたは両方を記録する記録モジュールをさらに備える、請求項１に記載のシステム。
16. 前記対象物に対して手術を遂行する外科手術モジュールをさらに備える、請求項１に記載のシステム。
17. 前記仮想画像モジュールは、前記見る人が前記仮想画像を知覚するために、多数の前記右光信号を生成するための右光信号発生器、および多数の前記左光信号を発生させるための左光信号発生器をさらに備えることを特徴とする、請求項１に記載のシステム。
18. 前記仮想画像モジュールは、前記見る人の一方の網膜に向けて前記多数の右光信号の向きを変える右ビームスプリッタ、および前記見る人の他方の網膜に向けて前記多数の左光信号の向きを変える左ビームスプリッタをさらに備えることを特徴とする、請求項１７に記載のシステム。
19. 前記右ビームスプリッタおよび前記左ビームスプリッタは、前記リアルタイム画像モジュールおよび前記仮想画像モジュールにより共用されることを特徴とする、請求項１８に記載のシステム。
20. 前記仮想画像モジュールは、前記見る人の頭部に装着可能な支持構造をさらに備え、前記右光信号発生器および前記左光信号発生器は前記支持構造により保持され、前記右ビームスプリッタおよび前記左ビームスプリッタは前記支持構造により保持され、前記見る人の視界の範囲内に位置決めされることを特徴とする、請求項１に記載のシステム。
21. 前記リアルタイム画像モジュールは、前記仮想画像モジュールに取り付けられ、前記仮想画像モジュールから分離可能であることを特徴とする、請求項２０に記載のシステム。
22. 深度を伴う仮想画像を生成するための仮想画像モジュールであって、
    見る人の一方の網膜に向けてリアルタイム画像モジュールの右ビームスプリッタにより向きを変えられる多数の右光信号を生成するために前記リアルタイム画像モジュールの右側部分の近くに位置する右光信号発生器と、
    前記見る人の他方の網膜に向けて前記リアルタイムモジュールの左ビームスプリッタにより向きを変えられる多数の左光信号を生成するために前記リアルタイム画像モジュールの左側部分の近くに位置する左光信号発生器と、を備える仮想画像モジュールにおいて、
    第１の向きを変えられた右光信号および対応する第１の向きを変えられた左光信号は、前記第１の向きを変えられた右光信号と前記対応する第１の向きを変えられた左光信号の間の角度に関係がある深度に前記仮想画像を表示するように前記見る人により知覚されることを特徴とする、
    仮想画像モジュール。
23. リアルタイム画像上に仮想画像を重ね合わせるための方法であって、
    第１の目印として前記リアルタイム画像上の第１の点を選択するステップと、
    所定の倍率で第１の場所および第１の深度に前記リアルタイム画像を表示するステップと、
    見る人の右眼に右光信号を、見る人の左眼に対応する左光信号をそれぞれ投影することにより仮想画像を投影するステップであって、前記右光信号および前記対応する左光信号は、第２の場所および第２の深度に前記仮想画像を表示するように前記見る人により知覚されるステップと、を備える方法において、
    前記仮想画像は前記対象物の処理された画像であり、
    前記第２の深度は、前記見る人の眼に投影された前記右光信号と前記対応する左光信号の間の角度に関係があり、
    前記仮想画像は、前記リアルタイム画像上の第１の目印上に前記仮想画像上の対応する第１の目印を重ねることによりリアルタイム画像上に重なり合うことを特徴とする、
    方法。
24. 前記第２の深度は前記第１の深度と実質的に同じであることを特徴とする、請求項２３に記載の方法。
25. 第２の目印として前記リアルタイム画像上の第２の点を選択するステップをさらに備え、前記仮想画像は、前記リアルタイム画像上の第２の目印上に前記仮想画像上の対応する第２の目印を重ねることによりリアルタイム画像の上に重なり合うことを特徴とする、請求項２３に記載の方法。
26. 前記リアルタイム画像と前記仮想画像の両方は拡大され、かつ前記仮想画像上の前記対応する第１の目印は、同じ深度に前記リアルタイム画像上の前記第１の目印上に重ね合わされたままでいるように前記倍率を調節するステップをさらに備える、請求項２３に記載の方法。
27. 前記リアルタイム画像上に重ね合わされたままでいるように前記仮想画像に関する前記第１の場所および第１の深度を反復して監視するステップをさらに備える、請求項２３に記載の方法。
28. 前記対象物に対して手術を遂行するステップをさらに備える、請求項２３に記載の方法。