JP5186561B2 - 拡張現実感の非写実的レンダリング - Google Patents

Description

本発明は、例えば、医療拡張現実感ディスプレイにおいて、特に、オクルージョンの手掛かりを提供するために、画像をレンダリングする方法に関する。

拡張現実（ＡＲ）は外科手術において貴重なツールになっている。外科的作業中にリアルタイムで位置合わせされた術前データを提示することは、オフライン画像を参照する必要性を取り除き、オフライン画像の現実組織への位置合わせを助ける。着目している物体の可視化は、ＡＲが提供する「透視」像を通じて利用できるようになる。

近年、医療ロボットが最小侵襲手術（ＭＩＳ）において益々使用されている。ロボット支援ＭＩＳのために、器用さがマイクロプロセッサ制御型機械式リストによって高められ、ハンド全体の動きを削減するための動きの拡大縮小と、それ以外には考えられない微小規模作業の性能とを可能にする。

外科手術ロボットの独特の動作セッティングは、術前／術中画像又はコンピュータ生成グラフィックスを使って視野を増強する理想的なプラットフォームを提供する。ＡＲの有効性及び臨床的な利点は、神経外科及び整形外科において十分に認識されている。しかし、心臓胸部外科又は消化器外科へのＡＲの応用は、組織変形の複雑さがＡＲディスプレイに重大な難問を課すので限定されたままである。

ＡＲのシームレス合成は、仮想物体が出現し、現実シーンと視覚的に相互作用する方法に関する要因の個数に依存する。ＡＲの主要な問題の１つは、オクルージョンの正確な取り扱いである。仮想及び現実環境の部分オクルージョンの取り扱いは、外科手術シーンの正確な３次元再構成によって達成され得るが、特に、リアルタイム３次元組織変形復元のための最近の手法の出現によって、殆どの外科手術ＡＲ応用は、露出された組織表面の背後にある解剖学的構造の重ね合わせを伴う。この重ね合わせは、例えば、改良された解剖学的かつ機能的な可視化がより正確な術中ナビゲーション及び血管切除術を可能にする冠状動脈バイパスのため重要である。前立腺摘除術では、周囲の解剖学的構造の３次元可視化は、神経血管束温存の改善と、尿禁制率及び勃起機能温存率の向上という結果をもたらす。

ステレオビジョン環境において有用な平面内基準を提供するが、伝統的にオーバーレイ型ＡＲは不正確な奥行き認知に問題を抱えている。物体が正確な奥行きでレンダリングされるとしても、脳は物体を表面の上に浮いているものとして認知する（例えば、非特許文献１及び非特許文献２を参照のこと）。

Ｊｏｈｎｓｏｎ ＬＧら、"Ｓｕｒｆａｃｅ ｔｒａｎｓｐａｒｅｎｃｙ ｍａｋｅｓ ｓｔｅｒｅｏ ｏｖｅｒｌａｙｓ ｕｎｐｒｅｄｉｃｔａｂｌｅ： ｔｈｅ ｉｍｐｌｉｃａｔｉｏｎｓ ｆｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ"、 Ｓｔｕｄｉｅｓ ｉｎ Ｈｅａｌｔｈ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｉｎｆｏｒｍａｔｉｃｓ ２００３、 ９４：１３１−６ Ｓｗａｎ ＪＥら、"Ｅｇｏｃｅｎｔｒｉｃ Ｄｅｐｔｈ Ｊｕｄｇｅｍｅｎｔｓ ｉｎ Ｏｐｔｉｃａｌ、Ｓｅｅ−Ｔｈｒｏｕｇｈ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ"、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ２００７、１３（３）：４２９−４２ Ｓｉｅｌｈｏｒｓｔら、"Ｄｅｐｔｈ Ｐｅｒｃｅｐｔｉｏｎ−Ａ Ｍａｊｏｒ Ｉｓｓｕｅ ｉｎ Ｍｅｄｉｃａｌ ＡＲ： Ｅｖａｌｕａｔｉｏｎ Ｓｔｕｄｙ ｂｙ Ｔｗｅｎｔｙ Ｓｕｒｇｅｏｎｓ"、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ −Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ−、ＭＩＣＣＡＩ ２００６；３６４−７２ Ｃ． Ｂｉｃｈｉｍｅｉｒ、 Ｎ． Ｎａｖａｂ、 "Ｖｉｒｔｕａｌ Ｗｉｎｄｏｗ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｄｅｐｔｈ Ｐｅｒｃｅｐｔｉｏｎ ｉｎ Ｍｅｄｉｃａｌ ＡＲ"、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｅｎｖｉｒｏｎｍｅｎｔｓ ｆｏｒ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ Ｓｕｒｇｅｒｙ （ＡＭＩ−ＡＲＣＳ ２００６）、コペンハーゲン、デンマーク、１０月 ２００６

組織に埋め込まれているものとして認知されるべき物体に関して、我々の脳は、ある程度のオクルージョンを予想する。ＡＲにおける奥行き認知の問題に対処するため、ある程度の個数のレンダリング手法及び表示戦略が、露出した組織表面に関して仮想構造体の３次元奥行きの正確な認知を可能にするため開発されている。非特許文献３では、医療ＡＲにおける奥行き認知の問題が研究されている。上述の２件の引用文献に一致して、ＡＲ物体が不透明にレンダリングされるならば、外側体表面の背後に正確な奥行きでレンダリングされるとしても外側体表面の上に浮かぶように見えるので、奥行き認知の質が悪いことがわかった。奥行き認知を改善する２つの方法、即ち、体表面及びＡＲ物体の両方を透明にレンダリングする方法と、ウィンドウがオクルージョンの手掛かりを与え、それによって、ＡＲ物体がウィンドウ内部に見ることができるが、そうでなければ、体表面によって遮蔽されるように、体表面を体表面の内側に定義されたウィンドウを用いてレンダリングする方法とが確認された。前者のアプローチ（透明レンダリング）に関して、この方法は、ある一部の表面に対して改善された奥行き認知をもたらすが、一般に、２つのオーバーレイされた透明表面をレンダリングすることは、奥行き認知の質の悪さのように、オクルージョンから矛盾する視覚的な手掛かりをもたらす（例えば、上述の非特許文献１を参照のこと）。後者のアプローチ（ウィンドウレンダリング）は、ウィンドウ内部の体表面に関する全情報が失われるという不利点がある。

オンラインによりｈｔｔｐ：／／ａｒ．ｉｎ．ｔｕｍ．ｄｅ／ｐｕｂ／ｂｉｃｈｌｍｅｉｅｒ２００６ｗｉｎｄｏｗ／ｂｉｃｈｌｍｅｉｅｒ２００６ｗｉｎｄｏｗ．ｐｄｆで入手可能な非特許文献４には、ウィンドウ内部の体表面に関する情報を維持したままで、ウィンドウアプローチで得られた奥行き認知を改善する種々のアプローチが研究されている。以下のアプローチ、即ち、ウィンドウ形状を体表面の形状に適合させること、仮想光源によるハイライト効果を使用してウィンドウ表面をガラスのようにレンダリングすること、単純構造テクスチャでウィンドウ平面をマッピングすること、ウィンドウの有限サイズフレームをシミュレーションすること、及び、ＡＲ物体の背景を透明又は不透明のどちらかに設定すること、が考慮された。これらのアプローチのうち最後を除くすべてのアプローチの欠点は、体表面の３次元モデルが既知であり、ウィンドウ輪郭又は表面がそれに応じてレンダリング可能でなければならないことである。このような３次元モデルは、特に、体表面がイメージング中に変形しているか、又は、その他の方法で変化しているならば、確実に得ることが難しい可能性がある。

発明の一態様によれば、請求項１に記載された撮影デジタル画像をレンダリングする方法が提供される。

撮影画像自体に基づいて対応する非写実的レンダリング（ＮＰＲ）画像の透明度値を設定することにより、奥行き認知が（画像の２次元レンダリングの場合に）可能にされ、又は、（画像の３次元レンダリングの場合に）支援されるようにオクルージョン手掛かりを提供するため画像の構造の一部を保存する部分透明ウィンドウを定義できることが有利である。このアプローチは、画像データ自体に基づいているので、画像の基礎となるシーンのモデルを必要としない。

上述されているように、ＮＰＲ画像は２次元ビューとしてレンダリングされてもよく、又は、第２の画像が立体視ビューを定義するため撮影されてもよい。いずれにしても、仮想（例えば、ＡＲ）物体は撮影画像の背後にレンダリングされることがある。

透明度値の割り当ては、ＮＰＲ撮影画像がウィンドウの外側で不透明のままであり、物体がウィンドウを通して見えないときに物体を遮蔽するように、ウィンドウの内側で行われることがある。シーンのより自然なビューのため、又は、立体視ビューにおいて２つのウィンドウを融合させることを支援するため、透明度値がウィンドウ内部からウィンドウの外側へ徐々に融合されることがある。ウィンドウ位置は、観察者の注視を連続的に追跡して、又は、更新要求が観察者から受け取られたときに限り位置を更新して、観察者の注視に依存して定義されることがある。当然ながら、立体視の場合、２つの（左右の）ＮＰＲ画像中のウィンドウは、立体視ビューに従ってカメラ位置及びパラメータによって決定された量によって補正されることがある。

透明度値は、撮影画像中の対応したロケーションにおける正規化画像強度勾配の関数として決定されることがある。画像強度勾配の計算は、対応したロケーションにおける画像強度によって割り算された画像座標に関する偏微分の決定を含むことがある。

上述されたようなＮＰＲ画像透明度の決定は、ＮＰＲ画像のエリアに関する顕著性マップを定義し、同じ顕著性マップ中のそれぞれの対応したロケーションの値の関数として透明度値を割り当てることにより透明度値を設定する方法の一実施例として見ることができる。顕著性マップは、画像の顕著性特徴、例えば、基礎となるシーンの背景から突出しているため、又は、色及び／又は強度コントラストのため顕著である特徴を獲得するため工夫されることがある。特に、顕著性マップは、例えば、画像中の陰影に基づいて推定されるような、画像の基礎となるシーンにおける局所的な傾きの関数として定義されることがある。局所的な傾きは、画像中のそれぞれの正規化強度勾配の関数として推定されることがある。

ほぼ不透明である顕著性特徴を保存し、ほぼ透明のウィンドウ又はエリア内部の背景をつくるために透明度値を割り当てるのに加えて、顕著性マップは、例えば、カラースケールを使用して、カラー値をＮＰＲ画像のピクセルに割り当てるために使用されることもある。特に、透明度値及びカラー値は、ＮＰＲ画像の背後にレンダリングされた物体が、顕著性マップ中の高い値を有するエリア内部のピクセルによって遮蔽されている間に透明エリア（ウィンドウ）を通して見えているとして認知されるように、割り当てられることがある。

一つの用途において、仮想物体は医療イメージングデータ、例えば、組織のＣＴ画像又はＭＲＩ画像から導出されることがある。特に、画像は、例えば、胸部鍵穴手術中に、立体視内視鏡を使用して撮影されていることがある。しかし、上述のレンダリング方法は、医療ＡＲ用途に限定されることがなく、より一般的に、仮想物体が撮影シーンの背後にある観察者の標準的なビューの外にレンダリングされるＡＲ用途に応用可能であることが理解されるであろう。

発明のさらなる態様では、請求項２１に記載されたデジタル画像をレンダリングするシステムが提供される。

発明の一層のさらなる態様では、請求項４１に記載されたロボット手術コンソールが提供される。

発明のさらなる態様は請求項４２に記載されたコンピュータプログラムにまで及ぶ。

曖昧さを回避するため、ＮＰＲ画像（非写実的レンダリング画像の略）という用語は、本書では、例えば、ＡＲ物体を同様に含みうる３次元コンピュータ・グラフィックス・モデルにおける画像平面に対応する平面へのテクスチャとして適用される、撮影され処理されたデジタル画像を表すため用いられる。当然ながら、このモデルは２次元又は立体視３次元画像としてレンダリングされることがある。

例えば、画像中に撮影されたシーンの背後にレンダリングされた物体を露出させるために画像の少なくとも一部分を非写実的レンダリングする方法のフローチャートである。 ２次元又は３次元で対応するＮＰＲ画像及びＡＲ物体をレンダリングするアルゴリズムのフローチャートである。 対応するシステムを表す図である。 処理で使用されるマスク関数を表す図である。 上記方法を使用してレンダリングされたＡＲビューの実施例を表す図である。

発明の実施形態は、次に、例示の目的のためだけに添付図面を参照して説明される。

医療ＡＲディスプレイに適用されるように画像をレンダリングする本方法の基礎にある考え方は、ナビゲーション及び奥行き手掛かりを支援するため十分な細部を維持しつつ、露出した解剖学的表面を半透明層としてレンダリングすることである。一実施形態は、露出した解剖学的表面の顕著な解剖学的細部を維持しつつ、埋め込まれた仮想物体の透視像を提供するｐｑ空間ベースの非写実的レンダリング（ＮＰＲ）に基づいている。このために、ｐ及びｑがそれぞれｘ及びｙ軸に沿った映像表面の傾きを表現する場合に、ｐｑ空間表現に基づく表面幾何学的構造が最初に導出される。例えば、この導出は、複数個の照明条件を導入することにより測光ステレオを用いて実現可能である。しかし、変形する組織のため、問題は不良設定であり、内視鏡設備に複数の光源を導入することは実現不可能である。それにもかかわらず、この問題は、気管支鏡及び内視鏡中のように、カメラ及び光源の両方が映像化される表面に近い場合には簡略化することが可能である（参照により本明細書に組み込まれた、Ｒａｓｈｉｄ ＨＵ、 Ｂｕｒｇｅｒ Ｐ．、“Ｄｉｆｆｅｒｅｎｔｉａｌ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ ｕｓｉｎｇ ａ ｐｏｉｎｔ ｌｉｇｈｔ ｓｏｕｒｃｅ”、Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １９９２； １０（２）：１１９−２７を参照のこと）。このような場合、近接した点光源の座標ｘ、ｙにおける画像強度の値は、

によって与えられ、式中、ｓ_０は光源強度定数であり、ρ（ｘ，ｙ）はアルベド、即ち、反射率であり、ｒは光源と表面点（ｘ，ｙ，ｚ）との間の距離であり、θは入射光線と表面に対する法線

との間の角度である。勾配空間において、表面に対する法線ベクトルは、

に等しく、式中、ｐ及びｑはそれぞれｘ及びｙ方向における表面傾きを表す。シーン中の滑らかなランバート面に対し、式（１）によって与えられる画像強度は、点（ｘ，ｙ）での画像強度Ｅ（ｘ，ｙ）と表面法線（ｐ_０，ｑ_０，−１）をもつ対応する表面点（ｘ_０Ｚ_０，ｙ_０Ｚ_０，Ｚ_０）でのシーン放射輝度との間の関係を定義する、

に帰着させることが可能であり、式中、ρ_{ａｖｅｒａｇｅ}は表面の小さい近傍における平均アルベドを表し、ｓ_０は光源強度定数である。点光源照明下でのランバート面は、（１）すべての視方向から等しい明るさに見えること、及び、（２）すべての入射光を反射すること、という２つの条件を満たす理想的な表面材料である。

式（３）において画像強度の偏微分を利用することにより、画像ロケーション（ｘ，ｙ）におけるｘ／ｙに関する正規化された偏微分Ｒ_ｘ／ｙは、画像座標及び局所的な傾きだけの項で記述可能である。

この式は、ｐ_０及びｑ_０に関する２個の線形方程式として再記述可能である（画像ロケーション（ｘ，ｙ）における正規化された偏微分又は正規化された勾配Ｒ_ｘ／ｙは、（ｘ，ｙ）及びその近傍における画像強度から決定できる）。
Ａ_１ｐ_０＋Ｂ_１ｑ_０＋Ｃ_１＝０
Ａ_２ｐ_０＋Ｂ_２ｑ_０＋Ｃ_２＝０ （５）
但し、
Ａ_１＝（−ｘ_０・Ｒ_ｘ＋３）・（１＋ｘ_０ ^２＋ｙ_０ ^２）−３・ｘ_０ ^２
Ｂ_１＝−Ｒ_ｘ・（１＋ｘ_０ ^２＋ｙ_０ ^２）・ｙ_０−３・ｘ_０・ｙ_０
Ｃ_１＝Ｒ_ｘ・（１＋ｘ_０ ^２＋ｙ_０ ^２）＋３・ｘ_０ （６）
Ａ_２＝−Ｒ_ｙ・（１＋ｘ_０ ^２＋ｙ_０ ^２）・ｘ_０−３・ｘ_０・ｙ_０
Ｂ_２＝（−ｙ_０・Ｒ_ｙ＋３）・（１＋ｘ_０ ^２＋ｙ_０ ^２）−３・ｙ_０ ^２
Ｃ_２＝Ｒ_ｙ・（１＋ｘ_０ ^２＋ｙ_０ ^２）＋３・ｙ_０
であり、画像の各点（ｘ，ｙ）におけるｐ_０及びｑ_０の以下の式：

を与える。

映像化された表面のｐ及びｑの値は、露出した解剖学的構造の３次元細部を獲得し、滑らかに変化する背景表面を半透明のまま維持しつつ、（表面から突出し、故に、高勾配を有する特徴である）顕著な特徴を強調するため使用される。ｐ及びｑの値は適当な手法を使用して計算できることが理解されるであろう。所望の視覚的手掛かりを作成するため、観察平面に平行であるシーンの表面（低いｐ，ｑ）はおおよそ透明としてレンダリングされ、一方、傾斜した構造（高いｐ，ｑ）は強調され、おおよそ不透明としてレンダリングされる。表面傾きの指標は、
Ｓ（ｘ，ｙ）＝ｌｏｇ（ａｂｓ（ｐ_０）＋ａｂｓ（ｑ_０）＋１） （９）
によって各画像点（ｘ，ｙ）に対しｐｑ値から生成され、ここで、Ｓ（ｘ，ｙ）の高い値は大きい勾配に対応する。実際に、これは顕著性マップ又は顕著性画像を提供する。対数は表示目的のためダイナミックレンジを制限するためｐ及びｑの高い値を抑える。滑らかな背景マップＢは、幅の広いガウシアンフィルタを顕著性マップＳに適用し、それによって、「真」の顕著な特徴ではなく、ノイズ又は小さい表面変動を表す可能性がある画像中の高周波数変動を取り除くことにより作成される。顕著な画像と背景画像は、詳しく後述されるようにＳの低いピクセル値が対応する（ｘ，ｙ）ピクセルにおけるＢの値で置き換えられるようにマスクを使用して合成される。

図１を参照して、上記の顕著性マップの実際の用途について考えると、コンピュータ・グラフィックス・モデル内で画像平面に投影されたテクスチャとして使用するための撮影画像（又は撮影画像のうちのあるエリア）の非写実的レンダリングを実現する方法２において、ステップ４で、関心領域（ＲＯＩ）がＮＰＲ処理のため定義される。関心領域は、画像全体又は画像のサブエリアを含むことがある。ステップ６で、関心領域は、（カラーであるならば）ピクセルカラー値をグレイスケールに変換し、３×３ピクセルのガウシアンのような弱い平滑化関数を適用するといった前処理が施される。ステップ８で、顕著性マップが、偏微分を計算するいずれかの既知の方法を使用して、例えば、関連する（例えば、ｘ）方向に着目中のピクセルのピクセル値と近傍ピクセルとの間で単に差分をとることによって、上述されているようにＲＯＩ中の撮影画像から計算される。マップは、偏微分と、ＲＯＩ中の各ピクセル又はロケーションでの画像強度（例えば、グレイスケール値）とから計算される。

ステップ１０で、顕著性マップは、滑らかな背景マップＢ（例えば、Ｂは６×６ピクセルからなり、７ピクセルの広がりをもつ幅広いガウシアンフィルタを適用することによりＳから導出可能である）と合成することによりノイズ除去される。Ｓ及びＢは、顕著性マップが背景マップと混合され、それによって、Ｓが高い場合にＳが優勢であり、Ｓが低い場合にＢが優勢であるように、マスク関数に従って、
Ｓ（ｘ，ｙ）＝ｍａｓｋ（ｘ，ｙ）・Ｓ（ｘ，ｙ）＋（１−ｍａｓｋ（ｘ，ｙ））・Ｂ（ｘ，ｙ） （１０）
として合成される。マスク関数は、数個の制御点を含むスプライン（例えば、キャットマル・ロム・スプライン）を使用して定義可能である。適当なマスク関数はＳ（ｘ，ｙ）の関数として図５に表されている。当然ながら、その他のマスク関数、例えば、Ｓ（ｘ，ｙ）に関する適当なスレッショルド値をもつステップ関数もまた利用可能である。別の実施例は、適当な多項関数でもよい。

ステップ１２で、ノイズ除去された注目の領域内部のピクセルは、カラースケールを使用して顕著性マップＳ（ｘ，ｙ）に従ってカラー値が割り当てられる。適当なカラースケールはＳの最小値に対する黒から、青を経由して、最大値に対する白まで変動する可能性がある。これらの人為的なカラーは、人為的なカラーがウィンドウ内部に適用され、画像の元のカラーがウィンドウの外側で維持されるように、ウィンドウ関数、例えば、放射状ウィンドウ関数ｆ（ｒ）に従ってＮＰＲ画像に適用される。ｆ（ｒ）の一実施例はステップ関数であり、この場合に、ウィンドウは人為的なカラーから画像カラーへ離散的に切り替わる鋭いエッジを有するであろう。滑らかな推移を実現するため、ｆ（ｒ）は別の実施例において推移領域を定義し、

式中、ｒ^２＝（ｘ−ｘ_{ｃｅｎｔｅｒ}）^２＋（ｙ−ｙ_{ｃｅｎｔｅｒ}）^２とｒ_０とがウィンドウサイズを決定する。滑らかな推移を定義することにより、立体視画像（以下を参照のこと）において２個の（左右の）窓を融合は、適用できる場合に、役立つことがある。

ステップ１４で、同じウィンドウ内部のＮＰＲ画像ピクセル透明度は、Ｓの最低値が完全に（又は、おおよそ完全に、例えば、９５％）透明であり、かつ、Ｓの最高値が完全に（又は、おおよそ完全に、例えば、９５％）不透明であるように、Ｓ（ｘ，ｙ）及びウィンドウ関数ｆ（ｒ）に従って設定され、透明度値が、例えば、ｆ（ｒ）を使用してＮＰＲ画像の残りの部分と混合される。

懸念を回避するため、ｆ（ｒ）を使用する混合動作の実施例は、以下の通りのＮＰＲ画像に達するために処理済みの非写実的レンダリング画像（ＮＰＩ）を撮影画像（ＣＩ）と混合するものと考えることができる。
ＮＰＲ画像＝ｆ（ｒ）・ＣＩ＋（１−ｆ（ｒ））・ＮＰＩ （１２）

ウィンドウの配置（上記の実施例ではｆ（ｒ）の原点（ｘ_{ｃｅｎｔｅｒ}，ｙ_{ｃｅｎｔｅｒ}））は複数の方式で設定可能である。例えば、一部の実施形態では、ウィンドウ位置は、特に、視野の範囲内にレンダリングされるべき単一の物体だけが存在するならば、画像平面の背後にレンダリングされるべきＡＲ物体の位置に基づいて予め決定される。代替的に、一部の実施形態では、ウィンドウ位置は観察者の注視に基づいて決定される（例えば、視標追跡装置を使用して検出される）ことがあり、連続的に更新されるか、又は、観察者がウィンドウ位置を更新する要求を発行するとき、観察者の注視に従って更新されることがある（或いは、一部の実施形態では、ウィンドウが現在表示されていないならば、ウィンドウがスイッチを入れられるとき、ウィンドウは観察者の注視に従って表示される）。この動的ウィンドウ表示は、単一物体ではなく、完全なＡＲシーンがレンダリングされているならば、特に役に立つことがある。

図２及び３を参照して、次に、拡張現実感物体と一緒にシーンの撮影画像を表示するシステム及び方法が説明される。ステップ１６で、シーンの画像がイメージング装置２２によって撮影され、処理ユニット２４へ送信される。撮影画像は、一部の実施形態ではコンピュータ・グラフィックス・モデル内に表示されるべきシーン平面物体に投影されたテクスチャとして取り扱われる。コンピュータ・グラフィックス・モデルは、複数の方式で、例えば、一部の実施形態では、Ｃ＋＋プログラムにおいてＯｐｅｎＧＬグラフィックス・ライブラリを使用して、実施できる。

正確な遠近感（及び、３次元レンダリングの場合に視差）は、撮影画像（立体視カメライメージング装置の場合に左右の撮影画像）に既に含まれているが、コンピュータ・グラフィックス・モデル内での拡張現実感物体に関する奥行き情報はオクルージョンを一貫して取り扱うために重要である。

立体視カメラ及びディスプレイのため、左右のビューにおける拡張現実感物体の位置は撮影画像における視差と一致しなければならない。この一致は、ビュー間で必要な変換が設けられた立体視カメラキャリブレーションを通して実現される。合成シーンにおいて、撮影画像は、既に視差を含んでいるので、左右の両方のビューに対し同じ位置に表示され、一方、拡張現実感物体は、撮影画像の視差に一致するように左右のビューに対し異なる位置でレンダリングされる。立体視カメラキャリブレーションの一部分として達成される変換は、一部の実施形態ではＯｐｅｎＧＬ変換を使用して利用される。

一部の典型的な実施形態では、ＯｐｅｎＧＬウィンドウは、（左右の）表示毎に開かれ、ＮＰＲ画像は適切な奥行きで各ウィンドウに表示される（例えば、投影スクリーンのように機能するシーン平面物体に適用される）（後述参照）。ＡＲ物体は、その後に、それぞれの（左右の）カメラのカメラキャリブレーションを使用して、ウィンドウ毎にレンダリングされる。同様に、各ＯｐｅｎＧＬウィンドウにおけるＲＯＩ及び／又はウィンドウの相対位置は、一部の実施では、立体視ビューと整合性がとれるようにカメラキャリブレーションデータを使用して設定される。この点に関して、滑らかに混合されたウィンドウは、ウィンドウ位置ずれが立体視ビューに厳密に従わない場合でも立体視ビューにおける２個のウィンドウの融合を支援する。例えば、立体視内視鏡カメラのため適した１つの近似は、一部の実施では、ウィンドウ位置ずれとしてカメラ位置ずれを使用することである。

各ピクセルが正確に着色されることを保証するため、ＮＰＲ画像のｚ座標（シーン物体平面）は、シーン物体がＡＲ物体をシーン物体の背後に遮蔽する場合（又は、シーン物体の低透明度部分が対応するピクセルの着色を決定づける場合）、ピクセルがシーン物体のカラー値を取るように、カメラ座標系におけるＡＲ物体の位置よりコンピュータ・グラフィックス・モデルにおけるカメラ位置に接近していなければならない。上述の非写実的処理によって与えられるオクルージョン手掛かりは、ＡＲ物体がイメージング装置２２によって撮影された表面の背後に位置するときに限り必要であるので（そうでなければ、現実物体が撮影画像内に観察できるであろう）、一部の実施形態におけるレンダリングに関して、シーンオブジェクトは常にＡＲ物体の手前に存在し、例えば、コンピュータ・グラフィックス・モデルの視錐台の前額面は、一部の実施では（複数の）撮影画像が投影されるシーン物体として使用されることが考えられる。このことは、現実カメラ位置決めによって定められる（複数の）撮影画像の遠近感又は視差に影響を与えることなくオクルージョンの正確な取り扱いを保証する。

代替的に、一部の実施では、ＮＰＲ画像はカメラ焦点面又はカメラ焦点面付近に配置されるか、又は、シーン平面の奥行きはＮＰＲ画像奥行きを設定するため距離測定を使用して復元可能である（例えば、参照により本明細書に組み込まれた、Ｓｔｏｙａｎｏｖ Ｄ．ら、Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｓｕｒｇｅｒｙ ７月 ２００５、１０（４）：１９９−２０８を参照のこと）。一部の実施形態において奥行き復元のため使用される手法は、視標追跡からの観察者の両眼転導の使用（Ｍｙｌｏｎａｓ ＧＰら、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＭＩＡＲ（２００４）、北京、 ３１１−３１９）、スパース手法のようなステレオからの奥行き復元、シェーディングからの成形、若しくは、両方の組み合わせ（Ｓｔｏｙａｎｏｖ Ｄら、ＭＩＣＣＡＩ（２） ２００４： ４１−４８）の使用、又は、構造化照明（Ｋｏｎｉｎｃｈｘ ＴＰ ａｎｄ Ｖａｎ Ｇｏｏｌ Ｌ、ＩＥＥＥ ＰＡＭＩ、ｖｏｌ２８， ｎｏ．３、２００６）、基準マーカ又はレーザ距離測定（Ｍｉｔｓｕｈｉｒｏ Ｈら、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ １０ （２００６） ５０９−５１９）の使用を含み、全部が参照によって本明細書に組み込まれる。

ステップ１８で、コンピュータ・グラフィックス・モデルにおける仮想ＡＲ物体のロケーションが決定される。ＡＲ物体入力２６は、医療イメージング、例えば、ＭＲＩ又はＣＴデータから取得されたＡＲ物体の座標データを提供する。このデータは、例えば、医療イメージング装置座標系から身体基準座標系へ画像データを変換するため画像が取得される前に患者の身体に固定された基準マーカを使用して、患者の身体に固定された基準座標系内の座標で表現されなければならない。

撮影されたシーン画像と一緒にＡＲ物体を正確に表示するため、基準マーカによって定義された身体基準座標系からのＡＲ物体座標は、技術的によく知られているように、カメラ基準座標系に対する身体基準座標系の位置及び姿勢を決定するため３次元追跡装置を使用し、例えば基準マーカを追跡することによりカメラ位置及び姿勢の両方だけでなく基準マーカを追跡する基準座標系入力２８からのイメージング装置カメラ基準座標系に変換される必要がある。

カメラ位置が既知であるならば（例えば、カメラのロケーションがカメラを支持するロボットアームの位置から導出できるロボット手術コンソールの場合）、手術室に固定された座標系内でのこの既知の位置は、ロボット手術コンソールにおける用途に特に関連した一部の実施において必要な座標変換を実行するため追跡データと一緒に使用される。（例えば、ヘッドマウント型ビデオ透視装置のような）カメラがより可動的であるその他の設備では、カメラ位置も同様に所要の座標変換を実行できるように追跡されるべきである。所要の測定及び変換の詳細は、参照によって本明細書に組み込まれた、Ｖｏｇｔ Ｓ．ら、“Ｒｅａｌｉｔｙ Ａｕｇｍｅｎｔａｔｉｏｎ ｆｏｒ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ： Ｓｙｓｔｅｍ Ａｒｃｈｉｔｅｃｔｕｒｅ、Ｓｉｎｇｌｅ Ｃａｍｅｒａ Ｍａｒｋｅｒ Ｔｒａｃｋｉｎｇ ａｎｄ Ｓｙｓｔｅｍ Ｅｖａｌｕａｔｉｏｎ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２００６、７０（２）： １７９−１９０に記載されている。

ステップ２で（ステップの順序は図２に示された順序に制限されることがなく、当然ながら、画像は処理可能である前に撮影されなければならないという制約下で、ステップがどのような順序で実行されても構わないことが理解されるであろう）、撮影画像のＮＰＲ処理は場合によっては、ウィンドウ位置入力３０からウィンドウ位置に関する入力を受け取って、図１を参照して上述されたように実行され、このウィンドウ位置入力は、一部の実施形態では、上記のウィンドウのための、視標追跡装置と、ウィンドウのオンとオフを切り替え、ウィンドウ位置を選択するユーザインターフェイスと含む。

撮影画像が処理され、ＮＰＲ画像としてシーン物体に適用され、ＡＲ物体の３次元ロケーションが上述の通り定義されると、シーン物体及びＡＲ物体は、ステップ２０でディスプレイ装置３２への表示のためレンダリングされる。この表示は、ディスプレイ装置が簡単なモニタである場合、対応するコンピュータ・グラフィックス・モデルの２次元ビューでもよく、又は、ディスプレイ装置が立体視能力を備えている場合、左右の画像からなる３次元ビューでもよい。

一部の実施形態では、上述のシステム及び方法は、最小侵襲ロボット手術コンソール、例えば、米国マウンテンビュー市、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ社によるダ・ヴィンチロボット手術コンソールに組み込まれる。このコンソールは、最小侵襲外科手術ツールを遠隔制御するロボット操作と、立体視内視鏡からオペレータの各眼に左右それぞれの画像を提供する固定位置立体視ディスプレイ装置を用いてステレオ視覚フィードバックとを行う。撮影画像は上述のように処理され、その後に、（例えば、腫瘍を表現する）ＡＲ物体と一緒にレンダリングできる。

図５ａ及びｂは、ロボット支援肺葉切除からの肺組織の左右のそれぞれの眼のビューを示している。図５ｃ及びｄは、先に参照されたＶｏｇｔらの透視ビデオアプローチの場合と同様に、シーン及び物体の両方が透明にレンダリングされているＡＲ物体の透明ＡＲオーバーレイを含む同じビューを示している。図５ｅ及びｆは、ＡＲ物体と一緒に上述の方法を使用して処理された図５ａ及びｂのシーンの左及び右のそれぞれのビューを表し、図のｇ及びｈは、それぞれ、滑らかな放射状ウィンドウを使用して合成されたａ及びｂのビューと、ｅ及びｆのビューとを表している。明瞭にわかるように、ＡＲ物体はウィンドウを通して観察され、ウィンドウ内に保存された特徴は外科医のための基準情報を維持し、オクルージョンによる付加的な奥行き手掛かりをさらに提供するため、ウィンドウは３次元シーンのより自然な解釈を与える。

上述された実施形態に対し数多くの変形が可能であることが理解されるであろう。例えば、２個以上の物体が表示されてもよく、上述の方法ステップの順序は、ある種のステップがある種の先行するステップの結果を必要とするという制約の範囲内で任意に変更可能である。さらに、透視ビジョンを基礎となる物体に提供しながら、画像の顕著な特徴を保存する上述の透明度値を決定する方法は、同時に、上述以外の多くのその他の種類のシーン、物体、及び、用途に適用できるであろう。

当然ながら、特定の実施形態だけが説明されているが、請求項に記載された対象の範囲は特定の実施形態又は実施に限定されないことが理解されるであろう。例えば、一実施形態は、装置又は装置の組み合わせで動くように実施されるようなハードウェアに属するかもしれないが、例えば、別の実施形態はソフトウェアに属することがある。同様に、ある実施形態は、例えば、ファームウェアで、又は、ハードウェア、ソフトウェア、及び／又は、ファームウェアのどのような組み合わせとして実施されてもよい。同様に、請求項に記載された対象はこの点に関して範囲が限定されないが、一実施形態は、担体、又は、記憶媒体若しくは複数の記憶媒体のような１つ以上の製品を備えることがある。例えば、１個以上のＣＤ−ＲＯＭ、固体メモリ、光磁気ディスク、及び／又は、磁気ディスク若しくはテープのような記憶媒体は、例えばコンピュータシステム、コンピューティングプラットフォーム、又は、その他のシステムのようなシステムによって実行されるとき、請求項に記載された対象による方法の実施形態、例えば、上述された実施形態のうちの一つのような実施形態が実行されるという結果をもたらす命令を記憶していることがある。一実施形態は、電気通信媒体、例えば、電気通信ネットワーク上の搬送信号を含むことがある。適当な搬送信号の実施例は、無線周波数信号、光信号、及び／又は、電子信号を含む。

可能性のある一実施例として、コンピューティングプラットフォーム又はコンピュータは、１台以上の処理ユニット又はプロセッサと、ディスプレイ、キーボード、及び／又は、マウスのような１台以上の入力／出力装置と、及び／又は、スタティック・ランダム・アクセス・メモリ、ダイナミック・ランダム・アクセス・メモリ、フラッシュメモリ、及び／又は、ハードディスク装置のような１台以上のメモリとを含むことがある。

以上の説明では、請求項に記載された対象の種々の態様が記載されている。説明の目的のため、特有の番号、システム、及び／又は、構造が、請求項に記載された対象の全体を通じた理解を与えるため記載された。しかし、請求項に記載された対象が特有の細部を用いることなく実施されることは本開示の利益を有する当業者に明白であろう。その他の例では、周知の特徴が、請求項に記載された対象を曖昧にさせないため省略及び／又は簡略化された。ある種の特徴は図示され、及び／又は、本明細書に記載されているが、今度は、数多くの変形、置換、変更、及び／又は、均等物が当業者によって想到されるであろう。したがって、当然のことながら、添付の請求項は、請求項に記載された対象の範囲に含まれるように、このような変形及び／又は変更すべてを網羅することが意図されている。

Claims (43)

1. カメラによって撮影され、複数個の画像ピクセルによって定義された撮影デジタル画像を、処理ユニットを用いて、それぞれが関連するＮＰＲ透明度値を有する複数個のＮＰＲ画像ピクセルによって定義された非写実的レンダリングされたＮＰＲ画像としてレンダリングする方法であって、 少なくとも一部のＮＰＲ画像ピクセルの透明度値が、前記処理ユニットを用いて、対応する撮影画像ピクセルに依存して決定される方法。
2. 前記処理ユニットを用いて、前記ＮＰＲ画像の背後に仮想物体をレンダリングするステップを含む、請求項１に記載の方法。
3. 前記処理ユニットを用いて、立体視ビューを定義するためさらなる撮影画像をさらなるＮＰＲ画像としてレンダリングするステップを含む、請求項１又は２に記載の方法。
4. 前記処理ユニットを用いて、前記ＮＰＲ画像内部にウィンドウを定義するステップと、
   前記処理ユニットを用いて、対応する撮影画像のピクセルに依存してウィンドウ内部に透明度値を割り当てるステップと、
   を含む、請求項１、２又は３に記載の方法。
5. 前記処理ユニットを用いて、前記ウィンドウの外側で透明度値を不透明に設定するステップを含む、請求項４に記載の方法。
6. 前記処理ユニットを用いて、前記ウィンドウ内部から該ウィンドウの外側へ透明度値を徐々に混合するステップを含む、請求項５に記載の方法。
7. 前記処理ユニットを用いて、観察者の注視に依存してウィンドウ位置を定義するステップを含む、請求項４から６のいずれか一項に記載の方法。
8. 更新要求を観察者から受けたとき、前記処理ユニットを用いて、前記ウィンドウ位置が更新される、請求項７に記載の方法。
9. 観察者の注視を追跡するために、前記処理ユニットを用いて、前記ウィンドウ位置が連続的に更新される、請求項７に記載の方法。
10. 前記処理ユニットを用いて、透明度値が前記さらなるＮＰＲ画像において割り当てられ、前記立体視ビューに従って前記ウィンドウに関してあるオフセットで位置決めされたさらなるウィンドウを定義するステップを含む、請求項３に従属する場合における請求項４から７のいずれか一項に記載の方法。
11. 前記処理ユニットを用いて、前記撮影画像中の対応するロケーションでの正規化画像強度勾配の関数として透明度値を決定するステップを含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記正規化勾配を計算するステップが、前記撮影画像中の対応するロケーションでの画像強度によって割り算された画像座標に関して偏微分を決定するステップを含む、請求項１１に記載の方法。
13. 前記処理ユニットを用いて、前記ＮＰＲ画像のエリアに対し顕著性マップを定義するステップと、
    前記処理ユニットを用いて、前記顕著性マップの対応する値の関数として透明度値を前記ＮＰＲ画像のピクセルに割り当てるステップと、
    を含む、請求項１から１２のいずれか一項に記載の方法。
14. 前記処理ユニットを用いて、前記顕著性マップが前記撮影画像の下にあるシーン中の局所傾きの関数として定義される、請求項１３に記載の方法。
15. 前記処理ユニットを用いて、前記局所傾きが前記撮影画像中の陰影に基づいて推定される、請求項１４に記載の方法。
16. 前記処理ユニットを用いて、前記局所傾きが前記撮影画像中の対応する正規化強度勾配の関数として推定される、請求項１４又は１５に記載の方法。
17. 前記処理ユニットを用いて、前記顕著性マップの対応する値の関数としてカラー値を前記ＮＰＲ画像のピクセルに割り当てるステップを含む、請求項１３から１６のいずれか一項に記載の方法。
18. 前記ＮＰＲ画像の背後にレンダリングされた物体が、前記顕著性マップの値がより低い場合にエリアを通して観察され、前記顕著性マップがより高い値を有する場合に遮蔽されているとして認知されるように、前記処理ユニットを用いて、前記透明度値及びカラー値が割り当てられる、請求項１７に記載の方法。
19. 前記処理ユニットを用いて、前記物体が医療イメージングデータから導出される、請求項２に記載の方法、あるいは、請求項２に従属する場合における請求項３から１８のいずれか一項に記載の方法。
20. 前記画像が立体視内視鏡を使用して撮影されている、請求項１９に記載の方法。
21. カメラによって撮影され、複数個の画像ピクセルによって定義された撮影デジタル画像を、それぞれが関連するＮＰＲ透明度値を有する複数個のＮＰＲ画像ピクセルによって定義されたＮＰＲ画像としてレンダリングするシステムであって、
    対応する撮影画像ピクセルに依存して少なくとも一部の前記ＮＰＲ画像ピクセルの透明度値を計算するように構成された透明度計算部を含むシステム。
22. 前記ＮＰＲ画像の背後に仮想物体をレンダリングするようにさらに構成されている、請求項２１に記載のシステム。
23. 立体視ビューを定義するためさらなる撮影画像を前記透明度計算部を使用してさらなるＮＰＲ画像としてレンダリングするように構成されている、請求項２１又は２２に記載のシステム。
24. 前記透明度計算部が、前記ＮＰＲ画像内部でウィンドウ内部に前記透明度値を割り当てるように構成されている、請求項２１、２２又は２３に記載のシステム。
25. 前記ウィンドウの外側で透明度値を不透明に設定するように構成されている、請求項２４に記載のシステム。
26. 前記ウィンドウ内部から前記ウィンドウの外側へ前記透明度値を徐々に混合するように構成されている、請求項２５に記載のシステム。
27. 観察者の注視を表す入力を有し、観察者の注視に依存してウィンドウ位置を定義するウィンドウ化モジュールを含む、請求項２４から２６に記載のシステム。
28. 前記ウィンドウ化モジュールが、更新要求を観察者から受けたとき、前記ウィンドウ位置を更新するように構成されている、請求項２７に記載のシステム。
29. 前記ウィンドウ化モジュールが、観察者の注視を追跡するため前記ウィンドウ位置を連続的に更新するように構成されている、請求項２７に記載のシステム。
30. 請求項２３に従属する場合、前記透明度計算部が、前記さらなるＮＰＲ画像において、前記立体視ビューに従って前記ＮＰＲ画像中のウィンドウに関してあるオフセットで位置決めされているさらなるウィンドウの内側に透明度値を割り当てるように構成されている、請求項２４から２９のいずれか一項に記載のシステム。
31. 前記透明度計算部が前記撮影画像中の対応する各ロケーションでの正規化画像強度勾配の関数として前記透明度値を決定するように構成されている、請求項２１から３０のいずれか一項に記載のシステム。
32. 前記透明度計算部が前記対応する各ロケーションでの画像強度によって割り算された画像座標に関して偏微分を決定することにより前記正規化画像強度勾配を計算するように構成されている、請求項３１に記載のシステム。
33. 前記透明度計算部が、前記撮影画像のエリアに対し顕著性マップを定義し、前記顕著性マップの対応する値の関数として透明度値を前記ＮＰＲ画像のピクセルに割り当てるように構成されている、請求項２１から３２のいずれか一項に記載のシステム。
34. 前記透明度計算部が前記撮影画像の下にあるシーン中の局所傾きの関数として前記顕著性マップを定義するように構成されている、請求項３３に記載のシステム。
35. 前記透明度計算部が前記撮影画像中の陰影に基づいて前記局所傾きを推定するように構成されている、請求項３４に記載のシステム。
36. 前記透明度計算部が前記撮影画像中の各正規化強度勾配の関数として推定された前記局所傾きを推定するように構成されている、請求項３４又は３５に記載のシステム。
37. 前記顕著性マップの対応する値の関数としてカラー値を前記ＮＰＲ画像のピクセルに割り当てるように構成されているカラー計算部を含む、請求項３３から３６のいずれか一項に記載のシステム。
38. 前記ＮＰＲ画像の背後にレンダリングされた物体が、前記顕著性マップが低い値を有する場合にはエリアを通して観察され、一方、前記顕著性マップが高い値を有する場合には遮蔽されているとして認知されるように、前記透明度計算部及び前記カラー計算部は、それぞれの値を割り当てるよう構成されている請求項３７に記載のシステム。
39. 前記仮想物体が医療イメージングデータから導出される、請求項２２に記載のシステム、あるいは、請求項２２に従属する場合における前記請求項２３から３８のいずれか一項に記載のシステム。
40. 画像が立体視内視鏡を使用して撮影されている、請求項３９に記載のシステム。
41. 外科手術シーンの立体視画像を撮影する立体視内視鏡と、撮影画像を観察する立体視観察装置とを含む最小侵襲手術のためのロボット手術コンソールであって、
    前記立体視内視鏡から受け取った画像をレンダリングし、前記立体視観察装置に表示するように構成された請求項２１から４０のいずれか一項に記載のシステムを含むコンソール。
42. コンピュータで実行される場合、請求項１から２０のいずれか一項に記載の方法を実施するコンピュータプログラム。
43. 請求項４２に記載されたコンピュータプログラムを格納するコンピュータ読み取り可能な媒体。

Images