JP5870162B2 - 画像化システム - Google Patents

Description

本発明は、立体顕微鏡法及びデジタル立体表示の分野に関する。

現代の再建手術は立体顕微鏡により可能になった。昔の作業は、血液を供給するにもかかわらず、皮膚を簡単に移植（ある場所から切り取り、他の場所に再付着させること。）できなかった。血液を供給する動脈がなければ、皮膚は機能しなくなる。付着部位から新しい皮膚が成長している間、古い血管を保持することは、どのドナーと標的部位が組み合わせ可能かについて制限された制約を課す。

この問題は、皮膚にとどまらない（手術の組織片（surgical flap）は、下部の組織（tissue）と、外科医が標的部位の血管につなぎ合わせる血管を含む。）移植をすることにより解決される。病変した血管は直径１ｍｍより小さいため、接合箇所で血液が漏れることなく流れるようにするためには、６つの小さな縫合を正確に配置するために、拡大することが必要となる。これは、単なる拡大された視野（view）にとどまらないことを意味している。縫い針が正しい角度（見る人から離れた角度を含む。）で侵入できるように、縫合の器用さは奥行き感覚を必要とする。視差の奥行き手がかりは、固定の視点を持つ顕微鏡では得られない。遠近感は、直線でない且つ限られた焦点深度の画像では役に立たない。閉塞により、縫い針が組織のどの程度上かを見ることができない。異なる角度から２つの接眼レンズ（eyepieces）へ視野（views）を届ける各々の目のためのレンズ系を用いて、立体視（stereopsis）の奥行き手掛かりを持つことは絶対不可欠である。我々は、立体的な画像（stereo view or stereoscopic view）又は立体写真（stereo）を持つものとして、立体視（stereopsis）を可能にする１対の画像（view）に言及する。差異が正しく構築されていれば、ユーザの脳は、両目による直接視と同じように、２つの画像を認識した奥行きがある１つのシーンに統合する。工業用の微小の組み立て（micro-assembly）などの他の分野でも器用な作業をするように多くの外科手術はこれに非常に依存する。

しかしながら、外科用顕微鏡においては、相当な危険性をもつ長期にわたる神経を使う手術の間中、ユーザの頭を完全に固定し、接眼レンズに対して目を保持しなければならない。これは、外科医にとってストレスの重大な原因となる。また、これは首と背中の痛みの原因となり、１時間当たり数回の休憩による中断が必要となる。

光学レンズによる拡大表示に代わるものは、デジタル又はアナログのリアルタイムカメラの出力を電子ディスプレイに表示することである。この技術は利用可能であるが、立体写真をサポートできないか、回転した画像においてユーザが手から目をそらさなければならなくなるか、又はこれらの両方の問題を持つ。自然な方向から回転された画像は、認知的困難、緊張、及び仕事（task）の学習曲線（learning curve）に加え、ユーザが「画像内の器具をこっちに回転させると、私はそっちに手を回転させなければならない。」という事実を扱うことを必要とする。

本発明の明示
第１の態様において、本発明は、手術者の作業部位の立体画像を撮影するために設けられた、表示システムと通信する画像撮影装置と、立体画像を受け取って、受け取った立体画像を表示画面上で手術者に表示するために設けられた表示システムと、を有し、表示システムは、表示画面が手術者の目と作業部位との中間に位置するように配置された画像化システムを提供する。

第２の態様において、本発明は画像を表示する方法であって、手術者の作業部位の立体画像を撮影するステップと、立体画像を表示システムに伝送するステップと、手術者の目と作業部位との中間に位置する表示画面に立体画像を表示するステップと、を含む方法を提供する。

パネルは、作業部位の上方に器具又は用具を挿入するのに十分な高さで設置される。このパネル上に、パネルの下方からの左右のカメラ画像の拡大された視野（view）を交互に入れ替える高速のディスプレイ（ＬＣＤ又はＯＬＥＤ、又は他のそのような技術が現れればその他の技術、及び当業者には明らかなもの。）が設置されてもよい。２つの異なる画像は２台のカメラから得られても良く、それに代えて適当な鏡を配置することにより１台のカメラから得られても良い。光学配置に従って、１台又は２台のカメラは完全にパネルの真下にあってもよく、又は部分的にパネルの下からはみ出ていてもよい。

手術者（operators or operators）は（１つの手術に協力する２人の外科医の場合のように）、交互に画像を遮断して、各々の目に適切な視野を見える状態にするシャッタメガネをかけてもよい。これは、ユーザの腕と手の神経支配系を介してユーザの運動皮質に現れるのと実質的に同一の場所及び方向で、ユーザの視覚系に現れる作業部位の拡大された視野を生成する。手術者の頭の動きは、自然の又は挿入された、作業部位内の物体の三次元空間の視覚的に明らかな配置において、小さな差異を作るかもしれないけれども、視覚系に見えているものとの、用具及び器具の手動制御の効果的な連携を可能にしてもよい。

本発明の一実施形態における表示パネルとシャッタメガネを示す図 本発明の一実施形態における２台のカメラ構成を示す図 本発明の一実施形態における仮想カメラの位置を示す図 本発明の一実施形態における４５°の角度の鏡を使用した場合の仮想カメラの位置を示す図 本発明の一実施形態における１台のカメラ構成を示す図 本発明の一実施形態における鏡を傾けた場合の仮想カメラの位置を示す図 本発明の一実施形態における２つのディスプレイを示す図 本発明の一実施形態における１つのディスプレイを示す図

本発明の実行可能な配置を説明する添付の図面について、本発明をさらに記述することが有効である。本発明の他の構成も可能である。従って、添付の図面の特殊性は、本発明の前述の説明の一般性に取って代わるものとして理解されるものではない。

図１は、固定支柱１６０を用いた、作業部位１１０の上の表示パネル１００を示す。表示パネル１００は、ＬＣＤパネルであってもよく、この場合、弾力性のあるアーム１６０により支持される。アームは、パネル１００を支持するのに十分に頑丈であり、且つ、手術者の便宜のためにパネルを位置付けるために移動できる程度の十分な弾力性がある。

この場合、作業部位１１０は微小の外科手術（micro0-surgery）を必要とし、それにより、動脈１４０は再付着を受けている。動脈１４０と外科用メス１５０は、作業部位１１０上に存在する要素の実例であり、２から約２０の数に調整可能な拡大率により、表示パネル１００上で動脈１４１及びメスの先端１５１として拡大されて見える。（人の細かなモータ制御は、有効な拡大率を制限する。多くの施術者において、１５倍を超える倍率は震えを表示するかもしれない。）作業部位１１０の上のパネル１００の高さは、特定の実施において調整可能であるか又は固定されてもよいが、２ｃｍ（大きな拡大）〜２０ｃｍ（より小さな拡大係数）の間で変化してもよい。特別な実施形態では、特別な倍率の範囲を使用するアプリケーションに対してパネルサイズを変化させてもよいが、我々の最初の好ましい実施形態は、作業部位の上方約８ｃｍの高さで、約１５ｃｍ×１５ｃｍの正方形のパネルを使用する。

図１に示す好ましい実施形態において、手術者／外科医により装着されて、どの目がどの画像を見るかを制御する同期化されたシャッタメガネ１３０を用いて、左右の視野を交互に入れ換えることにより立体感が実現される。しかし、十分な解像度を持ち、ユーザの快適さのために頭の動きの十分に広い範囲にわたって立体写真（stereo）をサポートする場合は、メガネ無しの「自動の立体写真（autostereo）」の解決手段が用いられても良い。同様に、もし、リアルタイムのホログラフィックのカメラと拡大されたホログラフィックの画像が実用的であれば、それらは本発明の範囲内で使用されてもよい。

ディスプレイ１００上に表示される画像は、１台又は２台のカメラ１２０により撮影される。図２に、典型的な２台のカメラ構成が示される。左目のカメラ２２０と右目のカメラ２２１は、鏡２５０を向くようにして表示パネル２００の下に位置する。作業部位２１０からの光は、鏡２５０を介して、表示パネル２００上に表示される画像を生成するカメラ２２０及び２２１に伝わる。破線２６０は、光がカメラ２２０及び２２１の方向に反射される経路を示している。鏡の配置は、人間の裸眼の両目間の見る方向の差異に幾何学的に類似する、２つの画像間の角度の相違を生じ、シャッタメガネ１３０により、又は選択された実施形態において用いられる他の立体表示機構により、画像がディスプレイ２００上に表示されて適当な目に導かれるときの奥行きの立体感を生成する。典型的に、人間の顔の代表的な６ｃｍの間隔で、目から０．５メートル離れた対象物の視野の角度の相違に対応するライン２６０間の約６°の角度は、作業部位２１０の中心の容易に目視できる位置（ユーザが手により奥行き感覚を体験する位置に実質的に一致する。）で、ユーザは奥行き感覚を十分に感じることができる。（画像はより大きくなるように配置されているため、１つ１つそれらに対応する物理的な対象物とその立体画像間の位置における正確な一致はありえない。）または、鏡２５０の位置と角度を、好ましい頭の距離や、眼の間隔の人毎の差異について、視覚的体験をカスタマイズできるように、ユーザが調整できるようにしてもよい。

見た目の奥行きは、当業者によく知られている方法で、ソフトウェアにより、ディスプレイの幅で反対の横向き方向に左と右の画像を移動させることにより、変更してもよい。

我々の最初の好ましい実施形態において、鏡２５０は平面であり、カメラ２２０及び２２１の視野を変える機能のみを提供する。しかし、適宜、鏡２５０は、焦点調節形状（それにより画像が生成される形状）を形成する曲面状であってもよい。鏡２５０が平面の場合、カメラにより収集される画像は、図３に示されるように、まさに鏡３５０又は表示パネル３００により遮られていない位置３７０及び３７１のカメラにより収集される画像である。それ故、カメラ３２０及び３２１は、これらの位置３７０及び３７１の「仮想カメラ」に相当する。本物のカメラが（空間を最も効率良く利用するために）水平であり、光の経路２６０が各画像の中心点に一致する（画像内の同一の作業部位の位置を中心に置く）場合は、仮想カメラはそれらの視軸（viewing axes）において平行でないことに注目すべきである。このような平行性は最適な立体視（stereoscopic viewing）に必要である：眼球は、立体表示の観察において、平行でない角度で回転するが、各々の目が、視野（sight）の目の中心線に対して直角のままとなるように移動する別々の画面を持たない場合は、これはカメラの角度が回転すべきであることを意味しない。左と右の視野（views）間で共有される表示画面がある場合、各カメラの軸はその画面に対して直角であるべきである。これは、図４で示されるように、４５°の鏡の角度４５０を使用することにより、仮想カメラ４７０及び４７１に可能である。（この場合、作業部位４１０の中心への光の経路４６０は、カメラ４２０及び４２１の視野（field of view）の中心とならない。）これに代えて、ソフトウェアにおける射影変換は、カメラの視野を、平行軸のカメラにより得られるカメラの視野に調整できる。鏡を使用する全ての実施形態において、表示される画像の任意の動きの方向が対応する現実世界の動きの方向に実質的に一致するように、ソフトウェアはカメラの画像を変換して、鏡により反転した光学視野を補償しければならない。

図２、３、４に示される２台のカメラのシステムに代わる物として、１台のカメラが使用されてもよい。図５は、表示パネル１００の下方に配置されている構成であって、作業部位５５０の真上の鏡の方向に向けられた水平カメラ５００を備えた構成を示す。鏡は２つの平面部５１０及び５１１を含む。２つの平面部５１０及び５１１は、上述した４５°の角度に近いが、わずかに内側に曲がっている。鏡の角度の的確な選択は、本物のカメラが反射された本物の光線５６０に沿って見るものを、仮想光線５６１に沿って見る（see）仮想カメラ５２０及び５２１の所望の配置に依存する。その角度は、当業者に容易な計算（カメラ５００から鏡の部５１０及び５１１への選択された距離と、両方の視野により画像化される作業部位上の距離と、を含む。）によって見つけられても良い。この構成は、鏡の反転のソフトウェアの反転と共に、平行のカメラにより取得される画像を生成するためにソフトウェアの調整を必ず必要とする。

表示パネル１００が水平であることは必須ではない。（ある外科手術などのように）１つの立体的な画像（stereoscopic view）が２人の協力するユーザ間で共有される場合に、これは最も便利であるけれども、ある状況において、観察者の方向に表示パネルを傾けることにより、より良い画像が得られてもよい。これにより、観察者は、より緩やかな前方姿勢から表示パネルを直角に見ることができる。正確で適切な傾きは、持続的な微小の器用な（micro-dexterous）作業のための好ましい姿勢などの人間工学の要因に従った選択であり、各アプリケーションのための綿密な研究を必要とする。ある場合には、使用者が習慣と体格によって角度を自身の快適さと便利さに適合させることができるように、角度を調整可能にすることがより好ましい。

特に協力と教育のために、別のモデルでは、屋根の側面のように傾き、稜線に沿って接触する２つの表示パネルを含む。各表示パネルは同一のカメラ又は対のカメラからの同一の立体的な画像（stereoscopic view）を示す。これは、好ましくは、節約と、各ユーザが（参照の目（reference eye）の位置（それのためにシステムは最適化される。）からの個々のずれ（departures）によりわずかに異なるように変形されるけれども）同一の画像を正確に見ることを確実にすることの両方の理由で、各パネルに別個の立体的な画像を与える。そのように同一の立体的な画像の表示により、特定の言葉（utterance）が何を言及しているのかに関して、外科医と外科医との間又は指導者と訓練生との間の、聞き違いの危険性が最小化される。例えば、外科用メスの先端がポインタ（pointer）として使用される場合、同一の物理的な先端（point）が、両方の画像においてそれの後ろに正確に現れる。

これまで説明したように、視野は、垂直に下側を見る顔の１対の目により見られる拡大された視野に対応する。しかしながら、図１が示しているように、外科医の目は一般的には手術部位の真上にはない。それ故、完全に垂直な視野は、ある程度の不一致を生じさせる。例えば、物理的な場面で垂直に動かされる物体は、使用者の手の制御における方向感覚と一致せずに、仮想の場面では観察者の方向に一直線に上昇しているように見える。これは、一人の観察者のために、表示画面を単に傾けて、垂直方向を作業部位から外科医の目の鼻梁への直線に置き換えることにより、訂正されてもよい。

これに代えて、我々は鏡の対５１０及び５１１（又は２台のカメラ構成についても同様）をわずかに傾けても良い。我々が、それらの共通線を４５°より垂直に近づくように傾ければ、仮想カメラ６２０及び６２１と作業部位６５０の平面は、この変化を２回経て傾き、カメラと反対側から装置と対向する外科医に適した視野を生成する。反対方向に傾けることにより、カメラに近い側の外科医に適した視野を提供できる。（また、画像のソフトウェア操作により容易に成し遂げられる、ディスプレイの外科医の視野において短縮遠近法で描くことを可能にする、ディスプレイ１００上に表示される画像の高さの必要な調整がある。）

多くの超微細手術は、手術部位の両側の２人の協力する外科医を必要とする。今述べたような傾きは、同一画像について、両方の外科医のために正しく調整することができない。最も経済的な解決は、この目的のために現在使用されている２人の使用者の外科用顕微鏡などの場合のように、２人の両方が見ることができる妥協点として、垂直視野を受け入れることである。これに代えて、外科医は、彼らの自然な方向の作業部位７１０を見るために自身の傾けられたディスプレイ７０１及び７０２を各々持つことができるか、又は、外科医は４つの画像（使用される鏡の配置によって、１、２、又は４台のカメラにより取得される作業部位８１０の適切な視野を示す、外科医１の左目の視野、外科医２の左目の視野、外科医１の右目の視野、及び外科医２の右目の視野）が交互に入れ替わる１つのディスプレイ８０１を共同使用することができる。図２から図６において、それらを一般化する適切な鏡構成が当業者には明らかである。これは、１／６０秒（動画像において快適な標準である。）で４枚の画像を循環させることが可能なディスプレイと、ディスプレイに同期したシャッタメガネ（各々の目が、４枚の画像の各々の順番のうち、見ることを意図していない３枚の画像を見てしまうことを防ぐことを可能にする。）と、を必要とする。必要とされる２４０／秒のフレームレートは、現時点ではＬＣＤ技術においては見込みはなさそうであるが、ＯＬＥＤディスプレイの潜在的な能力が十分に対応できる範囲内にある。

Claims (6)

1. 手術者の作業部位の立体画像を撮影するために設けられた、電子表示システムと通信する画像撮影装置と、
   前記立体画像を受け取って、前記立体画像を表示画面上で前記手術者に表示するために設けられた電子表示システムと、
   を有し、
   前記電子表示システムは、前記表示画面が手術者の目と作業部位との中間に位置するように配置され、
   前記画像撮影装置は、カメラと２つの鏡とを含み、
   前記鏡は、前記作業部位の異なる画像を受け取り、前記受け取った画像を前記表示画面に平行な経路に沿ってカメラに向けるために設けられ、
   前記カメラは、交互の順序で前記電子表示システムに前記画像を出力するために設けられる
   画像化システム。
2. 前記手術者の目、前記表示画面、及び前記作業部位は整列される、請求項１に記載のシステム。
3. 前記表示画面は、選択的に前記表示画面を前記手術者の目と前記作業部位との整列に出入りすることが可能となるように、選択的に移動可能なフレームにより支持される、請求項１または２に記載のシステム。
4. 前記手術者に装着されて、前記表示画面上で交互の画像を手術者に見せるために設けられたシャッタメガネを、更に含む請求項１から３のうちのいずれか一に記載のシステム。
5. 前記鏡が曲面状である請求項１から４のうちのいずれか一に記載のシステム。
6. 前記電子表示システムは、二人の手術者が前記作業部位内で同時に作業できるように、２つの表示画面を含む、請求項１から請求項５のうちのいずれか一に記載のシステム。

Images