JP7085982B2 - ジェスチャ制御機能を有する手術用顕微鏡、および、手術用顕微鏡のジェスチャ制御を行う方法 - Google Patents

Description

本発明は、視野を有し、少なくとも部分的に視野内に位置する検査領域をイメージングする光学イメージング装置を含む、手術用顕微鏡に関する。本発明はさらに、光学イメージング装置を含む手術用顕微鏡のジェスチャ制御を行う方法に関する。

手術用顕微鏡は、術者が外科手術を行うために手術領域に容易にアクセスできるよう、手術領域での低倍率および比較的大きな作動距離を提供することを目的とした光学デバイスである。手術領域または検査領域は、通常は光学イメージング装置によってイメージングされ、当該光学イメージング装置により、通常は立体視アイピースを介してかつ／またはモニタもしくはスクリーンを介して、術者の目に対し、検査領域の画像が形成される。当該アイピースまたはモニタもしくはスクリーンは、光学イメージング装置でイメージングされかつ画像記録用カメラによって検出された画像を表示する。

手術用顕微鏡は、術者の手術への集中維持の妨げが最小となるように設計されている。しかし、手術ワークフローは、術者が、例えば焦点、ズーム、視野など、すなわち、その時点で観察している手術領域もしくは検査領域の顕微鏡パラメータを変更するときに妨げられる。こうした顕微鏡パラメータの変更には、術者が手術器具から手を離し、顕微鏡のインタラクション手段、例えば顕微鏡ハンドル、ボタンおよび調整ホイールなどを操作することが要求される。

したがって、手術中に何らかの顕微鏡パラメータを変更するには、従来技術の手術用顕微鏡を利用している術者は、顕微鏡のインタラクション手段に手を伸ばしてこれを操作すべく、手術器具を作業場所などに置かなければならない。こうした術者の調整操作によって、手術ワークフローが中断されて術者の集中が失われることがあり、そのため、この術者は、顕微鏡アイピースから視線を外して異なる周囲光条件へ適応するという不便を強いられる。さらに、こうした調整は患者での手術を遅延させることがある。また、手術器具を置く必要から、汚染の危険も増大する。加えて、術者は、最適でない顕微鏡設定、すなわち、上述した不便および遅延を回避するための改善の余地をいまだ有する設定を利用することになりかねない。

上述した不便性は、フットスイッチおよびマウススイッチなどの、術者が顕微鏡を足もしくは口で制御できるようにする従来技術手段の開発をもたらした。フットスイッチまたはマウススイッチを利用すれば上述した欠点のうち幾つかは克服できるかもしれないが、こうした従来技術手段は直感的でなく、トレーニングを要し、全ての術者にとって便利であるとはいえない状態にとどまっている。さらに、フットスイッチは、手術用顕微鏡の視野の制御には適しておらず、手動制御と同等の正確性は得られない。したがって、顕微鏡ハンドルは顕微鏡の制御および顕微鏡とのインタラクションのための主たる手法として用いられ続けている。

したがって、本発明の課題の１つは、既存の手術用顕微鏡を、特に妨害のない手術ワークフローの点で、それぞれ例えば調整による妨害が最小に保たれる手術ワークフローの点で、さらに発展させた手術用顕微鏡を提供することにある。

さらに、本発明の課題の別の１つとして、当該手術用顕微鏡と同じ利点を提供できる方法を提供することも挙げられる。

冒頭に言及した形式の手術用顕微鏡では、上記課題は、本発明にしたがって、手術用顕微鏡がさらに、対象物の動き、例えば指および器具の少なくとも一方の動きを検出するジェスチャ検出ユニットを含み、このジェスチャ検出ユニットが、信号路を介して光学イメージング装置に接続されており、かつ対象物の動きに基づいて信号路を介して制御信号を光学イメージング装置へ出力するように構成されており、光学イメージング装置が制御信号に基づいてその状態を変更するように構成されていることにより、解決される。

冒頭に言及した形式の方法では、上記課題は、本発明にしたがって、基準点に対する動き、特にジェスチャ検出ユニットに対する対象物の動き、例えば指および器具の少なくとも一方の動きを非接触で検出する、かつ／または対象物から基準点までの距離を非接触で検出するステップと、対象物の動きに基づいて光学イメージング装置を制御するステップとを含む方法により、解決される。

以下では、本発明のさらなる実施形態を説明する。ここで説明するさらなる実施形態はそれぞれ、固有の利点および技術的効果を有し、よって、説明する他のいずれの実施形態とも任意に組み合わせることができる。

対象物の動きは、手術用顕微鏡の隣接域で、好ましくは術者の手の届く範囲内で検出可能である。より好ましくは、対象物の動きは、光学イメージング装置と検査領域との間で検出される。

動きまたは距離の非接触での検出は、光学手段または超音波手段によって実現可能である。

手術用顕微鏡の隣接域での対象物の動きの検出とは、術者が顕微鏡の側方に手を配し、何も触らずに顕微鏡を回転させまたはその位置を変えることのできる仮想ハンドルとして作用させることができるという利点を有する。

ジェスチャ制御の基準点は予め定めることができ、したがって好ましくはジェスチャ検出ユニットであってよい。当該基準点を検査領域内に配置することもできる。いずれの場合にも、対象物の絶対位置は、対象物の相対運動または相対位置の計算にしか用いられない。

こうした本発明の手術用顕微鏡は、術者が手術プロシージャへの集中を維持できるという利点、ジェスチャによる手術用顕微鏡の制御は顕微鏡ハンドルによる制御よりも迅速に行えるため手術用顕微鏡の調整中もしくは再調整中に遅延が発生しないという利点、および、術者が手術用顕微鏡の調整もしくは再調整のために手術器具を置く必要がないので汚染の危険が最小化されるという利点を有する。また、例えばフットスイッチもしくはマウススイッチを用いる場合よりも、手術用顕微鏡の手動制御はいっそう正確となる。このように、本発明の利点の１つは、術者の注意を逸らしたりまたは手術ワークフローを妨害したりせずに術者および手術ワークフローを支援できる手術用顕微鏡を提供できるということである。

本発明のジェスチャ制御機能を有する手術用顕微鏡のさらなる利点は、手術用顕微鏡の直感的操作が可能となり、モバイルフォンのオペレーティングシステムに類似した手術用顕微鏡のインタラクティブな操作手段と、手術用顕微鏡に既存の要素すなわち３Ｄカメラまたは微分干渉コントラストユニット（ＤＩＣユニット）を用いた本発明のジェスチャ制御を実現する手段とが得られ、既存の安価な手術用顕微鏡のアップグレードが提供されることである。さらに、本発明は、ボタン、フットスイッチまたはマウススイッチなどの可視の要素を追加する必要がないので、既存の手術用顕微鏡の外観を変化させない。

ジェスチャとは、指もしくは器具などの１つの対象物の動き、または、２つの対象物相互の相対運動、または、１つもしくは複数の対象物の回転であると理解されたい。１つもしくは複数の対象物の回転は、いずれかの空間軸線を中心として、例えばイメージング軸線に対して垂直なまたは平行な軸線を中心として行うことができる。こうした空間軸線を中心とした回転は任意に組み合わせ可能である。

本発明の手術用顕微鏡は、検出ユニットによって検出可能な複雑なジェスチャのセット、例えば親指を立てる、掌を開く、掌を閉じるなどを含むことができる。さらに、任意の数の指の検出、例えば２本の指の検出も、ジェスチャ検出ユニットによって１つのジェスチャとして解釈することができる。

対象物の動きは手術領域に対してほぼ平行な平面において行うことができ、これは水平運動と称することができる。イメージング軸線に対して平行な対象物の動きは、垂直運動と称することができる。

手術領域は、検査領域と称することもでき、手術もしくは検査を受ける患者の一部であって、手術用顕微鏡の視野としてアドレシング可能な部分であると理解されたい。手術用顕微鏡の視野は、顕微鏡の対物レンズの開口数と、対物レンズから検出領域までの距離とによって定められる。検出領域は、光学イメージング装置の光軸に対して、特に、光学イメージング装置のうち検査領域に面する光学要素の光軸すなわちその時点で適用されている顕微鏡対物レンズの光軸に対して、ほぼ垂直である。

手術用顕微鏡は、顕微鏡を支持するアームを含むことができ、このアームはスタンドに取り付け可能である。手術用顕微鏡には通常、ステージは設けられないが、付加的なステージを有するように修正した構成も可能である。

対象物の動きは、光学イメージング装置の視野内で検出可能である。言い換えれば、対象物の動きが光学イメージング装置の視野内で検出可能であるとは、つまり、対象物とその動きとが光学イメージング装置によってイメージングされ、術者が視認できるということである。

手術用顕微鏡はさらに、全体的な立体視アイピースのうち１つのアイピースが用いられたか、２つのアイピースが用いられたか、または、どちらのアイピースも用いられなかったかを判別するアイピース制御ユニットを含むことができる。ここでの判別部は、術者が顔をアイピースに近づけた場合にアイピースを起動可能な接近センサとして理解できる。

術者が片方の目のみを立体視アイピースに近づけた場合、使用されるほうのアイピースのみを起動可能であり、つまりこのアイピースのみに、イメージングされた手術領域を供給可能である。術者の妨げとならないよう、使用されないアイピースは起動されない。つまり、使用されないアイピースによる、イメージングされた検査領域または手術領域への障害光は伝送されない。

立体視アイピースの２つのアイピースのどちらも使用されない場合、手術用顕微鏡は照明のオフ切り替えを開始できる。照明のオフ切り替えは、好ましくは予め定められた遅延時間の後に実行可能となる。したがって、術者に対する短時間の中断は、手術用顕微鏡の照明の切り替えが開始されるほど長くはならない。

また、片方のみのアイピースの使用の検出は、術者のジェスチャとして解釈することもできる。手術用顕微鏡が片方のみのアイピースの使用を検出した場合、ジェスチャ検出ユニットは、このジェスチャを左右の選択と解釈することができ、これは、例えば手術用顕微鏡の初期化中の照明または倍率の選択などであってよい。

本発明の手術用顕微鏡の別の実施形態によれば、対象物のこうした動きを実行し、光学イメージング装置の視野の隣接域で、検査領域に面する対物レンズの光軸に対して垂直な方向で検出することができる。好ましくは、検出は、視野のうち術者が指および／または器具を届かせるのに都合がよい一方側で実行され、ここで、本発明の手術用顕微鏡のこの実施形態では、指および／または器具は、アイピースまたは顕微鏡のスクリーンを介しても術者に不可視である。

ジェスチャ検出ユニットは、光検出によって、つまり非接触で、対象物の動きを検出する。制御信号は、電気線路を介してアナログ信号またはデジタル信号の形態で出力可能であり、また、無線で受信器へ伝送することもできる。制御信号の無線伝送は、例えば、制御信号がジェスチャ制御ユニットから離れた位置にある手術用顕微鏡の被制御部材へ送信されるために電気線路の故障の危険、例えば電気線路での障害の危険が増大するような場合に有利である。

ジェスチャ検出ユニットは、手術用顕微鏡に組み込んで設けることができる。つまり、ジェスチャ検出ユニットは既存のあらゆる手術用顕微鏡に統合可能である。

また、ジェスチャ検出ユニットを、手術用顕微鏡に取り付けられる別個のユニットとして構成し、手術用顕微鏡のワイヤケーブルまたは無線コネクション手段に接続することもできる。

本発明の手術用顕微鏡の第１の有利な実施形態では、ジェスチャ検出ユニットは、検査領域と光学イメージング装置との間に位置しかつ検査領域から離間した検出領域を含み、ここで、ジェスチャ検出ユニットのジェスチャ検出は、当該検出領域内での対象物の動きに限定される。

こうした検出領域は、ジェスチャすなわち対象物の動きを検出するための３次元ボリュームと解釈すべきである。当該検出領域の外側では、対象物の動きは、光学イメージング装置へ出力される制御信号を形成しない。検出領域を検査領域から離れた位置に定めることにより、検査領域で患者の手術が行われている間、術者、特に例えばメスなどの器具によって手術用顕微鏡が調整もしくは再調整されることはないという利点が得られる。つまり、検査領域のうち光学イメージング装置によってイメージングされた部分は変更されず、術者が例えば視野の変化などによって注意を逸らされることがない。ただし、指を検出領域内へ動かすことにより、術者が手術用顕微鏡の調整もしくは再調整を行うこともできる。

本発明の手術用顕微鏡の第２の有利な実施形態では、検出領域は、少なくとも部分的に検査領域に重なる。当該実施形態では、検査領域のうち、光学イメージング装置によってイメージングされてアイピースまたはスクリーンを介して術者が視認できる部分が、動く対象物をもイメージングする。このことにより、術者が対象物の動きを正確に監視できるという利点が得られる。

検出領域は、光学イメージング装置の視野を越えて延在可能である。つまり、対象物の動きの検出は、視野によって制限されるのでない検出領域において、視野の外側で行われる。視野を越えて延在する検出領域は、例えばパン（顕微鏡の対物レンズの光軸に対してほぼ垂直な平面における手術領域もしくは検査領域のシフト）またはズーム（倍率変更）などの手術用顕微鏡の所定の調整にとって有利でありうる。

本発明の手術用顕微鏡の別の有利な実施形態では、ジェスチャ検出ユニットはさらに、検出領域内の対象物の３次元の運動を区別する運動検出モジュールを含み、この運動検出モジュールは、運動データ線路を介してジェスチャ検出ユニットに接続され、かつ対象物の動きに基づいて運動データ線路を介して運動データ信号をジェスチャ検出ユニットへ出力するように構成される。

運動検出モジュールは、その時点で適用されている顕微鏡の対物レンズの光軸に対してほぼ垂直な検出平面で行われた動きを区別できる。つまり、検出平面は検査領域に対してほぼ平行であり、検出領域内に位置する。検出領域はその時点で適用されている顕微鏡の対物レンズの光軸に沿って延在するので、多様な検出平面が可能である。

運動検出モジュールは、検出平面内の対象物の動きと、検出平面に対してほぼ垂直な方向に沿った対象物の動きとを区別できる。

運動検出モジュールは、さらに、対象物までの距離に依存する距離信号を形成するように構成可能な距離検出ユニットを含むことができる。距離検出ユニットは、距離線路を介して距離信号をバイナリ比較器へ供給でき、このバイナリ比較器によって、対象物がその時点で適用されている顕微鏡の対物レンズの光軸に沿った方向で検出領域内にあるかが判別される。

運動検出モジュールはさらに、検出平面内の動きと検出平面に対して垂直な動きとを組み合わせた動き、すなわち３次元の運動を検出するように構成可能である。

本発明の手術用顕微鏡の別の有利な実施形態では、ジェスチャ検出ユニットはさらに、運動データ線路を介して運動検出モジュールに接続された関係マッピングユニットを含み、この関係マッピングユニットは、対象物の動きと、信号路を介して光学イメージング装置へ供給される制御信号との間の関係をマッピングするように構成される。

関係マッピングユニットは、非一時性の記憶媒体に格納可能な、特定の制御信号と対象物の動きのパターンとの双方向固有の対応関係を表す関係マップを形成するように構成可能である。

関係マッピングユニットはさらに、対象物の運動データを受信して、測定された動きのパターンに対応して見出された特定の動きのパターンを符号化した信号を出力する、類似性ユニットを含むことができる。

関係マッピングユニットは、計算ユニットに接続可能であるか、または、計算ユニットを含むことができる。計算ユニットは、マイクロコントローラまたはパーソナルコンピュータなどであってよい。計算ユニットは、一般に、または、サービスおよびメンテナンス中にのみ、ユーザとのインタラクションが可能である。計算ユニットはさらに、ユーザ特有の対象物の動きを関係マップに記録するように構成可能である。

本発明の手術用顕微鏡の別の有利な実施形態では、光学イメージング装置は、制御信号に応じて位置を変化させる可動機械要素を含む。当該実施形態によれば、術者が手術用顕微鏡を機械的に制御できるという利点、例として、例えば患者領域および手術領域の種々の領域をイメージングすべく、検査領域の部分に対して視野を移動させることができるという利点が得られる。

さらに、手術用顕微鏡の機械要素が、位置および／または光強度および／または適用されるフィルタの点で調整可能な、かつ／または照明手段に対する類似の調整が可能な、可動照明手段を含む構成も考えられる。

本発明の手術用顕微鏡の別の有利な実施形態では、光学イメージング装置は、この光学イメージング装置に光学的に接続された投影ユニットを含み、この投影ユニットは、付加画像および／またはインタラクティブ画像を、イメージングされた検査領域に少なくとも部分的に重なる少なくとも１つのインタラクション部に投影するように構成される。

投影ユニットは、手術用顕微鏡の転用性およびインタラクション性の増大という利点を有する。

投影ユニットは、画像のオーバレイの可能なビームコンバイナを介して、光学イメージング装置に光学的に接続できる。別の実施形態では、投影ユニットは、付加画像および／またはインタラクティブ画像を直接に現実画像として検査領域に投影することができる。なおここでは、視認性のために、仮想画像をオーバレイすることが好ましい。

インタラクション部とは、イメージングされた検査領域の一部分であって、好ましくはイメージングされた検査領域の縁に位置する部分、より好ましくは角に位置する部分であると理解されたい。つまり、インタラクション部とは、イメージングされた検査領域のうち、手術用顕微鏡のアイピースまたはスクリーンを介してのみ可視となりうる仮想セクションである。

投影ユニットによる付加画像および／またはインタラクティブ画像のオーバレイは、例えば、不透明なオーバレイまたは半透明なオーバレイで実行可能である。

投影ユニットは、手術用顕微鏡のパラメータ、または、例えば患者のバイタルサインを含む画像を投影することができる。投影画像はさらに、本発明の方法に関連して以下に説明する機能を有する投影仮想ボタンとしても機能しうる。

上で言及した本発明の方法は主として２つのステップを有する。第１のステップでは、対象物の動きが、光学的に、つまり非接触方式で、検出される。動きの検出とは、その時点で適用されている顕微鏡の対物レンズの光軸に対してほぼ垂直な平面内の動きと、対象物からジェスチャ検出ユニットまでの距離の検出とをいう。よって、本発明の方法は、対象物の３次元の運動を検出するように構成される。

第２のステップでは、ジェスチャ検出ユニットが、対象物の動きに基づいて光学イメージング装置を制御する制御信号をこの光学イメージング装置へ供給する。

本発明の方法の第１の有利な実施形態では、当該方法はさらに、対象物の距離および運動データを計算ユニットへ供給するステップを含む。対象物の距離および運動データはデータ線路を介して供給可能であり、ここで、データはアナログまたはデジタルで符号化可能である。計算ユニットは、受信した対象物の距離および運動データを一時記憶するように構成可能である。

本発明の方法の第２の有利な実施形態では、当該方法はさらに、検出された対象物の動きを区別するステップを含む。当該区別の第１のステップは、検査領域に対して平行に配向された平面内の対象物の動きと、検査領域に対してほぼ垂直な方向の動き、すなわち、その時点で適用されている顕微鏡対物レンズの光軸に対して平行な動きとを区別すること、または、これら２つの組み合わせ運動を区別することであってよい。

本発明の方法の別の有利な実施形態には、対象物の動きと予め定められた動きのパターンとを比較するさらなるステップが含まれる。当該ステップ中、計算ユニットに格納可能な対象物の距離および運動データは、例えば関係マップに格納可能な、予め定められた動きのパターンと比較される。当該関係マップは、読み出され、測定された距離および動いている対象物の運動データと比較される。関係マップの項目それぞれにつき、測定された対象物の動きと対応する予め定められた動きのパターンとの類似度を表す類似値を出力でき、類似値どうしを比較して順序づけることができる。ここでは、測定された動きと予め定められた運動のパターンとの最高類似度を表す最高類似値を出力可能である。

本発明の方法の別の実施形態では、当該方法がさらに、対象物の動きに基づいて手術用顕微鏡の可動機械要素を制御するステップを含むと有利である。

当該方法の当該ステップでは、制御信号は、ジェスチャ検出ユニットによって形成され、信号路または無線コネクションを介して手術用顕微鏡の受信器へ供給される。当該受信器は制御信号を受信して解釈し、続いて、受信した制御信号に応じて手術用顕微鏡のステータスの変更を開始する。

本発明の方法の別の有利な実施形態では、当該方法はさらに、少なくとも１つの付加画像および／またはインタラクティブ画像を、イメージングされた検査領域の少なくとも１つのインタラクション部へ投影するステップと、対象物を予め定められたインタラクション運動のパターンと比較するステップと、少なくとも１つのインタラクション部内の対象物の動きに基づいて、光学イメージング装置および／または手術用顕微鏡を制御するステップとを含む。

こうした実施形態は、転用性および術者による非接触での光入力に応答して実行可能な機能性が増大されるという利点を有する。

当該実施形態では、イメージングされた検査領域の少なくとも１つのインタラクション部へ投影される付加画像および／またはインタラクティブ画像は、手術環境および／または患者のデータの画像を含むことができる。このような投影画像は、患者のバイタルサインまたは手術用顕微鏡のパラメータまたは術者に関心ある類似のデータであってよい。

当該方法は、対象物の位置とイメージングされた検査領域の少なくとも１つのインタラクション部の位置とを比較するように構成可能であり、さらに、対象物がインタラクション部内に位置することが検出された場合、第２の関係マップのローディングを開始することができる。第２の関係マップは、対象物がインタラクション部外の検出領域で検出された場合にローディングされる第１の関係マップと同様に、予め定められた動きのパターンの種々のセットを含むことができる。

オフライン動きが検出された後、当該方法の当該実施形態では、手術用顕微鏡の設定の変更、例えば手術用顕微鏡の照明モードもしくはイメージングモードの変更、検査領域においてその時点で観察されている部分の画像保存、または、実行すべき類似の機能を開始することができる。

オフライン運動とは、ユーザが対象物とインタラクションした後に、すなわち、対象物の運動後に実行される所定の操作を開始することであると理解されたい。例えば、顕微鏡のイメージングモードの変更は、対象物のマウスクリックに類似した垂直運動が検出された後に実行できる。反対に、オンライン運動とは、対象物が動いている間に所定の操作を直接に開始することであり、例えばイメージングされた検査領域のパン、ズームまたはチルトが挙げられる。

本発明の方法の別の有利な実施形態では、当該方法はさらに、対象物を光学的に検出するステップと、対象物のタイプを識別するために、検出された対象物と予め定められた対象物のパターンとを比較するステップと、対象物のタイプに基づいて少なくとも２つの関係マップからいずれかを選択するステップとを含む。当該方法の当該実施形態は、対象物によって制御できる可能パラメータが対象物に応じて定められるという利点を有する。つまり、メスが検出された場合、このメスの動きに基づいて行える操作を、指が検出された場合に行える操作と区別できる。このことは例えば、メスが検出された場合に、意図しないメスでの切除を回避するために、患者の動きを非アクティブ化できるという意味で、有利である。

さらに、メスが検出された場合にローディングされる関係マップは、指が検出された場合にローディングされる関係マップより精細な調整段階を有することができる。こうした区別により、手術用顕微鏡の粗調整を術者の指によって実行できる一方、メスが使用される場合には微調整を実行できる。

当該方法の当該実施形態では、２つ以上の異なる対象物が検出される場合、例えばメスまたは指のどちらの対象物が対応する関係マップのローディングを開始したかを判別するさらなるステップを含むことができる。対象物の動きにマッピングされた手術用顕微鏡の操作の所定のサブセットを全ての操作モードに設けることができ、ここで、種々の操作モードにおいて粗調整または微調整を行うことができる。

本発明の手術用顕微鏡および本発明の方法のジェスチャ検出は、適切なモデルおよびアルゴリズム、例えば３Ｄモデルベースアルゴリズム、アピアランスベースアルゴリズム、スケルトンベースアルゴリズムおよび類似のアプローチを基礎とすることができる。

ジェスチャ検出は、典型的には、ステレオカメラ、深度認識カメラ、シングルカメラまたはマルチ距離検出ユニットによって実行可能である。

上述したいずれかの実施形態における本発明の方法は、適切なタイプの非一時性の記憶媒体によって実現される。非一時性の記憶媒体は、例えば、ＣＤもしくはＤＶＤなどの光学記憶媒体、ＦＤもしくはＨＤＤなどの磁気記憶媒体、または、電荷蓄積に基づく非一時性記憶媒体（フラッシュメモリ）であってよい。これらの非一時性記憶媒体は、マイクロコントローラ内またはユーザのための入出力手段を提供しうるパーソナルコンピュータ内に配置可能である。

以下では、対象物の可能な動きの幾つかの例を、手術用顕微鏡の対応する可能な調整操作とともに示す。

以下の説明では、例となる座標系として、検査領域に対して平行な平面に配置されたｘ軸およびｙ軸と検査領域に対してほぼ垂直に配向されたｚ軸との、相互に垂直に配向された３軸を含む座標系を導入する。検査領域のうち術者に可視となるイメージング部分に対して、ｘ軸は、術者が観察する画像の左側から右側へ延在するように配向可能である。ｙ軸は、当該ｘ軸に対して垂直に配向可能であり、術者が観察する画像の下方から上方へ延在可能である。ｚ軸は、検査領域から手術用顕微鏡の光学イメージング装置へ向かうように配向可能である。

このように定義される座標系では、単独の対象物の動きは、ｘ軸に沿って、および、ｙ軸に沿って、および、ｘ軸に沿った動きとｙ軸に沿った動きとから成る１方向に沿って行うことができる。ジェスチャ検出ユニットが検出したこうした動きによって、対象物の位置に置かれた画像の定点が対象物に沿って動き、検査領域のイメージング部分の運動（スクロール／パン）を開始させることができる。

対象物で可能なさらなる動きは、半円または円の弧角セクタを記述する軌跡に沿って行われる。画像の定点（からの）こうした対象物の動きによって、検査領域のイメージング部分に、画像中心を中心とした回転を開始させることができる。

ｚ軸に沿った対象物の動きは、顕微鏡の焦点の変化すなわち作動距離を変化させることがある。対象物が動いている間の作動距離の変化を回避するために、作動距離の変更開始は、イメージングされた検査領域のうちその中心から離間して配置されうる部分に制限することができる。

また、例えば輝度および照明モードの点で、対象物の動きに基づいて照明を制御することもできる。照明強度の変更に対して、イメージングされた検査領域の条片状セクションを、術者が観察する画像の上縁に位置するように適用する構成も考えられる。つまり、画像の上縁に位置する当該セクションにおいて、照明強度を増大するには対象物を左方から右方へ動かし、相応に照明強度を低減するには対象物を右方から左方へ動かすことができる。

対象物の動きによって制御可能な他の顕微鏡パラメータとして、照明光源の偏光状態、照明モード（例えば白色光、狭帯域イメージング、緑色光）、および、光学イメージング装置の光路に導入可能なフィルタなどが挙げられる。

さらに、対象物のｚ軸に沿った動きは、マウスクリックと同様のユーザ入力として解釈可能である。特に、イメージングされた検査領域に付加画像および／またはインタラクティブ画像を投影する投影ユニットと組み合わせて、術者が、少なくとも１つの投影画像の下方に対象物（術者の指またはメス）を配し、ｚ軸に沿って対象物の動きを実行することにより、手術用顕微鏡またはその計算ユニットの予め定められた機能をトリガすることができる。イメージングされた検査領域のインタラクション部におけるｚ軸に沿ったこうした動きにより、対応するインタラクション部に関連する機能を開始できる。こうした機能として、例えば、手術用顕微鏡を種々のイメージングモードへ切り替えることが挙げられる。

イメージングされた検査領域のインタラクション部に投影される画像を焦点の種々のモードに関連づけ、こうしたインタラクション部におけるｚ方向に沿った対象物の動きによって焦点を手動からローカルへ切り替え、または、アウトフォーカスのオンオフを切り替えることもできる。

さらに、ジェスチャ検出ユニットは２つ以上の対象物を同時に検出することができ、ここで、２つの異なる対象物は、互いに向き合う方向へ、または、互いに離れる方向へ、動くことが可能である。こうした組み合わせ動きの検出により、光学イメージング装置のズームアウトもしくはズームインすなわち手術用顕微鏡の倍率変更を開始する制御信号を形成することができる。

２つの対象物の組み合わせ運動の別の可能な組み合わせから、検査領域のチルトを行うことができる。当該チルトは、その時点で適用されている対物レンズの光軸が検査領域に対して垂直に配向されていない場合に、利用可能である。さらに、回転運動と検査領域のチルトとの種々の組み合わせも可能であって、関係マップにしたがって、すなわち、上述した関係マップに予め定められた動きのパターンを記憶することにより、プログラミングできる。

特に、ズームインもしくはズームアウトもしくは視野移動のための上述したジェスチャは、スマートフォンで通常利用されているゆえに術者にもなじみ深いジェスチャにきわめてよく似ているので、例えばフットスイッチおよびマウススイッチの場合のような集中的なトレーニングは必要ない。

本発明の手術用顕微鏡および本発明の手術用顕微鏡のジェスチャ制御を行う方法は、さらに、ジェスチャ制御のアクティブ化もしくは非アクティブ化を行うオンオフジェスチャを含むことができる。任意の可能なジェスチャ、例えば、スクリーンの所定エリアもしくは検出領域の所定エリアに対象物もしくは指を配し、対象物もしくは指による仮想のダブルクリックを行うことによって、ジェスチャ制御をアクティブ化もしくは非アクティブ化できる。ここで、対象物もしくは指は、このエリアでのクリックを実行することもできるし、または、ジェスチャ制御のアクティブ化もしくは非アクティブ化のために数秒そこに留めることもできる。

さらに、ジェスチャ制御のアクティブ化もしくは非アクティブ化は、同じジェスチャもしくは異なるジェスチャによって実行できるが、オーディオコメント、手術用顕微鏡の物理ボタン、アイピースの使用、または、術者の手もしくは指もしくは対象物による複雑なジェスチャによっても実行できる。こうした複雑なジェスチャは、好ましくは、顕微鏡の隣接域で、すなわち、対象物とイメージングされるエリアとの間以外の領域で、行うことができる。特に複雑なジェスチャは、術者によるジェスチャ制御の意図しないアクティブ化もしくは非アクティブ化が生じえないという利点を有する。

手術用顕微鏡は、術者用アイピースの側方に配置可能であって、補助者が術者の邪魔にならずに検査領域での術者の措置を観察して手術をフォローできるように検査領域をイメージング可能な、補助者用アイピースを含むことができる。補助者用アイピースも、この補助者用アイピースが使用されているかを検出するセンサ装置を含むことができる。術者用アイピースが使用されておらず、補助者用アイピースのみが使用されていることを手術用顕微鏡が検出した場合、補助者用アイピースを通してイメージングされる視野を、例えば９０°回転させることによって、補助者用アイピースを使用している観察者の位置へ適合化でき、相応にジェスチャ制御の環境も９０°回転させることができる。

したがって、補助者用アイピースは、そちらの位置のほうが術者にとってより都合が良い場合、術者用アイピースとして利用することもできる。

手術用顕微鏡はさらに、視覚化手段、例えば投影ユニットまたは照明手段へ伝達されるフィードバック信号を出力するように構成可能なフィードバック形成器を含むことができる。当該フィードバック信号は、所定のジェスチャに対応する音を形成し、術者に聴取可能なフィードバックを提供する音響手段すなわちスピーカへも伝送可能である。さらに、当該フィードバック信号は、所定のジェスチャの検出を表す機械的フィードバック手段、例えば振動エレメントへも伝送可能である。

フィードバック形成器は、ジェスチャの検出を表すフィードバックの形成のみを行うように構成してもよいし、または、ジェスチャに関連する対応行動を実行するように構成してもよい。また、ジェスチャ制御に関連しない種々の顕微鏡機能、例えば最大ズーム、エラー表示、画像保存、または、患者のバイタルが注意を要する場合などの機能を含むように構成してもよい。

以下では、添付図を参照しながら本発明を例示しつつ説明する。図中、同じ機能および／または同じ技術効果を提供する要素には同じ参照番号を付してある。

図示した特徴以下に説明する特徴の組み合わせは例示にすぎない。特定の特徴の上述した技術効果が特定の用途に対して必要とされる場合または省略してかまわない場合、個々の特徴を追加または省略できる。

本発明の手術用顕微鏡の第１の実施形態の概略的な側面図が示されている。 本発明の手術用顕微鏡の第２の実施形態の概略的な正面図が示されている。 対象物の可能な種々の動きのパターンが示されている。 本発明の手術用顕微鏡の作動距離の典型的な調整が示されている。 イメージング注記を選択するための４つのインタラクション部のうち１つの例示的な用途が示されている。

図１には、本発明の手術用顕微鏡１の第１の実施形態の概略的な側面図が示されており、この手術用顕微鏡１は光学イメージング装置３を含み、この光学イメージング装置３は、例えばアイピース５を含む立体視アイピース４と、手術用顕微鏡１の側部に配置された補助者用アイピース５ａを含む補助者用立体視アイピース４ａと、対物レンズ７とを有する。光学イメージング装置３は、患者１３であってよい検査領域１１の一部である視野９を定める。

視野９は、光学イメージング装置３の開口数とｚ軸に沿って測定される作動距離１５とによって定められる。視野９はｘ軸およびｙ軸に沿って延在する。

手術用顕微鏡１はさらに、この手術用顕微鏡１のハウジング１９に取り付けられるジェスチャ検出ユニット１７を含む。ジェスチャ検出ユニット１７は、図１の実施形態では基準点３８として作用する。他の実施形態では、基準点３８は例えば検査領域１１に位置してもよい。

アイピース５および補助者用アイピース５ａは、これらのアイピース５，５ａのどちらがイメージングされた視野９の観察に用いられたかを検出するセンサ６を含む。当該センサ６は、図示の実施形態ではセンサ６ａに近接して設けられている。

ジェスチャ検出ユニット１７は２つの信号路７６を含み、ここで、第１の信号路７６は電気線路（実線）であり、第２の信号路７６は無線コネクション（破線）である。これら２つの信号路７６を介して、制御信号７７が矢印で示されているように伝送される。

実線で示されている信号路７６は、手術用顕微鏡１を支持する支持アーム８２ｂのジョイント８２ａである可動機械要素に接続されている。

ジェスチャ検出ユニット１７は、ジェスチャの検出領域２１が少なくとも部分的に光学イメージング装置３の観察領域２３に重なるよう、ｘ軸を中心としてチルトされ、かつ視野９に面して配置されている。観察領域２３は破線の囲みによって表示されている。

対物レンズ７は、ｚ軸に対して平行な光軸２５を定めている。光軸２５は対物レンズ７にしたがって配向されており、光学イメージング装置３の別の要素（例えばアイピース５）に必ずしもしたがわなくてよいことに注意されたい。

図１では、３Ｄボリュームとしての検出領域２１は、検査領域１１の視野９までの所定の距離の位置に定められている。破線で囲まれたボリューム内の（図示されていない）対象物の動きのみが検出される。つまり、上述した対象物の（ｚ軸に対する）動きまたは検出領域２１より下方の動きは無視され、制御信号を形成しない。

図２には、本発明の手術用顕微鏡１の第２の実施形態の概略的な正面図が示されている。ここでは、ジェスチャ検出ユニット１７が手術用顕微鏡１のハウジング１９内に統合されて構成されている。当該実施形態は、補助者用立体視アイピース４ａを含まない。

図２に示されている実施形態では、手術用顕微鏡１の３Ｄカメラ２７により、信号路７６を介して対象物２９の距離情報が供給される。

ジェスチャ検出ユニット１７はさらに、信号路７６ａを介して３Ｄカメラ２７からのデータが供給される運動検出モジュール７８を含む。

運動検出モジュール７８は、運動データ信号８０を、運動データ線路７９を介してジェスチャ検出ユニット１７へ供給する。

信号路７６を介して、ジェスチャ検出ユニット１７は、制御信号７７を光学イメージング装置３へ出力する。制御信号７７および運動データ信号８０は矢印で表されている。

ジェスチャ検出ユニット１７はさらに、検出された動き６５を光学イメージング装置３または可動機械要素８２によって行われる操作にマッピングする関係マッピングユニット８１を含む。

手術用顕微鏡１はさらに、付加画像および／または（図示されていない）インタラクティブ画像７１をイメージングされた検査領域へ投影するように構成された投影ユニット８３を含む。図示の実施形態では、投影ユニット８３は、光学イメージング装置３への光結合のために、ビームスプリッタ３３を利用している。

図２では、対象物２９は検出領域２１内に位置するメス３１であり、その動きがジェスチャ検出ユニット１７によって検出される。

３Ｄカメラ２７は概略的に示されているのみであって、ビームスプリッタ３３および２Ｄセンサ３５のみが示されている。２ＤセンサはＣＣＤカメラであってよい。２つのチャネルのセクション２３ａ，２３ｂをそれぞれ異なって観察できるため、視野９の３次元画像を形成ないしイメージングし、アイピース５を介して観察することができる。

図２に示されている手術用顕微鏡１の実施形態では、ジェスチャ検出ユニット１７は３Ｄカメラ２７から、特には２Ｄセンサ３５からデータを受信し、メス３１の距離データを評価する。ここで、当該距離データはメス３１の頂部からの距離３７に相当する。

図２の手術用顕微鏡１は、補助者用立体視アイピース４ａを含んでいない。

図３には、（図示されていない）対象物の種々の動きのパターンが概略的に示されており、ここでは、単手指ジェスチャ３９と２手指ジェスチャ４１とを区別できる。

可能な単手指ジェスチャ３９は、ｙ軸に沿った対象物の動き、例えば垂直ジェスチャ４３、水平ジェスチャ４５、２Ｄ組み合わせジェスチャ４７、円運動ジェスチャ４９、および、ｚ軸を測定できる場合の、ｚ方向に沿って対象物が動く上昇ジェスチャ５１である。

可能な２手指ジェスチャ４１は、位置調整ジェスチャ５３ａ，５３ｂ、ズームインジェスチャ５５およびズームアウトジェスチャ５７である。

ｚ軸に沿って可能な２手指ジェスチャ４１は、（図示されていない）２つの対象物がｚ方向に沿って動く第２の上昇ジェスチャ５９のケースで示されており、ここでは、太い矢印がそれぞれ異なる方向を指しているが、これは図に対して選択されているパースペクティブ線のためである。

図３にはさらに、可能な単手指ジェスチャ３９である回転ジェスチャ４９ａおよび円運動ジェスチャ４９も示されている。回転ジェスチャ４９ａは、ｘ‐ｙ平面において、第１の回転位置３１ａから第２の回転位置３１ｂおよび第３の回転位置３１ｃへのメス３１の回転により行われる。

図４には、メス３１の動きに基づき、光学イメージング装置によって実行される操作の例が示されている。

図４には、光学イメージング装置３の２つの状態での視野９の画像が示されている。未焦準状態６１では、画像は、不正確な作動距離とこれによる手術用顕微鏡１の焦点外れとのために暈けている。

未焦準状態６１において、メス３１は、図４では見えない（例えば図２を参照）検出領域２１内に位置している。つまり、メス３１の動きは（図示されていない）ジェスチャ検出ユニット１７によって検出され、このジェスチャ検出ユニット１７により、光学イメージング装置３の状態を変更するための制御信号が形成される。

メス３１は、矢印によって示されている動き６５を実行する。当該動き６５は、メス３１の開始位置６７で開始され、終了位置６９で終了する。

検出された動きにより、光学イメージング装置３の作動距離を制御する制御信号が形成され、当該制御信号により、光学イメージング装置３の作動距離１５の変更が開始され、手術用顕微鏡１の焦点が調整される。

メス３１が開始位置６７から終了位置６９へ移動すると、メス３１の動き６５がオンラインジェスチャとして検出される。つまり、術者は、動き６５中に直接に手術用顕微鏡１の状態変更を視認できる。

光学イメージング装置３によりイメージングされた視野９が焦準状態６３に至ると、術者はメスの動きを停止する。当該停止位置は終了位置６９に対応する。

図５には、幾つかのイメージングモードからいずれかのモードを選択するためのインタラクション部の例示的な用途が示されている。

図５には、焦準状態６３の同じ視野９が示されており、ここでは、（図示されていない）投影ユニットが、４つの半透明な画像７１を、オーバレイ方式で、イメージングされた検査領域に投影している。当該画像７１は、視野９のインタラクション部７３を定めている。当該画像７１およびインタラクション部７３には、図５の第１のビュー７５ａにおいてのみ番号が付されている。

画像７１は、対応するインタラクション部７３によってアクティブ化可能な、光学イメージング装置３の操作の視覚的フィードバックを含む。

図５では、図示されているインタラクション部７３は種々のイメージングモードに対応している。ここで、メス３１は、第１のビュー７５ａではインタラクション部７３外に位置しているが、その後、第２のビュー７５ｂでは左下のインタラクション部７３ａへ移動している。

第３のビュー７５ｃでは、メス３１の動き６５は画面から出ており、このことがｚ軸に沿った矢印で示されている。当該ジェスチャは（図示されていない）ジェスチャ検出ユニット１７によって検出され、このジェスチャ検出ユニット１７によって制御信号が形成され、この制御信号が（図示されていない）計算ユニットによって処理される。当該計算ユニットは、続いて、イメージングモードを、左下のインタラクション部７３ａに対応するものへと変更する。

図５の第３のビュー７５ｃにおいて選択されたイメージングモードは、モード「ＭＦＬ４００」である。メス３１の動き６５が認識された後、左下のインタラクション部７３ａに対応する機能をアクティブ化する動き６５が検出されたことは、左下のインタラクション部７３ａにおける代替画像７１すなわち修正画像７１の投影によって表される。

第３のビュー７５ｃに示されている動き６５はオフライン運動であり、つまり、インタラクション部７３のアクティブ化に対応する操作は動き６５の完了後でないと実行されない。

図の説明の最初の部分で既に言及したように、図１－図５に示されている実施形態は、例示のためのものであって、本発明の権利保護範囲を限定するものではないと理解されたい。したがって、任意の数のインタラクション部７３、単手指ジェスチャ３９、２手指ジェスチャ４１および視野９の機能セクションを設けることができる。

１ 手術用顕微鏡、 ３ 光学イメージング装置、 ４ 立体視アイピース、 ４ａ 補助者用立体視アイピース、 ５ アイピース、 ５ａ 補助者用アイピース、 ６ センサ、 ６ａ 近接センサ、 ７ 対物レンズ、 ９ 視野、 １１ 検査領域、 １３ 患者、 １５ 作動距離、 １７ ジェスチャ検出ユニット、 １９ ハウジング、 ２１ 検出領域、 ２３，２３ａ，２３ｂ 観察領域、 ２５ 光軸、 ２７ ３Ｄカメラ、 ２９ 対象物、 ３１ メス、 ３１ａ 第１の回転位置、 ３１ｂ 第２の回転位置、 ３１ｃ 第３の回転位置、 ３３ ビームスプリッタ、 ３５ ２Ｄセンサ、 ３７ 距離、 ３８ 基準点、 ３９ 単手指ジェスチャ、 ４１ ２手指ジェスチャ、 ４３ 垂直ジェスチャ、 ４５ 水平ジェスチャ、 ４７ ２Ｄ組み合わせジェスチャ、 ４９ 円運動ジェスチャ、 ４９ａ 回転ジェスチャ、 ５１ 上昇ジェスチャ、 ５３ａ，５３ｂ 位置調整ジェスチャ、 ５５ ズームインジェスチャ、 ５７ ズームアウトジェスチャ、 ５９ 第２の上昇ジェスチャ、 ６１ 未焦準状態、 ６３ 焦準状態、 ６５ 動き、 ６７ 開始位置、 ６９ 終了位置、 ７１ 画像、 ７３ インタラクション部、 ７３ａ 左下のインタラクション部、 ７５ａ 第１のビュー、 ７５ｂ 第２のビュー、 ７５ｃ 第３のビュー、 ７６，７６ａ 信号路、 ７７ 制御信号、 ７８ 運動検出モジュール、 ７９ 運動データ線路、 ８０ 運動データ信号、 ８１ 関係マッピングユニット、 ８２ 可動機械要素、 ８２ａ ジョイント、 ８２ｂ 支持アーム、 ８３ 投影ユニット、 ｘ ｘ軸、 ｙ ｙ軸、 ｚ ｚ軸

Claims (8)

1. 視野（９）を有する手術用顕微鏡（１）であって、少なくとも部分的に前記視野（９）内に位置する検査領域（１１）をイメージングする光学イメージング装置（３）を含む手術用顕微鏡（１）において、
   前記手術用顕微鏡（１）は、対象物（２９）の動き（６５）を検出するジェスチャ検出ユニット（１７）をさらに含み、
   前記ジェスチャ検出ユニット（１７）は、信号路（７６）を介して前記光学イメージング装置（３）に接続されており、
   前記ジェスチャ検出ユニット（１７）は、前記対象物（２９）の前記動き（６５）に基づいて、前記信号路（７６）を介して制御信号（７７）を前記光学イメージング装置（３）へ出力するように構成されており、
   前記光学イメージング装置（３）は、前記制御信号（７７）に基づいてその状態を変更するように構成されており、
   前記対象物（２９）は、第１のタイプの対象物および前記第１のタイプの対象物とは異なる第２のタイプの対象物を含む対象物のグループから選択され、
   前記ジェスチャ検出ユニット（１７）は、検出領域（２１）内での前記対象物（２９）の３次元の動き（６５）を区別する運動検出モジュール（７８）をさらに含み、
   前記検出領域（２１）は、前記検査領域（１１）と前記光学イメージング装置（３）との間に位置し、前記検査領域（１１）から離間しており、
   前記ジェスチャ検出ユニット（１７）は、運動データ線路（７９）を介して前記運動検出モジュール（７８）に接続された関係マッピングユニット（８１）をさらに含み、
   前記関係マッピングユニット（８１）は、前記対象物（２９）の動き（６５）と、前記信号路（７６）を介して前記光学イメージング装置（３）へ供給される制御信号（７７）との間の関係をマッピングするように構成されており、
   前記ジェスチャ検出ユニット（１７）は、前記対象物（２９）のタイプを決定するように構成されており、前記関係マッピングユニット（８１）は、前記対象物（２９）のタイプに基づいて、複数の関係マップから対応する関係マップを選択するように構成される、
   ことを特徴とする手術用顕微鏡（１）。
2. 前記第１のタイプの対象物は、指であり、
   前記第２のタイプの対象物は、器具である、
   請求項１記載の手術用顕微鏡（１）。
3. 前記第１のタイプの対象物のための前記関係マップは、前記光学イメージング装置（３）の粗調整のための制御信号（７７）を提供し、
   前記第２のタイプの対象物のための前記関係マップは、前記光学イメージング装置（３）の微調整のための制御信号（７７）を提供する、
   請求項１または２記載の手術用顕微鏡（１）。
4. 前記ジェスチャ検出ユニット（１７）のジェスチャ検出は、前記検出領域（２１）内での前記対象物（２９）の前記動き（６５）に制限されている、
   請求項１から３までのいずれか１項記載の手術用顕微鏡（１）。
5. 前記検出領域（２１）は、少なくとも部分的に前記光学イメージング装置（３）の観察領域（２３）に重なる、
   請求項４記載の手術用顕微鏡（１）。
6. 前記運動検出モジュール（７８）は、運動データ線路（７９）を介して前記ジェスチャ検出ユニット（１７）に接続されており、
   前記運動検出モジュール（７８）は、前記対象物（２９）の前記動き（６５）に基づいて、前記運動データ線路（７９）を介して運動データ信号（８０）を前記ジェスチャ検出ユニット（１７）へ出力するように構成されている、
   請求項４または５記載の手術用顕微鏡（１）。
7. 前記光学イメージング装置（３）は、少なくとも１つの可動機械要素（８２）を含み、前記少なくとも１つの可動機械要素（８２）の位置は、前記制御信号（７７）に依存する、
   請求項１から６までのいずれか１項記載の手術用顕微鏡（１）。
8. 前記光学イメージング装置（３）は、前記光学イメージング装置（３）に光学的に接続された投影ユニット（８３）をさらに含み、
   前記投影ユニット（８３）は、付加画像および／またはインタラクティブ画像（７１）を、少なくとも１つのインタラクション部（７３）へ投影するように構成されており、
   前記少なくとも１つのインタラクション部（７３）は、イメージングされた前記検査領域（１１）に少なくとも部分的に重なる、
   請求項１から７までのいずれか１項記載の手術用顕微鏡（１）。

Images