JP6842494B2

JP6842494B2 - 拡張現実トレーニングシステム

Info

Publication number: JP6842494B2
Application number: JP2019081780A
Authority: JP
Inventors: ▲黄▼宇軒; 張皓宇
Original assignee: Huang Yu Hsuan
Current assignee: Huang Yu Hsuan
Priority date: 2018-04-23
Filing date: 2019-04-23
Publication date: 2021-03-17
Anticipated expiration: 2039-04-23
Also published as: JP2019207401A; TWI733102B; EP3561795A1; US11373550B2; TW201944366A; US20190325785A1; EP3561795B1; CN110390851A; CN110390851B

Description

本出願は、２０１８年４月２３日に出願された米国仮出願シリアル番号６２／６６１，５１１の優先権を主張します。前記仮出願の全てが、本願に引用され組み込まれる。

本発明は、拡張現実トレーニングシステムに関する。より具体的には、顕微手術、例えば、眼科手術、神経外科手術、心臓血管手術や整形手術などのトレーニングに適用できる拡張現実トレーニングシステムに関する。

１９５５年、Ｈｕｎｔｅｒとその同僚は光学式のバーチャルリアリティシミュレーションシステムを発明した。そのシステムは、ロボットアームによって微細な動きによる入力を受信する。研究者は、電磁センサー、光学式追跡カメラ、ホールセンサー、慣性センサー、及びそれらの組合せによるシステムを利用して、器械の位置決めの精度と解像度を改善してきた。センサーでデータを収集するためには、実際の器械に代わって、特別に設計、改善した有線の器械が使用されている。そのため、これらの器械の重量感及び触覚のフィードバックは、実際の器械とは違う。

白内障手術を行う外科医にとって、器械の位置決めの精度と解像度の他、手術器械への熟練度も非常に重要である。例えば、嚢切開鉗子は、湾曲又は直線状の先端と、円形又は扁形のハンドルと、を有する。各種類の嚢切開鉗子は、それぞれ異なる操作のテクニックを要する。手術の技能と器械の種類は、関連性が高いと考えられ、特に顕微手術はその関連性が顕著である。そのため、トレーニングの際に実際の器械を使用しないと、トレーニングシステムによる効果は限られたものになる。既知の光学式追跡システムにおいて、６つの自由度での追跡を行うために、少なくとも３つの反射マークをレプリカの器械に貼付する必要がある。レプリカの器械の重量と弾性は、実際の器械とは相違している。電磁センサーを利用したシステムにおいて、検出の精度は、実際の器械の金属材料に影響される恐れがある。また、ロボットアームを利用したシステムにおいて、ユーザは実際の器械に代わってロボットアームを操作するので、実際の感触と大きく異なる。前記課題は、既知の手術トレーニングシステムにおいてよくある難点である。

また、前記トレーニングシステムは、バーチャルリアリティ内に構築されている。これらのシステムは、バーチャルリアリティの環境内に器械と目との相互作用を可視化することができない。そのため、実際の器械を観察することができない。なお、バーチャルリアリティの環境内では無視してもよいが、サイズが拡大された眼球模型に対する操作の動作は、実際の手術での動作とは大きく相違する。

本発明は、微細な動きへの追跡と実際の器械でのトレーニングを実現し、研修者の手と目の協調性を改善することが可能な拡張現実（ＡＲ）トレーニングシステムを提供することを目的とする。

前記目的に基づいて、本発明に係る拡張現実トレーニングシステム（ＡＲＴＳ）は、手術人体模型を配置する模型配置領域と、ユーザが前記手術人体模型に対してトレーニングを行う操作空間と、を有する操作台と、前記操作台に対向して設置され、カメラによって前記手術人体模型と前記手術人体模型に対して操作される器械の実際の立体映像を撮影し、拡張現実映像を前記ユーザの目に伝達する拡張現実実体顕微鏡ユニットと、前記操作空間の上方に設置され、前記器械の上部にあるマークを追跡する頂部カメラと、前記操作空間の下方に設置され、前記器械の下部を追跡する底部カメラとを有し、前記器械の位置と方向を検出して位置信号と方向信号として発信する器械追跡モジュールと、前記拡張現実実体顕微鏡ユニット及び前記器械追跡モジュールに接続され、前記器械とトレーニングプログラムとの相互作用をシミュレーションするように、前記拡張現実実体顕微鏡ユニットからの実際の立体映像と、前記器械の位置と方向に基づいた前記位置信号と前記方向信号と前記トレーニングプログラムとの相互作用によって生成された複数の仮想映像と、を重ねた拡張現実映像を生成して表示するシミュレーションモジュールと、を備える拡張現実トレーニングシステムである。

それによって、前記拡張現実トレーニングシステムは、顕微手術、例えば、眼科手術、神経外科手術、心臓血管手術や整形手術などのトレーニングに適用できる。それによって、本発明は、ユーザがトレーニングの際に実際の器械を使用する要望を満足させることができる。また、頂部カメラと底部カメラを利用することで、前記器械の位置をリアルタイムで算出することができ、それに対応する仮想映像を生成することが可能になる。前記仮想映像と、前記拡張現実実体顕微鏡ユニットが撮影した前記実際の立体映像とを重ねることで、ユーザは双眼の接眼レンズを通して拡張現実を見ることができる。前記拡張現実トレーニングシステムは、実体顕微鏡と手術用の顕微鏡の構造に合わせて設計されたので、ユーザは立体感を感じて微細な物体を観察することが可能であり、双眼の接眼レンズを通して高画質のディスプレイを見ることでリアリティを一層感じることができる。なお、前記拡張現実トレーニングシステムは、０.０２ｍｍの空間精度を得ることができるので、外科医の白内障手術のトレーニングに適用することが可能である。前記拡張現実トレーニングシステムを使用する場合、ユーザは自由に所望の手術の傷口を作ることができる。また、器械の移動経路は特に制限されていない。本発明に係る手術トレーニングの操作空間は、拡大されることがなく、実際の空間の広さに相当する。

本発明において、前記拡張現実トレーニングシステムは、多様の器械、例えば、スクレーパー、はさみ、鉗子等を追跡することが可能である。特別に設計されたカメラの設置方式と計算ソフトウェアによって、ユーザは前記拡張現実トレーニングシステムにおいて事前に登録された器械を使用することが可能であり、鉗子の開閉を含む７つの自由度での追跡を行うことができる。本発明に係るトレーニングシステムは、ワイアレスの実際の器械をユーザインターフェースとして採用するので、ユーザはトレーニングで得られた熟練の手術技能を実際の手術に活用することができ、実際の手術への移行期間を最大限に短縮することが可能になる。また、拡張現実トレーニングシステムを使用する前に、前記器械に１つ又は複数のマークを貼付する必要がある。前記マークは、受動式のマーク（例えば、光反射ボール）であってもよく、能動式のマーク（例えば、無線又は有線の充電式のＬＥＤ（発光ダイオード）モジュール）であってもよい。前記マークは前記器械の上部に貼付される。本発明の実施形態において、前記マークは受動式のマークであり、前記拡張現実トレーニングシステムの操作空間の上方には、頂部発光モジュールが設置されると好適である。頂部カメラと底部カメラとして赤外線（ＩＲ）カメラを利用した場合、頂部発光モジュールは赤外線と可視光を出射する。それによって、前記器械の上部は、前記マークによって追跡されることになる。また、前記拡張現実トレーニングシステムの操作空間の下方には、赤外線と可視光を出射する底部発光モジュールが設置されると好適である。より具体的には、前記底部発光モジュールは複数の光源を備える。それによって、ユーザは前記器械から下部までの深度を容易に判断することができる。少なくとも３つの反射マークで６つの自由度での追跡を行う既知の光学追跡システムに比べて、本発明に係る拡張現実トレーニングシステムは、１つのマークのみ必要とするので、マークが設置されても、ユーザはそのマークによる違いを無視することができ、実際の手術を行うような体験を味わうことが可能である。

本発明において、前記シミュレーションモジュールは、プロセッサとディスプレイとを備える。前記プロセッサは、前記拡張現実実体顕微鏡ユニットと前記器械追跡モジュールに接続される。前記ディスプレイは、前記プロセッサに接続され、前記拡張現実映像を表示する。より具体的には、前記ディスプレイは、右モニターと左モニターとを備える。前記拡張現実映像は、前記右モニターと前記左モニターに表示され、前記拡張現実実体顕微鏡ユニットの光学モジュールを通してユーザの目に伝達される。また、前記シミュレーションモジュールは、前記プロセッサに接続される指導パネルを備える。前記指導パネルは、前記手術人体模型の３Ｄシミュレーションモデル及び前記器械と前記トレーニングプログラムとの相互作用による３Ｄシミュレーション映像を、３次元映像として表示する。前記シミュレーションモジュールの前記プロセッサは、ユーザのトレーニングプログラムにおける操作の分析報告を、前記指導パネルに表示させると好適である。白内障手術のトレーニングの場合、前記プロセッサによって生成された仮想映像は、仮想瞳孔領域を含む。トレーニングプログラムは、前記プロセッサによって実行され、以下のトレーニングコースのうち少なくとも１つを提供する：（ｉ）少なくとも１つの仮想物体を前記仮想瞳孔領域に配置し、ユーザがトレーニングコースにおいて予定期間内に前記器械を操作する位置を記録し、前記器械の移動範囲を分析することで、ユーザが器械を使用する際の安定さを評価する。（ｉｉ）１つの仮想出発点と複数の仮想物体を前記仮想瞳孔領域に配置し、ユーザが前記器械を利用して前記仮想出発点に接触してから高さが異なる複数の仮想物体に接触する回数と時間を記録することで、ユーザの深度感覚と器械の動く速度を評価する。（ｉｉｉ）１つの仮想基準円を前記仮想瞳孔領域に配置し、ユーザが描いた仮想追跡曲線と前記仮想基準円を比較して、ユーザの円形追跡技能を評価する。（ｉｖ）少なくとも１つの仮想物体と１つの仮想目標点を前記仮想瞳孔領域に配置し、ユーザが鉗子を利用して前記仮想物体を前記仮想目標点に搬送する時間を記録し、ユーザの鉗子の使用技能を評価する。（ｖ）１つの仮想物体と、１つの仮想ガイド曲線と、１つの仮想リリース点とを、前記仮想瞳孔領域に配置し、ユーザが鉗子を利用して前記仮想物体を前記仮想ガイド曲線に沿って前記仮想リリース点まで搬送する時間を記録し、ユーザの嚢切開技能を評価する。

本発明において、前記拡張現実実体顕微鏡ユニットは、カメラモジュールと、光学モジュールと、接眼レンズとを備え、拡大した立体映像を表示してもよい。前記カメラモジュールは、実際の立体映像を撮影するように、前記操作空間に対向して設置される。前記光学モジュールは、前記接眼レンズと前記シミュレーションモジュールに対向して設置され、前記接眼レンズを通して前記拡張現実映像をユーザの目に伝達する。より具体的には、前記光学モジュールは、複数の光学レンズと、複数のプリズムと、複数のミラーと、複数の光学用ディフューザーと、複数のビームスプリッターと、を備える。それによって、前記拡張現実映像は、前記光学レンズと、前記プリズムと、前記ミラーと、前記光学用ディフューザーと、前記ビームスプリッターとを介して、ユーザの目に伝達される。

本発明において、前記手術人体模型は、白内障手術のトレーニング用の眼球模型を備える。前記眼球模型は、器械が眼球模型内に挿入するための人工傷口を有すると好適である。より具体的には、前記眼球模型は、硬底部と、前記硬底部の上に位置する柔軟部とを備える。前記人工傷口は、前記柔軟部に形成される。それによって、前記眼球模型の柔軟部と前記器械の摩擦力によって、触覚のフィードバックを提供することができる。また、前記トレーニングプログラムは、前記プロセッサによって実行され、前記人工傷口の縁部に警告マークを設置し、前記器械が前記警告マークに接触することを検知すると警告を出す。

本発明において、前記拡張現実トレーニングシステムは、前記プロセッサに接続される操作インターフェースモジュールを備える。前記操作インターフェースモジュールによって、前記拡張現実実体顕微鏡ユニットの焦平面と縮小拡大の倍率を調整することができ、前記拡張現実実体顕微鏡ユニットを移動させることも可能である。また、前記操作インターフェースモジュールによって、ユーザは光線を調整することができ、カスタマイズの機能を制御することが可能である。

本発明の前記目的、利点、特徴構成は、以下の説明と図面によってより明確になる。

本発明の実施例に係る拡張現実トレーニングシステムを示す模式図である。本発明の実施例に係る光学モジュールを示すブロック図である。本発明の実施例に係る底部カメラと、底部発光モジュールと、眼球模型とを示す分解斜視図である。本発明の実施例に係る眼球模型を示す模式図である。本発明の実施例に係る光学モジュールと、ディスプレイと、接眼レンズとを示す模式図である。本発明の実施例に係る拡張現実実体顕微鏡ユニットと、器械追跡モジュールと、操作インターフェースモジュールと、シミュレーションモジュールとの間に行われる信号の転送を示すブロック図である。本発明の実施例に係る器械の安定さのトレーニングモードにおいて拡張現実映像を示す模式図である。本発明の実施例に係る前眼房における器械移動のトレーニングモードにおいて拡張現実映像を示す模式図である。本発明の実施例に係る円形追跡のトレーニングモードにおいて拡張現実映像を示す模式図である。本発明の実施例に係る鉗子のトレーニングモードにおいて拡張現実映像を示す模式図である。本発明の実施例に係る嚢切開のトレーニングモードにおいて拡張現実映像を示す模式図である。本発明の実施例に係る前眼房における器械移動のトレーニングモードにおいて経験と探索時間の関連性を示す図である。

当業者は、本明細書の記載により本発明の利点と効果を理解できる。注意すべき点として、以下の図面は簡略化したものである。部材の数量と、形状と、サイズとは必要に応じて種々変更することができ、実際の構造は図面より複雑な場合もある。また、本発明は、複数の実施例を組合せ、必要に応じて種々変更することができる。この明細書の詳細内容についても、様々な観点や応用などに基づいて、本発明の原理に背かないことを前提として、種々変更することができる。

図１は、本発明の実施例に係る拡張現実トレーニングシステム（ＡＲＴＳ）１００を示す図である。本実施例に係る拡張現実トレーニングシステム１００は、操作台１０と、拡張現実実体顕微鏡ユニット３０と、器械追跡モジュール５０と、シミュレーションモジュール７０と、を備える。拡張現実トレーニングシステム１００において、シミュレーションモジュール７０は、拡張現実実体顕微鏡ユニット３０と器械追跡モジュール５０からの信号を受信し、拡張現実映像ＡＲをディスプレイ７３に表示させる。それによって、ユーザは、拡張現実実体顕微鏡ユニット３０を通して、ディスプレイ７３からユーザの目に映った拡張現実映像ＡＲを観察することができる。

説明のため、前記拡張現実トレーニングシステム１００を、眼科手術のトレーニング（例えば、白内障手術のトレーニング）用のシステムとする。そのため、本実施例においては、手術人体模型２０として眼球模型を利用して模式図で説明する。しかし、当然ながら、前記拡張現実トレーニングシステム１００は、眼科手術のトレーニングに限定されない。拡張現実トレーニングシステム１００は、任意のトレーニングに対応可能である。以下、本発明に係る拡張現実トレーニングシステム１００の構造と部品間の接続関係を詳しく説明する。

操作台１０は、手術人体模型２０を配置する模型配置領域１０１と、ユーザが手術人体模型２０に対してトレーニングを行う操作空間１０３と、を有する。この実施例において、操作台１０はケースで覆われるので、不要な環境光を避けることが可能である。また、ケースの内部には黒色の非反射材料が覆われるので、２次反射を避けることができる。

拡張現実実体顕微鏡ユニット３０は、操作台１０に対向して設置され（より具体的には、操作台１０の操作空間１０３の上方に設置され）、カメラによって手術人体模型２０と手術人体模型２０に対して操作される器械４０（例えば、手術器械）の実際の立体映像を撮影し、光学方式で拡張現実映像ＡＲをユーザの目に伝達する。より具体的には、拡張現実実体顕微鏡ユニット３０は、カメラモジュール３１と、光学モジュール３３と、接眼レンズ３５と、を備える。カメラモジュール３１は、実際の立体映像を撮影するように、操作空間１０３に対向して設置される。この実施例において、カメラモジュール３１は、適切な距離を置いた２つのカメラ機構（ステレオカメラ）を備える。ステレオカメラにおける２つのカメラ機構の間の距離と角度は、作業スペースの距離に合わせて変えてもよい。光学モジュール３３は、接眼レンズ３５に対向して設置され、ディスプレイ７３上の拡張現実映像ＡＲを接眼レンズ３５に伝達する。この実施例において、光学モジュール３３は、ダブルミラー３３３を備える。前記ダブルミラー３３３において、左のミラーと右のミラーは、それぞれ接眼レンズ３５の左半分と右半分に対向して設置される。図２に示すダブルミラー３３３の他、光学モジュール３３は、複数の光学レンズ３３１と、複数のプリズム３３２と、複数の光学用ディフューザー３３４と、複数のビームスプリッター３３５と、を備える。それによって、拡張現実映像ＡＲは、光学レンズ３３１と、プリズム３３２と、ダブルミラー３３３と、光学用ディフューザー３３４と、ビームスプリッター３３５とを介して、ディスプレイ７３から反射でユーザの目に伝達される。

器械追跡モジュール５０は、頂部カメラ５１と底部カメラ５３とを備え、前記器械４０の位置と方向を検出して位置信号と方向信号として発信する。頂部カメラ５１と底部カメラ５３は、赤外線カメラ、ＲＧＢカメラ、被写界深度カメラ、サーマルカメラや、他種類のカメラなどであってもよく、特に制限されない。この実施例には、赤外線カメラを頂部カメラ５１と底部カメラ５３として使用する。頂部カメラ５１は、操作空間１０３の上方に設置され、前記器械４０の上部４１（例えば、尾部）を追跡する。底部カメラ５３は、操作空間１０３の下方に設置され、前記器械４０の下部４３（例えば、頭部）を追跡する。例えば、眼科手術において、底部カメラ５３は、図３に示す中空の眼球模型２１の下方に回転可能に設置される。頂部カメラ５１と底部カメラ５３は、手術人体模型２０の手術領域内（例えば、中空の眼球模型２１における直径１０ｍｍの瞳孔領域）に焦点を合わせる。より具体的には、頂部カメラ５１は、器械４０の上部４１に貼付されたマーク４５を追跡するように、配置されている。底部カメラ５３は、器械４０の下部４３を追跡するように、配置されている。前記マーク４５は、器械４０の上部４１に貼付可能なマークであればよく、受動式のマークや能動式のマークであってもよい。この実施例には、受動式のマークを前記マーク４５として使用する。また、操作空間１０３の上方には、赤外線と可視光（例えば、白色光）を出射する頂部発光モジュール８１が設置される。例えば、前記マーク４５は小型の光反射ボールである。前記光反射ボールには、３Ｍ^TM Ｓｃｏｔｃｈｌｉｔｅ^TMの反射テープが覆われるので、どの方向からの光源であっても均一に反射することができる。マーク４５は、直径が６ｍｍであり、重量がおよそ０．８グラムである。そのため、マーク４５は器械の操作に影響を与えないので、ユーザはマークによる違いを無視することができる。実際の手術において、顕微鏡からの光は、網膜の反射によって器械４０の下部４３に当てられる。上記現象をシミュレートするために、この実施例において、図３に示すように、眼球模型２１の下方には、４つの調整可能な光源（例えば、赤外線と白色光のＬＥＤ）を備える底部発光モジュール８３が設置される。それによって、ユーザは下部４３の深度を容易に判断することができる。対称構造の鉗子を手術用の器械４０として使用する場合、手術の際に鉗子の少なくとも一端は傷口の底部に接触する。傷口の底部は、底部カメラ５３の映像の明暗によって区別できる。接触箇所が確認されると、器械４０の位置と開口の角度を算出することが可能である。頂部カメラ５１と底部カメラ５３によって事前に得られた情報に基づいて、器械の先端と、光反射ボールと、ターニングポイントとの間の長さを算出し、器械４０の三次元の位置と方向を算出することができる。なお、各種類の色や反射光の干渉を最小限に抑えるために、黒色のラテックス手袋の着用が推奨される。この実施例において、手術人体模型２０は、人体模型２３と眼球模型２１とを備える。それによって、白内障手術における物理的なフィードバックを実現することができる。また、没入感の高い環境と触覚フィードバックを提供するために、人体模型２３は、３Ｄスキャンで制作した実サイズの顔面骨模型と前頭骨模型を含む模型を修正して形成される。眼球模型２１において、図４に示すように、柔軟部２１１は硬底部２１３の上に形成される。それによって、擬似体験の良い環境と触覚フィードバックを提供することができる。この実施例には、０．２ｍｍの３Ｄプリントのノズルで酢酸ビニル（ＥＶＡ）からなる３Ｄプリント材料をプリントし、脆弱性を持つ角膜の模型として前記硬底部２１３の上に柔軟部２１１を形成する。また、人工傷口２１２は、角膜の傷口として前記柔軟部２１１に形成される。それによって、器械４０の下部４３は、人工傷口２１２を通して眼球模型２１内に挿入することができる。眼球模型２１の柔軟部２１１と器械４０の摩擦力によって、触覚のフィードバックを提供することが可能である。この実施例において、人工傷口２１２の幅は、２．４ｍｍであり、極小切開白内障手術における標準の切口と同じである。人工傷口２１２は、リアルな変形特性を持つように白内障手術の専門医によって高さが調整される。それによって、横傾斜になる鉗子の開口範囲が制限される。

その他の実施例において、拡張現実トレーニングシステム１００は、さらに操作台１０に隣接して操作空間１０３に誘導電界を生成する無線電力伝送モジュール９１（図１参照）を備える。それによって、操作空間１０３に設置されたワイヤレス充電電子装置（例えば、器械４０、眼球模型２１、底部カメラ５３、能動式のＬＥＤマーク、或いは無線充電可能な光学／電子部品）に電力を供給することが可能になる。

シミュレーションモジュール７０は、拡張現実実体顕微鏡ユニット３０及び器械追跡モジュール５０に接続され、器械４０とトレーニングプログラムとの相互作用をシミュレーションするように、拡張現実映像ＡＲを生成して表示する。拡張現実映像ＡＲは、拡張現実実体顕微鏡ユニット３０からの実際の立体映像と、器械４０の位置と方向に基づいた位置信号と前記方向信号とトレーニングプログラムとの相互作用によって生成された複数の仮想映像と、を重ねて生成された映像である。より具体的には、シミュレーションモジュール７０は、拡張現実実体顕微鏡ユニット３０と器械追跡モジュール５０に接続されるプロセッサ７１と、プロセッサ７１に接続され、拡張現実映像ＡＲを表示するディスプレイ７３と、を備える。ディスプレイ７３は、前記光学モジュール３３に対向して設置される。ディスプレイ７３に表示された拡張現実映像ＡＲは、光学モジュール３３によって接眼レンズ３５を介してユーザの目に伝達される。より具体的には、ディスプレイ７３は、右モニター７３１と左モニター７３３を備える。右モニター７３１と左モニター７３３は対向して設置され、光学モジュール３３（例えば、ダブルミラー３３３の右ミラーと左ミラー）に対向する。それによって、右モニター７３１に表示された右の拡張現実映像ＡＲは、光学モジュール３３の右半分（例えば、ダブルミラー３３３の右ミラー）によってユーザの目に伝達される。左モニター７３３に表示された左の拡張現実映像ＡＲは、光学モジュール３３の左半分（例えば、ダブルミラー３３３の左ミラー）によってユーザの目に伝達される。この実施例には、ビデオ透過（ｖｉｄｅｏｓｅｅ−ｔｈｒｏｕｇｈ、ＶＳＴ）技術をこのシステムに利用した。ディスプレイは、実際と仮想の映像を重ねた映像をユーザに提示する。実際の映像と仮想の映像に遅延時間が常に同等であり、映像同期の位置ずれがなければ、ユーザは、ＶＳＴ技術を利用したシステムで映像を快適に見ることができる。また、一般には３３ｍｓ以下の遅延時間は許容できる。顕微手術に許容できる解像度を得るために、任意のサイズの高解像度ディスプレイ、例えば、２つの２８インチの４Ｋ液晶ディスプレイを、拡張現実映像ＡＲを表示する映像表示装置として利用すると好適である。この実施例において、図５に示すように、ダブルミラー３３３の右ミラーと右モニター７３１の水平距離Ｄ１、及びダブルミラー３３３の左ミラーと左モニター７３３の水平距離Ｄ２は、３２ｃｍに設定される。それによって、視野角５０度で、角画素密度（ｐｉｘｅｌｓｐｅｒｄｅｇｒｅｅ、ＰＰＤ）の高い映像（４３ＰＰＤ）を表示し、実際の顕微手術の環境を再現することができる。また、図６に示すように、シミュレーションモジュール７０は、プロセッサ７１に接続される指導パネル７５を備える。指導パネル７５は、手術人体模型２０の３Ｄシミュレーションモデル及び器械４０とトレーニングプログラムとの相互作用による３Ｄシミュレーション映像を、３次元映像として表示する。プロセッサ７１は、ユーザのトレーニングプログラムにおける操作の分析報告を、指導パネル７５に表示させると好適である。また、実際の場合には、図６に示すように、ユーザ用の操作インターフェースモジュール６０はプロセッサ７１に接続される。例えば、操作インターフェースモジュール６０によって、拡張現実実体顕微鏡ユニット３０の焦平面と縮小拡大の倍率を調整することができ、拡張現実実体顕微鏡ユニット３０を移動させることも可能である。なお、ユーザは、操作インターフェースモジュール６０によって光線を調整することができ、カスタマイズの機能を制御することが可能である。具体的には、操作インターフェースモジュール６０は、フットペダル或いは条件を調整できる機構であればよい。プロセッサ７１は、ユーザの操作で操作インターフェースモジュール６０から指令を受信すると、対応する制御信号を生成して拡張現実実体顕微鏡ユニット３０に送信する。この実施例において、拡張現実トレーニングシステム１００は、白内障手術のトレーニングを例として示した。プロセッサ７１によって実行されるトレーニングプログラムは、警告マークを設定し、以下の４つの基本技能のトレーニングコース（器械の安定さのトレーニングと、前眼房における器械移動のトレーニングと、円形追跡のトレーニングと、鉗子のトレーニング）と、手術工程のトレーニングコース（嚢切開のトレーニング）と、を提供する。

〔傷口接触検出〕

外科医が角膜傷口の縁部に手術器械を強引に操作すると、角膜構造に不可逆的な損傷を与えてしまうことになる。また、外科医が軸コンセプト（ｐｉｖｏｔｃｏｎｃｅｐｔ）を応用すれば、前記損傷を避けることができる。しかし、操作の際に、研修者は器械の先端に細心の注意を払うが、傷口の状況まで注意を払うことが難しいと考えられる。拡張現実トレーニングシステム１００には、図７から図１１に示すように、器械４０が人工傷口の右側縁部と左側縁部に設置された警告マークＷ_１、Ｗ_２に接触すると、警告マークＷ_１、Ｗ_２の色は変化する。傷口接触検出のモードには、傷口接触の回数と、傷口接触の合計時間と、傷口接触の最大時間と、を記録して分析する。

〔器械の安定さのトレーニングモード〕

図７に示すように、６つの仮想物体P_１（６つの球体）は、同じ高さで均等に仮想瞳孔領域Ａに配置される。例えば、均等に仮想瞳孔領域Ａの縁部に配置される。器械４０（図ではスクレーパーを例示した）の下部４３が仮想物体P_１に接触すると、仮想物体P_１の色は変化する。連続接触時間が予定時間（例えば、５秒）に達すると、仮想物体は消える。ユーザは、任意の順に仮想物体P_１に接触してもよい。器械４０の下部４３が仮想物体P_１に接触すると、器械先端の位置は１秒ごとに５回記録される。Ｘ軸、Ｙ軸、及びＺ軸における動作範囲と動作の３次元空間は計算される。それによって、ユーザによる器械の安定さを評価する。

〔前眼房における器械移動のトレーニングモード〕

図８に示すように、仮想出発点Ｐ_０は、仮想瞳孔領域Ａの中心に設定される。複数の仮想物体Ｐ_１、Ｐ_２...、Ｐ_ｎ（図ではＰ_１とＰ_２しか表示されない）は異なる高さに設定され、それぞれ仮想瞳孔領域Ａに位置する。まず、ユーザは仮想出発点Ｐ_０に接触する。続いて、仮想物体Ｐ_１が現れる。仮想物体Ｐ_１が接触によって消えると、仮想出発点Ｐ_０は再び現れる。その際、ユーザは、仮想出発点Ｐ_０に戻ってから、次に現れる仮想物体Ｐ_２に接触する。前記の動作を繰り返して、予定数の全ての仮想物体Ｐ_１、Ｐ_２...、Ｐ_ｎに接触する。ユーザが持つ器械４０（図ではスクレーパーを例示した）の下部４３が仮想出発点Ｐ_０から仮想物体Ｐ_１、Ｐ_２...、Ｐ_ｎに移動する時間を、探索時間とする。合計探索時間と、最大探索時間と、合計タスク時間とを記録して分析することで、ユーザの深度感覚と器械の動く速度を評価する。

〔円形追跡のトレーニングモード〕

図９に示すように、仮想基準円Ｃ_０は、嚢切開領域として仮想瞳孔領域Ａの中心部に設定される。ユーザは、器械４０（図ではスクレーパーを例示した）の下部４３で傷口の対応位置から前記仮想基準円Ｃ_０を追跡する。ユーザは、自分の選択で時計回り或いは反時計回りに仮想基準円Ｃ_０を追跡してもよい。ユーザが描いた仮想追跡曲線Ｃ_１上の各参考点によって、仮想基準円Ｃ_０上に同じ中心角に位置する対応点を決定し、各参考点と対応点の平均距離を算出する。仮想追跡曲線Ｃ_１と仮想基準円Ｃ_０のフレシェ距離（Ｆｒｅｃｈｅｔｄｉｓｔａｎｃｅ）を算出する。タスクの所要時間は、記録されて中心角に基づいて標準化される。それによって、ユーザの円形追跡の技能を評価することができる。

〔鉗子のトレーニングモード〕

図１０に示すように、同じ位置に位置する予定数量（例えば、６つ）の仮想物体Ｐ_１（仮想物体Ｐ_１に対する操作が完了するまでに、残りの仮想物体が現れないので、図では１つの仮想物体Ｐ_１だけを示した）と、異なる位置に位置する仮想目標点Ｔと、を仮想瞳孔領域Ａに配置する。ユーザは、器械４０（図では鉗子を例示した）で仮想物体Ｐ_１を取り、注意を払って前記仮想目標点Ｔに搬送する。それによって、前記仮想物体Ｐ_１は消える。ユーザは、反時計回りの方向で前記仮想物体Ｐ_１を搬送する。ユーザが次の仮想物体Ｐ_１に着手するまでの時間を探索時間とする。前記仮想物体Ｐ_１を仮想目標点Ｔに搬送する時間を搬送時間とする。移動経路の長さの合計は、合計経路値と積算される。それによって、ユーザの鉗子の使用技能を評価することができる。

〔嚢切開のトレーニングモード〕

図１１に示すように、外科医は、前嚢に初期開口皮弁を形成した後、嚢切開鉗子（ｃａｐｓｕｌｅｆｏｒｃｅｐｓ）で近端の皮弁をつかみ、前嚢に円形の嚢切開開口が形成されるように皮弁を引く。外科医は、四分の一の開口ができると前記皮弁を離し、鉗子の先端を皮弁の他の近端に移動させる。前記動作を繰り返すことで連続した円形の嚢切開開口を作り出す。このモードには、仮想物体Ｐ_１（図では薄型のケースを例示した）と、仮想ガイド曲線Ｃ_２と、仮想リリース点Ｒとを、仮想瞳孔領域Ａに設定する。仮想物体Ｐ_１（図では薄型のケースを例示した）は、皮弁の近端として嚢切開の縁部の理想位置に配置される。ユーザは、器械で仮想物体Ｐ_１をつかみ、仮想ガイド曲線Ｃ_２に沿って仮想リリース点Ｒまで搬送する。ユーザは、４つの方向でこのタスクを繰り返し、標準の嚢切開工程を練習する。ユーザが仮想物体Ｐ_１をつかむのに所要の時間を探索時間とする。仮想物体Ｐ_１を仮想リリース点Ｒまで搬送する時間を搬送時間とする。移動経路の長さの合計は、合計経路値と積算される。それによって、ユーザの嚢切開技能を評価することができる。

〔参加者〕

２０１７年３月から４月にかけて、１名の眼科医アシスタントと、眼科研修コースに参加している１名のインターンと２名の総合医療研修医と、１８名の眼科医と、６名の白内障手術の専門医と、を含む２８名の参加者がこの研究のプログラムに参加した。眼科についての経験に基づいて、参加者は３つのグループに分けられた。（１）初心者：２年未満の研修医で、白内障手術に立ち会い又はアシストした経験があるが、人体手術についての経験が限られたもの。（２）中級者：監督下で白内障手術を行った経験があるが、独自で行った経験がないもの（この研究のプログラムに参加する前に独自で手術を行った経験がないもの）。（３）白内障手術の経験者：白内障手術についての経験が豊富で、独自で白内障手術を行うことが可能なもの。

〔介入プロセス〕

まず、標準化の方式で参加者全員に拡張現実トレーニングシステム１００の操作方法を指導した（５分間）。瞳孔の間隔を適切に調整し、５分間のウォームアップで参加者に拡張現実トレーニングシステム１００を学習させた。器械の安定さのトレーニングモードと、前眼房における器械移動のトレーニングモードと、円形追跡のトレーニングモードと、鉗子のトレーニングモーと、嚢切開のトレーニングモードの順に５つのトレーニングモードを行うことで、介入前の評価を行った。参加者の操作結果を記録した。また、操作は指導医の監視のもとで行った。

次に、トレーニングプロセスに入った。器械の安定さのトレーニングと前眼房における器械移動のトレーニングモードを５回行い、その他のトレーニングモードを１０回繰り返して行った。前記トレーニングプロセスはおよそ１時間かかった。必要に応じて、参加者は短い休憩をしてもよい。トレーニングをしたら、介入後の評価を行った。この評価においては、前記と同じ順に各トレーニングモードを行った。操作結果を記録して介入前の評価結果と比較した。その比較結果は、以下の表１に示す通りであった。

〔拡張現実トレーニングシステムの検証〕

意義のあるトレーニングシステムは、得点によって異なるスキルレベルのユーザーを評価する必要がある。本発明に係る研究は、初心者のグループ（ｎ＝１２）と白内障手術について経験豊富な医師（ｎ＝９）との介入前の結果を比較した。その比較結果は、以下の表２に示す通りであった。

他の参加者と違って、２名の医師は長年にわたって患者の頭部の上方から器械で角膜の切開を行っている。本発明に係る研究は、側頭部から人体模型に対して手術を行ったので、彼らの両手の支持姿勢と操作技能は、角膜の切開開口の各方向において影響を受け、不良な評価結果になってしまった。そのため、分析の際に、彼らの評価結果は経験豊富な医師のグループから排除された。

〔実験結果〕

〔統計分析〕

この実施例に係る統計分析は、バージョン１７．５．５のＭｅｄＣａｌｃソフトウェア（ＭｅｄＣａｌｃｓｏｆｔｗａｒｅＢＶＢＡ，Ｏｓｔｅｎｄ，Ｂｅｌｇｉｕｍ）を使用した。異なるグループの成績の差、及び訓練法における主観的な効果に関する統計的差異は、両側マンホイットニーＵ検定で評価した。介入前と介入後の操作成績は、両側ウィルコクソンの符号順位検定で評価した。顕著な差異の基準は０．０５であった。手術の経験及び手と目の協調性の関連性は、スピアマンの順位相関係数で計算され、前眼房における器械移動のトレーニングモードにおける探索時間によって定量化された。その結果は、図１２に示す通りである。

〔構築効果分析〕

経験豊富な白内障手術専門医は、全てのトレーニングモードにおいて、少なくとも１つの数値は初心者より優れていた。表１と表２に示すように、器械の安定さのトレーニングモードにおいて、Ｙ軸の動作範囲は（Ｐ＝０．４７）であった。前眼房における器械移動のトレーニングモードにおいて、合計タスク時間は（Ｐ＝．０１６）で、探索時間は（Ｐ＝．０１６）であった。円形追跡のトレーニングモードにおいて、平均長の差異は（Ｐ＝．０４２）で、フレシェ距離（Ｐ＝．０１０）であった。鉗子のトレーニングモーにおいて、探索時間は（Ｐ＝．０４３）で、搬送時間は（Ｐ＝．０１９）で、合計タスク時間は（Ｐ＝．０１８）で、経路の合計長さは（Ｐ＝．０１９）で、傷口接触時間は（Ｐ＝．０３７）であった。嚢切開のトレーニングモードにおいて搬送時間は（Ｐ＝．０４７）で、合計タスク時間は（Ｐ＝．０２３）で、経路の合計長さは（Ｐ＝．００１）で、傷口接触時間は（Ｐ＝．０４７）で、最大傷口接触時間は（Ｐ＝．０３９）であった。３１個の数値のうち、１６個は構築効果テストに合格した。

〔客観効果分析〕

表１と表２に示すように、１時間の介入プロセスの後、器械の安定さのトレーニングモードにおいて、Ｘ軸の動作範囲は（Ｐ＝．２２７５）となったが、他の数値は統計上で顕著に進歩した（Ｐ<.０５）。また、器械の安定さのトレーニングモードにおいてＺ軸の動作範囲は（Ｐ＝．０２４）となり、円形追跡のトレーニングモードにおいて傷口接触回数は（Ｐ＝．０２７）となり、嚢切開のトレーニングモードにおいて探索時間は（Ｐ＝．０３２）となったが、ほとんどの数値（２７個／３１個）は著しく異なった（Ｐ<０.０１）。

本発明に係る拡張現実トレーニングシステムは、世界初の拡張現実顕微手術のシミュレータであり、実際の器械を操作インターフェースとして利用した世界初のシステムである。本発明に係るシステムは、高い空間解像度の拡張現実立体映像を提供するほか、高い精度（２０μｍ）で手術器械をリアルタイムで追跡する機能を有する。本発明に係る拡張現実トレーニングシステムは、経験が異なるユーザによるパフォーマンスを区別し、手術の熟練度を評価するツールになるシステムである。また、操作時の３Ｄ空間の動作はすべてデータとして記録されるので、それらのデータをトレーニングのデータベースとして人工知能手術の開発に利用することが可能である。

上述の実施例は、本発明の実施形態を説明するものであり、本発明の特徴構成を説明するものであるが、本発明は上記の実施例に限定されるものではない。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれる。

１００拡張現実トレーニングシステム
１０操作台
１０１模型配置領域
１０３操作空間
２０手術人体模型
２１眼球模型
２１１柔軟部
２１２人工傷口
２１３硬底部
２３人体模型
３０拡張現実実体顕微鏡ユニット
３１カメラモジュール
３３光学モジュール
３３１光学レンズ
３３２プリズム
３３３ダブルミラー
３３４光学用ディフューザー
３３５ビームスプリッター
３５接眼レンズ
４０器械
４１上部
４３下部
４５マーク
５０器械追跡モジュール
５１頂部カメラ
５３底部カメラ
７０シミュレーションモジュール
７１プロセッサ
７３ディスプレイ
７３１右モニター
７３３左モニター
７５指導パネル
８１頂部発光モジュール
８３底部発光モジュール

Claims

拡張現実トレーニングシステムであって、
手術人体模型を配置する模型配置領域と、ユーザが前記手術人体模型に対してトレーニングを行う操作空間と、を有する操作台と、
前記操作台に対向して設置され、カメラによって前記手術人体模型と前記手術人体模型に対して操作される器械の実際の立体映像を撮影し、拡張現実映像を前記ユーザの目に伝達する拡張現実実体顕微鏡ユニットと、
前記操作空間の上方に設置され、前記器械の上部にあるマークを追跡する頂部カメラと、前記操作空間の下方に設置され、前記器械の下部を追跡する底部カメラとを有し、前記器械の位置と方向を検出して位置信号と方向信号として発信する器械追跡モジュールと、
前記拡張現実実体顕微鏡ユニット及び前記器械追跡モジュールに接続され、前記器械とトレーニングプログラムとの相互作用をシミュレーションするように、前記拡張現実実体顕微鏡ユニットからの実際の立体映像と、前記器械の位置と方向に基づいた前記位置信号と前記方向信号と前記トレーニングプログラムとの相互作用によって生成された複数の仮想映像と、を重ねた拡張現実映像を生成して表示するシミュレーションモジュールと、
を備え、
前記シミュレーションモジュールは、
前記拡張現実実体顕微鏡ユニットと前記器械追跡モジュールに接続されるプロセッサと、
前記プロセッサに接続され、前記拡張現実映像を表示するディスプレイと、
前記プロセッサに接続される指導パネルと、
を備え、
前記指導パネルは、前記手術人体模型の３Ｄシミュレーションモデル及び前記器械と前記トレーニングプログラムとの相互作用による３Ｄシミュレーション映像を、３次元映像として表示することを特徴とする拡張現実トレーニングシステム。
前記底部カメラは、回転可能に前記操作空間の下方に設置されることを特徴とする請求項１記載の拡張現実トレーニングシステム。
前記プロセッサは、前記ユーザのトレーニングプログラムにおける操作の分析報告を、前記指導パネルに表示させることを特徴とする請求項１記載の拡張現実トレーニングシステム。
前記拡張現実トレーニングシステムは、さらに前記プロセッサに接続される操作インターフェースモジュールを備え、前記操作インターフェースモジュールによって、前記拡張現実実体顕微鏡ユニットの焦平面と縮小拡大の倍率を調整し、或いは前記拡張現実実体顕微鏡ユニットを移動させることを特徴とする請求項１記載の拡張現実トレーニングシステム。
前記ユーザは、前記操作インターフェースモジュールで光線を調整することを特徴とする請求項４記載の拡張現実トレーニングシステム。
前記拡張現実実体顕微鏡ユニットは、カメラモジュールと、光学モジュールと、接眼レンズと、を備え、前記カメラモジュールは、実際の立体映像を撮影するように、前記操作空間に対向して設置され、前記光学モジュールは、前記接眼レンズと前記シミュレーションモジュールに対向して設置され、前記接眼レンズを通して前記拡張現実映像を前記ユーザの目に伝達することを特徴とする請求項１記載の拡張現実トレーニングシステム。
前記光学モジュールは、複数の光学レンズと、複数のプリズムと、複数のミラーと、複数の光学用ディフューザーと、複数のビームスプリッターと、を備え、前記拡張現実映像は、前記光学レンズと、前記プリズムと、前記ミラーと、前記光学用ディフューザーと、前記ビームスプリッターとを介して、前記ユーザの目に伝達されることを特徴とする請求項６記載の拡張現実トレーニングシステム。
前記頂部カメラと前記底部カメラは、赤外線カメラであることを特徴とする請求項１記載の拡張現実トレーニングシステム。
さらに前記操作空間の下方に設置され、赤外線と可視光を出射する底部発光モジュールを備えることを特徴とする請求項８記載の拡張現実トレーニングシステム。
さらに前記操作空間の上方に設置され、赤外線と可視光を出射する頂部発光モジュールを備えることを特徴とする請求項９記載の拡張現実トレーニングシステム。
前記マークは光反射ボールであることを特徴とする請求項１０記載の拡張現実トレーニングシステム。
前記マークは発光ダイオードモジュールであることを特徴とする請求項１記載の拡張現実トレーニングシステム。
さらに前記操作台に隣接して前記操作空間に誘導電界を生成する無線電力伝送モジュールを備えることを特徴とする請求項１記載の拡張現実トレーニングシステム。
前記手術人体模型は眼球模型を含み、前記眼球模型は、器械が挿入するための人工傷口を有することを特徴とする請求項１記載の拡張現実トレーニングシステム。
前記眼球模型は、硬底部と、前記硬底部の上に位置する柔軟部とを備え、前記人工傷口は、前記柔軟部に形成されることを特徴とする請求項１４記載の拡張現実トレーニングシステム。
前記仮想映像は仮想瞳孔領域を含むことを特徴とする請求項１４記載の拡張現実トレーニングシステム。
前記トレーニングプログラムは、前記プロセッサによって実行され、前記人工傷口の縁部に警告マークを設置し、前記器械が前記警告マークに接触することを検知すると警告を出すことを特徴とする請求項１６記載の拡張現実トレーニングシステム。
前記トレーニングプログラムは、前記プロセッサによって実行され、以下のトレーニングコースのうち少なくとも１つを提供することを特徴とする請求項１６記載の拡張現実トレーニングシステム：
（ｉ）少なくとも１つの仮想物体を前記仮想瞳孔領域に配置し、前記ユーザが前記トレーニングコースにおいて予定期間内に前記器械を操作する位置を記録し、前記器械の移動範囲を分析することで、前記ユーザが前記器械を使用する際の安定さを評価すること；
（ｉｉ）１つの仮想出発点と複数の仮想物体を前記仮想瞳孔領域に配置し、前記ユーザが前記器械を利用して前記仮想出発点に接触してから高さが異なる複数の前記仮想物体に接触する回数と時間を記録することで、前記ユーザの深度感覚と前記器械の動く速度を評価すること；
（ｉｉｉ）１つの仮想基準円を前記仮想瞳孔領域に配置し、前記ユーザが描いた仮想追跡曲線と前記仮想基準円を比較して、前記ユーザの円形追跡技能を評価すること；
（ｉｖ）少なくとも１つの仮想物体と１つの仮想目標点を前記仮想瞳孔領域に配置し、前記ユーザが鉗子を利用して前記仮想物体を前記仮想目標点に搬送する時間を記録し、前記ユーザの鉗子の使用技能を評価すること；
（ｖ）１つの仮想物体と、１つの仮想ガイド曲線と、１つの仮想リリース点とを、前記仮想瞳孔領域に配置し、前記ユーザが鉗子を利用して前記仮想物体を前記仮想ガイド曲線に沿って前記仮想リリース点まで搬送する時間を記録し、前記ユーザの嚢切開技能を評価すること。