JP7393842B1 - 支援システム、支援装置、被支援装置 - Google Patents

Abstract

支援システムは、被支援装置と、被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、支援装置は、指導者の手の位置を３次元で検出する３次元位置検出部と、３次元位置検出部により検出された手の位置を示す位置情報を送信するデータ送信部と、を備え、被支援装置は、送信された位置情報に基づいて、導者の手が模された３次元の手モデル画像を生成する第１画像生成部と、被支援装置により撮像された撮像画像に対して手モデル画像を合成して第１合成画像を生成する第１画像合成部と、を備える。

Description

本発明は、施術者に対して遠隔地から指導者が指導を行うための技術に関する。

施術者が、遠隔地にいる指導者の指示を受けながら患者に対して施術を行うことのできる支援システムが知られている。この支援システムは、例えば経験の少ない執刀医（施術者）が、経験豊かな指導医（指導者）の指導を受けながら手術を行うときなどに用いられる。

特許文献１に開示された発明によれば、患者に挿入された内視鏡による撮像画像（以下、内視鏡画像とも表記する。）を表示するモニタが遠隔地に設置され、遠隔地にいる指導医は当該モニタに表示された内視鏡画像を観察しながら指示を入力することができる。そして手術室側のモニタには、内視鏡画像に遠隔地で入力された指示内容を重畳した合成画像が表示され、執刀医は、遠隔地にいる指導医の指示を受けながら患者の手術を行うことができる。

上述の支援システムによれば、経験の少ない施術者であっても、モニタに表示された撮像画像を指導者に観察してもらい指示を受けることで、患者に対して確実な施術を行うことができるとともに、施術者自身の技能を向上させることができる。

特開２０００－２７１１４７号公報

上述した内視鏡手術など施術対象（患者）の安全性が要求されるような分野においてこのような支援システムを採用する場合、指導者の指示内容を表示するだけでは、施術者は、指導者の指示内容を理解しにくい場合も考えられる。
本発明は上記事情に鑑みてなされたものであり、遠隔地にいる指導者が施術者に適切な支援を行えるような支援システムを提供することを目的とする。

本発明に係る情報処理装置は、被支援装置と、前記被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、前記支援装置は、指導者の手の位置および指示内容を３次元で検出する３次元位置検出部と、前記３次元位置検出部により検出された手の位置を示す位置情報および前記指示内容を示す指示内容情報を送信するデータ送信部と、を備え、前記被支援装置は、送信された前記位置情報に基づいて前記指導者の手が模された３次元の手モデル画像を生成するとともに、送信された前記指示内容情報に基づいて３次元のアノテーション画像を生成する第１画像生成部と、前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第１合成画像を生成するとともに、前記撮像画像に対して前記手モデル画像および前記アノテーション画像を合成して第２合成画像を生成する第１画像合成部と、前記第２合成画像を表示する第１モニタと、前記第１合成画像を前記支援装置に送信するデータ送信部と、を備え、前記支援装置は、前記位置情報に基づいて手モデル画像を生成するとともに、前記指示内容情報に基づいてアノテーション画像を生成する第２画像生成部と、前記被支援装置から送信された前記第１合成画像に、前記手モデル画像および前記アノテーション画像を合成して第３合成画像を生成する第２画像合成部と、前記第３合成画像を表示する第２モニタと、を備える。

これにより、被支援装置では、遠隔地にいる指導者の手を模した手モデル画像が表示されるため、施術者は、指導者の手の動きを把握することが可能となる。したがって、施術者は、指導者の指示内容をより正確に理解することが可能となる。

本発明によれば、遠隔地にいる指導者が施術者に適切な支援を行えることができる。

支援システムを説明する図である。 内視鏡画像を示す図である。 内視鏡画像に手モデル画像を重畳した合成画像を示す図である。 内視鏡画像に手モデル画像およびアノテーション画像を重畳した合成画像を示す図である。 内視鏡画像にアノテーション画像を重畳した合成画像を示す図である。 施術側装置の構成の一例を示すブロック図である。 指導側装置の構成の一例を示すブロック図である。 第１の実施形態における支援システムの機能的構成およびデータの流れを説明する図である。 ３次元の手モデル画像を生成する際の３次元仮想空間を説明する図である。 ３次元の手モデル画像の生成方法を説明する図である。 ３次元の手モデル画像およびアノテーション画像を生成する際の３次元仮想空間を説明する図である。 ３次元の手モデル画像およびアノテーション画像の生成方法を説明する図である。 ３次元のアノテーション画像を生成する際の３次元仮想空間を説明する図である。 ３次元のアノテーション画像の生成方法を説明する図である。 施術側合成画像データに基づく合成画像に、３Ｄ画像データに基づく手モデル画像およびアノテーション画像を重畳した合成画像を示す図である。 視差調整時の３次元のアノテーション画像の生成方法を説明する図である。 第２の実施形態における支援システムの機能的構成およびデータの流れを説明する図である。

以下、実施形態について説明する。なお、以下で説明する各構成は、本発明を実現するための一例を示したものにすぎない。従って、本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて様々な変更が可能である。また一度説明した構成については重複を避けるため、以降、同一符号を付して再度の説明を省略することがある。

＜１．第１の実施形態＞
［１－１．支援システムの概要］
図１は、支援システム１を説明する図である。図２は、内視鏡画像５０を示す図である。図３は、内視鏡画像５０に手モデル画像５１を重畳した合成画像５３を示す図である。図４は、内視鏡画像５０に手モデル画像５１およびアノテーション画像５２を重畳した合成画像５４を示す図である。図５は、内視鏡画像５０にアノテーション画像５２を重畳した合成画像５５を示す図である。
なお、手モデル画像５１およびアノテーション画像５２は、実際には３Ｄ（３次元）画像であるが、図３～図５では２Ｄ（２次元）画像として示している。また、内視鏡画像５０は、３Ｄ画像であっても２Ｄ画像であってもよいが、図２～図５では２Ｄ画像として示している。

図１に示すように、支援システム１は、手術室Ｒｍ１にいる施術者４が使用する施術側装置２と、手術室Ｒｍ１と離隔した指導室Ｒｍ２にいる指導者６が使用する指導側装置３とを備える。したがって、施術側装置２と指導側装置３とは、離隔して設けられている。

例えば施術者４は患者５の執刀医であり、指導者６は施術者４を指導する指導医であることが想定されており、支援システム１では、施術者４が指導者６による指示を確認しながら患者５への手術を行うことができる。

施術側装置２は、内視鏡１１および３Ｄモニタ１２を備えている。指導側装置３は、３Ｄモニタ２１および３次元位置検出部２２を備えている。

３Ｄモニタ１２および３Ｄモニタ２１は、ＬＣＤ（Liquid Crystal Display）等のフラットパネルに、奇数列のライン（水平方向の画素列）と偶数列のラインとで異なる偏光方向の偏光フィルタが交互に重ねられており、所謂ラインバイライン方式で３Ｄ（３次元）画像を表示可能なモニタである。
なお、３Ｄモニタ１２および３Ｄモニタ２１は、例えば、奇数列のラインに右回転円偏光フィルタが重ねられ、偶数列のラインに左回転円偏光フィルタが重ねられている。

施術者４は、偏光メガネ７を装着して３Ｄモニタ１２を視認する。偏光メガネ７は、右眼側と左眼側とで異なる偏光方向の偏光フィルタが取り付けられている。なお、偏光メガネ７は、例えば、右眼側に右回転円偏光フィルタが取り付けられており、左眼側に左回転円偏光フィルタが取り付けられている。

したがって、偏光メガネ７を装着した施術者４は、３Ｄモニタ１２を視認したときに、右眼には奇数列のラインの画像だけが見え、左眼には偶数列のラインの画像だけが見える。
同様に、指導者６は、偏光メガネ７を装着して３Ｄモニタ２１を視認したときに、右眼には奇数列のラインの画像だけが見え、左眼には偶数列のラインの画像だけが見える。

このように、３Ｄモニタ１２および３Ｄモニタ２１は、施術者４および指導者６それぞれに偏光メガネ７を介して右眼および左眼に異なる画像（視差画像）を見せることで、３Ｄ画像を見せることが可能となっている。

なお、３Ｄモニタ１２および３Ｄモニタ２１は、奇数列のラインと偶数列のラインとに同一の画像を表示することで、施術者４および指導者６に２Ｄ画像を見せることも可能である。

支援システム１では、施術側装置２において、例えば患者５の体腔内に内視鏡１１が挿入されることで、図２に示すような体腔内の内視鏡画像５０が３Ｄモニタ１２に表示される。施術者４は、３Ｄモニタ１２で内視鏡画像５０を確認することができる。なお、内視鏡画像５０は、３Ｄ画像であってもよく、また、２Ｄ画像であってもよい。

内視鏡画像５０は、指導室Ｒｍ２にある指導側装置３の３Ｄモニタ２１にも表示される。指導者６は、指導室Ｒｍ２にいながら３Ｄモニタ２１により内視鏡画像５０を確認することができる。

指導側装置３は、詳しくは後述するように、指導者６の手の位置（座標）を３次元位置検出部２２によって３次元で検出することが可能である。指導側装置３では、３次元位置検出部２２で検出された指導者６の手の位置に基づいて、内視鏡画像５０上に指導者６の手を模した３次元の手モデル画像５１を表示する。
すなわち、指導側装置３では、図３に示すような内視鏡画像５０に手モデル画像５１が重畳された合成画像５３を３Ｄモニタ２１に表示する。
これにより、指導者６は、内視鏡画像５０に対する自身の手の動きを手モデル画像５１によって３次元で確認しながら、指示内容を入力することができる。

また、指導側装置３では、３次元位置検出部２２で検出される指導者６の手の所定の動き（ジェスチャ）によって、指示内容を操作入力することができる。当該入力により、指導側装置３では、内視鏡画像５０上に指導者６の指示内容（操作入力）を示すアノテーション画像５２を表示する。

すなわち、指導側装置３では、図４に示すような内視鏡画像５０に手モデル画像５１およびアノテーション画像５２が重畳された合成画像５４を３Ｄモニタ２１に表示する。
これにより、指導者６は、内視鏡画像５０に対する自身の指示内容をアノテーション画像５２によって３次元で確認することができる。

一方、施術側装置２では、指導者６による指示内容に基づいて、図５に示すような内視鏡画像５０にアノテーション画像５２が重畳された合成画像５５を３Ｄモニタ１２に表示する。
これにより、施術者４は、３Ｄモニタ１２に表示された指導者６の指示内容を３次元で確認しながら患者５に対する施術を行うことができる。

［１－２．施術側装置２の構成］
図６は、施術側装置２の構成の一例を示すブロック図である。図６に示すように、施術側装置２は、内視鏡１１および３Ｄモニタ１２に加え、ＣＰＵ（Central Processing Unit）１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＧＰＵ（Graphics Processing Unit）１６を備えるコンピュータを含んだ構成である。

ＣＰＵ１３は、ＲＯＭ１４または記憶部１９に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ１５には、ＣＰＵ１３が各種の処理を実行する上で必要なデータなども適宜記憶される。

ＧＰＵ１６は、ＣＰＵ１３からの描画命令に従って、３Ｄコンピュータグラフィックスによる描画処理（例えばシェーダー処理）を行い、描画処理後の画像を図示しないフレームバッファに格納する。そして、ＧＰＵ１６は、フレームバッファに格納された画像を３Ｄモニタ１２に出力する。

ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５およびＧＰＵ１６は、バス１７を介して相互に接続されている。バス１７には、内視鏡１１、３Ｄモニタ１２、通信部１８、記憶部１９も接続されている。

通信部１８は、指導側装置３との間で有線または無線による通信を行う。

記憶部１９は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶媒体より構成される。記憶部１９には、例えば各種情報を記憶可能とされる。また、記憶部１９は、ＣＰＵ１３が各種の処理を実行するためのプログラムデータの格納にも用いることが可能とされる。

図７は、指導側装置３の構成の一例を示すブロック図である。図７に示すように、指導側装置３は、３Ｄモニタ２１および３次元位置検出部２２に加え、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、ＧＰＵ２６を備えるコンピュータを含んだ構成である。

ＣＰＵ２３は、ＲＯＭ２４または記憶部２９に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ２５には、ＣＰＵ２３が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＧＰＵ２６は、ＣＰＵ２３からの描画命令に従って、３Ｄコンピュータグラフィックスによる描画処理（例えばシェーダー処理）を行い、描画処理後の画像を図示しないフレームバッファに格納する。そして、ＧＰＵ２６は、フレームバッファに格納された画像を３Ｄモニタ２１に出力する。

ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５およびＧＰＵ２６は、バス２７を介して相互に接続されている。バス２７には、３Ｄモニタ２１、３次元位置検出部２２、通信部２８、記憶部２９も接続されている。

通信部２８は、施術側装置２との間で有線または無線による通信を行う。

記憶部２９は、例えばＨＤＤやＳＳＤなどの記憶媒体より構成される。記憶部２９には、例えば各種情報を記憶可能とされる。また、記憶部２９は、ＣＰＵ２３が各種処理を実行するためのプログラムデータの格納にも用いることが可能とされる。

図８は、第１の実施形態における支援システム１の機能的構成およびデータの流れを説明する図である。図８に示すように、施術側装置２のＧＰＵ１６は、画像生成部３１および画像合成部３２として機能する。また、施術側装置２の通信部１８は、データ送信部３３として機能する。

指導側装置３の通信部２８は、データ送信部４１として機能する。また、指導側装置３のＧＰＵ２６は、画像生成部４２および画像合成部４３として機能する。

内視鏡１１は、撮像素子を有し、撮像素子で得られた撮像画像信号に所定の信号処理を行い内視鏡画像５０を生成し、内視鏡画像５０の画像データ（以下、内視鏡画像データＩｄと表記する）を画像合成部３２に出力する。なお、内視鏡画像５０が３Ｄ画像である場合、内視鏡１１は２つの撮像素子を有し、それぞれの撮像素子で得られた撮像画像信号に基づいて２つの内視鏡画像５０（視差画像）が生成されることになる。

画像生成部３１は、指導側装置３から送信されてきた指示内容情報ＣＩに基づいてアノテーション画像５２を生成し、アノテーション画像５２の画像データ（以下、３Ｄ画像データＰｄ１と表記する）を画像合成部３２に出力する。
ここで指示内容情報ＣＩは、操作入力で指定された座標、線種、色彩、線幅などの情報を含んでいる。

画像合成部３２は、入力された各種画像データに基づいて画像を合成する。第１の実施形態において画像合成部３２は、内視鏡画像データＩｄに基づく内視鏡画像５０と、３Ｄ画像データＰｄ１に基づくアノテーション画像５２とを合成して合成画像５５を生成する。
そして、画像合成部３２は、合成画像５５の画像データ（以下、施術側合成画像データＣｄ１と表記する）をデータ送信部３３および３Ｄモニタ１２に出力する。
なお、画像合成部３２は、３Ｄ画像データＰｄ１が入力されていない場合、合成画像５５を生成することなく、内視鏡画像データＩｄをデータ送信部３３および３Ｄモニタ１２に出力する。

したがって、３Ｄモニタ１２には、内視鏡画像データＩｄや施術側合成画像データＣｄ１に基づく表示が行われる。すなわち、３Ｄモニタ１２には、内視鏡画像５０や合成画像５５が表示される。

データ送信部３３は、各種データを指導側装置３に送信する。例えば、データ送信部３３は、画像合成部３２から入力された内視鏡画像データＩｄや施術側合成画像データＣｄ１を送信する。

３次元位置検出部２２は、指導者６の手の位置（座標）を３次元で測定するセンサを含んでおり、例えばUltraleap社製のLeap Motion Controllerである。

３次元位置検出部２２は、赤外線照射部およびステレオ赤外線カメラ等を有し、赤外線照射部から照射された赤外線が指導者６の手に当たって反射した際の反射光をステレオ赤外線カメラで撮影することによりステレオ赤外線画像を得る。

そして、３次元位置検出部２２は、得られたステレオ赤外線画像について画像解析を行うことで、三次元空間内での指導者６の手（指、掌等）の関節の位置および指の先端の位置（以下、これらを単に指導者６の手の位置と表記する）を３次元で検出する。なお、ここでの位置は、所定の原点位置を基準とした３次元座標で示される位置である。

また、３次元位置検出部２２は、位置情報ＰＩ（操作入力）に基づいて指導者６の指示内容を３次元で検出する。例えば、３次元位置検出部２２は、検出した位置情報ＰＩに基づいて、指導者６の親指の先端と人差し指の先端とが接触しているジェスチャを検出した場合、親指の先端と人差し指の先端とが接触している状態で移動した軌跡を指示内容として検出する。

３次元位置検出部２２は、検出した指導者６の手の位置を示す位置情報ＰＩを画像生成部４２に出力するとともに、検出した指導者６の指示内容を示す指示内容情報ＣＩを画像生成部４２およびデータ送信部４１に出力する。

データ送信部４１は、各種データを施術側装置２に送信する。第１の実施形態においてデータ送信部４１は、３次元位置検出部２２から入力された指示内容情報ＣＩを送信する。

画像生成部４２は、３次元位置検出部２２から入力された位置情報ＰＩおよび指示内容情報ＣＩに基づいて、手モデル画像５１、または、手モデル画像５１およびアノテーション画像５２を生成し、それらの画像データ（以下、３Ｄ画像データＰｄ２と表記する）を画像合成部４３に出力する。

画像合成部４３は、入力された各種画像データに基づいて画像を合成する。例えば、画像合成部４３は、内視鏡画像データＩｄに基づく内視鏡画像５０に、３Ｄ画像データＰｄ２に基づく手モデル画像５１、または、手モデル画像５１およびアノテーション画像５２を合成することで合成画像５３、５４を生成する。そして、画像合成部４３は、生成した合成画像５３、５４の画像データ（以下、指導側合成画像データＣｄ２と表記する）を３Ｄモニタ２１に出力する。
なお、画像合成部４３は、３Ｄ画像データＰｄ２が入力されていない場合、合成画像５３、５４を生成することなく、内視鏡画像データＩｄを３Ｄモニタ２１に出力する。

したがって、３Ｄモニタ２１には、内視鏡画像データＩｄや指導側合成画像データＣｄ２に基づく表示が行われる。すなわち、３Ｄモニタ２１には、内視鏡画像５０や合成画像５３、５４が表示される。

［１－３．支援システム１の詳細］
第１の実施形態における支援システム１の詳細について図８を参照して説明する。
まず、施術側装置２は、内視鏡１１により得られた内視鏡画像データＩｄが画像合成部３２に入力される。

画像合成部３２は、３Ｄ画像データＰｄ１が画像生成部３１から入力されていない場合、内視鏡画像データＩｄを３Ｄモニタ１２およびデータ送信部３３に出力する。

３Ｄモニタ１２は、内視鏡画像データＩｄに基づいて内視鏡画像５０を表示する（図２参照）。これにより、施術者４は、３Ｄモニタ１２で患者５の体腔内の状態を観察しながら施術を行うことができる。

データ送信部３３は、画像合成部３２から入力された内視鏡画像データＩｄを指導側装置３に送信する。

指導側装置３において画像合成部４３は、施術側装置２（データ送信部３３）から内視鏡画像データＩｄを受信する。
画像合成部４３は、３Ｄ画像データＰｄ２が画像生成部４２から入力されていない場合、内視鏡画像データＩｄを３Ｄモニタ２１に出力する。

３Ｄモニタ２１は、内視鏡画像データＩｄに基づいて内視鏡画像５０を表示する（図２参照）。これにより、指導者６は、指導室Ｒｍ２にいながら手術室Ｒｍ１にいる施術者４と視点を共有することができるとともに、患者５の体腔内の状態や施術者４による施術の状況を観察することができる。

そして、指導者６は、３Ｄモニタ２１で内視鏡画像５０を確認しながら、３次元位置検出部２２の検出範囲内で手を動かす。このとき、３次元位置検出部２２は、指導者６の手の位置を検出して位置情報ＰＩを画像生成部４２に出力する。

３次元位置検出部２２から位置情報ＰＩが画像生成部４２に入力されると、画像生成部４２は、入力された位置情報ＰＩに基づいて３次元の手モデル画像５１（図３参照）を生成する。

図９は、３次元の手モデル画像５１を生成する際の３次元仮想空間を説明する図である。図１０は、３次元の手モデル画像５１の生成方法を説明する図である。
画像生成部４２は、３次元位置検出部２２から入力された位置情報ＰＩに基づいて、図９に示すように、３次元仮想空間６０上に指導者６の手を模した手モデル６３（ポリゴン）を配置する。また、３次元仮想空間６０には、右眼に対応する位置に右眼用仮想カメラ６１を配置するとともに、左眼に対応する位置に左眼用仮想カメラ６２を配置する。

そして、画像生成部４２は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１０上段に示すような右眼用仮想画像７１および左眼用仮想画像７２をそれぞれ生成する。なお、図１０では、右眼用仮想画像７１および左眼用仮想画像７２を容易に区別することができるように、全体的に模様（ハッチング、ドット等）を付しているが、実際にはこれらの模様は右眼用仮想画像７１および左眼用仮想画像７２にはないものである。

右眼用仮想画像７１および左眼用仮想画像７２は、水平方向の画素数が３Ｄモニタ２１の画素数と同数であり、かつ、垂直方向の画素数が３Ｄモニタ２１の画素数の半分となっている。

画像生成部４２は、右眼用仮想画像７１および左眼用仮想画像７２を生成すると、図１０下段に示すように、右眼用仮想画像７１および左眼用仮想画像７２を水平１ライン毎に交互に配置した手モデル画像５１を生成する。すなわち、画像生成部４２は、ラインバイライン方式で３次元の手モデル画像５１を生成する。
そして、画像生成部４２は、手モデル画像５１の３Ｄ画像データＰｄ２を画像合成部４３に出力する。

上記したように、３Ｄモニタ２１は、奇数列のラインと偶数列のラインとで異なる偏光フィルタが交互に重ねられた所謂ラインバイライン方式で３Ｄ画像を表示可能なモニタである。

したがって、３Ｄ画像データＰｄ２に基づいて手モデル画像５１が３Ｄモニタ２１に表示されることで、偏光メガネ７を掛けている指導者６は、右眼用仮想画像７１だけが右眼で見え、左眼用仮想画像７２のみが左眼で見えることになる。そして、右眼用仮想画像７１および左眼用仮想画像７２は、それぞれ３次元仮想空間６０において水平方向に離隔して配置された右眼用仮想カメラ６１および左眼用仮想カメラ６２で仮想的に撮像された画像であるため、所謂視差画像となっている。

そのため、指導者６は、右眼用仮想画像７１を右眼で見て、左眼用仮想画像７２を左眼で見ることで、手モデル画像５１を３次元で見ることができる。

画像合成部４３は、施術側装置２（データ送信部３３）から受信した内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部４２から供給された３Ｄ画像データＰｄ２に基づく手モデル画像５１を重畳した合成画像５３を生成する。そして、画像合成部４３は、生成した合成画像５３の指導側合成画像データＣｄ２を３Ｄモニタ２１に出力する。

したがって、３Ｄモニタ２１には、画像合成部４３から入力された指導側合成画像データＣｄ２に基づいて合成画像５３が表示されることになる。これにより、指導者６は、内視鏡画像５０に対する自身の手の位置（動き）を３次元で確認することができる。

その後、指導者６が合成画像５３を確認しながら手の所定の動き（ジェスチャ）によって指示内容を入力すると、３次元位置検出部２２は、当該所定の動きを指示内容として検出する。そして、３次元位置検出部２２は、検出した指示内容を示す指示内容情報ＣＩをデータ送信部４１および画像生成部４２に出力する。

３次元位置検出部２２から位置情報ＰＩおよび指示内容情報ＣＩが画像生成部４２に入力されると、画像生成部４２は、３次元位置検出部２２から入力された位置情報ＰＩおよび指示内容情報ＣＩに基づいて、３次元の手モデル画像５１およびアノテーション画像５２（図４参照）を生成する。

図１１は、３次元の手モデル画像５１およびアノテーション画像５２を生成する際の３次元仮想空間を説明する図である。図１２は、３次元の手モデル画像５１およびアノテーション画像５２の生成方法を説明する図である。なお、図９および図１０と重複する部分は同様であるため、その説明を省略する。

画像生成部４２は、図１１に示すように、３次元仮想空間６０上に、位置情報ＰＩに基づいて手モデル６３を配置するとともに、指示内容情報ＣＩに基づいて指示内容を示す指示内容モデル６４（ポリゴン）を配置する。

そして、画像生成部４２は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１２上段に示すような右眼用仮想画像７３および左眼用仮想画像７４をそれぞれ得る。

画像生成部４２は、右眼用仮想画像７３および左眼用仮想画像７４を生成すると、図１２下段に示すように、右眼用仮想画像７３および左眼用仮想画像７４を水平１ライン毎に交互に配置した手モデル画像５１およびアノテーション画像５２を生成する。すなわち、画像生成部４２は、ラインバイライン方式で３次元の手モデル画像５１およびアノテーション画像５２を生成する。
そして、画像生成部４２は、手モデル画像５１およびアノテーション画像５２の３Ｄ画像データＰｄ２を画像合成部４３に出力する。

画像合成部４３は、施術側装置２（データ送信部３３）から受信した内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部４２から入力された３Ｄ画像データＰｄ２に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５４を生成する。そして、画像合成部４３は、生成した合成画像５４の指導側合成画像データＣｄ２を３Ｄモニタ２１に出力する。

したがって、３Ｄモニタ２１には、画像合成部４３から入力された指導側合成画像データＣｄ２に基づいて合成画像５４が表示されることになる。これにより、指導者６は、自身の手の所定の動き（ジェスチャ）によって入力された指示内容を３次元で確認することができる。

ここで、画像生成部４２は、ＧＰＵ２６のシェーダー処理を用いて手モデル画像５１およびアノテーション画像５２を生成する。そのため、指導側装置３では、例えば６０Ｈｚで合成画像５３、５４を３Ｄモニタ２１に表示することでき、合成画像５３、５４の表示までの遅延時間が極めて短い。つまり、３Ｄモニタ２１においてタイムラグの少ない合成画像５３、５４の表示が行われる。

これにより、指導者６は、タイムラグを感じることなく、自身の手の位置および指示内容（操作入力）を３次元で確認することができる。

また、データ送信部４１は、３次元位置検出部２２から入力された指示内容情報ＣＩを施術側装置２に送信する。施術側装置２への送信にあたり、画像生成部４２により生成される３Ｄ画像データＰｄ２よりも通信容量の少ない指示内容情報ＣＩを送信することで、指導側装置３から施術側装置２にデータを送信する際の通信遅延が軽減される。

施術側装置２において画像生成部３１は、指導側装置３（データ送信部４１）から指示内容情報ＣＩを受信する。画像生成部３１は、受信した指示内容情報ＣＩに基づいて３次元のアノテーション画像５２（図５参照）を生成する。

図１３は、３次元のアノテーション画像５２を生成する際の３次元仮想空間を説明する図である。図１４は、３次元のアノテーション画像５２の生成方法を説明する図である。なお、図９～図１２と重複する部分は同様であるため、その説明を省略する。

画像生成部３１は、指導側装置３から受信した指示内容情報ＣＩに基づいて、図１３に示すように、３次元仮想空間６０上に指示内容モデル６４を配置する。

そして、画像生成部３１は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１４上段に示すような右眼用仮想画像７５および左眼用仮想画像７６をそれぞれ得る。

画像生成部３１は、右眼用仮想画像７５および左眼用仮想画像７６を生成すると、図１４下段に示すように、右眼用仮想画像７５および左眼用仮想画像７６を水平１ライン毎に交互に配置したアノテーション画像５２を生成する。すなわち、画像生成部３１は、ラインバイライン方式で３次元のアノテーション画像５２を生成する。
そして、画像生成部３１は、アノテーション画像５２の３Ｄ画像データＰｄ１を画像合成部３２に出力する。

画像合成部３２は、内視鏡１１から入力された内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部３１から入力された３Ｄ画像データＰｄ１に基づくアノテーション画像５２を重畳（合成）した合成画像５５を生成する。そして、画像合成部３２は、生成した合成画像５５の施術側合成画像データＣｄ１を３Ｄモニタ１２およびデータ送信部３３に出力する。

したがって、３Ｄモニタ１２には、画像合成部３２から入力された施術側合成画像データＣｄ１に基づいて合成画像５５が表示されることになる。これにより、施術者４は、指導者６の指示内容を３次元で確認することができる。

ここで、画像生成部３１は、ＧＰＵ１６のシェーダー処理を用いてアノテーション画像５２を生成する。そのため、施術側装置２では、例えば６０Ｈｚで合成画像５５を３Ｄモニタ１２に表示することでき、合成画像５５の表示までの遅延時間が極めて短い。つまり、３Ｄモニタ１２においてタイムラグの少ない合成画像５５の表示が行われる。

これにより、手術室Ｒｍ１にいる施術者４は、タイムラグを感じることなく、指導室Ｒｍ２にいる指導者６の指示内容を３Ｄモニタ１２上で確認しながら患者５に対する施術を行うことができる。

データ送信部３３は、画像合成部３２から入力された施術側合成画像データＣｄ１を指導側装置３に送信する。

図１５は、施術側合成画像データＣｄ１に基づく合成画像５５に、３Ｄ画像データＰｄ２に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５６を示す図である。

画像合成部４３は、施術側装置２（データ送信部３３）から施術側合成画像データＣｄ１を受信すると、図１５に示すように、施術側合成画像データＣｄ１に基づく合成画像５５（内視鏡画像５０およびアノテーション画像５２）に、画像生成部４２から入力された３Ｄ画像データＰｄ２に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５６を生成する。そして、画像合成部４３は、生成した合成画像５６の指導側合成画像データＣｄ２を３Ｄモニタ２１に出力する。３Ｄモニタ２１では、生成された指導側合成画像データＣｄ２に基づく合成画像５６を表示する。

これにより、指導者６は、施術側合成画像データＣｄ１と３Ｄ画像データＰｄ２のそれぞれに基づいて表示されるアノテーション画像５２にずれがないかを３Ｄモニタ２１上において３次元で確認することができる。
ずれが生じた場合、指導者６は、例えば図１５で示すようなアノテーション画像５２のずれを３Ｄモニタ２１上で確認することができる。

ここで表示内容の確認という点を考えると、画像生成部４２は、３Ｄ画像データＰｄ２に基づくアノテーション画像５２を、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２とは異なる表示態様となるように、合成画像５６を生成するとよい。
例えば、図１５に示すように、３Ｄ画像データＰｄ２に基づくアノテーション画像５２を破線で表示させることで、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２の表示（実線）と区別して３Ｄモニタ２１上に表示させることができる。

上述のように、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）によるアノテーション画像５２と、３Ｄ画像データＰｄ２によるアノテーション画像５２とを両方表示させ、確認できるようにするのは、次のような意味がある。

指導側装置３から送信された指示内容情報ＣＩは、例えば通信障害などの要因により施術側装置２で受信する際にその一部が欠損したり、あるいは各装置（２、３）間での設定や３Ｄモニタ１２、２１の解像度の違いなどが未調整で、アノテーション画像５２等の表示座標がずれてしまったりすることなどが起こり得る。
この場合、３Ｄモニタ２１には表示座標のずれにより図１５のような画像が表示されることがある。

また、指示内容情報ＣＩの一部が欠損した場合、施術側装置２の画像生成部３１では、本来であれば、受信した指示内容情報ＣＩに基づいて図５に示すようなアノテーション画像５２が生成されるはずであるが、指示内容情報ＣＩの一部の欠損により、アノテーション画像５２の一部のみしか表示されない３Ｄ画像データＰｄ１（以下、欠損３Ｄ画像データＰｄ１とも表記する。）が生成されてしまうことがある。

このとき、画像合成部３２では、欠損３Ｄ画像データＰｄ１に基づくアノテーション画像５２と、内視鏡画像データＩｄに基づく内視鏡画像５０とが合成され、内視鏡画像５０にアノテーション画像５２の一部のみを重畳した合成画像５５が生成される。

これにより３Ｄモニタ１２には、アノテーション画像５２の一部が欠如した合成画像５５が表示されることになる。このような状態では、指導者６の指示内容が３Ｄモニタ１２に正確に反映されず、施術者４は指導者６の指示内容の全てを把握できない状態で施術を行うことになる。

一方、指導側装置３では、施術側装置２から受信した施術側合成画像データＣｄ１に基づく合成画像５５と、画像生成部４２から入力された３Ｄ画像データＰｄ２に基づくアノテーション画像５２とが合成されることになる。このとき、施術側合成画像データＣｄ１（欠損３Ｄ画像データＰｄ１）に基づくアノテーション画像５２と、３Ｄ画像データＰｄ２に基づくアノテーション画像５２とが完全に重なってしまうと、指導者６は、施術側装置２の３Ｄモニタ１２の表示においてアノテーション画像５２が欠如していることを確認することができないおそれがある。
指導者６が施術者４側の３Ｄモニタ１２の表示状況を確認するためには、３Ｄ画像データＰｄ１、Ｐｄ２に基づく画像を異なる態様で表示させることが望ましい。

そこで、画像生成部４２は、指示内容情報ＣＩに基づいて、破線で表示されるアノテーション画像５２を生成する。
これにより、指導者６は、破線のみで表示されたアノテーション画像５２の部分が、施術側装置２の３Ｄモニタ１２に表示されていないことを確認することができる。
つまり、指導者６は、３Ｄモニタ２１上で、自身の指示内容と、施術者４の見ている３Ｄモニタ１２の表示内容を容易に比較できる。

以上により、指導者６は、指導側合成画像データＣｄ２に基づく合成画像５６を見ることで、３Ｄ画像データＰｄ１、Ｐｄ２に基づく画像の両方をみることができ、自分の指示内容が施術者４に正しく伝わっているか否かが確認できる。もし画像による指示が正しく伝わっていないことを認識できれば、指導者６は必要な対処をとることができる。

なお、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２と、３Ｄ画像データＰｄ２に基づくアノテーション画像５２とを区別するための表示態様の例として、破線と実線により区別を行うこととした。しかしながら、表示態様は、３Ｄ画像データＰｄ１，Ｐｄ２のそれぞれを区別できるものであればこれに限られず、線幅等の線種や、色彩、輝度などを異ならせることで区別することができる。また、何れかをハイライト表示することで区別することもできる。
また、施術側合成画像データＣｄ１（３Ｄ画像データＰｄ１）に基づくアノテーション画像５２と、３Ｄ画像データＰｄ２に基づくアノテーション画像５２との一致しない部分を区別して表示することも考えられる。

また、画像生成部３１および画像生成部４２は、右眼用仮想カメラ６１または左眼用仮想カメラ６２の水平方向の位置をずらして撮像することにより、３次元の手モデル画像５１およびアノテーション画像５２の視差を調整することができる。
例えば、画像生成部３１は、施術者４によって操作部（不図示）に対して所定の操作が入力されると、右眼用仮想カメラ６１と左眼用仮想カメラ６２とを離隔するように移動させ、図１６上段に示すような右眼仮想画像７７および左眼仮想画像７８を撮像する。そして、画像生成部３１は、右眼仮想画像７７および左眼仮想画像７８に基づいて、図１６下段に示すようなアノテーション画像５２を生成する。

これにより、図１６下段に示すようなアノテーション画像５２を３Ｄモニタ１２に表示すると、アノテーション画像５２の焦点距離が遠くなり、３次元のアノテーション画像５２が遠くに見えることになる。

このように、画像生成部３１および画像生成部４２は、右眼仮想画像および左眼仮想画像の水平方向の位置をずらすことにより、３Ｄモニタ１２および３Ｄモニタ２１に表示される手モデル画像５１およびアノテーション画像５２の視差調整を行うことが可能である。
これにより、内視鏡画像５０に対する手モデル画像５１およびアノテーション画像５２を３次元的に適切な位置に配置することができる。

＜２．第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態における支援システム１では、施術側装置２の３Ｄモニタ１２に手モデル画像５１を表示する点で、第１の実施形態と異なる。

図１７は、第２の実施形態における支援システム１の機能的構成およびデータの流れを説明する図である。第２の実施形態においては、３次元位置検出部２２によって位置情報ＰＩが検出されると、位置情報ＰＩが画像生成部４２およびデータ送信部４１に出力される。そして、データ送信部４１は、指示内容情報ＣＩとともに位置情報ＰＩを施術側装置２に送信する。

施術側装置２の画像生成部３１は、位置情報ＰＩを受信すると、第１の実施形態における画像生成部４２と同様に、３次元仮想空間６０上において、位置情報ＰＩに基づいて手モデル６３を配置する（図９参照）。

そして、画像生成部３１は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１０上段に示すような右眼用仮想画像７１および左眼用仮想画像７２をそれぞれ得る。

画像生成部３１は、右眼用仮想画像７１および左眼用仮想画像７２を生成すると、図１０下段に示すように、右眼用仮想画像７１および左眼用仮想画像７２を水平１ライン毎に交互に配置した３次元の手モデル画像５１を生成する。そして、画像生成部３１は、手モデル画像５１の３Ｄ画像データＰｄ１を画像合成部３２に出力する。

画像合成部３２は、内視鏡１１から入力された内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部３１から入力された３Ｄ画像データＰｄ１に基づく手モデル画像５１を重畳した合成画像５３（図３参照）を生成し、その合成画像５３の施術側合成画像データＣｄ１を３Ｄモニタ１２に出力する。したがって、３Ｄモニタ１２には、施術側合成画像データＣｄ１に基づく合成画像５３が表示される。

これにより、施術者４は、指導者６の実際の手の位置（動き）を３次元で確認することができる。

また、施術側装置２の画像生成部３１は、位置情報ＰＩおよび指示内容情報ＣＩを受信すると、第１の実施形態における画像生成部４２と同様に、３次元仮想空間６０上に、位置情報ＰＩに基づいて手モデル６３を配置するとともに、指示内容情報ＣＩに基づいて指示内容モデル６４を配置する（図１１参照）。

そして、画像生成部３１は、右眼用仮想カメラ６１および左眼用仮想カメラ６２によって３次元仮想空間６０を撮像することにより、図１２上段に示すような右眼用仮想画像７３および左眼用仮想画像７４をそれぞれ得る。

画像生成部３１は、右眼用仮想画像７３および左眼用仮想画像７４を生成すると、図１２下段に示すように、右眼用仮想画像７３および左眼用仮想画像７４を水平１ライン毎に交互に配置した３次元の手モデル画像５１およびアノテーション画像５２を生成する。そして、画像生成部３１は、手モデル画像５１およびアノテーション画像５２の３Ｄ画像データＰｄ１を画像合成部３２に出力する。

画像合成部３２は、内視鏡１１から入力された内視鏡画像データＩｄに基づく内視鏡画像５０に、画像生成部３１から入力された３Ｄ画像データＰｄ１に基づく手モデル画像５１およびアノテーション画像５２を重畳した合成画像５４（図４参照）を生成し、その合成画像５４の施術側合成画像データＣｄ１を３Ｄモニタ１２に出力する。したがって、３Ｄモニタ１２には、施術側合成画像データＣｄ１に基づく合成画像５４が表示される。

これにより、施術者４は、指導者６の指示内容に加えて、指導者６の実際の手の動きを３次元で確認することができる。

＜３．まとめ＞
上述したように、支援システム１は、被支援装置（施術側装置２）と、被支援装置（施術側装置２）とは離隔して設けられる支援装置（指導側装置３）とを備える。
支援装置（指導側装置３）は、指導者６の手の位置を３次元で検出する３次元位置検出部２２と、３次元位置検出部２２により検出された手の位置を示す位置情報ＰＩを送信するデータ送信部４１とを備える。
被支援装置（施術側装置２）は、送信された位置情報ＰＩに基づいて、指導者６の手が模された３次元の手モデル画像５１を生成する第１画像生成部（画像生成部３１）と、被支援装置（指導側装置３）により撮像された撮像画像（内視鏡画像５０）に対して手モデル画像５１を合成して第１合成画像（合成画像５３）を生成する第１画像合成部（画像合成部３２）と、を備える。

これにより、施術側装置２では、内視鏡画像５０に対して指導者６の手を模した３次元の手モデル画像５１が重畳された合成画像５３を３Ｄモニタ１２に表示することが可能となる。
したがって、偏光メガネ７を介して３Ｄモニタ１２を視認する施術者４は、３次元の手モデル画像５１を視認することにより、指導者６の実際の手の位置（動き）を３次元で同一の視点から確認することができる。すなわち、支援システム１では、指導者６の指示内容をより正確に認識することができる。

また、３次元位置検出部２２は、指導者６の手の位置に基づいて、指導者６の指示内容を検出し、データ送信部４１は、位置情報ＰＩ、および、指示内容を示す指示内容情報ＣＩを送信する。
第1画像生成部（画像生成部３１）は、送信された位置情報ＰＩに基づいて手モデル画像５１を生成するとともに、送信された指示内容情報ＣＩに基づいて３次元のアノテーション画像５２を生成する。
第1画像合成部（画像合成部３２）は、撮像画像（内視鏡画像５０）に対して手モデル画像５１およびアノテーション画像５２を合成して第２合成画像（合成画像５４）を生成する。
これにより、偏光メガネ７を介して３Ｄモニタ１２を視認する施術者４は、内視鏡画像５０に対する指導者６の手の位置および指示内容を３次元で確認することができる。すなわち、支援システム１では、指導者６の指示内容をより正確に認識することができる。

また、支援装置（指導側装置３）は、３次元位置検出部２２により検出された位置情報ＰＩに基づいて、手モデル画像５１を生成する第２画像生成部（画像生成部４２）と、被支援装置（施術側装置２）から送信された撮像画像（内視鏡画像５０）に、手モデル画像５１を合成して第１合成画像（合成画像５３）を生成する第２画像合成部（画像合成部４３）と、を備える。
これにより、偏光メガネ７を介して３Ｄモニタ２１を視認する指導者６は、内視鏡画像５０に対する自身の手の位置を３次元で確認することができる。

第２画像生成部（画像生成部４２）は、位置情報ＰＩおよび指示内容情報ＣＩに基づいて、３次元の手モデル画像５１およびアノテーション画像５２を生成し、第２画像合成部（画像合成部４３）は、撮像画像（内視鏡画像５０）に手モデル画像５１およびアノテーション画像５２を合成して第２合成画像（合成画像５４）を生成する。
これにより、偏光メガネ７を介して３Ｄモニタ２１を視認する指導者６は、内視鏡画像５０に対する自身の手の位置および指示内容を３次元で確認することができる。

第１画像生成部（画像生成部３１）は、ＧＰＵ１６のシェーダー処理を用いて、位置情報ＰＩに基づいて右眼用手モデル画像（右眼用仮想画像７１）および左眼用手モデル画像（左眼用仮想画像７２）を生成し、右眼用手モデル画像（右眼用仮想画像７１）および左眼用手モデル画像（左眼用仮想画像７２）をラインバイライン方式で合成することにより手モデル画像５１を生成する。
これにより、施術側装置２では、合成画像５３を３Ｄモニタ１２に表示するまでの遅延時間が極めて短くすることができ、タイムラグの少ない表示を行うことができる。

第１画像生成部（画像生成部３１）は、右眼用手モデル画像（右眼用仮想画像７１）および左眼用手モデル画像（左眼用仮想画像７２）の水平方向の位置をずらすことにより、３次元の前記手モデル画像５１の視差調整を行う
これにより、施術側装置２では、内視鏡画像５０に対して手モデル画像５１の奥行方向がずれて施術者４に見える場合に、視差調整を行うことで、内視鏡画像５０に対する手モデル画像５１の奥行方向の位置を調整することができる。かくして、施術側装置２では、指導者６の手の動きをより正確に認識することができる。

＜４．変形例＞
なお、本実施の形態では、支援システム１の一例として、施術者４が遠隔地にいる指導者６の指示を受けながら患者５に対して施術を行うことのできる手術支援システムについて説明したが、支援システム１は、遠隔地にいる指導者６が、施術側の撮像画像を視認しながら施術者４に対して指示を行う状況に幅広く適用することが可能である。
例えば、スポーツ指導における選手と監督、教育や職業訓練などの学習支援における講師と受講者、リモート会議における発表者と傍聴者など、様々な用途に支援システム１を適用できる。

また、上記した実施形態では、図１に示すような内視鏡１１により撮像を行う例について説明したが、撮像機器は、施術者４側の施術を撮像することができるものであればよく、内視鏡１１に限られることはない。

また、上記した実施形態では、図１の３次元位置検出部２２の一例として、指導者６の手の位置をステレオ赤外線カメラから検出するようにしたが、指導者６の手の位置および指示内容を３次元で検出することができれば、他の機器によって検出するようにしてもよい。

また、上記した実施形態では、ＧＰＵ１６が画像生成部３１および画像合成部３２として機能するようにしたが、ＣＰＵ１３が画像生成部３１および画像合成部３２として機能するようにしてもよく、また、ＣＰＵ１３およびＧＰＵ１６が分担して画像生成部３１および画像合成部３２として機能するようにしてもよい。

また、上記した実施形態では、ＧＰＵ２６が画像生成部４２および画像合成部４３として機能するようにしたが、ＣＰＵ２３が画像生成部４２および画像合成部４３として機能するようにしてもよく、また、ＣＰＵ２３およびＧＰＵ２６が分担して画像生成部４２および画像合成部４３として機能するようにしてもよい。

また、上記した実施形態では、３Ｄモニタ１２および３Ｄモニタ２１に表示される３Ｄ画像がラインバイライン方式で生成されるようにしたが、他の方式で生成されるようにしてもよい。すなわち、少なくとも手モデル画像５１およびアノテーション画像５２が３次元で３Ｄモニタ１２および３Ｄモニタ２１に表示されるようにすれば、どのような方法であってもよい。

最後に、上記した実施形態はあくまでも例示であり、本発明が上記した実施形態に限定されることはない。また、実施形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。

１ 支援装置
２ 施術側装置
３ 指導側装置
１１ 内視鏡
１２ ３Ｄモニタ
１６ ＧＰＵ
２１ ３Ｄモニタ
２２ ３次元位置検出部
２６ ＧＰＵ
３１ 画像生成部
３２ 画像合成部
３３ データ送信部
４１ データ送信部
４２ 画像生成部
４３ 画像合成部

Claims (5)

1. 被支援装置と、前記被支援装置とは離隔して設けられる支援装置とを備える支援システムであって、
   前記支援装置は、
   指導者の手の位置および指示内容を３次元で検出する３次元位置検出部と、
   前記３次元位置検出部により検出された手の位置を示す位置情報および前記指示内容を示す指示内容情報を送信するデータ送信部と、を備え、
   前記被支援装置は、
   送信された前記位置情報に基づいて前記指導者の手が模された３次元の手モデル画像を生成するとともに、送信された前記指示内容情報に基づいて３次元のアノテーション画像を生成する第１画像生成部と、
   前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第１合成画像を生成するとともに、前記撮像画像に対して前記手モデル画像および前記アノテーション画像を合成して第２合成画像を生成する第１画像合成部と、
   前記第２合成画像を表示する第１モニタと、
   前記第１合成画像を前記支援装置に送信するデータ送信部と、を備え、
   前記支援装置は、
   前記位置情報に基づいて手モデル画像を生成するとともに、前記指示内容情報に基づいてアノテーション画像を生成する第２画像生成部と、
   前記被支援装置から送信された前記第１合成画像に、前記手モデル画像および前記アノテーション画像を合成して第３合成画像を生成する第２画像合成部と、
   前記第３合成画像を表示する第２モニタと、を備える
   支援システム。
2. 前記第１画像生成部は、
   ＧＰＵのシェーダー処理を用いて、前記位置情報に基づいて右眼用手モデル画像および左眼用手モデル画像を生成し、前記右眼用手モデル画像および前記左眼用手モデル画像をラインバイライン方式で合成することにより前記手モデル画像を生成する
   請求項１に記載の支援システム。
3. 前記第１画像生成部は、
   前記右眼用手モデル画像および前記左眼用手モデル画像の水平方向の位置をずらすことにより、前記第１モニタに表示される３次元の前記手モデル画像の視差調整を行う
   請求項２に記載の支援システム。
4. 撮像画像を撮像する被支援装置に離隔して設けられる支援装置であって、
   指導者の手の位置および指示内容を３次元で検出する３次元位置検出部と、
   前記３次元位置検出部により検出された手の位置を示す位置情報および前記指示内容を示す指示内容情報を送信するデータ送信部と、
   前記位置情報に基づいて指導者の手が模された３次元の手モデル画像を生成するとともに、前記指示内容情報に基づいて３次元のアノテーション画像を生成する画像生成部と、
   前記被支援装置において前記撮像画像に対して前記指示内容情報に基づくアノテーション画像が合成された第１合成画像を取得し、取得した前記第１合成画像に対して前記手モデル画像および前記アノテーション画像を合成して第３合成画像を生成する画像合成部と、
   前記第３合成画像を表示するモニタと、
   を備える支援装置。
5. 支援装置に離隔して設けられる被支援装置であって、
   前記支援装置において３次元で検出された指導者の手の位置を示す位置情報に基づいて前記指導者の手を模した３次元の手モデル画像を生成するとともに、前記支援装置において３次元で検出された指導者の指示内容を示す指示内容情報に基づいて３次元のアノテーション画像を生成する第１画像生成部と、
   前記被支援装置により撮像された撮像画像に対して前記アノテーション画像を合成して第１合成画像を生成するとともに、前記撮像画像に対して前記手モデル画像および前記アノテーション画像を合成して第２合成画像を生成する第１画像合成部と、
   前記第２合成画像を表示する第１モニタと、
   前記第１合成画像を前記支援装置に送信するデータ送信部と、
   を備える被支援装置。

Images