JPWO2012081194A1 - 医療支援装置、医療支援方法および医療支援システム - Google Patents

Abstract

遠隔地にいる者を含む複数人が、あたかも同じ空間上に存在し、現時点での遠隔地にいる人の動作が目の前の現実物体と適切な位置関係で表現する。医療支援装置は、ユーザの視界に応じた撮影信号を取得する撮像部（１０１）と、撮像部の姿勢を取得する姿勢観測部（１０２）と、撮像部の位置を取得する位置観測部（１０３）と、撮影信号からユーザの操作および当該操作が行われた操作位置を検出する操作検出部（１０４）と、操作の種類に応じて、重畳内容および操作位置に関する情報を含む重畳情報を生成する重畳情報構成部（１０５）と、撮像部（１０１）の位置と姿勢から表示する画面を生成する表示管理部（１１２）と、撮像部（１０１）の視点画像に表示管理部（１１２）が生成した画面を重畳して表示する表示部（１１３）と、重畳情報を他の医療支援装置に送信する通信部（１１１）とを備える。

Description

本発明は遠隔地にいる医師等のユーザを含む複数人で、他のユーザの視界や、操作の共有を行い医療支援行う医療支援システムに関するものである。

近年、高齢化社会への問題が大きく取りざたされている。特に地方では高齢化の進行が著しく、高齢化は都市部より過疎地域で加速すると推測されている。また一方、高度な医療設備を備えた医療機関は都市部に集中する傾向にあり、現状充分な医療を受けるには都市部の医療機関への依存を余儀なくされている。しかし、それは患者本人のみならず家族にとっても、肉体的・経済的・時間的に大きな負担を強いる。そこで、情報通信機器を活用した遠隔医療が注目されている。遠隔医療はテレビ会議装置の利用が一般的である。このテレビ会議装置は、コンピュータに接続された周辺機器があり、複数の医師が遠隔地の在宅患者の医療データをリアルタイムで入手し、画像と音声を用いた双方向通信により会話しながら診察している。このような従来の技術としては、例えば特許文献１に記載されたものが知られている。特許文献１は複数の医者が遠隔地の在宅患者の医療データをリアルタイムで入手し、画像と音声を用いた双方向通信により、会話しながら診察する在宅医療支援システムを提供するものである。これは遠隔診断において有用である。治療においても従来技術は応用可能である。特に遠隔地にいる権威の指揮の下患者の情報共有や、手術のアドバイスといった応用が期待される。

特開平８−２１５１５８号公報

しかしながら、従来のテレビ会議システムでは、表示装置の位置は固定されており、且つその画面は有限の大きさの平面である。会議の参加者は、表示装置の画面を確認する際、視線方向が拘束される事となる。また、遠隔からテレビ会議に参加している有識者が、現場で処置を行っている参加者に対し、画像をベースに助言を行う場合、処置を行っている会議参加者は、画面確認を伴う助言を聞くという動作と処置とを交互に繰り返すこととなり、患部から視線をそらさなければならない。これは円滑な処置を行う必要がある場合では、処置の妨げとなり問題となる。

本発明は、前記従来の課題を解決するもので、遠隔地にいる医師等のユーザを含む複数人で、他のユーザの視界や、操作の共有を行い医療支援行う医療支援システムを提供することを目的とする。

前記従来の課題を解決するために、本発明に係る医療支援装置は、ユーザの視界または操作をユーザ間で共有するための医療支援装置であって、ユーザの視界に応じた撮影を行って撮影信号を取得する撮像部と、前記撮像部の姿勢に関する情報を取得する姿勢観測部と、前記撮像部の撮影位置に関する情報を取得する位置観測部と、前記撮像部が取得した前記撮影信号から当該医療支援装置を装着したユーザの操作および当該操作が行われた操作位置を検出する操作検出部と、前記撮影信号と、前記姿勢に関する情報と、前記撮影位置に関する情報とを対応付けて管理する視点管理部と、前記操作検出部が検出した前記操作に基づいて重畳内容を決定するとともに、前記視点管理部が管理する信号および情報に基づいて前記操作位置に関する情報を決定し、前記重畳内容および前記操作位置に関する情報を含む重畳情報を生成する重畳情報構成部と、前記撮影信号から視点画像を生成し、当該視点画像における前記操作位置に前記重畳内容を合成した画像を生成して表示する表示管理部と、前記重畳情報を少なくとも一つの他の医療支援装置に送信する通信部とを備える。

ここで、前記操作位置に関する情報は、前記姿勢に関する情報、前記撮影位置に関する情報、および前記操作検出部が検出する操作位置とは、別の独立した系で表される。

この構成により、遠隔地にいる医師等のユーザを含む複数人で、他のユーザの視界や操作を共有することにより、視線方向の拘束や円滑な作業への妨げが軽減される。また、遠隔者の助言は実際の患部ベースに行う事で、より分かりやすい指示提示が可能となる。

また、前記通信部は、前記他の医療支援装置で撮影された撮影信号を受信し、前記医療支援装置は、さらに、任意の位置と、当該任意の位置の近傍に存在する２以上の前記他の医療支援装置の位置を示す情報に基づいて仮想視点情報を生成する仮想視点生成部と、前記任意の位置の近傍に存在する２以上の前記他の医療支援装置から受信した前記撮影信号、および前記仮想視点情報に基づいて前記任意の位置を仮想視点とする画像を生成する画像合成部とを備えるようにしてもよい。

この構成により、遠隔地にいる医師を含む複数人で、任意の位置での医師の視界や操作を共有することにより、視線方向の拘束や円滑な作業への妨げが軽減される。また、遠隔者の助言は実際の患部ベースに行う事で、より分かりやすい指示提示が可能となる。

また、前記重畳情報は、当該重畳情報に含まれる重畳内容の表示の態様を示す表示属性情報と対応づけて管理され、前記医療支援装置は、さらに、前記表示管理部で生成された前記重畳内容が合成された画像を、前記表示属性情報に応じて加工する画面調整部を備えるようにしてもよい。

この構成により、視野の任意の地点を拡大表示する、特定の種類の重畳情報以外を非表示にするといった、より詳細な表示制御が可能となる。

また、本発明に係る医療支援装置の各機能ブロックはコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体あるいはインターネット等の伝送媒体を介して配信することができる。

また、本発明は、集積回路であるＬＳＩで実現してもよい。これらの各機能ブロックは個別に１チップ化されていてもよいし、一部または全てを含むように１チップ化されていてもよい。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

本発明の医療支援装置によれば、遠隔地の人が、あたかも同じ空間上に存在し、現時点での遠隔の人の動作が目の前の現実物体と適切な位置関係で表現される事により、より直感的な指示や、協調作業を行う事が可能となる。

図１は、本発明の実施の形態１における医療支援装置の構成を示す機能ブロック図である。 図２は、実施の形態１における屋内の医療支援装置と他のノードの関係を示した図である。 図３は、実施の形態１における３次元空間の座標変換を示した図である。 図４は、実施の形態１における操作検出部が発行する操作検出情報を示した図である。 図５は、実施の形態１における重畳情報記憶部により記録される重畳情報を示した図である。 図６Ａは、実施の形態１におけるユーザから要求を受け重畳情報を作成し視点画像と重畳情報を重畳して表示する処理を示したフローチャートである。 図６Ｂは、実施の形態１におけるユーザから要求を受け重畳情報を作成し視点画像と重畳情報を重畳して表示する処理を示したフローチャートである。 図７は、実施の形態１における視点画像に重畳内容を重畳した表示の一例を説明するための説明図である。 図８は、本発明の実施の形態２における医療支援装置の機能ブロック図である。 図９は、実施の形態２における仮想視点を生成する処理を示したフローチャートである。 図１０は、実施の形態２における視点画像に重畳内容を重畳した表示の一例を説明するための説明図である。 図１１は、実施の形態２における視点画像に重畳内容を重畳した表示の一例を説明するための説明図である。 図１２は、実施の形態２における仮想的に位置している視点からの視点画像を表示する処理を示したフローチャートである。 図１３は、本発明の実施の形態３における医療支援装置の機能ブロック図である。 図１４は、本発明の実施の形態３における表示属性の種別を示した図である。 図１５Ａは、本発明の実施の形態３における表示属性の一例を示した図である。 図１５Ｂは、本発明の実施の形態３における表示属性の一例を示した図である。 図１６は、本発明の実施の形態３における設定された表示属性を表示画面に反映する処理を示したフローチャートである。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における医療支援装置の構成を示す機能ブロック図である。

医療支援装置１００は、医師等ユーザの視界または操作をユーザ間で共有するための装置であり、図１に示すように撮像部１０１、姿勢観測部１０２、位置観測部１０３、操作検出部１０４、重畳情報構成部１０５、視点管理部１０８、座標変換部１０９、重畳情報記憶部１１０、通信部１１１、表示管理部１１２および表示部１１３を備える。また、重畳情報構成部１０５は、重畳位置決定部１０６および重畳画像生成部１０７により構成される。医療支援装置１００は、例えば、撮像部１０１を小型カメラ、位置観測部１０３、操作検出部１０４、重畳情報構成部１０５、視点管理部１０８、座標変換部１０９、通信部１１１、表示管理部１１２に対応するプログラムをそれぞれ記録するメモリ、ハードディスクなど記録媒体（図示せず）と、重畳情報記憶部１１０に対応するメモリ、ハードディスクなど記録媒体（図示せず）と、メモリに記録されたプログラムを実行するＣＰＵ（図示せず）などのプロセッサを有するコンピュータ、表示部１１３をヘッドマウント型のディスプレイにより構成して実現することができる。また、医療支援装置１００は、前述したすべての要素をヘッドマウントディスプレイに内蔵することにより実現することもできる。以下の説明では、上記構成要素のうち一部の要素を搭載した医療支援装置１００をサブセットと呼ぶ。例えば、前述した医療支援装置１００の構成例においては、表示部１１３であるヘッドマウントディスプレイを保持しない医療支援装置１００をサブセットと呼ぶことができる。図１において、他のノード１３０は、医療支援装置１００と同等もしくは、そのサブセットの装置である。

上述の例では、位置観測部１０３、操作検出部１０４、重畳情報構成部１０５、視点管理部１０８、座標変換部１０９、通信部１１１、表示管理部１１２はそれぞれ、プログラムとして、コンピュータが備えるメモリ、ハードディスクなどの記録媒体（図示せず）に格納されＣＰＵにて、実行される構成を例示した。しかしながら、これに限定される必要はなく、例えば位置観測部１０３、操作検出部１０４、重畳情報構成部１０５、視点管理部１０８、座標変換部１０９、重畳情報記憶部１１０、通信部１１１、表示管理部１１２の一部又は全部を図示しない専用の処理回路（例えばＬＳＩ）などを用いてコンピュータを構成しても良い。このような構成を採用した場合、専用の処理回路（図示せず）を用いて実現した動作に対応するプログラムは、コンピュータが備えるメモリ、ハードディスクなどの記録媒体に格納する必要は必ずしもない。

また、このコンピュータはヘッドマウントディスプレイに内蔵できる程度に小型であることが望ましい。

またこのコンピュータは、無線、または有線にて通信（例えば送信、受信など）するための通信回路（図示せず）を備える。

通信部１１１は、例えば、この通信回路とこの通信回路を制御するためのプログラムを記録するメモリ、ハードディスクなど記録媒体（図示せず）を有する構成を有する。または通信回路を制御するためのプログラムをＣＰＵにて実行したときの動作を図示しない専用の処理回路（例えばＬＳＩ）などを用いて構成をしても良い。

このような構成を採用した場合、専用の処理回路（図示せず）を用いて実現した動作に対応する通信回路を制御するためのプログラムは、コンピュータが備えるメモリ、ハードディスクなどの記録媒体に格納する必要は必ずしもない。

他のノード１３０はユーザ１２０とは別の人物により装着されている。他のノード１３０と、他のノード１３０が装着する装置は、ユーザ１２０と医療支援装置１００関係と同様である。各ノードが互いに通信することにより、視野に重畳する情報や視界を共有し医療作業を支援する。

図２は、屋内での医療支援装置１００と他のノード１３０の関係を示した図である。ここで上段は屋内を斜め上方から見下ろした図であり、下段は屋内を真上から見下ろした図である。本実施の形態１では、屋内の手術室を想定しており、ユーザは屋内及び遠隔地にいる医師とする。図２に示す屋内の中央には、患者である人物を載せる寝台が配置される。しかし、ここでは簡略化のため図示はしない。

図１に示すユーザ１２０にあたる医師などのユーザ２０１、２０２は、医療支援装置１００に相当する医療支援装置２１１、２１２をそれぞれ装着している。この様に、手術室内にいる医師などのユーザ２０１、２０２は、ユーザに装着される医療支援装置２１１、２１２により、医療支援装置１００の機能を利用する。

医療支援装置２１３、２１４、２１５はユーザに装着されない医療支援装置であり、医療支援装置１００と同等もしくは、そのサブセットの装置である。医療支援装置１００は、必ずしも人と対となって装着されるものとは限らない。ユーザに装着されない医療支援装置２１３、２１４、２１５は屋内に任意の地点に設置可能である。本実施の形態１では、中央（寝台がある地点）を取り囲む様に２１１〜２１５が設置される。このとき２１３は、天井に対して鉛直下方に設置され、図２の下図の様に他のユーザに装着される医療支援装置２１１、２１２、２１４、２１５を含む屋内全体が見渡せるように設置する。ここで本実施の形態１では、屋内全体を見渡せる様に２１３を設置したがこれに限るものではない。撮影可能なポイントが多い事は望ましいが、ノードの増加により処理量も増大するため状況に応じて設置可能な数を任意に指定できるものとする。

医療支援装置１００において、各ノードは互いに装着する医療支援装置１００の表示部１１３上に表示する文字列などの情報を少なくとも１つ以上共有し、それぞれの視野に重畳表示する。それぞれの視野上に表示するということは、表示する情報を各ノードの視点を原点とする固有の座標空間上に配置することを意味する。よって、それぞれのノードによって、同じ情報であっても、その配置場所を表す座標値の表現は異なる。よって、１つの情報を共有するためには、互いに共通な座標系上で情報管理が必要となる。

また、各ノードが人の頭部等に装着された医療支援装置１００である場合、各ノードは医療作業に伴って頭部の位置は刻々と変化する事になる。そのため、ノードの頭部位置を時間毎に把握するためには、時系列に沿って変化する固有座標系の追跡も同時に必要となる。つまり、ある時点での固有座標系の座標値から共通座標系の座標値を取得する、もしくはその逆を実行できる必要がある。ここで、固有座標系と共通座標系の関係について説明する。

図３は、一般的な３次元空間の座標変換を説明するための図である。図３において、ある時刻における共通座標系３０１と、ある時刻からＮ時間経過後の固有座標系Ａ３０２間の変換行列Ｑｎを知りたいとする。ここで、固有座標系Ｂ３０３は、個別で自由に動く事が出来る独立した座標系である場合、固有座標系Ｂ２０３のｎ時間後に固有座標系Ａに重なるときを考える。図に示される様に、共通座標系３０１において、固有座標系Ｂ３０３と共通座標系３０１との位置関係は変換行列Ｑ０で表される。また、固有座標系Ｂ３０３とｎ時間後の固有座標系Ａ３０２との位置関係は、固有座標系Ｂ３０３が固有座標系Ａ３０２に移動する平行移動量ｐ、回転角度θにより変換行列をＱａｂと表す事ができる。このとき、（１）Ｑｎ＝Ｑ０＋Ｑａｂ、（２）Ｑａｂ＝Ｐ（θ、ｐ）、という関係が成立する。

つまり、ｎ時間時点の固有座標系Ａ３０２と共通座標系３０１との位置関係Ｑｎは、共通座標系３０１と、固有座標系の初期位置（固有座標系Ｂ３０３）との位置関係を示すＱ０と、固有座標系の初期位置からの並行移動量ｐおよび、回転角度θ変化量により求めることができる。

次に本発明の実施の形態１における医療支援装置の機能ブロック図を用いて各ブロックとブロック間の関係を説明する。

撮像部１０１は、ユーザの視界に応じた撮影を行って撮影信号を取得する。すなわち、撮像部１０１は、ユーザ１２０の視線方向にある光学像、ユーザ１２０またはユーザ１２０の体の一部の光学像を電気的信号に変換した撮影信号を取得する。撮影信号は、操作検出部１０４、視点管理部１０８の入力情報となる。撮影信号は、操作検出部１０４においては、ユーザ１２０から医療支援装置１００に対する操作要求を検出するために用いられる。具体的な方法は後述する。また、撮影信号は視点管理部１０８においては、ユーザ１２０の視線方向にある画像を取得するために用いられる。本実施の形態１において撮像部１０１が取得する撮影信号は、２台のカメラから得ることを想定する。２台のカメラはユーザ１２０の頭部に設置され左眼、右眼のそれぞれの視点からの撮影信号として扱われる。ただし、ユーザ１２０の操作要求を検出ための入力情報と、視線方向と一致する画像の取得という要件を満たすものであれば、本実施の形態１で想定する構成に限るものではない。

姿勢観測部１０２は、医療支援装置１００を装着したユーザ１２０のヨー、ロール、ピッチ角といった視線方向の姿勢を示す姿勢に関する情報である視点角度を取得する。本実施の形態１では、姿勢観測部１０２は、３軸の角度取得が可能なセンサで構成され、医療支援装置１００を装着したユーザ１２０の頭部に位置することを想定する。視点角度は、ユーザ１２０の視線方向を推定するために用いる。

位置観測部１０３は、医療支援装置１００を装着したユーザ１２０の頭部の位置を示す撮影位置に関する情報である視点位置を取得する。視点位置は、ユーザ１２０が屋内に対してどの地点に位置しているか推定するために用いる。例えば、図２の医療支援装置１００もしくは、サブセットとして示される医療支援装置２１３を屋内の基準となる装置とした場合の、医療支援装置２１３と、他の医療支援装置１００もしくは、サブセットの相対位置を算出する事で屋内に対してどの地点に位置しているかを把握することが可能となる。

操作検出部１０４は、撮像部１０１が取得した撮影信号を解析しユーザ１２０の操作要求を表す動作を検出する。ここで検出処理の一例を示す。取得した撮影信号からユーザ１２０が操作要求を主に行う体の部位を抽出する。例えば検出部位として一般的に用いられる手から操作要求を検出する場合、肌色抽出や強い曲線部分の抽出もしくは医療支援装置１００が予め保持する手形状のモデルマッチングにより、撮影信号中の手を推定、認識する方法が一般的に知られている。次に抽出した操作部位を時系列で追尾監視する。ここで例えば指差しの手形状を一定時間検出し続けた場合、撮影信号中の任意の一点を選択したという操作を検出したとし、操作要求を重畳情報構成部１０５に対して操作検出情報として通知する。操作要求を表す動作を検出しなかった場合は都度、撮像部１０１が取得した撮影信号を解析し操作要求を表す動作検出処理を繰り返す。ここで、操作検出情報とは少なくとも操作検出部１０４が検出した操作の種類を表す情報と撮影信号中の操作が行われた位置を表す情報からなる。

図４は操作検出部１０４が発行する操作検出情報の一例を示した図である。操作検出情報は少なくとも、操作種別４０１と操作検出位置４０２からなる。操作種別４０１は、操作検出部１０４が検出した動作の種類を表すもので、動作に応じて任意箇所の選択、重畳する画像の生成といった操作を表すことになる。操作検出位置４０２は、操作検出部１０４が撮像部１０１の撮影信号内の操作を検出した位置を表すものである。例えば、操作種別４０１は視野上の任意の点を指し示す為や、視野上に仮想的に設置されたボタンといたグラフィックを選択するための「押す」という動作や、視野内に表示されたグラフィックデータの位置を変更する為に、位置変更するグラフィックデータを「掴む」といった動作などがある。また、操作には、例えばマーカを付けるといったグラフィックを描画するような動作も含まれる。また、操作検出位置４０２は、撮影信号内において操作種別４０１が示す動作が行われた地点を示す、Ｘ座標およびＹ座標の値が保存される。さらに操作種別４０１および、操作検出位置４０２は例として挙げたバリエーション以外の種別や、Ｚ座標といった情報を保持してもよい。

重畳情報構成部１０５は、操作検出部１０４の操作検知情報の通知を受け操作に対する情報生成、もしくは更新を行う。ここで、操作に対する情報とは、その操作が作用する位置を示す情報と、画面に表示される場合の視覚情報（重畳内容）から構成される重畳情報である。例えば、ユーザ１２０の視野内の任意の一点に対して情報を強化する目的で用いられる、メモや説明、ガイドといったテキストのグラフィック表示などが重畳情報となる。新たな重畳情報は重畳情報記憶部１１０に記録要求することにより保存される。また、重畳情報構成部１０５は通信部１１１を経由して重畳情報の生成通知または更新通知を他のノード１３０へ送信することにより、他のノード１３０に対しても重畳情報の生成、更新を知らせることが可能となる。さらに、重畳情報構成部１０５は、操作に対する情報生成、もしくは更新を画面に反映させるために表示管理部１１２に対して画面更新通知を行う。

重畳位置決定部１０６は操作検出情報が示す操作が行われた位置を算出する。他のノード１３０と、ある１つの重畳情報を共有するためには、共通の座標系上の座標位置を保持する必要がある。しかし、それぞれの医療支援装置１００が検出する操作要求を表す動作は、それぞれの撮像部１０１が撮影した画像を基に検出される。すなわち、操作検出部１０４が検出する位置はそれぞれの撮像部１０１の座標系が基準となり、各ノードにおいて共通の座標系とはなっていない。重畳位置決定部１０６は、各ノード個別の座標系で得られる座標値を基に、操作位置に関する情報である共通座標系の座標値を決定する。重畳位置決定部１０６は、重畳情報構成部１０５から位置生成の要求を受けると共通座標系の座標値を算出する。ここで共通座標系の座標値の算出手順を説明する。重畳位置決定部１０６は、視点管理部１０８に視点情報の取得を要求し、現時点の視点位置、及び視点角度を取得する。視点位置、視点角度、及び操作検出部１０４で検出された操作位置から共通座標系での座標値を算出する。このとき、座標変換処理は座標変換部１０９に依頼する事により座標値を得る。

重畳画像生成部１０７は、操作検出部１０４から通知された操作検出情報が示す操作の種類に応じた画像を生成する。例えば、前述した視野内の任意の一点に対するテキストの重畳表示を指示する操作が通知された場合、テキストのグラフィック情報の生成処理を行う。重畳画像生成部１０７は重畳情報構成部１０５から画像生成要求を受けると、操作の種類を判定し、操作に応じた形状、色、文字、サイズ、グラフィック情報を作成する。

図５は、重畳情報記憶部により記録される重畳情報の一例を示した図である。重畳情報は少なくとも、データＩＤ５０１と、重畳情報種別５０２と、重畳情報表示位置５０３から構成される。データＩＤ５０１は、重畳情報個別に付与される一意な符号である。本実施の形態では図５のデータＩＤ５０１に示す様な一意な値が付与される。重畳情報種別５０２は、重畳情報の種別を表す。例えば、ある重畳情報が医療支援装置１００およびサブセットである場合、図５の重畳情報種別５０２に示す様にノードという種別が付与される。また、視野に重畳される例えば患者の情報やメモなどのテキストグラフィックはラベル、例えばレントゲン画像などの画像データは画像という種別が付与される事で、それぞれの重畳情報の種類を分別する事ができる。さらに、ある任意のノードにとって、他のノード１３０も重畳情報の一種とみなすことが出来る。この場合、他のノード１３０はノードという重畳情報種別５０２により管理されてもよい。重畳情報表示位置５０３は、共通座標系における重畳情報の表示位置を示したものである。これは、図５の重畳情報表示位置５０３に示す様な共通座標系のＸ，Ｙ，Ｚ軸での座標値が設定される。ここで、重畳情報は上記以外の情報を保持してもよい。例えば、重畳情報がテキストを表示するものである場合、その文字列情報、フォント情報や、サイズ情報、色、字体情報などが挙げられる。また、任意の形状を持つ画像である場合は各頂点群を表した形状情報や、透過率の情報、形状の表面に使用するテクスチャ画像情報も含んでもよい。いずれも、重畳情報として扱う上で処理対象となるデータ、もしくは表示に関するデータは重畳情報として含めてよいものとする。

視点管理部１０８は、現時点の視点情報の取得、配信を行う。本実施の形態１では、視点情報として、視点から見える画像（視点画像）、固有座標系における視点のＸＹＺ３軸（ロール、ピッチ、ヨー）角度（視点角度）、及びＸＹＺ３軸の座標値（視点位置）の取得、配信を行う。視点から見える画像（視点画像）は撮像部１０１より取得する。固有座標系における視点のＸＹＺ３軸（視点角度）は姿勢観測部１０２より取得する。固有座標系における視点のＸＹＺ３軸の座標値（視点位置）は位置観測部１０３により取得する。視点管理部１０８は視点画像、視点角度、視点位置の少なくとも１つもしくは、すべての取得要求を受けると要求された情報を取得して視点情報として通知する。本実施の形態１では、重畳位置決定部１０６により視点情報の取得が要求される。ここで、視点管理部１０８が取得、配信するものは、必ずしも視点画像、視点角度、視点位置である必要はない。少なくとも１つ以上または、他の視点に関する情報であってもよい。他の視点に関する情報とは、たとえば深度センサによる視点からの奥行き情報や、赤外線といった特別な光線情報などがある。

座標変換部１０９は、共通座標系から各ノード個別の座標系での変換、もしくはその逆変換を行う。例えば、重畳位置決定部１０６は、視点管理部１０８から取得した現時点での視点の位置、姿勢情報を基に、上述の（１）、（２）式を満たすように（ｐ、θ）の値を座標変換部１０９に設定する。このとき、各ノードの共通座標系との初期位置を表す位置関係Ｑ０を当てはめることにより、座標変換部１０９は座標変換処理を行う。

重畳情報記憶部１１０は、重畳位置決定部１０６で生成された重畳情報の共通座標系における座標値、および重畳画像生成部１０７が画像生成要求により生成した画像情報といった重畳情報を記憶する。重畳情報は重畳情報構成部１０５からの情報更新依頼により記録される。これらの記憶される重畳情報は、表示管理部１１２により取得され表示部１１３で表示する画面生成に用いられる。

通信部１１１は、他のノード１３０と通信を行う。通信部１１１は、重畳情報構成部１０５より、重畳情報の生成、更新通知要求を受け取り、他のノード１３０に通知する。また、通知を受けた通信部１１１は、通知内容を重畳情報構成部１０５に通知する。これにより相互のノード間での通信を行う。

表示管理部１１２は、重畳情報構成部１０５より画面更新通知をうけ表示する画面を構成する。表示する画面は、重畳情報記憶部１１０に蓄積された重畳情報と現時点での視点から見える画像とから構成される。表示管理部１１２は、視点管理部１０８に視点情報取得を要求し、現時点の視点の左眼右眼画像を取得する。表示管理部１１２は、重畳情報記憶部１１０から共通座標系における視点位置、視点角度を取得する。さらに、共通座標系における視点位置、視点角度に基づいて視野範囲を算出し、そのエリア内に存在する重畳情報を、重畳情報記憶部１１０から取得する。表示管理部１１２は、座標変換部１０９を用いて、取得した各重畳情報の座標値を各ノード個別の座標系に配置し、現時点の視点画像に重畳される画面を生成する。さらに、表示管理部１１２は生成した画面と、視点管理部１０８から取得した視点画像である左眼右眼画像の重畳および画面表示を表示部１１３に依頼する。

表示部１１３は、表示管理部１１２から画面表示依頼を受け、左眼右眼画像に重畳情報により構成される画面を重畳して表示する。

図６Ａおよび図６Ｂは図１に示された医療支援装置１００が、ユーザ１２０から要求を受け重畳情報を作成し視点画像と重畳内容を重畳して表示する処理を示すフローチャートである。

まず、処理が開始され（Ｓ６００）、ユーザ１２０からの操作要求を表す動作の検出処理に入る（Ｓ６０１）。検出処理は、まず操作検出部１０４が撮像部１０１から撮影信号を取得する（Ｓ６０２）。

操作検出部１０４は、取得した撮影信号からユーザ１２０が操作要求を表す操作部位を抽出する（Ｓ６０３）。本実施の形態１において、操作部位は手を想定する。手は、肌色抽出や強い曲線部分の抽出を行う事により、撮影信号中の手を推定、認識する方法が一般的に知られている。ここで、抽出する操作部位は手に限定するものではない。例えば、ユーザ１２０の視線といった、手以外の操作者の体の一部や、ユーザ１２０が手に持っているメスなどの道具を操作部位として抽出し操作認識に用いてもよい。

次に、操作検出部１０４は、抽出した操作部位を監視し（Ｓ６０４）、操作要求を表す動作を検出した場合は、撮影信号中の操作を検出した位置と共に重畳情報構成部１０５に対して操作検出情報を通知する（Ｓ６０５）。

操作要求を表す動作を検出しなかった場合は都度、撮像部１０１から撮影信号を取得する処理に戻り、操作要求を表す動作を検出するまで繰り返す。

操作検出情報の通知を受けた重畳情報構成部１０５は、操作検出部１０４から受け取った操作位置の共通座標系上で座標値を求めるために、重畳位置決定部１０６に位置算出を要求する（Ｓ６０６）。

要求を受けた重畳位置決定部１０６は、視点管理部１０８に対して現時点での視点位置、視点角度の取得を要求する（Ｓ６０７）。

重畳位置決定部１０６は、取得した視点位置、視点角度と、操作検出部１０４から通知された操作位置とを、座標変換部１０９に対して通知し、共通座標値への変換要求を行う（Ｓ６０８）。

座標変換部１０９は上述の式（１）、（２）を満たす（ｐ、θ）として、視点管理部から取得した視点位置をｐ、視点角度をθと設定し、変換行列Ｑｎを求めることで、共通座標系上での座標値を算出する（Ｓ６０９）。

重畳情報構成部１０５は、操作検出部１０４から受け取った操作位置に表示する画像を生成するために、重畳画像生成部１０７に対して重畳画像生成を要求する（Ｓ６１０）。

重畳画像生成部１０７は、操作検出部１０４から通知された操作検出情報の操作種別４０１を参照し、操作種別４０１に応じた重畳画像を生成する（Ｓ６１１）。ここで、重畳情報がテキストを表示するものである場合、生成する重畳画像は、図５で説明した、文字列情報、フォント情報や、サイズ情報、色、字体情報を用いて生成することができる。

ここでＳ６０６〜Ｓ６０９の重畳位置決定処理と、Ｓ６１０〜Ｓ６１１の重畳画像生成処理は、重畳情報を構成する要素を準備する要件を満たす限り順序は問わない。

重畳情報構成部１０５は、重畳位置決定部１０６により算出した操作位置と、前述した視野内の任意の一点に重畳するテキスト等のグラフィック情報である重畳画像とで、図５に示す重畳情報を生成する。重畳情報構成部１０５は生成した重畳情報を重畳情報記憶部１１０に更新し保存する（Ｓ６１２）。

この生成または更新を、他のノード１３０に対しても反映するために、重畳情報構成部１０５は通信部１１１に対して、重畳情報の生成通知または更新通知を行うよう要求する（Ｓ６１３）。

通信部１１１は通知を受けると、他のノード１３０に対して重畳情報と重畳情報の生成通知または更新通知を発行する（Ｓ６１４）。ここで、生成通知または更新通知を受けた他のノード１３０の通信部１１１は、重畳情報構成部１０５に対し更新を通知し、生成、更新された重畳情報が重畳情報構成部１０５により、重畳情報記憶部１１０に記録される。なお、他のノード１３０に対して、重畳情報の更新という要件が満たしていれば、他の方式、経路、方法であってもよい。

次に、重畳情報構成部１０５は、表示管理部１１２に対して画面更新を要求する（Ｓ６１５）。

表示管理部１１２は、表示画面を更新するために、視点からの実際の画像と、この実際の画像に重畳する重畳画像の配置を行う。表示管理部１１２は、視点管理部１０８から左眼右眼画像を取得する（Ｓ６１６）。

表示管理部１１２は、重畳情報記憶部１１０に記録されている共通座標系における視点位置、視点角度を取得する（Ｓ６１７）。

表示管理部１１２は、取得した共通座標系における視点位置、視点角度に基づいて、例えば透視投影法などを用いて視野範囲を算出する（Ｓ６１８）。

さらに重畳情報記憶部１１０に記録されている重畳情報の共通座標値が、表示管理部１１２で算出した視野範囲内に存在するか否かを判定し、視野範囲内に収まる重畳情報のみを、重畳情報記憶部１１０から取得する（Ｓ６１９）。

取得した重畳情報の位置座標は共通座標系における座標値であるため、表示管理部１１２は、座標変換部１０９を用いて、取得した各重畳情報の座標値を各ノード個別の固有座標系に変換する（Ｓ６２０）。

表示管理部１１２は、固有座標系に変換された座標値で示される位置に重畳情報で示される重畳画像を表示画面に配置し、現時点の視点画像に重畳される画面を生成する（Ｓ６２１）。

表示管理部１１２は生成した画面と、視点管理部１０８から取得した視点画像である左眼右眼画像の重畳および画面表示を表示部１１３に依頼する（Ｓ６２２）。

表示部１１３は表示管理部１１２から要求を受けると、視点画像に重畳される画面を重畳する（Ｓ６２３）。

そして、重畳により１つになった画面が表示される（Ｓ６２４）。以上により医療支援装置１００がユーザ１２０から要求を受け重畳情報を作成し、視点画像と重畳画像を重畳して表示する処理が終了する（Ｓ６２５）。なお、このようにして重畳により１つになった画面は、通信部１１１を介して他のノードや遠隔地にいる医師が使用する表示装置（図示せず）に送信することも可能である。

次に、上記に説明した通信部１１１による他のノード１３０に対する生成通知または更新通知の発行処理（Ｓ６１４）が行われ、他のノード１３０が生成通知または更新通知を受けた場合の動作について説明する。なお、他のノード１３０の構成要素についても医療支援装置１００と同様であるので同じ符号を用いて説明する。

生成通知または更新通知を受けた他のノード１３０の通信部１１１は、重畳情報構成部１０５に対して重畳情報の生成または更新を通知する。重畳情報構成部１０５は、生成または更新された重畳情報を、重畳情報記憶部１１０に記録する。

そして、上記と同様に、重畳情報構成部１０５による画面更新の要求処理（Ｓ６１５）から表示部１１３による表示処理（Ｓ６２４）までの処理を行うことで、ノード１３０の視点画像と、ユーザ１２０から受信した重畳情報に基づいた重畳画像を重畳して表示することになる。

図７は、医療支援装置１００において視点画像に重畳内容を重畳した表示の一例を説明するための説明図である。

ここで、例えば図７に示すように医療支援装置１００を装着したユーザＡ７１０と、ノード１３０を装着したユーザＢ７２０とが患者７３０を挟んで立っている場合を想定する。そして、ユーザＡ７１０が、例えばマーカを選択した上で、患者７３０の体の一部分をＡの視界７１１の点線７４０で示すように指を動かした場合、ユーザＡ７１０が装着した医療支援装置１００の表示部１１３には、Ａの視界７１２に示すようにユーザＡ７１０の視点画像に、点線７４０で示された指の動きに応じたマーカ７５０を示すグラフィックが重畳画像として重畳されて表示される。一方、ユーザＢ７２０が装着した医療支援装置１００の表示部１１３には、Ｂの視界７２１に示すようにユーザＢ７２０の視点画像に、点線７４０で示された指の動きに応じたマーカ７６０を示すグラフィックが重畳画像として重畳されて表示される。

以上のように、ユーザが装着した医療支援装置またはそのサブセットが、そのユーザの視野にある物体に付加情報を重畳した画像を生成するための重畳情報を送信することにより、ユーザ間で操作の共有を行うことができる。また、重畳情報および視点画像を送信することにより、医療現場にいるユーザの視点で、その医療現場での視界や操作を共有することができるので、遠隔地においてより正確に医療作業を支援することが可能となる。

（実施の形態２）
図８は、本発明の実施の形態２の医療支援装置の構成を示す機能ブロック図である。図８において、図１と同じ構成要素については同じ符号を用い、説明を省略する。図８において、医療支援装置２００は、図１と同じ符号で示されるブロックに加え仮想視点生成部１１４、画像合成部１１５を備える。本構成により、医療支援装置２００およびサブセットが設置される屋内のあたかも同じ空間上に存在し、現時点での遠隔の人の動作が目の前の現実物体と適切な位置関係で表現される事により、より直感的な指示や、協調作業を行う事が可能となる。

次に本発明の実施の形態２における医療支援装置の機能ブロック図を用いてブロック間の関係を説明する。

仮想視点生成部１１４は、医療支援装置２００および、サブセットが設置される同じ空間内の任意の地点を仮想的な視点とする仮想視点を生成する。仮想視点の生成は重畳情報構成部１０５より要求される。仮想視点生成部１１４は、仮想視点を作成するために、重畳情報記憶部１１０に記録されている重畳情報を取得する。仮想視点生成部１１４は、取得した重畳情報から仮想視点を生成する。仮想視点の生成処理の具体例については後述する。生成した仮想視点は重畳情報記憶部１１０に記録を要求する。ここで、仮想視点生成部１１４で、仮想視点が作られた場合、重畳情報構成部１０５は、視点管理部１０８に対して仮想視点表示を設定する。視点管理部１０８に設定される仮想視点表示は、実施の形態１で説明したユーザ１２０の操作要求処理と、仮想視点設定操作を切り分けるフラグとなる。仮想視点は、重畳情報の１種として扱われる。具体的には重畳情報種別５０２に仮想ノードを表すフラグが設定されたものである。このとき、重畳情報は、左右近傍のノードを示すデータＩＤ５０１の配列も保持する。これは、後述する仮想視点からの画像を生成する際に使用する為である。本実施の形態２では、複数のノード画像を合成する事により仮想的に存在する視点画像を生成する。このとき、複数のノードに左右近傍のノードを使用する。参照する左右近傍のノードを特定する為にデータＩＤ５０１を保持する。

画像合成部１１５は、仮想視点からの視点画像を生成する。仮想視点からの視点画像は、表示管理部１１２が視点管理部１０８から取得する視点画像として用いられる。ただし、これは、視点管理部の１０８で仮想視点モードが設定されている場合である。つまり、仮想視点モードの有無により、視点管理部１０８は、撮像部１０１からの撮影信号と、画像合成部１１５で生成された仮想視点からの視点画像とを切り換えて視点画像とする。画像合成部１１５は、仮想視点からの視点画像を生成するために、複数の他のノード１３０からの視点画像を取得する必要があるため、通信部１１１を通じて、他のノード１３０から各視点画像を取得する。

図９は実施の形態２に係る医療支援装置２００において、仮想視点を生成する処理を示すフローチャートである。

本実施の形態２は仮想視点を生成する処理フローを説明するためユーザ１２０を遠隔地に存在するユーザとする。遠隔地のユーザ１２０は前述のユーザと同様に医療支援装置２００を装着しているとする。ユーザ１２０は、実施の形態１の図６Ａの操作検出の処理（Ｓ６００〜Ｓ６０６）と同等のフローにより仮想視点の生成を医療支援装置２００への操作要求として、インプットし、操作検出部１０４はが検出した操作位置を仮想視点の生成位置として重畳情報構成部１０５が受け取る（Ｓ８００）。ここで、仮想視点の指定方法の一例を示す。図２に示すような屋内全体の画像を撮影できるノード２１３からの画像を画面に表示することで現地点の俯瞰するような画面を表示する。表示した画面から所望の地点を選択する事で仮想視点の位置を設定するといった方法とることができる。ただし、この方法に限らずユーザが任意の地点を設定する要件を満たせば、その提示方法、設定方法は他の方法により仮想位置を指定してもよい。

重畳情報構成部１０５は仮想視点生成部１１４に仮想視点生成を依頼する（Ｓ８０１）。

依頼を受けた仮想視点生成部１１４は、重畳情報構成部１０５から仮想視点の位置情報を取得する（Ｓ８０２）。

仮想視点生成部１１４は、仮想視点からの画像を他のノードの撮影信号を合成して生成する為に、取得した仮想視点の位置情報を左右近傍に位置する他のノード１３０を検索する（Ｓ８０３）。

仮想視点生成部１１４は、重畳情報記憶部１１０から「ノード」の重畳情報種別５０２をもつデータを１つずつ取得する（Ｓ８０４）。本実施の形態２では仮想視点からの画像を他のノードの撮影信号から合成して生成するため、取得する重畳情報は、重畳情報種別５０２に「ノード」を表す符号を持つものみを取得すればよい。

取得した重畳情報の重畳情報表示位置５０３を参照し、仮想視点の位置情報との距離を算出し近傍度合いを判定する（Ｓ８０５）。近傍を検出する理由は、仮想視点からの視点画像生成する際に、視点画像の基になるノードを確定することにある。一般的には、複数の視点から撮影した画像を基にして、それらの中間の視点からの画像を生成する手法として、Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇが知られている。この中間視点が本実施の形態２での仮想視点にあたり、仮想視点からの画像を生成するために、近傍の他のノード１３０を検出する必要がある。ここで、閾値となる距離値は検索中の一番近いものを１つ以上選択してもよい。また、ある一定の固定値を用いてもよい。さらにユーザにより任意の値を設定してもよい。さらに、仮想視点として設定された位置には、ノード２１４やノード２１５といった固定的なノードと重なる可能性もある。この場合は近傍ノードを検索する必要はなく、ノード２１４やノード２１５といったノードを１つ選択する事でその地点からの視野画像を取得することができる。また、重畳情報記憶部１１０により取得した重畳情報の重畳情報表示位置５０３は共通座標系の座標値であり、ユーザ１２０により入力された仮想視点の位置とは異なる場合がある。その場合、図６ＡのＳ６０８と同様に、座標変換部１０９を用いることにより座標空間を統一し各ノードとの距離を判定することができる。

重畳情報記憶部１１０に記録されているノードの重畳情報において仮想視点近傍のノードが見つかるまで判定処理を繰り返す（Ｓ８０６）。

見つかった仮想視点近傍に存在するノードの重畳情報のデータＩＤ５０１群と、仮想視点の共用座標系での位置情報より構成される重畳情報を仮想視点生成部１１４が作成する（Ｓ８０７）。このとき重畳情報の重畳情報種別５０２は「仮想ノード」という種別で生成される。

作成した重畳情報は、重畳情報構成部１０５経由で重畳情報記憶部１１０に記録される（Ｓ８０８）。

重畳情報構成部１０５は視点管理部１０８に対して、仮想視点表示を設定する依頼を行う（Ｓ８０９）。

以上により、仮想視点を重畳情報として生成する処理を終了する（Ｓ８１０）。

その後、実施の形態１の図６Ａに示ように他のノード１３０への通知処理（Ｓ６１３〜Ｓ６１４）行われる。

そして、生成通知または更新通知を受けた他のノード１３０の通信部１１１は、重畳情報構成部１０５に対して重畳情報の生成または更新を通知する。重畳情報構成部１０５は、生成または更新された重畳情報を、重畳情報記憶部１１０に記録する。そして、実施の形態１の図６Ｂに示すように、重畳情報構成部１０５による画面更新の要求処理（Ｓ６１５）から表示部１１３による表示処理（Ｓ６２４）までの処理を行うことによって、他のノード１３０では、仮想視点の位置に遠隔地のユーザ１２０を表示することが可能になる。

図１０および図１１は、医療支援装置２００において視点画像に重畳内容を重畳した表示の一例を説明するための説明図である。

ここで、例えば図１０に示すように医療支援装置２００を装着したユーザＡ９１０と、医療支援装置２００を装着したユーザＢ９２０とが患者９３０を挟んで立っており、遠隔地に医療支援装置２００を装着したユーザＣ９４０が存在する場合を想定する。ここで、仮想視点が設定される前は、ユーザＡの視界９１１に示すようにユーザＡ９１０が装着した医療支援装置２００の表示部１１３には、ユーザＡ９１０の視点画像が表示される。一方、ユーザＢの視界９２１に示すようにユーザＢ９２０が装着した医療支援装置２００の表示部１１３には、ユーザＢ９２０の視点画像が表示される。

そして、ユーザＣ９４０が、例えば図１０に示す点Ｄを仮想地点に選択した場合、図１１に示すようにユーザＡ９１０が装着した医療支援装置２００の表示部１１３には、ユーザＣ９４０が装着した医療支援装置２００から送信された仮想視点を示す重畳情報を用いて、Ａの視界９１２に示すようにユーザＡ９１０の視点画像に、点線９４１で示されるユーザＣを示すグラフィックが重畳画像として重畳されて表示される。一方、ユーザＢ９２０が装着した医療支援装置２００の表示部１１３には、同様にユーザＣ９４０が装着した医療支援装置２００から送信された仮想視点を示す重畳情報を用いて、Ｂの視界９２２に示すようにユーザＢ９２０の視点画像に、点線９４２で示されるユーザＣを示すグラフィックが重畳画像として重畳されて表示される。

以上のように、仮想視点も重畳情報として登録することにより、他の重畳情報と同様に扱うことが可能となる。また、仮想視点設定者は自分の手の動きといった体の動きも遠隔の人に伝えることが可能となる。つまり、仮想視点のノードは、図６Ａおよび図６Ｂに示すフローを操作検出時だけでなく、手や指の位置といった情報を常時トラッキングし、リアルタイムで重畳情報として記録し続ける。これにより、現場で処置を行う人物へ、連続的に遠隔の人物を表示する事が可能となり、あたかも現場で強調作業を行っている様に表現する事が出来る。

図１２は図８に示された医療支援装置２００において、仮想的に位置している視点からの視点画像を表示する処理を示すフローチャートである。

まず、実施の形態１の図６Ａの操作検出の処理（Ｓ６００〜Ｓ６０６）と同様に、ユーザ操作の検出などが行われる。その後、図９のフローチャートと同様の処理が実行され仮想視点が生成される。さらに、その処理を表示部１１３である表示画面へ反映する為に、表示管理部１１２に対して画面更新の依頼が行われる（Ｓ９００）。

表示管理部１１２は更新画面を作成する為に、視点管理部１０８へ視点画像の取得を依頼する（Ｓ９０１）。

依頼を受けた視点管理部１０８は上記に説明した仮想視点表示の設定処理（Ｓ８０９）により重畳情報構成部１０５から仮想視点表示が設定されているか否かを確認する事により設定状態の判定を行う。現状このノードは仮想視点に配置されているノードであり、仮想視点表示の設定処理（Ｓ８０９）により視点管理部１０８には仮想視点表示が設定されている。よって、判定は仮想視点表示となる（Ｓ９０２）。ここで、視点管理部１０８に仮想視点表示が設定されていない場合とは、仮想視点設定操作以外の操作を受けたケースである。実施の形態１で説明した、図６Ａおよび図６Ｂに示すフローチャートがこのケースにあたり、視点管理部１０８に仮想視点表示が設定されていない場合の以降の処理はＳ６１６以降と同様のフローをとるものとする。

視点管理部１０８は、設定状態が仮想視点表示であるため、撮像部１０１から眼前の視点画像を取得するのではなく、画像合成部１１５に対して視点画像取得を要求する（Ｓ９０３）。

画像合成部１１５は重畳情報記憶部１１０から仮想視点の重畳情報を取得する（Ｓ９０４）。

仮想視点の重畳情報は上記処理（Ｓ８０７）で説明したように、仮想視点近傍に存在するノードの重畳情報のデータＩＤ５０１群が含まれる。これらの仮想視点近傍の重畳情報のデータＩＤ５０１が示す医療支援装置２００および、サブセットを特定し（Ｓ９０５）、通信部１１１に対して、仮想視点近傍の特定した他のノード１３０の視点画像取得を依頼する（Ｓ９０６）。なお、記録されている仮想視点近傍の重畳情報のデータＩＤ５０１群に対して視点画像取得は繰り返されるものとする（Ｓ９０７）。なお、本実施の形態２では依頼を受けた他のノード１３０の通信部１１１は依頼に従い視点画像取得処理を実施する事になるが、視点画像を取得する要件を満たせば、有線通信、無線通信といった、各ノード間の通信の形態は限定しないものとする。

つぎに、画像合成部１１５は、取得した複数の他のノード１３０の視点画像を合成し１枚の視点画像を生成する（Ｓ９０８）。ここで、上記処理（Ｓ８０６）で述べたようにノード２１４や、ノード２１５の様な固定のノードと仮想視点が重なる場合は、そのノードの視野画像をそのまま使用してもよい。他のノード１３０の視点画像が複数枚存在する場合は、Ｉｍａｇｅ Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇといった手法を用いることにより、３次元モデリングを行い仮想視点からの視点画像を生成する。

画像合成部１１５は作成した視点画像を視点管理部１０８に通知し、表示管理部１１２が視点画像を取得する（Ｓ９０９）。このとき、視点管理部１０８、および表示管理部１１２は、仮想視点であるか否かの区別なく視点画像を受け取るため、以降の処理は実施の形態１の図６Ｂと同様の処理フローで画面表示される（Ｓ９１０）。

以上のように、複数のユーザが装着した医療支援装置またはそのサブセットが協調して任意の視点から見た画像を生成、送信することにより、その医療現場での任意の視点からの視界や操作を共有することができるので、遠隔地においてより正確に医療作業を支援することが可能となる。

（実施の形態３）
図１３は、本発明の実施の形態３における医療支援装置３００の構成を示す機能ブロック図である。図１３を用いてブロック間の関係を説明する。なお、図１３は、図１および図８と同じ構成要素については同じ符号を用い、説明を省略する。また、医療支援装置３００は、図１および図８と同じ符号で示されるブロックに加え、画面調整部１１６を備える。

操作検出部３０４は、図１および図８で示した操作検出部１０４の機能に加え、ユーザ１２０が操作要求を行う動作において、図１４に示す表示属性の種別を個々に設定できる動作を認識する。認識した操作種別４０１は、操作検出情報として重畳情報構成部１０５に通知される。

重畳情報構成部３０５は、図１および図８で示した重畳情報構成部１０５の機能に加え、表示属性を表す符号を生成する。操作検出部３０４より通知された操作検出情報を参照し、操作に対応する表示属性を生成し、重畳情報記憶部１１０に保存する。

表示管理部３１２は図１および図８で示した表示管理部１１２の機能に加え、重畳情報記憶部１１０から表示属性情報を取得する。表示管理部３１２は、表示属性が示す符号に応じて表示画面を構成し、画面調整部１１６に対して画面調整を依頼する。

画面調整部１１６は、表示属性に応じて表示画面を加工する。画面調整部１１６は仮想視点の生成は重畳情報構成部３０５より依頼を受けると、表示属性に示される符号にしたがって、表示画面の加工を行う。本構成により、個々のユーザ１２０は装着する医療支援装置３００に対し、視野の任意の地点を拡大表示する、特定の種類の重畳情報以外を非表示にするといった、視野画像の加工表示を指定する事が可能となる。

図１４は、重畳情報記憶部１１０に表示属性として保存される情報を構成する表示属性の種別のバリエーションを示した図である。表示属性の種別は、表示の仕方を示した符号で表される。表示属性の種別は、表示管理部３１２、および画面調整部１１６が画面加工を行う際に参照することで、ユーザ１２０の所望の画面表示を実現する。表示属性の各種別について説明する。拡大表示１１０１、縮小表示１１０２は、本来表示すべき画面の一部分、または全体を拡大、縮小して表示する表示属性である。これは、視力以上の見え方が必要な作業をする場合に有用な表示方法となる。部分拡大表示１１０３は、拡大表示１１０１と同様視点画像の一部を拡大表示するものだが、虫眼鏡で任意の部分だけ拡大表示する様な表示属性である。これは、拡大部分以外の視野画像との位置関係を確認しながら、ある箇所を拡大表示するのに有用である。特に手術といった医療行為を行う場合、初見の患部確認などに利用できる。透過表示１１０４、フィルタリング表示１１０５は、重畳されている情報の内、その時だけ表示したいもの、または非表示にしたいものあるいは、透過表示を分けて表示する表示属性である。視野に情報を重畳する以上本来の視野で見えるべき箇所が隠れてしまう場合がある。透過表示１１０４、フィルタリング表示１１０５は個人毎に見やすい表示方法で表示することが可能となる。視点切替え１１０６、および２視点同時表示１１０７は、他のノード１３０との視野共有を行う表示属性である。協調作業である以上、複数の人物が各視点からの視界で作業し、協調作業者の動作は各個人の視野から推定してタイミングや、スピードやターゲット箇所などを調整している。また、遠隔医師が指導しながらの施術するケースなどは、術者自身からの視野を確認しながら助言をする事でより的確な指摘を行う事が可能となる。ここで、表示属性は図に示す１１０１〜１１０７に限るものでなく、ユーザ１２０が所望するモードを追加、削減することが可能であるものとする。また、上記で説明した表示属性以外にも、作業をサポートする表示属性という目的を満たす他の方法を用いてもよい。

図１５Ａおよび図１５Ｂは、重畳情報記憶部１１０に格納される表示属性の一例を示した図である。表示属性は、重畳情報構成部３０５により生成され、重畳情報記憶部１１０に記録されるデータである。表示属性は、少なくとも、表示属性種別１２０１、位置情報１２０２、対象重畳情報ＩＤ１２０３、サイズ比率１２０４、透過比率１２０５から構成される。表示属性種別１２０１について図１４を用いて説明する。表示属性種別１２０１は、図１４で示される表示属性の種別を表す符号のうちいずれかが設定され表示の仕方を示した値である。位置情報１２０２は、画面加工の対象となっている画面位置を示した値である。例えば図１５Ａおよび図１５Ｂでは２つのバリエーションを示している。図１５Ａに示す１２０１〜１２０５は拡大表示に対する表示属性を示したものであり、図１５Ｂに示す１２０６〜１２１０は透過表示に対する表示属性を示したものである。順に説明する。表示属性の種別１２０１には、図１４の拡大表示１１０１を示す符号が付与されている。このとき位置情報１２０２には、拡大する画面の部分の中心座標が設定される。対象重畳情報ＩＤ１２０３は、画面加工の対象となる重畳情報がある場合にその重畳情報のデータＩＤ５０１を示したものである。ここで、表示属性の種別１２０１を適応する対象重畳情報を特定しない場合や、重畳情報記憶部１１０に格納される重畳情報すべてに適応する場合の符号は任意の値を別途確保できるものとする。本例では画面全体を位置情報１２０２の示す地点を中心に拡大表示する場合を想定する為、対象重畳情報ＩＤ１２０４を特定しないものとし０を付与している。サイズ比率１２０４は拡大表示するための比率を設定する。透過比率１２０５は表示の透過度合いを示す値である。本例では拡大のみを行うものとしているため、等倍を設定している。次に図１５Ｂに示す１２０６〜１２１０について任意の重畳情報を透過表示する為の表示属性について説明する。表示属性の種別１２０６の図１４の透過表示１１０４を示す符号が付与されている。位置情報１２０７は本例では任意の重畳情報が確定している為使用しない。ここで、位置情報１２０７は必要に応じて設定し使用してもよい。例えば、透過対象とする操作が重畳情報ではなく、視野上のある範囲を指定する場合、その範囲の囲む矩形の４隅の頂点座標を格納する事などが考えられる。対象重畳情報ＩＤ１２０８は、透過対象となる重畳情報のＩＤが格納される。サイズ比率１２０９は表示のサイズ比率１２０４同様、縦横サイズの度合いを示す値である。本例では透過操作のみを行うものとしているため、等倍を設定している。最後に透過比率１２１０は表示の透過度合いを示す値であり、０．７と半透過を設定している。また、表示属性の種別１２０１、１２０６が２視点同時表示１１０７の場合、それぞれ表示する他のノード１３０の視点を表す重畳情報のデータＩＤ５０１が対象重畳情報ＩＤに指定される。さらに、サイズ比率１２０４、１２０９は、縮小表示１１０２に対しても同様にサイズ比率１２０４が用いられるものとする。

図１６は図１３に示された医療支援装置３００において、設定された表示属性を表示画面に反映する処理を示すフローチャートである。

まず、ユーザ操作の検出処理が開始されると、操作検出部３０４は、重畳情報構成部３０５に対して操作検出を通知する（Ｓ１３０１）。なお、ユーザ操作検出の処理は、図６Ａの操作検出の処理（Ｓ６０１からＳ６０４）と同様の処理フローで行われる。

重畳情報構成部３０５は、操作検出情報を参照し、図４に示す操作種別４０１が表示属性に対する操作か否かを判定する（Ｓ１３０２）。例えば、操作検出情報の操作種別４０１が表示属性の表示属性種別１２０１に確保されている加工表示を指示する操作要求である場合、重畳情報構成部３０５は操作検出情報の操作種別４０１を表示属性に対する操作として扱う。表示属性の種別には図１４に示す視点切替え１１０６などがある。操作種別４０１が表示属性操作でない場合は、指定された操作種別４０１に応じた処理を継続する。例えば、実施の形態１の図６Ａに示すような重畳情報生成操作である場合は、処理（Ｓ６０６）以降の処理を行う。操作種別４０１が表示属性操作である場合、重畳情報構成部３０５は表示属性を重畳情報記憶部１１０に記録する（Ｓ１３０３）。このとき重畳情報構成部３０５は、視点管理部１０８に対して表示属性を通知する。例えば、表示属性種別１２０１が視点切替え１１０６の場合、実施の形態２の図９の処理（Ｓ８０９）と同様に仮想視点表示を設定すること、この後の表示処理において、切換え先の視点画像を使用することができる。また、表示属性として記録される情報は、図１４に示す０１〜０５の値のうちいずれかが含まれるものとする。例えば、表示属性種別１２０１が透過表示１１０４である場合は、操作検出部３０４から通知された操作検出情報に含まれる操作検出位置４０２を参照し、操作検出位置４０２が示す重畳情報を確定する必要がある。操作検出位置４０２が示す位置情報はノードの固有座標系における座標値であるため、重畳情報構成部３０５は、Ｓ６０６〜Ｓ６０９と同様の処理を用いて共用座標系の座標値に変換する。次に、算出した共用座標系の座標値が示す地点に配置されている重畳情報を重畳情報記憶部から検索し、透過表示の対象とされている重畳情報を特定する。特定された重畳情報のデータＩＤ５０１を、入力された透過表示１１０４という表示属性種別１２０１と、透過率と共に表示属性として重畳情報記憶部１１０記録する。これは、他の表示属性の表示属性種別１２０１に対しても応用でき、同様に位置情報１２０２や、対象重畳情報ＩＤ１２０３を決定して設定してもよい。

重畳情報構成部３０５は、表示管理部３１２に対して画面更新を要求する（Ｓ１３０４）。

表示管理部３１２は、表示画面を生成する（Ｓ１３０５）。ここで、表示画面の構成は、実施の形態１の図６Ｂに示す処理（Ｓ６１６〜Ｓ６２１）と同等の処理を行って画面を生成するものとする。

表示管理部３１２は画面生成後、画面調整部１１６に対して画面調整を依頼する（Ｓ１３０６）。この要求は、重畳情報記憶部１１０が記録している表示属性に応じた画面に加工する為に行われる。

画面調整部１１６は、表示管理部３１２から要求を受けると、重畳情報記憶部１１０から表示属性を取得する（Ｓ１３０７）。

画面調整部１１６は、取得した表示属性に設定されている値に応じて、表示画面を加工する（Ｓ１３０８）。例えば、拡大表示１１０１である場合、表示属性には、表示属性種別１２０１、位置情報１２０２、サイズ比率１２０４が設定されている。画面調整部１１６は、表示属性種別１２０１から拡大表示１１０１である事を判断すると、位置情報１２０２が示す表示画像の地点を中心に、サイズ比率１２０４の値が示す拡大率で表示画面を再構成する。なお、表示属性種別１２０１の他の値においても、位置情報１２０２、対象重畳情報ＩＤ１２０３、サイズ比率１２０４、透過比率１２０５内いずれか、もしくは複数個使用して画面を加工するものとする。さらに、各加工方法について固有の手法に限定するものでなく、各表示属性種別１２０１が表す要件を満たせればよい。

次に画面調整部１１６は、表示部１１３に対して画面表示を要求し、要求を受けた表示部１１３は処理（Ｓ６２４）と同様の処理を行い、画面を表示する（Ｓ１３０９）。これにより設定された表示属性を表示画面に反映する処理が終了する。

以上のように、複数のユーザが装着した医療支援装置またはそのサブセットが協調して任意の視点から見た画像を生成、送信することにより、その医療現場での任意の視点からの視界や操作を共有することができるので、遠隔地においてより正確に医療作業を支援することが可能となる。また、視野の任意の地点を拡大表示する、特定の種類の重畳情報以外を非表示にするといった、より詳細な表示制御が可能となる。

本発明による医療支援装置は、遠隔地とのデータ共有、双方向の音声通信もしくは、身振り手振りを含めた画像通信を有し、遠隔診断だけでなく、手術等の遠隔治療として有用である。

１００、２００、３００ 医療支援装置
１０１ 撮像部
１０２ 姿勢観測部
１０３ 位置観測部
１０４、３０４ 操作検出部
１０５、３０５ 重畳情報構成部
１０６ 重畳位置決定部
１０７ 重畳画像生成部
１０８ 視点管理部
１０９ 座標変換部
１１０ 重畳情報記憶部
１１１ 通信部
１１２、３１２ 表示管理部
１１３ 表示部
１１４ 仮想視点生成部
１１５ 画像合成部
１１６ 画面調整部
１２０ ユーザ
１３０ 他のノード
２０１、２０２ ユーザ
２１１、２１２ ユーザに装着される医療支援装置
２１３、２１４、２１５ ユーザに装着されない医療支援装置

Claims (14)

1. ユーザの視界または操作をユーザ間で共有するための医療支援装置であって、
   ユーザの視界に応じた撮影を行って撮影信号を取得する撮像部と、
   前記撮像部の姿勢に関する情報を取得する姿勢観測部と、
   前記撮像部の撮影位置に関する情報を取得する位置観測部と、
   前記撮像部が取得した前記撮影信号から当該医療支援装置を装着したユーザの操作および当該操作が行われた操作位置を検出する操作検出部と、
   前記撮影信号と、前記姿勢に関する情報と、前記撮影位置に関する情報とを対応付けて管理する視点管理部と、
   前記操作検出部が検出した前記操作に基づいて重畳内容を決定するとともに、前記視点管理部が管理する信号および情報に基づいて前記操作位置に関する情報を決定し、前記重畳内容および前記操作位置に関する情報を含む重畳情報を生成する重畳情報構成部と、
   前記撮影信号から視点画像を生成し、当該視点画像における前記操作位置に前記重畳内容を合成した画像を生成して表示する表示管理部と、
   前記重畳情報を少なくとも一つの他の医療支援装置に送信する通信部と、
   を備える医療支援装置。
2. 前記位置観測部は、前記撮影位置に関する情報を、前記撮像部における固有座標系を用いて取得し、
   前記操作検出部は、前記操作位置に関する情報を、前記撮像部における固有座標系を用いて取得する
   請求項１に記載の医療支援装置。
3. 前記医療支援装置は、さらに、
   前記固有座標系を用いて示される情報を、他の前記医療支援装置と共通する共通座標系を用いて示される情報に変換する座標変換部とを備え、
   前記重畳情報構成部は、
   前記重畳内容を表示する位置を、前記共通座標系を用いて示された前記操作位置に関する情報で示される位置に決定する重畳位置決定部と、
   前記重畳内容を、前記操作の種類に応じた視覚情報として生成する重畳画像生成部と、
   を備える請求項２に記載の医療支援装置。
4. 前記重畳情報構成部が新たに前記重畳情報を生成または更新した場合、
   前記通信部は、前記重畳情報に加えて前記重畳情報の生成通知または更新通知を、前記他の医療支援装置に送信する
   請求項１に記載の医療支援装置。
5. 前記通信部は、前記他の医療支援装置から前記重畳情報を受信し、
   前記表示管理部は、受信した前記重畳情報に基づいて、前記視点画像における前記操作位置に前記重畳内容を合成した画像を生成して表示する
   請求項１に記載の医療支援装置。
6. 前記通信部は、前記他の医療支援装置から前記重畳情報に加えて前記重畳情報の生成通知または更新通知を受信し、
   前記表示管理部は、前記生成通知または前記更新通知により前記重畳内容を合成した画像を生成して表示する
   請求項５に記載の医療支援装置。
7. 前記通信部は、前記撮影信号を前記他の医療支援装置に送信する
   請求項１に記載の医療支援装置。
8. 前記通信部は、前記他の医療支援装置で撮影された撮影信号を受信し、
   前記医療支援装置は、さらに、
   任意の位置と、当該任意の位置の近傍に存在する２以上の前記他の医療支援装置の位置を示す情報に基づいて仮想視点情報を生成する仮想視点生成部と、
   前記任意の位置の近傍に存在する２以上の前記他の医療支援装置から受信した前記撮影信号、および前記仮想視点情報に基づいて前記任意の位置を仮想視点とする画像を生成する画像合成部と、
   を備える請求項１に記載の医療支援装置。
9. 前記重畳情報は、当該重畳情報に含まれる重畳内容の表示の態様を示す表示属性情報と対応づけて管理され、
   前記医療支援装置は、さらに、
   前記表示管理部で生成された前記重畳内容が合成された画像を、前記表示属性情報に応じて加工する画面調整部
   を備える請求項１に記載の医療支援装置。
10. 前記操作検出部は、前記撮像部により取得される前記撮影信号から、当該医療支援装置を装着するユーザの所定の部位の動きに基づいて前記操作を検出する
    請求項１に記載の医療支援装置。
11. 前記医療支援装置は、さらに、
    前記重畳情報を格納する重畳情報記憶部
    を備える請求項１に記載の医療支援装置。
12. 前記表示管理部は、観察者の左眼用画像及び右眼用画像を生成する
    請求項１に記載の医療支援装置。
13. ユーザの視界または操作をユーザ間で共有するための医療支援システムであって、
    第１の医療支援装置および第２の医療支援装置は、
    ユーザの視界に応じた撮影を行って撮影信号を取得する撮像部と、
    前記撮像部の姿勢に関する情報を取得する姿勢観測部と、
    前記撮像部の撮影位置に関する情報を取得する位置観測部と、
    前記撮像部が取得した前記撮影信号から当該医療支援装置を装着したユーザの操作および当該操作が行われた操作位置を検出する操作検出部と、
    前記撮影信号と、前記姿勢に関する情報と、前記撮影位置に関する情報とを対応付けて管理する視点管理部と、
    前記操作検出部が検出した前記操作に基づいて重畳内容を決定するとともに、前記視点管理部が管理する信号および情報に基づいて前記操作位置に関する情報を決定し、前記重畳内容および前記操作位置に関する情報を含む重畳情報を生成する重畳情報構成部と、
    前記撮影信号から視点画像を生成し、当該視点画像における前記操作位置に前記重畳内容を合成した画像を生成して表示する表示管理部と、
    少なくとも一つの他の医療支援装置との間で通信を行う通信部とを備え、
    前記第１の医療支援装置の前記通信部は、前記重畳情報を前記第２の医療支援装置に送信し、
    前記第２の医療支援装置の前記通信部は、前記第１の医療支援装置から前記重畳情報を受信し、
    前記第２の医療支援装置の前記表示管理部は、受信した前記重畳情報に基づいて、前記視点画像における前記操作位置に前記重畳内容を合成した画像を生成する
    医療支援システム。
14. ユーザの視界または操作をユーザ間で共有するための医療支援装置における医療支援方法であって、
    ユーザの視界に応じた撮影を行って撮影信号を取得する撮像部と、
    前記撮像部の姿勢に関する情報を取得し、
    前記撮像部の撮影位置に関する情報を取得し、
    前記撮像部が取得した前記撮影信号から当該医療支援装置を装着したユーザの操作および当該操作が行われた操作位置を検出し、
    前記撮影信号と、前記姿勢に関する情報と、前記撮影位置に関する情報とを対応付けて管理し、
    検出した前記操作に基づいて重畳内容を決定するとともに、前記撮影信号、前記姿勢に関する情報、および前記撮影位置に関する情報に基づいて前記操作位置に関する情報を決定し、前記重畳内容および前記操作位置に関する情報を含む重畳情報を生成し、
    前記撮影信号から視点画像を生成し、当該視点画像における前記操作位置に前記重畳内容を合成した画像を生成して表示し、
    前記重畳情報を少なくとも一つの他の医療支援装置に送信する
    医療支援方法。

Images