JP6264087B2 - 表示制御装置、表示装置および表示制御システム - Google Patents

Description

本開示は、複数のユーザが使用している表示装置に表示させる情報を制御する表示制御装置、表示装置および表示制御システムに関する。

ユーザが装着して使用するウェアラブル端末の１つとして、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、頭部装着ディスプレイ；以下「ＨＭＤ」とする。）がある。ＨＭＤは、ユーザの頭部に装着して使用する表示装置であり、近年、ＡＶ機器やコンピュータゲーム等の表示装置の他、作業環境において作業しながらユーザが情報を確認するための表示装置としても使用されている。

例えば、医療現場において、内視鏡の映像を映し出すための表示装置としてＨＭＤが使用されている（例えば、特許文献１、２）。術者は、ＨＭＤを装着し、ＨＭＤに映し出された映像を見ながら手術を行う。これまで内視鏡の映像は術者の近くに設置されたモニタに表示されるのが一般的であったため、術者はモニタと患部との間で視線を頻繁に動かす必要があった。内視鏡の映像をＨＭＤに映し出すことにより、術者は視線を大きく動かすことなくＨＭＤの表示部に表示された内視鏡の映像と患部とを確認することが可能となる。

特開平０６−０６２４３８号公報 特開２０１３−１０６７５２号公報

しかし、装着者の眼を覆うタイプのＨＭＤを使用する場合、周辺環境を認識することができず、助手や看護師に指示を出す等、術中のコミュニケーションを図ることが困難となる。これに対して、例えば、ＨＭＤにカメラを搭載して周辺環境も閲覧できるようなビデオシースルータイプのＨＭＤを用いることも考えられる。ＨＭＤにビデオシースルー機能が追加されると、ＨＭＤを装着した術者は、手術中に内視鏡映像と外部カメラ映像とを切り替えることで、周囲のスタッフの状況を認識することが可能となり、コミュニケーションも改善されると考えられる。

だが、術者だけでなく、スコピスト（内視鏡操作者）や助手もＨＭＤを装着することもある。このように複数の者がＨＭＤを装着して共同で手術を行う場合には、ビデオシースルーにより周辺環境を認識することができても、ＨＭＤを装着している他者が何を見ているのかまでは認識できない。このため、作業者間での連携ロスが発生する可能性がある。

そこで、ＨＭＤの装着時における他者とのコミュニケーションを向上させることが求められていた。

本開示によれば、頭部装着ディスプレイを装着する複数のユーザがそれぞれ視認している情報を、各頭部装着ディスプレイを装着しているユーザが視認できる表示部に表示させる表示制御部を備える、表示制御装置が提供される。

また、本開示によれば、表示部と、頭部装着ディスプレイを装着する複数のユーザがそれぞれ視認している情報を、各頭部装着ディスプレイを装着しているユーザが視認できる表示部に表示させる表示制御部と、を備える、表示装置が提供される。

さらに、本開示によれば、複数の頭部装着ディスプレイと、頭部装着ディスプレイに表示させる情報を制御する表示制御装置と、が通信可能に接続されており、表示制御装置は、頭部装着ディスプレイを装着しているユーザによって選択された情報および他の頭部装着ディスプレイを装着しているユーザが視認している情報を、各頭部装着ディスプレイへ出力する、表示制御システムが提供される。

本開示によれば、頭部装着ディスプレイを装着している各ユーザが視認している情報が、各頭部装着ディスプレイの表示部にそれぞれ表示される。これにより各ユーザは、他のユーザが何を見ているかを認識することが可能となる。

以上説明したように本開示によれば、各ユーザは、他のユーザが何を見ているかを認識することが可能となり、頭部装着ディスプレイの装着時における他者とのコミュニケーションを向上させることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る内視鏡システムの一構成例を示すシステム構成図である。 同実施形態に係るＨＭＤをユーザが装着している状態を示す概略側面図である。 同実施形態に係るＨＭＤの表示面を示す概略図である。 同実施形態に係る表示制御システムを構成するＨＭＤおよびプロセッサユニットの機能構成を示す機能ブロック図である。 ＨＭＤの表示部に表示される情報の一例を示す説明図であり、他のユーザの情報としてサムネイルと識別子とが表示される例である。 ＨＭＤの表示部に表示される情報の他の一例を示す説明図であり、他のユーザの情報としてサムネイルと役割とが表示される例である。 ＨＭＤの表示部に表示される情報の他の一例を示す説明図であり、他のユーザの情報としてオブジェクトとユーザ名とが表示される例である。 本開示の第２の実施形態に係る表示制御システムを構成するＨＭＤおよびプロセッサユニットの機能構成を示す機能ブロック図である。 ディスプレイに各ＨＭＤの各ユーザが見ている情報を表示したときの位置表示例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．システム構成
１．２．表示制御処理
１．２．１．機能構成
１．２．２．ＨＭＤの画面表示
２．第２の実施形態（視線検出部を備える例）
３．変形例

＜１．第１の実施形態＞
［１．１．システム構成］
まず、図１〜図３を参照して、本開示の第１の実施形態に係るＨＭＤを使用したシステムの一例として、内視鏡システムについて説明する。なお、図１は、本実施形態に係る内視鏡システム１の一構成例を示すシステム構成図である。図２は、本実施形態に係るＨＭＤ１００をユーザが装着している状態を示す概略側面図である。図３は、ＨＭＤ１００の表示面１５２、１５４を示す概略図である。

本実施形態に係る内視鏡システム１は、内視鏡手術において用いられるシステムであり、術者はＨＭＤを装着して内視鏡装置により撮像された患部の様子を視認しながら手術する。

内視鏡システム１は、図１に示すように、ＨＭＤ１００（１００Ａ、１００Ｂ）と、ディスプレイ３００と、外部機器４００（４００Ａ、４００Ｂ）とが、プロセッサユニット２００に接続されて構成されている。

ＨＭＤ１００は、外部機器４００からの入力映像等の情報を表示する表示装置である。ＨＭＤ１００は、図２に示すように、例えばゴーグル形状の非透過型のＨＭＤであって、ユーザが頭部に装着した状態で使用される。ＨＭＤ１００は、ユーザに情報を提示する表示部１５２、１５４を備える本体部１１０と、本体部１１０を頭部に固定させるための上部固定部１２０および後部固定部１３０とからなる。固定部でユーザの頭部に固定されると、本体部１１０の表示部１５２、１５４がユーザの左右の眼の前に位置するようになる。

本体部１１０は、ユーザの両眼を覆う部位である。本体部１１０は、例えばユーザの左右のこめかみ付近まで覆うように構成されてもよい。このような形状とすることで、装着時にユーザの眼前をほぼ完全に被覆することができ、ユーザの目に外光が入射せずより画像を見やすくすることができる。本体部１１０の外表面には、例えば周辺環境を撮影するための撮像部１１２を備えてもよい。これにより、ＨＭＤ１００を装着するユーザは、プロセッサユニット２００を介して外部機器４００等から提供される情報以外に、ＨＭＤ１００を装着していないときに見える周辺環境の情報も認識できるようになる（ビデオシースルー）。

本体部１１０の接眼面１１０ａには、図３に示すように、ユーザの左右の眼の位置に対応するように左眼用の第１の表示部１５２と、右眼用の第２の表示部１５４とが設けられている。第１の表示部１５２と第２の表示部１５４との間には、例えばユーザの鼻を位置させる切り欠きが形成されていてもよい。本体部１１０の接眼面１１０ａとユーザの眼との間には隙間を設けてもよい。この隙間の下方を覆わずに開口した状態とすることで、ユーザは視線を下方に向けた際に自分の手元等を見ることができるようにすることができる。

本体部１１０の内部には、第１の表示部１５２に左眼用画像を提示する第１の表示素子（図４の符号１６５）と、第２の表示部１５４に右眼用画像を提示する第２の表示素子（図４の符号１６６）とが設けられている。各表示素子は、例えばプロセッサユニット２００より提供される内視鏡装置の画像や、本体部１１０の撮像部１１２により撮像された画像等を提示する。なお、ＨＭＤ１００の表示部に表示される画像の表示制御処理については、後述する。また、本体部１１０には、プロセッサユニット２００との情報の送受信を行うため、プロセッサユニット２００に接続されるケーブル１４０が設けられている。本実施形態では、ＨＭＤ１００とプロセッサユニット２００は有線接続されているが、本開示はかかる例に限定されず、機器間での情報通信は無線通信により行ってもよい。

上部固定部１２０は、本体部１１０をユーザの眼の位置に固定させるためにユーザの頭部の上方から本体部１１０を支持する。上部固定部１２０は、頭頂部に位置する支持部１２１、１２４と、ユーザ前方側の位置の調整する第１の調整部１２２と、ユーザの左右の側方で高さ位置を調整する第２の調整部１２５とから構成される。

第１の調整部１２２は、図２に示すように、本体部１１０の上部と支持部１２１とを連結する部材であって、その長さは調節可能に構成されている。第１の調整部１２２の長さを調整することで、本体部１１０の接眼面１１０ａ上方に設置された額当てパット１２７がユーザの額に押し当てられる程度が変更され、ユーザ前方側の位置の調整することができる。

第２の調整部１２５は、図２に示すように、装着時にユーザの左右の耳の上部に向かって延びる本体部１１０の両側部と支持部１２４とを連結する部材であって、その長さは調節可能に構成されている。第２の調整部１２５は、左右両側にそれぞれ設けられている。第２の調整部１２５の長さを調整することで、第１の調整部１２２と頭部との間に設置された頭部パット１２２ａがユーザの頭部に押し当てられ、本体部１１０の両側部の高さ位置が調整される。

後部固定部１３０は、本体部１１０をユーザの眼の位置に固定させるためにユーザの後頭部から本体部１１０を支持する。後部固定部１３０は、図２に示すように、本体部１１０の両側部を後頭部側で連結する部材であって、その長さを調節可能に構成されている。後部固定部１３０の長さを調整することで、本体部１１０の両側部に設けられた側部パット１２６が頭部に押し当てられる程度が変更され、側頭部での支持具合を調整することができる。

このＨＭＤ１００の表示部１５２、１５４に表示される情報は、リモートコントローラ１０２（１０２Ａ、１０２Ｂ）によって切り替えるようにしてもよい。リモートコントローラ１０２は、１つのＨＭＤ１００と対となって設けられる。例えばリモートコントローラはユーザが足で踏み入力操作を行うフットスイッチであってもよい。リモートコントローラ１０２からの入力情報は、プロセッサユニット２００へ出力される。

プロセッサユニット２００は、接続された機器を制御する制御装置である。本実施形態においては、プロセッサユニット２００は、図１に示すように、ＨＭＤ１００（１００Ａ、１００Ｂ）と、ディスプレイ３００と、外部機器４００（４００Ａ、４００Ｂ）とを制御する。具体的には、プロセッサユニット２００は、外部機器４００から入力された情報を、ＨＭＤ１００やディスプレイ３００の表示装置に表示可能な情報に処理し、各表示装置へ出力する。また、プロセッサユニット２００は、各ＨＭＤ１００のリモートコントローラ１０２からの操作入力に基づいて、ＨＭＤ１００の表示部１５２、１５４に表示する情報を切り替える。

ディスプレイ３００は、不特定のユーザが情報を見るための表示装置である。ディスプレイ３００は、主として、ＨＭＤ１００を装着しているユーザとともに作業する、ＨＭＤ１００を装着していないユーザが情報を見るために用いられる。ディスプレイ３００には、外部機器４００からの入力情報やその他の情報を表示することができる。ディスプレイ３００に表示される情報は、ユーザあるいはプロセッサユニット２００によって設定される。

外部機器４００は、ＨＭＤ１００やディスプレイ３００等の表示装置に表示する情報を出力する機器である。本実施形態の内視鏡システム１においては、例えば外部機器Ａ４００Ａは内視鏡装置であって、内視鏡装置のカメラにより撮像された映像がプロセッサユニット２００へ出力される。

このような内視鏡システム１では、外部機器４００から入力された情報がプロセッサユニット２００により処理され、ＨＭＤ１００やディスプレイ３００等の表示装置に表示される。

［１．２．表示制御処理］
ＨＭＤ１００を装着するユーザは、プロセッサユニット２００から提示される内視鏡装置等の医療映像や、ＨＭＤ１００の撮像部１１２により撮影された映像を切り替えながら、手術を行う。このとき、ＨＭＤ１００の表示部１５２、１５４には、プロセッサユニット２００により表示制御されている他のＨＭＤ１００のユーザが視認している情報も表示される。以下、図４〜図７に基づき、本実施形態にかかる内視鏡システム１における表示制御処理について説明する。

（１．２．１．機能構成）
図４に、本実施形態にかかる内視鏡システム１を構成するＨＭＤ１００およびプロセッサユニット２００の機能構成を示す。なお、図４には、ＨＭＤ１００の表示部１５２、１５４の表示制御を行う際に機能する機能部のみを示しており、実際には、他の機能部を備えているものとする。図４の例では、プロセッサユニット２００は、２つのＨＭＤ１００Ａ、１００Ｂの表示制御を行う表示制御装置として機能し、各ＨＭＤ１００Ａ、１００Ｂの表示切替指示に基づき、それぞれに提示する情報を切り替える。

まず、ＨＭＤ１００の表示処理機能についてみると、図４に示すように、ＨＭＤ１００は、ディスプレイポート１６２と、画像生成部１６４と、表示素子１６５、１６６とを備える。

ディスプレイポート１６２は、プロセッサユニット２００からの入力情報を受けるインタフェースである。ディスプレイポート１６２には、プロセッサユニット２００との情報通信を可能にするケーブル１４０が接続される。ディスプレイポート１６２から入力された情報は、画像生成部１６４へ出力される。

画像生成部１６４は、プロセッサユニット２００を介して取得された情報に基づき、表示素子１６５、１６６へそれぞれ出力する画像信号を生成する。ユーザに提示する画像が３Ｄ画像である場合には、画像生成部１６４は、第１の表示素子１６５へ出力される左眼用画像信号と第２の表示素子１６６へ出力される右眼用画像信号とにずれを生じさせるずらし処理を行う。ずらし処理では、例えば表示素子１６５、１６６とユーザの眼との距離やユーザの眼の間隔、虚像位置等に応じて、左眼用画像信号と右眼用画像信号とのずらし量が決定される。画像生成部１６４は、生成した画像信号を、第１の表示素子１６５および第２の表示素子１６６へ出力する。

表示素子１６５、１６６は、画像生成部１６４から入力される画像信号に基づいて、表示部１５２、１５４に向かって画像光へ出射する。表示素子１６５、１６６は、例えばＨＭＤ１００の装着時にユーザの顔の前後方向に表示部１５２、１５４と対向するように配置される。これにより、表示素子１６５、１６６と表示部１５２、１５４とから出射される画像光の光軸は、ユーザが正面を向いたときの視線の方向と略平行になる。

表示素子１６５、１６６は、例えば有機ＥＬ（Electroluminescence）素子で構成される。表示素子１６５、１６６として有機ＥＬ素子を採用することで、小型で、高コントラスト、迅速な応答性等を実現することができる。表示素子１６５、１６６は、例えば複数の赤色有機ＥＬ素子、緑色有機ＥＬ素子、青色有機ＥＬ素子等がマトリクス状に配置された構成を有する。これらの各素子は、アクティブマトリクス型、あるいはパッシブマトリクス型等の駆動回路によって駆動されることで、それぞれ所定のタイミング、輝度等にて自発光する。この駆動回路が画像生成部１６４で生成された画像信号に基づいて制御されることで、表示素子１６５、１６６には全体として所定の画像が表示され、表示部１５２、１５４を介してユーザに提供される。

なお、表示素子１６５、１６６と表示部１５２、１５４との間には、光学系として、例えば複数の接眼レンズ（図示せず。）をそれぞれ配置させてもよい。これらの接眼レンズとユーザの眼とを所定距離で対向させることにより、ユーザに対し、画像が所定位置（虚像位置）に表示されるように見える虚像を観察させることが可能となる。このような虚像を提示することで、３Ｄ画像を提供することができる。なお、虚像位置及び虚像の大きさは、表示素子１６５、１６６及び光学系の構成等によって設定される。

なお、ユーザに虚像を観察させるため、表示素子１６５、１６６から光軸方向に出射される画像光が左右の眼の網膜上にそれぞれ結像するように本体部１１０はユーザに装着される。本体部１１０が適切に装着されていない場合には、ピントがぼけた画像となったり、３Ｄ画像にブレが生じたりしてしまい、ユーザは所望の画像を見ることができない。したがって、ユーザは、ＨＭＤ１００の装着時には、本体部１１０を適切な位置に調整した後、当該位置がずれないように上部固定部１２０および後部固定部１３０によって本体部１１０を頭部に固定する。

次いで、プロセッサユニット２００の表示処理機能についてみると、図４に示すように、プロセッサユニット２００は、画像入力部２１１と、画像処理部２１２と、表示制御部２１３と、出力部２１４と、操作入力部２１５とを備える。

画像入力部２１１は、外部機器４００からプロセッサユニット２００に入力される画像を受けるインタフェースである。図４の例では、外部機器４００として内視鏡装置１０が示されており、このとき画像入力部２１１には、内視鏡装置１０のカメラ（図示せず。）により撮像された画像が入力される。画像入力部２１１は、入力された画像を画像処理部２１２へ出力する。

画像処理部２１２は、プロセッサユニット２００に入力された画像を、ＨＭＤ１００に表示させるための画像に処理する。画像処理部２１２では、例えば、内視鏡装置１０のカメラにより撮像された画像から、ＨＭＤ１００の第１の表示部１５２に表示させる左眼用画像と第２の表示部１５４に表示させる右眼用画像とを生成する。画像処理部２１２により画像処理された画像は、表示制御部２１３へ出力される。

表示制御部２１３は、ＨＭＤ１００の表示部１５２、１５４に表示させる情報を制御する。本実施形態では、ＨＭＤ１００の表示部１５２、１５４に、ＨＭＤ１００のユーザにより選択された画像を表示するとともに、ＨＭＤ１００を装着する他のユーザが見ている情報を表示する。これにより、ＨＭＤ１００を装着していても、他のユーザが何を見ているのかを認識することが可能となり、ユーザ間のコミュニケーションを向上させることができる。なお、表示制御部２１３による表示処理の詳細は後述する。表示制御部２１３は、各ＨＭＤ１００に表示させる情報を決定すると、出力部２１４を介して当該情報を各ＨＭＤ１００へ情報を出力する。

操作入力部２１５は、ユーザからの操作入力を受ける入力部である。本実施形態において、ＨＭＤ１２０の表示部１５２、１５４に表示される情報は、リモートコントローラ１０２によって切替可能である。リモートコントローラ１０２に対する操作入力は操作入力部２１５へ出力され、操作入力部２１５はこの操作入力情報を表示制御部２１３に出力する。表示制御部２１３は、リモートコントローラ１０２からの表示切替指示に基づき、指示された情報を、出力部２１４を介してＨＭＤ１００へ出力する。このとき、表示制御部２１３は、プロセッサユニット２００により制御している各ＨＭＤ１００に現在表示されている情報を管理する。例えば表示制御部２１３は、メモリ（図示せず。）に各ＨＭＤ１００に表示されている情報を特定するための情報を記憶させてもよい。

（１．２．２．ＨＭＤの画面表示）
図４に示すような内視鏡システム１において、表示制御部２１３は、ＨＭＤ１００のユーザにより選択された画像を表示するとともに、ＨＭＤ１００を装着する他のユーザが見ている情報を表示部１５２、１５４に表示させる。このとき、表示制御部２１３は、自身が見ている画像が見えにくくならない位置に、他のユーザが見ている情報が表示されるようにする。以下、図５〜図７に、ＨＭＤ１００の表示部１５２、１５４に表示される表示情報５００の例を示す。これらの例では、４人のＨＭＤ１００を装着したユーザがいるとし、プロセッサユニット２００は各ＨＭＤ１００の表示制御を行っている。

ＨＭＤ１００の表示部５１２、５１４に表示される表示情報５００の一表示例として、例えば図５に示すように、他のユーザの見ている情報のサムネイルを提示するようにしてもよい。ＨＭＤ１００を装着して作業するユーザには、当該ユーザが選択した情報（本例では、内視鏡装置１０のカメラ映像）が主情報として表示領域全体に示されている。このとき、表示領域の一部に、他のユーザが見ている情報のサムネイル５１０、５２０、５３０が表示される。各サムネイル５１０、５２０、５３０は、主の表示情報５００の表示を妨げないように、例えば端部に一列に配置して表示される。

また、各サムネイル５１０、５２０、５３０には、どのＨＭＤ１００に表示されているかを示すように、識別子５１２、５２２、５３２を合わせて表示してもよい。このとき、識別子５１２、５２２、５３２は、予めＨＭＤ１００とそれを使用するユーザとで対応付けられており、他のユーザはその対応関係を予め認識しておくことで、だれが何の画像を見ているかを把握することが可能となる。

図５の例では、識別子「１」のＨＭＤ１００を装着するユーザは、自分と同じ内視鏡装置１０のカメラ映像を見ており、識別子「２」のＨＭＤ１００を装着するユーザは、周辺環境を映した外部映像を見ている。また、識別子「３」のＨＭＤ１００を装着するユーザは、他の医療機器により取得された映像（例えばエコー画像）を見ている。このように、他のユーザが何を見ているかを把握できるようにすることで、他のユーザの状態を把握しながら会話や指示等を行うことができるようになり、コミュニケーションを図り易くなり、作業の連携ロスも解消することができる。

このとき、他のユーザの見ている情報のサムネイル５１０、５２０、５３０とともに表示される識別子５１２、５２２、５３２の代わりに、例えば図６に示すように、ユーザの役割名５１４、５２４、５３４を表示させてもよい。図６に示す例では、上部のサムネイル５１０は術者の見ている情報であり、中央のサムネイル５２０は内視鏡のカメラを操作する操作者（スコピスト）の見ている情報であり、下部のサムネイル５３０は助手の見ている情報である。このように、役割を明示することで、ユーザにわかりやすく情報を提示することができる。

また、他の例として、図７に示すように、他のユーザが見ている情報を、サムネイル５１０、５２０、５３０の代わりに、情報を表すオブジェクトとしてチャート５４０、５５０、５６０を表示するようにしてもよい。例えば、図７のチャート５４０、５５０はユーザが内視鏡装置１０のカメラによる映像を見ていることを表しており、チャート５６０はＨＭＤ１００の本体部１１０に設けられた撮像部１１２による映像を見ていることを表すものである。このようなチャート５４０、５５０、５６０によりユーザが見ている情報を表すことで、何を見ているのかをユーザに直観的に伝えることができる。

また、これらのチャート５４０、５５０、５６０とともに、この内容を見ているユーザをユーザ名５４２、５５２、５６２により表してもよい。これにより、ユーザにわかりやすく情報を提示することができる。

図５〜図７に示した表示例の他にも、例えば「医療映像Ａ」、「医療映像Ｂ」、「外部映像」等のように他のユーザが見ている情報をテキスト情報により表示してもよい。

表示部１５２、１５４に表示されているサムネイル５１０、５２０、５３０等の他のユーザが見ている情報は、例えば各ユーザが表示切替を行ったタイミングで変更してもよい。このとき、表示が切り替わったことを通知するため、例えばサムネイルを一時的に点滅表示させたり、表示が切り替わったＨＭＤ１００の識別子（あるいはユーザ名や役割等）とともにそのことを通知するアラームを表示領域に表示させたりしてもよい。

また、サムネイル５１０、５２０、５３０等の他のユーザが見ている情報は、主の表示情報５００を見づらくしないように表示される。例えば、サムネイルを半透明で表示して表示情報５００を視認可能としてもよい。あるいは、表示領域におけるサムネイルの表示位置をユーザが適宜変更できるようにしてもよい。このように、サムネイルの表示方法や表示位置を調整可能することで、表示情報５００の視認性を高めることができる。

［１．３．まとめ］
以上、本実施形態に係る内視鏡システム１において、ＨＭＤ１００に表示する情報の提示方法について説明した。本実施形態によれば、ＨＭＤ１００を装着するユーザが複数存在する状況において、各ユーザのＨＭＤ１００の表示部１５２、１５４に、主の表示情報とともに他のユーザが見ている情報も表示する。これにより、各ユーザは、共同して作業を行っている他のユーザが現在何を見て作業を行っているのか把握することが可能となる。その上で会話や指示を行うので、ユーザ間のコミュニケーションを容易に図ることが可能となり、連携ロスの発生等を回避することができる。

＜２．第２の実施形態＞
次に、図８に基づいて、本開示の第２の実施形態に係るＨＭＤを使用したシステムにおける表示制御について説明する。本実施形態では、第１の実施形態と同様、内視鏡システムを例として説明する。なお、図８は、本実施形態に係る内視鏡システム１を構成するＨＭＤ１００およびプロセッサユニット２００の機能構成を示す機能ブロック図である。なお、図８には、ＨＭＤ１００の表示部１５２、１５４の表示制御を行う際に機能する機能部のみを示しており、実際には、他の機能部を備えているものとする。

図８の例においても、第１の実施形態の図４と同様、プロセッサユニット２００は、２つのＨＭＤ１００Ａ、１００Ｂの表示制御を行う表示制御装置として機能し、各ＨＭＤ１００Ａ、１００Ｂの表示切替指示に基づき、それぞれに提示する情報を切り替える。本実施形態に係る内視鏡システム１は、図４に示す第１の実施形態の構成と比較して、ＨＭＤ１００に視線検出部１６７を備える点で相違する。その他の機能部は第１の実施形態と同一であるため、これらの機能部についての説明は省略する。

ＨＭＤ１００に設けられた視線検出部１６７は、ＨＭＤ１００を装着したユーザの視線を検出する。視線検出部１６７は、ＨＭＤ１００を装着したユーザの眼を撮像し、眼における基準点と動点との位置関係から視線を検出する。視線検出部１６７により検出されたユーザの視線は、プロセッサユニット２００へ出力される。

視線検出部１６７によりユーザの視線を検出することで、例えばユーザがＨＭＤ１００の表示部１５２、１５４を見ているか否かを把握することができる。図２に示したＨＭＤ１００のように、本体部１１０とユーザの眼との間に隙間があり、その下方が開口されている場合等、ＨＭＤ１００の装着者が表示部１５２、１５４に表示された情報以外のものを見ることができる場合もある。このとき、表示部１５２、１５４に表示されている情報を他のユーザに通知すると、ユーザ間での認識が相違してしまい、コミュニケーションをうまく図ることができないといった状況も考えられる。

また、例えばＰｉｎＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）のように表示部１５２、１５４の表示領域内に別の情報を表示する表示領域が設けられている場合、ユーザは視線を移動させて各表示領域の情報を注視したりする。このとき、ユーザが見ていない表示領域に表示されている情報を他のユーザに通知すると、やはりユーザ間で認識が相違してしまう。

このように、ユーザが視認している情報は、必ずしもＨＭＤ１００の表示部１５２、１５４に表示された主情報とは限らない。ユーザが視認している情報には、表示部１５２、１５４に表示されている主情報以外にも、例えば手元を見ているとの情報もあり、また、表示部１５２、１５４に複数の表示領域がある場合にはいずれかの表示領域の情報であったりもする。そこで、本実施形態のようにＨＭＤ１００に視線検出部１６７を設けて、ユーザの視線から視認している情報を特定する。これにより、より正確にユーザの見ている情報を他のユーザに伝えることができるようになり、ユーザ間のコミュニケーションを向上させることができる。

以上、本実施形態に係る内視鏡システム１において、ＨＭＤ１００に表示する情報の提示方法について説明した。本実施形態によれば、ＨＭＤ１００を装着するユーザが複数存在する状況において、各ユーザのＨＭＤ１００の表示部１５２、１５４に、主の表示情報とともに他のユーザが見ている情報も表示する。この際、ＨＭＤ１００を装着しているユーザの視線も検出することで、より正確にユーザの見ている情報を認識することができる。これにより、各ユーザは、共同して作業を行っている他のユーザが現在何を見て作業を行っているのか把握することが可能となる。その上で会話や指示を行うので、ユーザ間のコミュニケーションを容易に図ることが可能となり、連携ロスの発生等を回避することができる。

＜３．変形例＞
上記実施形態では、ＨＭＤ１００を装着しているユーザ間のコミュニケーションについて主として説明したが、本開示はかかる例に限定されない。例えば、各ユーザが見ている情報は、プロセッサユニット２００に接続されたディスプレイ３００にも表示させてもよい。例えば図９に示すように、ディスプレイ３００に、主となる表示情報６００とＨＭＤ１００を装着している各ユーザが見ている情報とを表示するようにしてもよい。

ディスプレイ３００は、例えば共同で作業を行っている作業者のうち、ＨＭＤ１００を装着していない者が主として見る表示装置として利用される。ＨＭＤ１００を装着している作業者が何を見て作業しているかを外部から認識するのは困難である。そこで、ディスプレイにＨＭＤ１００を装着している作業者が見ている情報を表示することで、ＨＭＤ１００を装着していない作業者もＨＭＤ１００を装着している作業者が見ている情報を認識できるようになる。これにより、より一層作業者間のコミュニケーションを図り易くすることができる。

ディスプレイ３００には、例えば図９に示したように、内視鏡装置１０のカメラ映像等のように予め設定された主の表示情報６００を表示領域全体に示すとともに、表示領域の一部にＨＭＤ１００を装着している者の見ている情報を示す。ＨＭＤ１００を装着している者が見ている情報は、図５に示したように、当該情報のサムネイル６１０、６２０、６３０として表してもよい。また、サムネイル６１０、６２０、６３０とともに、どのＨＭＤ１００に表示されている情報かがわかるように、識別子６１２、６２２、６３２を合わせて表示してもよい。このとき、識別子６１２、６２２、６３２は、予めＨＭＤ１００とそれを使用するユーザとで対応付けられており、他のユーザはその対応関係を予め認識しておくことで、だれが何の画像を見ているかを把握することが可能となる。

ディスプレイ３００の表示は、かかる例以外にも、図６あるいは図７に示したように、ＨＭＤ１００を装着している者が見ている情報をオブジェクトやテキスト情報により表示してもよい。また、その情報を見ている者を特定する情報として、識別子以外にも役割やユーザ名を表示してもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態において、ＨＭＤ１００やディスプレイ３００に表示する情報を制御する表示制御部はプロセッサユニット２００に設けられていたが、本技術はかかる例に限定されない。例えば、各ＨＭＤ１００に表示制御部の全部または一部の機能を設けるようにしてもよい。

また、上記実施形態では、表示素子として有機ＥＬ素子を用いたが、本技術はかかる例に限定されない。例えば、表示素子に液晶表示素子（ＬＣＤ）等を用いてもよい。

さらに、上記実施形態では、ＨＭＤ１００を装着するユーザが複数存在する状況として、内視鏡システム１を取り上げ、術中における作業者間のコミュニケーションについて説明したが、本技術は他の状況にも適用可能である。例えば、ＨＭＤ１００を装着する複数のユーザで行うゲーム等にも適用可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）頭部装着ディスプレイを装着する複数のユーザがそれぞれ視認している情報を、前記各頭部装着ディスプレイを装着しているユーザが視認できる表示部に表示させる表示制御部を備える、表示制御装置。
（２）前記表示制御部は、前記頭部装着ディスプレイを装着しているユーザが選択している主情報を前記表示部の表示領域に表示し、他の前記頭部装着ディスプレイを装着している各ユーザが視認している情報を表すオブジェクトを前記表示領域の一部に表示する、前記（１）に記載の表示制御装置。
（３）前記オブジェクトは、他の前記頭部装着ディスプレイを装着している各ユーザが視認している映像のサムネイルである、前記（２）に記載の表示制御装置。
（４）前記オブジェクトは、他の前記頭部装着ディスプレイを装着している各ユーザが視認している情報を表すテキスト情報である、前記（２）または（３）に記載の表示制御装置。
（５）前記オブジェクトは、他の前記頭部装着ディスプレイを装着している各ユーザが視認している情報を表すチャートである、前記（２）〜（４）のいずれか１項に記載の表示制御装置。
（６）前記表示制御部は、前記オブジェクトに対応する情報を視認しているユーザを特定する識別情報を、前記オブジェクトとともに表示する、前記（２）〜（５）のいずれか１項に記載の表示制御装置。
（７）前記表示制御部は、他の前記頭部装着ディスプレイを装着している各ユーザが視認している情報が変化したことを表す通知を前記表示領域の一部に表示する、前記（２）〜（６）のいずれか１項に記載の表示制御装置。
（８）前記表示制御部は、さらに前記頭部装着ディスプレイを装着していないユーザが視認可能な表示装置の表示領域に対して、前記頭部装着ディスプレイを装着している複数のユーザが視認している情報を前記表示領域の一部に表示させる、前記（１）〜（７）のいずれか１項に記載の表示制御装置。
（９）前記表示制御部は、前記頭部装着ディスプレイを装着しているユーザの視線を検出する視線検出部からの検出情報に基づいて、当該ユーザが視認している情報を決定する、前記（１）〜（８）のいずれか１項に記載の表示制御装置。
（１０）前記複数のユーザがそれぞれ視認している情報は、内視鏡装置により撮像された画像を少なくとも含む、前記（１）〜（９）のいずれか１項に記載の表示制御装置。
（１１）表示部と、
頭部装着ディスプレイを装着する複数のユーザがそれぞれ視認している情報を、前記各頭部装着ディスプレイを装着しているユーザが視認できる前記表示部に表示させる表示制御部と、
を備える、表示装置。
（１２）前記表示装置は頭部装着ディスプレイである、前記（１１）に記載の表示装置。
（１３）複数の頭部装着ディスプレイと、前記頭部装着ディスプレイに表示させる情報を制御する表示制御装置と、が通信可能に接続されており、
前記表示制御装置は、
前記頭部装着ディスプレイを装着しているユーザによって選択された情報および他の頭部装着ディスプレイを装着しているユーザが視認している情報を、前記各頭部装着ディスプレイへ出力する、表示制御システム。

１ 内視鏡システム
１００ ＨＭＤ
１０２ リモートコントローラ
１１０ 本体部
１５２ 第１の表示部
１５４ 第２の表示部
１６２ ディスプレイポート
１６４ 画像生成部
１６５ 第１の表示素子
１６６ 第２の表示素子
１６７ 視線検出部
２００ プロセッサユニット
２１１ 画像入力部
２１２ 画像処理部
２１３ 表示制御部
２１４ 出力部
２１５ 操作入力部
３００ ディスプレイ
４００ 外部機器

Claims (16)

1. ユーザが装着している頭部装着ディスプレイの表示部に表示させる情報を、他の頭部装着ディスプレイを装着する他のユーザが視認している情報に基づいて決定する表示制御部を備え、
   前記他のユーザが視認している情報は、前記他の頭部装着ディスプレイを装着している前記他のユーザの視線を検出する視線検出部からの検出情報に基づいて決定される、表示制御装置。
2. 前記表示制御部は、前記頭部装着ディスプレイを装着しているユーザが選択している主情報を前記表示部の表示領域に表示し、前記他の前記頭部装着ディスプレイを装着している前記他のユーザが視認している情報を表すオブジェクトを前記表示領域の一部に表示する、請求項１に記載の表示制御装置。
3. 前記オブジェクトは、前記他の前記頭部装着ディスプレイを装着している前記他のユーザが視認している映像のサムネイルである、請求項２に記載の表示制御装置。
4. 前記オブジェクトは、前記他の前記頭部装着ディスプレイを装着している前記他のユーザが視認している情報を表すテキスト情報である、請求項２または３に記載の表示制御装置。
5. 前記オブジェクトは、前記他の前記頭部装着ディスプレイを装着している前記他のユーザが視認している情報を表すチャートである、請求項２〜４のいずれか１項に記載の表示制御装置。
6. 前記表示制御部は、前記オブジェクトに対応する情報を視認している前記他のユーザを特定する識別情報を、前記オブジェクトとともに表示する、請求項２〜５のいずれか１項に記載の表示制御装置。
7. 前記表示制御部は、前記他の頭部装着ディスプレイを装着している前記他のユーザが視認している情報が変化したことを表す通知を前記表示領域の一部に表示する、請求項２〜６のいずれか１項に記載の表示制御装置。
8. 前記表示制御部は、さらに前記頭部装着ディスプレイを装着していないユーザが視認可能な表示装置の表示領域に対して、前記頭部装着ディスプレイを装着している複数のユーザそれぞれが視認している各情報を前記表示領域の一部に表示させる、請求項１〜７のいずれか１項に記載の表示制御装置。
9. 前記他のユーザが視認している情報は、内視鏡装置により撮像された画像を少なくとも含む、請求項１〜８のいずれか１項に記載の表示制御装置。
10. 前記他のユーザが視認している情報は、前記他のユーザのうち特定のユーザが手元を見ていることを示す情報を含む、請求項１〜９のいずれか１項に記載の表示制御装置。
11. 表示部と、
    ユーザが装着している頭部装着ディスプレイの表示部に表示させる情報を、他の頭部装着ディスプレイを装着する他のユーザが視認している情報に基づいて決定する決定する表示制御部と、
    を備え、
    前記他のユーザが視認している情報は、前記他の頭部装着ディスプレイを装着している前記他のユーザの視線を検出する視線検出部からの検出情報に基づいて決定される、表示装置。
12. 前記表示装置は頭部装着ディスプレイである、請求項１１に記載の表示装置。
13. 複数の頭部装着ディスプレイと、前記頭部装着ディスプレイに表示させる情報を制御する表示制御装置と、が通信可能に接続されており、
    前記表示制御装置は、
    前記頭部装着ディスプレイを装着しているユーザによって選択された情報および他の頭部装着ディスプレイを装着しているユーザが視認している情報を、前記各頭部装着ディスプレイへ出力し、
    前記ユーザが視認している情報は、前記頭部装着ディスプレイを装着しているユーザの視線を検出する視線検出部からの検出情報に基づいて決定される、表示制御システム。
14. 複数の頭部装着ディスプレイと、前記頭部装着ディスプレイに表示させる情報を制御する表示制御装置とが通信可能に接続され、前記表示制御装置と医療映像を取得する医療用撮像装置とが通信可能に接続される医療映像システムにおいて、
    前記表示制御装置は、
    前記頭部装着ディスプレイを装着している医療従事者によって選択された情報および他の頭部装着ディスプレイを装着している医療従事者が視認している情報を、前記各頭部装着ディスプレイへ出力し、
    前記医療従事者が視認している情報は、前記頭部装着ディスプレイを装着している医療従事者の視線を検出する視線検出部からの検出情報に基づいて決定される、医療映像システム。
15. ユーザが装着している頭部装着ディスプレイの表示部に表示させる情報を、他の頭部装着ディスプレイを装着する他のユーザが視認している情報に基づいて決定する表示制御部を備え、
    前記他のユーザが視認している情報は、内視鏡装置により撮像された画像を少なくとも含む、表示制御装置。
16. ユーザが装着している頭部装着ディスプレイの表示部に表示させる情報を、他の頭部装着ディスプレイを装着する他のユーザが視認している情報に基づいて決定する表示制御部を備え、
    前記表示制御部は、さらに前記頭部装着ディスプレイを装着していないユーザが視認可能な表示装置の表示領域に対して、前記頭部装着ディスプレイを装着している複数のユーザそれぞれが視認している各情報を前記表示領域の一部に表示させる、表示制御装置。

Images