WO2015125508A1

WO2015125508A1 - 頭部装着ディスプレイ、制御装置および制御方法

Info

Publication number: WO2015125508A1
Application number: PCT/JP2015/050318
Authority: WO
Inventors: 敏靖森本
Original assignee: ソニー株式会社
Priority date: 2014-02-21
Filing date: 2015-01-08
Publication date: 2015-08-27
Also published as: US20170168297A1; JPWO2015125508A1; US10139624B2; EP3108801A1; JP6589855B2; EP3108801A4

Abstract

【課題】ＨＭＤの装着時における装着者と非装着者とのコミュニケーションを向上させる。【解決手段】本開示の頭部装着ディスプレイは、装着者に画像を提示するための表示部と、装着者の頭部へ装着される装着部と、装着者が視認している情報を装着者以外の者に通知する通知部を備える。

Description

頭部装着ディスプレイ、制御装置および制御方法

　本開示は、ユーザが頭部に装着して使用する頭部装着ディスプレイ、および頭部装着ディスプレイを制御する制御装置とその制御方法に関する。

　ユーザが装着して使用するウェアラブル端末の１つとして、ヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ、頭部装着ディスプレイ；以下「ＨＭＤ」とする。）がある。ＨＭＤは、ユーザの頭部に装着して使用する表示装置であり、近年、ＡＶ機器やコンピュータゲーム等の表示装置の他、作業環境において作業しながらユーザが情報を確認するための表示装置としても使用されている。

　例えば、医療現場において、内視鏡の映像を映し出すための表示装置としてＨＭＤが使用されている（例えば、特許文献１、２）。術者は、ＨＭＤを装着し、ＨＭＤに映し出された映像を見ながら手術を行う。これまで内視鏡の映像は術者の近くに設置されたモニタに表示されるのが一般的であったため、術者はモニタと患部との間で視線を頻繁に動かす必要があった。内視鏡の映像をＨＭＤに映し出すことにより、術者は視線を大きく動かすことなくＨＭＤの表示部に表示された内視鏡の映像と患部とを確認することが可能となる。

特開平０６－０６２４３８号公報特開２０１３－１０６７５２号公報

　しかし、装着者の眼を覆うタイプのＨＭＤを使用する場合、周辺環境を認識することができず、助手や看護師に指示を出す等、術中のコミュニケーションを図ることが困難となる。これに対して、例えば、ＨＭＤにカメラを搭載して周辺環境も閲覧できるようなビデオシースルータイプのＨＭＤを用いることも考えられる。ＨＭＤにビデオシースルー機能が追加されると、ＨＭＤを装着した術者は、手術中に内視鏡映像と外部カメラ映像とを切り替えることで、周囲のスタッフの状況を認識することが可能となり、コミュニケーションも改善されると考えられる。

　だが、術者だけでなく、スコピスト（内視鏡操作者）や助手もＨＭＤを装着することもある。このように複数の者がＨＭＤを装着して共同で手術を行う場合には、ビデオシースルーにより周辺環境を認識することができても、ＨＭＤを装着している他者が何を見ているのかまでは認識できない。このため、作業者間での連携ロスが発生する可能性がある。

　そこで、ＨＭＤの装着時における他者とのコミュニケーションを向上させることが求められていた。

　本開示によれば、装着者に画像を提示するための表示部と、装着者の頭部へ装着される装着部と、装着者が視認している情報を装着者以外の者に通知する通知部を備える、頭部装着ディスプレイが提供される。

　また、本開示によれば、頭部装着ディスプレイの装着者が視認している情報を取得する視認情報取得部と、装着者が視認している情報に基づいて、頭部装着ディスプレイが有する、装着者以外の者に装着者が視認している情報を通知する通知部を制御する通知制御部を備える、制御装置が提供される。

　さらに、本開示によれば、頭部装着ディスプレイの装着者が視認している情報を取得し、装着者が視認している情報に基づいて、頭部装着ディスプレイが有する、装着者以外の者に装着者が視認している情報を通知する通知部を制御する、制御方法が提供される。

　本開示によれば、頭部装着ディスプレイの装着者が視認している情報が、通知部により装着者以外の者に通知される。これにより、装着者以外の者は、装着者が何を見ているかを認識することが可能となる。

　以上説明したように本開示によれば、頭部装着ディスプレイの装着者が視認している情報を、非装着者、あるいは他の装着者が認識することが可能となり、頭部装着ディスプレイの装着時における他者とのコミュニケーションを向上させることができる。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る内視鏡システムの一構成例を示すシステム構成図である。同実施形態に係るＨＭＤをユーザが装着している状態を示す概略側面図である。同実施形態に係るＨＭＤの表示面を示す概略図である。同実施形態に係るＨＭＤに設けられる通知部の一構成例を示す説明図であり、１つのランプからなる例である。同実施形態に係るＨＭＤに設けられる通知部の一構成例を示す説明図であり、同色の３つのランプからなる例である。同実施形態に係るＨＭＤに設けられる通知部の一構成例を示す説明図であり、異色の３つのランプからなる例である。同実施形態に係るＨＭＤに設けられる通知部の一構成例を示す説明図であり、表示デバイスからなる例である。同実施形態に係る表示制御システムを構成するＨＭＤおよびプロセッサユニットの機能構成を示す機能ブロック図である。本開示の第２の実施形態に係る表示制御システムを構成するＨＭＤおよびプロセッサユニットの機能構成を示す機能ブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１．１．システム構成
　　１．２．通知部
　　１．３．制御処理
　　１．４．まとめ
　２．第２の実施形態（視線検出部を備える例）
　３．変形例

　＜１．第１の実施形態＞
　［１．１．システム構成］
　まず、図１～図３を参照して、本開示の第１の実施形態に係るＨＭＤを使用したシステムの一例として、内視鏡システムについて説明する。なお、図１は、本実施形態に係る内視鏡システム１の一構成例を示すシステム構成図である。図２は、本実施形態に係るＨＭＤ１００をユーザが装着している状態を示す概略側面図である。図３は、ＨＭＤ１００の表示面１５２、１５４を示す概略図である。

　なお、本開示において、内視鏡システム１を利用するユーザについて、以下のように定義する。
　「装着者」：ＨＭＤを装着している人
　「非装着者」：ＨＭＤを装着していない人
　また、「装着者」が複数存在するとき、１人の「装着者」に対し、それ以外のＨＭＤの装着者を「他の装着者」ともいう。

　本実施形態に係る内視鏡システム１は、内視鏡手術において用いられるシステムであり、術者はＨＭＤを装着して内視鏡装置により撮像された患部の様子を視認しながら手術する。

　内視鏡システム１は、図１に示すように、ＨＭＤ１００（１００Ａ、１００Ｂ）と、ディスプレイ３００と、外部機器４００（４００Ａ、４００Ｂ）とが、プロセッサユニット２００に接続されて構成されている。

　ＨＭＤ１００は、外部機器４００からの入力映像等の情報を表示する表示装置である。ＨＭＤ１００は、図２に示すように、例えばゴーグル形状の非透過型のＨＭＤであって、ユーザが頭部に装着した状態で使用される。ＨＭＤ１００は、当該ＨＭＤ１００の装着者に情報を提示する表示部１５２、１５４を備える本体部１１０と、本体部１１０を頭部に固定させるための上部固定部１２０および後部固定部１３０とからなる。固定部で装着者の頭部に固定されると、本体部１１０の表示部１５２、１５４が装着者の左右の眼の前に位置するようになる。

　本体部１１０は、装着者の両眼を覆う部位である。本体部１１０は、例えば装着者の左右のこめかみ付近まで覆うように構成されてもよい。このような形状とすることで、装着時に装着者の眼前をほぼ完全に被覆することができ、装着者の眼に外光が入射せずより画像を見やすくすることができる。本体部１１０の外表面には、例えば周辺環境を撮影するための撮像部１１２を備えてもよい。これにより、ＨＭＤ１００の装着者は、プロセッサユニット２００を介して外部機器４００等から提供される情報以外に、ＨＭＤ１００を装着していないときに見える周辺環境の情報も認識できるようになる（ビデオシースルー）。

　本体部１１０の接眼面１１０ａには、図３に示すように、装着者の左右の眼の位置に対応するように左眼用の第１の表示部１５２と、右眼用の第２の表示部１５４とが設けられている。第１の表示部１５２と第２の表示部１５４との間には、例えば装着者の鼻を位置させる切り欠きが形成されていてもよい。本体部１１０の接眼面１１０ａと装着者の眼との間には隙間を設けてもよい。この隙間の下方を覆わずに開口した状態とすることで、装着者は視線を下方に向けた際に自分の手元等を見ることができるようにすることができる。

　本体部１１０の内部には、第１の表示部１５２に左眼用画像を提示する第１の表示素子（図８の符号１６５）と、第２の表示部１５４に右眼用画像を提示する第２の表示素子（図８の符号１６６）とが設けられている。各表示素子は、例えばプロセッサユニット２００より提供される内視鏡装置の画像や、本体部１１０の撮像部１１２により撮像された画像等を提示する。なお、ＨＭＤ１００の表示部に表示される画像の表示制御処理については、後述する。また、本体部１１０には、プロセッサユニット２００との情報の送受信を行うため、プロセッサユニット２００に接続されるケーブル１４０が設けられている。本実施形態では、ＨＭＤ１００とプロセッサユニット２００は有線接続されているが、本開示はかかる例に限定されず、機器間での情報通信は無線通信により行ってもよい。

　上部固定部１２０は、本体部１１０を装着者の眼の位置に固定させるために装着者の頭部の上方から本体部１１０を支持する。上部固定部１２０は、頭頂部に位置する支持部１２１、１２４と、装着者前方側の位置の調整する第１の調整部１２２と、装着者の左右の側方で高さ位置を調整する第２の調整部１２５とから構成される。

　第１の調整部１２２は、図２に示すように、本体部１１０の上部と支持部１２１とを連結する部材であって、その長さは調節可能に構成されている。第１の調整部１２２の長さを調整することで、本体部１１０の接眼面１１０ａ上方に設置された額当てパット１２７が装着者の額に押し当てられる程度が変更され、装着者前方側の位置の調整することができる。

　第２の調整部１２５は、図２に示すように、装着時に装着者の左右の耳の上部に向かって延びる本体部１１０の両側部と支持部１２４とを連結する部材であって、その長さは調節可能に構成されている。第２の調整部１２５は、左右両側にそれぞれ設けられている。第２の調整部１２５の長さを調整することで、第１の調整部１２２と頭部との間に設置された頭部パット１２２ａが装着者の頭部に押し当てられ、本体部１１０の両側部の高さ位置が調整される。

　後部固定部１３０は、本体部１１０を装着者の眼の位置に固定させるために装着者の後頭部から本体部１１０を支持する。後部固定部１３０は、図２に示すように、本体部１１０の両側部を後頭部側で連結する部材であって、その長さを調節可能に構成されている。後部固定部１３０の長さを調整することで、本体部１１０の両側部に設けられた側部パット１２６が頭部に押し当てられる程度が変更され、側頭部での支持具合を調整することができる。

　このＨＭＤ１００の表示部１５２、１５４に表示される情報は、リモートコントローラ１０２（１０２Ａ、１０２Ｂ）によって切り替えるようにしてもよい。リモートコントローラ１０２は、１つのＨＭＤ１００と対となって設けられる。例えばリモートコントローラは装着者が足で踏み入力操作を行うフットスイッチであってもよい。リモートコントローラ１０２からの入力情報は、プロセッサユニット２００へ出力される。

　プロセッサユニット２００は、接続された機器を制御する制御装置である。本実施形態においては、プロセッサユニット２００は、図１に示すように、ＨＭＤ１００（１００Ａ、１００Ｂ）と、ディスプレイ３００と、外部機器４００（４００Ａ、４００Ｂ）とを制御する。具体的には、プロセッサユニット２００は、外部機器４００から入力された情報を、ＨＭＤ１００やディスプレイ３００の表示装置に表示可能な情報に処理し、各表示装置へ出力する。また、プロセッサユニット２００は、各ＨＭＤ１００のリモートコントローラ１０２からの操作入力に基づいて、ＨＭＤ１００の表示部１５２、１５４に表示する情報を切り替える。

　ディスプレイ３００は、不特定のユーザが情報を見るための表示装置である。ディスプレイ３００は、主として、ＨＭＤ１００の装着者とともに作業する、ＨＭＤ１００の非装着者が情報を見るために用いられる。ディスプレイ３００には、外部機器４００からの入力情報やその他の情報を表示することができる。ディスプレイ３００に表示される情報は、装着者、非装着者、あるいはプロセッサユニット２００によって設定される。

　外部機器４００は、ＨＭＤ１００やディスプレイ３００等の表示装置に表示する情報を出力する機器である。本実施形態の内視鏡システム１においては、例えば外部機器Ａ４００Ａは内視鏡装置であって、内視鏡装置のカメラにより撮像された映像がプロセッサユニット２００へ出力される。

　このような内視鏡システム１では、外部機器４００から入力された情報がプロセッサユニット２００により処理され、ＨＭＤ１００やディスプレイ３００等の表示装置に表示される。

　［１．２．通知部］
　本実施形態に係るＨＭＤ１００において、表示部１５２、１５４に表示される情報を複数切り替え可能な場合、装着者の眼が本体部１１０で覆われているために、ＨＭＤ１００の装着者が何を見ているのか、本人以外は認識することができない。そこで、本実施形態に係るＨＭＤ１００には、本体部１１０の外表面に、ＨＭＤ１００の装着者が視認している情報を表す通知部１７０が設けられている。通知部１７０は、ＨＭＤ１００を装着している本人以外が視認できる位置に設けられていればよい。通知部１７０の構成として、例えば図４～図７に示すような形態が考えられる。

　図４に示す通知部１７０Ａは、本体部１１０の外表面中央付近に設けられた１つのランプからなる。ランプは例えばＬＥＤランプであってもよい。ランプは、ＨＭＤ１００の装着者が視認している情報に応じて点灯状態が制御される。点灯状態は、例えば連続点灯、消灯、点滅等がある。例えば、装着者が外部機器Ａ４００Ａの情報を見ているときにはランプが点灯し、外部機器Ｂ４００Ｂの情報を見ているときには点滅し、撮像部１１２により周辺環境を見ているときには消灯する、といったように、ランプは制御される。あるいは、ＨＭＤ１００の装着者が視認している情報に応じてランプの光量を変化させるようにしてもよい。

　図５に示す通知部１７０Ｂは、本体部１１０の外表面中央付近に設けられた３つのランプ１７１、１７２、１７３からなる。ランプ１７１、１７２、１７３も例えばＬＥＤランプであってもよい。これらが同色であるとき、例えば表示部１５２、１５４に表示可能な情報（あるいはプロセッサユニット２００の入力端子）と点灯するランプとを関連付けておき、ＨＭＤ１００の装着者が視認している情報に応じて対応するランプを点灯させてもよい。

　なお、情報とランプとは一対一に対応付けられていると分かりやすいが、ランプの数は表示可能な情報の数より少なくてもよい。この場合、各ランプの点灯状態を変化させることで、情報の違いを表すことができる。あるいは、ランプの点灯数を変化させることで情報の違いを表すこともできる。例えば、装着者が外部機器Ａ４００Ａの情報を見ているときにはランプ１７１が１つ点灯し、外部機器Ｂ４００Ｂの情報を見ているときにはランプ１７１、１７２の２つが点灯する、といったようにしてもよい。

　図６に示す通知部１７０Ｃは、本体部１１０の外表面中央付近に設けられた異なる色の３つのランプ１７４、１７５、１７６からなる。ランプ１７４、１７５、１７６も例えばＬＥＤランプであってもよい。このように、異なる色のランプ１７４、１７５、１７６を用いることで、より非装着者に分かりやすく情報を通知することができる。なお、図６に示す通知部１７０Ｃも、図５の通知部１７０Ｂと同様、情報とランプとは一対一に対応付けられていなくてもよく、点灯状態や点灯数を変化させることで情報の違いを表すことも可能である。

　図７に示す通知部１７０Ｄは、ＨＭＤ１００の装着者が視認している情報を表示する表示デバイスである。表示デバイスとして、例えば、液晶ディスプレイや有機ＥＬディスプレイ、電子ペーパー等の軽量な表示デバイス、曲面設置可能なように湾曲できる表示デバイス等を用いてもよい。表示デバイスに表示される情報は、ＨＭＤ１００の装着者が実際に見ている情報そのものであってもよく、当該情報を表す対応情報であってもよい。対応情報としては、例えばサムネイルやテキスト情報、チャート等がある。これにより、非装着者は、通知部１７０Ｄを見ることでＨＭＤ１００の装着者が視認している情報を容易に認識することができる。

　なお、本実施形態に係るＨＭＤ１００の通知部１７０の形態は上述の例に限定されるものではない。また、例えばランプと表示デバイスとを組み合わせて設ける等、上述の通知部１７０Ａ～１７０Ｄの形態は適宜組合せ可能である。

　［１．３．制御処理］
　ＨＭＤ１００の装着者は、プロセッサユニット２００から提示される内視鏡装置等の医療映像や、ＨＭＤ１００の撮像部１１２により撮影された映像を切り替えながら、手術を行う。このとき、ＨＭＤ１００には、表示部１５２、１５４に外部機器４００等の情報が表示されるとともに、本体部１１０の通知部１７０により、ＨＭＤ１００の装着者が視認している情報が通知される。以下、図８に基づき、本実施形態にかかる内視鏡システム１におけるＨＭＤ１００への情報表示制御および通知制御について説明する。

　図８に、本実施形態にかかる内視鏡システム１を構成するＨＭＤ１００およびプロセッサユニット２００の機能構成を示す。なお、図８には、ＨＭＤ１００の表示部１５２、１５４の表示制御を行う際に機能する機能部と、ＨＭＤ１００の通知制御機能とを示しており、実際には、他の機能部を備えているものとする。図８の例では、プロセッサユニット２００は、２つのＨＭＤ１００Ａ、１００Ｂの表示制御を行う表示制御装置として機能し、各ＨＭＤ１００Ａ、１００Ｂの表示切替指示に基づき、それぞれに提示する情報を切り替える。

　まず、ＨＭＤ１００の表示処理機能についてみると、図８に示すように、ＨＭＤ１００は、ディスプレイポート１６２と、画像生成部１６４と、表示素子１６５、１６６と、通知制御部１６８とを備える。

　ディスプレイポート１６２は、プロセッサユニット２００からの入力情報を受けるインタフェースである。ディスプレイポート１６２には、プロセッサユニット２００との情報通信を可能にするケーブル１４０が接続される。ディスプレイポート１６２には、例えば表示素子１６５、１６６へそれぞれ出力する画像信号や、ＨＭＤ１００の装着者が視認している情報が入力される。ディスプレイポート１６２から入力された情報は、画像生成部１６４へ出力される。

　画像生成部１６４は、プロセッサユニット２００を介して取得された情報に基づき、表示素子１６５、１６６へそれぞれ出力する画像信号を生成する。装着者に提示する画像が３Ｄ画像である場合には、画像生成部１６４は、第１の表示素子１６５へ出力される左眼用画像信号と第２の表示素子１６６へ出力される右眼用画像信号とにずれを生じさせるずらし処理を行う。ずらし処理では、例えば表示素子１６５、１６６と装着者の眼との距離や装着者の眼の間隔、虚像位置等に応じて、左眼用画像信号と右眼用画像信号とのずらし量が決定される。画像生成部１６４は、生成した画像信号を、第１の表示素子１６５および第２の表示素子１６６へ出力する。

　表示素子１６５、１６６は、画像生成部１６４から入力される画像信号に基づいて、表示部１５２、１５４に向かって画像光へ出射する。表示素子１６５、１６６は、例えばＨＭＤ１００の装着時に装着者の顔の前後方向に表示部１５２、１５４と対向するように配置される。これにより、表示素子１６５、１６６と表示部１５２、１５４とから出射される画像光の光軸は、装着者が正面を向いたときの視線の方向と略平行になる。

　表示素子１６５、１６６は、例えば有機ＥＬ（Electroluminescence）素子で構成される。表示素子１６５、１６６として有機ＥＬ素子を採用することで、小型で、高コントラスト、迅速な応答性等を実現することができる。表示素子１６５、１６６は、例えば複数の赤色有機ＥＬ素子、緑色有機ＥＬ素子、青色有機ＥＬ素子等がマトリクス状に配置された構成を有する。これらの各素子は、アクティブマトリクス型、あるいはパッシブマトリクス型等の駆動回路によって駆動されることで、それぞれ所定のタイミング、輝度等にて自発光する。この駆動回路が画像生成部１６４で生成された画像信号に基づいて制御されることで、表示素子１６５、１６６には全体として所定の画像が表示され、表示部１５２、１５４を介して装着者に提供される。

　なお、表示素子１６５、１６６と表示部１５２、１５４との間には、光学系として、例えば複数の接眼レンズ（図示せず。）をそれぞれ配置させてもよい。これらの接眼レンズと装着者の眼とを所定距離で対向させることにより、装着者に対し、画像が所定位置（虚像位置）に表示されるように見える虚像を観察させることが可能となる。このような虚像を提示することで、３Ｄ画像を提供することができる。なお、虚像位置及び虚像の大きさは、表示素子１６５、１６６及び光学系の構成等によって設定される。

　なお、装着者に虚像を観察させるため、表示素子１６５、１６６から光軸方向に出射される画像光が左右の眼の網膜上にそれぞれ結像するように本体部１１０はユーザに装着される。本体部１１０が適切に装着されていない場合には、ピントがぼけた画像となったり、３Ｄ画像にブレが生じたりしてしまい、装着者は所望の画像を見ることができない。したがって、ユーザは、ＨＭＤ１００の装着時には、本体部１１０を適切な位置に調整した後、当該位置がずれないように上部固定部１２０および後部固定部１３０によって本体部１１０を頭部に固定する。

　通知制御部１６８は、ディスプレイポート１６２に入力されたプロセッサユニット２００からの入力情報に基づいて、通知部１７０を制御する。通知制御部１６８は、例えば表示部１５２、１５４への表示情報が切り替えられたタイミングで、新たに表示される情報を表すように通知部１７０を制御する。例えば通知部１７０がランプである場合には、通知制御部１６８はランプの点灯状態や点灯数、光量等を制御する。また、例えば通知部１７０が表示デバイスである場合には、通知制御部１６８は表示デバイスに表示する情報、あるいはこれに対応するサムネイルやテキスト情報、チャート等の対応情報を表示させる。

　なお、通知制御部１６８は、ＨＭＤ１００の表示が切り替わったことを通知部１７０により通知してもよい。例えば通知部１７０がランプである場合には、通知制御部１６８は、表示の切り替わりを通知する点灯パターンでランプを点灯させた後、切替後に表示される情報に対応する点灯状態に移行させるように制御してもよい。また、例えば通知部１７０が表示デバイスである場合には、通知制御部１６８は、表示デバイスに表示されるサムネイルを一時的に点滅表示させたり、表示の切り替わりを通知するアラームを表示させたりしてもよい。

　次いで、プロセッサユニット２００の表示処理機能についてみると、図８に示すように、プロセッサユニット２００は、画像入力部２１１と、画像処理部２１２と、表示制御部２１３と、出力部２１４と、操作入力部２１５とを備える。

　画像入力部２１１は、外部機器４００からプロセッサユニット２００に入力される画像を受けるインタフェースである。図８の例では、外部機器４００として内視鏡装置１０が示されており、このとき画像入力部２１１には、内視鏡装置１０のカメラ（図示せず。）により撮像された画像が入力される。画像入力部２１１は、入力された画像を画像処理部２１２へ出力する。

　画像処理部２１２は、プロセッサユニット２００に入力された画像を、ＨＭＤ１００に表示させるための画像に処理する。画像処理部２１２では、例えば、内視鏡装置１０のカメラにより撮像された画像から、ＨＭＤ１００の第１の表示部１５２に表示させる左眼用画像と第２の表示部１５４に表示させる右眼用画像とを生成する。画像処理部２１２により画像処理された画像は、表示制御部２１３へ出力される。

　表示制御部２１３は、ＨＭＤ１００の表示部１５２、１５４に表示させる情報を制御する。表示制御部２１３は、リモートコントローラ１０２からの表示切替指示に基づき、指示された情報を表示するように制御する。表示制御部２１３は、各ＨＭＤ１００に表示させる情報を決定すると、出力部２１４を介して当該情報を各ＨＭＤ１００へ情報を出力する。

　操作入力部２１５は、ＨＭＤ１００の装着者からの操作入力を受ける入力部である。本実施形態において、ＨＭＤ１２０の表示部１５２、１５４に表示される情報は、リモートコントローラ１０２によって切替可能である。リモートコントローラ１０２に対する操作入力は操作入力部２１５へ出力され、操作入力部２１５はこの操作入力情報を表示制御部２１３に出力する。表示制御部２１３は、リモートコントローラ１０２からの表示切替指示に基づき、指示された情報を、出力部２１４を介してＨＭＤ１００へ出力する。

　［１．４．まとめ］
　以上、本実施形態に係る内視鏡システム１において、ＨＭＤ１００に表示する情報の提示方法について説明した。本実施形態によれば、ＨＭＤ１００の装着者が視認している情報に応じて通知部１７０を制御し、ＨＭＤ１００の装着者が視認している情報を非装着者に通知する。これにより、非装着者は、共同して作業を行っているＨＭＤ１００の装着者が現在何を見て作業を行っているのか把握することが可能となる。その上で会話や指示を行うので、ユーザ間のコミュニケーションを容易に図ることが可能となり、連携ロスの発生等を回避することができる。

　＜２．第２の実施形態＞
　次に、図９に基づいて、本開示の第２の実施形態に係るＨＭＤを使用したシステムにおける通知制御について説明する。本実施形態では、第１の実施形態と同様、内視鏡システムを例として説明する。なお、図９は、本実施形態に係る内視鏡システム１を構成するＨＭＤ１００およびプロセッサユニット２００の機能構成を示す機能ブロック図である。なお、図９には、ＨＭＤ１００の表示部１５２、１５４の表示制御を行う際に機能する機能部と、ＨＭＤ１００の通知制御機能とを示しており、実際には、他の機能部を備えているものとする。

　図９の例においても、第１の実施形態の図８と同様、プロセッサユニット２００は、２つのＨＭＤ１００Ａ、１００Ｂの表示制御を行う表示制御装置として機能し、各ＨＭＤ１００Ａ、１００Ｂの表示切替指示に基づき、それぞれに提示する情報を切り替える。本実施形態に係る内視鏡システム１は、図８に示す第１の実施形態の構成と比較して、ＨＭＤ１００に視線検出部１６７を備える点で相違する。その他の機能部は第１の実施形態と同一であるため、これらの機能部についての説明は省略する。

　ＨＭＤ１００に設けられた視線検出部１６７は、ＨＭＤ１００の装着者の視線を検出する。視線検出部１６７は、ＨＭＤ１００の装着者の眼を撮像し、眼における基準点と動点との位置関係から視線を検出する。視線検出部１６７により検出された装着者の視線は、通知制御部１６８へ出力される。通知制御部１６８は、視線検出部１６７の検出結果に基づき、装着者が表示部１５２、１５４を見ているのか、あるいは手元等のその他の部分を見ているのかを判定する。そして、通知制御部１６８は、判定結果に基づき、通知部１７０を制御して、装着者が見ている情報を非装着者に通知する。

　このように、視線検出部１６７により装着者の視線を検出することで、例えば装着者がＨＭＤ１００の表示部１５２、１５４を見ているか否かを把握することができる。図２に示したＨＭＤ１００のように、本体部１１０と装着者の眼との間に隙間があり、その下方が開口されている場合等、ＨＭＤ１００の装着者が表示部１５２、１５４に表示された情報以外のものを見ることができる場合もある。このとき、表示部１５２、１５４に表示されている情報を非装着者に通知すると、ユーザ間での認識が相違してしまい、コミュニケーションをうまく図ることができないといった状況も考えられる。

　また、例えばＰｉｎＰ（Ｐｉｃｔｕｒｅ　Ｉｎ　Ｐｉｃｔｕｒｅ）のように表示部１５２、１５４の表示領域内に別の情報を表示する表示領域が設けられている場合、装着者は視線を移動させて各表示領域の情報を注視したりする。このとき、装着者が見ていない表示領域に表示されている情報を非装着者に通知すると、やはりユーザ間で認識が相違してしまう。

　このように、装着者が視認している情報は、必ずしもＨＭＤ１００の表示部１５２、１５４に表示された情報とは限らない。装着者が視認している情報には、表示部１５２、１５４に表示されている情報以外にも、例えば手元を見ているとの情報もあり、また、表示部１５２、１５４に複数の表示領域がある場合にはいずれかの表示領域の情報であったりもする。そこで、本実施形態のようにＨＭＤ１００に視線検出部１６７を設けて、ＨＭＤ１００の装着者の視線から当該装着者が視認している情報を特定する。これにより、より正確に装着者の見ている情報を非装着者に伝えることができるようになり、ユーザ間のコミュニケーションを向上させることができる。

　以上、本実施形態に係る内視鏡システム１において、ＨＭＤ１００に表示する情報の提示方法について説明した。本実施形態によれば、ＨＭＤ１００の装着者が視認している情報に応じて通知部１７０を制御し、ＨＭＤ１００の装着者が視認している情報を非装着者に通知する。これにより、非装着者は、共同して作業を行っているＨＭＤ１００の装着者が現在何を見て作業を行っているのか把握することが可能となる。その上で会話や指示を行うので、ユーザ間のコミュニケーションを容易に図ることが可能となり、連携ロスの発生等を回避することができる。

　＜３．変形例＞
　上記実施形態では、ＨＭＤ１００の装着者が視認している情報をＨＭＤ１００に設けられた通知部１７０により通知したが、本開示はかかる例に限定されない。例えば、各装着者が視認している情報を通知する通知部１７０は、プロセッサユニット２００に設けてもよい。

　具体的にはプロセッサユニット２００に、ランプや表示デバイス等の通知部を設け、当該通知部により接続されているＨＭＤ１００の装着者が視認している情報を表す。これにより、プロセッサユニット２００をみればＨＭＤ１００を装着する複数の装着者が視認している情報をすべて把握することが可能となる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、上記実施形態において、ＨＭＤ１００の通知部１７０を制御する通知制御部１６８や視線検出部１６７は各ＨＭＤ１００に設けられていたが、本技術はかかる例に限定されない。例えば、プロセッサユニット２００に通知制御部あるいは視線検出部の機能を設けるようにしてもよい。

　また、上記実施形態では、表示素子として有機ＥＬ素子を用いたが、本技術はかかる例に限定されない。例えば、表示素子に液晶表示素子（ＬＣＤ）等を用いてもよい。

　さらに、上記実施形態では、ＨＭＤ１００の装着者が視認している情報を、ＨＭＤ１００の通知部１７０を介して非装着者に通知するとして説明したが、本技術はかかる例に限定されない。例えば、ＨＭＤ１００がシースルータイプであれば、装着者は他の装着者のＨＭＤ１００の通知部１７０を視認することが可能となる。このように、シースルータイプのＨＭＤを用いることで、装着者は撮像部１１２を通して他の装着者の通知部１７０を見て、他の装着者が視認している情報を認識することができる。これにより、ＨＭＤ１００の装着者と当該装着者以外の者とのコミュニケーションを高めることが可能となる。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）装着者に画像を提示するための表示部と、
　前記装着者の頭部へ装着される装着部と、
　前記装着者が視認している情報を前記装着者以外の者に通知する通知部を備える、頭部装着ディスプレイ。
（２）前記通知部は、１または複数のランプからなる、前記（１）に記載の頭部装着ディスプレイ。
（３）前記通知部は、前記１または複数のランプの色、点灯状態、点灯数、または発光量のうち少なくともいずれか１つに基づいて、前記装着者が視認している情報を通知する、前記（２）に記載の頭部装着ディスプレイ。
（４）前記通知部は、前記装着者が視認している情報を表示する表示デバイスである、前記（１）に記載の頭部装着ディスプレイ。
（５）前記通知部は、前記装着者が視認している情報を表す対応情報を表示する表示デバイスである、前記（１）に記載の頭部装着ディスプレイ。
（６）前記表示デバイスは湾曲可能である、前記（５）に記載の頭部装着ディスプレイ。
（７）前記装着者が視認している情報は、内視鏡装置により撮像された画像を少なくとも含む、前記（１）～（６）のいずれか１項に記載の頭部装着ディスプレイ。
（８）前記装着者が視認している情報に基づいて、前記通知部を制御する通知制御部を備える、前記（１）～（７）のいずれか１項に記載の頭部装着ディスプレイ。
（９）前記通知部は、前記１または複数のランプからなり、
　前記通知制御部は前記装着者が視認している情報に基づいて、前記１または複数のランプの色、点灯状態、点灯数、または発光量のうち少なくともいずれか１つを制御する、前記（８）に記載の頭部装着ディスプレイ。
（１０）装着者の視線を検出する視線検出部を備え、
　前記通知制御部は、前記視線検出部の検出結果に基づいて、装着者が視認している情報を判定する、前記（８）または（９）に記載の頭部装着ディスプレイ。
（１１）頭部装着ディスプレイの装着者が視認している情報を取得する視認情報取得部と、
　前記装着者が視認している情報に基づいて、前記頭部装着ディスプレイが有する、前記装着者以外の者に前記装着者が視認している情報を通知する通知部を制御する通知制御部を備える、制御装置。
（１２）頭部装着ディスプレイの装着者が視認している情報を取得し、
　前記装着者が視認している情報に基づいて、前記頭部装着ディスプレイが有する、前記装着者以外の者に装着者が視認している情報を通知する通知部を制御する、制御方法。

　１　　　　内視鏡システム
　１００　　ＨＭＤ
　１０２　　リモートコントローラ
　１１０　　本体部
　１５２　　第１の表示部
　１５４　　第２の表示部
　１６２　　ディスプレイポート
　１６４　　画像生成部
　１６５　　第１の表示素子
　１６６　　第２の表示素子
　１６７　　視線検出部
　１６８　　通知制御部
　１７０　　通知部
　２００　　プロセッサユニット
　２１１　　画像入力部
　２１２　　画像処理部
　２１３　　表示制御部
　２１４　　出力部
　２１５　　操作入力部
　３００　　ディスプレイ
　４００　　外部機器

Claims

　装着者に画像を提示するための表示部と、
　前記装着者の頭部へ装着される装着部と、
　前記装着者が視認している情報を前記装着者以外の者に通知する通知部を備える、頭部装着ディスプレイ。
　前記通知部は、１または複数のランプからなる、請求項１に記載の頭部装着ディスプレイ。
　前記通知部は、前記１または複数のランプの色、点灯状態、点灯数、または発光量のうち少なくともいずれか１つに基づいて、前記装着者が視認している情報を通知する、請求項２に記載の頭部装着ディスプレイ。
　前記通知部は、前記装着者が視認している情報を表示する表示デバイスである、請求項１に記載の頭部装着ディスプレイ。
　前記通知部は、前記装着者が視認している情報を表す対応情報を表示する表示デバイスである、請求項１に記載の頭部装着ディスプレイ。
　前記表示デバイスは湾曲可能である、請求項５に記載の頭部装着ディスプレイ。
　前記装着者が視認している情報は、内視鏡装置により撮像された画像を少なくとも含む、請求項１に記載の頭部装着ディスプレイ。
　前記装着者が視認している情報に基づいて、前記通知部を制御する通知制御部を備える、請求項１に記載の頭部装着ディスプレイ。
　前記通知部は、前記１または複数のランプからなり、
　前記通知制御部は前記装着者が視認している情報に基づいて、前記１または複数のランプの色、点灯状態、点灯数、または発光量のうち少なくともいずれか１つを制御する、請求項８に記載の頭部装着ディスプレイ。
　装着者の視線を検出する視線検出部を備え、
　前記通知制御部は、前記視線検出部の検出結果に基づいて、装着者が視認している情報を判定する、請求項８に記載の頭部装着ディスプレイ。
　頭部装着ディスプレイの装着者が視認している情報を取得する視認情報取得部と、
　前記装着者が視認している情報に基づいて、前記頭部装着ディスプレイが有する、前記装着者以外の者に前記装着者が視認している情報を通知する通知部を制御する通知制御部を備える、制御装置。
　頭部装着ディスプレイの装着者が視認している情報を取得し、
　前記装着者が視認している情報に基づいて、前記頭部装着ディスプレイが有する、前記装着者以外の者に装着者が視認している情報を通知する通知部を制御する、制御方法。