WO2016013252A1

WO2016013252A1 - 医療システム

Info

Publication number: WO2016013252A1
Application number: PCT/JP2015/057859
Authority: WO
Inventors: 頼人前田
Original assignee: オリンパス株式会社
Priority date: 2014-07-22
Filing date: 2015-03-17
Publication date: 2016-01-28
Also published as: JPWO2016013252A1; EP3078343A1; US9483114B2; US20160274661A1; CN105873539B; EP3078343A4; JP5911655B1; CN105873539A

Abstract

　視線が認識されていない場合にその原因を容易に把握することができ、術者が操作に集中することができる医療システムを提供する。医療システム１は、周辺機器２と、周辺機器２の操作を指示するためのコマンドエリア３１が表示される視線操作画面３ａと、操作者の視線位置座標を検出する視線計測装置１５と、視線計測装置１５による視線認識の程度を算出する視線認識レベル算出部２３と、視線操作画面３ａ上に視線認識レベル算出部２３の算出結果を表示する視線認識レベル表示エリア３８とを有する。

Description

医療システム

　本発明の実施形態は、医療システムに関し、特に、視線認識により機器をコントロールする医療システムに関する。

　近年、技術の発展と共に、医療機器の種類は豊富となっており、また、その機能も充実してきている。また、手術室にはこれらの医療機器の他に、ルームライトや各種の表示装置、医療画像を撮像する内視鏡や、記録装置などの各種機器が配置されている。これらの装置を含む各種医療機器を、集中制御装置（システムコントローラ）で集中制御管理する医療システムも開発されている。

　この種の医療システムの集中制御装置では、タッチ信号を受信する操作パネルにより、被制御機器のパラメータ等を設定したり変更したりするのが一般的である。しかしながら、操作パネルは不潔域に設置されたラックやカートに載置されることが多く、術者が直接操作パネルを操作することができない場合が多い。このため、不潔域に常在する看護師などに指示を出して、術者に代わって看護師に操作パネルを操作させる方法が用いられるが、指示が伝わるまでに時間を要したり、指示の誤伝達・誤認識による操作ミスが発生したりするといった問題があった。

　そこで、カメラ付きヘッドマウントディスプレイなどを用いて術者の視線検知を行い、視線が対象機器の操作スイッチ上に一定時間停止した場合にコマンドを発行し、対象機器の操作を行う医療システムが提案されている（例えば、特開２００９－２７９１９３号公報、特開２００１－２９９６９１号公報参照）。

　しかしながら、視線認識により対象機器の操作を行う場合、術者は視線を認識可能領域に向けていると思っていても、なんらかの原因によって視線が認識されない状況があり得る。視線が認識されていない場合、コマンドが発行されないために対象機器の操作ができなくなってしまう。このような状況においては、術者は、視線認識が行われない原因が把握できないために余計なストレスがかかり、操作に集中できなくなってしまうという問題があった。

　そこで、本発明は、視線が認識されていない場合にその原因を容易に把握することができ、術者が操作に集中することができる医療システムを提供することを目的とする。

　本発明の一態様の医療システムは、複数の被制御機器と、前記被制御機器の操作を指示するための操作指示領域が表示される表示部と、前記表示部を介して前記被制御機器の操作を行う操作者の視線位置座標を検出する視線検出部と、前記視線検出部による前記操作者の視線認識の程度を算出する視線認識レベル算出部と、前記視線認識レベル算出部の算出結果を前記表示部上に表示する視線認識レベル表示部と、を有する。

本発明の実施形態に係わる医療システム１の全体構成の一例を説明する図。視線計測装置１５の設置位置を説明する図。システムコントローラ６と接続されている機器の構成を説明する図。システムコントローラ６の詳細な構成を説明する図。視線操作画面３ａの一例を説明する図眼球認識状況表示エリア３３の表示内容の一例を示す図。視線認識によるコマンド実行までの一連の流れを説明するフローチャート。選択されたコマンドエリアに示されるタイマ表示の一例を説明する図。

　以下、図面を参照して実施形態を説明する。

　図１は、本発明の実施形態に係わる医療システム１の全体構成の一例を説明する図である。図１に示すように、本実施形態の医療システム１は、複数の医療機器で構成される被制御機器である周辺機器２と、術者などの操作者による視線操作を受け付けるモニタ３と、モニタ３により視線操作を行う操作者の視線を認識して視線座標などを計測する視線計測装置１５と、看護師などの操作者による操作を受け付ける操作パネル４と、表示パネル５と、周辺機器２などを集中制御するシステムコントローラ６とを備えている。

　周辺機器２は、観察、検査、及び処置等を行う複数の医療機器で構成されている。具体的には、内視鏡用カメラ装置７と、気腹装置８と、光源装置９と、電気メス装置１０と、モニタ（モニタ１１ａ、モニタ１１ｂ）などから構成される。なお、周辺機器２は、これらの医療機器に限定されるものではなく、例えば、ビデオテープレコーダ（VTR）などを備えていてもよい。

　モニタ３には、例えば液晶ディスプレイ上に、周辺機器２の一括操作を行うための表示部である視線操作画面３ａが表示される。例えば図２に示すように、モニタ３の下部に、視線検出部としての視線計測装置１５が設置されており、この視線計測装置１５によって、術者の視線位置座標などが計測される。図２は、視線計測装置１５の設置位置を説明する図である。視線計測装置１５は、眼球を正面方向から撮影する小型カメラ１６などを含み、術者の眼球の瞳孔の位置を追跡することにより、視線操作画面３ａ上における術者の視線が捉えている位置座標をリアルタイムに計測する。視線計測装置１５によって計測された視線位置座標などの情報は、システムコントローラ６に入力される。

　操作パネル４は、例えば、液晶ディスプレイと、液晶ディスプレイに重ねて配置されたタッチパネルセンサとが一体となって構成された、タッチパネルディスプレイである。非滅菌域にいる看護師等が周辺機器２の操作を行うための操作装置であり、操作情報はシステムコントローラ６に入力される。表示パネル５は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段である。

　光源装置９は、照明光を伝送するライトガイドケーブルを介して内視鏡（図示せず）に接続されている。光源装置９からの照明光は内視鏡に供給され、内視鏡の挿入部が挿入された患者の腹部内の患部等を照明する。

　内視鏡の挿入部の基端側には、撮像素子を備えたカメラヘッドが装着され、患部等の光学像をカメラヘッド内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、ケーブルを介して内視鏡用カメラ装置７に伝送される。

　内視鏡用カメラ装置７は、伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。そして、内視鏡用カメラ装置７は、生成した映像信号を、システムコントローラ６を介してモニタ１１ａやモニタ１１ｂに出力する。天井から吊り下げられたモニタ１１ａ、１１ｂには、入力された映像信号、すなわち患部等の内視鏡画像が表示される。

　気腹装置８には、図示しない炭酸ガスボンベが接続されており、気腹装置８から患者に伸びた気腹チューブを介して、患者の腹部内に炭酸ガスが供給されるようになっている。

　操作パネル４、表示パネル５、システムコントローラ６、内視鏡用カメラ装置７、気腹装置８、光源装置９、電気メス装置１０は、ラック１２に設置されている。システムコントローラ６は、上述した周辺機器２のほかに、患者が横たわる患者ベッド１３、天井から吊り下げられた無影灯（無影灯１４ａ、無影灯１４ｂ）などの、手術室に常設された設備も、被制御機器として制御する。

　なお、図１では、内視鏡下外科手術が行われる手術室に設けられた医療システム１を例示したが、医療システム１の用途は内視鏡下外科手術に限られず、他の手術や診察のために用いられてもよい。また、医療システム１は、診察室など手術室以外に設けられてもよい。医療システム１は、さらに、図１では図示しない種々の装置及び設備を含んでもよい。例えば、術野を観察する術野カメラなどを含んでもよく、これらをシステムコントローラ６で制御してもよい。

　次に、システムコントローラ６と、これに接続されている機器との関係について説明する。図３は、システムコントローラ６と接続されている機器の構成を説明する図である。図３に示すように、システムコントローラ６には、被制御機器である周辺機器２と、操作の入力装置であるモニタ３及び視線計測装置１５とが接続されている。なお、図１に示すように、システムコントローラ６には、看護師などが周辺機器２の操作を行うための操作パネル４や、手術データなどを表示させるための表示パネル５に接続されているが、以下においては、視線操作を用いて周辺機器２を制御する場合について説明するため、図３では記載を省略する。

　システムコントローラ６には、視線操作により周辺機器の操作を行う術者等の視線計測情報が、視線計測装置１５から入力される。入力された視線計測情報は、周辺機器２の制御に用いられたり、モニタ３に表示されたりする。また、モニタ３には、システムコントローラ６よって生成された視線操作画面３ａが表示される。

　システムコントローラ６には、内視鏡用カメラ装置７、気腹装置８、光源装置９、電気メス装置１０など、被制御機器の設定パラメータが入力される。また、システムコントローラ６からこれらの機器に対し、モニタ３から入力される視線操作内容に応じ、新たな設定パラメータが出力される。また、システムコントローラ６には、患者の体腔内における患部等の光学像を加工した映像信号が、内視鏡用カメラ装置７から入力される。システムコントローラ６は、入力された映像信号を、モニタ１１ａやモニタ１１ｂに出力する。

　このように他の機器と接続されているシステムコントローラ６の詳細な構成について、図４を用いて説明する。図４は、システムコントローラ６の詳細な構成を説明する図である。図４に示すように、システムコントローラ６は、被制御機器である周辺機器２との間で通信を行う通信インタフェース（以下、通信Ｉ／Ｆと示す）１７と、種々のパラメータなどが格納されている記録部１８と、システムコントローラ６全体の動作を制御する制御部１９と、モニタ３に表示させる視線操作画面３ａを生成するＧＵＩ生成部２０と、時間の計測を行う計測部２４とを備えている。

　通信Ｉ／Ｆ１７は、システムコントローラ６に接続されており集中制御が可能になされている周辺機器２から各種データや設定パラメータを受信し、これらのデータやパラメータなどを制御部１９に入力したり、周辺機器２を操作するために制御部１９で生成された信号を周辺機器２に出力したりする。

　記録部１８には、例えば、システムコントローラ６を動作させるためのプログラムやその他プログラムの実行に必要な各種データやパラメータなどが格納されている。

　制御部１９には、通信Ｉ／Ｆ１７を介して周辺機器２から各種データや設定パラメータなどが入力される。また、視線計測装置１５から、術者など視線操作を行う者の視線計測情報が入力される。制御部１９は、記録部１８からプログラムや各種データ、パラメータなどを読み出して、プログラムを実行する。そして、ＧＵＩ生成部２０に対して視線計測情報やその他必要なデータを出力し、視線操作画面３ａを生成するよう制御を行う。また、ＧＵＩ生成部２０から入力されたデータや視線計測情報に基づき、周辺機器２を制御するための設定パラメータを生成し、通信Ｉ／Ｆ１７を介して周辺機器２へ出力する。

　ＧＵＩ生成部２０は、視線計測レベル算出部２１と眼球計測レベル判定部２２とからなる、視線認識レベル算出部２３を有している。

　視線計測レベル算出部２１は、視線計測装置１５から入力される視線計測情報などに基づき、術者の視線がどの程度確実に計測されているかを示す指標を算出する。視線計測装置１５から計測レベルの値が出力される場合は、その値とそのまま指標として用いてもよいし、百分率に変換したものを用いてもよい。また例えば、視線計測装置１５と術者との距離を計測し、視線計測に最適な距離との相違から指標を算出するなど、視線計測に影響を及ぼす要素を加味して独自の方法で指標を算出してもよい。なお、視線計測装置１５と術者との距離から指標を算出する場合、距離画像センサなど、動体の動きを感知して所定の部位間の距離を計測する距離センサを用いることができる。

　眼球計測レベル判定部２２は、視線計測装置１５から入力される視線計測情報に基づき、術者の右目と左目のそれぞれについて、視線座標が計測されているか否かを判定する。

　また、ＧＵＩ生成部２０は、制御部１９からの指示に従って、視線計測レベル算出部２１で算出された指標と、眼球計測レベル判定部２２の判定結果と、制御部１９や記録部１８から入力される各種データやパラメータなどを用い、モニタ３に表示させる視線操作画面３ａを生成する。生成された視線操作画面３ａは、モニタ３に出力されて表示される。

　視線操作画面３ａの構成について、図５を用いて説明する。図５は、視線操作画面３ａの一例を説明する図である。図５に示すように、視線操作画面３ａには、術者の視線が一定時間注視された場合にコマンドを発行し、周辺機器２に対する操作を指示する操作指示領域としてのコマンドエリア３１ａ、３１ｂ、３１ｃ、３１ｄと、コマンドエリア３１ａ、３１ｂ、３１ｃの操作内容に関する情報などを表示するコマンド情報表示エリア３２ａ、３２ｂ、３２ｃが配置されている。また、視線操作画面３ａには、視線認識レベル表示部としての視線認識レベル表示エリア３８が配置されている。視線認識レベル表示エリア３８には、術者の眼球計測状況について表示する眼球認識状況表示部としての眼球認識状況表示エリア３３と、術者の視線計測状況について表示する視線計測レベル表示部としての視線計測レベル表示エリア３４とが含まれる。

　更に、視線操作画面３ａには、視線認識によって操作可能な周辺機器２の状況（現在の設定状態）について表示する機器状況表示エリア３５と、手術の名称など現在行われている手術に関する情報を表示する手術情報表示エリア３６とも配置されている。

　コマンドエリア３１ａ～３１ｄは、各エリア内に術者の視線が一定時間連続して注視された場合に、それぞれのエリアごとに予め設定されたコマンドが発行され、複数の周辺機器２を一括して設定、変更することができるように構成されている。術者が注視することにより特定のコマンドエリアが選択されると、当該コマンドエリアには、連続注視時間を表す計測時間表示部（以下、タイマ表示と示す）３７が重畳して表示される。各コマンドエリア３１ａ～３１ｄの具体的な構成について、複数のシーンを決められた順序で実行する手術において、それぞれのシーンの開始時に周辺機器２を一括設定する必要がある場合を一例に挙げて用いて説明する。

　図５に示すように、コマンドエリア３１ａ、３１ｃ、３１ｄは、操作を行うシーンの選択用（例えば、コマンドエリア３１ａは、現在選択されているシーンの次に実行されるシーンへの移動用、コマンドエリア３１ｃは、現在選択されているシーンの直前に実行されたシーンへ移動用、コマンドエリア３１ｄは、最初のシーンへの移動用）として構成される。また、コマンドエリア３１ｂは、現在選択されているシーンの開始時における周辺機器２の一括設定用として構成される。

　なお、コマンド情報表示エリア３２ａ、３２ｂ、３２ｃは、それぞれコマンドエリア３１ａ、３１ｂ、３１ｃと一対一で対応づけられている。具体的には、コマンド情報表示エリア３２ｂには、「シーン１（ポート形成）」など、現在選択されているシーンを表す情報が表示され、コマンド情報表示エリア３２ａには、「シーン２（処置）」など、現在選択さえているシーンの次に実行されるシーンを表す情報が表示される。なお、現在選択されているシーンが手術の最初のシーンであり、それ以前に実行されたシーンが存在しないなど、選択不可のコマンドエリア３１に対応するコマンド情報表示エリア３２については、特に表示は行われない。（例えば、図５におけるコマンド情報表示エリア３２ｃ。）
　このように、周辺機器２の設定を操作するコマンドを発行するエリアをコマンドエリア３１ｂのみに限定して構成することで、意図せずコマンドエリア３１ａ、３１ｃ、３１ｄを注視してしまった場合にも、周辺機器２の操作を指示するコマンドは発行されないため、周辺機器２の誤操作を防ぐことができる。

　なお、コマンドエリア３１ａ～３１ｄは上述した構成に限定されるものではなく、例えば、各コマンドエリア３１ａ～３１ｄと各シーンにおける周辺機器２の操作とを一対一に対応づけてもよい。例えば、コマンドエリア３１ａはシーン１（ポート形成）の開始時における周辺機器２の一括設定用、コマンドエリア３１ｂはシーン２（処置）の開始時における周辺機器２の一括設定用、などのようにコマンドエリア３１ａ～３１ｄを構成してもよい。また、視線操作画面３ａに配置するコマンドエリア３１の数は、４つに限定されるものでなく、必要な個数を配置することができる。

　眼球認識状況表示エリア３３には、眼球計測レベル判定部２２での判定結果が表示される。図６は、眼球認識状況表示エリア３３の表示内容の一例を示す図である。視線計測装置１５において術者の両眼の位置座標が計測されている場合、眼球認識状況表示エリア３３には、例えば図６の最上段に示すような、両眼が開いている様子を表す画像が表示される。また、操作者の右目の位置座標は計測されているが、左目の位置座標は計測されていない場合、眼球認識状況表示エリア３３には、例えば図６の上から二段目に示すような、右目は開いているが左目はつぶっている様子を鏡像として表す画像が表示される。更に、術者の左目の位置座標は計測されているが、右目の位置座標は計測されていない場合、眼球認識状況表示エリア３３には、例えば図６の上から三段目に示すような、左目は開いているが右目はつぶっている様子を鏡像として表す画像が表示される。更に、術者の右目も左目もどちらも位置座標が計測されていない場合、眼球認識状況表示エリア３３には、例えば図６の最下段に示すような、両目ともつぶっている様子を表す画像が表示される。

　術者は両目とも特定のコマンドエリア３１を注視しているつもりでも、目を細めていたり、まばたきが多かったり、顔の向きや体の位置が不適当で、視線が視線計測装置１５の計測可能領域から外れていたりすることにより、片目または両目の視線が認識されない場合があり得る。そこで、本実施形態においては、視線操作画面３ａ上に視線の認識状況を視覚的にわかりやすく表示することで、術者は、自身の視線が両目とも確実に認識されているか否かをリアルタイムで把握することができる。従って、術者の意図に反して視線操作ができない場合に、その原因を比較的容易に把握することができ、ストレスなく操作に集中できる。

　なお、右目または左目のどちらか一方のみ認識されている場合には、視線操作を行うことは可能であるが、両目ともに認識されている場合に比べて操作不可になる可能性が高い。従って、片目のみが認識されている状態を表示することにより、術者に対し、認識されていないほうの目を認識される状態にさせるよう促す効果が得られるので、視線操作をより確実に行うことができるようになる。

　視線計測レベル表示エリア３４には、視線計測レベル算出部２１で生成された指標が、視線計測レベルとして表示される。指標は、例えば図５に示すように、レベルメーターの形式で表示される。視線が全く計測できない場合をゼロとし、視線計測の確度を表す指標の値が高くなるほど右方向にバーが延出していく。なお、視線計測レベル表示エリア３４における視線計測レベルの表示形式は、図５に示す形式に限定されるものではなく、数値で表示したり、円グラフ表示を用いたり、その他所望の形式を用いることができるが、術者が視覚的にわかりやすい表示形式を用いることが望ましい。

　術者は視線操作画面３ａとの距離を一定に保って施術や操作を行っているつもりでも、無意識に視線操作画面３ａに顔を近づけていたり、頭をそらせていたり、意図せず体勢が変わってしまう場合があり得る。そこで、本実施形態においては、視線操作画面３ａ上に視線計測レベルを視覚的にわかりやすく表示することで、術者は、自身の視線がどの程度確実に計測されているかをリアルタイムで把握することができる。従って、術者の意図に反して視線操作ができない場合に、その原因を比較的容易に把握することができ、ストレスなく操作に集中できる。

　なお、視線の計測の確度が低くても視線操作を行うことは可能であるが、僅かな体勢のずれなどで操作不可になったり誤操作を引き起したりする可能性が高い。このように、段階的に計測レベルを表示することで、術者に対し、視線計測ができなくなって操作不可になったり誤操作を引き起こしたりする前に、視線計測レベルをあげるように促す効果が得られるので、視線操作をより確実に行うことができるようになる。

　計測部２４は、術者の視線位置座標が特定のコマンドエリアを連続して注視している時間をカウンタなどによって計測する。計測部２４の計測結果はＧＵＩ生成部２０に出力され、計測時間表示部３７（以下、タイマ表示３７と示す）として視線操作画面３ａ上の所定の場所に表示される。

　次に、本実施形態における医療システム１の動作について、図７及び図８を用いて説明する。図７は、視線認識によるコマンド実行の処理の流れを説明するフローチャートであり、図８は、選択されたコマンドエリアに示されるタイマ表示の一例を説明する図である。

　まず、術者の視線座標が特定のコマンドエリア３１内に入り、注視を開始してからコマンドが発行されるまでの時間（以下、コマンド決定時間[Ｔ]と示す）を設定する（ステップＳ１）。コマンド決定時間[Ｔ]は、術者がコマンドエリアを間違って選択してしまった場合に、間違いに気づいて視線を外すのに十分な時間を設定する。ただし、あまりに長すぎると、コマンドが発行されるまで相当時間コマンドエリアを注視し続ける必要が生じるために、術者にストレスがかかり操作に集中できなくなってしまう恐れがある。そのため、コマンド決定時間[Ｔ]は、いたずらに長すぎないよう常識的な範囲に設定する必要があり、例えば、２～３秒程度に設定することが望ましい。

　次に、術者の視線座標が特定のコマンドエリア内に入り、注視を開始してから、当該コマンドエリア内にタイマ表示３７を開始する時間（以下、タイマ表示開始時間[Ｔ１]と示す）を設定する（ステップＳ２）。なお、タイマ表示開始時間[Ｔ１]は、コマンド決定時間[Ｔ]よりも短い時間を設定する必要がある。例えば、コマンド決定時間[Ｔ]が２秒の場合、２秒未満の時間（例えば０．５秒）を設定する。

　ここで、特定のコマンドエリアの注視時間をカウントするタイマ表示３７について、図８を用いて説明する。タイマは、例えば図８に示すように、特定のコマンドエリアを連続注視する時間に連動して扇形の面積が増加し、注視時間がコマンド決定時間に達すると正円になるような表示方法を用いることができる。タイマは、本ステップで設定されたタイマ表示開始時間[Ｔ１]に到達すると、視線認識により選択されたコマンドエリア内に表示される。

　なお、タイマの表示方法は、図８に例示した表示方法に限定されるものでなく、例えば、視線計測レベル表示エリア３４に表示しているレベルバー表示や、砂時計型の表示など、種々の表示方法を用いることができる。また、図８に例示した表示方法では、注視時間と共に扇形の面積を増加させるカウントアップ方式を用いているが、扇形の面積を減少させていき、注視時間がコマンド決定時間に達すると表示が消える（または円の外周だけの表示になる）ような、カウントダウン方式を用いてもよい。なお、いずれの表示方式を用いる場合においても、選択されたコマンドエリア内の表示内容を隠さないようにするために、タイマは透過表示させることが望ましい。

　視線操作画面３ａ上でタイマ表示３７が連続的に変化していると、タイマ表示３７が気になり術者が操作に集中できない場合があり得る。そこで、例えば図８に示すように、特定のコマンドエリア内を連続注視する時間が、タイマ表示開始時間[Ｔ１]以降、設定された時間（０．５秒、０．６７秒、０．８３秒、１秒、１．１７秒、１．３３秒、１．５秒、１．８３秒）に到達したときに、それぞれの時間に応じた扇形に表示を切り替えるようにしてもよい。すなわち、図８に示す一例では、コマンドエリアが選択されて注視時間の計測が開始されてから、９回表示が変更される。

　このように、選択されたコマンドエリア内にタイマ表示３７をすることで、コマンド決定までの残り時間を、術者が視覚的に容易に把握することができるため、コマンド決定までの待ち時間を不安に感じたり、ストレスを感じたりすることなく操作に集中できる。

　そして、術者が特定のコマンドエリア３１内を注視している時間を計測するカウンタ[ｔ]にゼロを設定し、カウンタを初期化する（ステップＳ３）。

　続いて、視線計測装置１５により術者の視線の位置座標を計測する。少なくとも術者の片目の視線位置座標が計測できた場合（ステップＳ４、ＹＥＳ）、ステップＳ５に進み、取得した視線の位置座標と、視線操作画面３ａ上に配置されたコマンドエリア３１ａ、３１ｂ、３１ｃ、３１ｄの内部の位置座標とを比較する。視線の位置座標がコマンドエリア３１ａ、３１ｂ、３１ｃ、３１ｄのいずれかのエリアの内部座標に存在する場合（ステップＳ５、ＹＥＳ）、視線の位置座標がその内部領域に存在するコマンドエリア（例えばコマンドエリア３１ｂ）が、視線操作の対象として選択されていることを明確にするため、当該コマンドエリア３１ｂの枠色を、選択されていないコマンドエリア３１ａ、３１ｃ、３１ｄとは異なる色（例えば黄色）に変更する（ステップＳ６）。

　なお、本ステップの目的は、コマンドエリア３１ｂが選択されていることが術者に容易に認識できるように強調表示することであるので、枠色を変更するのではなく、外枠の太さを変更する（太くする）、コマンドエリア３１ｂ内の色を変更する、などの変更を行ってもよいし、これらの変更を複数組み合わせて行ってもよい。更に、本ステップにおいては、選択されたコマンドエリア３１ｂと一対一で対応づけられているコマンド情報表示エリア３２ｂも、枠色を変更したり枠の太さを変更したりするなど、強調表示してもよい。

　例えば図５に示すように、選択されたコマンドエリア３１ｂの外枠と、これと対応づけられているコマンド情報表示エリア３２ｂの外枠とを、他のコマンドエリア３１ａ、３１ｃ、３１ｄやコマンド情報表示エリア３２ａ、３２ｃの外枠よりも太くすることで、当該エリアを強調表示してもよい。

　一方、術者の両目とも視線の位置座標が計測できなかった場合（ステップＳ４、ＮＯ）や、術者の視線の位置座標がいずれのコマンドエリア３１ａ、３１ｂ、３１ｃ、３１ｄの内部領域にも含まれていない場合（ステップＳ５、ＮＯ）、現在の視線認識レベルを表示し（ステップＳ１４）、枠色が変更されているなど、強調表示されているコマンドエリアがあるか否かを確認する（ステップＳ１５）。強調表示されているコマンドエリアがあれば（ステップＳ１５、ＹＥＳ）、枠色を他のコマンドエリアと同じ基準色に戻すなど強調表示を解除し（ステップＳ１６）、カウンタの初期化に戻る（ステップＳ３）。

　なお、ステップＳ１４において表示される視線認識レベルには、眼球認識状況表示エリア３３に表示される眼球認識状況と、視線計測レベル表示エリア３４に表示される視線認識レベルの両方が含まれる。従って、術者の両目とも視線の位置座標が計測できなかった場合（ステップＳ４、ＮＯ）、本ステップにおいては、図６の一番下の段に示す表示内容を眼球認識状況表示エリア３３に表示し、視線計測レベル表示エリア３４には視線認識レベルがゼロであることを示す表示をする。術者の視線の位置座標がいずれのコマンドエリア３１ａ、３１ｂ、３１ｃ、３１ｄの内部領域にも含まれていない場合（ステップＳ５、ＮＯ）も、眼球認識状況表示エリア３３にその時点での眼球認識状況に応じた表示をし、視線計測レベル表示エリア３４にその時点での視線認識レベルを示す表示をする。

　ステップＳ６において、選択されたコマンドエリア３１ｂの強調処理が終了すると、現在の視線認識レベルを表示し（ステップＳ７）、カウンタをインクリメントする（ステップＳ８）。カウンタがタイマ表示開始時間に達していない、すなわちｔ＜Ｔ１の場合（ステップＳ９、ＮＯ）、視線計測装置１５による術者の視線の位置座標の計測に戻る（ステップＳ４）。

　なお、ステップＳ７において表示される視線認識レベルも、ステップＳ１４と同様に、眼球認識状況表示エリア３３に表示される眼球認識状況と、視線計測レベル表示エリア３４に表示される視線認識レベルの両方が含まれる。

　一方、カウンタがタイマ表示開始時間に達している、すなわちｔ≧Ｔ１の場合（ステップＳ９、ＹＥＳ）、選択されているコマンドエリア３１ｂ内に、図８に示すようなタイマ表示３７をする（ステップＳ１０）。カウンタがコマンド決定時間に達していない、すなわちｔ＜Ｔの場合（ステップＳ１１、ＮＯ）、視線計測装置１５による術者の視線の位置座標の計測に戻る（ステップＳ４）。

　カウンタがコマンド決定時間に達する（ｔ＝Ｔ）と（ステップＳ１１、ＹＥＳ）、選択されているコマンドエリア３１ｂの枠色と、枠内の色を変更する。枠色は、選択されていない他のコマンドエリア３１ａ、３１ｃ、３１ｄの枠色（基準色）や、それまでコマンドエリア３１ｂの枠色として設定されていた色（例えば黄色）とは異なる色（例えば赤色）に変更する。また、枠内の色は、選択されていない他のコマンドエリア３１ａ、３１ｃ、３１ｄの枠内の色（基準色）や、それまでコマンドエリア３１ｂの枠内の色として設定されていた色とは異なる色であって、コマンドエリア内の表示が読みづらくなりにくい色（例えば水色）に変更する。

　なお、本ステップの目的は、コマンドエリア３１ｂに設定されているコマンドが実行されることが術者に容易に認識できるように強調表示することであるので、コマンドエリア３１ｂの外枠の太さを変更したり（太くしたり）してもよい。また、ビープ音を鳴らすなど聴覚など視覚以外で認識可能な手段を併用して用いてもよい。更に、本ステップにおいては、選択されたコマンドエリア３１ｂと一対一で対応づけられているコマンド情報表示エリア３２ｂも、枠色を変更したり枠の太さを変更したりするなど、強調表示してもよい。

　最後に、コマンドエリア３１ｂに設定されているコマンドを実行し（ステップＳ１３）、図７に示す一連の処理を終了する。

　このように、本実施形態によれば、視線操作画面３ａ上に視線認識レベルを表示する眼球認識状況表示エリア３３と視線計測レベル表示エリア３４とを設けている。そして、眼球認識状況表示エリア３３には眼球認識状況を表示し、視線計測レベル表示エリア３４には視線認識レベルを表示している。従って、視線が認識されていない場合にも、眼球認識状況表示エリア３３と視線計測レベル表示エリア３４の表示を参照することで、視線が認識されない原因を容易に把握することができるため、術者はストレスを感じずに操作に集中することができる。

　本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。

　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

　本発明の医療システムによれば、視線が認識されていない場合にその原因を容易に把握することができ、術者が操作に集中することができる。

　本出願は、２０１４年７月２２日に日本国に出願された特願２０１４－１４９００９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims

　複数の被制御機器と、
　前記被制御機器の操作を指示するための操作指示領域が表示される表示部と、
　前記表示部を介して前記被制御機器の操作を行う操作者の視線位置座標を検出する視線検出部と、
　前記視線検出部による前記操作者の視線認識の程度を算出する視線認識レベル算出部と、
　前記視線認識レベル算出部の算出結果を前記表示部上に表示する視線認識レベル表示部と、
　を有することを特徴とする、医療システム。
　前記視線認識レベル算出部は、前記視線検出部において前記操作者の左目と右目のそれぞれの前記視線位置座標が検出されているか否かを判定する眼球計測レベル判定部と、前記視線検出部において検出された前記視線位置座標の確度を示す指標を算出する視線計測レベル算出部とを有することを特徴とする、請求項１に記載の医療システム。
　前記視線認識レベル表示部は、前記眼球計測レベル判定部による判定結果を表示する眼球認識状況表示部と、前記視線計測レベル算出部による算出結果を表示する視線計測レベル表示部とを有することを特徴とする、請求項２に記載の医療システム。
　前記視線計測レベル算出部は、前記視線検出部と前記操作者との距離を用いて前記指標を算出することを特徴とする、請求項２に記載の医療システム。
　前記視線計測レベル算出部は、前記視線検出部から出力される前記視線位置座標のレベル情報を用いて前記指標を算出することを特徴とする、請求項２に記載の医療システム。
　前記眼球認識状況表示部は、左目の前記判定結果と右目の前記判定結果とを、それぞれ独立して表示することを特徴とする、請求項３に記載の医療システム。
　前記視線計測レベル表示部は、前記指標をレベルメーターの形式で表示することを特徴とする、請求項３に記載の医療システム。
　前記視線位置座標が前記操作指示領域内に連続して存在する時間を計測する計測部と、前記計測部の計測時間を前記操作指示領域に重畳して表示する計測時間表示部と、前記計測時間が所定の時間を超えた場合に前記被制御機器の操作を制御する制御部と、を更に有することを特徴とする、請求項１に記載の医療システム。
　前記計測時間表示部は、時系列に変化するタイマ表示であることを特徴とする、請求項８に記載の医療システム。
　前記計測時間表示部を透過して、前記操作指示領域の表示が識別可能であることを特徴とする、請求項８に記載の医療システム。