JP5356633B1 - 医療用内視鏡システム - Google Patents

Abstract

医療用内視鏡システムは、撮像装置と複数の制御対象機器と複数の制御対象機器を制御するコントローラとを備える。コントローラは、予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定して一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、物体検出部により検出された物体から操作者設定部で設定された操作者に該当する物体を特定して前記特定された物体を前記操作者として認識する操作者認識部と、特定された物体の所定の動作を検出する動作検出部と、動作検出部による検出結果に応じて複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、制御信号に基づいて少なくとも一つの制御対象機器を制御する機器制御部を備える。

Description

本発明は、電気メス装置、気腹装置、内視鏡用カメラ装置などの複数の機器をコントローラにより制御する医療用内視鏡システムに関する。

医療分野では、従来から、複数の機器を制御するコントローラを備えた医療用内視鏡システムが知られている。このような医療用内視鏡システムでは、コントローラに接続された操作パネルを操作することにより、コントローラを介してシステム内の任意の機器を操作することができる。

ところで、コントローラに接続された操作パネルは、手術室内の非滅菌域に設置されているのが通常であるため、術者（例えば、ドクター）が操作パネルを直接操作することは衛生面から見て適当でない。このため、従来の医療用内視鏡システムでは、術者を補助する補助者（例えば、看護士）が術者の指示に応じて操作パネルを操作することにより、機器を操作するのが一般的である。

しかしながら、補助者が介在した機器の操作では、術者が希望するタイミングで遅延なく機器を操作することが難しいといった課題が指摘されている。

このような課題に関連する技術として、ジェスチャー技術がある。ジェスチャー技術については、例えば、特許文献１及び特許文献２に開示されていて、近年では、医療用内視鏡システムにも応用されている。

ジェスチャー技術を医療用内視鏡システムに応用することで、術者は、補助者を介さずに直接、機器を操作することが可能となるため、所望のタイミングで機器を操作することができる。

特開２００４−２８９８５０号公報 国際公開第０３／０２５８５９号パンフレット

上述したように医療用内視鏡システムへのジェスチャー技術の応用は非常に有益であるが、その一方で、ジェスチャー技術に特有の課題が指定されている。具体的には、ジェスチャー認識には、医療用内視鏡システムに設けられたカメラが利用されるが、カメラの視野範囲内に複数の術者が存在する場合には、コントローラが機器の操作を意図していない術者の動作に反応してしまい、機器を制御してしまうことがある。

通常、術中に機器の設定値の変更などの機器の操作を望む者は、手術を主導する特定の術者のみである。他の術者がその特定の術者の意思に反して機器の操作を行うことはないことを踏まえると、医療用内視鏡システムでは、その特定の一人の術者以外の者による機器の操作を禁止して、上述したような誤った認識による機器の制御を確実に排除する必要がある。

しかしながら、特許文献１及び特許文献２に開示される技術では、誤った認識による機器の制御を十分に排除することは難しい。

特許文献１では、機器と人間との対応関係を定めて、人の動き・姿勢・状態などを用いて円滑に操作等を行えるようにする制御方法に関する技術が開示されている。より具体的には、複数の人から予め定めた位置、姿勢、人の優先順位に基づいてひとりの人を選択して、その人の姿勢や動作によって機器を制御する技術が開示されている。

また、特許文献２では、個人識別を行いながらジェスチャー認識をすることにより、個人に対応するインターフェースを室内において場所に拘束されずに提供する技術が開示されている。より具体的には、対象の頭部及び身長から個人識別を行い、ハンドサインによって予め登録した室内の操作対象へ操作コマンドを送出する技術が開示されている。

特許文献１及び特許文献２に開示される技術は、いずれも、予め定めた特定の一人の者のみに機器の操作を許可して、それ以外の者の操作を明確に禁止するものではない。このため、誤った認識による機器の制御を、医療用内視鏡システムに求められるレベルで十分に排除することは難しい。

以上のような実情を踏まえて、特定の一人の術者のみにジェスチャーによる機器の操作を許可し、それ以外の者のジェスチャーによる操作を禁止する医療用内視鏡システムを提供することを課題とする。

本発明の第１の態様は、撮像装置と、複数の制御対象機器と、前記複数の制御対象機器を制御するコントローラとを備えた医療用内視鏡システムであって、前記コントローラは、予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定し、前記一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、前記撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識する操作者認識部と、前記特定された物体の所定の動作を検出する動作検出部と、前記動作検出部による検出結果に応じて、前記複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、前記制御信号に基づいて、前記少なくとも一つの制御対象機器を制御する機器制御部と、を備える医療用内視鏡システムを提供する。

本発明の第２の態様は、第１の態様に記載の医療用内視鏡システムにおいて、前記コントローラは、前記操作者設定部により設定された操作禁止者を操作者に変更する操作者追加部を備える医療用内視鏡システムを提供する。

本発明の第３の態様は、第２の態様に記載の医療用内視鏡システムにおいて、さらに、医療用内視鏡システムの情報を表示する表示部と、医療用内視鏡システムの外部からの入力を受け付ける入力部を備え、前記操作者追加部は、前記複数の制御対象機器の各々を操作するための画面が前記表示部に表示された状態で、前記入力部からの入力に従って、前記操作者設定部により設定された操作禁止者を操作者に変更するように構成されている医療用内視鏡システムを提供する。

本発明の第４の態様は、第１の態様に記載の医療用内視鏡システムにおいて、さらに、前記所定の条件である前記物体の一部分のモデル情報を格納する格納部を含み、前記物体検出部は、前記格納部に格納されている前記モデル情報を参照して、前記撮像装置から出力される画像から前記所定の条件を備えた前記物体を検出する医療用内視鏡システムを提供する。

本発明の第５の態様は、第４の態様に記載の医療用内視鏡システムにおいて、前記格納部は、さらに、前記物体を識別するための識別情報を格納していて、前記操作者認識部は、前記格納部に格納されている前記識別情報を参照して、前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識する医療用内視鏡システムを提供する。

本発明の第６の態様は、第５の態様に記載の医療用内視鏡システムにおいて、前記格納部は、さらに、前記所定の動作に関する情報であるジェスチャー情報を格納していて、前記動作検出部は、前記格納部に格納されている前記ジェスチャー情報を参照して、前記特定された物体の前記所定の動作を検出する医療用内視鏡システムを提供する。

本発明によれば、特定の一人の術者のみにジェスチャーによる機器の操作を許可しそれ以外の者のジェスチャーによる操作を禁止する医療用内視鏡システムを提供することができる。

本発明の実施例１に係る医療用内視鏡システムの全体構成図である。 本発明の実施例１に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。 本発明の実施例１に係る医療用内視鏡システムに含まれる格納部に格納されているデータについて説明するための図である。 本発明の実施例１に係る医療用内視鏡システムに含まれる動作検出部で行われる処理の一部について説明するための図である。 実施例１に係る医療用内視鏡システムの操作者設定処理における画面遷移を説明するための図である。 実施例１に係る医療用内視鏡システムの操作者設定処理における画面遷移の変形例を説明するための図である。 実施例１に係る医療用内視鏡システムの操作者設定処理を示すフローチャートである。 図６に例示される操作者設定処理後の操作者の設定状態の一例を示す図である。 実施例１に係る医療用内視鏡システムの機器制御処理を示すフローチャートである。 図８に例示される機器制御処理中の手術室内の様子を示す図である。 本発明の実施例１に係る医療用内視鏡システムに含まれるジェスチャー用カメラの撮像範囲について示す図である。 本発明の実施例２に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。 実施例２に係る医療用内視鏡システムの操作者追加処理における画面遷移を説明するための図である。 実施例２に係る医療用内視鏡システムの操作者追加処理を示すフローチャートである。 図１２に例示される操作者設定処理前後の操作者の設定状態の一例を示す図である。

図１は、本実施例に係る医療用内視鏡システムの全体構成図である。まず、図１を参照しながら、本実施例に係る医療用内視鏡システム３の構成について概説する。

図１に例示される医療用内視鏡システム３は、患者４８が横たわる患者ベッド１０とともに、手術室２内に設置されている。

医療用内視鏡システム３は、カート１１上に載置された、電気メス装置１３と、気腹装置１４と、内視鏡用カメラ装置１５と、光源装置１６と、ビデオテープレコーダ１７と、ガスボンベ１８と、表示装置１９と、集中表示パネル２０と、操作パネル２１と、システムコントローラ２２と、ＲＦＩＤ（Radio Frequency Identification）端末３５と、ジェスチャー用カメラ３６を含んでいる。

また、医療用内視鏡システム３は、カート１２上に載置された、内視鏡用カメラ装置２３と、光源装置２４と、画像処理装置２５と、表示装置２６と、集中表示パネル２７と、中継ユニット２８を含んでいる。

さらに、医療用内視鏡システム３は、ケーブル９を介してシステムコントローラ２２に接続された患者モニタシステム４と、リモートコントローラ３０と、カメラケーブル３１ａを介して内視鏡用カメラ装置１５に接続され、且つ、ライトガイドケーブル３１ｂを介して光源装置１６に接続された内視鏡３１と、カメラケーブル３２ａを介して内視鏡用カメラ装置２３に接続され、且つ、ライトガイドケーブル３２ｂを介して光源装置２４に接続された内視鏡３２と、システムコントローラ２２に接続されたヘッドセット型のマイク３３を含んでいる。

ガスボンベ１８には、二酸化炭素が充填されている。表示装置１９は、例えば、ＴＶモニタであり、内視鏡３１からの内視鏡画像などを表示するように構成されている。一方、表示装置２６は、内視鏡３２からの内視鏡画像などを表示するように構成されている。また、集中表示パネル２０及び集中表示パネル２７は、手術中に表示すべきあらゆるデータを選択的に表示するように構成されている。操作パネル２１は、非滅菌域にいる看護士により操作される集中操作装置であり、医療用内視鏡システム３の情報を表示する液晶ディスプレイなどの表示部と、この表示部と一体的に設けられた、医療用内視鏡システム３の外部からの入力を受け付けるタッチセンサを含んでいる。

ＲＦＩＤ端末３５は、内視鏡３１や電気メス装置１３などの機器に埋め込まれたＩＤタグとの間で機器のＩＤ情報を無線でやり取りするように構成されている。ジェスチャー用カメラ３６は、手術室２内の様子を撮像した画像を出力するように構成されている。

システムコントローラ２２は、カート１１上に載置された任意の機器に図示しない信号線を介して接続されている。中継ユニット２８は、カート１２上に載置された任意の機器に図示しない信号線を介して接続されていて、システムコントローラ２２は、中継ケーブル２９を介して中継ユニット２８に接続されている。

以上のように構成された医療用内視鏡システム３は、システムコントローラ２２に接続された任意の機器を、以下に記載するいくつかの方法によって、制御することができる。

第１の方法は、システムコントローラ２２が、ジェスチャー用カメラ３６から出力される手術室２内の画像から特定の術者（例えば、執刀医など）のジェスチャーを認識することにより、任意の機器を制御する方法である。

第２の方法は、システムコントローラ２２が、システムコントローラ２２に接続された任意の機器を操作するための操作ボタンや機器の設定値等を表示するＧＵＩ画面を操作パネル２１の表示部に表示させて、看護士などによる操作パネル２１の操作を検出することで、任意の機器を制御する方法である。

第３の方法としては、システムコントローラ２２が、術者（例えば、執刀医など）によるリモートコントローラ３０の操作を検出することで、任意の機器を制御する方法である。

第４の方法としては、システムコントローラ２２が、マイク３３から入力された術者（例えば、執刀医など）の音声を認識することで、任意の機器を制御する方法である。

以下、ジェスチャーにより任意の機器を制御する方法（第１の方法）について、さらに詳細に説明する。

まず、図２から図４を参照しながら、システムコントローラ２２の構成について説明する。図２は、本実施例に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。図３は、本実施例に係る医療用内視鏡システムに含まれる格納部に格納されているデータについて説明するための図である。図４は、本実施例に係る医療用内視鏡システムに含まれる動作検出部で行われる処理の一部について説明するための図である。

図２に例示されるように、医療用内視鏡システム３は、撮像装置であるジェスチャー用カメラ３６と、複数の制御対象機器（電気メス装置１３、気腹装置１４、内視鏡用カメラ装置１５、光源装置１６）と、複数の制御対象機器を制御するシステムコントローラ２２と、操作パネル２１と、マイク３３を備えている。なお、図２では、制御対象機器として、電気メス装置１３、気腹装置１４、内視鏡用カメラ装置１５、光源装置１６が例示されているが、制御対象機器はこれらに限られない。システムコントローラ２２に接続される任意の機器を制御対象機器とすることが可能である。

システムコントローラ２２は、物体検出部５１と、操作者認識部５２と、動作検出部５３と、制御信号生成部５４と、機器制御部５５と、物体設定部５６と、操作者設定部５７と、動作設定部５９と、タッチパネル検出部６０と、音声検出部６１と、格納部６２を含んでいる。

物体検出部５１は、ジェスチャー用カメラ３６から出力される画像から所定の条件を備えた物体を検出するように構成されている。物体は、例えば、手術室２内の人間であり、所定の条件は、物体の一部分であり、例えば、人間の顔である。即ち、物体検出部５１は、ジェスチャー用カメラ３６から出力される画像に含まれている人間の顔を検出することで手術室２内の術者を検出する。なお、この所定の条件は、図３に示されるように、格納部６２に人間の体の部位（物体の一部分）のモデル情報６５として格納されていて、操作パネル２１やマイク３３からの入力に基づいて、格納部６２に格納されている特定の部位（ここでは、頭）のモデル情報６５を参照するように物体設定部５６により設定される。

操作者認識部５２は、物体検出部５１により検出された術者のうちから、予め操作者設定部５７で設定された、操作することが許可された操作者に該当する術者を特定して、特定された術者を操作者として認識するように構成されている。具体的には、操作者認識部５２は、物体検出部５１で検出された手術室２にいる複数の術者の顔の画像を、操作者設定部５７により設定された操作者の顔の画像と比較することで、予め操作者として設定された術者を特定し、操作者として認識する。なお、操作者とは、特に断らないかぎり、操作が許可された操作者のことを指すものとする。図３に示されるように、操作が許可された操作者については格納部６２に操作者設定情報６３として格納されている。また、操作者の顔の画像については、格納部６２に術者の顔データ６４として格納されている。顔データ６４は、術者を識別するための識別情報としての役割を担っている。そして、操作者認識部５２は、操作者設定部５７により設定された、操作者設定情報６３及び操作が許可された操作者（術者）の顔データ６４を参照する。

動作検出部５３は、特定された術者、即ち、操作者、の所定の動作を検出するように構成されている。所定の動作とは、例えば、手の動きであり、より具体的には、手を右から左に振る動作、手を左から右に振る動作、手を握る動作、手を開く動作、手を振る動作などである。即ち、動作検出部５３は、操作者のジェスチャーを検出する。より具体的には、まず、図４に示されるように、ジェスチャー用カメラ３６から出力される画像から操作者の各部位（例えば、頭、手、腕、脚など）を格納部６２に格納されているモデル情報６５を参照して検出し、検出された各部位から操作者の姿勢を推定して人体の骨組みモデルを形成する。そして、ジェスチャー用カメラ３６から随時出力される画像から形成した骨組みモデルの動きを追跡して、操作者の動作を検出する。最後に、検出した動作が所定の動作か否かを判断することで、ジェスチャー動作を検出する。なお、この所定の動作に関する情報は、図３に示されるように、格納部６２にジェスチャー情報６６として格納されていて、操作パネル２１やマイク３３からの入力に基づいて、格納部６２に格納されているジェスチャー情報６６の全部または一部を参照するように動作設定部５９により設定される。

制御信号生成部５４は、動作検出部５３による検出結果に応じて、複数の操作対象機器のうちの少なくとも一つの操作対象機器を制御する制御信号を生成するように構成されている。即ち、制御信号生成部５４は、動作検出部５３が検出したジェスチャーにより特定される機器をジェスチャーに応じた内容に制御する信号を生成する。

機器制御部５５は、制御信号生成部５４からの制御信号に基づいて、少なくとも一つの操作対象機器を制御するように構成されている。即ち、機器制御部５５は、動作検出部５３が検出したジェスチャーに応じて、電気メス装置１３などの制御対象機器を制御する。

操作者設定部５７は、予め登録された複数の術者（即ち、操作候補者）のうちの一の術者を操作が許可される操作者として設定し、その一の術者以外の術者を操作が禁止される操作禁止者として設定するように構成されている。

次に、図５Ａから図７を参照しながら、操作者を設定する処理の流れについて具体的に説明する。図５Ａは、本実施例に係る医療用内視鏡システムの操作者設定処理における画面遷移を説明するための図である。図５Ｂは、本実施例に係る医療用内視鏡システムの操作者設定処理における画面遷移の変形例を説明するための図である。図６は、本実施例に係る医療用内視鏡システムの操作者設定処理を示すフローチャートである。図７は、図６に例示される操作者設定処理後の操作者の設定状態の一例を示す図である。

操作者の設定処理は、操作パネル２１に図５Ａに例示されるログオン画面１００が表示されている状態で、ログオン画面１００に設けられた設定ボタン１０１を押下することにより開始される。なお、ログオン画面１００には、設定ボタン１０１の他に、手技選択ボタン群１０２が設けられている。手技選択ボタン群１０２から手技のボタンを選択することで、選択した手技に関連する周辺機器を操作するための周辺機器操作画面３００に遷移する。

ログオン画面１００で設定ボタン１０１が押下されると、操作パネル２１に表示される画面が図５Ａに例示されるシステムコントローラ設定画面２００に遷移して、システムコントローラ２２の設定モードが起動される（図６のＳ１）。

システムコントローラ設定画面２００では、ジェスチャーによる機器の操作が許可される操作者の設定を含む、医療用内視鏡システム３に関する種々の設定を行うことができる。システムコントローラ設定画面２００で操作者の設定を変更する入力がなされると、操作者設定部５７が入力に従って操作者の設定を変更し、その変更された操作者設定情報６３が格納部６２に保存される（図６のＳ２）。

なお、操作者の設定は、システムコントローラ２２に登録され、格納部６２に顔データが格納されている術者（登録者）の中から一人の術者を操作者として選択することにより行われる。これにより、選択された術者が操作者として設定されるとともに、選択された術者以外の術者は自動的に操作が禁止される操作禁止者として設定される。図７は、術者（登録者）Ａが登録者として選択された場合に、格納部６２に記録された操作者の設定状態を例示している。

また、図５Ａに示される操作者設定処理における画面遷移は一例であり、図５Ａに示される例に限られない。例えば、図５Ｂに示すように、最初に第１のログイン画面として、操作者ボタン群１１０と設定ボタン１０１が設けられた術者ログイン画面１１０が表示されてもよい。そして、操作者ボタン群１１０から特定の術者を選択するボタンを押下すると、選択した術者の顔画像が表示されて、選択した術者を操作者として設定するかどうかの確認が行われた後に、第２のログオン画面として、手技選択ボタン群１０２と設定ボタン１０１が設けられた術者ログイン画面１１０が表示されてもよい。

次に、図８、図９Ａ及び図９Ｂを参照しながら、ジェスチャーを認識して機器を制御する処理の流れについて具体的に説明する。図８は、本実施例に係る医療用内視鏡システムの機器制御処理を示すフローチャートである。図９Ａは、図８に例示される機器制御処理中の手術室２内の様子を示す図である。図９Ｂは、本実施例に係る医療用内視鏡システムに含まれるジェスチャー用カメラの撮像範囲について示す図である。

ステップＳ１０では、ジェスチャー用カメラ３６が、図９Ａに例示されるような複数の術者（術者Ａ、術者Ｂ、術者Ｃ、術者Ｃ）が存在する手術室２内を撮像し、生成した画像をシステムコントローラ２２に出力する。

なお、術者のジェスチャー動作を検出するためには、ジェスチャー用カメラ３６の撮像範囲内に少なくとも術者の顔を含む上半身が入り、且つ、術者が腕を左右に伸ばしても手が撮像範囲内からはみ出ないことが条件となる。このため、ジェスチャー用カメラ３６は、そのような条件を満たすように設置することが望ましい。例えば、ジェスチャー用カメラ３６の撮像範囲が図９Ｂに示す網掛け部分である場合には、術者Ｂまたは術者Ｃが操作者である場合には正常にジェスチャー動作を検出することが可能である。また、ジェスチャー動作に脚などの下半身の動作も含まれる場合には、ジェスチャー用カメラ３６の撮像範囲内に術者の下半身が入るように、ジェスチャー用カメラ３６を設置する。ここでは、手術室全体が撮像範囲に入るような位置にジェスチャー用カメラ３６が設置されているものとする。

ステップＳ１１では、物体検出部５１が、格納部６２に格納されているモデル情報６５を参照して、ジェスチャー用カメラ３６から出力された画像から物体設定部５６により設定されている所定の条件である人間の顔を検出して術者を検出する。ここでは、例えば、手術室２内の術者Ｂの顔を検出して術者Ｂを検出したものとする。

ステップＳ１２では、操作者認識部５２が、ジェスチャー用カメラ３６から出力された画像から検出された術者Ｂの顔の画像と、格納部６２に格納され、且つ、操作者設定部５７により操作者として設定されている術者Ａの顔データとを比較する。比較処理では、格納部６２に術者Ａの顔データとして顔画像とともに格納されている各種情報（顔のパーツの相対位置、目の大きさ、鼻の大きさ、など）を用いてもよい。その結果により、操作者認識部５２は、検出された術者が操作者に一致するかどうかを判断する（ステップＳ１３）。なお、ここでは、ステップＳ１３で操作者に一致しないと判断されるため、ステップＳ１１に戻って、ステップＳ１１からステップＳ１３の処理を繰り返す。

２度目の物体検出処理(ステップＳ１１)で術者Ａの顔の画像が検出されると、操作者認識部５２は、ステップＳ１３で、検出された術者が操作者に一致すると判断し、ステップＳ１４で、検出された術者を操作者として認識する。これにより、操作者認識部５２が術者Ａを特定して操作者として認識する。

ステップＳ１５からステップＳ１８では、動作検出部５３が、操作者認識部５２で特定された術者Ａの動作をジェスチャー用カメラ３６から出力される画像を通じて監視し、術者Ａによる、動作設定部５９により設定されている所定のジェスチャー動作を検出する。

具体的には、動作検出部５３は、ステップＳ１５では、格納部６２に格納されている各部位のモデル情報６５を参照し、図４に示されるように、ジェスチャー用カメラ３６から出力された画像から、操作者認識部５２で特定された操作者である術者Ａの体の各部位を検出する。そして、ステップＳ１６で、検出された各部位から操作者の姿勢を推定して人体の骨組みモデルを形成する。さらに、ステップＳ１７で、ジェスチャー用カメラ３６から随時出力される画像から形成した骨組みモデルの動きを追跡して、操作者の動作を検出する。最後に、ステップＳ１８で、格納部６２に格納されているジェスチャー情報６６を参照して、検出された動作がジェスチャー動作か否かを判断する。ジェスチャー動作であると判断されると、ステップＳ１９の処理が実行され、ジェスチャー動作ではないと判断されると、ステップＳ１１に戻って上記の処理が繰り返される。

ステップＳ１９では、制御信号生成部５４が、動作検出部５３で検出されたジェスチャー動作に応じて、制御対象機器を制御する制御信号を生成し、機器制御部５５に出力する。

ステップＳ２０では、機器制御部５５が、制御信号生成部５４からの制御信号に従って、制御対象機器を制御する。例えば、動作検出部５３が、手を右から左に動かすジェスチャー動作を検出した場合には、光源装置１６から射出される光量を低下させるように制御し、手を左から右に動かすジェスチャー動作を検出した場合には、光源装置１６から射出される光量を増加させるように制御する。また、手を握るジェスチャー動作を検出した場合には、光源装置１６をＯＦＦに制御し、手を開くジェスチャー動作を検出した場合には、光源装置１６をＯＮに制御する。

以上のように構成された医療用内視鏡システム３では、術者Ａだけがジェスチャー動作により機器を制御することが可能であり、それ以外の術者Ｂ、術者Ｃ、術者Ｄは、ジェスチャーにより機器を制御することはできない。このため、予め行う操作者の設定を適切に行うことで、図９Ａに例示されるように手術室２内に複数の術者がいる場合であっても、システムコントローラ２２が機器の操作を意図していない術者の動作に反応して機器を制御してしまうことを防止することができる。

また、操作者の設定では、術者Ａを操作者として設定すると自動的に術者Ｂ、術者Ｃ、術者Ｄは操作禁止者として設定される。これにより、誤って複数の術者を操作者として設定してしまうことを防止することができる。

従って、医療用内視鏡システム３によれば、特定の一人の術者のみにジェスチャーによる機器の操作を許可し、それ以外の者のジェスチャーによる操作を禁止することが可能であり、その結果、誤った認識による機器の制御を、医療用内視鏡システムに求められる高いレベルで十分に排除することができる。

図１０は、本実施例に係る医療用内視鏡システムに含まれるシステムコントローラの構成を説明するための図である。

図１０に例示されるシステムコントローラ２２ａは、操作者追加部５８を含む点が、図２に例示される実施例１に係るシステムコントローラ２２と異なっている。その他の点は、システムコントローラ２２と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。また、本実施例に係る医療用内視鏡システム３ａは、システムコントローラ２２の代わりにシステムコントローラ２２ａを含む点が、図１に例示される実施例１に係る医療用内視鏡システム３と異なっている。その他の点は、医療用内視鏡システム３と同様である。

操作者追加部５８は、操作者設定部５７により設定された操作禁止者を操作者に変更するように構成されている。このため、医療用内視鏡システム３ａでは、操作者認識部５２は、物体検出部５１により検出された術者のうちから、操作者設定部５７及び操作者追加部５８で設定された操作者に該当する術者を特定して、特定された術者を操作者として認識する。

図１１から図１３を参照しながら、操作者を追加する処理の流れについて具体的に説明する。図１１は、本実施例に係る医療用内視鏡システムの操作者追加処理における画面遷移を説明するための図である。図１２は、本実施例に係る医療用内視鏡システムの操作者追加処理を示すフローチャートである。図１３は、図１２に例示される操作者設定処理前後の操作者の設定状態の一例を示す図である。

操作者の追加処理は、操作パネル２１に図１１に例示される周辺機器操作画面４００が表示されている状態で、周辺機器操作画面４００に設けられた操作者設定ボタン４０２を押下することにより開始される。なお、周辺機器操作画面４００には、操作者設定ボタン４０２の他に、ログオフボタン４０１が設けられている。ログオフボタン４０１が押下されると、表示画面がログオン画面１００に遷移する。

周辺機器操作画面４００で操作者設定ボタン４０２が押下されると、システムコントローラ２２の操作者追加モードが起動される（図１２のＳ２１）。

操作者追加モードが起動されると、周辺機器操作画面４００の下部に、現在操作者として設定されている術者ＡのボタンのみがＯＮ状態（網掛けで表示）である操作者ボタン群４０３が、表示される。

操作者ボタン群４０３の表示は、所定時間、例えば、３秒経過すると、消えるようになっている。操作者ボタン群４０３が表示されている間に、操作者として追加したい術者のボタンを選択することで、操作者追加部５８がその入力に従って操作者の設定を変更し、その変更された操作者設定情報が格納部６２に保存される（図１２のＳ２２）。これにより、例えば、術者Ｃのボタンを選択した場合には、図１３に例示されるように、格納部６２に記録された操作者の設定状態が、術者Ａ一人だけが操作者として設定された状態から、術者Ａと術者Ｂの二人が操作者として設定された状態に変化する。

実施例１に係る医療用内視鏡システム３では、操作者の設定を変更するためには、一旦、周辺機器操作画面４００からログオン画面１００を介してシステムコントローラ設定画面２００に遷移する必要があるのに対して、医療用内視鏡システム３ａでは、術中に表示されている周辺機器操作画面４００から操作者を追加することができる。このため、医療用内視鏡システム３ａでは、術中に例外的に操作者を追加する必要が生じた場合に少ない操作で容易に且つ迅速に術者を追加することができる。例外的に術者を追加する必要がある場合としては、例えば、操作者の手がふさがっていてジェスチャー動作を行うことができないために他の術者が例外的に機器を制御する必要がある場合や、若手のドクターを教育するために指導的立場にあるドクターが機器を制御する必要がある場合などが挙げられる。

また、操作者を追加して複数人が操作者として設定されている状態は、例外的に認められるものであるので、操作者追加部５８による設定は、操作者設定部５７による設定とは区別される。具体的には、操作者設定部５７による設定は、操作者設定部５７により改めて設定を変更しない限り維持される。つまり、異なる周辺機器のための周辺機器操作画面を表示しても、システムコントローラ２２の電源をＯＦＦにしても、設定は維持される。これに対して、操作者追加部５８による設定は、周辺機器操作画面４００のログオフボタン４０１を押下してログオン画面１００に遷移することで消去される。

従って、医療用内視鏡システム３ａによれば、基本的には、実施例１に係る医療用内視鏡システム３と同様に、特定の一人の術者のみにジェスチャーによる機器の操作を許可し、それ以外の者のジェスチャーによる操作を禁止することが可能であり、その結果、誤った認識による機器の制御を、医療用内視鏡システムに求められる高いレベルで十分に排除することができる。

さらに、医療用内視鏡システム３ａによれば、例外的に、簡単な操作で操作者を追加して複数人が操作者として設定することができるため、本来の操作者がジェスチャー操作を行えない場合などでも、他の術者がジェスチャーによる機器の制御を行うことが可能であり、手術を遅延させることなく進行させることができる。また、あくまで例外的な設定として取り扱うことで、操作者が複数人存在する設定状態が永続することを防止することができる。

以上では、周辺機器操作画面４００から操作者を追加する例を示したが、周辺機器操作画面４００から操作者を削除する処理を行っても良い。周辺機器操作画面４００に表示された操作者ボタン群４０３のうちすでに操作者として設定されているボタンを押下することで操作者から操作禁止者に設定を変更してもよい。これにより、周辺機器操作画面４００で操作者を任意に変更することができる。

また、操作パネル２１に表示された周辺機器操作画面４００から操作者を追加する例を示したが、操作者の追加処理は、機器の制御と同様に、ジェスチャー用カメラ３６から出力される画像を用いてジェスチャーにより行われても良い。また、マイク３３を用いて音声入力により行われても良い。

また、周辺機器操作画面４００に表示される操作者設定ボタン４０２は、設定で非表示にしてもよい。これにより、設定を変更するだけで、医療用内視鏡システム３と医療用内視鏡システム３ａを切換えるのと、同様の効果を得ることができる。

２・・・手術室
３、３ａ・・・医療用内視鏡システム
４・・・患者モニタシステム
９・・・ケーブル
１０・・・患者ベッド
１１、１２・・・カート
１３・・・電気メス装置
１４・・・気腹装置
１５、２３・・・内視鏡用カメラ装置
１６、２４・・・光源装置
１７・・・ビデオテープレコーダ
１８・・・ガスボンベ
１９、２６・・・表示装置
２０、２７・・・集中表示パネル
２１・・・操作パネル
２２、２２ａ・・・システムコントローラ
２５・・・画像処理装置
２８・・・中継ユニット
２９・・・中継ケーブル
３０・・・リモートコントローラ
３１、３２・・・内視鏡
３１ａ、３２ａ・・・カメラケーブル
３１ｂ、３２ｂ・・・ライトガイドケーブル
３３・・・マイク
３５・・・ＲＦＩＤ端末
３６・・・ジェスチャー用カメラ
４８・・・患者
５１・・・物体検出部
５２・・・操作者認識部
５３・・・動作検出部
５４・・・制御信号生成部
５５・・・機器制御部
５６・・・物体設定部
５７・・・操作者設定部
５８・・・操作者追加部
５９・・・動作設定部
６０・・・タッチパネル検出部
６１・・・音声検出部
６２・・・格納部
６３・・・操作者設定情報
６４・・・顔データ
６５・・・モデル情報
６６・・・ジェスチャー情報
１００・・・ログオン画面
１０１・・・設定ボタン
１０２・・・手技選択ボタン群
２００・・・システムコントローラ設定画面
２０１、３０１、４０１・・・ログオフボタン
３００、４００・・・周辺機器操作画面
４０２・・・操作者設定ボタン

Claims (6)

1. 撮像装置と、複数の制御対象機器と、前記複数の制御対象機器を制御するコントローラとを備えた医療用内視鏡システムであって、
   前記コントローラは、
   予め登録された複数の操作候補者うちの一の操作候補者を操作が許可される操作者として設定し、前記一の操作候補者以外の操作候補者を操作が禁止される操作禁止者として設定する操作者設定部と、
   前記撮像装置から出力される画像から所定の条件を備えた物体を検出する物体検出部と、
   前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識する操作者認識部と、
   前記特定された物体の所定の動作を検出する動作検出部と、
   前記動作検出部による検出結果に応じて、前記複数の制御対象機器のうちの少なくとも一つの制御対象機器を制御する制御信号を生成する制御信号生成部と、
   前記制御信号に基づいて、前記少なくとも一つの制御対象機器を制御する機器制御部と、を備えることを特徴とする医療用内視鏡システム。
2. 請求項１に記載の医療用内視鏡システムにおいて、
   前記コントローラは、前記操作者設定部により設定された操作禁止者を操作者に変更する操作者追加部を備えることを特徴とする医療用内視鏡システム。
3. 請求項２に記載の医療用内視鏡システムにおいて、さらに、
   医療用内視鏡システムの情報を表示する表示部と、
   医療用内視鏡システムの外部からの入力を受け付ける入力部を備え、
   前記操作者追加部は、前記複数の制御対象機器の各々を操作するための画面が前記表示部に表示された状態で、前記入力部からの入力に従って、前記操作者設定部により設定された操作禁止者を操作者に変更するように構成されていることを特徴とする医療用内視鏡システム。
4. 請求項１に記載の医療用内視鏡システムにおいて、さらに、
   前記所定の条件である前記物体の一部分のモデル情報を格納する格納部を含み、
   前記物体検出部は、前記格納部に格納されている前記モデル情報を参照して、前記撮像装置から出力される画像から前記所定の条件を備えた前記物体を検出することを特徴とする医療用内視鏡システム。
5. 請求項４に記載の医療用内視鏡システムにおいて、
   前記格納部は、さらに、前記物体を識別するための識別情報を格納していて、
   前記操作者認識部は、前記格納部に格納されている前記識別情報を参照して、前記物体検出部により検出された物体から前記操作者設定部で設定された操作者に該当する物体を特定して、前記特定された物体を前記操作者として認識することを特徴とする医療用内視鏡システム。
6. 請求項５に記載の医療用内視鏡システムにおいて、
   前記格納部は、さらに、前記所定の動作に関する情報であるジェスチャー情報を格納していて、
   前記動作検出部は、前記格納部に格納されている前記ジェスチャー情報を参照して、前記特定された物体の前記所定の動作を検出することを特徴とする医療用内視鏡システム。

Images