JP5959367B2

JP5959367B2 - 医療支援システム

Info

Publication number: JP5959367B2
Application number: JP2012184961A
Authority: JP
Inventors: 伊織根本; 潔志関口; 頼人前田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-08-24
Filing date: 2012-08-24
Publication date: 2016-08-02
Anticipated expiration: 2032-08-24
Also published as: JP2014045239A

Description

本発明は、複数の機器を制御するシステムコントローラを備えた医療支援システムに関する。

医療分野では、従来から、複数の機器を制御するシステムコントローラを備えた医療支援システムが知られている。このような医療支援システムでは、システムコントローラに接続された操作パネルを操作することにより、システムコントローラを介してシステム内の任意の機器（以降、被制御機器と記す）の設定を変更することができる。

ところで、医療支援システムでは、操作パネルから被制御機器を選択する場合、一般的に、操作パネルに表示される被制御機器の名称により被制御機器を特定する。このため、被制御機器が多数存在する場合、被制御機器の特定が困難であり、その選択が容易ではない。

このような技術的な課題に関連する技術が、例えば、特許文献１に開示されている。特許文献１には、被制御機器が配置されている室内を撮像装置で撮影して、撮影した画像上で被制御機器を選択する技術が開示されている。

特開２００４−３５６８０３号公報

しかしながら、特許文献１に開示される技術にも種々の課題が存在する。例えば、特許文献１に開示される技術では、システム内に被制御機器と制御対象外の機器とが混在している場合には、画像上からはどの機器が被制御機器であるかわかりづらい。また、画像内の被制御機器を実際の被制御機器と関連付けるためには、各被制御機器が画像内におけるどの領域に存在するかを示す座標情報を予め準備する必要がある。
以上のような実情を踏まえ、本発明は、被制御機器を容易に選択することができる医療支援システムの技術を提供することを目的とする。

本発明の第１の態様は、複数の被制御機器を制御するシステムコントローラと、前記複数の被制御機器が配置されている領域を撮影する撮像装置と、前記撮像装置で撮影した画像を表示し、且つ、被制御機器の選択を受け付ける操作表示部と、を備え、前記システムコントローラは、前記撮像装置で撮影した前記複数の被制御機器が写っている画像から前記複数の被制御機器の各々に付されている識別情報を検出して、前記識別情報により前記複数の被制御機器の各々の像を識別する機器識別部と、前記機器識別部による識別結果に基づいて、前記複数の被制御機器の各々を選択するためのアイコンを前記画像上の被制御機器の像と関連付けて前記操作表示部に表示させる表示制御部と、を備え、前記機器識別部は、前記複数の被制御機器のうち前記機器識別部が前記識別情報を検出できない前記被制御機器が存在する場合には、当該被制御機器の外観的な特徴に基づいて当該被制御機器を特定し、特定した当該被制御機器の識別情報を操作者に選択させることで、当該被制御機器を識別することを特徴とする医療支援システムを提供する。

本発明の第２の態様は、第１の態様に記載の医療支援システムにおいて、前記システムコントローラは、前記操作表示部に表示されたアイコンを介して前記複数の被制御機器に含まれる画像信号出力機器とモニタとが選択されると、選択された画像信号出力機器から出力された画像信号に基づく画像を選択されたモニタに表示させる医療支援システムを提供する。

本発明の第３の態様は、第１の態様に記載の医療支援システムにおいて、前記表示制御部は、前記操作表示部に表示されたアイコンを介して被制御機器が選択されると、選択された被制御機器の設定画面を前記操作表示部に表示させる医療支援システムを提供する。

本発明の第４の態様は、第１の態様乃至第３の態様のいずれか１つに記載の医療支援システムにおいて、さらに、被制御機器の選択を行う操作者を撮影する第２の撮像装置と、前記第２の撮像装置で撮影した画像から前記操作者の動作を検出する動作検出部と、を備え、前記表示制御部は、前記動作検出部が検出した前記操作者の動作に基づいて前記操作表示部上に表示されるカーソルを移動させ、前記カーソルが前記撮像装置で撮影した前記画像上の被制御機器の像に重なると、前記被制御機器の像に対応する被制御機器を選択するためのアイコンを前記被制御機器の像と関連付けて前記表示制御部に表示させる医療支援システムを提供する。

本発明の第５の態様は、第１の態様乃至第３の態様のいずれか１つに記載の医療支援システムにおいて、さらに、被制御機器の選択を行う操作者を撮影する第２の撮像装置と、前記第２の撮像装置で撮影した画像から前記操作者の動作を検出する動作検出部と、を備え、前記表示制御部は、前記動作検出部が検出した前記操作者の動作に基づいて前記操作表示部上に表示されるカーソルを移動させ、前記カーソルが前記撮像装置で撮影した前記画像上の被制御機器を選択するためのアイコンに重なると、前記アイコンの状態を変化させる医療支援システムを提供する。
本発明の第６の態様は、複数の被制御機器を制御するシステムコントローラと、前記複数の被制御機器が配置されている領域を撮影する撮像装置と、前記撮像装置で撮影した画像を表示し、且つ、被制御機器の選択を受け付ける操作表示部と、を備え、前記システムコントローラは、前記撮像装置で撮影した前記複数の被制御機器が写っている画像内の前記複数の被制御機器の各々の像を識別する機器識別部と、前記機器識別部による識別結果に基づいて、前記複数の被制御機器の各々を選択するためのアイコンを前記画像上の被制御機器の像と関連付けて前記操作表示部に表示させる表示制御部と、を備え、前記システムコントローラは、前記操作表示部に表示されたアイコンを介して前記複数の被制御機器に含まれる画像信号出力機器とモニタとが選択されると、選択された画像信号出力機器から出力された画像信号に基づく画像を選択されたモニタに表示させることを特徴とする医療支援システムを提供する。
本発明の第７の態様は、第６の態様に記載の医療支援システムにおいて、前記機器識別部は、前記撮像装置で撮影した前記画像から前記複数の被制御機器の各々に付されている識別情報を検出して、前記識別情報により前記複数の被制御機器の各々の像を識別することを特徴とする医療支援システムを提供する。

本発明によれば、被制御機器を容易に選択することができる医療支援システムの技術を提供することができる。

本発明の実施例１に係る医療支援システムの全体構成を示す図である。本発明の実施例１に係る医療支援システムの主要構成要素について説明するための図である。本発明の実施例１に係る医療支援システムに含まれるシステムコントローラのハードウェア構成を示す図である。本発明の実施例１に係る医療支援システムの操作パネルに表示されるメイン画面を例示した図である。モニタモードにおける本発明の実施例１に係る医療支援システムの処理のフローチャートである。本発明の実施例１に係る医療支援システムに含まれる撮像装置が撮影した画像を例示した図である。モニタモードにおける本発明の実施例１に係る医療支援システムの操作パネルに表示される画面を例示した図である。モニタモードにおける本発明の実施例１に係る医療支援システムの操作パネルに表示される別の画面を例示した図である。本発明の実施例１に係る医療支援システムの被制御機器の名称と識別情報との関係を示す図である。オペレーションモードにおける本発明の実施例１に係る医療支援システムの操作パネルに表示される画面を例示した図である。モニタモードにおける本発明の実施例２に係る医療支援システムの処理のフローチャートである。モニタモードにおける本発明の実施例２に係る医療支援システムの操作パネルに表示される画面を例示した図である。モニタモードにおける本発明の実施例２に係る医療支援システムの操作パネルに表示される別の画面を例示した図である。モニタモードにおける本発明の実施例２に係る医療支援システムの操作パネルに表示されるさらに別の画面を例示した図である。モニタモードにおける本発明の実施例２に係る医療支援システムの操作パネルに表示されるさらに別の画面を例示した図である。本発明の実施例３に係る医療支援システムの主要構成要素について説明するための図である。オペレーションモードにおける本発明の実施例３に係る医療支援システムの操作パネルに表示される画面を例示した図である。オペレーションモードにおける本発明の実施例３に係る医療支援システムの操作パネルに表示される別の画面を例示した図である。オペレーションモードにおける本発明の実施例３に係る医療支援システムの変形例の操作パネルに表示される画面を例示した図である。オペレーションモードにおける本発明の実施例３に係る医療支援システムの変形例の操作パネルに表示される別の画面を例示した図である。

図１は、本実施例に係る医療支援システムの全体構成図である。図１に例示される医療支援システム１００は、複数の被制御機器を制御するシステムコントローラ５０と、複数の被制御機器が配置されている領域である手術室内を撮影する撮像装置２１と、撮像装置２１で撮影した画像を表示し、且つ、操作者による操作を受け付ける操作パネル３７と、システムコントローラ５０が制御する複数の被制御機器を備えている。

ラック３０に設置されているシステムコントローラ５０は、同じくラック３０に設置されている、気腹装置３１、光源装置３２、内視鏡が接続される２つのプロセッサ（プロセッサ３３、プロセッサ３４）、電気メス装置３５、表示パネル３６、操作パネル３７を制御する。また、システムコントローラ５０は、患者が横たわる患者ベッド１０、天井照明（天井照明１１、天井照明１２）、天井から吊り下げられた無影灯（無影灯１３、無影灯１４）、天井から吊り下げられた医療用画像を表示する複数のモニタ（モニタ１５、モニタ１６、モニタ１７）、及び、撮像装置２１などの手術室に常設された設備も、被制御機器として制御する。

撮像装置２１は、手術室内を撮影する撮像装置であり、後に詳述するように、撮像装置２１が撮影した画像は、画像を用いた被制御機器の選択のために操作パネル３７に表示される。

操作パネル３７は、例えば、液晶ディスプレイと液晶ディスプレイに重ねて配置されたタッチパネルセンサが一体となって構成されたタッチパネルディスプレイである。撮像装置２１が撮影した画像やＧＵＩ画面などが表示される操作パネル３７を操作することで、システムコントローラ５０に接続された被制御機器を制御することができる。即ち、操作パネル３７は、医療支援システム１００の操作部としての役割と表示部としての役割を担う操作表示部である。なお、操作パネル３７は非滅菌域にいる看護師等によって操作されるものであり、通常は術者が直接操作するものではない。

図１では、内視鏡下外科手術が行われる手術室に設けられた医療支援システム１００を例示したが、医療支援システム１００の用途は、内視鏡下外科手術に限られず、他の手術や診察のために用いられてもよい。また、医療支援システム１００は、診察室など手術室以外に設けられてもよい。医療支援システム１００は、さらに、図１では図示しない種々の装置及び設備を含んでもよい。医療支援システム１００は、例えば、術野を観察する術野カメラや、プロセッサ３３及びプロセッサ３４で生成される映像を保存するビデオレコーダなどを含んでもよく、これらをシステムコントローラ５０で制御してもよい。また、医療支援システム１００は、異なる位置に配置された複数の撮像装置２１を備えてもよく、その場合、複数の撮像装置２１から任意の撮像装置を選択して使用してもよい。

図２は、本実施例に係る医療支援システムの主要構成要素について説明するための図である。図３は、本実施例に係る医療支援システムに含まれるシステムコントローラのハードウェア構成を示す図である。以下、図２及図３を参照しながら、医療支援システム１００の主要構成要素である、撮像装置２１、操作パネル３７、システムコントローラ５０について詳細に説明する。
撮像装置２１は、撮影した画像の画像データをシステムコントローラ５０に出力するように構成されている。

操作パネル３７は、表示部３８とセンサ部３９とを備えている。表示部３８は、例えば、液晶ディスプレイであり、システムコントローラ５０から画面データを受信し、受信した画面データに基づいて画面を表示する。また、センサ部３９は、液晶ディスプレイに重ねて配置されたタッチパネルセンサであり、画面が表示された表示部３８への接触を検出して、接触信号をシステムコントローラ５０へ出力する。

システムコントローラ５０は、機器識別部５１と、記憶部５２と、表示制御部５３と、機器制御部５４と、を備えている。機器識別部５１と表示制御部５３は撮像装置２１からの画像データを受信し、機器制御部５４は操作パネル３７からの信号を受信する。

機器識別部５１は、撮像装置２１で生成された画像データ、つまり、手術室を撮影した複数の被制御機器が写っている画像データを解析して、その画像内の複数の被制御機器の各々の像を識別するように構成されている。より具体的には、機器識別部５１は、撮像装置２１で撮影した画像から複数の被制御機器の各々に予め付されている識別情報を検出して、その識別情報により複数の被制御機器の各々の像を識別する。識別情報は、被制御機器を特定するための情報であり、例えば、バーコード形式で付されている。なお、識別情報は、画像から検出することができるように、撮像装置２１の視野内に付されていることが望ましい。

記憶部５２には、例えば、被制御機器の識別情報が被制御機器の名称と関連付けられて記憶されている。その他にも、システムコントローラ５０を動作させるためのプログラムやその他プログラムの実行に必要な各種データも記憶されている。

表示制御部５３は、撮像装置２１から送信される手術室の画像データと機器識別部５１から送信される被制御機器の識別結果に関する情報とに基づいて、操作パネル３７の表示を制御するように構成されている。より具体的には、表示制御部５３は、機器識別部５１による識別結果に基づいて、複数の被制御機器の各々を選択するためのアイコンを撮像装置２１で撮影した画像上の被制御機器の像と関連付けて、操作パネル３７に表示させる。

機器制御部５４は、操作パネル３７から送信される接触信号に基づいて、被制御機器を制御するように構成されている。より具体的には、接触信号に含まれる接触位置に関するデータから選択された被制御機器を特定し、特定された被制御機器に機器制御信号を送信することにより、選択した被制御機器を制御する。

なお、図２に示されるシステムコントローラ５０の機器識別部５１、記憶部５２、表示制御部５３、及び、機器制御部５４の各々は、システムコントローラ５０の主要な機能に着目した機能ブロックであり、システムコントローラ５０のハードウェア構成は、図３に示されている。システムコントローラ５０は、ＣＰＵ５０ａ、ＲＡＭ５０ｂ、ＲＯＭ５０ｃ、入力Ｉ／Ｆ５０ｄ、出力Ｉ／Ｆ５０ｅ、ＨＤＤ５０ｆを備えていて、ＣＰＵ５０ａがＲＯＭ５０ｃに記憶されているプログラムをＲＡＭ５０ｂにロードして実行することで、上述した機能を実現する。即ち、ＲＯＭ５０ｃは、プログラムを記録したコンピュータ読み取り可能な記録媒体である。

図４は、本実施例に係る医療支援システムの操作パネルに表示されるメイン画面を例示した図である。図５は、モニタモードにおける本実施例に係る医療支援システムの処理のフローチャートである。図６は、本実施例に係る医療支援システムに含まれる撮像装置が撮影した画像を例示した図である。図７Ａ及び図７Ｂは、モニタモードにおける本実施例に係る医療支援システムの操作パネルに表示される画面を例示した図である。図８は、本実施例に係る医療支援システムの被制御機器の名称と識別情報との関係を示す図である。図９は、オペレーションモードにおける本実施例に係る医療支援システムの操作パネルに表示される画面を例示した図である。以下、図４から図９を参照しながら、本実施例に係る医療支援システム１００の処理について説明する。

システムコントローラ５０が起動してプログラムが実行されると、例えば、図４に示されるような、モニタボタン６１とオペレーションボタン６２を備えたメイン画面６０が操作パネル３７に表示される。モニタボタン６１が押下されると、モニタが表示する画像の出力元に関する設定を変更するためのモニタモードが開始され、図５に示す処理が実行される。一方、オペレーションボタン６２が押下されると、各被制御機器の設定を変更するためのオペレーションモードが開始される。

まず、モニタモードについて説明する。モニタモードが開始されると、システムコントローラ５０（機器識別部５１）は、図６に示される撮像装置２１で撮影した手術室の画像から、画像信号出力機器であるプロセッサ（プロセッサ３３、プロセッサ３４）に予め付されている識別情報を検出する。そして、検出した識別情報をキーにして記憶部５２に記載されている図８に示すデータを検索して識別情報に対応するプロセッサの名称を取得することで、各プロセッサの像を識別する（ステップＳ１）。識別結果に関する情報は、例えば、手術室の画像におけるプロセッサの像の座標とプロセッサの名称との組み合わせを含んでいる。

その後、システムコントローラ５０（表示制御部５３）は、撮像装置２１で撮影した手術室の画像と識別結果に関する情報とに基づいて図７Ａに示されるＧＵＩ画面６３を生成し、操作パネル３７に表示させる（ステップＳ３）。なお、画面６３は、手術室の画像上に画像信号出力機器であるプロセッサ（プロセッサ３３、プロセッサ３４）の各々を選択するためのアイコン（アイコン３３ａ、アイコン３４ａ）を合成した画面である。各アイコンは、それぞれプロセッサの像からの引き出し線によりプロセッサの像に関連付けられていて、これによって、各アイコンがどのプロセッサを選択するためのアイコンであるかが直感的に把握できるようになっている。また、画面６３に設けられたメインボタン６４は、メイン画面６０に戻るためのボタンである。

プロセッサを選択するためのアイコンを合成した画面６３を操作パネル３７に表示させたシステムコントローラ５０は、操作パネル３７からの信号を監視することで、アイコンへのタッチ操作、即ち、画像信号の出力元とすべきプロセッサの選択を監視する（ステップＳ５）。そして、タッチ操作によるプロセッサの選択を検出すると、手術室の画像からモニタ（モニタ１５、モニタ１６、モニタ１７）に予め付されている識別情報を検出し、ステップＳ１と同様の方法により、各モニタの像を識別する（ステップＳ７）。

さらに、システムコントローラ５０は、手術室の画像と識別結果に関する情報とに基づいて図７Ｂに示されるＧＵＩ画面６５を生成し、操作パネル３７に表示させる（ステップＳ９）。なお、画面６５は、手術室の画像上にモニタ（モニタ１５、モニタ１６、モニタ１７）の各々を選択するためのアイコン（アイコン１５ａ、アイコン１６ａ、アイコン１７ａ）を合成した画面である。各アイコンは、モニタの像に重ねて表示することでモニタに関連付けられていて、これによって、各アイコンがどのモニタを選択するためのアイコンであるかが直感的に把握できるようになっている。

モニタを選択するためのアイコンを合成した画面６５を操作パネル３７に表示させたシステムコントローラ５０は、操作パネル３７からの信号を監視することで、アイコンへのタッチ操作、即ち、ステップＳ５で選択されたプロセッサからの画像信号の出力先とすべきモニタの選択を監視する（ステップＳ１１）。そして、タッチ操作によるモニタの選択を検出すると、選択されたモニタに出力元の設定を変更することを要求する制御信号を送信する（ステップＳ１３）。制御信号を受信したモニタは、出力元のプロセッサをステップＳ５で選択されたプロセッサに設定する。

このように、医療支援システム１００のモニタモードでは、システムコントローラ５０は、被制御機器の像と被制御機器を選択するためのアイコンを関連付けた画面を操作パネル３７に表示させる。そして、操作パネル３７に表示されたアイコンを介してプロセッサとモニタとが選択されると、選択されたプロセッサから出力された画像信号に基づく画像を選択されたモニタに表示させるように、被制御機器を制御する。

なお、図４では、プロセッサを選択してからモニタを選択する例を示したが、モニタを選択してからプロセッサを選択してもよい。この場合、先にモニタを選択するためのアイコンを合成した画像を操作パネル３７に表示し、モニタの選択後に、プロセッサを選択するためのアイコンを合成した画像を表示すればよい。また、プロセッサを選択するためのアイコンとモニタを選択するためのアイコンの両方を合成した画像を表示して、プロセッサとモニタを選択させても良い。その場合、先に選択した被制御機器のアイコンの色を変化させるなどして選択状態が視覚的に把握できるようにすることが望ましい。

次に、オペレーションモードについて説明する。オペレーションモードが開始されると、システムコントローラ５０（機器識別部５１）は、図６に示される撮像装置２１で撮影した手術室の画像から、被制御機器に予め付されている識別情報を検出する。そして、検出した識別情報をキーにして記憶部５２に記載されている図８に示すデータを検索して識別情報に対応する被制御機器の名称を取得することで、各被制御機器の像を識別する。なお、オペレーションモードでは、プロセッサとモニタに限られず、画像から可能な限り多くの被制御機器の識別情報を検出して被制御機器を識別する点が、モニタモードと異なっている。

その後、システムコントローラ５０（表示制御部５３）は、撮像装置２１で撮影した手術室の画像と識別結果に関する情報とに基づいて図９に示されるＧＵＩ画面６６を生成し、操作パネル３７に表示させる。なお、画面６６は、手術室の画像上に被制御機器の各々を選択するためのアイコン（アイコン１０ａ、１１ａ、１２ａ、１３ａ、１４ａ、１５ａ、１６ａ、１７ａ、３１ａ、３２ａ、３３ａ、３４ａ、３５ａ）を合成した画面である。

アイコン３１ａからアイコン３５ａは、ラック３０に設置されている被制御機器を選択するためのアイコンであり、それぞれ対応する被制御機器の像からの引き出し線により被制御機器の像に関連付けられている。また、アイコン１５ａからアイコン１７ａは、モニタを選択するためのアイコンであり、モニタの像に重ねて表示することでモニタに関連付けられている。これにより、各アイコンがどの被制御機器を選択するためのアイコンであるかが直感的に把握できるようになっている。

アイコン１０ａからアイコン１４ａは、撮像装置２１で撮影した画像から識別情報が検出されなかった被制御機器を選択するためのアイコンである。医療支援システム１００では、撮像装置２１の視野に入らない被制御機器や術者等に遮られて識別情報を検出できない被制御機器が存在する場合には、アイコン１０ａからアイコン１４ａのように該当する被制御機器の名称を付したアイコンを表示する。これにより、操作パネル３７からすべての被制御機器の選択を可能としている。

被制御機器を選択するためのアイコンを合成した画面６６を操作パネル３７に表示させたシステムコントローラ５０は、操作パネル３７からの信号を監視することで、アイコンへのタッチ操作、即ち、設定を変更する被制御機器の選択を監視する。そして、タッチ操作による被制御機器の選択を検出すると、選択された被制御機器の設定を変更するための設定画面を操作パネル３７に表示させる。なお、設定画面は、設定画面と画面６６を並列に表示させる２画面表示の形式で操作パネル３７に表示させてもよい。

このように、医療支援システム１００のオペレーションモードでは、システムコントローラ５０は、被制御機器の像と被制御機器を選択するためのアイコンを関連付けた画面を操作パネル３７に表示させる。そして、操作パネル３７に表示されたアイコンを介して被制御機器が選択されると、選択された被制御機器の設定画面を操作パネル３７に表示させるように動作する。

以上のように、本実施例に係る医療支援システム１００では、被制御機器を選択するためのアイコンが被制御機器の像と視覚的に関連付けられているため、各アイコンがどの被制御機器を選択するためのアイコンであるかを直感的に把握することができる。このため、医療支援システム１００によれば、被制御機器を容易に選択することができる。

また、医療支援システム１００では、システムコントローラ５０は、被制御機器に付されている識別情報を画像から検出することにより被制御機器を識別する。このため、被制御機器が撮像装置２１で撮影した画像のどの領域に存在するかといった情報を予め準備する必要ない。従って、撮像装置２１による撮影範囲の変更や被制御機器の移動にも対応することが可能である。

なお、医療支援システム１００は、被制御機器を選択するためのアイコンに加えて、例えば、通信エラーなどの障害が生じていることを示すアイコンを被制御機器の像と関連付けて表示してもよく、アイコンを選択するとエラーメッセージを表示してもよい。障害が生じていることを示すアイコンも、被制御機器を選択するためのアイコンと同様の方法により、画像に合成することができる。

図１０は、モニタモードにおける本実施例に係る医療支援システムの処理のフローチャートである。図１１Ａから図１１Ｄは、モニタモードにおける本実施例に係る医療支援システムの操作パネルに表示される画面を例示した図である。なお、本実施例に係る医療支援システムの構成は、図１及び図２に示される医療支援システム１００と同様である。

本実施例に係る医療支援システムは、識別情報を検出することができなかった被制御機器について物体認識技術を用いて識別を試みる点が実施例１に係る医療支援システム１００と異なっている。その他の点は、医療支援システム１００と同様である。このため、以降では、図１０、図１１Ａ及び１１Ｂを参照しながら、モニタモードにおける処理を例にして、物体認識技術を用いた被制御機器の識別処理について具体的に説明する。

まず、モニタモードが開始されると、図１０に示すように、システムコントローラ５０（機器識別部５１）は、図６に示される手術室の画像からプロセッサ（プロセッサ３３、プロセッサ３４）に予め付されている識別情報を検出して、各プロセッサの像を識別する（ステップＳ２１）。その後、システムコントローラ５０（表示制御部５３）は、撮像装置２１で撮影した手術室の画像と識別結果に関する情報とに基づいてプロセッサを選択するためのアイコンを手術室の画像に合成した画面を操作パネル３７に表示させる（ステップＳ２３）。そして、プロセッサの選択を監視する（ステップＳ２５）。タッチ操作によるプロセッサの選択を検出すると、システムコントローラ５０（機器識別部５１）は、手術室の画像からモニタに予め付されている識別情報を検出して、各モニタの像を識別する（ステップＳ２７）。以上の処理は、図５のステップＳ１からステップＳ７までの処理と同様である。

次に、システムコントローラ５０（機器識別部５１）は、すべてのモニタを識別情報により識別済みか否かを判断する（ステップＳ２９）。この処理は、例えば、記憶部５２に記憶されているすべてのモニタが識別情報をキーにして検索されたか否かによって判断する。

ここでは、図１１Ａに示される３つのモニタの識別情報（識別情報１５ｉｄ、識別情報１６ｉｄ、及び、識別情報１７ｉｄ）のうちのステップＳ２７でモニタ１６に付された識別情報１６ｉｄとモニタ１７に付された識別情報１７ｉｄは検出できたが、モニタ１５に付された識別情報１５ｉｄは検出できなかったと場合を想定する。

そのような場合には、システムコントローラ５０（機器識別部５１）は、さらに、物体認識技術を用いて、モニタの形状などの外観的な特徴に基づいてモニタを検出する（ステップＳ３１）。

その後、システムコントローラ５０は、手術室の画像と識別結果に関する情報とに基づいてモニタを選択するためのアイコンを合成した画面を生成し、操作パネル３７に表示させる（ステップＳ３３）。ただし、図１１Ｂに示されるように、識別情報の検出に成功したモニタのアイコン（アイコン１６ａ、アイコン１７ａ）には、モニタ番号（“１”、“２”）が表示されるのに対して、識別情報の検出に失敗し物体認識によりモニタであることが認識されたモニタのアイコン（アイコン１５ａ）には、モニタ番号の代わりに例えば“？”マークが表示される。

モニタを選択するためのアイコンを合成した画面を操作パネル３７に表示させたシステムコントローラ５０は、モニタの選択を監視し（ステップＳ３５）、タッチ操作によるモニタの選択を検出すると、さらに、選択されたモニタが識別済みのモニタであるか否かを判断する（ステップＳ３７）。

識別済みのモニタが選択された場合には、システムコントローラ５０は、出力元をステップＳ２５で選択されたプロセッサとする設定変更を要求する制御信号をステップＳ３５で選択されたモニタに送信し（ステップＳ４５）、処理を終了する。

一方、識別済みではないモニタが選択された場合には、図１１Ｃに示されるように、画面上に選択されたモニタの識別情報の候補が列挙されているウィンドウ７０を表示する（ステップＳ３９）。このとき、すでに識別済みのモニタの識別情報とそれ以外の識別情報とを区別して表示する。図１１Ｃでは、色分けによりそれらを区別して表示する例が示されている。また、すでに識別済みのモニタの識別情報はウィンドウ７０に表示しなくてもよい。

モニタの識別情報の候補を列挙したウィンドウ７０を表示したシステムコントローラ５０は、ウィンドウ７０に列挙された識別情報の選択を監視する（ステップＳ４１）。タッチ操作による識別情報の選択を検出すると、システムコントローラ５０は、図１１Ｄに示されるように、選択されたモニタを選択された識別情報により特定されるモニタとして識別し、アイコンにモニタ番号を表示させる（ステップＳ４３）。その後、ステップＳ３５に戻って、上述した処理を繰り返す。

本実施例に係る医療支援システムによっても、実施例１に係る医療支援システム１００と同様に、被制御機器の像と視覚的に関連付けられているアイコンを介して、被制御機器を容易に選択することができる。また、本実施例に係る医療支援システムでは、画像から識別情報が検出できない被制御機器が存在する場合であっても、物体認識技術を用いて被制御機器を特定して特定した被制御機器の識別情報を操作者に選択させることで、被制御機器を識別することができる。このため、実施例１に係る医療支援システム１００よりもさらに多くの被制御機器を容易に選択することができる。

なお、図１０では、物体認識技術をモニタの識別に利用する例を示したが、物体認識技術をプロセッサの識別に利用してもよい。また、物体認識技術は、モニタモードに限られず、オペレーションモードで利用してもよい。また、物体認識技術によっても検出できない被制御機器については、実施例１と同様に、被制御機器の名称を付したアイコンを表示してもよい。

図１２は、本実施例に係る医療支援システムの主要構成要素について説明するための図である。図１３Ａ及び図１３Ｂは、オペレーションモードにおける本実施例に係る医療支援システムの操作パネルに表示される画面を例示した図である。

本実施例に係る医療支援システム２００は、操作パネル３７に表示されたアイコンを介して非接触で被制御機器を選択する点が実施例１に係る医療支援システム１００と異なっている。このため、医療支援システム２００は、図１２に示されるように、被制御機器の選択を行う操作者を撮影する第２の撮像装置である撮像装置２２を含み、さらに、システムコントローラ５０内に撮像装置２２で撮影した画像から操作者の動作を検出する動作検出部５５を含んでいる。その他の構成は、医療支援システム１００と同様である。

医療支援システム２００では、システムコントローラ５０は、図１３Ａに示すように、被制御機器を選択するためのアイコンに加えてカーソル８０を手術室の画像に合成した画面７１を操作パネル３７に表示させる。カーソル８０は、動作検出部５５が検出した操作者の動作（いわゆるジェスチャー動作）に基づいて移動し、カーソル８０が被制御機器を選択するためのアイコンに重なると、図１３Ｂに示すように、カーソル８０が重なったアイコンの状態が変化する。そして、操作者は、カーソル８０がアイコンに重なっている状態で、操作者の所定の動作を行うことで、アイコンに対応する被制御機器を選択することができる。

従って、本実施例に係る医療支援システム２００によっても、実施例１に係る医療支援システム１００と同様に、被制御機器の像と視覚的に関連付けられているアイコンを介して、被制御機器を容易に選択することができる。さらに、医療支援システム２００では、一般に非滅菌域に配置されている操作パネル３７に接触することなく、被制御機器を選択することができる。このため、非滅菌域にいる看護師を介すことなく術者自身が直接に被制御機器の設定を変更することができる。また、医療支援システム２００では、カーソル８０が重なったアイコンの状態が変化するため、選択したい被制御機器とは異なる被制御機器を誤って選択してしまうような事態の発生を抑えることができる。

図１４Ａ及び図１４Ｂは、オペレーションモードにおける本実施例に係る医療支援システムの変形例の操作パネルに表示される画面を例示した図である。医療支援システム２００を、図１４Ａに例示されるように、カーソル８０が被制御機器の像に重なるまで被制御機器を選択するためのアイコンを表示させないように変形してもよい。そして、図１４Ｂに例示されるように、カーソル８０が被制御機器の像に重なると、カーソル８０が重なった被制御機器の像に対応する被制御機器を選択するためのアイコンをその被制御機器の像と関連付けて操作パネル３７に表示させるように変形してもよい。

医療支援システム２００をこのように変形することで、被制御機器が多数存在する場合であっても、画面上にアイコンが大量に表示されることがない。このため、選択したい被制御機器とは異なる被制御機器を誤って選択してしまうような事態の発生をさらに抑えることができる。

なお、システムコントローラ５０は、動作検出部５５が検出した操作者の動作に基づいて、カーソル移動以外にも種々の制御を行ってもよい。例えば、撮像装置２１を回転させたり、ズーム機能を働かせて撮影倍率を変更してもよい。

以上で上述した実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらに実施例に限定されるものではない。各実施例に係る医療支援システムは、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。

１００、２００・・・医療支援システム
１０・・・患者ベッド
１１、１２・・・天井照明
１３、１４・・・無影灯
１５、１６、１７・・・モニタ
１０ａ、１１ａ、１２ａ、１３ａ、１４ａ、１５ａ、１６ａ、１７ａ、３１ａ、３２ａ、３３ａ、３４ａ、３５ａ・・・アイコン
１５ｉｄ、１６ｉｄ、１７ｉｄ・・・識別情報
２１、２２・・・撮像装置
３０・・・ラック
３１・・・気腹装置
３２・・・光源装置
３３、３４・・・プロセッサ
３５・・・電気メス装置
３６・・・表示パネル
３７・・・操作パネル
３８・・・表示部
３９・・・センサ部
５０・・・システムコントローラ
５１・・・機器識別部
５２・・・記憶部
５３・・・表示制御部
５４・・・機器制御部
５５・・・動作検出部
５０ａ・・・ＣＰＵ
５０ｂ・・・ＲＡＭ
５０ｃ・・・ＲＯＭ
５０ｄ・・・入力Ｉ／Ｆ
５０ｅ・・・出力Ｉ／Ｆ
５０ｆ・・・ＨＤＤ
６０・・・メイン画面
６１・・・モニタボタン
６２・・・オペレーションボタン
６３、６５、６６、７１、７２、７３、７４・・・画面
６４・・・メインボタン
７０・・・ウィンドウ
８０・・・カーソル

Claims

複数の被制御機器を制御するシステムコントローラと、
前記複数の被制御機器が配置されている領域を撮影する撮像装置と、
前記撮像装置で撮影した画像を表示し、且つ、被制御機器の選択を受け付ける操作表示部と、を備え、
前記システムコントローラは、
前記撮像装置で撮影した前記複数の被制御機器が写っている画像から前記複数の被制御機器の各々に付されている識別情報を検出して、前記識別情報により前記複数の被制御機器の各々の像を識別する機器識別部と、
前記機器識別部による識別結果に基づいて、前記複数の被制御機器の各々を選択するためのアイコンを前記画像上の被制御機器の像と関連付けて前記操作表示部に表示させる表示制御部と、を備え、
前記機器識別部は、前記複数の被制御機器のうち前記機器識別部が前記識別情報を検出できない前記被制御機器が存在する場合には、当該被制御機器の外観的な特徴に基づいて当該被制御機器を特定し、特定した当該被制御機器の識別情報を操作者に選択させることで、当該被制御機器を識別する
ことを特徴とする医療支援システム。
請求項１に記載の医療支援システムにおいて、
前記システムコントローラは、前記操作表示部に表示されたアイコンを介して前記複数の被制御機器に含まれる画像信号出力機器とモニタとが選択されると、選択された画像信号出力機器から出力された画像信号に基づく画像を選択されたモニタに表示させる
ことを特徴とする医療支援システム。
請求項１に記載の医療支援システムにおいて、
前記表示制御部は、前記操作表示部に表示されたアイコンを介して被制御機器が選択されると、選択された被制御機器の設定画面を前記操作表示部に表示させる
ことを特徴とする医療支援システム。
請求項１乃至請求項３のいずれか１項に記載の医療支援システムにおいて、さらに、
被制御機器の選択を行う操作者を撮影する第２の撮像装置と、
前記第２の撮像装置で撮影した画像から前記操作者の動作を検出する動作検出部と、を備え、
前記表示制御部は、
前記動作検出部が検出した前記操作者の動作に基づいて前記操作表示部上に表示されるカーソルを移動させ、
前記カーソルが前記撮像装置で撮影した前記画像上の被制御機器の像に重なると、前記被制御機器の像に対応する被制御機器を選択するためのアイコンを前記被制御機器の像と関連付けて前記表示制御部に表示させる
ことを特徴とする医療支援システム。
請求項１乃至請求項３のいずれか１項に記載の医療支援システムにおいて、さらに、
被制御機器の選択を行う操作者を撮影する第２の撮像装置と、
前記第２の撮像装置で撮影した画像から前記操作者の動作を検出する動作検出部と、を備え、
前記表示制御部は、
前記動作検出部が検出した前記操作者の動作に基づいて前記操作表示部上に表示されるカーソルを移動させ、
前記カーソルが前記撮像装置で撮影した前記画像上の被制御機器を選択するためのアイコンに重なると、前記アイコンの状態を変化させる
ことを特徴とする医療支援システム。
複数の被制御機器を制御するシステムコントローラと、
前記複数の被制御機器が配置されている領域を撮影する撮像装置と、
前記撮像装置で撮影した画像を表示し、且つ、被制御機器の選択を受け付ける操作表示部と、を備え、
前記システムコントローラは、
前記撮像装置で撮影した前記複数の被制御機器が写っている画像内の前記複数の被制御機器の各々の像を識別する機器識別部と、
前記機器識別部による識別結果に基づいて、前記複数の被制御機器の各々を選択するためのアイコンを前記画像上の被制御機器の像と関連付けて前記操作表示部に表示させる表示制御部と、を備え、
前記システムコントローラは、前記操作表示部に表示されたアイコンを介して前記複数の被制御機器に含まれる画像信号出力機器とモニタとが選択されると、選択された画像信号出力機器から出力された画像信号に基づく画像を選択されたモニタに表示させる
ことを特徴とする医療支援システム。
請求項６に記載の医療支援システムにおいて、
前記機器識別部は、前記撮像装置で撮影した前記画像から前記複数の被制御機器の各々に付されている識別情報を検出して、前記識別情報により前記複数の被制御機器の各々の像を識別する
ことを特徴とする医療支援システム。