JP4727066B2 - 内視鏡システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は内視鏡システム、更に詳しくは音声により機器を操作する音声操作部分に特徴のある内視鏡システムに関する。
【０００２】
【従来の技術】
近年では内視鏡を用いた外科手術なども行われており、この内視鏡外科手術では、腹腔内を膨張させるために用いる気腹装置や手技を行うための処置装置である生体組織を切除、あるいは凝固する高周波焼灼装置などの手術機器、前述の装置に加えることによって、内視鏡で観察しながら各種処置が行える。
【０００３】
また、これら複数の各種機器を備えた内視鏡手術システムにおいて、複数の装置を容易に操作、制御することができ、システムの操作力性を向上させるため、術者が滅菌域で各種機器の設定状態を確認するための表示手段として液晶パネルなどの表示パネルや、術者が滅菌域で操作し各種機器の機能または設定値を変更するための遠隔操作手段としてリモコン（リモートコントローラ）などの遠隔操作装置、さらには術者の指示に従ってナース等の補助者が非滅菌域で操作し各種機器の機能または設定値を変更するための各機器の操作スイッチをタッチパネルに設けた集中操作パネル、各種機器を音声で操作するためのマイク等を備えている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の内視鏡手術システムにおいて音声にて各種機器を操作する場合、誤って操作コマンドを発声すると、その音声信号を操作コマンドと認識して機器の設定等を変更するため、使い勝手が悪いといった問題があった。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、各種操作コマンドの認識要求を告知することで、誤って発せられた操作コマンドによる機器の機能変更を確実に防止することのできる内視鏡システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明の内視鏡システムは、１つあるいは複数の電子機器を音声により制御可能な内視鏡システムにおいて、前記電子機器に対して所定の機能を実行させるための音声を入力する音声入力手段と、前記音声入力手段により入力した音声に基づき制御すべき機能を特定する機能特定手段と、前記機能特定手段により特定された機能の制御の実行の承認要求を告知する承認要求告知手段と、前記承認要求告知手段が承認要求を告知する特定された機能の制御を設定する承認機能設定手段と、を備えて構成される。
【０００７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【０００８】
図１ないし図８は本発明の第１の実施の形態に係わり、図１は内視鏡外科手術システムの全体構成を示す構成図、図２は図１の内視鏡外科手術システムの各機器の接続関係を示すブロック図、図３は図２の音声認識回路の構成を示すブロック図、図４は図２の集中操作パネルによるナビゲーションコマンドメモリの設定を説明する第１の図、図５は図２の集中操作パネルによるナビゲーションコマンドメモリの設定を説明する第２の図、図６は図２の集中操作パネルによるナビゲーションコマンドメモリの設定を説明する第３の図、図７は図２のシステムコントローラによる音声制御の流れを示す第１のフローチャート、図８は図２のシステムコントローラによる音声制御の流れを示す第２のフローチャートである。
【０００９】
図１に示すように、本実施の形態の内視鏡システムである内視鏡外科手術システム１は、患者３が横たわる手術台２の両側に第１のトロリー４及び第２のトロリー５とが配置され、これらの両トロリー４、５には観察、検査、処置、記録などを行う複数の内視鏡周辺機器が搭載されている。
【００１０】
第１のトロリー４には、第１のＴＶカメラ装置６、第１の光源装置７、高周波焼灼装置（以下、電気メス）８、気腹装置９、超音波観測装置１０、プリンタ１１、第１のモニタ１２、非滅菌域に配置されナースが医療機器の操作を集中して行う図示しないマウスとタッチパネル等のポインティングデバイスを有した集中操作パネル１４、システムコントローラ１５等が搭載され、それぞれの機器は、図示しないシリアルインターフェイスケーブルを介してシステムコントローラ１５と接続され、双方向通信を行えるようになっている。また、システムコントローラ１５には、マイク１８が接続できるようになっており、システムコントローラ１５はマイク１８から入力された音声を後述する音声認識回路４６（図２参照）により認識し、術者の音声により各機器を制御できるようになっている。
【００１１】
第１の光源装置７は照明光を伝送するライトガイドケーブル１６を介して第１の内視鏡１７に接続され、第１の光源装置７の照明光を第１の内視鏡１７のライトガイドに供給し、この第１の内視鏡１７の挿入部が刺入された患者３の腹部内の患部等を照明する。
【００１２】
この第１の内視鏡１７の接眼部には撮像素子を備えた第１のカメラヘッド１９が装着され、第１の内視鏡１７の観察光学系による患部等の光学像を第１のカメラヘッド１９内の撮像素子で撮像し、カメラケーブル２０を介して第１のＴＶカメラ装置６に伝送し、第１のＴＶカメラ装置６内の信号処理回路で信号処理して、映像信号を生成し、システムコントローラ１５を介して第１のモニタ１２に出力して患部等の内視鏡画像を表示できるようにしている。
【００１３】
システムコントローラ１５には、図示しないＭＯ等の外部媒体記録装置が内蔵されており、外部記録媒体（ＭＯ）に記録された画像を第１のモニタ１２に出力して表示できるようにしている。
【００１４】
また、システムコントコーラ１５には、図示しない病院内に設けられた院内ネットと図示しないケーブルで接続され、院内ネット上の画像データ等を第１のモニタ１２に出力して表示できるようにしている。
【００１５】
気腹装置９にはＣＯ2ボンベ２１が接続され、気腹装置９から患者３に延びた気腹チューブ２２を介して患者３の腹部内にＣＯ2ガスを供給できるようにしている。
【００１６】
第２のトロリー５には、第２のＴＶカメラ装置２３、第２の光源装置２４、超音波処置装置２５、ＶＴＲ２６ 第２のディスプレイ２７、砕石装置２８、ポンプ３９、シェーバ３０及び中継ユニット２９等が搭載され、それぞれの機器は図示しないケーブルで中継ユニット２９に接続され、双方向の通信が可能になっている。
【００１７】
第２の光源装置２４は照明光を伝送するライトガイドケーブル３１を介して第２の内視鏡３２に接続され、第２の光源装置２４の照明光を第２の内視鏡３２のライトガイドに供給し、この第２の内視鏡３２の挿入部が刺入された患者３の腹部内の患部等を照明する。
【００１８】
この第２の内視鏡３２の接眼部には撮像素子を備えた第２のカメラヘッド３３が装着され、第２の内視鏡３２の観察光学系による患部等の光学像を第２のカメラヘッド３３内の撮像素子で撮像し、カメラケーブル３４を介して第２のＴＶカメラ装置２３に伝送し、第２のＴＶカメラ装置２３内の信号処理回路で信号処理して、映像信号を生成し、第２のモニタ２７に出力して患部等の内視鏡画像を表示できるようにしている。
【００１９】
システムコントローラ１５と中継ユニット２９はシステムケーブル３５で接続されている。
【００２０】
さらに、システムコントローラ１５には術者が滅菌域から機器操作を行う術者用リモートコントローラ（以下、リモコンと記す）３６が接続されている。
【００２１】
図２に示すように、集中操作パネル１４、リモコン３６、第１のＴＶカメラ装置６、第１の光源装置７、電気メス８、気腹装置９、プリンタ１１及び超音波観測装置１０はそれぞれ通信ケーブル３８によりシステムコントローラ１５の通信Ｉ／Ｆ４１と接続され、データの送受を行うようになっており、また、第１のモニタ１２、第１のＴＶカメラ装置６、プリンタ１１及び超音波観測装置１０は映像ケーブル３９によりシステムコントローラ１５のディスプレイＩ／Ｆ４２に接続され映像信号を送受できるようになっている。
【００２２】
第２のＴＶカメラ装置２３、第２の光源装置２４、超音波処置装置２５、ＶＴＲ２６、砕石装置２８、シェーバ３０及びポンプ３７は、通信ケーブル３８により中継ユニット２９に接続され、データの送受を行うようになっており、また、第２のモニタ２７、第２のＴＶカメラ装置２３及びＶＴＲ２６は映像ケーブル３９により中継ユニット２９接続され映像信号を送受できるようになっている。
【００２３】
また、中継ユニット２９はケーブル３５（図１参照）によりシステムコントローラ１５と接続され、ケーブル３５内の通信ケーブル３８を介してシステムコントローラ１５の通信Ｉ／Ｆ４１に接続され、ケーブル３５内の映像ケーブル３を介してシステムコントローラ１５のディスプレイＩ／Ｆ４２に接続されている。
【００２４】
システムコントローラ１５は、上記通信Ｉ／Ｆ４１、ディスプレイＩ／Ｆ４２の他に、マイク１８からの音声信号を認識する音声認識回路４６と、リモコン３６とのデータの送受を行うリモコンＩ／Ｆ４４、音声を合成しスピーカ４８より音声を発せさせる音声合成回路４７、集中操作パネル１４とのデータの送受を行う集中操作パネルＩ／Ｆ４３とを備え、これら各回路がＣＰＵ４５により制御されている。また、システムコントローラ１５には外部記録媒体４５が接続可能となっており、ＣＰＵ４５より画像データを外部記録媒体（図示せず）に記録・再生できるようになっている。
【００２５】
音声認識回路４６は、図３に示すように、マイクからの音声信号をＡ／Ｄ変換するＡ／Ｄ変換器５１と、Ａ／Ｄ変換器５１でＡ／Ｄ変換された入力音声データを記憶する入力音声メモリ５２と、ＣＰＵ４５が入力音声メモリ５２に記憶された音声データが所定のコマンドデータであるかどうか比較するためのナビゲーションコマンドデータを格納しているナビゲーションコマンドメモリ５３とから構成される。
【００２６】
このナビゲーションコマンドメモリ５３には、リスクの高い機器（電気メス８等）の操作に関する（ナビゲーション）音声操作コマンドデータ（以下、フィードバック対象音声操作コマンド）と、リスクの低い機器（例えばプリンタ１１等）の操作に関する（ナビゲーション）音声操作コマンドデータ（以下、フィードバック非対象音声操作コマンド）と、操作の承認を行うための（ナビゲーション）操作承認コマンドデータが格納されており、ＣＰＵ４５は、入力音声メモリ５２に格納された音声データがリスクの高い機器の操作に関する（ナビゲーション）操作コマンドデータの場合、後述するように術者に対して音声により承認を求める操作承認コマンドデータに基づくフィードバック処理を行うようになっている。
【００２７】
予めナビゲーションコマンドメモリ５３では、フィードバック対象音声操作コマンドとして、例えば電気メス８に対する「切開出力アップ」というコマンドデータが登録され「切開出力アップ」という音声データが入力されると、ＣＰＵ４５はナビゲーションコマンドメモリ５３の（ナビゲーション）操作コマンドデータと照合することで音声操作コマンドと認識して切開出力をアップさせるのであるが、この「切開出力アップ」というコマンドデータはフィードバック対象音声操作コマンドなので、操作承認コマンドデータに基づくフィードバック処理を行い、承認されてから切開出力をアップさせる。
【００２８】
フィードバック非対象音声操作コマンドとしては、例えばプリンタ１１に対する「プリント開始」というコマンドデータが登録され、「プリント開始」という音声データが入力されると、「プリント開始」というコマンドデータはフィードバック非対象コマンドなので、ＣＰＵ４５はフィードバック処理を行わず、ナビゲーションコマンドメモリ５３の（ナビゲーション）操作コマンドデータと照合することでフィードバック非対象音声操作コマンドと認識して直ちにプリントを開始させる。
【００２９】
なお、ナビゲーションコマンドメモリ５３には予めフィードバック対象音声操作コマンド及びフィードバック非対象音声操作コマンドが機器に応じて格納されているとしたが、これに限らず、例えば集中操作パネル１４による設定操作によりフィードバック対象音声操作コマンド及びフィードバック非対象音声操作コマンドの機器を設定できるようにしてもよい。
【００３０】
すなわち、図４に示すように、集中操作パネル１４の設定画面では各機器の設定が可能となっており、例えば電気メス項目６１を選択することで、設定エリア６２に電気メス８に関する種々の設定が可能となっている。そこで、集中操作パネル１４の設定画面の音声操作項目６３を設け、音声操作項目６３を選択することで、図５に示すように、設定エリア６２で音声操作のフィードバック処理の対象機器を設定できるようにしてもよい。
【００３１】
図５は音声操作項目６３の選択時のデフォルト設定であって、設定エリア６２にはフィードバック処理の対象機器として気腹装置９，電気メス８，超音波処置装置２５が設定され、フィードバック処理の非対象機器としてＴＶカメラ６，光源装置７，ＶＴＲ２６，プリンタ１１が設定されているが、設定エリア６２を操作することで、例えば図６に示すように、ＶＴＲ２６をフィードバック処理の非対象機器からフィードバック処理の対象機器に変更可能とする。
【００３２】
これにより機器毎のコマンドをフィードバック対象音声操作コマンドあるいはフィードバック非対象音声操作コマンドに任意に設定が可能となる。
【００３３】
次にこのように構成された本実施の形態の作用について説明する。
【００３４】
システムコントローラ１５は、図７及び図８に示すように、ステップＳ１でマイク１８からの音声入力を待ち、音声入力がなされると、ステップＳ２で入力音声メモリ５２への（Ａ／Ｄ変換器５１で音声入力をＡ／Ｄ変換した）入力音声データの記憶を開始する。そして、ステップＳ３及びＳ４でマイク１８からの音声入力が一定時間無音状態が続いたと判断すると、音声入力が終了したとして、ステップＳ５で入力音声メモリ５２への入力音声データの記憶を終了する。
【００３５】
次に、システムコントローラ１５は、ステップＳ６でＣＰＵ４５により入力音声メモリ５２に記憶した入力音声データとナビゲーションコマンドメモリ５３に格納されているナビゲーションコマンドデータとを比較して音声認識処理を行い、ステップＳ７で入力された入力音声データがナビゲーションコマンドデータにより認識できる音声操作コマンド（フィードバック対象音声操作コマンドあるいはフィードバック非対象音声操作コマンド）かどうか判断し、入力音声データが音声操作コマンドならば、続いてステップＳ８で入力音声データがフィードバック対象音声操作コマンドかどうか判断する。
【００３６】
なお、ステップＳ７で入力音声データがナビゲーションコマンドデータにより認識できる音声操作コマンドでないならばステップＳ１に戻る。
【００３７】
ステップＳ８で入力音声データがフィードバック対象音声操作コマンドと判断されると、システムコントローラ１５は、ステップＳ９でフィードバック処理のための承認要求音声信号を音声合成回路４７にて合成させ、ステップＳ１０でスピーカ４８よりフィードバックメッセージを再生する。例えば入力音声データが電気メスに対する「切開出力アップ」というフィードバック対象音声操作コマンドの場合、フィードバックメッセージとして「切開出力をアップしてもよろしいですか？」という音声を再生する。
【００３８】
そして、フィードバックメッセージ再生後、ステップＳ１１及びＳ１２で一定時間、承認のために音声入力を待ち、一定時間に音声入力がない場合はステップＳ１に戻り、一定時間に音声入力があると、ステップＳ１３に進む。
【００３９】
そして、システムコントローラ１５は、ステップＳ１３でＣＰＵ４５により入力音声メモリ５２に記憶した入力音声データとナビゲーションコマンドメモリ５３に格納されているナビゲーションコマンドデータとを比較して音声認識処理を行い、ステップＳ１４で入力音声データが操作承認コマンドデータかどうか判断し、入力音声データが操作承認コマンドデータでない場合はステップＳ１１に戻り、入力音声データが操作承認コマンドデータの場合はステップＳ１５に進む。
【００４０】
ステップＳ１５では、入力音声データが「はい」という操作承認コマンドデータか「いいえ」という操作承認コマンドデータかを判断し、入力音声データが「いいえ」という操作承認コマンドデータの場合はステップＳ１に戻り、入力音声データが「はい」という操作承認コマンドデータの場合はステップＳ１６でフィードバック対象音声操作コマンドによる操作を対象機器に対して行う対象機能操作処理を実行し処理を終了する。
【００４１】
なお、上記ステップＳ８で入力音声データがフィードバック対象音声操作コマンドでないと判断された場合は、入力音声データがフィードバック非対象音声操作コマンドとなるので、ステップＳ１６に進み、フィードバック非対象音声操作コマンドによる操作を対象機器に対して行う対象機能操作処理を実行し処理を終了する。
【００４２】
このように本実施の形態では、少なくともリスクの高い医療機器に対しては機能の実行の承認要求を行うフィードバック処理を実行するので、誤って発せられた操作コマンドによる機器の機能変更を確実に防止することができる。
【００４３】
図９ないし図１１は本発明の第２の実施の形態に係わり、図９はシステムコントローラによる音声制御の流れを示す第１のフローチャート、図１０は図９に続く音声制御の流れを示す第２のフローチャート、図１１は図９及び図１１の処理により第１のモニタに表示されるフィードバック対象音声操作コマンドを示す図である。
【００４４】
第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００４５】
図９及び図１０に示すように、本実施の形態ではシステムコントローラ１５は、第１の実施の形態のステップＳ１〜Ｓ１６の処理に続き、ステップＳ２１で第１のモニタ１２に音声操作コマンドに関する情報を表示するための情報データを生成する表示処理を実行し、ステップＳ２２で第１のモニタ１２に図１１に示すように、内視鏡画像１０１と共に、音声操作コマンドの内容を示すコマンド情報１０２及びステップＳ１６の対象機能操作処理の実行による実行結果を示す実行結果情報１０３を表示して処理を終了する。
【００４６】
図１１では例えば入力音声データが電気メスに対する「切開出力アップ」というフィードバック対象音声操作コマンドの場合の表示例を示している。
【００４７】
なお、上記ステップＳ８で入力音声データがフィードバック対象音声操作コマンドでないと判断された場合は、入力音声データがフィードバック非対象音声操作コマンドとなるので、ステップＳ１６に進み、ステップＳ１６，Ｓ２１，Ｓ２２を実行し処理を終了する。
【００４８】
図１２ないし図１４は本発明の第３の実施の形態に係わり、図１２はシステムコントローラによる音声制御の流れを示す第１のフローチャート、図１３は図１２に続く音声制御の流れを示す第２のフローチャート、図１４は図１２及び図１３の処理により第１のモニタに表示される設定確認コマンドを示す図である。
【００４９】
第３の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００５０】
本実施の形態においては、音声認識回路４６のナビゲーションコマンドメモリ５３において、（ナビゲーション）音声操作コマンドデータ（フィードバック対象音声操作コマンド及びフィードバック非対象音声操作コマンド）、（ナビゲーション）操作承認コマンドデータの他に、（ナビゲーション）設定確認コマンドデータを格納する。
【００５１】
そして、図１２及び図１３に示すように、本実施の形態ではシステムコントローラ１５は、前述したステップＳ１〜Ｓ６の処理を行った後、ステップＳ７で入力音声データがフィードバック対象音声操作コマンドあるいはフィードバック非対象音声操作コマンドでないと判断すると、ステップＳ１に戻るのではなく、ステップＳ３１に進み、ステップＳ３１で入力音声データが設定確認コマンドデータかどうか判断する。
【００５２】
なお、ステップＳ７で入力音声データがフィードバック対象音声操作コマンドあるいはフィードバック非対象音声操作コマンドと判断すると、図示はしないが、第２の実施の形態で説明したステップＳ８〜Ｓ１６，Ｓ２１，Ｓ２２を実行し処理を終了する。（図９及び図１０参照）。
【００５３】
ステップＳ３１において、入力音声データが設定確認コマンドデータでないと判断すると、ステップＳ１に戻り、入力音声データが設定確認コマンドデータと判断すると、ステップＳ３２で対象機器の設定状態を読み出す対象機能設定読み出し処理を実行し、ステップＳ３３で第１のモニタ１２に対象機器の設定状態に関する情報を表示するための情報データを生成する表示処理を実行し、ステップＳ３４で第１のモニタ１２に図１４に示すように、内視鏡画像１０１と共に、設定確認コマンドの内容を示すコマンド情報１０４及びステップＳ１６の対象機能設定読み出し処理の実行による設定状態を示す設定状態情報１０５を表示してステップＳ３５に進む。
【００５４】
図１４では例えば入力音声データが電気メスに対する「電気メス設定」という設定設定確認コマンドデータの場合の表示例を示している。
【００５５】
ステップＳ３５では、上記のコマンド情報１０４及び設定状態情報１０５に対応した音声信号を音声合成回路４７にて合成させ、ステップＳ３６でスピーカ４８より対象機能の設定を音声再生し処理を終了する。
【００５６】
図１５ないし図２１は本発明の第４の実施の形態に係わり、図１５は音声認識回路の構成を示すブロック図、図１６は図１５の音声認識回路を備えたシステムコントローラによる音声制御の流れを示す第１のフローチャート、図１７は図１５の音声認識回路を備えたシステムコントローラによる音声制御の流れを示す第２のフローチャート、図１８は図１５の音声認識回路を備えたシステムコントローラによる音声制御の流れを示す第３のフローチャート、図１９は図１６ないし図１８の処理により第１のモニタに表示される表示例を示す第１の図、図２０は図１６ないし図１８の処理により第１のモニタに表示される表示例を示す第２の図、図２１は図１６ないし図１８の処理によりプリンタでプリントされる出力例を示す図である。
【００５７】
第４の実施の形態は、第２の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００５８】
図１５に示すように、本実施の形態の音声認識回路４６は、自動口述筆記に用いられる文字列認識処理を行うディクテーションコマンドメモリ１１０を設け、ナビゲーションコマンドメモリ５３においては、（ナビゲーション）音声操作コマンドデータ（フィードバック対象音声操作コマンド及びフィードバック非対象音声操作コマンド）、（ナビゲーション）操作承認コマンドデータの他に、ディクテーションコマンド操作コマンドデータを格納させて構成される。
【００５９】
そして、図１６ないし図１８に示すように、本実施の形態ではシステムコントローラ１５は、前述したステップＳ１〜Ｓ６の処理を行った後、ステップＳ７で入力された入力音声データがナビゲーションコマンドデータにより認識できる音声操作コマンド（フィードバック対象音声操作コマンドあるいはフィードバック非対象音声操作コマンドあるいはディクテーションコマンド操作コマンド）かどうか判断し、認識できる音声操作コマンドでないならば、ステップＳ１に戻り、認識できる音声操作コマンドならば、ステップＳ４１で入力音声データがディクテーションコマンド操作コマンドかどうか判断する。
【００６０】
ステップＳ４１において、入力音声データがディクテーションコマンド操作コマンドでないならば、ステップＳ４２で第２の実施の形態で説明したステップＳ８〜Ｓ１６，Ｓ２１，Ｓ２２を実行し処理を終了し（図９及び図１０参照）、入力音声データがディクテーションコマンド操作コマンドならばステップＳ４３に進む。
【００６１】
以下、ステップＳ１での入力音声データがプリンタにコメントを出力するコマンドである例えば「プリンタコメント入力」というディクテーションコマンド操作コマンドの場合を例に説明する。
【００６２】
ステップＳ１〜Ｓ７の処理を行った後、ステップＳ４１において、入力音声データがプリンタにコメントを出力するコマンドである例えば「プリンタコメント入力」というディクテーションコマンド操作コマンドと判断すると、ステップＳ４３ではプリンタに出力するコメント要求のための第１のモニタ１２に表示するためコメント要求情報を生成する表示処理を実行し、ステップＳ４４で第１のモニタ１２に図１９に示すように、内視鏡画像１０１と共に、ディクテーションコマンド操作コマンドの内容を示すコマンド情報１０７及びステップＳ４３の表示処理の実行によるコメント要求エリア１０８を表示して、ステップＳ４５でコメント要求音声信号を音声合成回路４７にて合成させスピーカ４８よりコメント要求メッセージを再生する。
【００６３】
次に、ステップＳ４６でマイク１８からの音声入力を待ち、音声入力がなされると、ステップＳ４７で入力音声メモリ５２への（Ａ／Ｄ変換器５１で音声入力をＡ／Ｄ変換した）入力音声データ（コメント）の記憶を開始する。そして、ステップＳ４８及びＳ４９でマイク１８からの音声入力が一定時間無音状態が続いたと判断すると、音声入力が終了したとして、ステップＳ５０で入力音声メモリ５２への入力音声データ（コメント）の記憶を終了する。
【００６４】
そして、ステップＳ５１で入力音声データ（コメント）とディクテーションコマンドメモリ１１０内の音声情報とを比較しコメントの文字列を認識し、ステップＳ５２で第１のモニタ１２に表示するため認識したコメントの文字情報を生成する認識結果表示処理を実行し、ステップＳ５３で第１のモニタ１２に図２０に示すように、内視鏡画像１０１と共に、ディクテーションコマンド操作コマンドの内容を示すコマンド情報１０７及びステップＳ５２の認識結果表示処理の実行によるコメントの文字情報１２０をコメント要求エリア１０８に表示して、ステップＳ５４で認識したコメントの文字列の承認のための承認要求情報１２１を第１のモニタ１２に表示し、さらにステップＳ５５でコメントの文字列の承認のための承認要求音声信号を音声合成回路４７にて合成させスピーカ４８より承認要求メッセージを再生する。
【００６５】
そして、承認要求メッセージの再生後、ステップＳ５６でマイク１８からの音声入力を待ち、音声入力がなされると、ステップＳ５７で入力音声メモリ５２への（Ａ／Ｄ変換器５１で音声入力をＡ／Ｄ変換した）入力音声データの記憶を開始する。そして、ステップＳ５８及びＳ５９でマイク１８からの音声入力が一定時間無音状態が続いたと判断すると、音声入力が終了したとして、ステップＳ６０で入力音声メモリ５２への入力音声データの記憶を終了する。
【００６６】
そして、システムコントローラ１５は、ステップＳ６１でＣＰＵ４５により入力音声メモリ５２に記憶した入力音声データとナビゲーションコマンドメモリ５３に格納されているナビゲーションコマンドデータとを比較して音声認識処理を行い、ステップＳ６２で入力音声データが操作承認コマンドデータかどうか判断し、入力音声データが操作承認コマンドデータでない場合はステップＳ５３に戻り、入力音声データが操作承認コマンドデータの場合はステップＳ６３に進む。
【００６７】
ステップＳ６３では、入力音声データが「はい」という操作承認コマンドデータか「いいえ」という操作承認コマンドデータかを判断し、入力音声データが「いいえ」という操作承認コマンドデータの場合はステップＳ４３に戻り、入力音声データが「はい」という操作承認コマンドデータの場合はステップＳ６４で対象機器であるプリンタ１１により図２１に示すようにプリント用紙１３０に内視鏡画像１３１と共に認識したコメント１３２をプリントさせる等の対象機能操作処理を実行し処理を終了する。
【００６８】
【発明の効果】
以上説明したように本発明によれば、各種操作コマンドの認識要求を告知することで、誤って発せられた操作コマンドによる機器の機能変更を確実に防止することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る内視鏡外科手術システムの全体構成を示す構成図
【図２】図１の内視鏡外科手術システムの各機器の接続関係を示すブロック図
【図３】図２の音声認識回路の構成を示すブロック図
【図４】図２の集中操作パネルによるナビゲーションコマンドメモリの設定を説明する第１の図
【図５】図２の集中操作パネルによるナビゲーションコマンドメモリの設定を説明する第２の図
【図６】図２の集中操作パネルによるナビゲーションコマンドメモリの設定を説明する第２の図
【図７】図２のシステムコントローラによる音声制御の流れを示す第１のフローチャート
【図８】図２のシステムコントローラによる音声制御の流れを示す第２のフローチャート
【図９】本発明の第２の実施の形態に係るシステムコントローラによる音声制御の流れを示す第１のフローチャート
【図１０】図９に続く音声制御の流れを示す第２のフローチャート
【図１１】図９及び図１０の処理により第１のモニタに表示されるフィードバック対象音声操作コマンドを示す図
【図１２】本発明の第３の実施の形態に係るシステムコントローラによる音声制御の流れを示す第１のフローチャート
【図１３】図１２に続く音声制御の流れを示す第２のフローチャート
【図１４】図１２及び図１３の処理により第１のモニタに表示される設定確認コマンドを示す図
【図１５】本発明の第４の実施の形態に係る音声認識回路の構成を示すブロック図
【図１６】図１５の音声認識回路を備えたシステムコントローラによる音声制御の流れを示す第１のフローチャート
【図１７】図１５の音声認識回路を備えたシステムコントローラによる音声制御の流れを示す第２のフローチャート
【図１８】図１５の音声認識回路を備えたシステムコントローラによる音声制御の流れを示す第３のフローチャート
【図１９】図１６ないし図１８の処理により第１のモニタに表示される表示例を示す第１の図
【図２０】図１６ないし図１８の処理により第１のモニタに表示される表示例を示す第２の図
【図２１】図１６ないし図１８の処理によりプリンタでプリントされる出力例を示す図
【符号の説明】
１…内視鏡外科手術システム
４…第１のトロリー
５…第２のトロリー
６…第１のＴＶカメラ装置
７…第１の光源装置
８…電気メス
９…気腹装置
１０…超音波観測装置
１１…プリンタ
１２…第１のモニタ
１４…集中操作パネル
１５…システムコントローラ
１６、３１…ライトガイドケーブル
１７…第１の内視鏡
１８…マイク
１９…第１のカメラヘッド
２０…カメラケーブル
２１…ＣＯ2ボンベ
２３…第２のＴＶカメラ装置
２４…第２の光源装置
２５…超音波処置装置
２６…ＶＴＲ
２７…第２のモニタ
２８…砕石装置
２９…中継ユニット
３０…シェーバ
３２…第２の内視鏡
３３…第２のカメラヘッド
３６…リモコン
３７…ポンプ
３８…通信ケーブル
３９…映像ケーブル
４１…通信Ｉ／Ｆ
４２…ディスプレイＩ／Ｆ
４３…集中操作パネルＩ／Ｆ
４４…リモコンＩ／Ｆ
４５…ＣＰＵ
４６…音声認識回路
４７…音声合成回路
４８…スピーカ
５１…Ａ／Ｄ変換器
５２…入力音声メモリ
５３…ナビゲーションコマンドメモリ
代理人 弁理士 伊藤 進

Claims (1)

1. １つあるいは複数の電子機器を音声により制御可能な内視鏡システムにおいて、
   前記電子機器に対して所定の機能を実行させるための音声を入力する音声入力手段と、
   前記音声入力手段により入力した音声に基づき制御すべき機能を特定する機能特定手段と、
   前記機能特定手段により特定された機能の制御の実行の承認要求を告知する承認要求告知手段と、
   前記承認要求告知手段が承認要求を告知する特定された機能の制御を設定する承認機能設定手段と、
   を備えたことを特徴とする内視鏡システム。

Images