WO2017187676A1 - 制御装置、制御方法、プログラム及び音出力システム - Google Patents

Abstract

術中における手術参加者同士の音声コミュニケーションをより確実にすることが可能な技術が提供されることが望まれる。　手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、制御装置が提供される。

Description

制御装置、制御方法、プログラム及び音出力システム

　本開示は、制御装置、制御方法、プログラム及び音出力システムに関する。

　近年、手術を円滑化する技術として様々な技術が開示されている。例えば、複数の術式それぞれに対して器材をあらかじめ関連付けておき、複数の術式を術式の候補として表示し、ユーザによって術式の候補から術式が選択されると、選択された術式に関連付けられた器材をユーザに提示する技術が開示されている（例えば、特許文献１参照。）。かかる技術によれば、ユーザは選択した術式に利用される器材を把握することが可能である。

特開平１１－８５８７６号公報

　術中においては、手術参加者同士で音声によるコミュニケーションが行われるのが一般的である。しかし、音声によるコミュニケーションを妨げる要因が存在し得る。そこで、術中における手術参加者同士の音声コミュニケーションをより確実にすることが可能な技術が提供されることが望まれる。

　本開示によれば、手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、制御装置が提供される。

　本開示によれば、プロセッサにより、手術に関連する情報に基づいて音出力装置による音出力を制御することを含む、制御方法が提供される。

　本開示によれば、コンピュータを、手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、制御装置として機能させるためのプログラムが提供される。

　本開示によれば、音出力を行う音出力装置と、手術に関連する情報に基づいて前記音出力装置による音出力を制御する音出力制御部を備える、制御装置と、を有する、音出力システムが提供される。

　以上説明したように本開示によれば、術中における手術参加者同士の音声コミュニケーションをより確実にすることが可能な技術が提供されることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 本開示の第１の実施形態に係る音出力制御部の構成例を示す図である。 手術室の様子を上方から観た図である。 術式および手術室を示す情報と音源配置情報とが関連付けられた関連付けデータベースの構成例を示す図である。 音源配置情報の構成例を示す図である。 マイクロフォン配置データベースの構成例を示す図である。 音出力装置データベースの構成例を示す図である。 本開示の第１の実施形態に係る音出力制御部の動作例を示すフローチャートである。 本開示の第２の実施形態に係る音出力制御部及び表示制御部の構成例を示す図である。 音声認識結果の表示例を示す図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

　なお、説明は以下の順序で行うものとする。
　０．システム構成例
　１．第１の実施形態
　　１．１．機能構成例
　　１．２．動作例
　　１．３．変形例
　２．第２の実施形態
　　２．１．機能構成例
　　２．２．変形例
　３．むすび

　＜０．システム構成例＞
　まず、本開示の実施形態に係る手術室システムの構成例について説明する。

　図１は、本開示の実施形態に係る手術室システム３０００の全体構成を概略的に示す図である。図１を参照すると、手術室システム３０００は、手術室内に設置される装置群が視聴覚コントローラ（AV　Controller）３００７及び手術室制御装置（単に、「制御装置」とも言う。）３００９を介して互いに連携可能に接続されることにより構成される。

　手術室には、様々な装置が設置され得る。図１では、一例として、内視鏡下手術のための各種の装置群３００１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ３７０１と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ３７０３と、複数の表示装置３００３Ａ～３００３Ｄと、レコーダ３００５と、患者ベッド３５０３と、照明３７０５と、マイクロフォンアレイ（集音部）３７０９と、イヤホン３７１１と、指向性スピーカ３７１３と、を図示している。

　ここで、これらの装置のうち、装置群３００１は、後述する内視鏡手術システムに属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システムに属する各装置は医療用機器とも呼称される。一方、表示装置３００３Ａ～３００３Ｄ、レコーダ３００５、患者ベッド３５０３、照明３７０５、マイクロフォンアレイ（集音部）３７０９、イヤホン３７１１及び指向性スピーカ３７１３は、内視鏡手術システムとは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システムに属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ３００７及び／又は手術室制御装置３００９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

　視聴覚コントローラ３００７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム３０００が備える装置のうち、装置群３００１、シーリングカメラ３７０１及び術場カメラ３７０３は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置３００３Ａ～３００３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ３００５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ３００７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式、手術室を示す情報、術者を示す情報、手術参加者を示す情報等）等である。

　具体的には、視聴覚コントローラ３００７には、装置群３００１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ３７０１から、表示情報として、当該シーリングカメラ３７０１によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ３７０３から、表示情報として、当該術場カメラ３７０３によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム３０００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ３００７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

　あるいは、例えば、レコーダ３００５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ３００７によって記録されている。視聴覚コントローラ３００７は、表示情報として、レコーダ３００５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ３００５には、手術に関する各種の情報も事前に記録されていてもよい。

　視聴覚コントローラ３００７は、出力先の装置である表示装置３００３Ａ～３００３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置３００３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置３００３Ｂは手術室の壁面に設置される表示装置であり、表示装置３００３Ｃは手術室内の机上に設置される表示装置であり、表示装置３００３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal　Computer））である。

　また、図１では図示を省略しているが、手術室システム３０００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ３００７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

　手術室制御装置３００９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置３００９は、患者ベッド３５０３、シーリングカメラ３７０１、術場カメラ３７０３、照明３７０５、マイクロフォンアレイ（集音部）３７０９、イヤホン３７１１及び指向性スピーカ３７１３の駆動を制御する。

　手術室システム３０００には、集中操作パネル３０１１が設けられており、ユーザは、当該集中操作パネル３０１１を介して、視聴覚コントローラ３００７に対して画像表示についての指示を与えたり、手術室制御装置３００９に対して非医療機器の動作についての指示を与えたりすることができる。集中操作パネル３０１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

　図２は、集中操作パネル３０１１における操作画面の表示例を示す図である。図２では、一例として、手術室システム３０００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図２を参照すると、操作画面３８００には、発信元選択領域３８１０と、プレビュー領域３８２０と、コントロール領域３８３０と、が設けられる。

　発信元選択領域３８１０には、手術室システム３０００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域３８１０に表示されているいずれかの発信元装置から選択することができる。

　プレビュー領域３８２０には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域３８１０において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域３８２１が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

　コントロール領域３８３０には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical　User　Interface）部品が表示される発信元操作領域３８３１と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域３８３３と、が設けられる。図示する例では、発信元操作領域３８３１には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域３８１０において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域３８２０において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域３８３１には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

　また、出力先操作領域３８３３には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

　なお、集中操作パネル３０１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル３０１１を介して、手術室システム３０００に備えられる、視聴覚コントローラ３００７及び手術室制御装置３００９によって制御され得る各装置に対する操作入力が可能であってよい。

　以上、本開示の実施形態に係る手術室システム３０００の構成例について説明した。ここで、術中においては、手術参加者同士で音声によるコミュニケーションが行われるのが一般的である。しかし、音声によるコミュニケーションを妨げる要因が存在し得る。例えば、手術参加者がマスクをしている場合などには、マスクが音声によるコミュニケーションを妨げる要因になり得る。また、手術に利用されるデバイスが発するノイズは、音声によるコミュニケーションを妨げる要因になり得る。

　また、手術参加者に取り付けられたマイクロフォンによって集音された音声を出力することも想定される。しかし、手術参加者（例えば、術者、助手など）は清潔に保たれている必要があり、掃除が困難なマイクロフォンを清潔に保たなければならないため、手術参加者に取り付けられたマイクロフォンによって集音された音声を出力するのは現実的ではない。そこで、術中における手術参加者同士の音声コミュニケーションをより確実にすることが可能な技術が提供されることが望まれる。なお、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。

　＜１．第１の実施形態＞
　続いて、本開示の第１の実施形態について説明する。

　［１．１．機能構成例］
　まず、本開示の第１の実施形態に係る音出力制御部１００Ａの構成例について説明する。図３は、本開示の第１の実施形態に係る音出力制御部１００Ａの構成例を示す図である。音出力制御部１００Ａは、上記した手術室制御装置３００９に備えられてもよいし、手術室制御装置３００９とは異なる制御装置に備えられてもよい。図３に示したように、本開示の第１の実施形態に係る音出力制御部１００Ａは、音源位置決定部１１０、音源分離部１２０及び音源混合部１３０を備える。

　なお、本開示の第１の実施形態において、音出力制御部１００Ａの機能は、記憶装置（例えば、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイスなど）から読み取られたプログラムが演算装置によって実行されることによって実現される場合を想定するが、音出力制御部１００Ａの機能は、専用のハードウェア（専用の電子回路）によって実現されてもよい。

　音出力制御部１００Ａは、手術に関連する情報に基づいて音出力装置による音出力を制御する。かかる構成によれば、術中における手術参加者同士の音声コミュニケーションをより確実にすることが可能となる。以下では、音出力装置として、イヤホン３７１１及び指向性スピーカ３７１３を例に挙げながら説明するが、音出力装置の形態はこれらに限定されない。手術に関連する情報としても様々な情報が想定されるが、まず、手術に関する情報が手術室における音源位置情報を含む場合について説明する。また、音出力制御部１００Ａがマイクロフォン（集音部）３７０９によって集音された音情報に基づく音出力を制御する場合を想定する。

　図４は、手術室Ｒ１の様子を上方から観た図である。図４に示したように、手術室Ｒ１には、患者ベッド３５０３が存在しており、患者ベッド３０５の上には患者３５０５が横たわっている。また、手術室Ｒ１には、手術参加者の例として、術者３５０１、麻酔科医３５０２、助手３５０６、外回り看護師３５０９、器械出し看護師３５０８及びスコピスト３５０７が存在する。これらの手術参加者は、術中に音を発する可能性がある（音源となり得る）。なお、手術参加者はこれらに限定されない。

　また、手術室Ｒ１には、デバイスの例として、内視鏡ラック３４００、麻酔システム３６０２及びエネルギーデバイス３６０４が存在する。これらのデバイスも、術中に音を発する可能性がある（音源となり得る）。なお、デバイスはこれらに限定されない。その他、手術室Ｒ１には、マイクロフォンＭ１～Ｍ６が存在している。マイクロフォンＭ１～Ｍ６は、マイクロフォンアレイ（集音部）３７０９を構成し得る。マイクロフォンの数は特に限定されない。

　また、外回り看護師３５０９は術中に動き回ることが想定されるが、外回り看護師３５０９の動きに合わせて指向性スピーカ３７１３を制御するのは困難である。そのため、外回り看護師３５０９への音出力は、外回り看護師３５０９によって装着されたイヤホン３７１１からなされる。すなわち、音出力制御部１００Ａは、外回り看護師３５０９に関連付けられたイヤホン（音出力装置）３７１１による音出力を制御する。

　一方、他の手術参加者は術中にさほど動かないことが想定されるため、当該他の手術参加者への音出力は、指向性スピーカ３７１３の指向性を利用してなされる。すなわち、音出力制御部１００Ａは、当該他の手術参加者の位置に応じた音出力を制御する（請求項６）。より具体的には、音出力制御部１００Ａは、当該他の手術参加者の位置へ向けて音が出力されるように指向性スピーカ（音出力装置）３７１３による音出力を制御する。しかしながら、どの手術参加者にイヤホン３７１１を装着させるかは限定されない。

　また、手術室Ｒ１には、上記した集中操作パネル３０１１が存在し、表示装置３４０３が存在する。表示装置３４０３には、内視鏡によって撮影された患者３５０５の体腔内の術部の画像が表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、各種の器械を用いて患者３５０５に対する手術を行う。また、手術室Ｒ１には、器械台３６０６が存在する。器械台３６０６には各種の器械が載置されており、器械出し看護師３５０８は、器械台３６０６から各種の器械を取り出して、術者３５０１などに手渡す作業を行う。

　図３に戻って説明を続ける。音出力制御部１００Ａは、音源位置決定部１１０により、所定のデータに基づいて音源位置情報を決定する。音源位置情報の決定はどのようになされてもよい。例えば、音源位置は、術式、手術室及び手術参加者（例えば、術者）のうち少なくともいずれか一つに応じて決まる可能性がある。そこで、音出力制御部１００Ａは、音源位置決定部１１０により、術式、手術室及び手術参加者のうち少なくともいずれか一つに基づいて音源位置情報を決定する。以下、術式および手術室に基づいて音源位置情報を決定する例を説明する。

　まず、音出力制御部１００Ａは、音源位置決定部１１０により、術式および手術室を示す情報を取得する。術式および手術室を示す情報はどのようにして取得されてもよい。例えば、術式および手術室を示す情報がレコーダ３００５に記録されている場合には、術式および手術室を示す情報は、レコーダ３００５から取得されてもよい。あるいは、術式および手術室を示す情報は、集中操作パネル３０１１を介して入力されてもよい。音出力制御部１００Ａは、音源位置決定部１１０により、取得した術式および手術室を示す情報に基づいて音源位置情報を決定する。

　図５は、術式および手術室を示す情報と音源配置情報とが関連付けられた関連付けデータベースＤ１０の構成例を示す図である。例えば、関連付けデータベースＤ１０には、術式Ｔ１および手術室Ｒ１と音源配置情報Ｎ１とが関連付けられたデータが含まれている。関連付けデータベースＤ１０の内容は、関連付けデータベースＤ１０が利用される病院にフィットするように適宜に更新されてよい。なお、関連付けデータベースＤ１０はどこに記録されていてもよい。例えば、関連付けデータベースＤ１０は、レコーダ３００５に記録されていてもよい。

　図６は、音源配置情報Ｎ１の構成例を示す図である。図６に示すように、音源配置情報Ｎ１は、音源名（音源識別情報）と音源位置情報との組み合わせを複数含んでいる。なお、図６には、一例として音源位置情報が二次元座標によって表現されているが、音源位置情報の表現形式は限定されず、三次元座標によって表現されてもよい。また、音源配置情報Ｎ１はどこに記録されていてもよい。例えば、音源配置情報Ｎ１は、レコーダ３００５に記録されていてもよい。

　例えば、音出力制御部１００Ａは、音源位置決定部１１０により、取得した術式および手術室を示す情報の組み合わせに一致する組み合わせに関連付けられた音源配置情報を関連付けデータベースＤ１０から取得する。ここでは、術式Ｔ１および手術室Ｒ１の組み合わせに一致する組み合わせに関連付けられた音源配置情報Ｎ１が関連付けデータベースＤ１０から取得される場合を想定する。例えば、音源配置情報Ｎ１には、音源「術者」の音源位置情報（Ｘ１１，Ｙ１１）が含まれている。

　なお、このようにして得られた音源位置情報は、実際の音源位置を正しく表していないこともあり得る。したがって、音源位置情報は、所定の手術参加者によって確認可能にされてもよい。例えば、音源位置情報は、集中操作パネル３０１１に表示され、表示された音源位置情報が実際の音源位置を正しく表現していることが確認された場合、所定の手術参加者によって音源位置情報が正しい旨が入力されてもよい。そして、音源位置情報が正しい旨が入力されてから、続く動作が実行されてもよい。

　図７は、マイクロフォン配置データベースＤ２０の構成例を示す図である。図７に示すように、マイクロフォン配置データベースＤ２０には、マイクロフォンＩＤとマイクロフォン位置とが関連付けられたデータが含まれている。なお、図７には、一例としてマイクロフォン位置が二次元座標によって表現されているが、マイクロフォン位置の表現形式は限定されず、三次元座標によって表現されてもよい。また、マイクロフォン配置データベースＤ２０はどこに記録されていてもよい。例えば、マイクロフォン配置データベースＤ２０は、レコーダ３００５に記録されていてもよい。

　図８は、音出力装置データベースＰ１の構成例を示す図である。図８に示すように、音出力装置データベースＰ１には、手術参加者と音出力装置とが関連付けられたデータが含まれている。例えば、手術参加者「外回り看護師」には音出力装置「イヤホン」が関連付けられている。なお、音出力装置データベースＰ１はどこに記録されていてもよい。例えば、音出力装置データベースＰ１は、レコーダ３００５に記録されていてもよい。

　図３に戻って説明を続ける。音出力制御部１００Ａは、音源分離部１２０により、マイクロフォンＭ１～Ｍ６の位置（Ｘ２１，Ｙ２１）～（Ｘ２６，Ｙ２６）と音源位置情報（Ｘ１１，Ｙ１１）～（Ｘ１９，Ｙ１９）とに基づいて、マイクロフォンＭ１～Ｍ６によって集音された音情報に対する音源分離を行う。音源分離の結果として、音源ごとに分離された音情報が得られる。

　音源分離には、手術参加者の属性（例えば、性別および年齢など）がさらに考慮されてもよい。すなわち、音源分離には、手術参加者の属性に対応する音声周波数がさらに考慮されてもよい。そうすれば、音源分離の精度が向上されることが期待される。そして、音出力制御部１００Ａは、音源混合部１３０により、音源分離の結果に基づいて、音出力を制御する。

　例えば、音出力制御部１００Ａは、音源混合部１３０により、音源分離の結果に基づいて、マイクロフォンＭ１～Ｍ６によって集音された音情報からノイズを低減し、ノイズ低減後の音情報に基づいて音出力を制御する。例えば、デバイス（内視鏡ラック３４００、麻酔システム３６０２及びエネルギーデバイス３６０４）は、ノイズを発する可能性がある。そこで、音出力制御部１００Ａは、音源混合部１３０により、手術参加者（術者３５０１、麻酔科医３５０２、助手３５０６、外回り看護師３５０９、器械出し看護師３５０８及びスコピスト３５０７）からの音情報を混合することによってノイズを低減し、ノイズ低減後の音情報に基づいて音出力を制御する。

　なお、上記したように、音出力制御部１００Ａは、音源混合部１３０により、外回り看護師３５０９に関連付けられたイヤホン（音出力装置）３７１１による音出力を制御する。また、音出力制御部１００Ａは、音源混合部１３０により、他の手術参加者の位置に応じた音出力を制御する。より具体的には、音出力制御部１００Ａは、当該他の手術参加者の位置へ向けて音が出力されるように指向性スピーカ３７１３による音出力を制御する。

　［１．２．動作例］
　以上、図１～図８を参照しながら、本開示の第１の実施形態に係る音出力制御部１００Ａの構成例について説明した。続いて、本開示の第１の実施形態に係る音出力制御部１００Ａの動作例について説明する。

　図９は、本開示の第１の実施形態に係る音出力制御部１００Ａの動作例を示すフローチャートである。図９に示すように、まず、音出力制御部１００Ａは、音源位置決定部１１０により、術式および手術室を示す情報を取得する（Ｓ１１）。そして、音源位置決定部１１０は、取得した術式および手術室を示す情報に基づいて音源位置情報を決定する（Ｓ１２）。決定された音源位置情報は、集中操作パネル３０１１に表示される。

　続いて、表示された音源位置情報が実際の音源位置を正しく表現していることが確認されない場合（Ｓ１３において「ＮＯ」）、Ｓ１１に動作が移行される。一方、表示された音源位置情報が実際の音源位置を正しく表現していることが確認された場合（Ｓ１３において「ＹＥＳ」）、音出力制御部１００Ａは、音源分離部１２０により、マイクロフォンＭ１～Ｍ６によって集音された音情報を取得する（Ｓ１４）。

　続いて、音出力制御部１００Ａは、音源分離部１２０により、マイクロフォンＭ１～Ｍ６の位置（Ｘ２１，Ｙ２１）～（Ｘ２６，Ｙ２６）と音源位置情報（Ｘ１１，Ｙ１１）～（Ｘ１９，Ｙ１９）とに基づいて、マイクロフォンＭ１～Ｍ６によって集音された音情報に対する音源分離を行う（Ｓ１５）。続いて、音出力制御部１００Ａは、音源混合部１３０により、音源分離の結果に基づいて、マイクロフォンＭ１～Ｍ６によって集音された音情報からノイズを低減し、ノイズ低減後の音情報に基づいて音出力を制御する。これにより、ノイズが低減された音場が形成される（Ｓ１６）。

　続いて、音出力制御部１００Ａは、術式および手術室を示す情報の変更がある場合には（Ｓ１７において「ＮＯ」）、動作をＳ１１に移行させる。一方、音出力制御部１００Ａは、術式および手術室を示す情報の変更がない場合には（Ｓ１７において「ＹＥＳ」）、Ｓ１８に動作を移行させる。音出力制御部１００Ａは、手術が終了していない場合には（Ｓ１８において「ＮＯ」）、Ｓ１４に動作を移行させるが、手術が終了した場合には（Ｓ１８において「ＹＥＳ」）、音声出力の動作を終了させる。

　なお、手術の終了はどのように判定されてもよい。例えば、顕微鏡手術又は内視鏡手術が行われる場合には、術野の撮影終了が手術の終了と捉えられてもよい。あるいは、手術において行われるべき手技が術前計画で定められている場合、手術で行われるべき全ての手技が検出された時点が手術の終了と捉えられてもよいし、手術で行われるべき最後の手技が検出された時点が手術の終了と捉えられてもよい。あるいは、これらの時点から所定の時間が経過した時点が手術の終了と捉えられてもよい。

　［１．３．変形例］
　本開示の第１の実施形態には、様々な変形例が適用され得る。例えば、上記においては、音源位置情報を決定する例を説明したが、音源位置情報はどのように決定されてもよい。例えば、音出力制御部１００Ａは、音源位置決定部１１０により、術場カメラ（撮像装置）３７０３によって撮像された画像に基づいて音源位置情報を決定してもよい。音源位置の決定には、３次元計測技術（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）と認識技術とが利用されてよい。

　また、手術参加者がマスクを着用している場合などには、手術参加者の顔認識が困難である場合もあり得る。そのため、手術参加者にネームプレートを装着させ、画像からネームプレートが認識された場合に、そのネームプレートの位置がそのネームプレートに対応する手術参加者の位置として決定されてもよい。また、デバイスにマーカを付しておき、画像からマーカが認識された場合に、そのマーカの位置がそのマーカの付されたデバイスの位置として決定されてもよい。なお、画像検出は、電波を利用しないパッシブセンシングであるため、手術室の中でも安全に行われる。

　また、手術参加者およびデバイスといった音源は、ある程度の熱を発していると考えられる。そのため、音出力制御部１００Ａは、音源位置決定部１１０により、サーモグラフィ装置による検出結果に基づいて音源位置情報を決定してもよい。例えば、サーモグラフィ装置によってある程度を超えて熱が発せられている位置が検出された場合、その位置が音源の位置として決定されてもよい。なお、熱検出は、電波を利用しないパッシブセンシングであるため、手術室の中でも安全に行われる。

　また、手術参加者およびデバイスといった音源に発信器を取り付け、手術室内に受信器を設置しておくことによって、音出力制御部１００Ａは、音源位置決定部１１０により、発信器から送信された無線信号の受信器による受信結果に基づいて音源位置情報を決定してもよい。例えば、受信器への無線信号の到来方向と受信器における無線信号の受信強度とに基づいて、発信器の位置（すなわち、音源の位置）が決定されてよい。

　また、手術参加者およびデバイスといった音源から意図的に音を出力させ、音出力制御部１００Ａは、音源位置決定部１１０により、マイクロフォンＭ１～Ｍ６によって集音された音情報に基づいて音源位置情報を決定してもよい。このとき、音源ごとに異なる音が発せられるようにすることによって音源を識別可能にしてもよいし、各音源からの音出力の順序をあらかじめ定めておき、集音された音の順序に基づいて音源を識別可能にしてもよい。

　これらの音源位置情報の決定手法は、単独で用いられてもよいし、音源位置情報の決定精度を向上させるため、これらの音源位置情報の決定手法のいずれかが組み合わされて用いられてもよい。あるいは、音源位置情報は、音源位置決定部１１０によって決定されなくてもよい。例えば、音源位置情報は、集中操作パネル３０１１などを介して人手によって入力可能であってもよい。

　また、上記では、音出力制御部１００Ａが、音源混合部１３０により、音源分離の結果に基づいて、マイクロフォンＭ１～Ｍ６によって集音された音情報からノイズを低減し、ノイズ低減後の音情報に基づいて音出力を制御する例を説明した。しかし、音源分離の結果に基づく処理は、ノイズ低減に限定されない。例えば、音源分離の結果に基づく処理は、所定の音源からの音情報を相対的に強調する処理であってもよい。

　すなわち、音出力制御部１００Ａは、音源混合部１３０により、マイクロフォンＭ１～Ｍ６による集音に基づく音情報に対する音源分離の結果に基づいて、所定の音源からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御してもよい。所定の音源からの音情報の相対的な強調は、所定の音源からの音情報の音量増加であってもよいし、所定の音源からの音情報の音量低下（音量をなくす場合も含む）であってもよいし、双方であってもよい。

　所定の音源は、所定の手術参加者であってもよいし、所定のデバイスであってもよい。例えば、音出力制御部１００Ａは、マイクロフォンＭ１～Ｍ６による集音に基づく音情報のうち、所定の手術参加者（例えば、術者など）からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御してもよい。所定の手術参加者は、あらかじめ定められてもよい。

　また、どの手術参加者からの音情報を相対的に強調するかは、出力音を聴く手術参加者によって異ならせてもよい。例えば、器械出し看護師が出力音を聴く場合には、術者および助手からの音情報を相対的に強調してもよい。

　あるいは、１の手術参加者の視線に応じた他の手術参加者が検出された場合（１の手術参加者の視線方向に他の手術参加者が検出された場合）、当該１の手術参加者が聴く出力音においては当該他の手術参加者からの音情報が相対的に強調されてもよい。また、かかる検出がなされた場合、当該二人の手術参加者の間の音声のやり取りを円滑にするため、当該二人の手術参加者の間の音情報が双方向に強調されてもよい。

　また、音出力制御部１００Ａは、マイクロフォンＭ１～Ｍ６による集音に基づく音情報のうち、所定のデバイスからの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御してもよい。所定のデバイスは、あらかじめ定められてもよいし、手術の段階に応じて決められてもよい。例えば、白内障手術がなされる場合、水晶体の濁りが超音波吸引装置によって取り除かれる。超音波吸引装置によって水晶体が破砕されているときには高音が発せられ、術者は、この高音を確認しながら手術を行う。

　そこで、音出力制御部１００Ａは、所定の閾値よりも高い周波数の音が発せられている場合には、マイクロフォンＭ１～Ｍ６による集音に基づく音情報のうち、超音波吸引装置からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御してもよい。一方、音出力制御部１００Ａは、所定の閾値よりも低い周波数の音が発せられている場合には、マイクロフォンＭ１～Ｍ６による集音に基づく音情報のうち、他の音源からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御してもよいし、音情報の強調はなされなくてもよい。

　また、上記においては、マイクロフォンＭ１～Ｍ６によって集音された音情報に対する音源分離が行われる例を説明した。しかし、音源分離は行われなくてもよい。例えば、音出力制御部１００Ａは、所定の音源に基づいてマイクロフォンＭ１～Ｍ６からマイクロフォンを特定し（例えば、所定の音源に最も近いマイクロフォンを特定し）、特定したマイクロフォンによって集音された音情報に基づく音出力を制御してもよい。

　所定の音源は、所定の手術参加者であってもよいし、所定のデバイスであってもよい。例えば、音出力制御部１００Ａは、所定の手術参加者に基づいてマイクロフォンを特定し（例えば、所定の手術参加者に最も近いマイクロフォンを特定し）、特定したマイクロフォンによって集音された音情報に基づいて当該手術参加者に応じた音出力を制御してもよい。所定の手術参加者は、あらかじめ定められてもよい。

　また、どのマイクロフォンを特定するかは、出力音を聴く手術参加者によって異ならせてもよい。例えば、器械出し看護師が出力音を聴く場合には、術者及び助手に基づいてマイクロフォンを特定してもよい（術者に最も近いマイクロフォン及び助手に最も近いマイクロフォンを特定してもよい）。

　あるいは、１の手術参加者の視線に応じた他の手術参加者が検出された場合（１の手術参加者の視線方向に他の手術参加者が検出された場合）、当該１の手術参加者が聴く音を集音するマイクロフォンは、当該他の手術参加者に基づいて特定されてもよい（当該他の手術参加者に最も近いマイクロフォンが特定されてもよい）。また、かかる検出がなされた場合、当該二人の手術参加者の間の音声のやり取りを円滑にするため、当該他の手術参加者が聴く音を集音するマイクロフォンは、当該１の手術参加者に基づいて特定されてもよい（当該１の手術参加者に最も近いマイクロフォンが特定されてもよい）。

　以上、本開示の第１の実施形態について説明した。

　＜２．第２の実施形態＞
　続いて、本開示の第２の実施形態について説明する。

　［２．１．機能構成例］
　まず、本開示の第２の実施形態に係る音出力制御部１００Ｂ及び表示制御部１７０の構成例について説明する。図１０は、本開示の第２の実施形態に係る音出力制御部１００Ｂ及び表示制御部１７０の構成例を示す図である。音出力制御部１００Ｂは、上記した手術室制御装置３００９に備えられてもよいし、手術室制御装置３００９とは異なる制御装置に備えられてもよい。また、表示制御部１７０は、上記した視聴覚コントローラ３００７に備えられていてもよいし、視聴覚コントローラ３００７とは異なる制御装置（音出力制御部１００Ｂが備えられる制御装置と同一又は異なる制御装置）に備えられていてもよい。

　図１０に示したように、本開示の第２の実施形態に係る音出力制御部１００Ｂは、音源位置決定部１１０、音源分離部１２０及び音源混合部１３０の他に、音声認識部１４０、手術情報検出部１５０及び辞書１６０を追加的に備える点において、本開示の第１の実施形態に係る音出力制御部１００Ａと異なる。以下では、音声認識部１４０、手術情報検出部１５０及び辞書１６０について主に説明する。

　まず、機器が高機能化するにつれて、ナビゲーション機能及びアノテーション機能の呼び出し、機器において利用されるパラメータの制御などの必要性が増し、機器操作が複雑化しつつある。そのため、機器に触れずともボイスコマンドによって機器操作を可能にする技術に対する要望が高まっている。しかし、機器に直接入力される音には、ボイスコマンド以外の音も含まれている場合があり、かかる場合には、機器によるボイスコマンドの認識精度が向上しない可能性がある。そこで、所定の手術参加者からの音情報に基づく音声認識結果が機器に出力されるとよい。

　すなわち、音出力制御部１００Ｂは、音声認識部１４０によって、音源分離の結果として音源ごとに分離された音情報を音源分離部１２０から取得し、所定の手術参加者からの音情報に基づく音声認識を行う。そして、音出力制御部１００Ｂは、音声認識部１４０によって、所定の手術参加者からの音情報に基づく音声認識結果の機器への出力を制御する。かかる構成によれば、機器によるボイスコマンドの認識精度が向上する。

　なお、音声認識結果を機器に入力するようにするため、機器に直接入力される音はコマンド認識の対象から除外されてよい。所定の手術参加者は、機器に対してボイスコマンドを入力する可能性があれば誰でもよく、術者であってもよいし、麻酔科医であってもよい。また、ボイスコマンドを受け付け可能な機器は特に限定されないが、上記した例では、内視鏡ラック３４００であってもよいし、麻酔システム３６０２であってもよいし、エネルギーデバイス３６０４であってもよい。

　また、ある手術参加者（以下、「第１の手術参加者」とも言う。）から発せられた音声に所定の情報が含まれる場合、その音声が特定の手術参加者（以下、「第２の手術参加者」とも言う。）に宛てた音声である可能性がある。一例として、第１の手術参加者から発せられた音声に第２の手術参加者の名称が含まれる場合、その音声が第２の手術参加者に宛てた音声である可能性がある。他の一例として、第１の手術参加者から発せられた音声に第２の手術参加者とのやり取りに利用される所定のキーワードが含まれる場合、その音声が第２の手術参加者に宛てた音声である可能性がある。

　そこで、音出力制御部１００Ｂは、第１の手術参加者からの音情報に基づく音声認識結果に第２の手術参加者に関連する所定の情報が含まれる場合、第１の手術参加者からの音情報を相対的に強調し、強調後の音情報に基づいて第２の手術参加者に応じた音出力を制御してもよい（第２の手術参加者に向けた音出力を制御してもよい）。このとき、当該二人の手術参加者の間の音声のやり取りを円滑にするため、当該二人の手術参加者の間の音情報が双方向に強調されてもよい。

　また、上記のようにして音出力が制御されることによって、手術参加者からの音情報は聴き取りやすくなるが、手術参加者からの音情報がより確実に把握されるようにしてもよい。例えば、表示制御部１７０は、所定の手術参加者からの音情報に基づく音声認識結果の表示を制御してもよい。音声認識結果は、どこに表示されてもよい。例えば、音声認識結果は、集中操作パネル３０１１に表示されてもよい。

　図１１は、音声認識結果の表示例を示す図である。図１１に示すように、音声認識結果は、過去の音声認識結果を含んだ履歴Ｔ０として表示されてもよい。また、図１１に示すように、履歴Ｔ０には、過去の音声認識結果の他に、音声認識がなされた時刻（例えば、図１１に示したように、現在時刻を基準として音声認識がなされた時刻までの時間など）と音声を発した手術参加者とが表示されてもよい。

　また、音声認識には、音声認識用の辞書１６０が一般に用いられる。辞書１６０には、テキストデータと音声とが関連付けられて記録されており、マイクロフォンＭ１～Ｍ６によって集音された音情報が辞書１６０に記録されている音声と照合されることによって、マイクロフォンＭ１～Ｍ６によって集音された音情報とマッチする音声に関連付けられたテキストデータが辞書１６０から抽出される。

　このとき、音声認識の精度を向上させるため、手術情報検出部１５０によって術者によってなされている手技又は手術の進度が検出された場合、音出力制御部１００Ｂは、音声認識部１４０によって、術者によってなされている手技又は手術の進度に基づいて音声認識に利用される辞書１６０を選択してもよい。例えば、所定の機器が利用される可能性が高い手技が検出された場合には、その機器が受け付け可能なコマンドの認識精度が高い辞書１６０が選択されてもよい。また、手術の進度に応じて利用される術具が異なる場合、その進度で利用される術具の認識精度が高い辞書１６０が選択されてもよい。

　なお、術者によってなされている手技又は手術の進度はどのように検出されてもよい。例えば、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ３７０１によって撮像された画像に基づいて、術者によってなされている手技又は手術の進度が検出されてもよい。あるいは、マイクロフォンＭ１～Ｍ６によって集音された音情報に基づいて、術者によってなされている手技又は手術の進度が検出されてもよい。

　［２．２．変形例］
　本開示の第２の実施形態には、様々な変形例が適用され得る。例えば、上記においては、マイクロフォンＭ１～Ｍ６によって集音された音情報に対する音源分離が行われる例を説明した。しかし、音源分離は行われなくてもよい。例えば、音出力制御部１００Ｂは、所定の音源に基づいてマイクロフォンＭ１～Ｍ６からマイクロフォンを特定し（例えば、音源から最も近いマイクロフォンを特定し）、特定したマイクロフォンによって集音された音情報に基づく音声認識結果の機器への出力を制御してもよい。

　また、音出力制御部１００Ｂは、第１の手術参加者からの音情報に基づく音声認識結果に第２の手術参加者に関連する所定の情報が含まれる場合、第１の手術参加者に基づいてマイクロフォンを特定し（例えば、第１の手術参加者に最も近いマイクロフォンを特定し）、特定したマイクロフォンによって集音された音情報に基づく第２の手術参加者への音出力を制御してもよい。このとき、当該二人の手術参加者の間の音声のやり取りを円滑にするため、当該第１の手術参加者が聴く音を集音するマイクロフォンは、当該第２の手術参加者に基づいて特定されてもよい（当該第２の手術参加者に最も近いマイクロフォンが特定されてもよい）。

　また、手術参加者からの音情報がより確実に把握されるようにするため、表示制御部１７０は、音出力制御部１００Ｂによって特定されたマイクロフォンによって集音された音情報に基づく音声認識結果の表示を制御してもよい。音声認識結果は、どこに表示されてもよい。例えば、音声認識結果は、集中操作パネル３０１１に表示されてもよい。

　また、本開示の第１の実施形態と同様に、手術が終了した場合には、音声出力の動作を終了させてよい。ここで、手術の終了はどのように判定されてもよい。例えば、音声認識結果に手術終了を示すテキストデータ（例えば、「手術が終了しました」といったテキストデータなど）が含まれている場合、手術終了を示すテキストデータの検出が手術の終了と捉えられてもよい。

　以上、本開示の第２の実施形態について説明した。

　＜３．むすび＞
　以上説明したように、本開示の実施形態によれば、手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部１００Ａを備える制御装置３００９が提供される。かかる構成によれば、術中における手術参加者同士の音声コミュニケーションをより確実にすることが可能となる。手術参加者同士の意思疎通が図りやすくなるため、スムーズな手術が実現され、手術時間が短縮される。また、手術参加者同士の指示伝達ミス、指示伝達漏れが低減される。

　また、手術参加者同士が大声でやり取りをしなくて済むようになるため、手術参加者に掛かる負担及びストレスが低減される。また、手術参加者同士が大声でやり取りをしなくて済むようになるため、手術参加者以外の者（例えば、患者など）に対して与える不安感及びストレスも低減される。また、マイクロフォンアレイによって非接触により手術参加者の音声を集音すれば、マイクロフォンが手術参加者に取り付けられずに済むため、清潔管理がしやすくなる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、
　制御装置。
（２）
　前記手術に関連する情報は、手術室における音源位置情報を含む、
　前記（１）に記載の制御装置。
（３）
　前記音出力制御部は、所定のデータに基づいて前記音源位置情報を決定する、
　前記（２）に記載の制御装置。
（４）
　前記音出力制御部は、術式、手術室及び手術参加者のうち少なくともいずれか一つに基づいて前記音源位置情報を決定する、
　前記（３）に記載の制御装置。
（５）
　前記音出力制御部は、撮像装置によって撮像された画像、発信器から送信された無線信号の受信結果、サーモグラフィ装置による検出結果及び集音部によって集音された音情報のうち少なくともいずれか一つに基づいて前記音源位置情報を決定する、
　前記（３）に記載の制御装置。
（６）
　前記音出力制御部は、手術参加者に関連付けられた音出力装置による音出力を制御し、又は、手術参加者の位置に応じた音出力を制御する、
　前記（１）～（５）のいずれか一項に記載の制御装置。
（７）
　前記音出力制御部は、集音部によって集音された音情報に基づく音出力を制御する、
　前記（１）～（６）のいずれか一項に記載の制御装置。
（８）
　前記集音部は、複数のマイクロフォンを含み、
　前記音出力制御部は、前記複数のマイクロフォンによって集音された前記音情報に基づく音出力を制御する、
　前記（７）に記載の制御装置。
（９）
　前記音出力制御部は、前記複数のマイクロフォンの位置と前記音源位置情報とに基づく前記音情報に対する音源分離の結果に基づいて音出力を制御する、
　前記（８）に記載の制御装置。
（１０）
　前記音出力制御部は、前記集音部による集音に基づく前記音情報に対する音源分離の結果に基づいて前記音情報からノイズを低減し、ノイズ低減後の音情報に基づいて音出力を制御する、
　前記（９）に記載の制御装置。
（１１）
　前記音出力制御部は、前記集音部による集音に基づく前記音情報に対する音源分離の結果に基づいて、所定の音源からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御する、
　前記（９）又は（１０）に記載の制御装置。
（１２）
　前記音出力制御部は、前記集音部による集音に基づく音情報のうち、所定の手術参加者からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御する、
　前記（１１）に記載の制御装置。
（１３）
　前記音出力制御部は、前記集音部による集音に基づく音情報のうち、所定のデバイスからの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御する、
　前記（１１）に記載の制御装置。
（１４）
　前記音出力制御部は、所定の手術参加者からの音情報に基づく音声認識結果の機器への出力を制御する、
　前記（９）～（１３）のいずれか一項に記載の制御装置。
（１５）
　前記音出力制御部は、第１の手術参加者からの音情報に基づく音声認識結果に第２の手術参加者に関連する所定の情報が含まれる場合、前記第１の手術参加者からの音情報を相対的に強調し、強調後の音情報に基づいて前記第２の手術参加者に応じた音出力を制御する、
　前記（９）～（１４）のいずれか一項に記載の制御装置。
（１６）
　前記制御装置は、
　所定の手術参加者からの音情報に基づく音声認識結果の表示を制御する表示制御部を備える、
　前記（９）～（１５）のいずれか一項に記載の制御装置。
（１７）
　前記音出力制御部は、術者によってなされている手技又は手術の進度に基づいて音声認識に利用される辞書を選択する、
　前記（１３）～（１６）のいずれか一項に記載の制御装置。
（１８）
　前記音出力制御部は、所定の音源に基づいてマイクロフォンを特定し、特定したマイクロフォンによって集音された音情報に基づく音出力を制御する、
　前記（８）に記載の制御装置。
（１９）
　前記音出力制御部は、所定の手術参加者に基づいてマイクロフォンを特定し、特定したマイクロフォンによって集音された音情報に基づいて前記手術参加者に応じた音出力を制御する、
　前記（１８）に記載の制御装置。
（２０）
　前記音出力制御部は、特定したマイクロフォンによって集音された音情報に基づく音声認識結果の機器への出力を制御する、
　前記（１８）又は（１９）に記載の制御装置。
（２１）
　前記音出力制御部は、第１の手術参加者からの音情報に基づく音声認識結果に第２の手術参加者に関連する所定の情報が含まれる場合、前記第１の手術参加者に基づいてマイクロフォンを特定し、特定したマイクロフォンによって集音された音情報に基づく音出力を制御する、
　前記（１８）～（２０）のいずれか一項に記載の制御装置。
（２２）
　前記制御装置は、
　特定したマイクロフォンによって集音された音情報に基づく音声認識結果の表示を制御する表示制御部を備える、
　前記（１８）～（２１）のいずれか一項に記載の制御装置。
（２３）
　プロセッサにより、手術に関連する情報に基づいて音出力装置による音出力を制御することを含む、
　制御方法。
（２４）
　コンピュータを、
　手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、
　制御装置として機能させるためのプログラム。
（２５）
　音出力を行う音出力装置と、
　手術に関連する情報に基づいて前記音出力装置による音出力を制御する音出力制御部を備える、
　制御装置と、
　を有する、音出力システム。

　１００Ａ、１００Ｂ　音出力制御部
　１１０　音源位置決定部
　１２０　音源分離部
　１３０　音源混合部
　１４０　音声認識部
　１５０　手術情報検出部
　１６０　辞書
　１７０　表示制御部
　３０００　手術室システム（音出力システム）
　３００５　レコーダ
　３００７　視聴覚コントローラ
　３００９　手術室制御装置（制御装置）
　３４００　内視鏡ラック（機器）
　３６０２　麻酔システム（機器）
　３６０４　エネルギーデバイス（機器）
　３７０１　シーリングカメラ
　３７０３　術場カメラ
　３７０９　マイクロフォン（集音部）
　３７１１　イヤホン（音出力装置）
　３７１３　指向性スピーカ（音出力装置）
 

Claims (25)

1. 　手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、
   　制御装置。
2. 　前記手術に関連する情報は、手術室における音源位置情報を含む、
   　請求項１に記載の制御装置。
3. 　前記音出力制御部は、所定のデータに基づいて前記音源位置情報を決定する、
   　請求項２に記載の制御装置。
4. 　前記音出力制御部は、術式、手術室及び手術参加者のうち少なくともいずれか一つに基づいて前記音源位置情報を決定する、
   　請求項３に記載の制御装置。
5. 　前記音出力制御部は、撮像装置によって撮像された画像、発信器から送信された無線信号の受信結果、サーモグラフィ装置による検出結果及び集音部によって集音された音情報のうち少なくともいずれか一つに基づいて前記音源位置情報を決定する、
   　請求項３に記載の制御装置。
6. 　前記音出力制御部は、手術参加者に関連付けられた音出力装置による音出力を制御し、又は、手術参加者の位置に応じた音出力を制御する、
   　請求項１に記載の制御装置。
7. 　前記音出力制御部は、集音部によって集音された音情報に基づく音出力を制御する、
   　請求項１に記載の制御装置。
8. 　前記集音部は、複数のマイクロフォンを含み、
   　前記音出力制御部は、前記複数のマイクロフォンによって集音された前記音情報に基づく音出力を制御する、
   　請求項７に記載の制御装置。
9. 　前記音出力制御部は、前記複数のマイクロフォンの位置と音源位置情報とに基づく前記音情報に対する音源分離の結果に基づいて音出力を制御する、
   　請求項８に記載の制御装置。
10. 　前記音出力制御部は、前記集音部による集音に基づく前記音情報に対する音源分離の結果に基づいて前記音情報からノイズを低減し、ノイズ低減後の音情報に基づいて音出力を制御する、
    　請求項９に記載の制御装置。
11. 　前記音出力制御部は、前記集音部による集音に基づく前記音情報に対する音源分離の結果に基づいて、所定の音源からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御する、
    　請求項９に記載の制御装置。
12. 　前記音出力制御部は、前記集音部による集音に基づく音情報のうち、所定の手術参加者からの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御する、
    　請求項１１に記載の制御装置。
13. 　前記音出力制御部は、前記集音部による集音に基づく音情報のうち、所定のデバイスからの音情報を相対的に強調し、強調後の音情報に基づいて音出力を制御する、
    　請求項１１に記載の制御装置。
14. 　前記音出力制御部は、所定の手術参加者からの音情報に基づく音声認識結果の機器への出力を制御する、
    　請求項９に記載の制御装置。
15. 　前記音出力制御部は、第１の手術参加者からの音情報に基づく音声認識結果に第２の手術参加者に関連する所定の情報が含まれる場合、前記第１の手術参加者からの音情報を相対的に強調し、強調後の音情報に基づいて前記第２の手術参加者に応じた音出力を制御する、
    　請求項９に記載の制御装置。
16. 　前記制御装置は、
    　所定の手術参加者からの音情報に基づく音声認識結果の表示を制御する表示制御部を備える、
    　請求項９に記載の制御装置。
17. 　前記音出力制御部は、術者によってなされている手技又は手術の進度に基づいて音声認識に利用される辞書を選択する、
    　請求項１３に記載の制御装置。
18. 　前記音出力制御部は、所定の音源に基づいてマイクロフォンを特定し、特定したマイクロフォンによって集音された音情報に基づく音出力を制御する、
    　請求項８に記載の制御装置。
19. 　前記音出力制御部は、所定の手術参加者に基づいてマイクロフォンを特定し、特定したマイクロフォンによって集音された音情報に基づいて前記手術参加者に応じた音出力を制御する、
    　請求項１８に記載の制御装置。
20. 　前記音出力制御部は、特定したマイクロフォンによって集音された音情報に基づく音声認識結果の機器への出力を制御する、
    　請求項１８に記載の制御装置。
21. 　前記音出力制御部は、第１の手術参加者からの音情報に基づく音声認識結果に第２の手術参加者に関連する所定の情報が含まれる場合、前記第１の手術参加者に基づいてマイクロフォンを特定し、特定したマイクロフォンによって集音された音情報に基づく音出力を制御する、
    　請求項１８に記載の制御装置。
22. 　前記制御装置は、
    　特定したマイクロフォンによって集音された音情報に基づく音声認識結果の表示を制御する表示制御部を備える、
    　請求項１８に記載の制御装置。
23. 　プロセッサにより、手術に関連する情報に基づいて音出力装置による音出力を制御することを含む、
    　制御方法。
24. 　コンピュータを、
    　手術に関連する情報に基づいて音出力装置による音出力を制御する音出力制御部を備える、
    　制御装置として機能させるためのプログラム。
25. 　音出力を行う音出力装置と、
    　手術に関連する情報に基づいて前記音出力装置による音出力を制御する音出力制御部を備える、
    　制御装置と、
    　を有する、音出力システム。
     

Images