JP7324121B2 - 使用器具推定装置及び方法並びに手術補助ロボット - Google Patents

Description

本発明は、外科手術中に手術の状況に即した手術器具を推定する技術に関する。

外科手術の現場では、外科医が使用する手術器具は手術室看護師（器械出し看護師）から外科医へ手渡される。手術中の看護師は、外科医から要求が言語で伝えられる前に、手術の進行状況や外科医の動きから次に使用される手術器具を自己の経験に基づいて予測して、それを迅速に外科医に渡すことができるように準備する。このような看護師の器械出し作業は、外科医の習性や施術パターンなどといった暗黙知に基づいている。

近年、センサ機器等から得られるセンサデータを利用して人間の行動を自動認識する技術が注目されている。例えば、特許文献１には、作業者等の被験体に取り付けた動態センサ（ウエアラブルセンサ）からの情報を取得し、被験体が行う動態内容の個々の状態を示す動態項目を認識する動態認識装置が開示されている。この動態認識装置は、動態センサからの情報を用いて被験体の動態を検知し、検知された動態から動態項目を絞り込み、絞り込んだ動態項目について認識処理を実行する。また、特許文献２には、人の行動が映り込む映像データをカメラから取得し、行動認識結果（コンテキスト）を推定する認識装置が開示されている。この認識装置は選択エンジンと複数の異なる認識エンジンとを有し、選択エンジンによって入力データに応じて最適な１つ以上の認識エンジンが自動的に選択され、選択された認識エンジンによって導き出された行動認識結果が出力される。

特開２０１０－１４８６０４号公報 特開２０１９－１３９４７９号公報

上記のような手術室看護師の器械出し作業の良し悪しは、看護師の技量や習熟度に頼るところが大きい。また、器械出し作業を行う看護師は、長時間緊張状態が続いたり、立ちっぱなしなったりするため、肉体的にも精神的にも疲労が大きい。

そこで、本願の発明者は、従来は手術室看護師が行っている器械出し作業の少なくとも一部、即ち、手術の状況に即した手術器具の選択をコンピュータで行うことに想到した。これにより、看護師の技量や習熟度に頼ることなく、手術の状況に即した手術器具を外科医へ提供することができる。更に、これにより、ロボットに手術器具を外科医へ手渡す作業を行わせることが可能となり、手術室看護師の疲労の軽減に寄与することができる。

本発明の一態様に係る使用器具推定装置は、
外科手術中の外科医の動きを検出する行動検出装置と、
前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
前記出力データを出力する出力装置とを備えることを特徴としている。

また、本発明の一態様に係る使用器具推定方法は、
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
前記出力データを出力すること、を含むことを特徴としている。

本発明の一態様に係る使用器具推定装置は、
外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部と、
前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定する推定部とを備えることを特徴としている。

また、本発明の一態様に係る使用器具推定方法は、
外科手術中の外科医の動きを検出した行動検出データを取得すること、
前記行動検出データに基づいて前記外科医の行動を認識すること、
認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定することを含むことを特徴としている。

また、本発明の一態様に係る手術補助ロボットは、
少なくとも１本のマニピュレータアームと、
前記使用器具推定装置と、
前記マニピュレータアームの動作を制御するロボット制御装置と、
複数種類の手術器具を収容した器具庫とを備え、
前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも１種類の手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させることを特徴としている。所定の手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。

前記行動認識部は、行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも１つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデルを有する。行動認識部は、第１学習済みモデルを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。

前記状況認識部は、行動認識部の認識結果（即ち、外科医の行動）を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部は、蓄積された状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデルを有する。状況認識部は、第２学習済みモデルを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行（切開、切除、縫合などの手術工程）が含まれ得る。

推定部は、状況認識部の状況認識結果（即ち、手術の状況）を含む器具推定データに基づいて外科医が次に使用する少なくとも１種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデルを有する。推定部は、第３学習済みモデルを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。第３学習済みモデルは、手術器具の種類に合わせて手渡し位置を導き出してもよい。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。

本発明によれば、従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行うことができる。

図１は、本発明の一実施形態に係る手術補助ロボットの全体的な構成を示す図である。 図２は、ロボット制御装置の概略構成図である。 図３は、使用器具推定装置の概略構成図である。 図４は、使用器具推定装置の機能ブロック図である。 図５は、行動認識部の処理の流れを示す図である。 図６は、状況認識部の処理の流れを示す図である。 図７は、推定部の処理の流れを示す図である。 図８は、使用器具推定装置の処理の流れ図である。 図９は、使用器具推定装置の処理の流れ図である。 図１０は、変形例１に係る使用器具推定装置の機能ブロック図である。 図１１は、変形例１に係る使用器具推定装置の処理の流れを示す図である。

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る手術補助ロボット１の全体的な構成を示す図である。図１に示す手術補助ロボット１は、少なくとも１本のマニピュレータアーム２と、ロボット制御装置３と、使用器具推定装置４と、器具庫５とを備える。器具庫５には、手術に使用され得る複数種類の手術器具が滅菌状態で格納されている。

〔マニピュレータアーム２〕
マニピュレータアーム２は、複数の関節を有する多関節型ロボットアームである。マニピュレータアーム２の遠位端部には、エンドエフェクタとしてのハンド２１が装着されている。ハンド２１は、手術器具を把持することができる。本実施形態では、マニピュレータアーム２として水平多関節型ロボットアームを採用しているが、マニピュレータアーム２は多関節型ロボットアームであればその態様は問わない。また、マニピュレータアーム２は、手術台の傍らに設置されてもよいし、手術室の天井から吊り下げられていてもよい。

〔ロボット制御装置３〕
ロボット制御装置３は、コンピュータを備え、プロセッサでプログラムや使用器具推定装置４から入力される各種信号の解読や演算処理を行うことにより、マニピュレータアーム２の動作制御、ハンド２１の動作制御、各種出力ポートからの信号出力などを行う。

図２に示すように、マニピュレータアーム２は、各関節に対応する関節駆動部Ｄ３１～Ｄｎを備える。関節駆動部Ｄ３１～Ｄｎは、例えば、サーボモータ、サーボモータの動力を関節に伝達する動力伝達機構、サーボモータの出力トルクを調整して動力伝達機構に伝える減速機、及び、サーボモータの回転位置を検出する回転位置センサ（いずれも図示略）から構成される。ロボット制御装置３は、各関節駆動部Ｄ３１～Ｄｎについて、回転位置センサの検出信号を取得しこれに基づいてサーボモータの出力を調整することにより、マニピュレータアーム２の制御点（例えば、ハンド２１上の点）の位置を制御する。また、ハンド２１は少なくとも１つのアクチュエータ２２を含む。ロボット制御装置３は、このアクチュエータ２２を動作させることにより、ハンド２１の動作を制御する。

〔使用器具推定装置４〕
使用器具推定装置４は、演算制御器４００を備える。使用器具推定装置４の後述する各機能部が少なくとも１つの演算制御器４００で構成されていてもよいし、複数の機能部のうち２つ以上が１つの演算制御器４００で構成されていてもよい。図３に示すように、使用器具推定装置４の各演算制御器４００は、プロセッサ４０１、ＲＯＭ及びＲＡＭなどのメモリ４０２、及び、Ｉ／Ｏ部４０３を備える。演算制御器４００には、インターフェース４０４を介して記憶装置４０５、マイク４０６、ディスプレイ４０７、及び、行動検出装置４０８が接続されている。行動検出装置４０８は、外科医に装着される複数の動態センサ、外科医の行動や患部を撮像するカメラ、などのうち少なくとも１つであってよい。

演算制御器４００は、集中制御を行う単独のプロセッサ４０１を備えてもよいし、分散制御を行う複数のプロセッサ４０１を備えてもよい。演算制御器４００は、例えば、コンピュータ、パーソナルコンピュータ、マイクロコントローラ、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）などのＰＬＤ（programmable logic device）、ＰＬＣ（programmable logic controller）、及び、論理回路のうち少なくとも１つ、或いは、２つ以上の組み合わせで構成され得る。メモリ４０２や記憶装置４０５には、プロセッサ４０１が実行する基本プログラムやソフトウエアプログラム等が格納されている。プロセッサ４０１がプログラムを読み出して実行することによって、演算制御器４００は当該ソフトウエアプログラムに構成された機能を実現する。

使用器具推定装置４は、図４に示すように、行動認識部４１、状況認識部４２、推定部４３、音声認識部４４、及び、評価部４５の各機能部を有する。また、使用器具推定装置４は、行動認識部４１、状況認識部４２、及び推定部４３の各々に対応する図示されない学習部を有する。

〔行動認識部４１〕
図５に示すように、行動認識部４１は、行動検出装置４０８から取得した行動検出データに基づいて外科医の行動を認識する。行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも１つであってよい。また、行動検出データには、外科医を識別する外科医識別情報が含まれていてもよい。行動認識部４１は、蓄積された行動検出データと外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデル４１ａを有する。行動認識部４１は、第１学習済みモデル４１ａを用いて、認識すべき行動検出データに対応する外科医の行動を導き出す。行動認識部４１は、例えば、行動検出データから外科医の特定部位の移動量を求め、この移動量に基づいて外科医の行動を認識することができる。なお、行動認識技術は既に公知の技術であり、行動認識部４１ではこれら公知の行動認識技術を利用することができる。

行動認識部４１の学習部は、機械学習技術を用いて、第１学習済みモデル４１ａを作成する。行動認識部４１の学習部は、行動検出データを前処理して、第１教師データを作成する。前処理は、データ形式の変換、異常の確認、データの抽出、変数名やファイル名の変更などの各種処理のうち少なくとも１つを含む。行動認識部４１の学習部は、機械学習により入力データと出力データとの相関関係を学習する。本実施形態では、入力データは行動検出データであり、出力データは外科医の行動である。行動認識部４１の学習部は、機械学習の一例として教師あり学習（クラス分類）を実行する。一般に、教師あり学習は、入力データとそれに対応する出力データとの既知のデータセット（教師データ）が予め大量に与えられ、学習アルゴリズムを用いて教師データから入力データと出力データとの相関性を暗示する特徴を識別することで、新たな入力データに対する所要の出力データを推定するための相関性モデルを学習する手法である。この相関性モデルが、第１学習済みモデル４１ａとなる。第１学習済みモデル４１ａは記憶装置４０５に記憶される。学習初期の第１教師データは、実際の外科手術中に行動検出装置４０８で検出された外科医の動きとそれに対して与えられた正解の外科医の行動とを含むデータセットが蓄積されたものである。

〔状況認識部４２〕
図６に示すように、状況認識部４２は、行動認識部４１の認識結果（即ち、外科医の行動）を含む状況検出データに基づいて手術の状況を認識する。状況検出データには、手術の内容や手術の経過時間などが含まれていてもよい。状況認識部４２は、蓄積された状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデル４２ａを有する。状況認識部４２は、第２学習済みモデル４２ａを用いて、認識すべき状況検出データに対応する手術の状況を導き出す。なお、手術の状況には、手術の進行（切開、切除、縫合などの手術工程）が含まれ得る。

状況認識部４２の学習部は、機械学習技術を用いて、第２学習済みモデル４２ａを作成する。状況認識部４２の学習部の学習方法は行動認識部４１の学習部と同様であってよい。学習初期の第２教師データは、実際の外科手術中に得られた状況検出データとそれに対して与えられた正解の手術の状況とを含むデータセットが蓄積されたものである。

〔推定部４３〕
図７に示すように、推定部４３は、状況認識部４２の状況認識結果（即ち、手術の状況）を含む器具推定データに基づいて外科医が次に使用する少なくとも１種類の手術器具を推定する。器具推定データには、外科医を識別する外科医識別情報が含まれていてもよい。外科医識別情報に基づいて、外科医の利き手、好みの手術器具、好みの手渡し位置などを特定することができる。推定部４３は、蓄積された器具推定データと手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデル４３ａを有する。推定部４３は、第３学習済みモデル４３ａを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出す。なお、外科手術に一般的に使用される手術器具の種類は、大きく分けて、持針器、鑷子、針と糸、鉗子、鉤、及び開創器などがある。これらの手術器具の大分類は、先端の形状や大きさ、用途に分けて更に細かく分類される。

第３学習済みモデル４３ａは、手術器具の種類に合わせて手渡し位置を導き出してもよい。手渡し位置は、手術内容に応じて定められた一定の位置、手術の進行状況に応じて予め定められた位置、或いは、外科医の好みの手渡し位置であってよい。また、手渡し位置は、絶対座標で特定されてもよいし、手術台やマニピュレータアーム２に相対する位置として特定されてもよい。

推定部４３の学習部は、機械学習技術を用いて、第３学習済みモデル４３ａを作成する。推定部４３の学習部の学習方法は行動認識部４１の学習部と同様であってよい。学習初期の第３教師データは、実際の外科手術中に得られた器具推定データとそれに対して与えられた正解の手術器具の種類と含むデータセットが蓄積されたものである。

〔音声認識部４４〕
マイク４０６は音声アナログ信号（即ち音声）を取得し、音声デジタル信号に変換する。音声認識部４４は、この音声デジタル信号を取得して、テキストデータに変換する。音声認識部４４は、例えば、入力された音声を音波に変換し、音波を音響分析して音素を特定し、音素の並びを予め登録された辞書とマッチングを行って単語に変換し、変換された文章をテキストデータとして出力する。機械学習を利用した音声認識技術は広く知られており、音声認識部４４は公知の音声認識技術を利用して構成される。

〔評価部４５〕
評価部４５は、推定部４３による推定結果が正しいか否かを判断する。評価部４５の処理については後述する。

〔手術補助方法〕
ここで、手術補助ロボット１を用いた手術補助方法を説明する。この手術補助方法は、本実施形態に係る使用器具推定方法を利用する。

図８及び図９は使用器具推定装置４の処理の流れ図である。図８に示すように、使用器具推定装置４は行動検出装置４０８から外科手術中の外科医の動きを検出した行動検出データを取得する（ステップＳ１）。

次に、使用器具推定装置４の行動認識部４１は、行動検出データに基づいて外科医の行動を認識する（ステップＳ２）。続いて、使用器具推定装置４の状況認識部４２は、行動認識部４１の行動認識結果（即ち、外科医の行動）に基づいて手術の状況を認識する（ステップＳ３）。更に、使用器具推定装置４の推定部４３は、状況認識部４２の状況認識結果（即ち、手術の状況）に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類の手術器具を推定する（ステップＳ４）。

使用器具推定装置４は、手術器具の推定結果をディスプレイ４０７に出力する（ステップＳ５）。ディスプレイ４０７は、手術室内の外科医が視認可能な位置に配置されている。外科医は、ディスプレイ４０７に表示出力された、次に提供される手術器具の情報を視認することができる。

また、使用器具推定装置４は、手術器具の推定結果をロボット制御装置３へ出力する（ステップＳ５）。手術器具の推定結果を受けたロボット制御装置３は、推定された外科医が次に使用する少なくとも１種類の手術器具を器具庫５から取り出してから待機位置で待機するように、マニピュレータアーム２を動作させる。

外科医は、次に使用する手術器具を要求すべく、音声を発生する。例えば、外科医は「メス」と発声する。この音声はマイク４０６で集音され、使用器具推定装置４に伝達される。

図９に示すように、使用器具推定装置４の音声認識部４４は、マイク４０６から音声データを取得して（ステップＳ１１）、音声認識を行う（ステップＳ１２）。音声認識により、音声データは音声テキストデータに変換される。

使用器具推定装置４の評価部４５は、音声テキストデータ（即ち、認識した音声）と、推定部４３で推定された手術器具の情報とを比較し、一致／不一致を判断する（ステップＳ１３）。使用器具推定装置４は、この判断結果を記憶し、行動検出データとそれに基づいて推定された手術器具と判断結果とを含む新たな教師データを作成して学習済みモデル４１ａ，４２ａ，４３ａを更に学習させる（ステップＳ１４）。

ステップＳ１３で一致と判断されれば、使用器具推定装置４はロボット制御装置３へ許可信号を出力する。許可信号を受けたロボット制御装置３は、待機位置から手渡し位置へ移動するようにマニピュレータアーム２を動作させる。これにより、迅速かつ正確に、外科医の要求する手術器具を提供することができる。

一方、ステップＳ１３で不一致と判断されれば、使用器具推定装置４は音声テキストデータから導き出される少なくとも１つの手術器具の推定結果と許可信号とをロボット制御装置３へ出力する。手術器具の推定結果を受けたロボット制御装置３は、推定された外科医が次に使用する少なくとも１種類の手術器具を器具庫５から取り出して手渡し位置へ移動するように、マニピュレータアーム２を動作させる。これにより、正確に、外科医の要求する手術器具を提供することができる。

以上に説明したように、本実施形態に係る使用器具推定装置４は、外科医の動きを検出した行動検出データに基づいて外科手術中の外科医の行動を認識する行動認識部４１と、行動認識部４１の行動認識結果に基づいて手術の状況を認識する状況認識部４２と、状況認識部４２の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類を推定する推定部４３とを備える。

また、本実施形態に係る使用器具推定方法は、外科手術中の外科医の動きを検出した行動検出データを取得すること、行動検出データに基づいて外科医の行動を認識すること、認識された外科医の行動に基づいて手術の状況を認識すること、及び、認識された手術の状況に基づいて予め与えられた複数種類の手術器具の中から外科医が次に使用する少なくとも１種類を推定すること、を含む。

また、本実施形態に係る手術補助ロボット１は、使用器具推定装置４と、少なくとも１本のマニピュレータアーム２と、マニピュレータアーム２の動作を制御するロボット制御装置３と、複数種類の手術器具を収容した器具庫５とを備える。そして、ロボット制御装置３は、使用器具推定装置４で推定された外科医が次に使用する少なくとも１種類の手術器具を器具庫５から取り出して所定の手渡し位置まで搬送するようにマニピュレータアーム２を動作させる。

上記使用器具推定装置４及び方法並びに手術補助ロボット１によれば、従来は手術室看護師が行っている手術の状況に即した手術器具の推定を、看護師の技量や習熟度に頼ることなく自動的に行うことができる。

上記使用器具推定装置４において、行動認識部４１は、行動検出データと外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデル４１ａを有し、第１学習済みモデル４１ａを用いて、認識すべき行動検出データに対応する外科医の行動を導き出すように構成されている。

また、上記使用器具推定装置４において、状況認識部４２は、行動認識結果を含む状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデル４２ａを有し、第２学習済みモデル４２ａを用いて、認識すべき状況検出データに対応する手術の状況を導き出すように構成されている。

また、上記使用器具推定装置４において、推定部４３は、状況認識結果を含む器具推定データと手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデル４３ａを有し、第３学習済みモデル４３ａを用いて、認識すべき器具推定データに対応する手術器具の種類を導き出すように構成されている。

更に、上記使用器具推定装置４において、推定部４３は、推定された手術器具が外科医へ渡される位置である手渡し位置を導き出すように構成されている。

上記構成の使用器具推定装置４によれば、外科医が次に要求する手術器具を正確に推定することができる。

以上に本発明の好適な実施の形態を説明したが、本発明の思想を逸脱しない範囲で、上記実施形態の具体的な構造及び／又は機能の詳細を変更したものも本発明に含まれ得る。上記の使用器具推定装置４及びそれを備える手術補助ロボット１の構成は、例えば、以下のように変更することができる。

例えば、上記実施形態において、使用器具推定装置４の演算制御器４００は第１～３学習済みモデル４１ａ，４２ａ，４３ａを有する。但し、図１０及び図１１に示すように、使用器具推定装置４Ａの演算制御器４００は、学習済みモデル４１ａ，４２ａ，４３ａを備える行動認識部４１、状況認識部４２及び推定部４３に代えて、第４学習済みモデル４９ａを有する演算部４９を備えていてもよい。

第４学習済みモデル４９ａは、行動検出データを含む入力データから、外科医に次に使用すると推定される少なくとも１種類の手術器具を含む出力データを導き出す。この場合の行動検出データは、例えば、外科医に取り付けられた動態センサで検出されたデータや、外科医の行動を撮像するカメラで得られた撮像データなどのうち少なくとも１つであってよい。また、入力データには、外科医を識別する外科医識別情報、外科手術の内容、及び、外科手術の経過時間のうち少なくとも１つが更に含まれていてもよい。また、出力データは、推定された少なくとも１種類の手術器具が外科医へ渡される位置である手渡し位置を更に含んでいてよい。

演算部４９は学習部を含む。演算部４９の学習部は、機械学習技術を用いて、第４学習済みモデル４９ａを構築する。使用器具推定装置４の学習部は、行動検出データを前処理して、第４教師データを作成する。前処理は、データ形式の変換、異常の確認、データの抽出、変数名やファイル名の変更などの各種処理のうち少なくとも１つを含む。演算部４９の学習部は、機械学習により入力データと出力データとの相関関係を学習する。この機械学習は例えば教師あり学習（クラス分類）であって、学習アルゴリズムは入出力データに応じて適宜採用される。演算部４９の学習部は、入力データとそれに対応する出力データとの既知のデータセット（教師データ）が予め大量に与えられ、学習アルゴリズムを用いて教師データから入力データと出力データとの相関性を暗示する特徴を識別することで、新たな入力データに対する所要の出力データを推定するための相関性モデルを学習する。この相関性モデルが、第４学習済みモデル４９ａとなる。第４学習済みモデル４９ａは記憶装置４０５に記憶される。学習初期の第４教師データは、実際の外科手術中に行動検出装置４０８で検出された外科医の動きとそれに対して与えられた正解の手術器具の種類とを含むデータセットが蓄積されたものである。

上記構成の使用器具推定装置４Ａの演算制御器４００により行われる使用器具推定方法は、外科手術中の外科医の動きを検出した行動検出データを行動検出装置４０８から取得すること、行動検出データを含む入力データと外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデル４９ａを用いて、認識すべき入力データに対応する出力データを導き出すこと、及び、出力データをロボット制御装置３やディスプレイ４０７等へ出力すること、を含む。更に、演算部４９の学習部は、前述の学習済みモデル４１ａ，４２ａ，４３ａと同様に、使用器具推定処理における行動検出データとそれに基づいて推定された手術器具と判断結果とを含む新たな教師データを作成して更に第４学習済みモデル４９ａを学習させる。

また、上記実施形態において、使用器具推定装置４が推定した少なくとも１種類の手術器具が外科医の要求する手術器具と異なる場合に、マニピュレータアーム２は改めて要求された手術器具を器具庫５へ取りに行き、それを手渡し位置まで運ぶ。但し、マニピュレータアーム２は手術器具を器具庫５へ戻し、要求された手術器具は看護師から外科医へ手渡されてもよい。また、手渡し位置が外科医の要求する位置と異なる場合に、看護師がマニピュレータアーム２を正しい手渡し位置まで移動させ、ロボット制御装置３が正しい手渡し位置を取得し、それを使用器具推定装置４が学習するようにしてもよい。看護師がマニピュレータアーム２を動かせるようにするために、マニピュレータアーム２にはハンドガイドボタンが設けられていてよい。マニピュレータアーム２はハンドガイドボタンが押されている間はハンドガイドロボットとなり、看護師から与えられた外力によってマニピュレータアーム２が自在に動くことができるように、ロボット制御装置３はマニピュレータアーム２の動作を制御する。

また、上記実施形態において、使用器具推定装置４が備える学習済みモデル４１ａ，４２ａ，４３ａは一連の推定処理が終わるごとに学習するように構成されているが、複数回の推定処理が終わってある程度の教師データが蓄積されてから追加の学習を行うように構成されてもよい。

１ ：手術補助ロボット
２ ：マニピュレータアーム
３ ：ロボット制御装置
４ ：使用器具推定装置
５ ：器具庫
４００ ：演算制御器
４１ ：行動認識部
４１ａ，４２ａ，４３ａ，４９ａ ：学習済みモデル
４２ ：状況認識部
４３ ：推定部
４９ ：演算部

Claims (11)

1. 外科手術中の外科医の動きを検出する行動検出装置と、
   前記行動検出装置で得られた行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを有し、当該学習済みモデルを用いて認識すべき前記入力データに対応する前記出力データを導き出す演算部と、
   前記出力データを出力する出力装置とを備える、
   使用器具推定装置。
2. 前記入力データが、前記外科医の識別情報、前記外科手術の内容、及び、前記外科手術の経過時間のうち少なくとも１つを更に含む、
   請求項１に記載の使用器具推定装置。
3. 前記出力データが、前記手術器具が前記外科医へ渡される位置である手渡し位置を更に含む、
   請求項１又は２に記載の使用器具推定装置。
4. 外科医の動きを検出した行動検出データに基づいて外科手術中の前記外科医の行動を認識する行動認識部と、
   前記行動認識部の行動認識結果に基づいて手術の状況を認識する状況認識部と、
   前記状況認識部の状況認識結果に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定する推定部とを備える、
   使用器具推定装置。
5. 前記行動認識部は、前記行動検出データと前記外科医の行動とを対応付けた多数の第１教師データによって学習した第１学習済みモデルを有し、前記第１学習済みモデルを用いて、認識すべき前記行動検出データに対応する前記外科医の行動を導き出す、
   請求項４に記載の使用器具推定装置。
6. 前記状況認識部は、前記行動認識結果を含む状況検出データと手術の状況とを対応付けた多数の第２教師データによって学習した第２学習済みモデルを有し、前記第２学習済みモデルを用いて、認識すべき前記状況検出データに対応する手術の状況を導き出す、
   請求項４又は５に記載の使用器具推定装置。
7. 前記推定部は、前記状況認識結果を含む器具推定データと前記手術器具の種類とを対応付けた多数の第３教師データによって学習した第３学習済みモデルを有し、前記第３学習済みモデルを用いて、認識すべき前記器具推定データに対応する前記手術器具の種類を導き出す、
   請求項４～６のいずれか一項に記載の使用器具推定装置。
8. 前記推定部は、推定された前記手術器具が前記外科医へ渡される位置である手渡し位置を導き出す、
   請求項４～７のいずれか一項に記載の使用器具推定装置。
9. 請求項１～８のいずれか一項に記載の使用器具推定装置と、
   少なくとも１本のマニピュレータアームと、
   前記マニピュレータアームの動作を制御するロボット制御装置と、
   複数種類の手術器具を収容した器具庫とを備え、
   前記ロボット制御装置は、前記使用器具推定装置で推定された外科医が次に使用する少なくとも１種類の前記手術器具を前記器具庫から取り出して所定の手渡し位置まで搬送するように前記マニピュレータアームを動作させる、
   手術補助ロボット。
10. 外科手術中の外科医の動きを検出した行動検出データを取得すること、
    前記行動検出データを含む入力データと前記外科医が次に使用すると推定される少なくとも１種類の手術器具を含む出力データとを対応付けた多数の教師データによって学習した学習済みモデルを用いて、認識すべき前記入力データに対応する前記出力データを導き出すこと、及び、
    前記出力データを出力すること、を含む、
    使用器具推定方法。
11. 外科手術中の外科医の動きを検出した行動検出データを取得すること、
    前記行動検出データに基づいて前記外科医の行動を認識すること、
    認識された前記外科医の行動に基づいて手術の状況を認識すること、及び、
    認識された前記手術の状況に基づいて予め与えられた複数種類の手術器具の中から前記外科医が次に使用する少なくとも１種類を推定すること、を含む、
    使用器具推定方法。

Images