JPWO2022250031A5 - - Google Patents

Claims (25)

1. 術野画像の入力に応じて前記術野画像に含まれる臓器に関する情報を出力するよう学習された第１学習モデルによる演算を実行する第１演算部と、
   前記術野画像の入力に応じて前記術野画像内で発生した事象、前記術野画像に含まれる術具、又は前記術野画像が示す場面に関する情報を出力するよう学習された第２学習モデルによる演算を実行する第２演算部と、
   前記第１演算部より出力される演算結果と、前記第２演算部より出力される演算結果とに基づき、前記術野画像についての統合的な認識結果を導出する導出部と、
   導出した認識結果に基づく情報を出力する出力部と
   を備える情報処理装置。
2. 前記第２学習モデルが出力する情報は、出血又は損傷に関する情報を含み、
   前記導出部は、前記第１演算部の演算結果と前記第２演算部の演算結果とに基づき、出血又は損傷が発生した臓器の情報を導出する
   請求項１に記載の情報処理装置。
3. 前記第２学習モデルが出力する情報は、脈動に関する情報を含み、
   前記導出部は、前記第１演算部の演算結果と前記第２演算部の演算結果とに基づき、脈動している臓器の情報を導出し、
   前記出力部は、脈動に同期させて前記臓器を表示すべく前記臓器の表示情報を生成し、生成した前記臓器の表示情報を出力する
   請求項１に記載の情報処理装置。
4. 前記導出部は、前記第１演算部の演算結果より認識される臓器上で、前記第２演算部の演算結果より認識される術具が移動しているか否かを示す情報を導出し、
   前記出力部は、前記術具が前記臓器上で移動しているか否かに応じて前記臓器の表示態様を異ならせるべく前記臓器の表示情報を生成し、生成した前記臓器の表示情報を出力する
   請求項１に記載の情報処理装置。
5. 前記導出部は、前記第２演算部の演算結果より認識される術具が停止しているか否かを判断し、前記術具が停止していると判断した場合、前記第１演算部の演算結果に基づき臓器の認識処理を行い、前記術具が停止していないと判断した場合、前記認識処理を停止する
   請求項１に記載の情報処理装置。
6. 前記導出部が、前記第２演算部の演算結果より認識される術具が停止していないと判断した場合、前記出力部は、前記臓器の認識結果に基づく情報の出力を停止する
   請求項１に記載の情報処理装置。
7. 前記導出部は、前記第１演算部の演算結果と前記第２演算部の演算結果とに基づき、術具が処理している臓器の情報を導出する
   請求項１又は請求項４に記載の情報処理装置。
8. 前記導出部は、前記第２演算部の演算結果より認識される術具の寸法情報を取得し、取得した寸法情報に基づき、前記第１演算部の演算結果より認識される臓器の寸法情報を導出する
   請求項１又は請求項４に記載の情報処理装置。
9. 前記出力部は、前記第２演算部の演算結果より認識される術具の操作支援情報を出力する
   請求項１、又は請求項４から請求項８の何れか１つに記載の情報処理装置。
10. 前記導出部は、前記第２演算部の演算結果より認識される場面が特徴的な場面であるか否かを判断し、特徴的な場面であると判断した場合、前記第１演算部の演算結果に基づき前記臓器の認識処理を実行する
    請求項１に記載の情報処理装置。
11. 前記導出部は、前記第２演算部の演算結果より認識される場面に応じて事前情報を取得し、取得した事前情報を参照して、前記第１演算部の演算結果に基づく臓器の認識処理を実行する
    請求項１又は請求項１０に記載の情報処理装置。
12. 前記導出部は、前記第１演算部の演算結果に基づく臓器の認識結果と、事前情報との整合性を判断し、整合しないと判断した場合、前記認識結果と前記事前情報とが整合しない旨の警告情報を導出する
    請求項１、請求項１０、請求項１１の何れか１つに記載の情報処理装置。
13. 前記導出部は、前記第１演算部の演算結果に基づく臓器の認識結果と、事前情報との整合性を判断し、整合しないと判断した場合、前記臓器の認識処理を停止する
    請求項１、又は請求項１０から請求項１２の何れか１つに記載の情報処理装置。
14. 前記導出部が、前記第１演算部の演算結果に基づく臓器の認識結果と、事前情報とが整合しないとの認識結果を導出した場合、前記出力部は、前記臓器の認識結果に基づく情報の出力を停止する
    請求項１、又は請求項１０から請求項１２の何れか１つに記載の情報処理装置。
15. 前記第１学習モデルは、複数種の臓器の夫々に対応した複数の学習モデルを含み、
    前記導出部は、前記第２演算部の演算結果より認識される場面に応じて、前記第１学習モデルとして含む複数の学習モデルから一の学習モデルを選択し、選択した一の学習モデルを用いた演算を実行するよう前記第１演算部に指示する
    請求項１、又は請求項１０から請求項１４の何れか１つに記載の情報処理装置。
16. 前記導出部は、前記第１演算部の演算結果に基づいて臓器を認識する際に用いる閾値を、前記第２演算部の演算結果より認識される場面に応じて変更する
    請求項１、又は請求項１０から請求項１５の何れか１つに記載の情報処理装置。
17. 前記導出部は、検出すべき臓器を含む場面では、前記閾値を第１閾値に設定し、検出すべき臓器を含まない場面では、前記閾値を前記第１閾値よりも高い第２閾値に設定する
    請求項１６に記載の情報処理装置。
18. 前記導出部は、検出すべき臓器を認識するまでは、前記閾値を前記第１閾値よりも低い第３閾値に設定し、検出すべき臓器を認識した場合、前記閾値を前記第１閾値に設定する
    請求項１７に記載の情報処理装置。
19. 前記導出部は、前記第２演算部の演算結果より認識される場面の情報を基に、前記第１演算部の演算結果より認識される臓器の固有名称を導出する
    請求項１、又は請求項１０から請求項１８の何れか１つに記載の情報処理装置。
20. 前記導出部は、前記第１演算部の演算結果より認識される臓器の情報と、前記第２演算部の演算結果より認識される場面の情報とを基に、既知の構造体の情報を含む事前情報を参照し、前記第１演算部の演算結果より認識されない構造体の情報を導出する
    請求項１、又は請求項１０から請求項１９の何れか１つに記載の情報処理装置。
21. 前記導出部は、前記第１演算部の演算結果より認識される臓器の情報と、前記第２演算部の演算結果より認識される場面の情報とを基に、過去に発生した事例を含む事前情報を参照し、発生し得る事象の情報を導出する
    請求項１、又は請求項１０から請求項２０の何れか１つに記載の情報処理装置。
22. 前記導出部は、前記第１学習モデル及び前記第２学習モデルを含む複数の学習モデルの演算結果を組み合わせ、前記術野画像に現れる術具の使用状態を推定する
    請求項１から請求項２１の何れか１つに記載の情報処理装置。
23. 前記導出部は、同一対象物を含む術野画像についての前記第１演算部及び前記第２演算部による演算結果を取得し、取得した演算結果を評価することにより、前記第１演算部又は前記第２演算部におけるエラー情報を導出する
    を更に備える請求項１から請求項２２の何れか１つに記載の情報処理装置。
24. 術野画像の入力に応じて前記術野画像に含まれる臓器に関する情報を出力するよう学習された第１学習モデルによる演算を実行し、
    前記術野画像の入力に応じて前記術野画像内で発生した事象、前記術野画像に含まれる術具、又は前記術野画像が示す場面に関する情報を出力するよう学習された第２学習モデルによる演算を実行し、
    前記第１学習モデルによる演算結果と、前記第２学習モデルによる演算結果とに基づき、前記術野画像についての統合的な認識結果を導出し、
    導出した認識結果に基づく情報を出力する
    処理をコンピュータにより実行する情報処理方法。
25. 術野画像の入力に応じて前記術野画像に含まれる臓器に関する情報を出力するよう学習された第１学習モデルによる演算を実行し、
    前記術野画像の入力に応じて前記術野画像内で発生した事象、前記術野画像に含まれる術具、又は前記術野画像が示す場面に関する情報を出力するよう学習された第２学習モデルによる演算を実行し、
    前記第１学習モデルによる演算結果と、前記第２学習モデルによる演算結果とに基づき、前記術野画像についての統合的な認識結果を導出し、
    導出した認識結果に基づく情報を出力する
    処理をコンピュータに実行させるためのコンピュータプログラム。