JP2024016211A - 手術内容評価システム、手術内容評価方法及びコンピュータプログラム - Google Patents

手術内容評価システム、手術内容評価方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2024016211A
JP2024016211A JP2023191567A JP2023191567A JP2024016211A JP 2024016211 A JP2024016211 A JP 2024016211A JP 2023191567 A JP2023191567 A JP 2023191567A JP 2023191567 A JP2023191567 A JP 2023191567A JP 2024016211 A JP2024016211 A JP 2024016211A
Authority
JP
Japan
Prior art keywords
surgery
surgical
evaluation
instrument
anatomical structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023191567A
Other languages
English (en)
Inventor
直 小林
勇太 熊頭
成昊 銭谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANAUT INC.
Original Assignee
ANAUT INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANAUT INC. filed Critical ANAUT INC.
Publication of JP2024016211A publication Critical patent/JP2024016211A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Surgical Instruments (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】実際の手術の内容を客観的に評価することが可能な手術内容評価システム、手術内容評価方法及びコンピュータプログラムを提供すること。【解決手段】外科医によって行われた手術の内容を評価する手術内容評価システムは、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、手術画像において、身体の状態を示す身体情報を解析する解析手段と、解析手段が解析した身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備え、解析手段は、身体の解剖構造に関する情報を含む身体情報を解析し、身体情報は、解剖構造の状態に関する情報を含み、評価手段は、解剖構造が適切な状態となっているか否かを、評価し、評価手段は、良い手術及び／又は悪い手術又は評価値を正解データとして情報づけして作成されたＡＩの学習モデルをもちいて、手術の内容を評価する。【選択図】図１

Description

本発明は、外科医によって行われた手術の内容を評価する手術内容評価方法及びコンピュータプログラムに関する。
従来、外科医における手術の技術や、手術の進め方によって、患者の身体への負担が大きく異なることが知られている。このため、外科医には、手術のスキルの向上が求められている。
例えば、特許文献１には、模擬運動演算装置が、手術シミュレーション開始時に記憶装置から教育シナリオシーケンスをロードし、実行する第１の過程と、模擬運動演算装置で計算したシミュレーション中の模擬術具情報、シミュレーションモデルデータの情報を記憶装置に保存する第２の過程と、模擬運動演算装置は、シミュレーション終了時に記憶装置に保存された模擬術具情報、シミュレーションモデルデータの情報を基に評価項目に従い、評価する第３の過程とからなるコンピュータシミュレータを用いた手術シミュレーションが提案されている。
特開２０２０－７１４１８号公報
しかしながら、特許文献１の手術シミュレーションでは、模擬的な手術シミュレーションにおける技術を評価できるものの、実際の手術の内容を評価することはできない。手術のスキルの向上には、実際の手術の内容を客観的に評価することが欠かせない。外科医は、実際の手術の内容の客観的な評価を確認することで、反省点や改善点が明確になり、この反省点や改善点を解消することで、手術のスキルがより向上する。
本発明は、上記の点に鑑みてなされたものであり、実際の手術の内容を客観的に評価することが可能な手術内容評価システム、手術内容評価方法及びコンピュータプログラムを提供することを目的とする。
（１） 外科医によって行われた手術の内容を評価する手術内容評価システムであって、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段と、
前記解析手段が解析した前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
（１）の発明では、手術内容評価システムは、取得手段と、解析手段と、評価手段と、を備え、外科医によって行われた手術の内容を評価する。
取得手段と、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する。
解析手段は、手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する。
評価手段は、解析手段が解析した身体情報及び／又は器具情報に基づき、当該外科医によって行われている手術の内容を評価する。
（１）の発明によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報に基づき、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
（２） 前記解析手段は、前記手術画像における特定領域を分析し、
前記評価手段は、前記手術画像における前記特定領域が所定の閾値を超えた場合には、体液の流出又は臓器損傷があったと評価することを特徴とする（１）に記載の手術内容評価システム。
ここで、例えば、臓器を損傷させた場合、手術画像において、出血が発生すると血液の領域が広がり、胆汁が流出すると胆汁の領域が広がり、電気メス等による損傷は白色や黒色など焼灼された領域が広がる。このような体液の流出や臓器損傷は、患者への身体への影響を考慮すれば、手術の内容の評価対象として重要である。
（２）の発明によれば、例えば、体液の流出や臓器損傷があった場合に広がる領域を特定領域とし、この特定領域が所定の閾値を超えたか否かを判断し、所定の閾値を超えた場合には、体液の流出や臓器損傷があったと評価することで、重要な評価対象である体液の流出や臓器損傷を、客観的に評価することが可能となる。
（３） 前記解析手段は、前記器具に関する情報を含む前記器具情報を解析し、
前記評価手段は、前記器具に関する情報に基づき、手術における前記器具の操作態様を評価することを特徴とする（１）又は（２）に記載の手術内容評価システム。
ここで、手術において器具の操作態様に無駄な動き（例えば、器具が施術部位まで最短距離を移動しない等）があると、手術時間が長引き、患者への身体への負担が大きくなる。また、手術において器具の操作態様が不適切な場合（例えば、器具の向きが不適切な場合等）、器具により臓器損傷を起こしてしまう可能性が高まる。このため、器具の操作態様は、手術における患者への身体への負担を軽減することを考慮すれば、手術の内容の評価対象として重要である。
（３）の発明によれば、器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価することで、器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果からだけでなく、客観的に評価することが可能となる。
（４） 前記解析手段は、
身体の解剖構造に関する情報を含む前記身体情報を解析し、
前記解剖構造に対する前記器具の位置に関する情報を含む前記身体情報及び／又は前記器具情報を解析し、
前記評価手段は、前記解剖構造に対する前記器具の位置に関する情報に基づき、手術における前記解剖構造に対する前記器具の操作態様を評価することを特徴とする（１）から（３）のいずれかに記載の手術内容評価システム。
ここで、例えば、内臓における患部を切除する場合、患部を他の臓器と分離する必要がある。この場合、患部と他の臓器とを結合している解剖構造の一例である結合組織に対して、適切に器具の一例である電気メスを当てる必要がある。仮に、結合組織に対する電気メス位置が適切でなかった場合、電気メスが他の臓器に触れてしまい、他の臓器を損傷させてしまうおそれがある。このため、解剖構造に対する器具の位置は、手術におけるミスにつながる要素の評価対象として重要である。
（４）の発明では、解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価することで、解剖構造に対する器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果だけでなく、臓器損傷等のミスにつながる可能性も、客観的に評価することが可能となる。
（５） 前記解析手段は、複数のステップからなる手術の前記手術画像において、前記ステップをそれぞれ解析し、
ある前記ステップから、次の前記ステップまでの時間であるステップ間時間を測定する計時手段を、更に備え、
前記評価手段は、ある前記ステップ間に対して、前記計時手段が測定した前記ステップ間時間に基づき、手術の手際を評価することを特徴とする（１）から（４）に記載の手術内容評価システム。
ここで、手術は、複数のステップからなるところ、ステップ毎に、技術的な難易度や、患者への身体への影響が異なるため、ステップ毎に手術の内容を評価する必要がある。このため、あるステップから、次のステップまでの時間であるステップ間時間は、手術の内容を、ステップ毎に検討する際、評価対象として重要である。
（５）の発明によれば、あるステップから、次のステップまでの時間であるステップ間時間に基づき、手術の手際を評価するので、手術全体の時間だけでなく、ステップ毎の術者の手際を、客観的に評価することが可能となる。
（６） 外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析するステップと、
前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
（７） 外科医によって行われた手術の内容を評価する手術内容評価システムを、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
前記手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段、
前記解析手段が解析した前記身体情報及び／又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
（６）及び（７）の発明によれば、（１）の発明と同様の作用効果を奏する。
（８） 外科医によって行われた手術の内容を評価する手術内容評価システムであって、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
前記手術画像において、身体の状態を示す身体情報を解析する解析手段と、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
（８）の発明によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報に基づき、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
（９） 前記解析手段は、前記手術画像における前記身体情報の認識の程度を示す認識度を算出し、
前記評価手段は、前記認識度に応じて、外科医によって行われている手術の内容を評価することを特徴とする（８）に記載の手術内容評価システム。
（９）の発明によれば、手術画像における身体情報の認識の程度を示す認識度に応じて、外科医によって行われている手術の内容を評価することが可能となる。
（１０） 前記解析手段は、
前記身体情報の解析結果の確からしさを示す確信度を算出し、
前記認識度を、前記確信度に基づき算出することを特徴とする（９）に記載の手術内容評価システム。
（１０）の発明によれば、解析手段は、認識度を、身体情報の解析結果の確からしさを示す確信度に基づき算出することが可能となる。
（１１） 前記評価手段は、前記認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することを特徴とする（９）又は（１０）のいずれかに記載の手術内容評価システム。
（１１）の発明によれば、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することが可能となる。
（１２） 前記評価手段は、前記身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することを特徴とする（８）から（１１）のいずれかに記載の手術内容評価システム。
（１２）の発明によれば、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することが可能となる。
（１３） 前記解析手段は、外科医に操作されている器具の先端位置の軌道を解析し、
前記評価手段は、前記軌道に基づき、手術における前記器具の操作態様を評価することを特徴とする（８）から（１２）のいずれかに記載の手術内容評価システム。
（１３）の発明によれば、外科医に操作されている器具の先端位置の軌道に基づき、手術における器具の操作態様を評価することが可能となる。
（１４） 前記解析手段は、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の前記器具が当接した部位との位置関係を解析し、
前記評価手段は、前記位置関係に基づき、手術における前記器具の操作態様を評価することを特徴とする（８）から（１３）のいずれかに記載の手術内容評価システム。
（１４）の発明によれば、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係に基づき、手術における器具の操作態様を評価することが可能となる。
（１５） 前記取得手段は、時系列で連続的に複数の前記手術画像を取得し、
前記評価手段は、前記解析手段において、前記身体情報に含まれる特定の解剖構造に関する情報に対する前記認識度が、特定閾値以上と判定された前記手術画像を特定することを特徴とする（９）から（１４）のいずれかに記載の手術内容評価システム。
（１５）の発明によれば、時系列で連続的に複数の手術画像のうち、身体情報に含まれる特定の解剖構造に関する情報に対する認識度が、特定閾値以上と判定された手術画像を特定することが可能となる。
（１６） 外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
前記手術画像において、身体の状態を示す身体情報を解析するステップと、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
（１７） 外科医によって行われた手術の内容を評価する手術内容評価システムを、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
前記手術画像において、身体の状態を示す身体情報を解析する解析手段、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
（１６）及び（１７）の発明によれば、（８）の発明と同様の作用効果を奏する。
本発明によれば、実際の手術の内容を客観的に評価することが可能な手術内容評価システム、手術内容評価方法及びコンピュータプログラムを提供することができる。
本発明の実施形態に係る手術内容評価システムの概要を説明する図である。 本発明の実施形態に係る手術内容評価システムの機能構成を示す図である。 本発明の実施形態に係る手術内容評価システムにおける計時手段の処理を説明する図である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図４（ａ）は、流血が発生していない状態の手術画像である。図４（ｂ）は、流血が発生した状態の手術画像である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図６（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図６（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図７（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図７（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。 本発明の実施形態に係る手術内容評価システムが実行する手術内容評価処理フローを示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムにおける評価手段の処理を説明する図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図１６（ａ）は、痩せ型の患者の手術画像である。図１６（ｂ）は、肥満型の患者の手術画像である。 本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。 本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。 本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。 本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
（基本概念／基本構成）
図１は、本発明の実施形態に係る手術内容評価システムの概要を説明する図である。
手術内容評価システム１は、外科医によって行われた手術の内容を評価する。
手術内容評価システム１は、医療機関（例えば、病院等の外科医によって手術を行う機関）での、外科医における手術の様子を撮像した画像である手術画像を取得する。手術画像は、手術中の手術が行われている患者の身体及び外科医や助手等によって操作されている器具（例えば、鉗子や、電動のハサミや電気メス、超音波凝固切開装置等のエネルギーデバイス等）の様子が撮像されている。なお、手術画像は、動画でも、例えば、時系列的に連続的に撮像された静止画であってもよい。また、本実施形態において、手術画像は、内視鏡による手術において、アクセスポートから挿入されたカメラにより撮像された画像であるが、これに限らず、手術画像は、手術中の手術が行われている患者の身体及び外科医や助手等によって操作されている器具が撮像されていれば、例えば、手術支援ロボットにより取得された画像や、患者の上方から撮像された画像等であってもよい。
手術内容評価システム１は、手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により解析する。
そして、手術内容評価システム１は、解析手段が解析した身体情報及び／又は器具情報に基づき、ＡＩにより、当該外科医によって行われている手術の内容を評価し、評価結果を示す評価情報を、例えば、当該外科医が評価結果を確認可能な医療機関の端末に送信する。
このような、手術内容評価システム１によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報に基づき、ＡＩにより、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
したがって、実際の手術の内容を客観的に評価することが可能となる。
（機能構成）
図２は、本発明の実施形態に係る手術内容評価システムの機能構成を示す図である。
手術内容評価システム１は、複数の医療機関端末２と、ネットワークを介して接続されており、取得手段１１と、解析手段１２と、計時手段１３と、評価手段１４と、送信手段１５と、記憶手段２０と、を備える。
本実施形態において、医療機関端末２は、医療機関で管理されている端末でもよいし、医療機関に設置され、手術内容評価システム１の運営者に管理され、手術画像を撮像する撮像手段（例えば、カメラ）で撮像された手術画像を、手術内容評価システム１に送信し、手術内容評価システム１から評価情報を受信可能な端末であってもよい。
取得手段１１は、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する。取得手段１１は、医療機関端末２から手術画像を受信してもよいし、他の装置（例えば、手術画像を集積するサーバ等）から手術画像を受信してもよいし、予め記憶手段２０に記憶された手術画像を、記憶手段２０から読み出してもよい。また、取得手段１１は、手術画像に対応する手術中の音声データを受信してもよい。手術画像の解析結果に加え、このような音声データに基づき、例えば、術者と助手等とのコミュニケーションの状態や、術者の主体性や、焦りなどの術者の精神状態、術者の助手に対する指導性を評価してもよい。
また、取得手段１１は、外科医に操作されている器具の状態を示す器具情報（例えば、手術の時系列で検知された位置情報等）が、器具が備える各種センサ（例えば、ジャイロセンサ等）により検知されていた場合には、このような器具情報を取得し、対応する手術画像に対応付けて、記憶手段２０に記憶してもよい。
記憶手段２０には、手術画像や、後述する解析手段１２が解析で用いる解析用学習済情報や、後述する評価手段１４が評価で用いる評価用学習済情報が記憶されている。
解析用学習済情報は、過去に行われた複数の手術画像を、ＡＩに学習させることで、生成され、手術を構成する複数のステップを認識するためのステップ認識モデルや、手術画像における特定領域（例えば、体液（例えば、血液の流出で形成された赤色の領域や、胆汁の流出で形成された黄色の領域等）と識別される領域や、臓器が焼けた部分の領域等）を解析するための特定領域解析モデルや、患者の解剖構造（臓器、血管、脂肪、結合組織等）を識別するための解剖構造識別モデルや、外科医（術者や、助手等）が使用する器具（例えば、鉗子や、電動のハサミや電気メス等のエネルギーデバイス等）をそれぞれ識別する器具識別モデル等が含まれる。なお、解析用学習済情報は、解析時の検出閾値を変更可能であることが望ましい。
評価用学習済情報は、過去に行われた複数の手術画像を、ＡＩに学習させることで、生成され、手術画像における特定領域の大きさに対する所定の閾値を示す特定領域閾値モデルや、手術を構成する複数のステップ毎の解剖構造の状態と、器具の状態（器具の種類、器具の位置、器具の向き等）と、を判定するための解剖構造・器具状態判定モデル等が含まれる。なお、解析用学習済情報は、判定時の検出閾値を変更可能であることが望ましい。
解析用学習済情報及び評価用学習済情報は、公知の機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）等の任意の学習方法により生成され、予め記憶手段２０に記憶されている。また、解析用学習済情報及び評価用学習済情報は、手術内容評価システム１により生成されてもよいし、外部の装置により生成され、記憶手段２０に記憶されていてもよい。
解析手段１２は、取得手段１１が取得した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する。
具体的には、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶されたステップ認識モデルとを対比し、手術画像に示された状態が、手術を構成する複数のステップのいずれであるかを解析する。解析手段１２は、動画における各フレームや、時系列で取得された複数の連続的な静止画（以下、「フレーム等」ともいう。）毎に、どのステップかを解析する。なお、解析手段１２は、動画のｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）を調整してから、解析してもよい。例えば、動画のｆｐｓを抑えることで、手術内容評価システム１の処理負担や処理時間を抑えることが可能となる。
また、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された特定領域解析モデルとを対比し、手術画像における特定領域を解析する。解析手段１２は、フレーム等毎に、特定領域を解析する。ここで、本実施形態において、特定領域は、手術画像における体液（例えば、血液や胆汁等）の流出によりできた領域であり、例えば、色（例えば、血液の色である赤色や、胆汁の色である黄色や、臓器が焼けたときの白色、黒色等）や、領域のエッジ（体液は、水に比べ、粘度が高く、エッジに特徴がある。）等の特徴により、特定領域であると、解析手段１２により解析される。
また、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された解剖構造識別モデルとを対比し、身体情報の一例である手術画像に撮像されている解剖構造を解析する。解析手段１２は、フレーム等毎に、解剖構造を解析する。
また、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された器具識別モデルとを対比し、器具情報の一例である手術画像に撮像されている器具の状態（例えば、器具の種類や、器具の向き）を解析する。解析手段１２は、フレーム等毎に、撮像されている器具の状態を解析する。
計時手段１３は、取得手段１１が取得した手術画像に撮像されている手術を構成する複数のステップにおける、あるステップから、次のステップまでの時間であるステップ間時間を測定する。
図３は、本発明の実施形態に係る手術内容評価システムにおける計時手段の処理を説明する図である。
図３に示す例は、胆嚢摘出手術の手術画像であり、図３中上から胆嚢摘出手術におけるステップＸ（胆嚢の表出）と、次のステップであるステップＸ＋１（胆嚢管の切離）と、次のステップであるステップＸ＋２（胆嚢の摘出）を示している。
解析手段１２は、ステップ認識モデルにより、動画における連続的な複数のフレームのうちや、時系列で取得された複数の連続的な静止画のうち、ステップＸ、ステップＸ＋１、ステップＸ＋２が撮像されたフレームや静止画を特定する。
計時手段１３は、例えば、解析手段１２が特定したステップＸのフレーム等と、ステップＸ＋１のフレーム等との時間差であるステップ間時間ＴＸ＋１を測定する。
図２に戻って、評価手段１４は、解析手段１２が解析した身体情報及び／又は器具情報に基づき、当該外科医によって行われている手術の内容を評価する。
評価手段１４は、あるステップ間に対して、計時手段１３が測定したステップ間時間に基づき、手術の手際を評価する。具体的には、記憶手段２０には、各ステップ間時間毎に、手術の手際の基準となる時間が対応付けられた判断テーブルが記憶されており、評価手段１４は、手術の手際の基準となる時間と、計時手段１３が測定した、各ステップのステップ間時間とを対比し、例えば、基準時間よりステップ間時間がより短ければ、手術の手際に対する評価値をより高い値とし、基準時間よりステップ間時間がより長ければ、手術の手際に対する評価値をより低い値とする。
また、評価手段１４は、手術画像における特定色の成分が増大した場合には、体液の流出があったと評価する。
図４は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図４（ａ）は、流血が発生していない状態の手術画像である。図４（ｂ）は、流血が発生した状態の手術画像である。図４（ｂ）に示す例では、画像全般に特定色の一例である赤色の成分が増大しており、図４（ａ）に比べて、暗い画像となっている。
評価手段１４は、解析手段１２による手術画像の特定領域の解析結果と、記憶手段２０に記憶された特定領域の大きさに対する所定の閾値を示す特定領域閾値モデルと、を対比し、手術画像において、特定領域の大きさが所定の閾値を超えたか否かを判定し、特定領域の大きさが所定の閾値を超えた場合には体液の流出や臓器損傷があったと評価する。また、評価手段１４は、特定領域の大きさが所定の閾値にかかわらず、特定領域の大きさに応じて、体液の流出や臓器損傷について段階的に評価してもよい。例えば、評価手段１４は、特定領域が大きいほど、体液の流出や臓器損傷に関して、より低い評価値としてもよい。
また、評価手段１４は、フレーム等毎に、特定領域の大きさが所定の閾値を超えたか否かを判定し、特定領域の大きさが所定の閾値を超えた起点となったフレーム等の時間（例えば、手術画像が動画であれば、動画開始からの経過時間や、手術開始からの経過時間）を特定してもよい。このような時間が特定されることで、この時間前後の手術画像を確認し、出血等の原因となった器具の操作や、臓器における出血等した位置の特定が容易になる。
また、評価手段１４は、解析手段１２が解析した器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価する。
具体的には、評価手段１４は、解析手段１２によるフレーム等毎の器具の状態の解析結果と、記憶手段２０に記憶された解剖構造・器具状態判定モデルとを対比し、手術における器具の操作態様を評価する。
ここで、解剖構造・器具状態判定モデルには、手術を構成する複数のステップ毎に、器具の基準となる種別、基準となる向き、基準となるルート、基準となるスピード等が規定されている。評価手段１４は、このような解剖構造・器具状態判定モデルと、解析手段１２による解析結果と、を対比することで、例えば、適切な器具が選択されているか、器具が適切に使用されているか、結紮が適正に行われているか、縫合が適切に行われているか、血管が適切に処理されているか等を評価する。
図５は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図５に示す例は、術者の左手（非優位手）に操作されている鉗子Ｄ１と、術者の右手に操作されているエネルギーデバイスＤ２が撮像されている。
解析手段１２は、フレーム毎に、撮像されている器具の状態を解析することで、時系列で変化する器具（図５に示す例では、エネルギーデバイスＤ２）の軌道を解析する。図５では、模式的に、各フレームにおける器具の先端位置に点を付し、この点を結んだ黒線で器具の軌道を示している。
評価手段１４は、上記の解析手段１２が解析した軌道に対して、直線かブレがないかを評価したり、軌道で操作した総距離から、器具が適切に使用されているかを評価する。このような器具の軌道の総距離が、基準値（解剖構造・器具状態判定モデルに規定されている基準）より長ければ長いほど、器具が適切に使用されているかの評価値がより低くなる。
評価手段１４は、解析手段１２が解析した軌道と、解剖構造・器具状態判定モデルと、を対比することで、器具の操作中のふるえの有無、移動速度の一定性（加速度が少ない）、器具が挿入されてから、当該器具を使用する位置まで最短距離を移動しているか、器具がエネルギーデバイスである場合に、使用中に静止できているか、器具の使用にめりはりがあり、鈍的剥離、鋭的切離の使い分けが適切か、切離ラインが直線的か否か等を評価することができる。このような評価は、手術中の経過において、上記軌道の性質に経時的変化が生じたことによって、術者の精神状態（集中力の低下）の評価に利用することができる。
また、評価手段１４は、解析手段１２が解析した身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。なお、解剖構造に対する器具の位置に関する情報は、器具情報のみでなく、身体情報及び／又は器具情報に含めてもよい。
具体的には、評価手段１４は、解析手段１２によるフレーム等毎の解剖構造及び器具の状態の解析結果と、記憶手段２０に記憶された解剖構造・器具状態判定モデルとを対比し、手術における解剖構造に対する器具の操作態様を評価する。
ここで、解剖構造・器具状態判定モデルには、手術を構成する複数のステップ毎に、解剖構造に関して、適切な結合組織の露出面積、血管や結合組織に対する適切なテンション、結紮する血管の周囲の適切な状況（例えば、結紮する血管の周囲に余計な臓器がまとわりついていない状況）等が規定されている。評価手段１４は、このような解剖構造・器具状態判定モデルと、解析手段１２による解析結果と、を対比することで、解剖構造に対して、適切な位置や、適切な力加減で、器具が操作されているかを評価する。
また、解剖構造・器具状態判定モデルには、上記の他には、各臓器の適切な形状や色が規定されている。評価手段１４は、このような解剖構造・器具状態判定モデルと、解析手段１２による解析結果と、を対比することで、相違点があれば、臓器に対して、不適切な器具の操作があったと評価する。例えば、臓器の適切な色と異なる色となっていれば、器具（電気メス等）による焼けた痕であり、不適切な器具の操作があったと評価する。
図６は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図６（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図６（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。
図６（ａ）に示す例では、解剖構造の一例である結合組織（図中白丸で囲った部分）に対して、術者の左手（非優位手）に操作されている器具（図６（ａ）に示す例では、鉗子Ｄ４）により、適切なテンションが掛けられておらず、エネルギーデバイスＤ４で切断する部分が他の臓器に近接しており、このまま、エネルギーデバイスＤ４を近接させた場合、他の臓器を損傷するおそれがある。
解析手段１２により、図６（ａ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様についての評価値を低くする。
図６（ｂ）に示す例では、解剖構造の一例である結合組織（図中白丸で囲った部分）に対して、鉗子Ｄ４により、適切なテンションが掛けられており、エネルギーデバイスＤ４で切断する部分が他の臓器から離間している。
解析手段１２により、図６（ｂ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様についての評価値を高くする。評価手段１４は、解剖構造・器具状態判定モデルに規定された結合組織に対する適切なテンションに近似するほど、手術における解剖構造に対する器具の操作態様についての評価値をより高くすることができる。
図７は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図７（ａ）は、解剖構造に対して、適切に器具が操作されていない状態を示している。図７（ｂ）は、解剖構造に対して、適切に器具が操作されている状態を示している。
図７（ａ）に示す例では、解剖構造の一例である脂肪に対して、助手により操作されている器具（図７（ａ）に示す例では、鉗子Ｄ５）により、適切に脂肪がつかまれておらず、弛み（図７（ａ）中上部の白線）が生じている。この状態では、エネルギーデバイスで、適切に脂肪を切断できない。
解析手段１２により、図７（ａ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様や、助手との連携についての評価値を低くする。
図７（ｂ）に示す例では、解剖構造の一例である脂肪の上部が、助手により操作されている鉗子Ｄ５により、直線上に保持され、下部において、術者の左手（非優位手）に操作されている鉗子Ｄ６により、つかまれ、脂肪に対して適切なテンション掛けられており、脂肪に切断部分として適切な三角形形状（図７（ｂ）中の白線部分）が形成されている。
解析手段１２により、図７（ｂ）に例示する状態が解析された場合、評価手段１４は、手術における解剖構造に対する器具の操作態様や、助手との連携についての評価値を高くする。評価手段１４は、解剖構造・器具状態判定モデルに規定された脂肪の切断位置に対する形状（例えば、ヨットの帆のような、適切なテンションで張られた三角形形状）に、解析結果の脂肪の切断位置の形状が近似するほど、手術における解剖構造に対する器具の操作態様や、助手との連携についての評価値をより高くすることができる。
評価手段１４は、解析手段１２による解析結果に応じて決定した評価値を、手術の内容を評価する各項目に対応付け、配列した表形式や、グラフ形式や、レーダー形式等の任意の形態で、医療機関端末２で表示可能な評価情報を生成する。
また、評価手段１４は、評価値に応じた技術改善を促す提案となる提案情報や、評価値に応じた各評価項目における理想的な手技画像を抽出してもよい。この場合、手術内容評価システム１は、例えば、記憶手段２０に、評価項目毎に、評価値に対応した提案情報や手技画像を記憶しており、評価手段１４は、記憶手段２０を参照して、決定した評価値に応じた提案情報や手技画像を抽出する。また、評価手段１４は、解析結果について、上記理想的な手技画像に対する相対的な評価値を決定してもよい。
また、手術内容評価システム１は、取得手段１１が取得した手術画像のダイジェスト版画像を生成する画像編集手段を備えてもよい。画像編集手段は、取得手段１１が取得した手術画像から、例えば、解析手段１２が特定した手術における各ステップのフレームを含む所定時間の動画を、ステップ毎に抽出し、これらを合成することで、ダイジェスト版画像を生成する。また、画像編集手段は、取得手段１１が取得した手術画像から、例えば、評価手段１４による評価値が、予め設定された基準値より低いと評価したフレームを含む所定時間の動画抽出し、これらを合成することで、ダイジェスト版画像を生成してもよい。
図２に戻って、送信手段１５は、評価手段１４が生成した評価情報を、医療機関端末２に送信する。また、送信手段１５は、評価手段１４が抽出した提案情報や理想的な手技画像やダイジェスト版画像を医療機関端末２に送信してもよい。なお、送信手段１５は、ダイジェスト版画像における手術の術者とは異なる者である評価者（例えば、ダイジェスト版画像における手術の内容を評価可能な外科医）の医療機関端末２に送信してもよい。この場合、手術内容評価システム１は、医療機関端末２から、送信したダイジェスト版画像に基づく、評価者の評価を示す人間評価情報を受信してもよい。そして、送信手段１５は、評価手段１４が生成した評価情報とともに、人間評価情報を、医療機関端末２に送信してもよい。
上記の本システムの機能構成は、あくまで一例であり、１つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて１つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置や端末に内蔵されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ハードディスク等の記憶装置（記憶部）に格納されたコンピュータプログラム（例えば、基幹ソフトや上述の各種処理をＣＰＵに実行させるアプリ等）を読み出し、ＣＰＵにより実行されたコンピュータプログラムによって実現される。なお、各機能処理部は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で構成してもよい。すなわち、各機能処理部は、このコンピュータプログラムが、記憶装置に格納されたデータベース（ＤＢ；Ｄａｔａ Ｂａｓｅ）やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア（例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、入出力装置、表示装置、通信インターフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベース（ＤＢ）は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。
（処理フロー）
図８は、本発明の実施形態に係る手術内容評価システムが実行する手術内容評価処理フローを示す図である。
ステップＳ１において、取得手段１１は、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を、医療機関端末２や記憶手段２０から取得する。
ステップＳ２において、解析手段１２は、ステップＳ１で取得手段１１が取得した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報を解析する。また、本ステップにおいて、解析手段１２は、ステップＳ１で取得手段１１が取得した手術画像における特定色（例えば、血液の色である赤色や、胆汁の色である黄色等）の色成分を解析する。
ステップＳ３において、計時手段１３は、ステップＳ１で取得手段１１が取得した手術画像に撮像されている手術を構成する複数のステップにおける、あるステップから、次のステップまでの時間であるステップ間時間を測定する。
ステップＳ４において、評価手段１４は、あるステップ間に対して、計時手段１３が測定したステップ間時間に基づき、手術の手際を評価する。また、本ステップにおいて、評価手段１４は、ステップＳ２における解析手段１２による手術画像の特定色の色成分の解析結果に基づき、手術画像において、特定色の成分が増大したか否かを判定し、特定色の成分が増大したと判定した場合には体液の流出があったと評価する。また、本ステップにおいて、評価手段１４は、ステップＳ２で解析手段１２が解析した器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価する。また、本ステップにおいて、評価手段１４は、ステップＳ２で解析手段１２が解析した、身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。そして、本ステップにおいて、評価手段１４は、評価を医療機関端末２で表示可能な評価情報を生成する。
ステップＳ５において、送信手段１５は、ステップＳ４で評価手段１４が生成した評価情報を、医療機関端末２に送信する。
このような手術内容評価システム１によれば、外科医によって手術が行われている患者の身体を撮像した手術画像において、身体の状態を示す身体情報及び／又は外科医に操作されている器具の状態を示す器具情報に基づき、当該外科医によって行われている手術の内容を評価するので、実際の手術の内容を客観的に評価することが可能となる。
したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
また、手術内容評価システム１によれば、手術画像における特定色の成分が増大した場合には、体液の流出があったと評価することで、重要な評価対象である臓器損傷を、客観的に評価することが可能となる。
また、手術内容評価システム１によれば、器具情報に含まれる器具に関する情報に基づき、手術における器具の操作態様を評価することで、器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果からだけでなく、客観的に評価することが可能となる。
また、手術内容評価システム１によれば、解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価することで、解剖構造に対する器具の操作態様を、術者の感覚や、臓器損傷が無かった等の結果だけでなく、臓器損傷等のミスにつながる可能性も、客観的に評価することが可能となる。
また、手術内容評価システム１によれば、あるステップから、次のステップまでの時間であるステップ間時間に基づき、手術の手際を評価するので、手術全体の時間だけでなく、ステップ毎の術者の手際を、客観的に評価することが可能となる。
［応用例］
次に、本発明の実施形態の応用例について説明する。以下の説明において、本実施形態と同様の構成には、同一の符号を付し、その説明を省略又は簡略する。
応用例に係る手術内容評価システム１は、本実施形態の構成に加え、主に、解析手段１２（図２参照）が、身体情報の認識の程度を示す認識度を算出し、評価手段１４（図２参照）が、この認識度に応じて、外科医によって行われている手術の内容を評価する。
応用例において「認識度」とは、手術画像に対する解析手段１２による解析結果の確からしさを示す確信度が一定の閾値以上のピクセル数や面積、確信度の総量、又はそれらの増減の速度や加速度、臓器等の構造物の連続性（途絶などないこと）の程度である。
図９は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
図９に示す例は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて決定した評価値が、グラフ形式で示されている。
例えば、図９に示す例において、図中右側のグラフは、手術中のデータ推移を示しており、横軸が手術における経過時間（図９に示す例では、手術開始時を０とし、手術終了時を１００としている。）であり、縦軸が各項目の程度としたものである。このグラフでは、項目として、確信度、デバイス移動量、出血量、ステップ間の手術時間、器具・構造物の相対位置の推移を示すグラフを、同じ時間軸に重ねて配置している。このような評価情報により、解析手段１２（ＡＩ）が解析を行う際に算出した解析結果の確からしさを表す確率（確信度）と、解析手段１２による解析結果（デバイス移動量、出血量、ステップ間の手術時間、器具・構造物の相対位置等）との関係から、手術の内容を評価することが可能となる。
また、評価情報には、図９の左側に示すように、術中のイベント推移（各イベントの経過時間）を、円グラフで示す情報や、解析手段１２や評価手段１４が使用したＡＩモデルの使用率を示す情報や、手術時間を示す情報を、含めてもよい。
（解剖構造の認識度合いを用いた評価）
解析手段１２は、手術画像における身体情報（例えば、解剖構造）の認識の程度を示す認識度を算出する。詳細には、解析手段１２は、身体情報の解析結果の確からしさを示す確信度を算出し、認識度を、確信度に基づき算出する。
そして、評価手段１４は、この認識度に応じて、外科医によって行われている手術の内容を評価する。
図１０は、本発明の実施形態の応用例に係る手術内容評価システムにおける評価手段の処理を説明する図である。図１０は、脂肪組織を剥離し、神経を露出させるステップの手術画像を示している。脂肪組織剥離前の手術画像（上段の図）では神経組織が露出していない。そして、手術が進み、脂肪組織剥離後の手術画像（下段の図）では神経組織が露出しており、神経組織が途絶しておらず、神経組織が連続していることが確認できる。
図１０の脂肪組織剥離後の手術画像（下段の図）において、左側はカメラで撮像されたオリジナル画像であり、右側はこのオリジナル画像に、解析手段１２の解析により神経組織の部分が特定され、着色されている。解析手段１２は、手術画像において、神経組織が表示されている部分を解析し、解析結果のうち、確信度が所定の閾値を超えた部分に着色する。
例えば、脂肪組織の剥離が不十分な場合や、電気メス等により神経組織を焼いてしまった焼灼跡がある場合、図１０の脂肪組織剥離後の手術画像に示す例に比べ、神経組織の露出面積（確信度が所定の閾値を超えた部分の面積）が少なくなる。このような手術の内容は、低評価とされている。
このような場合、神経組織が十分に露出しており、神経組織が途絶していない場合に比べ、解析手段１２に算出される身体情報の一例である神経組織の認識度が低下する。そして、評価手段１４は、認識度が低下した場合、これに応じて、外科医によって行われている手術の内容を低く評価する。
解析手段１２は、身体情報の一例である対象臓器の露出面積（確信度が閾値を超えたピクセル数の合計）を算出して認識度としてもよいし、対象臓器の確信度の総量を算出して認識度としてもよいし、対象臓器の連続性から認識度を算出してもよいし、これらを複合して認識度を算出してもよい。
また、神経の他にも血管、尿管、精管、膵臓など、温存するべき重要臓器は、綺麗に（周囲の組織から剥離され、かつ途絶などがない状態）露出することが上手い手術と評価される一つの基準である。このため、温存臓器の露出面積の上昇速度が高いと、円滑に温存臓器が露出されたことを示しており、良い評価となる。
このような評価基準を踏まえ、評価手段１４は、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価してもよい。具体的には、評価手段１４は、認識度の増減の速度や加速度に応じて、手術の内容を評価してもよい。例えば、評価手段１４は、認識度の増減の速度が早ければ、速やかに手術が進行しているとの評価をしてもよいし、認識度の増減の加速度が一定であれば、安定して手術が進行しているとの評価をしてもよい。
なお、評価手段１４は、解析手段１２の解析結果が反映された良い評価例（良い手術と評価されている例）と悪い評価例（悪い手術と評価されている例）をＡＩ学習した学習モデルを生成し、この学習モデルを用いて、評価してもよい。
具体的には、良い手術とは、手術合併症がない、熟練の医師が行っている、熟練の医師が良い手術と判断した手術などである。また、悪い手術とは、手術合併症があった、不慣れな医師が行っている、熟練の医師が良くない手術と判断した手術などである。
評価手段１４は、これらを、正解データとして情報付けすることによって、ＡＩにより評価を学習し、良い評価、悪い評価をする。
図１１は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
図１１は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて決定した評価値が、グラフ形式で示されている。図１１に示す例は、臓器を切除する手術における切除臓器の確信度の推移を示しており、評価手段１４の評価点がより高い例と、より低い例とを重ねて示している。
図１１に示されるように、評価手段１４は、切除臓器との解析結果に対する確信度の最高値がより高く（良く露出されている、カメラの手振れや出血が少ない）、また、確信度が０．１以下の期間が長いほど（適切に切除できているので、切除臓器と解析された部分が無い又は極めて少ない）、より高い評価点とする。
なお、評価手段１４における評価の評価指標は、確信度ではなく、確信度が一定以上のピクセル量、ピクセル量の増減速度（処理時間が早い）にしてもよいし、増減速度が一定であってもよい（手技にぶれがない）。このように、評価手段１４は、確信度に基づく認識度に限らず、その他の要素に基づく認識度に応じて、外科医によって行われている手術の内容を評価してもよい。
図１２は、本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。
ここで、手術では、切除する切除臓器と、温存する温存臓器とが混在する。図１２は、このような場合における切除臓器と温存臓器の認識度の時間的変化を示している。
評価手段１４は、解析手段１２による解剖構造や器具の状態（使用されている器具の種類等）の解析結果に基づき、手術シーンを認識（温存臓器から切除臓器を切除するイベント認識）する。評価手段１４は、イベント認識後における、切除臓器（例えば、結合組織等）の認識度合いの変化と、温存臓器（神経）の認識度合いの変化と、に基づき、外科医によって行われている手術の内容を評価する。例えば、評価手段１４は、イベント認識後、切除臓器の認識度合いが低下し、温存臓器の認識度合いが増加していれば、より高い評価点とする。
（器具認識の評価）
図１３は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
図１３は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて算出された移動量が、グラフ形式で示されている。図１３に示す例は、外科医に操作されている器具の先端位置の軌道における移動量の推移を示しており、評価手段１４の評価点がより高い例と、より低い例とを重ねて示している。
図１３に示されるように、評価手段１４は、器具の移動量が少ないほど、効率よく手術したことが推定できることから、より高い評価点とする。
また、解析手段１２は、本実施形態と同様に、器具の先端位置の軌道（図５参照）を解析する。また、評価手段１４は、本実施形態と同様に、解析手段１２が解析した軌道に対して、直線かブレがないかを評価したり、軌道で操作した総距離から、器具が適切に使用されているかを評価する。器具の先端位置の軌道における総距離やブレは、器具の操作における無駄な動きに比例して大きくなるので術者の技術評価になる。また、評価手段１４は、器具が把持鉗子である場合に、先端部の開閉の頻度に基づき、器具が適切に使用されているかを評価してもよい。さらに、評価手段１４は、隣接するフレーム間における器具の先端位置の間隔から算出される速さや、ジャイロセンター（鉗子側）等で計測される加速度に基づき、手術における器具の操作態様を評価してもよい。また、解析手段１２は、外科医に操作されている器具の解剖構造に当接した部分である作用点（例えば、鉗子や切除器具の先端等）と、解剖構造の当該器具が当接した部位（例えば、鉗子で把持された部分や、切除器具で切断された部分）との位置関係を解析する。具体的には、解剖構造と器具を含む組織を把持している部位を画像認識させ、組織を適切に把持できているか否かを正解データとし情報づけし、ＡＩの学習モデル（解剖構造・器具状態判定モデル）を作成することで、評価してもよい。例えば、良い評価は、把持している状態の確信度が高いと良い手術操作である。何らかの処理を行っている状態をＡＩ学習させることで、切除器具などにも応用は可能である。
（器具と構造物の位置情報を用いた評価）
本実施形態と同様に、評価手段１４は、解析手段１２が解析した身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。さらに、評価手段１４は、解析手段１２が解析した身体の解剖構造と器具（例えば、鉗子等）の位置情報（例えば、上述の外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係）を用いて、手術の内容を評価してもよい。具体的には、評価手段１４は、解剖構造と鉗子の先端の位置情報に基づき、鉗子で臓器を適切な位置で把持されているかを評価してもよい。
この場合、評価手段１４は、解剖構造と器具の三次元の絶対位置、解剖構造と器具の二次元の絶対位置、解剖構造と器具の三次元の相対位置又は解剖構造と器具の二次元の相対位置に基づき、手術の内容を評価することができる。
図１４は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
図１４は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて算出された解剖構造と術器具の先端の位置が、グラフ形式で示されている。図１４に示す例は、構造物（解剖構造）の重心の三次元の絶対位置と、手術器具の先端位置の三次元の絶対位置との推移を示している。詳細には、構造物の重心のｘ，ｙ，ｚ方向のそれぞれの位置、術器具の先端位置のｘ，ｙ，ｚ方向のそれぞれの位置の推移が示されている。構造物の重心とは、解析手段１２により対象構造物（例えば、膵臓等）と解析された部分の面積の重心位置（１／２点や１／３点等）である。なお、構造物の重心の代わりに、当該部分の輪郭（上縁、下縁、左縁、右縁）の位置を用いてもよい。
図１５は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
図１５は、評価手段１４により生成され、医療機関端末２で表示可能な評価情報の一例であり、解析手段１２による解析結果に応じて算出された解剖構造と術器具の先端との相対位置が、グラフ形式で示されている。図１５に示す例は、構造物（解剖構造）の重心と手術器具の先端との相対位置の推移を示している。詳細には、構造物の重心と手術器具の先端との相対的なｘ，ｙ，ｚ方向のそれぞれの位置の推移が示されている。
評価手段１４は、解剖構造の種類や手術内容に応じて、解剖構造と器具の位置関係の推移から、手術の内容を評価する。例えば、評価手段１４は、解剖構造が温存臓器の場合は、切除目的に使用する器具（切除器具）と温存臓器とは離れていた方が、手術の内容をより高く評価する。また、評価手段１４は、解剖構造が切除臓器の場合は、切除器具と切除臓器とが近い方が、手術の内容をより高く評価する。また、この場合、評価手段１４は、切除器具と切除臓器の相対位置が近くなる速度が速い場合や、加速度が一定の場合に、手術の内容をより高く評価してもよい。
また、図１４及び図１５に示すような評価情報を累積的に記憶手段２０に記録し、これらの評価情報を、適切な手術（例えば手術の有害事象が発生しなかった手術、経験豊富な外科医が行った手術等）、不慣れな手術（手術の有害事象が発生した術、経験不十分な外科医が行った術等）に分け、それぞれの平均値を取ることで、上手な手術と不慣れな手術の境界点を求めたり、ＡＩに学習させ、解剖構造と器具の位置関係の推移から、手術の内容を評価するための学習モデルを生成してもよい。これにより、評価手段１４は、このような境界点や学習モデルを用いて、解剖構造と器具の位置関係の推移から、手術の内容を評価することができる。
（解剖構造の認識度合いによっての手術の難易度の評価）
評価手段１４は、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価する。
図１６は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図１６（ａ）は、痩せ型の患者の手術画像である。図１６（ｂ）は、肥満型の患者の手術画像である。
図１６（ａ）に示すように、患者が痩せ型の場合、脂肪量が少ないので、血管が良く透見できるため、低難易度手術となる。一方、患者が肥満型の場合、脂肪が対象臓器に癒着しており、血管が見えず、高難易度手術となる。
評価手段１４は、脂肪や血管、結合組織で構成される癒着などの面積量を手術の序盤で評価し、手術難易度を評価する。また、評価手段１４は、このような手術の序盤における評価に基づき、手術の内容の最終評価値の補正をしてもよい。また、評価手段１４は、このような手術の序盤において、高難易度の手術との評価をした場合、出血リスクが高い等の警告・示唆を示す警告情報を、医療機関の端末に送信してもよい。
（出血回数、出血面積の評価）
図１７は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。
本実施形態と同様に、解析手段１２は、取得手段１１が取得した手術画像と、記憶手段２０に記憶された特定領域解析モデルとを対比し、手術画像における特定領域（体液（例えば、血液、胆汁、腸液等）の流出によりできた領域）を解析し、特定領域（図１７に示す例では、出血と差し示した部分）や特定領域の輪郭を着色する。
評価手段１４は、解析手段１２により特定領域が解析された回数（体液が流出した回数）を定量化し、この回数に応じて、外科医によって行われている手術の内容を評価する。また、解析手段１２は、特定領域を形成する体液の種類（血液、胆汁、腸液等）を判別してもよい。この場合、評価手段１４は、特定領域を形成する体液の種類毎の回数に応じて、外科医によって行われている手術の内容を評価してもよい。例えば、評価手段１４は、解析手段１２が体液の種類を血液と判別した場合には、回数が多くなるほど徐々に評価を低下させ、解析手段１２が体液の種類を特定体液（胆汁、腸液等）と判別した場合には、１度でも、特定体液の流出が解析されたら、著しく評価を低下させてもよい。
また、解析手段１２は、器具情報として、流出した体液を処理する体液処理具（例えば、出血を拭う為に使用されるガーゼ等）を解析する。評価手段１４は、解析手段１２により体液処理具が解析された回数や、体液処理具の移動距離（フレーム毎の面積）に応じて、外科医によって行われている手術の内容を評価してもよい。体液処理具（例えば、ガーゼ等）の挿入回数や移動距離が多いと、出血に対する処置を行ったことが多い可能性がある。このため、評価手段１４は、体液処理具が解析された回数や、体液処理具の移動距離の値が大きいほど、評価を低下させてもよい。
なお、体液処理具（例えば、ガーゼ等）は、温存組織を愛護的に抑えるために用いられる場合もある。このため、評価手段１４は、身体の解剖構造と体液処理具の位置情報を用いて、手術の内容を評価を補正してもよい。例えば、評価手段１４は、温存組織と体液処理具の位置が近接しており、体液処理具の移動が解析されない場合（体液処理具が愛護的に抑えるために用いられていると推定される場合）、体液処理具が解析されても、評価を低下させなくてもよい。
図１８は、本発明の実施形態の応用例に係る手術内容評価システムの評価手段における評価基準の一例を示す図である。図１８は、特定領域（例えば、血液）の面積と器具（例えば、切除器具）の移動距離の時間的変化を示している。
図１８に示す例では、特定領域の面積が減少することなく（出血量が減ることなく）、切除器具が動き続けている。このような場合、止血せずに操作を進めていると推定され、評価手段１４は、評価を低下させる。
（解剖構造の認識度合いを用いた映像抽出と動画編集）
本実施形態と同様に、手術内容評価システム１は、取得手段１１が取得した手術画像のダイジェスト版画像を生成する画像編集手段を備えてもよい。画像編集手段は、取得手段１１が取得した手術画像から、例えば、解析手段１２が特定した手術における各ステップのフレームを含む所定時間の動画を、ステップ毎に抽出し、これらを合成することで、ダイジェスト版画像を生成する。
このような場合、評価手段１４は、解析手段１２において、身体情報に含まれる特定の解剖構造に関する情報に対する認識度が、特定閾値以上と判定された手術画像（フレーム）を特定する。
図１９は、本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。図１９は、対象臓器の認識度合いの時間的変化と、抽出される動画の範囲を示している。
評価手段１４は、解析手段１２において、身体情報に含まれる特定の解剖構造（例えば、神経組織等の対象臓器）に関する情報に対する認識度が、特定閾値以上（神経組織の面積（ピクセル量もしくは確信度の総量））と判定した手術画像（フレーム）を、動画抽出ポイントに設定する。そして、画像編集手段は、動画抽出ポイントの前後の所定期間を、自動的に抽出し、動画を編集する。所定期間としては、例えば、解析手段１２により当該解剖構造が解析されてから（当該解剖構造の認識度が発生してから）、当該解剖構造が解析されなくなるまで（当該解剖構造の認識度が０になるまで）である。
なお、評価手段１４は、対象臓器の確信度が一定以上の手術画像（フレーム）を特定しても良い。また、評価手段１４は、操作器具と構造物の確信度や、構造物の面積のグラフの関係から、動画抽出ポイントを設定しても良い。
これにより、手術全体を撮像した動画から、解剖構造（例えば、神経組織等）が出始めたところから、解剖構造が出なくなるところまで、動画抽出を自動的に行うことができる。このように、手術中の特定のシーンを抽出した動画を利用して、手術の内容の評価をすることで、手術全体を撮像した動画に基づき評価する場合に比べて、評価を効率的に行うことが可能となる。
また、例えば、画像編集手段は、手術中の特定のシーンを抽出した際に、各エキスパート医師の切除ラインを学習したＡＩモデルにより提示される器具の軌跡（例えば、切除ライン等）を、抽出した動画において表示させてもよい。また、画像編集手段は、抽出した動画において、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）等により、切除した後の予測術野や予測構造物を表示させてもよい。
図２０は、本発明の実施形態の応用例に係る手術内容評価システムの画像編集手段における処理を説明する図である。図２０は、手術画像を撮像する撮像手段（例えば、カメラ）の操作による手術画像の推移を示している。
体内を撮像するカメラは、体外から体内に挿通されたカメラポート内を通される。
図２０の上段は、体内に配置されたカメラを体外に引き出した場合の手術画像の推移を示している。図２０の下段は、体外から体内にカメラを挿入した場合の手術画像の推移を示している。
例えば、カメラが体内に配置され、解析手段１２により構造物が解析されていた場合に、カメラが体外に引き出されると、確信度が０になる。その後、体外から体内にカメラが挿入されると、解析手段１２により構造物が解析され確信度が上昇する。評価手段１４は、対象臓器の確信度が０になる第１ポイントと、その後、再び確信度が上昇する第２ポイントを特定してもよい。また、解析手段１２は、器具情報として、カメラ外の固定の構造物（例：カメラポート）を解析してもよい。この場合、評価手段１４は、身体情報を解析開始後に、このような構造物が解析されたときを第１ポイントと特定してもよい。このように評価手段１４に特定された第１ポイント及び第２ポイントに基づき、画像編集手段は、第１ポイントと第２ポイントとの間の動画を自動的に削除してもよい。
このような応用例に係る手術内容評価システム１によれば、手術画像における身体情報の認識の程度を示す認識度に応じて、外科医によって行われている手術の内容を評価することが可能となる。
例えば、手術の対象臓器等が、他の臓器から切り離されて露わにされていれば、手術画像において、当該対象臓器等の身体情報が明確になっており、身体情報の認識の程度がより高くなり、認識度がより高くなる。一方、手術の対象臓器等が、他の臓器としっかり分離できていない場合、手術画像において、当該対象臓器等の身体情報が不明確となり、身体情報の認識の程度がより低くなり、認識度がより低くなる。
そして、当然に、手術の対象臓器等が、他の臓器から切り離されて露わにされているほど、対象臓器への施術がスムーズに行われ、他の臓器に損傷を与える可能性が低減し、患者の身体への負担が少ない良い手術となる（手術の内容の評価がより高くなる。）。
また、応用例に係る手術内容評価システム１によれば、解析手段は、認識度を、身体情報の解析結果の確からしさを示す確信度に基づき算出することが可能となる。これにより、より客観的な観点から、身体情報の認識の程度を示す認識度を算出し、このような認識度に応じて、外科医によって行われている手術の内容を評価することが可能となるので、実際の手術の内容をより客観的に評価することが可能となる。
また、応用例に係る手術内容評価システム１によれば、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することが可能となる。
例えば、手術の対象臓器（解析される身体情報）が、温存臓器である場合、認識度の増加速度が速ければ、手際よく対象臓器が露わにされていることとなる。また、手術の対象臓器（解析される身体情報）が、切除臓器である場合、認識度が比較的低い値で推移しているほど、手際よく対象臓器が切除されていることとなる。また、ある臓器に対する認識度の経時変化が比較的少なければ、手技にぶれがないこととなる。これらの場合、患者の身体への負担が少ない良い手術となる（手術の内容の評価がより高くなる。）。
また、応用例に係る手術内容評価システム１によれば、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することが可能となる。
例えば、胃切除術の場合、解剖構造の一例である脂肪が比較的少なければ、血管が良く透見できるため、手術の難易度が下がり、一方、解剖構造の一例である脂肪が比較的多ければ、血管が脂肪に覆われるため、血管が見えず、癒着があるため、脂肪を十分に挙上出来ないため、視野が不良であり、手術の難易度が上がる。
また、応用例に係る手術内容評価システム１によれば、外科医に操作されている器具の先端位置の軌道に基づき、手術における器具の操作態様を評価することが可能となる。これにより、軌道の解析精度が向上し、器具の全てを認識する必要がないので、解析処理の負荷を抑えることが可能となる。
また、応用例に係る手術内容評価システム１によれば、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係に基づき、手術における器具の操作態様を評価することが可能となる。
解剖構造を切除する場合、解剖構造の鉗子で把持した部分によって、解剖構造に適切なテンションが掛けられ、切断位置が切断し易い状態となったり、解剖構造に弛みが生じ、切断位置が明確に露出しない状態となったりする。例えば、鉗子の作用点となる先端（把持する部分）が、外科医が意図する解剖構造を適切に把持し適度なテンションが掛けられる位置に配置されていた場合、温存臓器を損傷させることなく、切除臓器を切除できる可能性が向上する（手術における器具の操作態様の評価がより高くなる。）。）
また、応用例に係る手術内容評価システム１によれば、時系列で連続的に複数の手術画像のうち、身体情報に含まれる特定の解剖構造に関する情報に対する認識度が、特定閾値以上と判定された手術画像を特定することが可能となる。これにより、時系列で連続的に複数の手術画像からなる動画において、特定の解剖構造が露出した時点を特定することが可能となる。例えば、動画において、この特定した時点にマーカーを付すことで、特定の解剖構造が露出した場面を速やかに再生したり、特定した時点に基づき編集したりすることが可能となる。
以上、実施形態及び応用例を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態や応用例に記載の範囲には限定されないことは言うまでもない。上記実施形態や応用例に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。なお、上記の実施形態及び応用例では、本発明を物の発明として、手術内容評価システムについて説明したが、本発明において手術内容評価システムが実行する方法や、手術内容評価システムを各種部として機能させるプログラムの発明と捉えることもできる。
１ 手術内容評価システム
２ 医療機関端末
１１ 取得手段
１２ 解析手段
１３ 計時手段
１４ 評価手段
１５ 送信手段
２０ 記憶手段

Claims (8)

  1. 外科医によって行われた手術の内容を評価する手術内容評価システムであって、
    外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
    前記手術画像において、前記身体の状態を示す身体情報を解析する解析手段と、
    前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている前記手術の内容を評価する評価手段と、を備え、
    前記解析手段は、前記身体の解剖構造に関する情報を含む前記身体情報を解析し、
    前記身体情報は、解剖構造の状態に関する情報を含み、
    前記評価手段は、前記解剖構造が適切な状態となっているか否かを、評価し、
    前記評価手段は、良い手術及び／又は悪い手術又は評価値を正解データとして情報づけして作成されたＡＩの学習モデルをもちいて、手術の内容を評価する、
    手術内容評価システム。
  2. 外科医によって行われた手術の内容を評価する手術内容評価システムであって、
    外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
    前記手術画像において、前記外科医に操作されている器具の状態を示す器具情報を解析する解析手段と、
    前記解析手段が解析した前記器具情報に基づき、当該外科医によって行われている前記手術の内容を評価する評価手段と、を備え、
    前記解析手段は、前記器具情報を解析し、
    前記器具情報は、前記器具で前記身体の解剖構造が適切に把持されているか否かに関する情報を含み
    前記評価手段は、前記器具で前記解剖構造が適切に把持されているか否かを、評価し、
    前記評価手段は、良い手術及び／又は悪い手術又は評価値を正解データとして情報づけして作成されたＡＩの学習モデルをもちいて、手術の内容を評価する、
    手術内容評価システム。
  3. 外科医によって行われた手術の内容を評価する手術内容評価システムであって、
    外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
    前記手術画像において、前記身体の状態を示す身体情報及び前記外科医に操作されている器具の状態を示す器具情報を解析する解析手段と、
    前記解析手段が解析した前記身体情報、及び前記器具情報に基づき、当該外科医によって行われている前記手術の内容を評価する評価手段と、を備え、
    前記解析手段は、前記身体の解剖構造に関する情報を含む前記身体情報、及び前記器具情報を解析し、
    前記身体情報は、解剖構造の状態に関する情報を含み、
    前記器具情報は、前記器具で前記身体の解剖構造が適切に把持されているか否かに関する情報を含み、
    前記評価手段は、前記解剖構造が適切な状態となっているか否か、及び前記器具で前記解剖構造が適切に把持されているか否かを、併せて評価し、
    前記評価手段は、良い手術及び／又は悪い手術又は評価値を正解データとして情報づけして作成されたＡＩの学習モデルをもちいて、手術の内容を評価する、
    手術内容評価システム。
  4. 前記良い手術は、熟練の医師が行っている手術、又は医師が良い手術と判断した手術であり、
    前記悪い手術は、不慣れな医師が行っている手術、又は医師が良くない手術と判断した手術である、
    請求項１又は２に記載の手術内容評価システム。
  5. 前記解剖構造の状態に関する情報は、前記解剖構造の露出度合い、または前記解剖構造に掛けられたテンションに関する情報を含む、
    請求項１又は３に記載の手術内容評価システム。
  6. 前記解剖構造に掛けられたテンションに関する情報は、
    前記解剖構造における切断する部分と他の臓器との近接度合い、
    前記解剖構造の弛み度合い、及び、力加減、理想とする形状への近似度合い、
    のうちの少なくとも１つを含む、
    請求項５に記載の手術内容評価システム。
  7. 前記解剖構造が適切な状態となっているか否かは、前記解剖構造の露出度合いが適切か否か、又は前記解剖構造に適切なテンションが掛けられているか否かである、
    請求項５又は６に記載の手術内容評価システム。
  8. 前記解析手段は、前記画像として、動画における各フレーム、又は時系列で取得された複数の連続的な静止画毎に、前記身体情報及び／又は前記器具情報を解析し、
    前記評価手段は、前記画像として、動画における各フレーム、又は時系列で取得された複数の連続的な静止画毎に、前記身体情報及び／又は前記器具情報を解析し、前記手術の内容を評価する、
    請求項３に記載の手術内容評価システム。
JP2023191567A 2021-02-24 2023-11-09 手術内容評価システム、手術内容評価方法及びコンピュータプログラム Pending JP2024016211A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2021027782 2021-02-24
JP2021027782 2021-02-24
JP2022576562A JP7412812B2 (ja) 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
PCT/JP2022/007707 WO2022181714A1 (ja) 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023158208A JP7412830B2 (ja) 2021-02-24 2023-09-22 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023158208A Division JP7412830B2 (ja) 2021-02-24 2023-09-22 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2024016211A true JP2024016211A (ja) 2024-02-06

Family

ID=83049166

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2022576562A Active JP7412812B2 (ja) 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023071447A Active JP7412822B2 (ja) 2021-02-24 2023-04-25 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023158208A Active JP7412830B2 (ja) 2021-02-24 2023-09-22 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023191567A Pending JP2024016211A (ja) 2021-02-24 2023-11-09 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2022576562A Active JP7412812B2 (ja) 2021-02-24 2022-02-24 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023071447A Active JP7412822B2 (ja) 2021-02-24 2023-04-25 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
JP2023158208A Active JP7412830B2 (ja) 2021-02-24 2023-09-22 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Country Status (4)

Country Link
EP (1) EP4285853A1 (ja)
JP (4) JP7412812B2 (ja)
CN (1) CN116982117A (ja)
WO (1) WO2022181714A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030953B (zh) * 2023-03-31 2023-06-20 成都瑞华康源科技有限公司 一种自动化的手术室运营效率监控方法、系统及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5989877B1 (ja) * 2015-09-03 2016-09-07 株式会社メディカルプラットフォーム 情報処理装置、情報処理方法および情報処理プログラム
WO2017075541A1 (en) * 2015-10-29 2017-05-04 Sharp Fluidics Llc Systems and methods for data capture in an operating room
US11633237B2 (en) * 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US11026752B2 (en) 2018-06-04 2021-06-08 Medtronic Navigation, Inc. System and method for performing and evaluating a procedure
JP2020071418A (ja) 2018-11-01 2020-05-07 三菱プレシジョン株式会社 コンピュータシミュレータを用いた手術シミュレーション結果評価方法、内視鏡手術における教育シーケンス処理方法、手術トレーニング装置及び手術トレーニング装置用プログラム
JP2020154564A (ja) 2019-03-19 2020-09-24 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP6917406B2 (ja) 2019-03-29 2021-08-11 本田技研工業株式会社 車両制御システム
US11596482B2 (en) 2019-05-23 2023-03-07 Surgical Safety Technologies Inc. System and method for surgical performance tracking and measurement
WO2020240884A1 (ja) 2019-05-30 2020-12-03 株式会社Ｍｉｃｏｔｏテクノロジー 医療シミュレータ及び医療シミュレータを用いた手技評価方法
KR102180921B1 (ko) * 2019-10-18 2020-11-19 주식회사 엠티이지 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법
US11625834B2 (en) * 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision

Also Published As

Publication number Publication date
JP7412822B2 (ja) 2024-01-15
JP2023090809A (ja) 2023-06-29
WO2022181714A1 (ja) 2022-09-01
CN116982117A (zh) 2023-10-31
JPWO2022181714A1 (ja) 2022-09-01
JP7412812B2 (ja) 2024-01-15
JP7412830B2 (ja) 2024-01-15
EP4285853A1 (en) 2023-12-06
JP2023175849A (ja) 2023-12-12

Similar Documents

Publication Publication Date Title
JP7308936B2 (ja) インジケータシステム
RU209329U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
JP7412830B2 (ja) 手術内容評価システム、手術内容評価方法及びコンピュータプログラム
EP2922048A1 (en) Hybrid laparoscopic simulator
RU128762U1 (ru) Гибридный медицинский тренажер лапароскопии
JP7153974B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
Pérez-Escamirosa et al. Construct validity of a video-tracking system based on orthogonal cameras approach for objective assessment of laparoscopic skills
Cetinsaya et al. A task and performance analysis of endoscopic submucosal dissection (ESD) surgery
US20240135542A1 (en) Surgery details evaluation system, surgery details evaluation method, and computer program
KR101114226B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
Nespolo et al. A platform for tracking surgeon and observer gaze as a surrogate for attention in ophthalmic surgery
CN110796739A (zh) 一种颅脑手术虚拟现实仿真方法及系统
Den Boer et al. Peroperative analysis of the surgical procedure
Baldas et al. A real-time automatic instrument tracking system on cataract surgery videos for dexterity assessment
US20230105111A1 (en) System and Method for Teaching Minimally Invasive Interventions
RU216092U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
JP7368922B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
TWI522975B (zh) 應用於微創手術剪切技巧訓練的自動評分方法
WO2022264192A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、プログラム及び情報記憶媒体
CN103456222B (zh) 基于腹腔镜手术模拟系统的电凝训练方法及系统
US20210304638A1 (en) Chicken Model for Robotic Basic Skills Training
WO2023286337A1 (ja) システム、プログラム及び情報処理方法
WO2023119599A1 (ja) 医療支援システムおよび医療支援方法
Galeazzi Fabrication and sensorization of a physical simulator for training in robot-assisted lung lobectomy
CN116682301A (zh) 一种基于虚拟现实的兽医外科手术教学模拟装置和使用方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231109

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231109

A59 Written plea

Free format text: JAPANESE INTERMEDIATE CODE: A59

Effective date: 20231115

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240229

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423