JP7412812B2 - 手術内容評価システム、手術内容評価方法及びコンピュータプログラム - Google Patents
手術内容評価システム、手術内容評価方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7412812B2 JP7412812B2 JP2022576562A JP2022576562A JP7412812B2 JP 7412812 B2 JP7412812 B2 JP 7412812B2 JP 2022576562 A JP2022576562 A JP 2022576562A JP 2022576562 A JP2022576562 A JP 2022576562A JP 7412812 B2 JP7412812 B2 JP 7412812B2
- Authority
- JP
- Japan
- Prior art keywords
- surgical
- surgery
- evaluation
- content
- instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 354
- 238000004590 computer program Methods 0.000 title description 7
- 238000001356 surgical procedure Methods 0.000 claims description 212
- 210000003484 anatomy Anatomy 0.000 claims description 123
- 238000000034 method Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 description 69
- 210000001124 body fluid Anatomy 0.000 description 33
- 239000010839 body fluid Substances 0.000 description 32
- 238000010586 diagram Methods 0.000 description 29
- 230000008816 organ damage Effects 0.000 description 15
- 208000032843 Hemorrhage Diseases 0.000 description 13
- 208000034158 bleeding Diseases 0.000 description 13
- 230000000740 bleeding effect Effects 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 12
- 239000008280 blood Substances 0.000 description 12
- 210000004369 blood Anatomy 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 12
- 210000004204 blood vessel Anatomy 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 11
- 210000000941 bile Anatomy 0.000 description 9
- 210000002808 connective tissue Anatomy 0.000 description 9
- 230000007423 decrease Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 238000002271 resection Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 210000000944 nerve tissue Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 210000000577 adipose tissue Anatomy 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000000968 intestinal effect Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000002250 progressing effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 208000036829 Device dislocation Diseases 0.000 description 1
- 206010049976 Impatience Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000002192 cholecystectomy Methods 0.000 description 1
- 230000015271 coagulation Effects 0.000 description 1
- 238000005345 coagulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 238000013110 gastrectomy Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000001177 vas deferen Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Urology & Nephrology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Surgical Instruments (AREA)
- Instructional Devices (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Description
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
前記手術画像において、身体の状態を示す身体情報及び/又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段と、
前記解析手段が解析した前記身体情報及び/又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
取得手段と、外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する。
解析手段は、手術画像において、身体の状態を示す身体情報及び/又は外科医に操作されている器具の状態を示す器具情報を解析する。
評価手段は、解析手段が解析した身体情報及び/又は器具情報に基づき、当該外科医によって行われている手術の内容を評価する。
したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
前記評価手段は、前記手術画像における前記特定領域が所定の閾値を超えた場合には、体液の流出又は臓器損傷があったと評価することを特徴とする(1)に記載の手術内容評価システム。
前記評価手段は、前記器具に関する情報に基づき、手術における前記器具の操作態様を評価することを特徴とする(1)又は(2)に記載の手術内容評価システム。
身体の解剖構造に関する情報を含む前記身体情報を解析し、
前記解剖構造に対する前記器具の位置に関する情報を含む前記身体情報及び/又は前記器具情報を解析し、
前記評価手段は、前記解剖構造に対する前記器具の位置に関する情報に基づき、手術における前記解剖構造に対する前記器具の操作態様を評価することを特徴とする(1)から(3)のいずれかに記載の手術内容評価システム。
ある前記ステップから、次の前記ステップまでの時間であるステップ間時間を測定する計時手段を、更に備え、
前記評価手段は、ある前記ステップ間に対して、前記計時手段が測定した前記ステップ間時間に基づき、手術の手際を評価することを特徴とする(1)から(4)に記載の手術内容評価システム。
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
前記手術画像において、身体の状態を示す身体情報及び/又は外科医に操作されている器具の状態を示す器具情報を解析するステップと、
前記身体情報及び/又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
前記手術画像において、身体の状態を示す身体情報及び/又は外科医に操作されている器具の状態を示す器具情報を解析する解析手段、
前記解析手段が解析した前記身体情報及び/又は前記器具情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
前記手術画像において、身体の状態を示す身体情報を解析する解析手段と、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備えることを特徴とする手術内容評価システム。
したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
前記評価手段は、前記認識度に応じて、外科医によって行われている手術の内容を評価することを特徴とする(8)に記載の手術内容評価システム。
前記身体情報の解析結果の確からしさを示す確信度を算出し、
前記認識度を、前記確信度に基づき算出することを特徴とする(9)に記載の手術内容評価システム。
前記評価手段は、前記軌道に基づき、手術における前記器具の操作態様を評価することを特徴とする(8)から(12)のいずれかに記載の手術内容評価システム。
前記評価手段は、前記位置関係に基づき、手術における前記器具の操作態様を評価することを特徴とする(8)から(13)のいずれかに記載の手術内容評価システム。
前記評価手段は、前記解析手段において、前記身体情報に含まれる特定の解剖構造に関する情報に対する前記認識度が、特定閾値以上と判定された前記手術画像を特定することを特徴とする(9)から(14)のいずれかに記載の手術内容評価システム。
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
前記手術画像において、身体の状態を示す身体情報を解析するステップと、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含むことを特徴とする手術内容評価方法。
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
前記手術画像において、身体の状態を示す身体情報を解析する解析手段、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させるプログラム。
図1は、本発明の実施形態に係る手術内容評価システムの概要を説明する図である。
手術内容評価システム1は、外科医によって行われた手術の内容を評価する。
したがって、実際の手術の内容を客観的に評価することが可能となる。
図2は、本発明の実施形態に係る手術内容評価システムの機能構成を示す図である。
手術内容評価システム1は、複数の医療機関端末2と、ネットワークを介して接続されており、取得手段11と、解析手段12と、計時手段13と、評価手段14と、送信手段15と、記憶手段20と、を備える。
図3に示す例は、胆嚢摘出手術の手術画像であり、図3中上から胆嚢摘出手術におけるステップX(胆嚢の表出)と、次のステップであるステップX+1(胆嚢管の切離)と、次のステップであるステップX+2(胆嚢の摘出)を示している。
図4は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。図4(a)は、流血が発生していない状態の手術画像である。図4(b)は、流血が発生した状態の手術画像である。図4(b)に示す例では、画像全般に特定色の一例である赤色の成分が増大しており、図4(a)に比べて、暗い画像となっている。
図8は、本発明の実施形態に係る手術内容評価システムが実行する手術内容評価処理フローを示す図である。
したがって、実際の手術の内容を客観的に評価することが可能な手術内容評価システムを提供できる。
次に、本発明の実施形態の応用例について説明する。以下の説明において、本実施形態と同様の構成には、同一の符号を付し、その説明を省略又は簡略する。
応用例に係る手術内容評価システム1は、本実施形態の構成に加え、主に、解析手段12(図2参照)が、身体情報の認識の程度を示す認識度を算出し、評価手段14(図2参照)が、この認識度に応じて、外科医によって行われている手術の内容を評価する。
図9に示す例は、評価手段14により生成され、医療機関端末2で表示可能な評価情報の一例であり、解析手段12による解析結果に応じて決定した評価値が、グラフ形式で示されている。
解析手段12は、手術画像における身体情報(例えば、解剖構造)の認識の程度を示す認識度を算出する。詳細には、解析手段12は、身体情報の解析結果の確からしさを示す確信度を算出し、認識度を、確信度に基づき算出する。
そして、評価手段14は、この認識度に応じて、外科医によって行われている手術の内容を評価する。
このような場合、神経組織が十分に露出しており、神経組織が途絶していない場合に比べ、解析手段12に算出される身体情報の一例である神経組織の認識度が低下する。そして、評価手段14は、認識度が低下した場合、これに応じて、外科医によって行われている手術の内容を低く評価する。
このような評価基準を踏まえ、評価手段14は、認識度の経時変化に応じて、外科医によって行われている手術の内容を評価してもよい。具体的には、評価手段14は、認識度の増減の速度や加速度に応じて、手術の内容を評価してもよい。例えば、評価手段14は、認識度の増減の速度が早ければ、速やかに手術が進行しているとの評価をしてもよいし、認識度の増減の加速度が一定であれば、安定して手術が進行しているとの評価をしてもよい。
具体的には、良い手術とは、手術合併症がない、熟練の医師が行っている、熟練の医師が良い手術と判断した手術などである。また、悪い手術とは、手術合併症があった、不慣れな医師が行っている、熟練の医師が良くない手術と判断した手術などである。
評価手段14は、これらを、正解データとして情報付けすることによって、AIにより評価を学習し、良い評価、悪い評価をする。
図11は、評価手段14により生成され、医療機関端末2で表示可能な評価情報の一例であり、解析手段12による解析結果に応じて決定した評価値が、グラフ形式で示されている。図11に示す例は、臓器を切除する手術における切除臓器の確信度の推移を示しており、評価手段14の評価点がより高い例と、より低い例とを重ねて示している。
ここで、手術では、切除する切除臓器と、温存する温存臓器とが混在する。図12は、このような場合における切除臓器と温存臓器の認識度の時間的変化を示している。
図13は、本発明の実施形態の応用例に係る手術内容評価システムで生成される評価情報の一例を示す図である。
図13は、評価手段14により生成され、医療機関端末2で表示可能な評価情報の一例であり、解析手段12による解析結果に応じて算出された移動量が、グラフ形式で示されている。図13に示す例は、外科医に操作されている器具の先端位置の軌道における移動量の推移を示しており、評価手段14の評価点がより高い例と、より低い例とを重ねて示している。
本実施形態と同様に、評価手段14は、解析手段12が解析した身体の解剖構造に関する情報を含む身体情報及び器具情報に含まれる解剖構造に対する器具の位置に関する情報に基づき、手術における解剖構造に対する器具の操作態様を評価する。さらに、評価手段14は、解析手段12が解析した身体の解剖構造と器具(例えば、鉗子等)の位置情報(例えば、上述の外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の当該器具が当接した部位との位置関係)を用いて、手術の内容を評価してもよい。具体的には、評価手段14は、解剖構造と鉗子の先端の位置情報に基づき、鉗子で臓器を適切な位置で把持されているかを評価してもよい。
図14は、評価手段14により生成され、医療機関端末2で表示可能な評価情報の一例であり、解析手段12による解析結果に応じて算出された解剖構造と術器具の先端の位置が、グラフ形式で示されている。図14に示す例は、構造物(解剖構造)の重心の三次元の絶対位置と、手術器具の先端位置の三次元の絶対位置との推移を示している。詳細には、構造物の重心のx,y,z方向のそれぞれの位置、術器具の先端位置のx,y,z方向のそれぞれの位置の推移が示されている。構造物の重心とは、解析手段12により対象構造物(例えば、膵臓等)と解析された部分の面積の重心位置(1/2点や1/3点等)である。なお、構造物の重心の代わりに、当該部分の輪郭(上縁、下縁、左縁、右縁)の位置を用いてもよい。
図15は、評価手段14により生成され、医療機関端末2で表示可能な評価情報の一例であり、解析手段12による解析結果に応じて算出された解剖構造と術器具の先端との相対位置が、グラフ形式で示されている。図15に示す例は、構造物(解剖構造)の重心と手術器具の先端との相対位置の推移を示している。詳細には、構造物の重心と手術器具の先端との相対的なx,y,z方向のそれぞれの位置の推移が示されている。
評価手段14は、身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価する。
評価手段14は、脂肪や血管、結合組織で構成される癒着などの面積量を手術の序盤で評価し、手術難易度を評価する。また、評価手段14は、このような手術の序盤における評価に基づき、手術の内容の最終評価値の補正をしてもよい。また、評価手段14は、このような手術の序盤において、高難易度の手術との評価をした場合、出血リスクが高い等の警告・示唆を示す警告情報を、医療機関の端末に送信してもよい。
図17は、本発明の実施形態に係る手術内容評価システムにおける評価手段の処理を説明する図である。
本実施形態と同様に、解析手段12は、取得手段11が取得した手術画像と、記憶手段20に記憶された特定領域解析モデルとを対比し、手術画像における特定領域(体液(例えば、血液、胆汁、腸液等)の流出によりできた領域)を解析し、特定領域(図17に示す例では、出血と差し示した部分)や特定領域の輪郭を着色する。
本実施形態と同様に、手術内容評価システム1は、取得手段11が取得した手術画像のダイジェスト版画像を生成する画像編集手段を備えてもよい。画像編集手段は、取得手段11が取得した手術画像から、例えば、解析手段12が特定した手術における各ステップのフレームを含む所定時間の動画を、ステップ毎に抽出し、これらを合成することで、ダイジェスト版画像を生成する。
図20の上段は、体内に配置されたカメラを体外に引き出した場合の手術画像の推移を示している。図20の下段は、体外から体内にカメラを挿入した場合の手術画像の推移を示している。
そして、当然に、手術の対象臓器等が、他の臓器から切り離されて露わにされているほど、対象臓器への施術がスムーズに行われ、他の臓器に損傷を与える可能性が低減し、患者の身体への負担が少ない良い手術となる(手術の内容の評価がより高くなる。)。
2 医療機関端末
11 取得手段
12 解析手段
13 計時手段
14 評価手段
15 送信手段
20 記憶手段
Claims (9)
- 外科医によって行われた手術の内容を評価する手術内容評価システムであって、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段と、
前記手術画像において、身体の状態を示す身体情報を解析する解析手段と、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段と、を備え、
前記解析手段は、前記手術画像における前記身体情報の認識の程度を示す認識度を算出し、
前記評価手段は、前記認識度に応じて、外科医によって行われている手術の内容を評価することを特徴とする手術内容評価システム。 - 前記解析手段は、
前記身体情報の解析結果の確からしさを示す確信度を算出し、
前記認識度を、前記確信度に基づき算出することを特徴とする請求項1に記載の手術内容評価システム。 - 前記評価手段は、前記認識度の経時変化に応じて、外科医によって行われている手術の内容を評価することを特徴とする請求項1又は2のいずれかに記載の手術内容評価システム。
- 前記評価手段は、前記身体情報に含まれる身体の解剖構造に関する情報に応じて、手術の難易度を評価することを特徴とする請求項1から3のいずれかに記載の手術内容評価システム。
- 前記解析手段は、外科医に操作されている器具の先端位置の軌道を解析し、
前記評価手段は、前記軌道に基づき、手術における前記器具の操作態様を評価することを特徴とする請求項1から4のいずれかに記載の手術内容評価システム。 - 前記解析手段は、外科医に操作されている器具の解剖構造に当接した部分である作用点と、解剖構造の前記器具が当接した部位との位置関係を解析し、
前記評価手段は、前記位置関係に基づき、手術における前記器具の操作態様を評価することを特徴とする請求項1から5のいずれかに記載の手術内容評価システム。 - 前記取得手段は、時系列で連続的に複数の前記手術画像を取得し、
前記評価手段は、前記解析手段において、前記身体情報に含まれる特定の解剖構造に関する情報に対する前記認識度が、特定閾値以上と判定された前記手術画像を特定することを特徴とする請求項1から6のいずれかに記載の手術内容評価システム。 - 外科医によって行われた手術の内容を評価する手術内容評価システムが実行する方法であって、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得するステップと、
前記手術画像において、身体の状態を示す身体情報を解析するステップと、
解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価するステップと、を含み、
前記解析手段は、前記手術画像における前記身体情報の認識の程度を示す認識度を算出し、
前記の当該外科医によって行われている手術の内容を評価するステップでは、前記認識度に応じて、当該外科医によって行われている手術の内容を評価することを特徴とする手術内容評価方法。 - 外科医によって行われた手術の内容を評価する手術内容評価システムを、
外科医によって手術が行われている患者の身体を撮像した画像である手術画像を取得する取得手段、
前記手術画像において、身体の状態を示す身体情報を解析する解析手段、
前記解析手段が解析した前記身体情報に基づき、当該外科医によって行われている手術の内容を評価する評価手段、として機能させ、
前記解析手段は、前記手術画像における前記身体情報の認識の程度を示す認識度を算出し、
前記の当該外科医によって行われている手術の内容を評価する評価手段は、前記認識度に応じて、当該外科医によって行われている手術の内容を評価するプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023071447A JP7412822B2 (ja) | 2021-02-24 | 2023-04-25 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
JP2023158208A JP7412830B2 (ja) | 2021-02-24 | 2023-09-22 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
JP2023191567A JP7496648B2 (ja) | 2021-02-24 | 2023-11-09 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027782 | 2021-02-24 | ||
JP2021027782 | 2021-02-24 | ||
PCT/JP2022/007707 WO2022181714A1 (ja) | 2021-02-24 | 2022-02-24 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071447A Division JP7412822B2 (ja) | 2021-02-24 | 2023-04-25 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
JP2023158208A Division JP7412830B2 (ja) | 2021-02-24 | 2023-09-22 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022181714A1 JPWO2022181714A1 (ja) | 2022-09-01 |
JP7412812B2 true JP7412812B2 (ja) | 2024-01-15 |
Family
ID=83049166
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022576562A Active JP7412812B2 (ja) | 2021-02-24 | 2022-02-24 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
JP2023071447A Active JP7412822B2 (ja) | 2021-02-24 | 2023-04-25 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
JP2023158208A Active JP7412830B2 (ja) | 2021-02-24 | 2023-09-22 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023071447A Active JP7412822B2 (ja) | 2021-02-24 | 2023-04-25 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
JP2023158208A Active JP7412830B2 (ja) | 2021-02-24 | 2023-09-22 | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240135542A1 (ja) |
EP (1) | EP4285853A1 (ja) |
JP (3) | JP7412812B2 (ja) |
CN (1) | CN116982117A (ja) |
WO (1) | WO2022181714A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116030953B (zh) * | 2023-03-31 | 2023-06-20 | 成都瑞华康源科技有限公司 | 一种自动化的手术室运营效率监控方法、系统及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017047022A (ja) | 2015-09-03 | 2017-03-09 | 株式会社メディカルプラットフォーム | 情報処理装置、情報処理方法および情報処理プログラム |
JP2019500921A (ja) | 2015-10-29 | 2019-01-17 | シャープ フルーディクス エルエルシー | 手術室内のデータ捕捉のためのシステムおよび方法 |
WO2019133128A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
WO2019226182A1 (en) | 2018-05-23 | 2019-11-28 | Verb Surgical Inc. | Machine-learning-oriented surgical video analysis system |
JP2020154564A (ja) | 2019-03-19 | 2020-09-24 | 富士通株式会社 | 学習方法、学習プログラムおよび学習装置 |
JP2020163984A (ja) | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | 車両制御システム |
KR102180921B1 (ko) | 2019-10-18 | 2020-11-19 | 주식회사 엠티이지 | 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 |
JP2021099789A (ja) | 2019-11-08 | 2021-07-01 | ソニーグループ株式会社 | コンピュータビジョンに基づく外科手術シーンの評価 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11026752B2 (en) | 2018-06-04 | 2021-06-08 | Medtronic Navigation, Inc. | System and method for performing and evaluating a procedure |
JP2020071418A (ja) | 2018-11-01 | 2020-05-07 | 三菱プレシジョン株式会社 | コンピュータシミュレータを用いた手術シミュレーション結果評価方法、内視鏡手術における教育シーケンス処理方法、手術トレーニング装置及び手術トレーニング装置用プログラム |
US11596482B2 (en) | 2019-05-23 | 2023-03-07 | Surgical Safety Technologies Inc. | System and method for surgical performance tracking and measurement |
WO2020240884A1 (ja) | 2019-05-30 | 2020-12-03 | 株式会社Micotoテクノロジー | 医療シミュレータ及び医療シミュレータを用いた手技評価方法 |
-
2022
- 2022-02-24 US US18/547,520 patent/US20240135542A1/en active Pending
- 2022-02-24 EP EP22759749.9A patent/EP4285853A1/en active Pending
- 2022-02-24 WO PCT/JP2022/007707 patent/WO2022181714A1/ja active Application Filing
- 2022-02-24 JP JP2022576562A patent/JP7412812B2/ja active Active
- 2022-02-24 CN CN202280015798.XA patent/CN116982117A/zh active Pending
-
2023
- 2023-04-25 JP JP2023071447A patent/JP7412822B2/ja active Active
- 2023-09-22 JP JP2023158208A patent/JP7412830B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017047022A (ja) | 2015-09-03 | 2017-03-09 | 株式会社メディカルプラットフォーム | 情報処理装置、情報処理方法および情報処理プログラム |
JP2019500921A (ja) | 2015-10-29 | 2019-01-17 | シャープ フルーディクス エルエルシー | 手術室内のデータ捕捉のためのシステムおよび方法 |
WO2019133128A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
WO2019226182A1 (en) | 2018-05-23 | 2019-11-28 | Verb Surgical Inc. | Machine-learning-oriented surgical video analysis system |
JP2020154564A (ja) | 2019-03-19 | 2020-09-24 | 富士通株式会社 | 学習方法、学習プログラムおよび学習装置 |
JP2020163984A (ja) | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | 車両制御システム |
KR102180921B1 (ko) | 2019-10-18 | 2020-11-19 | 주식회사 엠티이지 | 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법 |
JP2021099789A (ja) | 2019-11-08 | 2021-07-01 | ソニーグループ株式会社 | コンピュータビジョンに基づく外科手術シーンの評価 |
Non-Patent Citations (1)
Title |
---|
(第5回)最初の患者は体重130キロ 難易度高い手術へ挑むと決意,日本,株式会社時事通信社,2018年05月17日,[2023年3月2日検索]、インターネット<URL:https://medical.jiji.com/column/116?page=2> |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022181714A1 (ja) | 2022-09-01 |
EP4285853A1 (en) | 2023-12-06 |
JP2023090809A (ja) | 2023-06-29 |
JP7412822B2 (ja) | 2024-01-15 |
JP2024016211A (ja) | 2024-02-06 |
WO2022181714A1 (ja) | 2022-09-01 |
US20240135542A1 (en) | 2024-04-25 |
CN116982117A (zh) | 2023-10-31 |
JP7412830B2 (ja) | 2024-01-15 |
JP2023175849A (ja) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU209329U1 (ru) | Автоматическое дополнение эндоскопического видеоизображения | |
JP7412830B2 (ja) | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム | |
US20110306986A1 (en) | Surgical robot system using augmented reality, and method for controlling same | |
JP2007330347A (ja) | 手術システム及びそのシステム稼働情報告知方法 | |
EP2922048A1 (en) | Hybrid laparoscopic simulator | |
JP7153974B2 (ja) | コンピュータプログラム、学習モデルの生成方法、及び画像処理装置 | |
JP2005348797A (ja) | 医療行為記録システム及び医療行為記録装置 | |
RU128762U1 (ru) | Гибридный медицинский тренажер лапароскопии | |
Pérez-Escamirosa et al. | Construct validity of a video-tracking system based on orthogonal cameras approach for objective assessment of laparoscopic skills | |
CN110796739A (zh) | 一种颅脑手术虚拟现实仿真方法及系统 | |
JP7496648B2 (ja) | 手術内容評価システム、手術内容評価方法及びコンピュータプログラム | |
Nicolaou et al. | A Study of saccade transition for attention segregation and task strategy in laparoscopic surgery | |
KR101114226B1 (ko) | 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법 | |
Den Boer et al. | Peroperative analysis of the surgical procedure | |
Baldas et al. | A real-time automatic instrument tracking system on cataract surgery videos for dexterity assessment | |
US20230105111A1 (en) | System and Method for Teaching Minimally Invasive Interventions | |
JP7368922B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
WO2022264192A1 (ja) | 画像処理装置、内視鏡システム、画像処理方法、プログラム及び情報記憶媒体 | |
JP7493285B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
CN103456222B (zh) | 基于腹腔镜手术模拟系统的电凝训练方法及系统 | |
US20210304638A1 (en) | Chicken Model for Robotic Basic Skills Training | |
WO2023119599A1 (ja) | 医療支援システムおよび医療支援方法 | |
WO2023286337A1 (ja) | システム、プログラム及び情報処理方法 | |
JP6887193B1 (ja) | コンピュータプログラム及び映像再生方法 | |
JP6875038B1 (ja) | コンピュータプログラム及び映像再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221212 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7412812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |