JPWO2019181432A1 - 手術支援システム、情報処理装置、及びプログラム - Google Patents

手術支援システム、情報処理装置、及びプログラム Download PDF

Info

Publication number
JPWO2019181432A1
JPWO2019181432A1 JP2020507482A JP2020507482A JPWO2019181432A1 JP WO2019181432 A1 JPWO2019181432 A1 JP WO2019181432A1 JP 2020507482 A JP2020507482 A JP 2020507482A JP 2020507482 A JP2020507482 A JP 2020507482A JP WO2019181432 A1 JPWO2019181432 A1 JP WO2019181432A1
Authority
JP
Japan
Prior art keywords
surgical
dangerous state
unit
support system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020507482A
Other languages
English (en)
Inventor
上知郎 今野
上知郎 今野
中村　直人
直人 中村
雅貴 内田
雅貴 内田
伊藤　俊樹
伊藤　　俊樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019181432A1 publication Critical patent/JPWO2019181432A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1402—Probes for open surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1405—Electrodes having a specific shape
    • A61B2018/1412—Blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

【課題】手術支援システム、情報処理装置、及びプログラムを提供する。【解決手段】手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、を備える手術支援システム。【選択図】図１

Description

本開示は、手術支援システム、情報処理装置、及びプログラムに関する。
手術室では、内視鏡カメラや術野カメラ、術場カメラ等の様々なカメラが用いられており、これらのカメラの撮像により得られた手術画像は、手術中に表示されるとともに、記録されることもある。記録された手術画像は、例えば手技の向上等を目的として手術後の手技の検証・確認に用いられたり、医師が学会発表や講義を行う際に用いられたりしている。
また、下記特許文献１には、記録された手術画像を後から編集する際の効率を向上させるため、手術中の撮像時に、メタデータを自動的に付加して、手術画像を記録する技術も開示されている。
特開２０１６−４２９８２号公報
しかし、このような手術画像は、現状では十分に有効活用されているとは言えず、手術画像のさらなる活用が望まれていた。
本開示によれば、手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、を備える手術支援システムが提供される。
また、本開示によれば、手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、を備える情報処理装置が提供される。
また、本開示によれば、コンピュータに、手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する機能と、手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う機能と、を実現させるためのプログラムが提供される。
以上説明したように本開示によれば、手術画像を活用して、危険状態の発生を予測することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による手術支援システム１０００の概略構成を示すブロック図である。 危険状態の発生が予測された場合に表示されるアラートを含む画像の例を示す。 操作画面の表示例を示す図である。 同実施形態にかかるサーバ１０の構成例を示すブロック図である。 学習にかかる動作の一例を示すフローチャート図である。 危険状態の予測にかかる動作の一例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．構成＞＞
＜２−１．手術支援システム全体の構成＞
＜２−２．サーバの構成＞
＜＜３．動作＞＞
＜＜４．変形例＞＞
＜４−１．変形例１＞
＜４−２．変形例２＞
＜４−３．変形例３＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞
＜＜１．背景＞＞
本開示の一実施形態について説明する前に、まず、本開示の一実施形態の創作に至った背景について説明する。手術室では、内視鏡カメラや術野カメラ、術場カメラ等の様々なカメラが用いられている。このようなカメラの撮像により手術中に得られた手術画像は、手術中に表示されるとともに、記録されることもある。なお、本明細書において、静止画像と動画像とを区別する必要がない場合には単に画像と呼ぶことがある。また、本明細書において手術画像という表現は、手術中に得られた静止画像、あるいは手術中に得られた動画像を含む表現として用いられる。
このような手術画像は、現状では十分に有効活用されているとは言えない。そこで、本開示では、手術画像を有効活用するため、複数の手術画像（手術画像群とも呼ぶ）を学習し、かかる学習により得られた判定器を用いて手術中に発生し得る危険状態の発生を自動的に予測する仕組みを提案する。手術中に発生し得る危険状態とは、例えば偶発症、及び偶発症を生じさせる事象を含んでもよい。なお、本明細書において、出血、穿孔、医療事故により生じる様々な症状、医療行為（処置）の前後で大きなバイタル情報の変化が発生した状態、手術手順の変更を要求される状態、その他医療行為に伴って生じる不都合な症状を総称して偶発症と呼ぶ。
ところで、このような学習を行う機械学習技術において、より高精度な判定器を得るためには、適切な教師データを用いて学習を行うことが望ましい。このような教師データとして、例えば静止画像の各々、あるいは動画像における各フレームに対してラベル付けを行って得られたラベル情報を用いることが考えられる。このようなラベル情報は、求める判定器の性能に応じて用意されることが望ましい。
しかし、このようなラベル付けを人手で行うことは人的コストが大きく、特に手術画像群に含まれる手術画像が動画像である場合や、多数である場合には、非常に困難であった。また、人手、あるいは自動的な手法により、手術画像の分類やメタ情報の付加が行われている場合もあるが、上述したような判定器を学習により得るための教師データとして利用可能な、適切なラベル情報が用意されているわけではなかった。
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による手術支援システムは、教師データとして利用可能な、手術中の危険状態を示すラベル情報を自動的に生成する。さらに、本実施形態による手術支援システムは、生成されたラベル情報は教師データとして用いて手術画像群を学習することにより、判定器を得る。そして、本実施形態による手術支援システムは、このようにして得られた判定器を用いて、手術中に入力される手術画像から、危険状態の発生をリアルタイムに予測することが可能である。以下、本実施形態において、上記の効果を実現するための構成、及び動作を順次説明する。
＜＜２．構成＞＞
＜２−１．手術支援システム全体の構成＞
図１は、本開示の一実施形態による手術支援システム１０００の概略構成を示すブロック図である。本実施形態による手術支援システム１０００は、通信網５、サーバ１０、及び手術室２０Ａ〜２０Ｃに存在し、手術中に用いられ得る手術機器を含む。なお、本明細書では、手術中に用いられ得る機器を総称して手術機器と呼び、医療用途の機器だけでなく、医療用途に限定されない（例えば汎用の）機器も手術機器と呼ばれる。
通信網５は、通信網５に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
サーバ１０は、通信網５を介して手術室２０Ａ〜２０Ｃに存在する各手術機器と接続されている。サーバ１０は、手術室２０Ａ〜２０Ｃ内や手術室２０Ａ〜２０Ｃが存在する病院内に存在してもよいし、病院外に存在してもよい。
サーバ１０は、手術室２０Ａ〜２０Ｃに存在する手術機器から手術画像（静止画像、あるいは動画像）を受信し、蓄積（記録）する。また、サーバ１０は、蓄積された手術画像群を学習することで判定器を得る。さらに、サーバ１０は、リアルタイムに受信した手術画像を入力として、事前に得られた判定器を用いて、危険状態の発生を予測する。また、サーバ１０は、危険状態の発生が予測された場合、手術室２０Ａ〜２０Ｃのうち、当該手術画像が取得された手術室に存在し、出力部として機能する手術機器に、アラートを出力させる。なお、サーバ１０の詳細な構成については、図４を参照して後述する。
手術室２０Ａ〜２０Ｃに存在する手術機器は、例えば図１に示すように、カメラ２０１、バイタルモニタ２０２、エンコーダ２０３、モニタ２０４、スピーカ２０５、デコーダ２０６、照明機器２０７、及び電気メス（エナジーデバイス）２０８等を含む。これらの手術機器の内、モニタ２０４、スピーカ２０５、照明機器２０７、及び電気メス２０８は、危険状態の発生が予測されたことを警告するアラートを画像表示や音、光や振動を用いて出力する出力部として機能し得る。これにより、執刀医や手術室内のスタッフメンバーなど医療従事者に対して視覚、聴覚または触覚を通じたアラートを出すことができる。なお、図１に示した手術機器は一例であって、他の手術機器が手術支援システム１０００に含まれてもよい。例えば、プロジェクタ（出力部の一例）、バイポーラ、手術ロボット等の手術機器が手術支援システム１０００に含まれてもよい。また、図１では、手術室２０Ａに存在する手術機器のみが示されているが、手術室２０Ｂ、及び手術室２０Ｃにも、同様に手術機器が存在する。
カメラ２０１は、撮像により得られた手術画像をエンコーダ２０３へ出力する。カメラ２０１は、例えば内視鏡カメラ、術野カメラ、術場カメラを含み得る。内視鏡カメラは、例えば患者の体腔内に挿入され術部の画像を取得する。また、術野カメラは、患者の外部から術部の画像を取得する。また、術場カメラは、例えば手術室の天井に設けられ、手術室全体の画像を取得する。なお、カメラ２０１は他のカメラを含んでもよく、例えば、電子顕微鏡等を含んでもよい。
バイタルモニタ２０２は、不図示のバイタル情報計測機器等により、手術中に計測された患者のバイタル情報（例えば心拍数・呼吸(数)・血圧・体温）を可視化した画像（手術画像の一例）を、エンコーダ２０３へ出力する。
エンコーダ２０３（ライブエンコーダ）は、カメラ２０１、及びバイタルモニタ２０２から手術中に出力された手術画像をサーバ１０へリアルタイムに送信する。
モニタ２０４は、出力部として機能し、デコーダ２０６がサーバ１０から受信した画像を表示（出力）する。モニタ２０４が表示する画像は、同一手術室内のカメラ２０１により取得された手術画像を含んでもよい。また、サーバ１０により危険状態の発生が予測された場合、モニタ２０４が表示する画像は、アラートを含んでよく、例えば手術画像にアラートが重畳された画像であってもよい。
図２は、サーバ１０により危険状態の発生が予測された場合にモニタ２０４に表示されるアラートを含む画像の例を示す。図２に示す画像Ｖ１０はモニタ２０４に表示される画像であり、出血（危険状態の一例）の発生が予測されたこと及びその発生が予測される位置を警告するアラートＡ１０を含んでいる。例えば医師が図２に示すアラートＡ１０を確認し、出血しそうな箇所を認識した上で手術を行うことにより、出血の発生を回避することが可能となり得る。
また、モニタ２０４は、画像表示についての指示を与えたり、手術機器の動作についての指示を与えたりするための操作画面を表示してもよい。かかる場合、モニタ２０４の表示面上にタッチパネルが設けられてユーザによる操作が可能であってもよい。
図３は、モニタ２０４に表示される操作画面の例を示す図である。図３では、一例として、手術室２０Ａに、出力先の装置として、少なくとも２つのモニタ２０４が設けられている場合に、モニタ２０４に表示される操作画面を示している。図３を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
発信元選択領域５１９５には、手術支援システム１０００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、モニタ２０４に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域５１９７には、出力先の装置である２つのモニタ２０４（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つのモニタ２０４において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
また、出力先操作領域５２０５には、出力先の装置であるモニタ２０４における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、モニタ２０４における表示を操作することができる。
なお、モニタ２０４に表示される操作画面は図示する例に限定されず、ユーザは、モニタ２０４を介して、手術支援システム１０００に備えられる各装置に対する操作入力が可能であってよい。
スピーカ２０５は、出力部として機能し、デコーダ２０６がサーバ１０から受信した音声を出力する。例えば、サーバ１０により危険状態の発生が予測された場合、スピーカ２０５は、危険状態の発生が予測されたことを警告する音声（アラートの一例）を出力する。
デコーダ２０６は、サーバ１０から画像、及び音声を受信し、それぞれモニタ２０４、及びスピーカ２０５へ出力する。
照明機器２０７は、例えば無影灯等の手術室内で用いられる照明機器である。本実施形態にかかる照明機器２０７は、図１に示すように通信網５を介してサーバ１０と接続される。また、本実施形態にかかる照明機器２０７は、出力部として機能し、サーバ１０から受信した制御信号に従って、危険状態の発生が予測されたことを警告するアラートを出力する。例えば、照明機器２０７は、所定の色の光を出力したり、点灯パターンを通常とは異ならせることで、アラートを出力してもよい。
電気メス２０８は、手術に使用される手術道具であり、例えば人体に高周波電流を流すことで、切離と同時に止血することが可能である。また、本実施形態にかかる電気メス２０８は、図１に示すように通信網５を介してサーバ１０と接続される。そして、本実施形態にかかる電気メス２０８は、出力部として機能し、サーバ１０から受信した制御信号に従って、危険状態の発生が予測されたことを警告するアラートを出力する。例えば、電気メス２０８は、ハンドル部を振動させることにより、アラートを出力してもよい。
以上説明したように、サーバ１０により危険状態の発生が予測された場合、危険状態の発生が予測されたことを警告するアラートが出力される。その結果、例えば執刀医が医療事故につながるアクションを取りやめたり、出血しそうな箇所を認識した上で手術を行うことにより、危険状態の発生が回避され得る。
＜２−２．サーバの構成＞
以上、本実施形態による手術支援システム１０００の構成について説明した。続いて、図１に示したサーバ１０のより詳細な構成について、図４を参照して説明を行う。図４は、本実施形態にかかるサーバ１０の構成例を示すブロック図である。図４に示すように、サーバ１０は、制御部１１０、通信部１３０、及び記憶部１５０を備える情報処理装置である。
制御部１１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、制御部１１０は、図４に示すように通信制御部１１１、情報取得部１１２、分類部１１３、教師データ生成部１１４、学習部１１５、予測部１１６、及びアラート制御部１１７として機能する。
通信制御部１１１は、通信部１３０による他の装置との通信を制御する。例えば、通信制御部１１１は、通信部１３０を制御して、図１に示したエンコーダ２０３から手術画像を受信させる。また、通信制御部１１１は、後述する情報取得部１１２の指示に従い、通信部１３０を制御して、手術属性情報を受信させる。また、通信制御部１１１は、後述するアラート制御部１１７の指示に従い、通信部１３０を制御して、上述したアラートを出力させるための画像、音声、制御信号等を図１に示した手術室２０Ａ〜２０Ｃに存在する手術機器へ送信させる。
情報取得部１１２は、エンコーダ２０３から受信した手術画像に対応する手術属性情報（メタ情報）を取得（収集）する。情報取得部１１２は、手術属性情報を取得するための指示を通信制御部１１１へ出力し、通信制御部１１１が当該指示に従って通信部１３０を制御することで受信した手術属性情報を通信制御部１１１から取得し得る。
情報取得部１１２は、例えば、図１に示した手術室２０Ａ〜２０Ｃに含まれる手術機器だけでなく、不図示の病院内外のデータベースやシステム等から、手術属性情報を取得し、各手術画像との対応付けを行う。以下では、情報取得部１１２が取得する手術属性情報の例について説明する。
手術属性情報は、例えば患者の年齢、性別、人種、容体等の患者情報を含んでもよい。患者情報は、例えばＨＩＳ(Hospital Information System)、やＥＭＲ (Electronic Medical Record、電子カルテともいう)等から取得され得る。
また、手術属性情報は、医師の識別情報、医師名、医師の所属医局、医師の出身大学等の医師情報を含んでもよい。医師情報は、例えばＲＩＳ(Radiology Information System、オーダーシステムともいう)、手術計画システム、麻酔器システム、またはインターネット上の医師情報サイト等から取得され得る。
また、手術属性情報は、術式名（例えば食道切除術・胃全摘術・小腸悪性腫瘍手術・肝部分切除・膵体尾部切除・肺葉切除術・TAPVR 手術・開頭血腫除去術等）、手技手順、手技手順の時間配分等の術式に関する術式情報を含んでもよい。術式情報は、例えばＲＩＳ、病院内の術式データベース、またはインターネット上の術式情報サイト等から取得され得る。
また、手術属性情報は、電気メス２０８や手術ロボット等の手術機器の状態（例えば、利用状況やステータス等）を示す手術機器情報を含んでもよい。例えば、手術ロボットであれば、ロボットを構成するアームの関節部の状態やアームの姿勢なども手術機器情報に含んでもよい。電気メスの場合は、ＯＮ／ＯＦＦ操作の状況などが手術機器情報に含まれてもよい。手術機器情報は、手術室２０Ａ〜２０Ｃに存在する各手術機器から取得され得る。
情報取得部１１２により取得された手術属性情報は、手術画像に対応付けられ、分類部１１３、教師データ生成部１１４へ出力される。
分類部１１３は、手術属性情報に基づいて、手術画像を分類する。分類部１１３は、例えば手術属性情報に含まれる術式情報に基づいて、術式ごとに手術画像を分類してもよい。ただし、分類部１１３による手術画像の分類方法はかかる例に限定されず、手術属性情報に含まれる様々な情報に基づいて、より多様な分類を行うことが可能である。
分類部１１３は、分類した手術画像と、当該手術画像の分類に関する情報を、後述する教師データ生成部１１４へ出力する。かかる構成により、教師データ生成部１１４は、分類部１１３により分類された手術画像ごとに教師データとなるラベル情報をより効率的に生成することが可能となる。
また、分類部１１３は、複数の手術画像（静止画像、あるいは動画像）を分類して得られた複数の手術画像群、及び当該複数の手術画像群の分類に関する情報を、後述する学習部１１５へ出力する。かかる構成により、学習部１１５は、分類部１１３により分類された手術画像群ごとに学習を行うことが可能であり、学習の効率が向上して得られる判定器の性能が向上する。なお、分類部１１３により分類された複数の手術画像群は記憶部１５０に記憶されてもよい。
また、分類部１１３は、分類した手術画像と、当該手術画像の分類に関する情報を、後述する予測部１１６へ出力する。かかる構成により、予測部１１６は手術画像の分類に基づく判定器を選択して予測を行うことが可能であり、予測精度が向上する。
教師データ生成部１１４は、分類部１１３により分類された手術画像と、情報取得部１１２により取得された手術属性情報とに基づいて、手術中の危険状態を示すラベル情報を生成する。教師データ生成部１１４により生成されるラベル情報は、後述する学習部１１５により教師データとして用いられる。
例えば教師データ生成部１１４は、出血を検出する出血検出、医療事故による手戻りを検出する手戻り検出、止血の実施を検出する止血検出等を行うことで、ラベル情報を生成してもよい。例えば、出血が検出された場合、出血（危険状態の一例）を示すラベル情報が生成され、出血が検出されたフレームに対して付加されてもよい。また、手戻りが検出された場合、医療事故（危険状態の一例）を示すラベル情報が生成され、手戻りが検出されたフレーム、あるいは手戻りの原因となる医療事故に対応するフレームに対して付加されてもよい。また、止血の実施が検出された場合、出血（危険状態の一例）を示すラベル情報が生成され、止血の実施が検出されたフレーム（あるいは検出可能な場合には、出血している間のフレーム）に対して付加されてもよい。
例えば、教師データ生成部１１４は、赤色、液体等の特徴量を手術画像から画像認識により検出することで、出血検出を行ってもよい。
また、教師データ生成部１１４は、例えばシーンチェンジを検出することで、手戻り検出を行ってもよい。シーンチェンジの検出は絵柄の変化を手術画像から検出する方法や、内視鏡の抜き差しを手術画像から検出する方法、手術画像内で認識された手術器具の変化から検出する方法により行われ得る。
また、情報取得部１１２が取得した手術機器情報がシーンチェンジの検出に用いられてもよい。例えば、手術機器情報として、電気メス２０８やバイポーラの利用状況やステータス変化、手術ロボットのステータスや使用中の鉗子の変化等が用いられ得る。
また、情報取得部１１２が取得した術式情報がシーンチェンジの検出に用いられてもよい。例えば、術式情報として、術式ごとの手技手順の時間配分の情報が用いられ得る。なお、それらの情報は、患者が成人であるか子供であるか、あるいは肥満度等によって異なり得るため、情報取得部１１２が取得した患者情報を用いて、手術手順の時間配分が使い分けられたり、補正されてもよい。
例えば教師データ生成部１１４は、術式情報に含まれる手技手順の時間配分と、手術機器情報から推定される手技手順の時間配分との差分が大きい場合に、手戻りが発生していると判定してもよい。また、教師データ生成部１１４は、術式情報に含まれる手技手順の時間配分と、手術機器情報から推定される手技手順の時間配分との間で差が発生し始めたフレームを、手戻りの原因となる医療事故に対応するフレームとして検出してもよい。
また、教師データ生成部１１４は、事前に学習済みの止血用の手術器具（例えば結紮用の針と糸や電気メス２０８等）の特徴を検出することにより、止血が実施されていることを検出してもよい。例えば、電気メス２０８が凝固モードである場合には、止血が実施されていると検出することが可能である。
なお、教師データ生成部１１４が、手術中の危険状態を示すラベル情報を生成する方法は上述した例に限定されない。例えば、教師データ生成部１１４は、手術画像中に、通常よりも多くの医師が含まれる（集まっている）ことが検出された場合に、医療事故が発生したと判定して、医療事故を示すラベル情報を生成してもよい。
学習部１１５は、教師データ生成部１１４により生成されたラベル情報を教師データとして用いて、分類部１１３により分類された手術画像群を学習し、判定器（学習済モデル）を生成する（得る）。学習部１１５による学習の手法は特に限定されないが、例えば、ラベル情報と手術画像群とを紐づけた学習データを用意し、その学習データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。また、例えばＣＮＮ（Convolutional Neural Network）、３Ｄ−ＣＮＮ、ＲＮＮ（Recurrent Neural Network）等のＤＮＮ（Deep Neural Network）に基づく手法が用いられてもよい。
学習部１１５により生成される判定器は、危険状態の発生の予測を行うために後述する予測部１１６により用いられる。そのため、学習部１１５は、手術画像群のうち、危険状態を示すラベル情報が付加されているフレームよりも前のフレームの手術画像を、危険状態の発生につながる手術画像として学習する。かかる構成により、学習部１１５により生成される判定器は、危険状態が発生する前に危険状態の発生を予測するために用いることが可能となる。
学習部１１５は、複数の判定器を生成してもよい。上述したように、分類部１１３は、複数の手術画像を複数の手術画像群に分類し得るため、学習部１１５は、分類された手術画像群ごとに、判定器を生成してもよい。つまり、分類部１１３により分類された手術画像群の数と同一数の判定器が生成されてもよい。
学習部１１５により生成された複数の判定器は、各判定器の生成に用いられた手術画像群の分類に関する情報と対応付けられて記憶部１５０に記憶される。
予測部１１６は、分類部１１３により分類された手術画像（静止画像、あるいは動画像）を入力とし、記憶部１５０に記憶された判定器を用いて、危険状態の発生の予測を行う。
上述したように、記憶部１５０には、複数の判定器が記憶されている。そこで、予測部１１６は、記憶部１５０に記憶された複数の判定器の中から、分類部１１３による手術画像の分類に基づいて、予測に用いる判定器を選択してもよい。
かかる構成により、現在の手術により適した判定器が選択され、危険状態の予測精度が向上し得る。なお、かかる判定器の選択は、フレームごとに行われてもよいし、手術の開始時にのみ行われて当該手術の間は同一の判定器が用いられてもよい。
また、予測部１１６は、危険状態の発生が予測された場合、当該危険状態の種別（出血、穿孔、医療事故等）、当該危険状態の危険度、当該危険状態の発生が予測される位置等の、予測にかかる情報（以下、予測情報と呼ぶ）を生成する。また、予測部１１６は、危険状態の発生が予測された場合に、生成した予測情報を、アラート制御部１１７へ提供する。
アラート制御部１１７は、予測部１１６により危険状態の発生が予測された場合に、予測部１１６から提供される予測情報に基づいて、アラートを出力させる。上述したように、アラートは、危険状態が発生すると予測された手術室に存在し、出力部として機能する手術機器（図１に示した例では、モニタ２０４、スピーカ２０５、照明機器２０７、及び電気メス２０）により出力される。アラート制御部１１７は、これらの出力部がアラートを出力するための画像や音声、制御信号を生成し、通信制御部１１１に提供することにより、アラートを出力させてもよい。
アラート制御部１１７は、予測情報に応じて異なるアラートを出力させてもよい。また、アラート制御部１１７は、予測情報に応じた出力部（手術機器）にアラートを出力させてもよい。
例えば、予測情報に、危険状態の種別の情報が含まれる場合、アラート制御部１１７は、危険状態の種別の情報を含むアラートを出力させてもよい。例えば、アラート制御部１１７は、危険状態の種別の情報を示すアラートを、手術画像に合成した画像を生成して、モニタ２０４に表示させてもよい。また、アラート制御部１１７は、スピーカ２０５から危険状態の種別の情報を含む音声を出力させてもよい。また、アラート制御部１１７は、危険状態の種別に応じて、照明機器２０７に出力させる光の色を異ならせてもよい。また、アラート制御部１１７は、危険状態の種別に応じて、電気メス２０８の振動パターンを異ならせてもよい。
かかる構成により、執刀医は、発生が予測された危険状態の種別を把握することが可能となり、より危険状態を回避し易くなる。
また、予測情報に、危険状態の危険度の情報が含まれる場合、アラート制御部１１７は、危険状態の危険度に応じたアラートを出力させてもよい。例えば、アラート制御部１１７は、危険度が高い場合に、危険度が低い場合と比べて、より目立つアラートを、手術画像に合成した画像を生成して、モニタ２０４に表示させてもよい。また、アラート制御部１１７は、アラートの表示サイズや色を変更してもよい。また、アラート制御部１１７は、危険度が高い場合に、危険度が低い場合と比べて、スピーカ２０５から出力されるアラートの音量を大きくしてもよい。また、アラート制御部１１７は、危険状態の危険度が高い場合に、危険度が低い場合と比べて、照明機器２０７に出力される光強度を大きくしてもよい。また、アラート制御部１１７は、危険状態の危険度が高い場合に、危険度が低い場合と比べて、電気メス２０８の振動強度を大きくしてもよい。
かかる構成により、例えば発生が予測された危険状態の危険度がより高い場合に執刀医へより強く注意を促すことが可能となる。
また、予測情報に、危険状態の発生が予測される位置の情報が含まれる場合、アラート制御部１１７は、危険状態の発生が予測される位置を示すアラートを含む画像を生成して、モニタ２０４に表示させてもよい。また、アラート制御部１１７は、危険状態の発生が予測される位置へアラートがプロジェクションされるように、プロジェクタ（不図示）を制御してもよい。
かかる構成により、執刀医は、危険状態の発生が予測される位置を把握することが可能となり、より危険状態を回避し易くなる。
以上、アラート制御部１１７が出力させるアラートの例について説明したが、本技術はかかる例に限定されるものではなく、上記以外のアラートの出力が行われてもよい。
通信部１３０は、通信制御部１１１の制御に従い、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１３０は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
記憶部１５０は、サーバ１０の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部１５０は、分類部１１３により分類された複数の手術画像群、及び当該複数の手術画像群の分類に関する情報を記憶する。また、記憶部１５０は、学習部１１５により生成された複数の判定器を記憶する。上述したように、判定器は、分類された手術画像群ごとに、生成されるため、記憶部１５０には、判定器と、当該判定器の手術画像群の分類に関する情報とが対応付けられて記憶される。
＜＜３．動作＞＞
以上、本実施形態にかかる手術支援システム１０００、及びサーバ１０の構成について説明した。続いて、本実施形態にかかる手術支援システム１０００の動作例について説明する。なお、以下では、まず図５を参照して学習にかかる動作を説明した後、図６を参照して手術中に行われる危険状態の予測にかかる動作を説明する。
図５は、学習にかかる手術支援システム１０００の動作の一例を示すフローチャート図である。なお、図５に示す処理は、例えば図６を参照して後述する危険状態の予測にかかる処理よりも前に予め行われていてもよい。
まず、情報取得部１１２が、手術属性情報を取得する（Ｓ１０１）。また、通信部１３０が、エンコーダ２０３から手術画像を受信（取得）する（Ｓ１０３）。なお、ステップＳ１０１とステップＳ１０３の処理は並列的に行われてもよい。
続いて、分類部１１３が、ステップＳ１０１で取得された手術属性情報に基づいて、ステップＳ１０３で取得された手術画像を分類する（Ｓ１０５）。続いて、教師データ生成部１１４が、ステップＳ１０１で取得された手術属性情報とステップＳ１０５で分類された手術画像とに基づいて、教師データとなるラベル情報を生成する（Ｓ１０７）。
続いて、学習部１１５が、ステップＳ１０７で生成されたラベル情報を教師データとして用い、ステップＳ１０５で分類された手術画像群ごとに学習を行って、判定器を生成し（Ｓ１０９）、記憶部１５０に記憶させる（Ｓ１１０）。
以上、学習にかかる動作について説明した。続いて、手術中に行われる危険状態の予測にかかる動作を説明する。図６は、危険状態の予測にかかる手術支援システム１０００の動作の一例を示すフローチャート図である。なお、図６に示す処理は、例えば図５を参照して説明した処理が行われて、判定器が記憶部１５０に記憶された後に行われる。
まず、情報取得部１１２が、手術属性情報を取得する（Ｓ２０１）。また、通信部１３０が、エンコーダ２０３から手術画像を受信（取得）する（Ｓ２０３）。なお、ステップＳ２０１とステップＳ２０３の処理は並列的に行われてもよい。
続いて、分類部１１３が、ステップＳ２０１で取得された手術属性情報に基づいて、ステップＳ２０３で取得された手術画像を分類する（Ｓ２０５）。続いて、予測部１１６が、ステップＳ２０７で行われた分類に基づいて、記憶部１５０に記憶された複数の判定器の中から、予測に用いる判定器を選択する（Ｓ２０７）。
さらに、予測部１１６は、ステップＳ２０７で選択された判定器を用い、ステップＳ２０３で取得された手術画像を入力として危険状態の発生の予測を行う（Ｓ２０９）。
ステップＳ２０９の予測の結果、危険状態の発生が予測されなかった場合（Ｓ２１１においてＮＯ）、通信部１３０が、再度エンコーダ２０３から手術画像を受信（取得）する（Ｓ２１３）。そして、処理はステップＳ２０９に戻り、ステップＳ２１３で取得された手術画像を入力として危険状態の発生の予測が行われる。
一方、ステップＳ２０９の予測の結果、危険状態の発生が予測された場合（Ｓ２１１においてＹＥＳ）、アラート制御部１１７の制御に従って、モニタ２０４、スピーカ２０５、照明機器２０７、あるいは電気メス２０８等の出力部がアラートを出力する（Ｓ２１１）。
＜＜４．変形例＞＞
以上、本実施形態に係る構成例、及び動作例について説明した。以下では、本実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、本変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
＜４−１．変形例１＞
上記実施形態で説明した図１、及び図４の構成は一例であって、本技術はかかる例に限定されない。例えば、上記実施形態で説明したサーバ１０の機能のうち、一部、または全部の機能は、他の装置に備えられていてもよい。例えば、教師データ生成部１１４や学習部１１５等の学習にかかる機能と、予測部１１６、アラート制御部１１７等の危険状態の発生の予測にかかる機能とは、それぞれ別の装置に備えられていてもよい。そして、学習により得られた判定器が、学習を行う装置から、予測を行う装置へ提供されてもよい。
また、上述した予測にかかる機能は、図１に示した手術室２０Ａ〜２０Ｃに存在するカメラ２０１、バイタルモニタ２０２、エンコーダ２０３、モニタ２０４、スピーカ２０５、デコーダ２０６、照明機器２０７、あるいは電気メス２０８等の手術機器に備えられていてもよい。
また、アラートとしてモニタ２０４に表示される画像の生成は、サーバ１０により行われなくてもよい。例えば、モニタ２０４は、同一手術内のカメラ２０１により取得された手術画像を直接的に受信して表示し、さらにサーバ１０からアラートに関する制御信号等を受信した場合に、アラートと手術画像とを合成した画像を生成して表示してもよい。
＜４−２．変形例２＞
また、上記実施形態では、手術室に存在する手術機器から提供された手術画像から構成される手術画像群を学習に用いる例を説明したが、本技術はかかる例に限定されない。例えば、外部のデータベース等に記録された手術画像群や、対応する手術属性情報がサーバ１０へ提供されて、学習に用いられてもよい。
＜４−３．変形例３＞
また、上記実施形態では、予め学習により判定器が生成され、その後に予測を行う例を説明したが、本技術はかかる例に限定されない。例えば、図６を参照して説明した予測の処理において取得される手術属性情報や手術画像が学習に用いられて、判定器が随時更新されてもよい。
＜＜５．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図７を参照して、本開示の実施形態にかかる情報処理装置のハードウェア構成について説明する。図７は、本開示の実施形態にかかるサーバ１０のハードウェア構成の一例を示すブロック図である。本開示の実施形態にかかるサーバ１０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図７に示すように、サーバ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、サーバ１０は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、及び接続ポート９１１、通信装置９１３を備える。サーバ１０は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１１０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、サーバ１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。サーバ１０のユーザは、この入力装置９０６を操作することにより、サーバ１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、サーバ１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、サーバ１０が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
ストレージ装置９０８は、サーバ１０の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１５０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、サーバ１０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１３０を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本開示の実施形態にかかるサーバ１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本開示の実施形態にかかるサーバ１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜６．むすび＞＞
以上説明したように、本開示の実施形態によれば、手術画像を活用して、危険状態の発生を予測することが可能となる。さらに、危険状態の発生が予測された場合に、危険状態の発生前にアラートを出力することが可能であり、例えば執刀医が医療事故につながるアクションを取りやめたり、出血しそうな箇所を認識した上で手術を行ったりすることにより、危険状態の発生が回避され得る。
その結果、患者に対する侵襲度が軽減され手術時間が短縮される。さらに、患者のQoLが向上するとともに患者の満足度が向上し病院としての集客アップにつながる。また、手術室の利用効率が向上することで病院の収益性がアップすることが期待される。また、偶発症発生のリスクが低減されることで医師の緊張感が緩和されると共に、より医師の職場回満足度がアップし離職が防げるとともに人件費を抑制できることが期待される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、
手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、
を備える手術支援システム。
（２）
前記記憶部は、複数の前記判定器を記憶し、
前記予測部は、前記複数の前記判定器のうち、前記手術画像に応じた前記判定器を用いて、前記予測を行う、前記（１）に記載の手術支援システム。
（３）
前記予測に用いられる前記判定器は、前記手術画像の分類に基づいて選択される、前記（２）に記載の手術支援システム。
（４）
前記手術画像は、術式に関する術式情報に基づいて分類される、前記（３）に記載の手術支援システム。
（５）
分類された前記手術画像群ごとに学習を行って、前記判定器を生成する学習部をさらに備える、前記（２）〜（４）のいずれか一項に記載の手術支援システム。
（６）
前記ラベル情報を生成する教師データ生成部をさらに備える、前記（５）に記載の手術支援システム。
（７）
前記教師データ生成部は、出血を検出する出血検出、手戻りを検出する手戻り検出、止血の実施を検出する止血検出のうち、少なくともいずれか１つを行うことで、前記ラベル情報を生成する、前記（６）に記載の手術支援システム。
（８）
前記予測部により前記危険状態の発生が予測された場合に、前記危険状態の発生が予測されたことを警告するアラートを出力する出力部をさらに備える、前記（１）〜（７）のいずれか一項に記載の手術支援システム。
（９）
前記予測部は、前記危険状態の発生が予測された場合に、予測にかかる予測情報を生成し、
前記出力部は、前記予測情報に応じて前記アラートを出力する、前記（８）に記載の手術支援システム。
（１０）
前記手術支援システムは、複数の前記出力部を備え、
前記複数の前記出力部のうち、前記予測情報に応じた前記出力部により前記アラートが出力される、前記（９）に記載の手術支援システム。
（１１）
前記予測情報は、発生が予測された前記危険状態の種別、当該危険状態の危険度、当該危険状態の発生が予測される位置のうち、少なくともいずれか一つの情報を含む、前記（９）または（１０）に記載の手術支援システム。
（１２）
前記危険状態は、偶発症、または偶発症を生じさせる事象を含む、前記（１）〜（１１）のいずれか一項に記載の手術支援システム。
（１３）
前記手術画像群には複数の動画像が含まれ、前記手術画像は動画像である、前記（１）〜（１２）のいずれか一項に記載の手術支援システム。
（１４）
手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、
手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、
を備える情報処理装置。
（１５）
コンピュータに、
手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する機能と、
手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う機能と、
を実現させるためのプログラム。
１０ サーバ
２０Ａ〜２０Ｃ 手術室
１１０ 制御部
１１１ 通信制御部
１１２ 情報取得部
１１３ 分類部
１１４ 教師データ生成部
１１５ 学習部
１１６ 予測部
１１７ アラート制御部
１３０ 通信部
１５０ 記憶部
２０１ カメラ
２０２ バイタルモニタ
２０３ エンコーダ
２０４ モニタ
２０５ スピーカ
２０６ デコーダ
２０７ 照明機器
２０８ 電気メス
１０００ 手術支援システム

Claims (15)

  1. 手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、
    手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、
    を備える手術支援システム。
  2. 前記記憶部は、複数の前記判定器を記憶し、
    前記予測部は、前記複数の前記判定器のうち、前記手術画像に応じた前記判定器を用いて、前記予測を行う、請求項１に記載の手術支援システム。
  3. 前記予測に用いられる前記判定器は、前記手術画像の分類に基づいて選択される、請求項２に記載の手術支援システム。
  4. 前記手術画像は、術式に関する術式情報に基づいて分類される、請求項３に記載の手術支援システム。
  5. 分類された前記手術画像群ごとに学習を行って、前記判定器を生成する学習部をさらに備える、請求項２に記載の手術支援システム。
  6. 前記ラベル情報を生成する教師データ生成部をさらに備える、請求項５に記載の手術支援システム。
  7. 前記教師データ生成部は、出血を検出する出血検出、手戻りを検出する手戻り検出、止血の実施を検出する止血検出のうち、少なくともいずれか１つを行うことで、前記ラベル情報を生成する、請求項６に記載の手術支援システム。
  8. 前記予測部により前記危険状態の発生が予測された場合に、前記危険状態の発生が予測されたことを警告するアラートを出力部に出力させるアラート制御部をさらに備える、請求項１に記載の手術支援システム。
  9. 前記予測部は、前記危険状態の発生が予測された場合に、予測にかかる予測情報を生成し、
    前記アラート制御部は、前記予測情報に応じて前記アラートを出力させる、請求項８に記載の手術支援システム。
  10. 前記手術支援システムは、複数の前記出力部を備え、
    前記複数の前記出力部のうち、前記予測情報に応じた前記出力部により前記アラートが出力される、請求項９に記載の手術支援システム。
  11. 前記予測情報は、発生が予測された前記危険状態の種別、当該危険状態の危険度、当該危険状態の発生が予測される位置のうち、少なくともいずれか一つの情報を含む、請求項９に記載の手術支援システム。
  12. 前記危険状態は、偶発症、または偶発症を生じさせる事象を含む、請求項１に記載の手術支援システム。
  13. 前記手術画像群には複数の動画像が含まれ、前記手術画像は動画像である、請求項１に記載の手術支援システム。
  14. 手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する記憶部と、
    手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う予測部と、
    を備える情報処理装置。
  15. コンピュータに、
    手術中の危険状態を示すラベル情報を教師データとして用いて、手術画像群を学習して得られた判定器を記憶する機能と、
    手術画像を入力とし、前記判定器を用いて、危険状態の発生の予測を行う機能と、
    を実現させるためのプログラム。
JP2020507482A 2018-03-20 2019-03-01 手術支援システム、情報処理装置、及びプログラム Pending JPWO2019181432A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018052388 2018-03-20
JP2018052388 2018-03-20
PCT/JP2019/008027 WO2019181432A1 (ja) 2018-03-20 2019-03-01 手術支援システム、情報処理装置、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2019181432A1 true JPWO2019181432A1 (ja) 2021-04-01

Family

ID=67987115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507482A Pending JPWO2019181432A1 (ja) 2018-03-20 2019-03-01 手術支援システム、情報処理装置、及びプログラム

Country Status (5)

Country Link
US (1) US20210015432A1 (ja)
EP (1) EP3770913A4 (ja)
JP (1) JPWO2019181432A1 (ja)
CN (1) CN111837195A (ja)
WO (1) WO2019181432A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021531883A (ja) * 2018-07-24 2021-11-25 ソニーグループ株式会社 手術室における分散型画像処理システム
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
CN115135223A (zh) 2020-02-21 2022-09-30 奥林巴斯株式会社 图像处理系统、内窥镜系统以及图像处理方法
KR102321157B1 (ko) * 2020-04-10 2021-11-04 (주)휴톰 수술 후 수술과정 분석 방법 및 시스템
JP2022029274A (ja) * 2020-08-04 2022-02-17 ソニーグループ株式会社 情報処理装置、プログラム、学習モデル及び学習モデルの生成方法
WO2022050227A1 (en) * 2020-09-01 2022-03-10 Sony Group Corporation Medical information control system, signal processing device, and medical information control method
CN113009870B (zh) * 2021-02-07 2022-03-08 中国人民解放军总医院第一医学中心 设备监控系统及方法
CN117396124A (zh) * 2021-05-24 2024-01-12 阿瑙特株式会社 信息处理装置、信息处理方法、以及计算机程序
WO2023199923A1 (ja) * 2022-04-11 2023-10-19 アナウト株式会社 手術画像処理プラットフォーム及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193885A (ja) * 2010-03-17 2011-10-06 Fujifilm Corp 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
JP2015529489A (ja) * 2012-07-25 2015-10-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術用システムにおける効率的且つインタラクティブな出血検出
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
WO2016195698A1 (en) * 2015-06-05 2016-12-08 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419487B2 (ja) 2014-08-21 2018-11-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
EP3274889A4 (en) * 2015-03-26 2019-01-02 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
WO2017220788A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh System and method for artificial agent based cognitive operating rooms
US9922172B1 (en) * 2017-02-28 2018-03-20 Digital Surgery Limited Surgical guidance system based on a pre-coded surgical procedural map

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193885A (ja) * 2010-03-17 2011-10-06 Fujifilm Corp 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
JP2015529489A (ja) * 2012-07-25 2015-10-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術用システムにおける効率的且つインタラクティブな出血検出
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
WO2016195698A1 (en) * 2015-06-05 2016-12-08 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
JP2017221486A (ja) * 2016-06-16 2017-12-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び医療用観察システム

Also Published As

Publication number Publication date
EP3770913A4 (en) 2021-05-12
US20210015432A1 (en) 2021-01-21
EP3770913A1 (en) 2021-01-27
CN111837195A (zh) 2020-10-27
WO2019181432A1 (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
JPWO2019181432A1 (ja) 手術支援システム、情報処理装置、及びプログラム
WO2018163600A1 (ja) 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
JP7343394B2 (ja) 医療用情報処理装置、情報処理方法、および医療用情報処理システム
US20230134195A1 (en) Systems and methods for video and audio analysis
EP3994702B1 (en) Surgery support system, surgery support method, information processing apparatus, and information processing program
US20210158955A1 (en) Beacon-based systems and methods for managing access to application features associated with a medical session
WO2019244896A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
JP6888620B2 (ja) 制御装置、制御方法、プログラム及び音出力システム
US20060242096A1 (en) Medical operation system
US20220008161A1 (en) Information processing device, presentation method, and surgical system
US11483515B2 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
JPWO2019176399A1 (ja) 医療用情報処理装置、医療用情報処理方法および手術室ネットワークシステム
JP5307524B2 (ja) 医療支援制御システム
WO2020054596A1 (ja) 病院システム、サーバ装置、およびスケジュール管理方法
JP2019028753A (ja) 機器制御装置及び機器制御方法
KR20190000107A (ko) 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
US20210158947A1 (en) Beacon-based systems and methods for generating medical facility metrics
WO2022254840A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20230057949A1 (en) Technologies for efficiently producing documentation from voice data in a healthcare facility
WO2019097804A1 (ja) 画像記録装置及び画像記録方法
WO2019225231A1 (ja) 手術用情報処理装置、情報処理方法及びプログラム
JP2007068561A (ja) 手術システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328