JP7380557B2 - 情報処理システム、情報処理装置及び情報処理方法 - Google Patents

情報処理システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP7380557B2
JP7380557B2 JP2020525751A JP2020525751A JP7380557B2 JP 7380557 B2 JP7380557 B2 JP 7380557B2 JP 2020525751 A JP2020525751 A JP 2020525751A JP 2020525751 A JP2020525751 A JP 2020525751A JP 7380557 B2 JP7380557 B2 JP 7380557B2
Authority
JP
Japan
Prior art keywords
information
surgical
video
record
surgery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020525751A
Other languages
English (en)
Other versions
JPWO2019244896A1 (ja
Inventor
俊輔 林
英人 四方
大生 三浦
昭彦 中谷
功史 小幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019244896A1 publication Critical patent/JPWO2019244896A1/ja
Application granted granted Critical
Publication of JP7380557B2 publication Critical patent/JP7380557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Bioethics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本開示は、情報処理システム、情報処理装置及び情報処理方法に関する。
近年、医療現場において、手術後に手術状況を解析するために、手術中の内視鏡で取得された映像及び術野カメラで取得された映像、電気メス等の稼働状況などの記録が行われている。また、これらの手術記録は、学会や研修目的での公開や統計的な解析に使用するための蓄積等に利用されることがある。
しかし、手術記録には患者の顔や名前など個人情報が含まれることがあるため、手術記録を多数の人間で共有するには個人情報の保護を行うことが求められる。例えば、以下の特許文献1には、医用画像と個人情報とを含む動画ファイルから、手作業によらず個人情報を削除する技術が開示されている。
特開2012-217631号公報
しかし、特許文献1に開示された技術では、個人情報が削除されていない動画ファイルに利用制限がされていない場合、ユーザは当該動画ファイルを利用することが可能となる。その結果、個人情報が削除されていない動画ファイルが不特定の人間に取得され、患者の個人情報が流出する可能性がある。このように、手術記録の共有という観点では、個人情報の保護が求められるが、一方で、手術状況の記録という観点では、改変していない手術記録の保存が求められる。
そこで、本開示では、手術記録の保存及び個人情報の保護が両立可能な、情報処理システム、情報処理装置及び情報処理方法を提案する。
本開示によれば、病院内の手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得する取得部と、前記第1手術記録に含まれる患者の個人情報に対して保護処理を行い、前記第1手術記録を第2手術記録に変換する変換部と、前記第1手術記録に紐付けられる第1識別情報と、前記第2手術記録に紐付けられる第2識別情報とを生成する識別情報生成部と、前記病院内の属性または前記手術の情報に基づいて定められたユーザの権限に関する権限情報に基づいて、前記第2識別情報に紐付けられた前記第2手術記録に前記ユーザがアクセス可能か否かを判定し、前記第2手術記録に前記ユーザがアクセス可能と判定された場合に、前記第1識別情報に紐付けられた前記第1手術記録に前記ユーザがアクセス可能か否かを判定する判定部と、を備える、情報処理システムが提供される。
また、本開示によれば、ユーザの権限に関する権限情報に基づいて、第1識別情報に紐付けられた第1手術記録第2識別情報に紐付けられた第2手術記録とのうち、前記第2手術記録を前記ユーザによって使用されるノードに送信するかを判定し、前記第2手術記録を前記ノードに送信すると判定された場合に、前記第1手術記録を前記ノードに送信するか否かを判定する判定部、を備え、前記第1手術記録は手術に用いられる医療機器の稼働に関する情報の記録であり、前記第2手術記録は前記第1手術記録に含まれる患者の個人情報に保護処理が行われることで前記第1手術記録から変換された記録である、情報処理装置が提供される。
また、本開示によれば、プロセッサが、手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得することと、前記第1手術記録に含まれる患者の個人情報の保護処理を行って前記患者の特定が不可能な手術記録である第2手術記録に変換することと、前記第1手術記録に紐付けられる第1識別情報と、前記第2手術記録に紐付けられる第2識別情報とを生成することと、ユーザの権限に関する権限情報に基づいて、前記第2識別情報に紐付けられた前記第2手術記録に前記ユーザがアクセス可能か否かを判定し、前記第2手術記録に前記ユーザがアクセス可能と判定された場合に、前記第1識別情報に紐付けられた前記第1手術記録に前記ユーザがアクセス可能か否かを判定することと、を含む、情報処理方法が提供される。
本開示によれば、ユーザの権限に応じて、ユーザが利用するノードに対して個人情報の保護処理が行われた動画を送信するか否かが判定される。
以上説明したように本開示によれば、手術記録の保存及び個人情報の保護が両立可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る情報処理システムの構成を示す説明図である。 同実施形態に係る情報処理装置の構成を示すブロック図である。 同実施形態に係る判定部による判定に使用される権限情報リストの一例を示す図である。 同実施形態に係る手術システムの構成を示す説明図である。 同実施形態に係る情報処理装置による第1手術動画の取得から保存までの動作の流れを示す流れ図である。 同実施形態に係る判定部による判定の動作の流れを示す流れ図である。 本開示の第2の実施形態に係る情報処理装置の構成を示す説明図である。 同実施形態に係る権限情報リストの一例を示す図である。 同実施形態に係る情報処理装置による第1手術動画の取得から保存までの動作の流れを示す流れ図である。 同実施形態に係る判定部による判定の動作の流れを示す流れ図である。 同実施形態に係るノードに出力された表示を示す説明図である。 同実施形態に係るノードに出力された別の表示を示す説明図である。 本開示の第3の実施形態に係る情報処理システムの構成を示すブロック図である。 同実施形態に係る情報処理システムによる動作の流れを示すシーケンス図である。 同実施形態に係る情報処理システムによる、第1手術動画及び第2手術動画がそれぞれ異なる保存サーバに保存される場合の第2手術動画の取得から保存までの動作の流れ示すシーケンス図である。 本開示に係る情報処理システムのハードウェア構成を示したブロック図である。 本開示係る情報処理システムの構成の変形例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
<1.第1の実施形態>
<2.第2の実施形態>
<3.第3の実施形態>
<4.ハードウェア構成>
<5.結び>
<1.第1の実施形態>
[1.1.構成]
まず、図1~図3を参照して、本開示の第1の実施形態に係る情報処理システム1について説明する。図1は、本実施形態に係る情報処理システム1を示す説明図である。図2は、同実施形態に係る情報処理装置10の構成を示すブロック図である。図3は、同実施形態に係る判定部103による判定に使用される権限情報リストの一例を示す図である。
本実施形態に係る情報処理システム1は、情報処理装置10、保存サーバ20、ノード30、手術システム40及びネットワーク50を備える。
情報処理システム1は、手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得し、第1手術記録に含まれる患者の個人情報に対して保護処理を行い、第1手術記録を第2手術記録に変換する機能を有する。情報処理システム1は、第1手術記録に紐付けられる第1識別情報と、第2手術記録に紐付けられる第2識別情報とを生成する。情報処理システム1は、ユーザの権限に関する権限情報に基づいて、第1識別情報に紐付けられた第1手術記録又は第2識別情報に紐付けられた第2手術記録のいずれをユーザによって使用されるノードに送信するかを判定する。本明細書では、第1手術記録が、動画による手術に用いられる医療機器の稼働に関する情報の記録である第1手術動画であり、第2手術記録が、第1手術動画に含まれる患者の個人情報に対して保護処理が行われることで第1手術動画が変換された第2手術動画である場合を例に挙げて本技術を説明する。
なお、第1手術動画には、手術中に取得することが可能なあらゆる動画が含まれる。第1手術動画には、例えば、内視鏡により取得された動画、手術室に設置された術野カメラにより取得された動画、周辺計測器の表示画面が撮影された動画、手術に用いられる装置の動作の状況が取得された動画等が含まれる。また、第1手術動画には、手術に関与する人間、例えば、執刀医、看護師や臨床工学技士等の視線方向の様子を撮影するカメラによって取得された動画が含まれてもよい。この手術に関与する人間の視線方向の様子を撮影するカメラは、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)に取り付けられる。また、第1手術動画には手術ロボットにより取得される動画が含まれてもよい。なお、第1手術動画は、手術中に取得可能な動画を複数含むことができる。
また、ここでいう個人情報とは、特定の個人を識別することができるものである。当該個人情報には、他の情報と照合することにより特定の個人を識別することができることとなるものが含まれる。個人情報としては、例えば、動画に記録された患者の顔や氏名、動画内の音声に含まれる患者の氏名、患者の声等が挙げられる。また、個人情報には、顔全体でなくとも、顔の骨格及び皮膚の色並びに目、鼻、口その他の顔の部位の位置及び形状によって定まる容貌、虹彩の表面の起伏により形成される線状の模様が含まれ得る。また、個人情報には、患者の声の特徴として、例えば患者の声紋が含まれ得る。更に、個人情報には、患者の手のひら又は手の甲若しくは指の皮下の静脈の分岐及び端点によって定まるその静脈の形状、指紋又は掌紋が含まれ得る。また、個人情報は複数の情報を合わせることで特定の個人を識別することができるものであってもよい。例えば、患者の年齢や退院日数、病歴など、一つの情報だけでは個人の情報を特定できないが複数の情報により個人の特定が可能な情報を個人情報として扱ってもよい。
個人情報の保護処理は、不可逆的に患者が特定されないようにすることができる方法で個人情報が加工されることが好ましく、例えば、個人情報に対するモザイク処理や黒塗り処理により行われることが望ましい。個人情報の保護は、高度な暗号化処理であって実質的に暗号鍵がなければ復号不可能な暗号化処理によって行われてもよい。個人情報の保護処理は、例えば、手術動画に患者の顔または手術室メンバーの顔が含まれているか否かを機械学習を用いた顔認識により判定する。そして、顔として認識された領域に対してモザイク処理や黒塗り処理を行う。なお、機械学習を用いた顔認識は、例えば、人間の顔を含む領域を示すラベルが紐づいた画像を学習データとして多層ニューラルネットワークの機械学習モデルに入力し、パラメータを生成する。このパラメータに基づいて設定された多層ニューラルネットワークの推論モデルに手術動画の所定の1フレームを入力する。これにより、顔が含まれる領域を推定することができる。また、個人情報の保護は、患者の顔や声を別の顔や声に置き換える画像処理によって行われてもよい。これにより、モザイク処理や黒塗り処理では患者の表情を観察することができなかったが、置き換え処理により手術中の患者の表情を個人情報を保護の上で、観察することができる。例えば、患者の顔領域を機械学習を用いた顔認識により判定する。次に、患者の顔を別の人間の顔に置き換える置き換え処理を行う。手術動画の毎フレームに対してこの顔の置き換え処理を行うことで、個人情報が保護される。また、これにより患者の表情(手術中に患者の顔に生じた変化)を第2の手術動画にも記録することができる。なお、顔や声の置き換え処理は、多層ニューラルネットワークを用いた強化学習(例えば、Generative Adversarial Networks)により行われることが好ましい。また、顔の置き換えが行われているか否かを示すマークが第2の手術動画中に重畳されてもよい。これにより、第2の手術動画に患者と思われる顔が映っている場合に、個人情報が保護されているか否かの判別を容易にできる。
情報処理装置10は、図2に示したように、情報処理部100、通信部110及び記憶部120を備える。情報処理部100は、情報処理装置10が取得する手術動画の処理を制御する機能を有する。情報処理部100は、変換部101、識別情報生成部102及び判定部103及び付随情報生成部104を備える。
変換部101は、第1手術動画を取得する取得部と、第1手術動画に含まれる患者の個人情報に対して保護処理を行い、第1手術動画を第2手術動画に変換する変換部としての機能を有する。変換部101は、手術システム40から通信部110を介して第1手術動画を取得し、取得された第1手術動画に患者の個人情報が含まれる場合、個人情報の保護処理を行って、患者の特定を不可能にした第2手術動画に変換する機能を有する。具体的には、変換部101は、第1手術動画における個人情報の検出を行う。第1手術動画から個人情報が検出された場合、変換部101は、第1手術動画における個人情報領域を決定し、当該個人情報領域に対して保護処理を行う。個人情報の検出及び個人情報領域の決定は、既存の画像認識技術や画像処理技術を利用して行うことができる。領域が定められた個人情報の保護処理は、先立って説明したように、不可逆的に患者が特定されないようにすることができる方法で行うことができる。また、第2手術動画に変換される前の第1手術動画は、保存サーバ20又は記憶部120に保存される。なお、以降、第1手術動画と第2手術動画を区別する必要がない場合は、第1手術動画と第2手術動画を単に手術動画と呼称することがある。
第1手術動画中に音声データとして個人情報が含まれる場合、変換部101は、その個人情報に該当する情報を含む音声データを、既存の音声処理技術によって、個人情報に該当しない音声データに加工することができる。例えば、変換部101は、個人情報に該当する部分の音声データを個人情報に該当しない音声データへ変換すること、個人情報に該当する部分の音声データを消去すること等を行ってもよい。
第1手術動画中の個人情報の有無について、手術における個人情報は、術野カメラにより取得される動画に含まれることが多い。このため、第1手術動画に含まれる他の動画に個人情報が含まれないことが明らかな場合は、例えば、変換部101は、術野カメラの映像が第1手術動画に含まれているか否かにより、第1手術動画中の個人情報の有無を判断することが可能である。例えば、動画の付随情報(例えば、メタデータ)に基づいて第1手術動画が内視鏡動画であると判定された場合は、個人情報が映っている可能性は非常に低いため、第1手術動画中に個人情報は含まれていないと判断してもよい。
なお、第2手術動画は、第1手術動画のうちの個人情報の保護処理がされた動画に変換された手術動画及び第1手術動画のうちの個人情報の保護処理がされていない手術動画を含んでもよい。また、第2手術動画は、第1手術動画から個人情報の保護処理がされた動画に変換された手術動画のみを含んでもよい。
識別情報生成部102は、第1手術動画と第2手術動画とを識別する識別情報を生成する機能を有する。具体的には、識別情報生成部102は、第1手術動画及び第2手術動画それぞれに対し、対応するフラグを設定し当該フラグを識別情報とする。当該識別情報には、第1手術動画に紐付けられた第1識別情報、及び第2手術動画に紐付けられた第2識別情報が含まれる。以降、第1識別情報及び第2識別情報を特段区別する必要がない場合は、第1識別情報及び第2識別情報を単に識別情報と呼称し、必要に応じて、第1手術動画に紐付けられた識別情報を第1識別情報と呼称し、第2手術動画に紐付けられた識別情報を第2識別情報と呼称する。第1識別情報は、第1手術動画に個人情報が含まれていることを示す識別情報であり、例えば個人情報を含むことを示すメタデータである。第2識別情報は、第2手術動画に個人情報が含まれていないことを示す識別情報であり、例えば個人情報を含まないことを示すメタデータである。なお、第1識別情報、第2識別情報は個人情報を含む、または含まないことが判定できればよく、直接的に個人情報の有無をデータに含んでいてもよいし、間接的に個人情報の有無をデータに含んでいてもよい。例えば、個人情報の有無を示すフラグにより、直接的に個人情報の有無をデータに含んでいてもよい。また、例えば第1識別情報、または第2識別情報にアクセスできるユーザを示す情報により、間接的に個人情報の有無をデータに含んでいてもよい。
判定部103は、ユーザの権限に関する情報である権限情報に基づいて、第1識別情報に紐付けられた第1手術記録又は第2識別情報に紐付けられた第2手術記録のいずれをユーザによって使用されるノード30に送信するかを判定する機能を有する。権限情報には、ユーザに関する情報と手術動画へのアクセス権限に関する情報等が含まれ、例えば、図3に示すように、ユーザIDに紐付けられた、属性、第1手術動画及び第2手術動画の送信可否の情報等が含まれる。例えば、ユーザID「1」には、属性が管理者であり、ユーザID「1」を送信したノード30に対して、第1手術動画及び第2手術動画のいずれも送信可能であるという情報が紐付けられている。同様に、例えば、ユーザID「2」には、属性が医師であり、ユーザID「2」を送信したノード30に対して、第1手術動画及び第2手術動画のいずれも送信可能であるという情報が紐付けられている。また、例えば、ユーザID「100」には、属性が研修医であり、ユーザID「100」を送信したノード30に対して、第1手術動画の送信は不可であり、第2手術動画の送信は可能であるという情報が紐付けられている。また、例えば、ユーザID「8000」には、属性がゲストであり、ユーザID「8000」を送信したノード30に対して、第1手術動画及び第2手術動画のいずれも送信不可であるという情報が紐付けられている。なお、権限情報は、病院内における属性に基づいた情報であることが好ましい。例えば、病院内の人事情報データベースに含まれる職能に関する属性(例えば、医師や研修医、看護師など)に基づいて権限情報を定められてよい。また、権限情報は、手術に関する情報を記録した手術情報データベースに含まれる手術に関係するメンバーの情報や手術における職能(例えば、執刀医や助手、看護師など)を示す情報に基づいて、定められてもよい。
付随情報生成部104は、第2手術動画に付随し、個人情報に関する付随情報を生成する機能を有する。付随情報には、例えば、第2手術動画に含まれる個人情報に関する情報が含まれ、具体的には、動画に個人情報が含まれるタイミングや時間等の情報が含まれる。付随情報生成部104は、既存の画像処理技術を用いて付随情報を生成することができる。付随情報生成部104は、第1手術動画に付随する付随情報を生成してもよい。以降、必要に応じて、第1手術動画に付随する付随情報を第1付随情報と呼称し、第2手術動画に付随する付随情報を第2付随情報と呼称することがある。
記憶部120には、情報処理装置10が先だって説明した各種の処理を実行する際に利用する各種のプログラムやデータベース等が適宜記録されている。また、記憶部120には、情報処理部100が生成した各種の情報が履歴情報として記録されてもよい。記憶部120には、例えば、第1手術動画、第2手術動画、識別情報、権限情報や付随情報が保存されてもよい。更に、記憶部120には、例えば、変換部101、識別情報生成部102、判定部103及び付随情報生成部104のそれぞれが上述した処理を行う際に、保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。変換部101、識別情報生成部102、判定部103及び付随情報生成部104が実行する処理に限られず、本実施形態に係る情報処理装置10が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が記憶部120に適宜記録されてもよい。情報処理部100及び通信部110は、記憶部120に対して、自由にリード/ライト処理を実施することが可能である。
通信部110は、ネットワーク50を介して、手術システム40、保存サーバ20及びノード30と各種情報の送受信を行う機能を有する。具体的には、通信部110は、手術システム40から第1手術動画を受信し、情報処理部100に出力する。また、通信部110は、第1手術動画、第1手術動画が変換された第2手術動画、情報処理部100で生成された各種情報、例えば、識別情報、付随情報、ノード30から受信した権限情報等を保存サーバ20に送信する。
保存サーバ20には、第1手術動画、第2手術動画、識別情報、権限情報及び付随情報が保存される。保存サーバ20は、ネットワーク50を介して情報処理装置10、ノード30、手術システム40と接続される。保存サーバ20には、情報処理装置10から受信した第1手術動画、第2手術動画、識別情報、権限情報や付随情報が保存されるが、ノード30から受信した権限情報が保存されてもよく、手術システム40から受信した第1手術動画が保存されてもよい。
また、第1手術動画、第2手術動画、識別情報及び付随情報は、手術毎に固有の手術IDが付与されたフォルダに格納され、当該フォルダは、保存サーバ20又は記憶部120に保存されてもよい。このとき付与される手術IDは、例えば、手術の種類、手術箇所、執刀医や日付等の手術に関する情報ごとに数字又は記号が割り当てられており、これらの数字又は記号の組合せによって手術IDが付与されてもよい。この手術IDに基づいて、所定の手術に関する手術動画、識別情報及び付随情報がノード30に送信されることが可能となる。
ノード30は、手術動画にアクセスする際に使用され、情報処理装置10、保存サーバ20及び手術システム40とネットワーク50によって接続される。ノード30は、第1手術動画又は第2手術動画の少なくともいずれかを表示するためのディスプレイを有する。ノード30を利用するユーザには、ユーザそれぞれが保有する固有のユーザIDが割り当てられている。ユーザがノード30を利用する際に、例えば、ユーザがノード30にログインしたときに、ユーザIDがノード30から情報処理装置10に送信される。送信されたユーザIDは、判定部103による判定に用いられる。なお、ネットワーク50によって、複数のノード30が情報処理装置10及び保存サーバ20と接続されてもよい。
手術システム40は、第1手術動画を取得する機能を有する。ここで、図4を参照して、手術システム40の一例を説明する。図4は、本実施形態に係る手術システム40の構成を示す説明図である。
手術システム40が適用された手術室において、例えば、シーリングカメラ411及び術場カメラ413が手術室の天井に設けられる。シーリングカメラ411及び術場カメラ413により、患者ベッド421上の患者423の患部に対して処置を行う術者(医者)425の手元及び手術室全体の様子を撮影可能である。シーリングカメラ411及び術場カメラ413には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明415は、手術室の天井に設けられ、少なくとも術者425の手元を照射する。照明415は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム431、患者ベッド421、シーリングカメラ411、術場カメラ413及び照明415は、互いに連携可能に接続されている。手術室内には、集中操作パネル433が設けられており、上述したように、ユーザは、当該集中操作パネル433を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術を例に挙げて、手術システム40が採用可能な構成について説明する。図示するように、手術システム40は、内視鏡441、術具443、内視鏡441を支持する支持アーム装置451、及び内視鏡下手術のための各種の装置が搭載されたカート461を備えてもよい。
内視鏡手術では、腹壁を切って開腹する代わりに、筒状の開孔器具が腹壁に複数穿刺される。開口器具により形成された開口部から、内視鏡441や、術具443が患者423の体腔内に挿入される。図示する例では、術具443として、気腹チューブ445、エネルギー処置具447及び鉗子449が、患者423の体腔内に挿入されている。エネルギー処置具447は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。
内視鏡441によって撮影された患者423の体腔内の術部の画像が、表示装置435に表示される。術者425は、表示装置435に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具447や鉗子449を用いて、例えば患部を切除する等の処置を行う。
支持アーム装置451は、内視鏡441を支持し、内視鏡441の位置及び姿勢を制御する。これにより、内視鏡441の安定的な位置の固定が実現され得る。
内視鏡441は、先端から所定の長さの領域が患者423の体腔内に挿入される。内視鏡441には光源装置463が接続されており、当該光源装置463によって生成された光が患者423の体腔内の観察対象に向かって照射される。
CCU(Camera Control Unit)462は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡441及び表示装置435の動作を統括的に制御する。具体的には、CCU462は、画像信号を表示装置435に提供する。また、CCU462は、内視鏡441に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置465を介して入力されてもよいし、上述した集中操作パネル433を介して入力されてもよい。
表示装置435は、CCU462からの制御により、画像信号に基づく画像を表示する。また、用途に応じて、解像度、サイズが異なる複数の表示装置435が設けられてもよい。
光源装置463は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡441に供給する。
アーム制御装置464は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置451のアーム部の駆動を制御する。
入力装置465は、内視鏡手術システム431に対する入力インタフェースである。ユーザは、入力装置465を介して、内視鏡手術システム431に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置465を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置465を介して、アーム部を駆動させる旨の指示や、内視鏡441による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具447を駆動させる旨の指示等を入力する。
入力装置465の種類は限定されず、入力装置465は各種の公知の入力装置であってよい。入力装置465としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ471及び/又はレバー等が適用され得る。入力装置465としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置435の表示面上に設けられてもよい。
あるいは、入力装置465は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置465は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置465は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置465が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者425)が、不潔域に属する機器を非接触で操作することが可能となる。
処置具制御装置466は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具447の駆動を制御する。気腹装置467は、内視鏡441による視野の確保及び術者の作業空間の確保の目的で、患者423の体腔を膨らませるために、気腹チューブ445を介して当該体腔内にガスを送り込む。レコーダ468は、手術に関する各種の情報を記録可能な装置である。プリンタ469は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
上述した手術システム40はあくまで一例であり、必要に応じて、上記以外の装置や機器が適用されてもよいし、上記の装置及び機器が省かれてもよい。
手術システム40には、周辺計測器の表示画面、装置の動作の状況の動画を取得可能なカメラを有していてもよい。第1手術動画は、上述した手術システム40に備えられる各種カメラによって取得される。
[1.2.動作]
ここまで、本実施形態に係る情報処理システム1の構成について説明した。続いて、図5及び図6を参照して、情報処理装置10の動作について説明する。図5は、本実施形態に係る情報処理装置10による第1手術動画の取得から保存までの動作の流れを示す流れ図である。図6は、本実施形態に係る判定部103による判定の動作の流れを示す流れ図である。
図5を参照して、情報処理装置10による第1手術動画の取得から第1手術動画、第2手術動画及び付随情報の保存までの動作の流れを説明する。
まず、情報処理装置10は、手術室に備えられた手術システム40から、第1手術動画を取得する(S101)。具体的には、通信部110は、ネットワーク50を介して手術システム40から第1手術動画を受信し、第1手術動画を情報処理部100に出力する。このとき、第1手術動画は保存サーバ20又は記憶部120に保存されてもよい。
次に、情報処理部100が有する変換部101によって、第1手術動画が個人情報を含むか否かが判断される(S103)。第1手術動画中に個人情報が含まれる場合(S103/YES)、第1手術動画は第2手術動画に変換される(S105)。続いて、識別情報生成部102によって、第1手術動画及び第2手術動画に対応する識別情報が生成される(S107)。具体的には、識別情報生成部102は、第1手術動画及び第2手術動画それぞれに対してそれぞれに対応するフラグを設定し、第1手術動画及び第2手術動画に紐付けられる識別情報を生成する。
次いで、付随情報生成部104によって、第2手術動画に付随する付随情報が生成される(S109)。具体的には、付随情報生成部104は、既存の画像処理技術を用いて、動画に個人情報が含まれるタイミングや時間等の情報を生成することができる。
第1手術動画、第2手術動画、識別情報及び付随情報は、ネットワーク50を介して保存サーバ20に送信され、保存される(S111)。なお、第1手術動画、第2手術動画、識別情報及び付随情報は、記憶部120に保存されてもよい。
一方、S103において、第1手術動画中に個人情報が含まれない場合(S103/NO)、上記したS105である第2手術動画への変換処理は実行されず、識別情報生成部102によって、第1手術動画に対応する識別情報が生成される(S107)。
また、第1手術動画に対応する識別情報の生成は、第2手術動画への変換(S105)前に実行されてもよいし、第2手術動画への変換と同時に実行されてもよい。また、識別情報生成(S107)と付随情報生成(S109)の動作の順序も上記に限られず、付随情報が生成された後に、識別情報が生成されてもよい。
ここまで、情報処理装置10による第1手術動画の取得から保存までの動作の流れを説明した。続いて、図6を参照して、判定部103による判定の動作の流れを説明する。
まず、判定部103は、ノード30からユーザIDを取得する(S201)。このとき、判定部103は、ノード30からユーザによって入力された手術IDを受信することで、保存サーバ20から手術IDに紐付けられた第1手術動画、第2手術動画、第1付随情報及び第2付随情報を取得する。
次いで、判定部103は、権限情報に基づいて、ノード30に第2手術動画を送信するか否を判定する(S203)。判定部103は、例えば、図3に示した権限情報リストから、ノード30から送信されたユーザIDを検索し、ユーザIDに紐付けられた権限情報からノード30への第2手術動画の送信の可否を判定する。例えば、図3に示したように、ノード30がユーザID「1」を有するユーザに利用されるである場合、判定部103は、ノード30に第2手術動画を送信可能であると判定する。
次いで、判定部103によってノード30への第2手術動画の送信が可能であると判定された場合(S203/YES)、判定部103は、権限情報に基づいて、ノード30に第1手術動画を送信するか否かを判定する(S205)。例えば、図3に示したように、ユーザID「1」~「3」、「300」、「301」及び「9999」のいずれかを判定部103が受信した場合、判定部103は、ノード30に第1手術動画を送信可能であると判定する(S205/YES)。その結果、判定部103は、ノード30に手術IDに紐付けられた第1手術動画及び手術IDに紐付けられた第2手術動画を送信可能であると判定する(S207)。
S205において、例えば、図3に示したように、ユーザID「100」、「101」、「200」及び「201」のいずれかを判定部103が受信した場合、判定部103は、ノード30への第1手術動画の送信は不可であると判定する(S205/NO)。その結果、判定部103は、ノード30に手術IDに紐付けられた第2手術動画を送信可能であると判定する(S208)。
S203において、例えば、図3に示したように、ユーザID「9999」を判定部103が受信した場合、判定部103は、ノード30への第2手術動画の送信は不可であると判定する(S205/NO)。この場合、判定部103は、ノード30には、第1手術動画及び第2手術動画のいずれも送信不可であると判定する(S206)。
本実施形態によれば、改変されていない手術動画が保存され、また、ユーザに利用されるノードへ手術動画を送信するかが判定される。そのため、個人情報が含まれる改変されていない手術動画は、権限を有するユーザのみが利用可能となる。その結果、個人情報の漏えいが防止される。従って、本実施形態に係る情報処理システムによって、手術記録の保存及び個人情報の保護が両立可能となる。
[1.3.変形例]
上記実施形態では、1つの保存サーバ20が備えられる場合を説明したが、本実施形態に係る情報処理システムは、複数の保存サーバを備えていてもよい。例えば2つの保存サーバが備えられる場合、一方の保存サーバに第1手術動画を保存し、他方の保存サーバに第2手術動画を保存してもよい。第1手術動画と第2手術動画が異なる保存サーバに保存されるため、セキュリティが強化され、個人情報の漏えいを防止することが可能となる。
<2.第2の実施形態>
[2.1.構成]
続いて、図7を参照して、本開示の第2の実施形態に係る情報処理システム2について説明する。図7は、本実施形態に係る情報処理システム2の構成を示すブロック図である。本実施形態に係る情報処理システム2は、情報処理装置11、保存サーバ20、ノード30、手術システム41及びネットワーク50を備える。本実施形態において、情報処理システム2に適用され得る保存サーバ20及びノード30は、第1の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
本実施形態に係る情報処理装置11は、情報処理部100、通信部110、記憶部120及び出力制御部130を備える。情報処理部100は、変換部101、識別情報生成部102、判定部103、検索部105及び付随情報生成部106を備える。本実施形態において、変換部101、識別情報生成部102及び判定部103は、第1の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
付随情報生成部106は、個人情報に関連する情報に加えて、手術に関連するあらゆる情報に付随する付随情報を生成する機能を有する。例えば、付随情報生成部106は、手術の種類、手術のフロー、手術の進行状況、出血量、出血箇所、出血発生のタイミングや医療機器が使用されるタイミングに関する情報等を付随情報として生成することができる。付随情報生成部106は、例えば、特開2016-42982号公報に開示された動画ファイルへの情報付加技術を適用することで、所定の動作が行われたタイミングを示すチャプタ情報を付随情報として生成することができる。また、付随情報生成部106は、例えば、特開2011-36372号公報に開示された画像記録技術を適用することで、出血発生のタイミングや医療機器が使用されたタイミングを付随情報として生成することができる。また、付随情報生成部106は、例えば、特開2011-36371号公報に開示された画像処理技術を適用することで、手術動画における出血箇所や出血量に関する情報を付随情報として生成することができる。付随情報生成部106によって生成される付随情報は、第1手術動画及び第2手術動画のいずれにも付随可能である。
また、付随情報生成部106は、生成された付随情報にタグ付けしてもよい。タグ付けされた付随情報は、後述するノード30のタグ情報表示欄305に表示される。また、付随情報生成部106は、既存の画像解析技術を適用して、術野カメラの動画から手術に関与する人間の動き、例えば看護師の動きを解析し、当該看護師の動きについてタグを生成してもよい。
検索部105は、保存サーバ20又は記憶部120に保存された手術動画を検索する機能を有する。具体的には、ノード30を用いて入力された情報に基づいて、該当する手術動画を検索する。検索部105は、手術IDに基づいて、該当する手術動画を検索してもよい。検索部105による検索結果は、出力制御部130によってノード30に出力される。
出力制御部130は、権限情報に基づいて、ノード30に出力する情報を制御する機能を有する。例えば、出力制御部130は、ノード30から送信されるユーザIDに紐付けられた権限情報を参照することにより、ノード30に出力する手術動画や、ノード30が実行可能な処理を制御する。また、出力制御部130は、検索部105による検索結果をノード30に出力する機能を有していてもよい。
ここで、図8を参照して、出力制御部130が実行する制御について詳細に説明する。図8は、本実施形態に係る権限情報リストの一例を示す図である。例えば、図8に示すように、権限情報リストには、ユーザIDに紐付けられた、属性、アクセスレベル、手術動画の送信可否、手術動画及び付随情報の保存可否等が含まれる。出力制御部130は、ユーザIDに紐付けられたアクセスレベルに応じてノード30への出力を制御することができる。詳細には、出力制御部130は、アクセスレベルに応じて、出力可能な手術動画、出力可能な付随情報の種類、ノード30に保存可能な手術動画及び付随情報の種類等を制御することができる。
例えば、出力制御部130は、アクセスレベルが「1」であるユーザIDのノード30に対して、第1手術動画及び第2手術動画を送信するように制御することができる。出力制御部130は、アクセスレベルが「1」であるユーザIDのノード30が第1手術動画、第2手術動画、第1付随情報及び第2付随情報を保存できるように制御することができる。また、出力制御部130は、例えば、アクセスレベルが「2」又は「5」であるユーザIDのノード30に対して、第1手術動画及び第2手術動画を送信するように制御することができる。出力制御部130は、アクセスレベルが「2」又は「5」であるノード30が第1手術動画及び第1付随情報を保存できず、第2手術動画及び第2付随情報を保存できるように制御することができる。また、出力制御部130は、例えば、アクセスレベルが「3」又は「4」であるユーザIDのノード30に対して、第1手術動画は送信せず、第2手術動画を送信するように制御することができる。出力制御部130は、アクセスレベルが「3」又は「4」であるノード30が第1手術動画及び第1付随情報を保存できず、第2手術動画及び第2付随情報を保存できるように制御することができる。また、出力制御部130は、例えば、アクセスレベルが「9」であるユーザIDのノード30に対して、第1手術動画及び第2手術動画のいずれも送信しないように制御することができる。出力制御部130は、アクセスレベルが「9」であるノード30が第1手術動画、第2手術動画、第1付随情報及び第2付随情報を保存できないように制御することができる。
アクセスレベルは、ユーザID、属性、アクセス場所、アクセス方法、ノード30の種類等によって設定されてもよい。例えば、属性が執刀医であるユーザに対しては、アクセスレベルが高く設定され、第1手術動画及び第2手術動画のいずれも利用可能であり、多くの種類の付随情報を利用可能にしてもよい。属性が研修医であるユーザに対しては、アクセスレベルが低く設定され、ユーザは、第2手術動画のみを利用可能とし、限定された付随情報を利用可能としてもよい。また、例えば、病院内のネットワークから情報処理装置11へアクセスしたノード30に対しては、アクセスレベルを高く設定し、他のネットワークを経由して情報処理システム2にアクセスしたノード30に対しては、アクセスレベルを低く設定してもよい。また、例えば、ノード30が例えばPCである場合は、当該ノード30に対してアクセスレベルを高く設定し、ノード30がモバイル端末である場合は、当該ノード30に対してアクセスレベルを低く設定してもよい。
また、出力制御部130は、ノード30が出力する表示画面をユーザの属性やアクセスレベルに応じて変更してもよい。例えば、出力制御部130は、第1手術動画及び第2手術動画が切り替え可能に表示される第1表示画面300Aと、第1手術動画は表示されずに第2手術動画のみが表示される第2表示画面300Bを出力してもよい。第1表示画面300Aは、判定部103によって第1手術動画の送信が可能と判定されたノード30に出力される。第2表示画面300Bは、判定部103によって第1手術動画の送信は不可であり、第2手術動画の送信が可能と判定されたノード30に出力される。ここで、図9及び図10を参照して、出力制御部130がノード30に出力する表示画面について詳細に説明する。図9は、本実施形態に係るノード30に出力された第1手術動画及び第1付随情報を表示する第1表示画面300Aの説明図である。図10は、本実施形態に係るノード30に出力された第2手術動画及び第2付随情報を表示する第2表示画面300Bの説明図である。
まず、図9を参照して、第1手術動画及び付随情報が出力されたノード30の表示画面である第1表示画面300Aについて説明する。第1表示画面300Aには、属性表示欄301、情報欄302、メイン表示エリア303、タグ選択欄304、タグ情報表示欄305、タイムライン欄306、関連動画表示欄307、検索欄308、選択ボタン309、手術動画変換ボタン310及び設定欄311が表示されている。
属性表示欄301には、ユーザIDに紐付けられた属性が表示される。図9では、例として、ユーザの属性である「医師」が表示されている。属性表示欄301には、属性に限られず、ユーザID、ユーザIDに紐付けられたユーザの氏名が表示されてもよい。
情報欄302には、メイン表示エリア303に表示された手術動画に関する情報が表示される。例えば、情報欄302には、患者名、手術日、手術箇所、執刀医、手術条件等の情報が表示される。手術条件とは、例えば、開腹手術、内視鏡手術、合併症の有無等が挙げられる。
メイン表示エリア303には、第1手術動画が表示される。メイン表示エリア303には、第1手術動画のうちの1つの動画が表示されてもよいし、複数の動画が表示されてもよい。メイン表示エリア303に表示される動画は、ユーザが表示させたい動画を選択ボタン309によって選択することができる。また、メイン表示エリア303には、患者の電子カルテが表示されてもよい。
タグ選択欄304では、付随情報生成部106によって付された複数のタグが表示され、複数のタグのうちの一つのタグがユーザによって選択される。タグ情報表示欄には、選択されたタグに対応する付随情報が表示される。例えば、タグ選択欄304で、電気メスのタグがユーザによって選択された場合、タグ情報表示欄305には、メイン表示エリア303に表示された手術動画が取得された手術において使用された電気メスの変化に関する情報が時系列で表示される。例えば、図9に示すように、時刻t1で電気メスが停止モードからスタンバイモードに変更され、時刻t2で電気メスがスタンバイモードから切除モードに変更され、時刻t3で電気メスが切除モードから停止モードに変更されたことが表示されてもよい。また、例えば、タグ情報表示欄305に表示される付随情報は、後述するタイムライン欄306に表示されたアイコンとリンクしたものであってもよい。タグ情報表示欄305に表示可能な情報としては、手術中に変化が生じる付随情報を対象とすることができ、例えば、手術の各ステップに関する情報、患者の個人情報の表示の変化のタイミング、患者の麻酔状況の変化、出血の発生タイミング、出血量の変化、医療機器によるアラーム発生のタイミング、患者の様子の変化等が挙げられる。また、タグ情報表示欄305に表示された各時刻の情報がユーザによって選択されることで、メイン表示エリア303にはその選択された時刻の動画が表示されてもよい。
タイムライン欄306には、メイン表示エリア303に表示された第1手術動画のタイムラインが表示される。タイムラインには、メイン表示エリア303に表示されている動画の再生位置を示す表示がされてもよく、所定のイベントが生じた時刻を表示するアイコンが表示されてもよい。当該イベントは、例えば、タグ情報表示欄305に表示されたものであってよい。例えば、タグ選択欄304で電気メスがユーザによって選択され、タグ情報表示欄305に電気メスの変化に関する情報が時系列で表示されている場合、タイムラインには、それぞれの時刻に対応する位置にアイコンが表示されてもよい。例えば、図9では、タイムラインに、時刻t1、時刻t2及び時刻t3のそれぞれの時刻に対応する位置にアイコンが表示されている。タイムラインに表示されたアイコンがユーザによって選択されることで、メイン表示エリア303にはその選択された時刻の動画が表示されてもよい。
関連動画表示欄307には、例えば、メイン表示エリア303に表示された手術動画に関連する手術動画が表示されてもよい。関連動画表示欄307には、例えば、メイン表示エリア303に表示された手術動画と同一の手術において、第1手術動画であって、メイン表示エリア303に表示された手術動画と別の手術動画が表示されてもよい。具体的には、1の内視鏡手術であって、メイン表示エリア303に表示された第1手術動画が術野カメラによって取得された動画である場合、関連動画表示欄307に示された「A」に内視鏡によって取得された動画は表示されてもよい。同様に、例えば、関連動画表示欄307に示された「B」には同一の内視鏡手術であって、周辺計測器の表示画面が撮影された動画が表示されてもよいし、関連動画表示欄307に示された「C」には、看護師の視線方向の様子を撮影するカメラによって取得された動画が表示されてもよい。
また、関連動画表示欄307には、例えば、情報欄302に表示された情報に関連する動画が表示されてもよい。関連動画表示欄307に示された「T」には、例えば、情報欄302に表示された手術箇所と同一の箇所であって別に行われた手術の第1手術動画が表示されてもよい。同様に、例えば、関連動画表示欄307に示された「S」には、情報欄302に表示された執刀医が行った別の手術の第1手術動画が表示されてもよいし、関連動画表示欄307に示された「U」には、情報欄302に表示された手術条件に近い手術の第1手術動画が表示されてもよい。
また、関連動画表示欄307には、例えば、ユーザによって検索された第1手術動画が表示されてもよい。関連動画表示欄307に示された「W」には、例えば、検索欄308に入力された検索語句と最も関連度が高い第1手術動画が表示されてもよい。関連動画表示欄307に示された「V」及び「X」には、検索語句との関連度が比較的高い第1手術動画が表示されてもよい。
検索欄308には、保存サーバ20に保存された第1手術動画のうちからユーザ所望の第1手術動画を検索するために、手術ID又は検索語句がユーザによって入力されてもよい。検索欄308に、例えば、手術IDの少なくとも一部、患者名、手術日、手術箇所、執刀医又は手術条件等が入力されることで検索語句から該当する第1手術動画が検索される。検索された第1手術動画は、関連動画表示欄307に表示されてもよい。
選択ボタン309は、ユーザがメイン表示エリア303に表示される手術動画及び表示形式を選択するために使用される。選択ボタン309に表示された表示形式に従って、メイン表示エリア303に動画が表示される。例えば、図9では、4種のボタンが表示されており、ボタン「A」がユーザによって選択されると、メイン表示エリア303に関連動画表示欄307に表示された「A」が表示される。また、例えば、ボタン「AB」がユーザによって選択されると、メイン表示エリア303には、関連動画表示欄307に表示された「A」及び「B」が並んで表示される。このように、選択ボタン309によって手術動画又は表示形式が選択されることで、関連動画表示欄307に表示された他の手術動画がメイン表示エリア303に表示される。また、選択ボタン309で選択された所定の手術動画が選択されるに伴い、タグ情報表示欄305に表示される付随情報及びタイムライン欄306に表示されるタイムラインは、選択された手術動画に付随する付随情報に変更される。
手術動画変換ボタン310によって、ノード30の表示画面に表示される手術動画を第1手術動画から第2手術動画に変換される。手術動画変換ボタン310は、第1手術動画を受信可能なユーザIDを有するノード30に表示される。
設定欄311では、ユーザによってノード30の表示画面の各種設定が行われる。設定欄311では、例えば、関連動画表示欄307に表示される手術動画の順番がユーザの指示によって変更可能であり、手術成績がよい手術動画を手術成績が良くない手術動画より上方に表示されるように変更されてもよい。また、設定欄311では、例えば、使用されるフォント、文字の大きさ、検索項目等の設定がユーザによって行われる。
続いて、図10を参照して、第2手術動画及び第2付随情報が出力されたノード30の表示画面である第2表示画面300Bについて説明する。第2表示画面300Bは、判定部103によって、第1手術動画の送信は不可であり、第2手術動画は送信可能であると判定されたノード30に表示される。そのため、第2表示画面300Bでは、個人情報の保護処理がされた第2手術動画が表示される。第2表示画面300Bには、属性表示欄301、情報欄302、メイン表示エリア303、タグ選択欄304、タグ情報表示欄305、タイムライン欄306、関連動画表示欄307、検索欄308、選択ボタン309、設定欄311、投票ボタン312及び参考度表示欄313が表示される。第2表示画面における、属性表示欄301、情報欄302、タイムライン欄306、検索欄308、選択ボタン309及び設定欄311は、第1表示画面に表示されたものと同様であるため、ここでの説明は省略する。
メイン表示エリア303には、第1表示画面300Aと同様に患者の電子カルテが表示されてもよいが、第2表示画面300Bに表示される電子カルテは、電子カルテに含まれる個人情報に対して保護処理がされたものが表示される。
第2表示画面300Bのタグ情報表示欄305には、ユーザの属性又はアクセスレベルに応じた付随情報が表示されてもよい。例えば、ユーザの属性が研修生である場合は、タグ情報には、手術の経過状況と電気メスの変化だけが表示されるようにしてもよく、ユーザの属性が臨床工学技士である場合は、手術に使用される全ての医療機器の変化が表示されるようにしてもよい。また、ユーザの属性が麻酔医である場合、タグ情報表示欄305には、麻酔状況が表示されてもよい。また、ユーザの属性が麻酔医である場合、患者の表情が重要となるため、患者の表情を示す情報(例えば、置き換え処理を行った表情の情報)を表示してもよい。また、タグ情報表示欄305には、例えば、付随情報生成部106によって、手術に関与する人間、例えば看護師の動きが術野カメラの動画から解析され、看護師の動きについて生成されたタグが表示されてもよい。タグ情報表示欄305には、例えば、手術に使用されている術具情報、具体的には、鉗子の種類や縫合に用いられている糸の種類等が表示されてもよい。また、第2表示画面300Bのタグ情報表示欄305には、課金情報に基づいた付随情報が表示されてもよい。例えば、ユーザの課金額または課金プランを示す課金情報を含む課金情報データベースから、アクセスしたユーザに紐づく課金情報を読み出す。予め記録された、課金情報と表示可能な付随情報とが紐づいたテーブル情報に基づき、第2表示画面300Bのタグ情報表示欄305に付随情報を表示する。これにより、課金情報に基づいた表示情報量の制御が可能となる。また、動画の解析により、血管の位置の情報を生成し、動画に血管の位置を示す情報を重畳して表示するタグを設けてもよい。
また、タグ選択欄304には、予め「コメント」のタグが選択候補として登録されてもよい。例えば、「コメント」のタグが選択された場合、タグ情報表示欄305には、ユーザによって入力されたコメントが動画の再生時刻順に表示されてもよい。これにより、一つの手術動画を異なるタイミングで利用しているユーザ間で情報交換が可能となる。その結果、付随情報には含まれていない情報を、ユーザのコメントによって補完することが可能となる。例えば、手術に使用されている医療機器に関する情報、具体的には、医療機器メーカー、型式等の情報や手術に使用される術具を選択する際の判断基準の情報等をユーザ間で交換することが可能となる。
関連動画表示欄307では、ユーザの属性やアクセスレベルに応じた検索結果が表示されてもよい。例えば、ユーザが研修医である場合、研修医は、病気の種類、患部、治療内容、患者の性別、年齢や患者の喫煙習慣の有無、執刀医等で手術動画を検索することができてもよい。
参考度表示欄313は、関連動画表示欄307に表示された第2手術動画に対応して配置され、当該手術動画の参考度が表示される。例えば、投票ボタン312は、メイン表示エリア303に表示された第2手術動画がユーザにとって有用であったと判断された場合に、ユーザによって利用されるボタンであり、投票ボタン312がユーザによって押された場合、当該第2手術動画の参考度が上昇する。関連動画表示欄307には、参考度が高い第2手術動画が、参考度が低い第2手術動画よりも上方に表示されてもよい。また、参考度表示欄313には、対応する手術動画に関する補足情報が表示されてもよい。例えば、参考度表示欄313には、当該手術動画の公表状況、具体的には、公表の有無、公表目的、日時等の情報が表示されてもよい。
また出力制御部130は、属性又はアクセスレベルに応じて、第2表示画面300Bを異なる表示となるように制御してもよい。また、ユーザが研修医である場合、第2表示画面300Bには、医師によって推薦された手術動画を示す表示がされてもよい。
なお、第2表示画面には、第1手術動画が表示されないことから、第1表示画面に表示されていた手術動画変換ボタン310は表示されない。
また、出力制御部130は、アクセスレベルによって、ノード30に表示される手術動画の画質を変更してもよい。
手術システム41は、第1手術動画に加えて、手術に使用される医療機器の稼働状況に関する情報を情報処理装置11に送信する。送信された医療機器の稼働状況に関する情報は付随情報として使用され、先立って説明したタグ情報表示欄305に表示されてもよい。
[2.2.動作]
ここまで、本実施形態に係る情報処理システム2の構成について説明した。続いて、図11及び図12を参照して、情報処理装置11の動作について説明する。図11は、本実施形態に係る情報処理装置11による第1手術動画の取得から保存までの動作の流れを示す流れ図である。図12は、本実施形態に係る情報処理装置11による権限情報取得からノード30への出力までの動作の流れを示す流れ図である。
図11を参照して、情報処理装置10による第1手術動画の取得から第1手術動画、第2手術動画及び付随情報の保存まで動作の流れを説明する。図11に示したS303、S305、S307、S311のそれぞれは、それぞれ第1の実施形態において説明したS103、S105、S107、S111と同様であるため、ここでの詳細な説明は省略する。
まず、情報処理装置11は、手術室に備えられた手術システム41から、第1手術動画を取得する(S301)。具体的には、通信部110は、ネットワーク50を介して手術システム40から第1手術動画を受信し、第1手術動画を情報処理部100に送信する。このとき、通信部110は、手術システム41から、手術に使用される医療機器の稼働状況に関する情報を受信してもよい。第1手術動画及び医療機器の稼働状況に関する情報は、保存サーバ20又は記憶部120に保存されてもよい。
S309において、第1手術動画に付随する第2手術動画に付随する付随情報が生成される。具体的には、付随情報生成部106は、動画に個人情報が含まれるタイミングや時間、手術に関連するあらゆる情報に付随する付随情報を生成する。例えば、付随情報生成部106は、手術の種類、手術のフロー、手術の進行状況、出血量、出血箇所、出血発生のタイミングや医療機器が使用されるタイミング、看護師の動きに関する情報等を付随情報として生成する。付随情報生成部106は、第1手術動画、第2手術動画又は手術システム41から送信された医療機器の稼働状況に関する情報等を基に付随情報を生成する。
続いて、図12を参照して、情報処理装置11による権限情報取得からノード30への出力までの動作の流れを説明する。図12に示したS401、S403、S405、S406、S407、S408のそれぞれは、それぞれ第1の実施形態において説明したS201、S203、S205、S206、S207、S208と同様であるため、ここでの詳細な説明は省略する。
判定部103によって第1手術動画及び第2手術動画のいずれの手術動画も送信可能であると判定された場合(S407)、ノード30は、第1表示画面を表示することが可能となる(S409)。ユーザは、ノード30の第1表示画面300Aに表示された第1手術動画、第2手術動画、付随情報や第1手術動画もしくは第2手術動画に関連する手術動画等を利用することができる。
また、判定部103によって第2手術動画が送信可能であると判定された場合(S408)、ノード30は、第2表示画面を表示することが可能となる(S410)。ユーザは、ノード30の第2表示画面に表示された第2手術動画、付随情報や第2手術動画に関連する手術動画を利用することができる。
本実施形態によれば、ノード30は、手術動画を利用するユーザのアクセスレベルに応じた種類の手術動画及び付随情報を表示することができる。それにより、手術動画に表示された患者の個人情報が保護されつつ、ユーザの属性や目的に応じて、一つの手術に対して異なる観点から手術動画の利用が可能となる。その結果、個人情報を保護しつつ、利便性の高い手術動画をユーザに提供することが可能となる。例えば、本実施形態に係る情報処理システムによれば、手術中に録画された改変されていない手術動画の保存とともに、医療従事者の学習教材や機械学習のための学習データ等の用途に、患者の個人情報が保護された手術動画を利用することが可能となる。
また、手術中に録画された手術動画が改変されることなく保存されることで、必要な場合、手術動画に含まれた個人情報を確認することにより、容易に患者の特定が可能となる。
<3.第3の実施形態>
[3.1.構成]
続いて、図13を参照して、本開示の第3の実施形態に係る情報処理システム3について説明する。図13は、本実施形態に係る情報処理システム3の構成を示すブロック図である。本実施形態に係る情報処理システム3は、情報処理装置12、保存サーバ20、ノード30、手術システム41(図示せず。)、ネットワーク50(図示せず。)、及びアクセスサーバ60を備える。本実施形態において、情報処理システム3に適用され得る保存サーバ20およびノード30は、第1の実施形態で説明したものと同様であり、手術システム41は、第2の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
本実施形態に係る情報処理装置12は、情報処理部100、通信部110、記憶部120及び出力制御部131を備える。情報処理部100は、変換部101、識別情報生成部102、判定部103、付随情報生成部106及び検索部105を備える。本実施形態において、変換部101、識別情報生成部102、判定部103、付随情報生成部106、検索部105、通信部110及び記憶部120は、第2の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
出力制御部131は、ノード30に出力する手術動画及び付随情報を制御する。例えば、出力制御部131は、後述するアクセスサーバ60が有する判定部620の判定結果に対応した手術動画及び付随情報を制御する。
ノード30は、アクセスサーバ60を介して情報処理装置12又は保存サーバ20にアクセスする。アクセスサーバ60は、通信部610及び判定部620を有する。
通信部610は、ネットワーク50を介して、情報処理装置10、保存サーバ20及びノード30と各種情報の送受信を行う機能を有する。具体的には、通信部610は、手術システム41又は保存サーバ20から第1手術動画、第2手術動画、付随情報、識別情報を受信する。また、通信部610は、ノード30からの指示やユーザID等を受信し、ノード30からの指示内容又は判定部620が行う判定に応じて、手術動画、付随情報等をノード30に送信する。また、通信部610は、第1手術動画、第2手術動画、情報処理部100で生成された各種情報、例えば、識別情報、付随情報、ノード30から受信した権限情報等を保存サーバ20に送信する。
判定部620は、ノード30から送信された権限情報に基づいて、ノード30への第1手術動画の送信可否、及び第2手術動画の送信可否を判定する機能を有する。具体的には、判定部620は、ノード30から送信されるユーザIDと、例えば図3に示した権限情報リストとに基づいて、手術動画の送信可否を判定する。
[3.2.動作]
続いて、図14を参照して、情報処理システム3の動作について説明する。図14は、本実施形態に係る情報処理システム3による第1手術動画の取得から保存までの動作の流れを示すシーケンス図である。
手術システム41は、情報処理装置12に対して、第1手術動画及び手術に使用される医療機器の稼働状況に関する情報を情報処理装置10に送信する(S501)。情報処理装置12は、第1手術動画に個人情報が含まれる場合は、変換部101によって第1手術動画を第2手術動画に変換する(S503)。第1手術動画及び第2手術動画は保存サーバ20に送信される(S505)。また、情報処理装置12は、付随情報生成部104によって、第1手術動画及び第2手術動画に付随する付随情報を生成する(S507)。ノード30は、情報処理装置12及びアクセスサーバ60に権限情報を送信する(S509)。情報処理装置12は、送信された権限情報を基に、当該権限を有するユーザのノード30に送信可能な付随情報を選択し、当該付随情報を保存サーバ20に送信する(S511)。アクセスサーバ60は、判定部620において、ノード30から送信された権限情報に基づいてノード30への第1手術動画の送信可否、及び第2手術動画の送信可否を判定する(S513)。アクセスサーバ60は、判定結果に基づいて、手術動画及び付随情報の送信指示を保存サーバ20に送信する(S515)。保存サーバ20は、アクセスサーバ60から送信された送信指示に基づいて、対応する手術動画及び付随情報をアクセスサーバ60に送信する(S517)。次いで、アクセスサーバ60は、受信した手術動画及び付随情報をノード30に送信する(S519)。そして、ノード30は、受信した手術動画及び付随情報を表示する(S521)。例えば、ノード30は、第1手術動画を受信した場合は、第1表示画面を表示し、第1手術動画を受信せずに第2手術動画を受信した場合は、第2表示画面を表示する。
本実施形態に係る情報処理システムによれば、情報処理装置12は、所定の権限情報に対応した付随情報を保存サーバ20に送信するため、権限のない付随情報がノード30に送信されることが防止される。また、付随情報を生成する情報処理装置12とは物理的に離れたアクセスサーバ60に備えられる判定部620によって、ノード30への手術動画の送信判定がされるため、情報漏えいの可能性をより低減することが可能となる。
[3.3.変形例]
上記実施形態では、1つの保存サーバ20が備えられる場合を説明したが、本実施形態に係る情報処理システム3は、複数の保存サーバを備えていてもよい。例えば2つの保存サーバが備えられる場合、一方の保存サーバ21に第1手術動画を保存し、他方の保存サーバ22に第2手術動画を保存してもよい。図15を参照して、第1手術動画及び第2手術動画がそれぞれ異なる保存サーバに保存される場合における、第2手術動画の取得から保存までの動作の流れを説明する。図15は、第1手術動画及び第2手術動画がそれぞれ異なる保存サーバに保存される場合における、第2手術動画の取得から保存までの動作の流れ示すシーケンス図である。なお、図15に示した、S601、S603及びS613は、それぞれ先立って説明したS501、S503及びS513と同様であるため、ここでの説明は省略する。保存サーバ21は、本開示に係る第1記憶サーバに相当するものであり、保存サーバ22は、本開示に係る第2記憶サーバに相当するものである。
情報処理装置12に送信された第1手術動画は、保存サーバ21に送信される(S602)。情報処理装置12によって第1手術動画が第2手術動画に変換された後(S603)、情報処理装置12は、保存サーバ22に第2手術動画を送信する(S605)。次いで、情報処理装置12に備えられる付随情報生成部106によって第1付随情報及び第2付随情報が生成される(S607)。続いて、情報処理装置12は、保存サーバ21に第1付随情報を送信し、保存サーバ22に第2付随情報を送信する(S609)。
ノード30は、アクセスサーバ60に権限情報を送信する(S611)。S613において、判定部620がノード30に対して第1手術動画は送信不可であり、第2手術動画は送信可能であると判定した場合、保存サーバ22に第2手術動画及び第2付随情報の送信指示を送信する(S615)。保存サーバ22は、アクセスサーバ60から送信された送信指示に基づいて、第2手術動画及び第2付随情報をアクセスサーバ60に送信する(S617)。次いで、アクセスサーバ60は、受信した第2手術動画及び第2付随情報をノード30に送信する(S619)。そして、ノード30は、受信した第2手術動画及び第2付随情報を表示する(S621)。
上記では、アクセスサーバ60が、保存サーバ22に保存された第2手術動画及び第2付随情報を受信し、当該第2手術動画及び第2付随情報をノード30に送信する場合を説明したが、上記に限られず、アクセスサーバ60による判定結果に基づいて、保存サーバ21又は保存サーバ22の少なくともいずれかに手術動画及び付随情報の送信指示を送信してもよい。例えば、判定部620が第1手術動画及び第2手術動画を送信可能と判定した場合、保存サーバ21及び保存サーバ22に手術動画及び付随情報の送信指示を送信してもよい。その後、保存サーバ21は、第1手術動画及び第1付随情報をアクセスサーバ60に送信し、保存サーバ22は、第2手術動画及び第2付随情報をアクセスサーバ60に送信してもよい。
保存サーバが複数備えられることで、第1手術動画と第2手術動画が異なる保存サーバに保存されることが可能となる結果、セキュリティが一層強化され、個人情報の漏えいを防止することが可能となる。また、第1手術動画が保存されている保存サーバには、アクセスレベルが規定以上のノードのみを接続可能にすることが好ましい。例えば、判定部620はアクセスレベルからアクセス場所を判定し、病院内ネットワーク以外の外部ネットワークからのアクセスである場合には、第1手術動画が保存されている保存サーバへのアクセスを遮断する。これにより、さらにセキュリティを強化することが可能となる。
なお、病院内のサーバを、個人情報を含む第1の手術動画を記録する保存サーバ21とし、クラウドサーバ(クラウドコンピューティングによりネットワーク上に設定された病院外サーバ)を、個人情報を含まない第2の手術動画を記録する保存サーバ22としてもよい。このとき、病院内に設けたアクセスサーバを介したアクセスの場合は保存サーバ21にアクセス可能とし、クラウド上に設けたアクセスサーバを介したアクセスの場合は保存サーバ22にのみアクセス可能とすることが好ましい。これにより、第1手術動画が保存されている保存サーバへのアクセスを遮断することでセキュリティを強化できるとともに、クラウドコンピューティングによるアクセスが可能となることで利便性が向上する。また、このときに上記実施形態で説明した情報処理装置12の一部の機能をクラウドサーバに設けてもよい。例えば、病院内の情報処理装置は、手術動画を病院内の保存サーバ21に第1識別情報が紐づく第1手術動画として記録するとともに、クラウドサーバに手術動画を送信する。クラウドサーバは手術動画に対して個人情報を保護する保護処理を行い、第2の識別情報が紐づく第2手術動画を生成し、クラウドサーバ上に記録する。これにより、クラウドサーバの計算リソースにより個人情報の保護処理を行えるため、計算リソースの調整が容易となる。このとき、第1手術動画もクラウドサーバ上に記録するとともに秘密鍵と公開鍵を生成し、秘密鍵を有するユーザにのみ第1手術動画にアクセス可能にしてもよい。また、情報処理装置12は、患者の手術前の同意情報(例えば、手術動画を記録することや個人情報保護を行った上で手術動画を公開することに対する同意を示す情報)を手術動画に紐づけて記録してもよい。さらに、手術動画に同意情報が紐づいているか否かに基づいて個人情報の保護処理または保存サーバ22の記録の可否を判定する判定部を有していてもよい。
<4.ハードウェア構成>
以上、本開示に係る実施形態について説明した。上述した画像処理は、ソフトウェアと、以下に説明する情報処理システムのハードウェアとの協働により実現される。
次に、本開示の一実施形態に係る情報処理システム1のハードウェア構成例について説明する。図16は、本開示の一実施形態に係る情報処理システム1のハードウェア構成例を示すブロック図である。図16を参照すると、情報処理システム1は、例えば、CPU1270と、ROM1271と、RAM1272と、ホストバス1273と、ブリッジ1274と、外部バス1275と、インタフェース1276と、入力装置1277と、表示装置1278と、音声出力装置1279と、ストレージ装置1280と、ドライブ1281と、接続ポート1282と、リムーバブル記憶媒体1283と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
CPU1270は、例えば、演算処理装置又は制御装置として機能し、ROM1271、RAM1272、ストレージ装置1280、又はリムーバブル記憶媒体1283に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。CPU1270は、ソフトウェアとの協働により、例えば、情報処理部100、出力制御部130、出力制御部131、判定部230及び判定部620としての機能を実現する。
ROM1271は、CPU1270に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM1272には、例えば、CPU1270に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
CPU1270、ROM1271、RAM1272は、例えば、高速なデータ伝送が可能なホストバス1273を介して相互に接続される。一方、ホストバス1273は、例えば、ブリッジ1274を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス1275は、インタフェース1276を介して種々の構成要素と接続される。
入力装置1277には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられ得る。さらに、入力装置1277としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置1277には、マイクロフォンなどの音声入力装置が含まれる。入力装置1277は、例えば、ノード30に適用される。また、本開示の技術が適用され得る手術システムでは、フットスイッチ250が入力装置1277として用いられることが好ましい。
表示装置1278は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、プリンタ等であり、音声出力装置1279は、スピーカー、ヘッドホン等のオーディオ出力装置等である。表示装置1278及び音声出力装置1279は、いずれも取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置であり、例えば、ノード30に用いられる。また、表示装置1278として、例えば、ディスプレイ装置が用いられる場合、表示装置1278は、先立って説明した、第1表示画面300A又は第2表示画面300Bの少なくともいずれかを表示する。
ストレージ装置1280は、各種のデータを格納するための装置である。ストレージ装置1280としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。ストレージ装置1280は、ソフトウェアとの協働により、例えば、記憶部120としての機能を実現し、保存サーバ20、保存サーバ21、保存サーバ22及び保存サーバ23の一機能を実現する。
ドライブ1281は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体1283に記録された情報を読み出し、又はリムーバブル記憶媒体1283に情報を書き込む装置である。
リムーバブル記憶媒体1283は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体1283は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
接続ポート1282は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
<5.結び>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、判定部が情報処理装置又はアクセスサーバに備えられるとしたが、本技術はかかる例に限定されない。例えば、図17に示すように、保存サーバ23に、判定部103又は判定部620に相当する判定部230が備えられてもよい。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
病院内の手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得する取得部と、
前記第1手術記録に含まれる患者の個人情報に対して保護処理を行い、前記第1手術記録を第2手術記録に変換する変換部と、
前記第1手術記録に紐付けられる第1識別情報と、前記第2手術記録に紐付けられる第2識別情報とを生成する識別情報生成部と、
前記病院内の属性または前記手術の情報に基づいて定められたユーザの権限に関する権限情報に基づいて、前記第1識別情報に紐付けられた前記第1手術記録又は前記第2識別情報に紐付けられた前記第2手術記録のいずれかに前記ユーザがアクセス可能か否かを判定する判定部と、
を備える、情報処理システム。
(2)
前記第1手術記録及び前記第2手術記録は動画による記録を含む、(1)に記載の情報処理システム。
(3)
前記判定部は、前記権限情報に前記第1手術記録へのアクセス権限が含まれる場合に、前記第1識別情報に紐付けられた前記第1手術記録を前記ユーザによって使用されるノードに送信可能であると判定する、(1)又は(2)に記載の情報処理システム。
(4)
前記第1手術記録又は前記第2手術記録を前記ノードに出力する出力制御部を備える、(1)~(3)のいずれか1項に記載の情報処理システム。
(5)
前記第1手術記録又は前記第2手術記録に付随する前記個人情報に関する付随情報を生成する付随情報生成部を備える、(1)~(4)のいずれか1項に記載の情報処理システム。
(6)
前記付随情報は、前記手術に関する情報を含む、(5)に記載の情報処理システム。
(7)
前記第1手術記録又は前記第2手術記録を前記ユーザによって使用されるノードに出力する出力制御部を備え、
前記出力制御部は、前記ユーザの前記権限情報に基づいて前記付随情報を前記ノードに出力可能である、(6)に記載の情報処理システム。
(8)
前記第1手術記録又は前記第2手術記録を前記ユーザによって使用されるノードに出力する出力制御部を備え、
前記出力制御部は、前記判定部が前記第1識別情報に紐付けられた前記第1手術記録を前記ノードに送信すべきであると判定した場合に、前記付随情報を前記第1手術記録と共に前記ノードに出力する、(6)に記載の情報処理システム。
(9)
前記第1手術記録には音声情報が含まれ、
前記変換部は、前記音声情報に含まれる前記患者の個人情報に保護処理を行って前記第1手術記録を前記第2手術記録に変換する、(1)~(8)のいずれか1項に記載の情報処理システム。
(10)
前記第1手術記録と、前記第2手術記録と、前記第1識別情報と、前記第2識別情報と、を記憶する記憶部をさらに備える、(1)~(9)のいずれか1項に記載の情報処理システム。
(11)
前記記憶部は、前記第1手術記録と前記第1識別情報とを記憶する第1記憶サーバと、前記第2手術記録と前記第2識別情報とを記憶する第2記憶サーバと、から構成される、(10)に記載の情報処理システム。
(12)
前記権限情報は、前記ユーザによって使用されるノードが病院内のネットワークに接続されているか否かの情報を含み、
前記判定部は、前記ノードが病院内のネットワークに接続されていない場合は、前記第1記憶サーバへのアクセスを遮断する、(11)に記載の情報処理システム。
(13)
前記変換部は、前記患者の顔を別の人間の顔に置き換える置き換え処理を行う、(1)~(12)のいずれか1項に記載の情報処理システム。
(14)
前記出力制御部は、前記ユーザの前記権限情報に基づいて出力する前記付随情報を選択する、(7)に記載の情報処理システム。
(15)
前記出力制御部は、前記ユーザの前記権限情報と、前記ユーザの課金情報に基づいて出力する前記付随情報を選択する、(7)に記載の情報処理システム。
(16)
ユーザの権限に関する権限情報に基づいて、第1識別情報に紐付けられた第1手術記録又は第2識別情報に紐付けられた第2手術記録のいずれを前記ユーザによって使用されるノードに送信するかを判定する判定部、を備え、
前記第1手術記録は手術に用いられる医療機器の稼働に関する情報の記録であり、
前記第2手術記録は前記第1手術記録に含まれる患者の個人情報に保護処理が行われることで前記第1手術記録から変換された記録である、情報処理装置。
(17)
プロセッサが、
手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得することと、
前記第1手術記録に含まれる患者の個人情報の保護処理を行って前記患者の特定が不可能な手術記録である第2手術記録に変換することと、
前記第1手術記録に紐付けられる第1識別情報と、前記第2手術記録に紐付けられる第2識別情報とを生成することと、
ユーザの権限に関する権限情報に基づいて、前記第1識別情報に紐付けられた前記第1手術記録又は前記第2識別情報に紐付けられた前記第2手術記録のいずれを前記ユーザによって使用されるノードに送信するかを判定することと、
を含む、情報処理方法。
1、2、3 情報処理システム
10、11、12、13 情報処理装置
20、21、22、23 保存サーバ
30 ノード
40、41 手術システム
50 ネットワーク
60 アクセスサーバ
100、140 情報処理部
101 変換部
102 識別情報生成部
103、230、620 判定部
104、106 付随情報生成部
105 検索部
110、610 通信部
120 記憶部
130、131 出力制御部
300A 第1表示画面
300B 第2表示画面

Claims (17)

  1. 病院内の手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得する取得部と、
    前記第1手術記録に含まれる患者の個人情報に対して保護処理を行い、前記第1手術記録を第2手術記録に変換する変換部と、
    前記第1手術記録に紐付けられる第1識別情報と、前記第2手術記録に紐付けられる第2識別情報とを生成する識別情報生成部と、
    前記病院内の属性または前記手術の情報に基づいて定められたユーザの権限に関する権限情報に基づいて、前記第2識別情報に紐付けられた前記第2手術記録に前記ユーザがアクセス可能か否かを判定し、前記第2手術記録に前記ユーザがアクセス可能と判定された場合に、前記第1識別情報に紐付けられた前記第1手術記録に前記ユーザがアクセス可能か否かを判定する判定部と、
    を備える、情報処理システム。
  2. 前記第1手術記録及び前記第2手術記録は動画による記録を含む、請求項1に記載の情報処理システム。
  3. 前記判定部は、前記権限情報に前記第1手術記録へのアクセス権限が含まれる場合に、前記第1識別情報に紐付けられた前記第1手術記録を前記ユーザによって使用されるノードに送信可能であると判定する、請求項1に記載の情報処理システム。
  4. 前記第1手術記録又は前記第2手術記録を前記ノードに出力する出力制御部を備える、請求項3に記載の情報処理システム。
  5. 前記第1手術記録又は前記第2手術記録に付随する前記個人情報に関する付随情報を生成する付随情報生成部を備える、請求項1に記載の情報処理システム。
  6. 前記付随情報は、前記手術に関する情報を含む、請求項5に記載の情報処理システム。
  7. 前記第1手術記録又は前記第2手術記録を前記ユーザによって使用されるノードに出力する出力制御部を備え、
    前記出力制御部は、前記ユーザの前記権限情報に基づいて前記付随情報を前記ノードに出力可能である、請求項6に記載の情報処理システム。
  8. 前記第1手術記録又は前記第2手術記録を前記ユーザによって使用されるノードに出力する出力制御部を備え、
    前記出力制御部は、前記判定部が前記第1識別情報に紐付けられた前記第1手術記録を前記ノードに送信すべきであると判定した場合に、前記付随情報を前記第1手術記録と共に前記ノードに出力する、請求項6に記載の情報処理システム。
  9. 前記第1手術記録には音声情報が含まれ、
    前記変換部は、前記音声情報に含まれる前記患者の個人情報に保護処理を行って前記第1手術記録を前記第2手術記録に変換する、請求項1に記載の情報処理システム。
  10. 前記第1手術記録と、前記第2手術記録と、前記第1識別情報と、前記第2識別情報と、を記憶する記憶部をさらに備える、請求項1に記載の情報処理システム。
  11. 前記記憶部は、前記第1手術記録と前記第1識別情報とを記憶する第1記憶サーバと、前記第2手術記録と前記第2識別情報とを記憶する第2記憶サーバと、から構成される、請求項10に記載の情報処理システム。
  12. 前記権限情報は、前記ユーザによって使用されるノードが病院内のネットワークに接続されているか否かの情報を含み、
    前記判定部は、前記ノードが病院内のネットワークに接続されていない場合は、前記第1記憶サーバへのアクセスを遮断する、請求項11に記載の情報処理システム。
  13. 前記変換部は、前記患者の顔を別の人間の顔に置き換える置き換え処理を行う、
    請求項1に記載の情報処理システム。
  14. 前記出力制御部は、前記ユーザの前記権限情報に基づいて出力する前記付随情報を選択する、請求項7に記載の情報処理システム。
  15. 前記出力制御部は、前記ユーザの前記権限情報と、前記ユーザの課金情報に基づいて出力する前記付随情報を選択する、請求項7に記載の情報処理システム。
  16. ユーザの権限に関する権限情報に基づいて、第1識別情報に紐付けられた第1手術記録第2識別情報に紐付けられた第2手術記録とのうち、前記第2手術記録を前記ユーザによって使用されるノードに送信するかを判定し、前記第2手術記録を前記ノードに送信すると判定された場合に、前記第1手術記録を前記ノードに送信するか否かを判定する判定部、を備え、
    前記第1手術記録は手術に用いられる医療機器の稼働に関する情報の記録であり、
    前記第2手術記録は前記第1手術記録に含まれる患者の個人情報に保護処理が行われることで前記第1手術記録から変換された記録である、情報処理装置。
  17. プロセッサが、
    手術に用いられる医療機器の稼働に関する情報の記録である第1手術記録を取得することと、
    前記第1手術記録に含まれる患者の個人情報の保護処理を行って前記患者の特定が不可能な手術記録である第2手術記録に変換することと、
    前記第1手術記録に紐付けられる第1識別情報と、前記第2手術記録に紐付けられる第2識別情報とを生成することと、
    ユーザの権限に関する権限情報に基づいて、前記第2識別情報に紐付けられた前記第2手術記録に前記ユーザがアクセス可能か否かを判定し、前記第2手術記録に前記ユーザがアクセス可能と判定された場合に、前記第1識別情報に紐付けられた前記第1手術記録に前記ユーザがアクセス可能か否かを判定することと、
    を含む、情報処理方法。
JP2020525751A 2018-06-18 2019-06-18 情報処理システム、情報処理装置及び情報処理方法 Active JP7380557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018115182 2018-06-18
JP2018115182 2018-06-18
PCT/JP2019/024149 WO2019244896A1 (ja) 2018-06-18 2019-06-18 情報処理システム、情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2019244896A1 JPWO2019244896A1 (ja) 2021-06-24
JP7380557B2 true JP7380557B2 (ja) 2023-11-15

Family

ID=68983861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020525751A Active JP7380557B2 (ja) 2018-06-18 2019-06-18 情報処理システム、情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US20210249109A1 (ja)
JP (1) JP7380557B2 (ja)
CN (1) CN112262437A (ja)
WO (1) WO2019244896A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
JP2022030825A (ja) * 2020-08-07 2022-02-18 キヤノンメディカルシステムズ株式会社 医用画像診断装置
DE102021107075A1 (de) * 2021-03-22 2022-09-22 Olympus Winter & Ibe Gmbh Verfahren, System und Softwareprogrammprodukt zum Erstellen von Trainingsdaten für endoskopische Anwendungen
EP4376402A1 (en) * 2021-07-21 2024-05-29 Sony Group Corporation Information processing system, information processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140685A (ja) 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd 画像管理システム及び画像管理方法
JP2006202130A (ja) 2005-01-21 2006-08-03 Hitachi Medical Corp プライバシー情報表示システム
JP2007044239A (ja) 2005-08-10 2007-02-22 Toshiba Corp 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
WO2013081042A1 (ja) 2011-11-30 2013-06-06 富士フイルム株式会社 医療システム
WO2014103879A1 (ja) 2012-12-26 2014-07-03 オリンパスメディカルシステムズ株式会社 画像記録装置及び画像記録方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677613A (zh) * 2012-03-14 2020-01-10 谷歌有限责任公司 在视频会议期间修改参与者的外观

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140685A (ja) 2000-11-01 2002-05-17 Fuji Photo Film Co Ltd 画像管理システム及び画像管理方法
JP2006202130A (ja) 2005-01-21 2006-08-03 Hitachi Medical Corp プライバシー情報表示システム
JP2007044239A (ja) 2005-08-10 2007-02-22 Toshiba Corp 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
WO2013081042A1 (ja) 2011-11-30 2013-06-06 富士フイルム株式会社 医療システム
WO2014103879A1 (ja) 2012-12-26 2014-07-03 オリンパスメディカルシステムズ株式会社 画像記録装置及び画像記録方法

Also Published As

Publication number Publication date
US20210249109A1 (en) 2021-08-12
CN112262437A (zh) 2021-01-22
WO2019244896A1 (ja) 2019-12-26
JPWO2019244896A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP7380557B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
US11737841B2 (en) Configuring surgical system with surgical procedures atlas
KR102013868B1 (ko) 수술 최적화 방법 및 장치
US20220336078A1 (en) System and method for tracking a portion of the user as a proxy for non-monitored instrument
US20220160444A1 (en) Teleoperated surgical system with surgical instrument wear tracking
CN116230153A (zh) 医疗助理
CN109996509B (zh) 带有基于外科医生技能水平的器械控制的远程操作手术系统
JP2002272758A (ja) 手術支援装置
CN114144785A (zh) 匿名化机器人数据
WO2017151904A1 (en) Methods and systems for anatomical image registration
JP7164877B2 (ja) 情報共有システム
Swain Robotic surgery in otorhinolaryngology and head-and-neck oncology
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法
CN117479896A (zh) 包括可在组织穿透外科装置的通道外展开的相机阵列的系统
CN118160044A (zh) 叠加数据和配置的定制
CN117480569A (zh) 作为非监测器械的代理来跟踪用户的一部分的系统和方法
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151