WO2019111512A1 - 医療用情報処理装置、および情報処理方法 - Google Patents

医療用情報処理装置、および情報処理方法 Download PDF

Info

Publication number
WO2019111512A1
WO2019111512A1 PCT/JP2018/036760 JP2018036760W WO2019111512A1 WO 2019111512 A1 WO2019111512 A1 WO 2019111512A1 JP 2018036760 W JP2018036760 W JP 2018036760W WO 2019111512 A1 WO2019111512 A1 WO 2019111512A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
medical
information processing
processing apparatus
medical information
Prior art date
Application number
PCT/JP2018/036760
Other languages
English (en)
French (fr)
Inventor
光章 白神
Original Assignee
ソニー・オリンパスメディカルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・オリンパスメディカルソリューションズ株式会社 filed Critical ソニー・オリンパスメディカルソリューションズ株式会社
Priority to JP2019558031A priority Critical patent/JP7343394B2/ja
Priority to US16/768,081 priority patent/US20200312464A1/en
Priority to EP18886892.1A priority patent/EP3677208A4/en
Publication of WO2019111512A1 publication Critical patent/WO2019111512A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M16/00—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes
    • A61M16/01—Devices for influencing the respiratory system of patients by gas treatment, e.g. mouth-to-mouth respiration; Tracheal tubes specially adapted for anaesthetising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Definitions

  • the present disclosure relates to a medical information processing apparatus and an information processing method.
  • surgical data is generated by various devices, and the surgical data is recorded in a recording medium.
  • a medical worker such as a doctor tries to use surgical data stored in a recording medium as a secondary data
  • the medical worker “reproduces all the surgical data, and uses the editing software to make a snapshot. It was necessary to do a great deal of work such as “cut out”, “compare work data with medical illustration images such as anatomical drawings, and create a workflow of a case surgery protocol”.
  • the present disclosure proposes a new and improved medical information processing apparatus and information processing method that can improve the convenience of medical workers.
  • target data corresponding to a selection condition including a condition regarding a patient attribute, a condition regarding a type of procedure, and a condition regarding a type of disease is selected from candidate data including surgery data acquired during surgery
  • a selection unit an extraction unit that detects a feature from the selected target data; and extracts feature data corresponding to the detected feature from the target data; an editing processing unit that edits the extracted feature data;
  • a medical information processing apparatus is provided, wherein the extraction unit extracts at least a medical image as the feature data.
  • target data corresponding to a selection condition including a condition regarding a patient attribute, a condition regarding a type of procedure, and a condition regarding a type of disease from candidate data including surgery data acquired during surgery.
  • the steps of selecting, detecting a feature from the selected target data, extracting feature data corresponding to the detected feature from the target data, and editing the extracted feature data The information processing method executed by the medical information processing apparatus is provided, wherein at least the medical image is extracted as the feature data in the extracting step.
  • the convenience of medical personnel can be improved.
  • FIG. 1 is an explanatory view showing an example of the configuration of a medical information processing system 1000 according to the present embodiment.
  • the flow of data indicating the image and / or the voice of the surgical data is indicated by a broken line.
  • the flow of data other than the data indicating the image and / or the voice is indicated by a solid line.
  • the medical information processing system 1000 includes the medical information processing apparatus 100 according to the present embodiment.
  • An example of the configuration of the medical information processing apparatus 100 and an example of processing (processing according to the information processing method according to the present embodiment) in the medical information processing apparatus 100 will be described later.
  • the medical information processing system 1000 includes, for example, a medical controller 10, an acquisition device, a storage device, a patient information management device, a data output device, an operation device, and a switcher 46.
  • a medical controller 10 an acquisition device, a storage device, a patient information management device, a data output device, an operation device, and a switcher 46.
  • Each device constituting the medical information processing system 1000 is driven by power supplied from an internal power supply such as a battery provided in each device, or power supplied from an external power supply connected to each device. Do.
  • the acquisition device of the medical information processing system 1000 is a device that acquires various types of surgery data.
  • an acquisition apparatus for example, an eyelid camera 12, an operation field camera 14, an endoscope / medical device 16, an external input terminal 18, an income cam 20, a living body monitor 22, and an anesthesia system 24 can be mentioned.
  • the storage device of the medical information processing system 1000 is a device that stores the acquired surgery data.
  • storage device the recorder 26, the moving image server 28, the apparatus log data server 30, and the anesthesia department server 32 are mentioned, for example.
  • the patient information management device included in the medical information processing system 1000 is a device that manages patient information which is data about a patient.
  • a patient information management device for example, an electronic medical record server 34 and a DICOM (Digital Imaging and Communication in Medicine) server 36 may be mentioned.
  • DICOM Digital Imaging and Communication in Medicine
  • the patient information includes, for example, the data (or data group) shown below. It is needless to say that the example of patient information is not limited to the example shown below. Part or all of the data constituting the patient information corresponds to electronic medical record information (described later) stored in the electronic medical record server 34.
  • Identification data uniquely indicating a patient eg, an ID indicating a patient
  • -Data indicating the procedure applied to the surgery to be performed on the patient-Data indicating the gender of the patient-Data indicating the age (or age) of the patient-Physical data of the patient-Data indicating the type of disease-Patient's Data indicating the patient's history
  • Data indicating the patient's surgery data
  • Data indicating the patient's medication history
  • Patient's postoperative data on the post-operative data eg, data indicating QALI (Quality Adjusted Life Years), QOL Data indicating quality of life, data on discharge days, data indicating presence or absence of complications, etc.
  • QALI Quality Adjusted Life Years
  • the data output device of the medical information processing system 1000 is a device that outputs the acquired surgical data and / or patient information.
  • Examples of the data output device include a ceiling suspension monitor 38, a wall surface monitor 40, and a printer 42.
  • the data output device is not limited to the example described above.
  • the data output device may be any mobile device, such as a tablet device or a portable computer.
  • the operation device included in the medical information processing system 1000 is a device that can be operated by a person using the operation device.
  • various devices constituting the medical information processing system 1000 such as the medical controller 10 are operated.
  • the touch panel 44 is mentioned, for example.
  • the operation device included in the medical information processing system 1000 is not limited to the device operated by the device. For example, when text (for example, a character string, a document) is input by an operation on the operation device, the operation device included in the medical information processing system 1000 may generate text data.
  • text for example, a character string, a document
  • the switcher 46 included in the medical information processing system 1000 is a device that controls input and output of various data such as acquired surgical data to each device.
  • an acquisition device, a data output device and an operation device are installed in the operating room.
  • the medical controller 10 the storage device, the patient information management device, the switcher 46, and the medical information processing device 100 are, for example, outside the operation room and in a hospital or It will be installed at any position outside the hospital. It goes without saying that the example of the arrangement of each device constituting the medical information processing system 1000 is not limited to the example shown above.
  • Medical controller 10 The medical controller 10 is communicably connected to each device constituting the medical information processing system 1000, and controls the operation of each device.
  • the medical controller 10 is not connected to the income 20, the living body monitor 22, and the anesthesia system 24. Therefore, in the example shown in FIG. 1, each of the income 20, the living body monitor 22, and the anesthesia system 24 can operate independently of the medical controller 10.
  • the medical controller 10 controls the operation of the acquisition device to acquire surgical data.
  • the medical controller 10 controls the operation of the storage device, causes the storage device to record the surgical data acquired by the acquisition device, and stores the surgical data in the storage device.
  • Examples of surgery data include image data, patient vital data, log data of a medical device used for surgery, and voice data collected by a voice input device such as a microphone.
  • image data included in the operation data for example, data indicating a medical imaging image generated by imaging in the eyelid camera 12, the operation field camera 14, the endoscope / medical device 16 (an example of the medical observation device), etc. Can be mentioned.
  • the image data included in the surgical data may include audio.
  • the vital data of the patient included in the operation data includes, for example, data indicating the pulse of the patient, data indicating the blood pressure of the patient, data indicating the amount of bleeding of the patient, and the like.
  • log data of a medical device used for surgery include data indicating a set value at the time of operation of a treatment device (not shown) such as an electric knife or a bipolar.
  • the medical controller 10 causes the storage device to transmit the image data via the switcher 46 by controlling the operation of the switcher 46.
  • the medical controller 10 may also access the storage device and the patient information management device to read out the surgical data and patient information stored in the storage device and the patient information management device respectively.
  • the medical controller 10 also controls the operation of the data output device and causes the data output device to output surgical data and / or patient information. Specifically, the medical controller 10 outputs, for example, image data included in the currently acquired surgery data from the data output device in accordance with the user's instruction. In addition, the medical controller 10 includes, for example, log data, vital data, anesthesia data (described later), electronic medical record information (described later), and DICOM information (described later) of medical devices included in surgical data currently acquired. One or more of them are output from the data output device according to the user's instruction. When there are a plurality of data output devices as in the configuration example shown in FIG. 1, different data may be output from each device according to the instruction of the user.
  • the medical controller 10 may be connected to an illumination device 50 that emits illumination light to the operative field.
  • the illumination device 50 is, for example, a shadowless light.
  • the medical controller 10 can also control the operation of the lighting device 50 according to the instruction of the user.
  • the medical controller 10 is configured by, for example, a processor such as a central processing unit (CPU) or a digital signal processor (DSP).
  • a processor such as a central processing unit (CPU) or a digital signal processor (DSP).
  • CPU central processing unit
  • DSP digital signal processor
  • the operation device is a device that can be operated by a person using the operation device.
  • various devices constituting the medical information processing system 1000 such as the medical controller 10 are operated by the operation on the operation device, for example.
  • the operating device for operating the medical controller 10 transmits an operation signal indicating various instructions to the medical controller 10 in accordance with the operation of the person operating the operating device.
  • the medical controller 10 having received the operation signal transmitted from the operation device controls the operation of the various connected devices in accordance with the instruction indicated by the operation signal.
  • the operating device may generate text data.
  • the operation device examples include the touch panel 44 shown in FIG. 1, and various devices such as a mouse, a keyboard, various switches such as a foot switch, a lever, a remote controller, and the like that can be operated.
  • the operation device may be a sound collection device such as a microphone or an imaging device such as a digital video camera.
  • the sound collection device functions as an operation device for performing an operation by voice
  • the imaging device functions as an operation device for performing an operation in a movement or a shape such as a gesture.
  • the acquisition device is a device that acquires various surgical data.
  • an acquisition apparatus as mentioned above, for example, an eyelid camera 12, a surgical field camera 14, an endoscope / medical device 16, an external input terminal 18, an income 20, a living body monitor 22, and an anesthesia system 24 can be mentioned.
  • the eyelid camera 12 is installed on the ceiling of the operating room and captures an image of the inside of the operating room (in particular, the surrounding of the operating table where the patient is located).
  • the eyelid camera 12 acquires image data in which the situation in the operating room is stored as the operation data.
  • the operating field camera 14 is installed near the operating table in the operating room and captures an image of the operating field.
  • the surgical field camera 14 acquires, as surgical data, image data in which the state of the surgical field is stored.
  • the endoscope / medical device 16 conceptually represents various devices as a single device, with the endoscope and various devices used when performing treatment on a patient.
  • a medical device for example, “a pneumoperitoneum device that expands the abdominal cavity to create a surgical space”, “a treatment device that coagulates, cuts, or seals tissue using energy such as high frequency current or ultrasonic vibration” It can be mentioned.
  • the medical device is not limited to the examples shown above, but may include various devices generally used for surgery.
  • the endoscope acquires, as surgical data, image data captured by the endoscope.
  • log data of a setting value for example, a setting value of an air supply amount in the case of an insufflation apparatus, a setting value of an output power in the case of a treatment apparatus, etc.
  • a setting value for example, a setting value of an air supply amount in the case of an insufflation apparatus, a setting value of an output power in the case of a treatment apparatus, etc.
  • the external input terminal 18 is a terminal for inputting various data such as image data and log data. By connecting the device to the external input terminal 18, various data such as image data from the device of this unit are input to the medical information processing system 1000.
  • the sensor device 58 is shown as an apparatus connected to the external input terminal 18.
  • FIG. 1 shows a biosensor device as the sensor device 58
  • the sensor device shown in FIG. 1 is an example
  • the external input terminal 18 is an IoT (Internet of Things) device, a wearable device, etc. Any sensor device can be connected.
  • the sensor device 58 is not limited to being connected to the external input terminal 18. Additionally, sensor device 58 may function as an acquisition device.
  • the income 20 functions as a microphone and acquires, as surgery data, voice data indicating a voice uttered in the operating room.
  • voice data indicating a voice uttered in the operating room. Examples of the voice indicated by the voice data include a verbal instruction by the attending doctor, a conversation between medical staff, and the like.
  • the living body monitor 22 acquires, as surgery data, vital data of the patient during surgery (for example, data indicating the pulse and blood pressure of the patient and the like).
  • the anesthesia system 24 is a system that performs various controls and management regarding anesthesia during surgery, such as control of administration of anesthesia to a patient and management of the amount of anesthesia administered to a patient.
  • the anesthesia system 24 acquires anesthesia data as surgery data.
  • Anesthesia data includes, for example, log data obtained in the process of performing various controls and management relating to anesthesia, and data such as a set value of the amount of anesthesia administered to a patient.
  • a display device such as the wall surface monitor 40 may have a touch panel function.
  • the display device configuring the medical information processing system 1000 has a touch panel function, the display device can function as an acquisition device.
  • the attending doctor operates the display screen of the wall surface monitor 40 on which an image or the like captured by the endoscope is displayed. Give some instructions for it.
  • data indicating an instruction of the attending doctor input via the wall surface monitor 40 can function as annotation data for the image data displayed on the display screen of the wall surface monitor 40. Therefore, when the display device has a touch panel function, in the medical information processing system 1000, data corresponding to the operation on the display screen of the display device, such as the annotation data, can be acquired as surgery data.
  • the image data acquired by the overhead camera 12, the surgical field camera 14, and the endoscope / medical device 16 are respectively transmitted by the predetermined transmission method via the converter 52 and input to the switcher 46. Further, the image data acquired by the external input terminal 18 is transmitted by a predetermined transmission method via the converter 52 and is input to the switcher 46. Further, audio data acquired by the income unit 20 is transmitted by a predetermined transmission method via the converter 52 and is input to the switcher 46.
  • the switcher 46 transmits the input data to the video server 28 through the converter 52 in a predetermined transmission method. At this time, when the annotation data is acquired, the annotation data is transmitted by the switcher 46 to the moving image server 28 in association with the corresponding image data.
  • the video server 28 stores the data transmitted from the switcher 46.
  • the log data of the medical device acquired by the medical device of the endoscope / medical device 16 is stored in the device log data server 30 via the medical controller 10.
  • the display data of the log data of the medical device acquired by the medical device is transmitted to the switcher 46 through the converter 52 in a predetermined transmission method.
  • vital data and anesthesia data acquired by the living body monitor 22 and the anesthesia system 24 are stored in the anesthesiologist server 32. Further, display data of vital data and anesthesia data acquired by the living body monitor 22 and the anesthesia system 24 is transmitted to the switcher 46 through the converter 52 in a predetermined transmission method. As described above, the biological monitor 22 and the anesthesia system 24 may be installed independently of the medical controller 10. Therefore, vital data and anesthesia data acquired by the living body monitor 22 and the anesthesia system 24 can be directly stored in the anesthesiology server 32 without passing through the medical controller 10. In addition, display data of vital data and anesthesia data may be transmitted directly to the switcher 46.
  • an acquisition device may link
  • the acquisition device generates, for example, time data indicating the time when the surgery data was acquired as metadata of the surgery data.
  • the medical information processing system 1000 may include the other medical device which functions as an acquisition apparatus.
  • the medical device when the amount of bleeding of the patient and the amount of infusion administered to the patient are measured at predetermined time intervals, the medical device functions as an acquisition device. Data indicating the amount of bleeding or the like measured in a certain medical device is stored in the anesthesiologist server 32 as, for example, vital data of a patient. Further, the certain medical device may generate the time when the amount of bleeding or the like is measured as metadata of the vital data.
  • the storage device is a device that stores surgical data.
  • the recorder 26, the moving image server 28, the device log data server 30, and the anesthesiologist server 32 may be mentioned.
  • the moving image server 28 stores, for example, image data among surgery data.
  • the moving image server 28 receives, for example, the image data acquired by the overhead camera 12, the surgical field camera 14, the endoscope / medical device 16, and the external input terminal 18 via the switcher 46 and stores it.
  • the medical controller 10 associates the annotation data with the image data and causes the moving image server 28 to store the data.
  • the device log data server 30 receives, for example, the log data of the medical device acquired by the endoscope / medical device 16 in the surgical data via the medical controller 10 and stores it.
  • the anesthesiologist server 32 stores, for example, vital data and anesthesia data acquired by the living body monitor 22 and the anesthesia system 24 among the operation data.
  • the recorder 26 functions as, for example, a backup device of the moving image server 28, the device log data server 30, and the anesthesiology server 32.
  • the recorder 26 stores a part or all of the operation data stored in the moving image server 28, the device log data server 30, and the anesthesiologist server 32.
  • the type of surgery data stored in the recorder 26 may be appropriately determined by the user of the medical information processing system 1000.
  • the recorder 26 even if an abnormality occurs in any of the moving image server 28, the device log data server 30, and the anesthesiologist server 32, recovery of surgical data becomes easy. Therefore, by providing the recorder 26, the reliability of the medical information processing system 1000 is improved.
  • the medical information processing system 1000 may have a plurality of recorders 26. Further, in the case of having a plurality of recorders 26, data stored in each recorder may be the same, or some or all may be different.
  • Each of the recorder 26, the moving image server 28, the device log data server 30, and the anesthesiology server 32 is an electronic medical record of a patient corresponding to surgery data among electronic medical record information (described later) stored in the electronic medical record server 34.
  • Information may be stored in association with surgical data.
  • the patient's ID and the surgical surgeon's ID are stored in association with the surgical data. “Transmission of electronic medical record information from the electronic medical record server 34 to each of the recorder 26, the moving image server 28, the device log data server 30, and the anesthesiologist server 32” is realized by control from the medical controller 10, for example.
  • the patient information management device is a device that manages patient information.
  • the electronic medical record server 34 and the DICOM server 36 may be mentioned.
  • the electronic medical record server 34 stores electronic medical record information.
  • the electronic medical record information includes part or all of data constituting patient information.
  • electronic medical record information includes, for example, identification data uniquely indicating a patient (for example, an ID indicating a patient), physical data of a patient, data indicating a patient's medical history, data indicating a patient's surgical history, etc.
  • the data indicating the patient's surgery history may include an ID identifying a surgeon who took charge of the surgery, a nurse who participated in the surgery, and the like.
  • the electronic medical record information may include any data that can generally be included to realize the electronic medical record.
  • the DICOM server 36 stores the patient's DICOM information.
  • the DICOM server 36 stores DICOM information in association with the patient's ID.
  • the DICOM information includes, for example, CT image data representing a computed tomography (CT) image of a patient, and MRI image data representing a magnetic resonance imaging (MRI) image of a patient. Also, the DICOM information may include any data conforming to DICOM.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • Switcher 46 is a device that controls the input of each type of data such as image data to each device and controls the output of each type of data from each device.
  • various data such as image data is input to each device via the switcher 46, and is output from each device via the switcher 46.
  • the operation of switcher 46 is controlled by switcher controller 48. Further, the operation of the switcher control device 48 is controlled by the medical controller 10. That is, the medical controller 10 can control the operation of the switcher 46 via the switcher controller 48.
  • the switcher 46 transmits the image data acquired by the acquisition device to the video server 28 through the converter 52 in a predetermined transmission scheme. Also, the switcher 46 acquires the surgery data acquired by the acquisition device through the converter 52 in a predetermined transmission method.
  • the switcher 46 may also operate based on the control signal transmitted from the medical controller 10. As an example, the switcher 46 transmits surgical data to the data output device via the converter 52 in a predetermined transmission scheme based on the control signal transmitted from the medical controller 10. As another example, the switcher 46 acquires one or both of electronic medical record information and DICOM information stored in the patient information management apparatus based on the control signal transmitted from the medical controller 10, The display data of the acquired information is transmitted via the converter 52 to the data output device by a predetermined transmission method.
  • a plurality of transmission paths with different transmission formats may be provided as transmission paths for transmitting image data and the like.
  • a transmission method for example, a transmission method corresponding to DVI (Digital Visual Interface), a transmission method corresponding to SDI (Serial Digital Interface) (for example, HD-SDI), a transmission method using IP (Internet Protocol), etc. , Mentioned.
  • DVI Digital Visual Interface
  • SDI Serial Digital Interface
  • IP Internet Protocol
  • the medical information processing system 1000 is provided with the external input terminal 18, the switcher 46, and the converter 52 corresponding to the adopted transmission type.
  • the external input terminal 18, the switcher 46, and the converter 52 may be provided for each transmission method.
  • the data output device is a device that outputs the acquired surgical data and / or patient information.
  • the data output device for example, as described above, the ceiling suspension monitor 38, the wall surface monitor 40, and the printer 42 can be mentioned.
  • the ceiling suspension monitor 38 is a display device suspended and installed from the ceiling in the operating room.
  • the wall surface monitor 40 is a display device installed on the wall surface in the operating room.
  • the ceiling suspension monitor 38 and the wall surface monitor 40 display, for example, image data included in surgery data on a display screen.
  • the ceiling suspension monitor 38 and the wall surface monitor 40 may have an audio output device such as a speaker. That is, the ceiling suspension monitor 38 and the wall surface monitor 40 can also output the sound indicated by the sound data included in the operation data together with the display of the image indicated by the image data.
  • the ceiling suspension monitor 38 and the wall surface monitor 40 may display, on the display screen, contents indicated by one or more of log data, vital data, and anesthesia data of a medical device included in surgery data, for example.
  • display in the form of a graph along a time axis can be mentioned.
  • the ceiling suspension monitor 38 and the wall surface monitor 40 may display, for example, contents indicated by one or both of the electronic medical record information and the DICOM information in any format such as a table or an image.
  • Examples of the ceiling suspension monitor 38 and the wall surface monitor 40 include a liquid crystal display, an organic EL (Electro-Luminescence) display, and a CRT (Cathode Ray Tube) display.
  • a liquid crystal display an organic EL (Electro-Luminescence) display
  • a CRT Cathode Ray Tube
  • the printer 42 prints the contents indicated by the surgical data and / or the patient information on paper or the like.
  • the medical information processing system 1000 has, for example, the configuration shown with reference to FIG.
  • the configuration of the medical information processing system according to the present embodiment is not limited to the configuration shown with reference to FIG.
  • the medical information processing system 1000 may have various medical-related devices such as an arm device 200 described later.
  • the number of data of data stored in the devices constituting the medical information processing system 1000 (including any devices that can be accessed from the medical information processing system 1000, hereinafter the same). It is assumed that the larger the amount of data, the more difficult it is to effectively utilize these data. As an example, assuming that a medical worker such as a doctor or the like makes secondary use of surgery data, the larger the number of data and the amount of data stored in the devices constituting the medical information processing system 1000 become, the more , Medical workers are likely to have to do a lot of work.
  • the medical information processing device 100 “data corresponding to a predetermined selection condition and corresponding to a predetermined feature” Extract
  • the characteristics according to the present embodiment include events related to the operation performed, such as the condition of the patient or the surgical part, the behavior of the medical staff, the operating condition of the medical device, and the like.
  • data stored in an apparatus constituting the medical information processing system 1000, which is a target of processing by the medical information processing apparatus 100, is referred to as "candidate data”.
  • the candidate data according to the present embodiment includes, for example, surgical data such as “surgical data acquired by the acquisition device and stored in the storage device” described with reference to FIG.
  • the candidate data is not limited to surgery data.
  • the candidate data may include data other than surgical data, such as image data indicating a medical illustration image such as an image showing an anatomical chart.
  • target data data corresponding to the predetermined selection condition
  • data corresponding to a predetermined feature of target data that is, “data corresponding to a predetermined selection condition among candidate data and corresponding to a predetermined feature” is Data is shown.
  • An example of target data and an example of feature data will be described later.
  • the medical information processing apparatus 100 extracts feature data from candidate data
  • the number of data of characteristic data and the data amount thereof are the number of data of data stored in the apparatuses constituting the medical information processing system 1000, data Less than the amount. Therefore, when the medical information processing apparatus 100 extracts the feature data by the processing according to the information processing method according to the present embodiment, the effective use of the data stored in the apparatuses constituting the medical information processing system 1000 is It will be easier.
  • the medical information processing apparatus 100 can improve the convenience of the medical staff.
  • the medical information processing apparatus 100 performs, for example, a selection process shown in the following (1) and an extraction process shown in the following (2) as processes related to the information processing method according to the present embodiment.
  • the medical information processing apparatus 100 selects target data corresponding to a selection condition from candidate data.
  • the selection condition according to the present embodiment is a condition including at least a condition related to an attribute of a patient, a condition related to a type of procedure, and a condition related to a type of disease.
  • condition relating to patient attributes include the following. -Condition on the gender of the patient: Male or female-Condition on the age (or age) of the patient: Teenager, 20s, etc. Condition on the patient's body: Height, weight, out of BMI (Body Mass Index) One or two or more etc.-A combination of these
  • the condition relating to the patient attribute may include the condition ignoring the patient attribute. If the condition of ignoring the patient attribute is set as the condition on the patient attribute, target data that does not depend on the patient attribute will be selected from the candidate data.
  • condition regarding the type of procedure examples include any condition that can identify the procedure, such as the name of the procedure or an ID uniquely indicating the procedure.
  • condition regarding the kind of procedure is not restricted to the example shown above.
  • the condition regarding the type of procedure may include the condition of ignoring the type of procedure.
  • target data that does not depend on the type of procedure is selected from the candidate data.
  • the condition regarding the type of disease includes, for example, any condition that can identify the disease, such as the name of the disease or an ID uniquely identifying the disease.
  • the condition regarding the kind of disease is not restricted to the example shown above.
  • the condition regarding the type of disease may include the condition of ignoring the type of disease. If the condition of ignoring the type of disease is set as the condition relating to the type of disease, target data that does not depend on the type of disease will be selected from candidate data.
  • the “conditions regarding patient attributes, the conditions regarding the type of procedure, and the conditions including the conditions regarding the type of disease” as described above may be mentioned.
  • the selection conditions according to the present embodiment are not limited to the examples shown above.
  • the selection conditions may include one or more other conditions, such as a condition regarding the surgeon, a condition regarding the drug being dispensed, and the like.
  • the condition regarding the surgeon includes, for example, any condition that can identify the surgeon, such as the name of the surgeon or an ID uniquely identifying the surgeon.
  • the condition relating to the drug includes, for example, any condition that can specify the drug, such as the name of the drug or an ID uniquely identifying the drug.
  • the selection condition is set by, for example, an operation on an operation unit (described later) included in the medical information processing apparatus 100 or an operation on an external operation device of the medical information processing apparatus 100 such as a remote controller.
  • the setting method of a selection condition is not restricted to the setting method based on operation.
  • the medical information processing apparatus 100 can set the selection condition based on the operation data acquired during the operation.
  • Examples of setting of selection conditions based on surgery data include, for example, setting of selection conditions based on an analysis result of voice indicated by voice data, setting of selection conditions based on an analysis result of medical imaging image, and the like.
  • the medical information processing apparatus 100 sets a selection condition corresponding to the recognized voice.
  • a selection condition corresponding to a recognition result is set.
  • the setting of the selection condition based on the operation data is performed, whereby the automatic setting of the selection condition is realized.
  • the selection condition is automatically set, for example, “when the technique is changed during surgery, target data corresponding to the changed procedure is automatically selected, and the changed condition is selected. It is realized that “feature data corresponding to the technique is automatically extracted”.
  • the medical information processing apparatus 100 directly accesses, for example, a storage device constituting the medical information processing system 1000, and stores data stored in the storage device (an example of data including candidate data.
  • the target data is selected by searching for data that satisfies the selection condition.
  • Selection of target data according to the present embodiment includes, for example, “specifying a place where target data is stored” or “obtaining searched target data from a place where target data is stored. "Means”.
  • the medical information processing apparatus 100 sends, to an external apparatus such as the medical controller 10, “a control signal including an instruction for searching data satisfying a selection condition and an instruction for performing a response indicating a search result”.
  • the external device may be searched for data that satisfies the selection condition.
  • target data is selected by the external device searching for data satisfying the selection condition from among the data stored in the storage device.
  • the medical information processing apparatus 100 or an external device that receives the control signal is, for example, candidate data such as surgery data and metadata stored in the storage device such as metadata associated with the candidate data.
  • candidate data such as surgery data
  • metadata stored in the storage device such as metadata associated with the candidate data.
  • the medical information processing apparatus 100 detects a feature from the selected target data, and extracts feature data corresponding to the detected feature from the target data. Extract.
  • the characteristics according to the present embodiment include, for example, the operating state of a specific medical device (for example, a treatment device such as an electric scalpel or bipolar), the state of a patient, the movement of a medical worker in an operation site, or a medical worker It is detected based on the content of the utterance made or a combination of these.
  • a specific medical device for example, a treatment device such as an electric scalpel or bipolar
  • the state of a patient for example, the movement of a medical worker in an operation site, or a medical worker It is detected based on the content of the utterance made or a combination of these.
  • the medical information processing apparatus 100 detects, as a feature, the time when the treatment device switches from the non-operation state to the operation state or the time when the treatment device switches from the operation state to the non-operation state.
  • the medical information processing apparatus 100 detects a feature based on log data (an example of surgery data) of a medical device.
  • the medical information processing apparatus 100 detects, for example, a point in time when the patient's vital has largely fluctuated as a feature.
  • the medical information processing apparatus 100 detects a feature, for example, by threshold processing using patient vital data (an example of surgery data).
  • the medical information processing apparatus 100 detects, for example, a point in time when a predetermined movement of a medical worker is detected in an operation site as a feature.
  • the medical information processing apparatus 100 detects a feature by performing arbitrary image recognition processing on a medical pickup image indicated by image data (an example of surgery data) indicating a medical pickup image.
  • image data an example of surgery data
  • the image data which shows a medical captured image may be shown as a "medical captured image.”
  • the medical information processing apparatus 100 detects a point in time when the text is input as a feature. For example, the medical information processing apparatus 100 detects a feature by performing arbitrary syntactic analysis processing or the like on a text indicated by text data (an example of surgery data).
  • the medical information processing apparatus 100 detects, for example, a point in time when a predetermined content of a medical worker's speech is detected in the operation site as a feature.
  • the medical information processing apparatus 100 detects a feature by performing arbitrary voice recognition processing on a voice indicated by voice data (an example of surgery data), for example.
  • the medical information processing apparatus 100 detects one or both of the feature about the state and the feature about the operation from the target data.
  • the feature related to the condition for example, a feature based on the operating condition of the specific medical device and a feature based on the condition of the patient correspond.
  • the features related to the movement correspond to, for example, a feature based on the movement of the medical worker in the operation site, and a feature based on the content of an utterance performed by the medical worker in the operation site.
  • the medical information processing apparatus 100 detects “the point in the target data when the predetermined state is detected from the target data” as a feature related to the state.
  • the medical information processing apparatus 100 detects “the point in the target data when a predetermined operation is detected from the target data” as a feature related to the operation. That is, the feature according to the present embodiment can be regarded as a specific point in time regarding a state or a specific point in time regarding an operation. Further, the feature data according to the present embodiment can be regarded as data corresponding to the time when the predetermined state is obtained or data corresponding to the time when the predetermined operation is performed.
  • the medical information processing apparatus 100 extracts feature data corresponding to the detected feature from the target data, as described above.
  • target data in which the feature is detected may be mentioned.
  • the medical information processing apparatus 100 detects a medical imaging image (still image) captured at the time when the feature is detected, or a time when the feature is detected.
  • a medical imaging image (moving image) imaged in a set period including is extracted as feature data.
  • the medical information processing apparatus 100 may set the time period including the voice data collected at the time when the feature is detected or the time when the feature is detected.
  • the voice data collected to the point are extracted as feature data.
  • the medical information processing apparatus 100 extracts the text data as feature data.
  • feature data corresponding to the detected feature is not limited to the example described above.
  • feature data corresponding to the detected feature may be any target data associated with the target data for which the feature has been detected.
  • the medical information processing apparatus 100 is a medical illustration image corresponding to the medical imaging image captured at the time when the feature is detected. Are extracted as feature data.
  • a medical illustration image corresponding to a medical imaging image for example, an anatomical drawing in which a surgical procedure, a case, and the like are matched (or similar) can be mentioned.
  • the medical information processing apparatus 100 is a text indicating a text input by an operation on the operation device in a set period including a time point when the feature is detected. It is also possible to extract as data or feature data.
  • the medical information processing apparatus 100 detects a medical imaging image captured at the time when the feature is detected, and the feature. Text data or the like input during a set period including the time point of the extraction is extracted as feature data.
  • the medical information processing apparatus 100 may display the medical imaging image captured at the time when the text data is input, or the text Audio data or the like collected in a set period including the time point of data input is extracted as feature data.
  • the example of the target data associated with the target data in which the feature is detected is not limited to the example shown above.
  • the medical information processing apparatus 100 can also extract, as feature data, target data in which a feature is detected and target data associated with target data in which one or more features are detected. is there.
  • the medical information processing apparatus 100 may extract, for example, at least a set specific type of data as feature data.
  • the medical information processing apparatus 100 extracts at least image data indicating a medical image as feature data.
  • a medical image for example, a medical imaging image and a medical illustration image Any image related to medical care, such as one or both of Below, the image data which shows a medical image may be shown as a "medical image.”
  • images perceived by the healthcare worker's vision have a larger amount of information than media that are perceived by the healthcare worker's other senses, such as sound. Therefore, when the medical information processing apparatus 100 extracts at least the medical image as the feature data, feature data having a larger amount of information can be extracted. In addition, extracting feature data having a larger amount of information is useful, for example, in an editing process described later and a display control process described later.
  • the medical information processing apparatus 100 extracts feature data by machine learning, for example. More specifically, the medical information processing apparatus 100 extracts feature data using, for example, a learned model by machine learning.
  • Machine learning includes, for example, one or both of learning related to detection of a feature from target data and learning related to extraction of feature data from target data.
  • Machine learning according to the present embodiment includes, for example, machines using any learning method such as deep learning and deep reinforcement learning combining deep learning and reinforcement learning. Learning is mentioned.
  • the medical information processing apparatus 100 includes, for example, learning using a recurrent neural network and learning using a long short term memory neural network.
  • the medical information processing apparatus 100 detects a feature from the selected target data, and extracts feature data corresponding to the detected feature from the target data.
  • the medical information processing apparatus 100 extracts feature data each time target data is selected in the processing (selection processing) of the above (1), in other words, whenever the selection condition changes.
  • the medical information processing apparatus 100 may notify of the basis for extracting the feature data.
  • the medical information processing apparatus 100 notifies, for example, a rule-based extraction basis or a knowledge-based extraction basis.
  • the medical information processing apparatus 100 displays “visual notification by displaying an image indicating the above basis and / or a character string indicating the above basis on the display screen of the display device”, “a voice indicating the above basis, voice Auditory notification by output from an output device or a combination of these makes it possible to notify the basis for extracting feature data.
  • the medical staff can recognize the basis on which the feature data is extracted. Therefore, the feature data extracted by the process according to the information processing method according to the present embodiment can be data that can be easily accepted by the medical staff by notifying the medical information processing apparatus 100 of the basis for extracting the feature data.
  • the medical information processing apparatus 100 performs, for example, the process (selection process) of the above (1) and the process (extraction process) of the above (2) as the process related to the information processing method according to the present embodiment.
  • feature data is extracted from candidate data by performing the process (selection process) of the above (1) and the process (extraction process) of the above (2). Further, the number of data of feature data and the amount of data are smaller than the number of data and the amount of data of candidate data, that is, the data stored in the devices constituting the medical information processing system 1000. Therefore, effective use of data stored in the devices constituting the medical information processing system 1000 becomes easier by extracting the feature data.
  • the medical information processing apparatus 100 can improve the convenience for medical workers. .
  • the process which concerns on the information processing method which concerns on this embodiment is not restricted to the process (selection process) of said (1), and the process (extraction process) of said (2).
  • the medical information processing apparatus 100 can further perform processing using the extracted feature data.
  • FIG. 2 is an explanatory diagram for explaining processing related to the information processing method according to the present embodiment.
  • the preoperative planning process shown in A of FIG. 2, the surgical process shown in B of FIG. 2, and the editing process shown in C of FIG. 2 show an example of the flow when surgery is performed on a certain patient.
  • the use case in which the feature data is used after the operation is performed on the patient and the operation on the patient are performed as the use case.
  • One or both use cases with the use cases where feature data is used may be considered.
  • Examples of processing corresponding to a use case in which feature data is used after surgery is performed on a certain patient include “edit processing using extracted feature data”.
  • the processing shown in each of D1 to D5 shown in FIG. 2 can be mentioned.
  • a medical image an example of feature data corresponding to surgery data acquired during surgery
  • display control processing to be displayed on the display screen.
  • medical care worker assistance such as intraoperative navigation assistance (navigation assistance during surgery) illustrated in E illustrated in FIG. 2 is realized.
  • the arm which concerns on this embodiment is an arm which can convey a medical device, for example.
  • the arm according to the present embodiment is configured, for example, by connecting a plurality of links to each other by joint parts.
  • the degree of freedom of the arm according to this embodiment can be set to have a desired degree of freedom depending on, for example, the number and arrangement of joints and links, and the direction of the drive shaft of the joints. An example of the arm according to the present embodiment will be described later.
  • the arm according to the present embodiment may be an arm provided in an external device of the medical information processing apparatus 100, or may be an arm provided in the medical information processing apparatus 100.
  • the arm which concerns on this embodiment is an arm with which the external device of the medical information processing apparatus 100 is provided is mainly mentioned as an example.
  • the medical information processing apparatus 100 performs, as a process using the extracted feature data according to the information processing method according to the present embodiment, part of the editing process, the display control process, and the arm control process. Or you may do it all.
  • the process using the extracted feature data according to the information processing method according to the present embodiment is not limited to the editing process, the display control process, and the arm control process.
  • the medical information processing apparatus 100 may perform “a process of storing the extracted feature data in a storage device constituting the medical information processing system 1000” or “the extracted feature data may be stored in the medical information processing system 1000. It is also possible to perform an arbitrary process using the extracted feature data, such as a process of transmitting to an external device of
  • the medical information processing apparatus 100 edits the extracted feature data.
  • the medical information processing apparatus 100 edits feature data based on an operation of a user of the medical information processing apparatus 100 or automatically.
  • the editing process as described above, the processes shown in each of D1 to D5 shown in FIG. 2 can be mentioned.
  • FIG. 3 to 5 are explanatory diagrams for explaining an example of the editing process according to the information processing method according to the present embodiment.
  • FIG. 3 shows an example of candidate data stored in an apparatus constituting the medical information processing system 1000.
  • FIG. 4 is an explanatory view conceptually showing an example of the result of the editing process, and
  • FIG. 5 is an explanatory view conceptually showing another example of the result of the editing process.
  • the process relating to the automatic editing shown in D2 of FIG. 2 is taken as an example.
  • the medical information processing apparatus 100 transmits tag data (main scene of the surgery extracted by the process (extraction process) shown in the above (2) every time one case is performed. Generate one case file with metadata).
  • the medical information processing apparatus 100 creates a protocol file (protocol data) indicating a protocol of case A from a plurality of case files corresponding to case A.
  • the protocol for case A corresponds to the manual for case A.
  • the protocol file created by the medical information processing apparatus 100 corresponds to a procedure manual indicating the best practice of the case A.
  • the medical information processing apparatus 100 creates a protocol file of case A from a plurality of case files based on an operation on an operation unit (described later) included in the medical information processing apparatus 100 (example of manual editing) .
  • the medical information processing apparatus 100 may automatically create a protocol file of case A (automatically Editing example).
  • Patient attributes include, for example, any index included in patient information (or a combination of any index included in patient information), such as age, weight, BMI, and the like.
  • the medical information processing apparatus 100 automatically calculates “average distribution from patient attributes (average age, average weight, BMI, etc.), and automatically generates an image example suitable for case A from patient attribute groups including average values.
  • the protocol file of case A is automatically created by “selecting” or the like.
  • the medical information processing apparatus 100 may automatically select an image example or the like suitable for the case A from the extracted feature data by machine learning.
  • the medical information processing system 1000 Is realized automatically.
  • the medical information processing apparatus 100 displays an image example suitable for the case A by an operation on an operation unit (described later) and / or by machine learning. Etc. can also be replaced manually or automatically. That is, the protocol file of the case created by the editing process can be updated as appropriate.
  • the medical information processing apparatus 100 edits the extracted feature data as described above, for example. Needless to say, the example of the editing process is not limited to the example described above.
  • the medical information processing apparatus 100 causes a display screen to display a medical image (an example of feature data) corresponding to surgical data acquired during surgery.
  • a medical image an example of feature data
  • medical staff support such as intraoperative navigation support shown in E shown in FIG. 2 is realized as described above. That is, the medical image corresponding to the operation data may correspond to the navigation image during the operation.
  • the medical information processing apparatus 100 displays, for example, a medical image corresponding to surgical data by transmitting image data indicating a medical image corresponding to surgical data and a control signal including a display instruction to the display device. Display on screen.
  • the medical information processing apparatus 100 displays a medical image on the entire display screen, for example. Further, the medical information processing apparatus 100 may display the medical image in a partial area of the display screen by, for example, PIP (Picture In Picture) display or POP (Picture Out Picture) display.
  • PIP Picture In Picture
  • POP Picture Out Picture
  • FIG. 6 is an explanatory diagram for describing an example of display control processing according to the information processing method according to the present embodiment.
  • FIG. 6A shows a surgical situation identified from surgical data acquired during surgery.
  • the surgical situation is shown separately for each scene in which a feature is detected.
  • the feature corresponding to the operation situation is detected similarly to the feature detection in the process (extraction process) shown in the above (2).
  • B of FIG. 6 conceptually shows a medical image for each scene which is displayed on the display screen as part of the intraoperative navigation support corresponding to the case A and the procedure A.
  • C of FIG. 6 conceptually shows a medical image for each scene which is displayed on the display screen as part of the intraoperative navigation support corresponding to the case A and the procedure B.
  • the medical information processing apparatus 100 When the intraoperative navigation support is performed, the medical information processing apparatus 100, as shown in A of FIG. 6 and B of FIG. Display on the display screen.
  • the procedure may be changed according to the situation during surgery.
  • the medical information processing apparatus 100 is configured to “change the procedure after the change” prior to the actual operation situation as shown in A of FIG. 6 and C of FIG. A corresponding medical image corresponding to the next scene is displayed on the display screen.
  • the medical information processing apparatus 100 corresponds to the above-described “changed technique and corresponds to the next scene, based on an operation on an operation unit (described later) and the like included in the medical information processing apparatus 100, for example. Display “medical image” on the display screen.
  • the medical information processing apparatus 100 for example, based on the detection result of the surgical procedure change detected from the surgical data, the medical image corresponding to the above-mentioned “the surgical procedure after the change and corresponding to the next scene "May be displayed on the display screen.
  • the medical information processing apparatus 100 detects, for example, a change in surgical procedure from surgical data by a result of an arbitrary image recognition process on a medical imaging image, a result of an arbitrary speech recognition process on voice, or a combination thereof. .
  • the medical information processing apparatus 100 extracts the medical image to be displayed on the display screen when the above-mentioned “medical image corresponding to the changed technique and corresponding to the next scene” is displayed on the display screen. You may be notified of the basis.
  • the “reason for extracting the medical image to be displayed on the display screen” corresponds to the above-described “reason for extracting the feature data” corresponding to the medical image to be displayed on the display screen.
  • the intraoperative navigation support by the medical image displayed on the display screen can be easily accepted by the medical staff by notifying the medical information processing apparatus 100 of “the basis for extracting the medical image to be displayed on the display screen”. Effect is exhibited.
  • a plurality of techniques may be performed in one surgery on a patient. Even when a plurality of techniques are performed in advance, the medical information processing apparatus 100 performs the intraoperative navigation support corresponding to the switching of the technique as in the case where the technique is changed according to the situation during the operation. ,It can be carried out.
  • the medical information processing apparatus 100 causes the display screen to display a medical image corresponding to surgery data acquired during surgery.
  • the example of a display control process is not restricted to the example shown above.
  • the medical information processing apparatus 100 may further notify the medical staff of the content of the feature data corresponding to the medical image to be displayed on the display screen.
  • the medical information processing apparatus 100 causes the audio output device to output a voice corresponding to the medical image together with the intraoperative navigation support by displaying the medical image.
  • the medical information processing apparatus 100 controls the operation of an arm capable of transporting a medical instrument.
  • FIG. 7 is an explanatory diagram for explaining an example of arm control processing according to the information processing method according to the present embodiment.
  • FIG. 7 shows an example of a surgical site where an arm device 200 including an arm capable of transporting a medical instrument is used.
  • the arm device 200 is a device including an arm configured by connecting a plurality of links to each other by a joint, and transports the medical instrument by the movement of the arm.
  • FIG. 7 shows an example in which “the arm device 200 moves between the equipment storage location P1, the equipment installation location P2 and the equipment disposal location P3 and transports the medical instrument to each location”.
  • the place where the arm device 200 transports the medical instrument is not limited to the example shown in FIG.
  • the arm device 200 can transport a medical instrument to various places such as “a place for storing a medical instrument to be sterilized among medical instruments that have been used during surgery”.
  • the equipment disposal site P3 may not be provided.
  • the arm device 200 moves between the equipment storage place P1, the equipment installation place P2 and the equipment disposal place P3 and transports the medical instrument to each place” will be described.
  • the equipment storage place P1 is a storage place where a medical instrument to be used in surgery is placed, and corresponds to a so-called Mayo table.
  • the equipment installation place P2 is a storage place where the medical instrument used by the surgeon, which is transported from the equipment storage place P1, is placed.
  • the equipment disposal site P3 is a storage location where medical instruments to be disposed of among the medical instruments used are collected.
  • the storage place where the medical instrument is stored is not limited to the equipment storage place P1, the equipment installation place P2, and the equipment disposal place P3.
  • the storage location according to the present embodiment may include an additional equipment storage location where a medical instrument to be added during surgery is placed.
  • FIG. 8 is an explanatory view for explaining an example of the storage location of the medical device according to the present embodiment.
  • the storage location includes the equipment storage location P1, the additional equipment storage location P1 ', and the equipment disposal location P3.
  • FIG. 8 divides the equipment storage location P1 and the additional equipment storage location P1 ′, the equipment storage location P1 and the additional equipment storage location P1 ′ are the same storage location (for example, the same Mayo stand). It may be.
  • a medical instrument is arranged in advance at the equipment storage location P1 before the start of the operation.
  • the place where the medical instrument is placed is uniquely classified. If the medical instrument disposed in the equipment storage location P1 can be uniquely identified by the captured image captured by the overhead camera 12 or a sensor, the medical instrument in the equipment storage location P1 is disposed. Locations may not be classified.
  • the medical device is identified by, for example, recognizing a shape, a pattern, or the like from a captured image, and reading out an RFID (Radio Frequency Identification) from an RF (Radio Frequency) tag attached to the medical device.
  • RFID Radio Frequency Identification
  • the association between the place in the equipment storage location P1 and the medical instrument is performed, for example, when the medical instrument is disposed in the equipment storage location P1, and the information indicating the association result is stored in the medical information processing apparatus 100 It is stored in a unit (described later) or the like.
  • the medical information processing apparatus 100 may automatically associate the location in the equipment storage location P1 with the medical instrument, or an operation by an operation unit (described later) or the like included in the medical information processing apparatus 100. May be performed manually.
  • information indicating the correspondence result for example, data indicating the ID where the medical device is placed and the ID of the medical device are correlated, data indicating the shape of the medical device, an RF tag attached to the medical device The data etc. which show RFID are mentioned.
  • the information indicating the association result further includes discarding information (for example, a flag indicating whether or not the medical device is discarded) indicating whether the medical device is discarded after use. Good. Discard information may be set automatically or manually.
  • the additional equipment storage place P1 ' medical instruments to be added during the operation are arranged.
  • the location at the additional equipment storage location P1' is associated with the medical instrument in the same manner as the arrangement of the medical instrument at the equipment storage location P1.
  • FIG. 9 is an explanatory view showing an example of the structure of the arm device 200 according to the present embodiment.
  • the arm device 200 has, for example, a structure attached to a bed rail of a surgical bed as shown in FIG. 9A, a structure integrated with a pedestal as shown in B of FIG. 9, a ceiling suspension as shown in C of FIG. It is possible to take the structure of the sealed ceiling type.
  • the structure of the arm device 200 is not limited to the example shown in FIG. 9, and any structure capable of transporting a medical instrument by moving the arm can be employed.
  • the arm device 200 is, for example, a processor (not shown) that controls the operation of the entire arm device 200, and a communication device (not shown) that can communicate wirelessly or wiredly with an external device such as the medical information processing apparatus 100. Not shown), a housing, an arm, and a holding member provided at an end of the arm.
  • the arm device 200 is driven by, for example, power supplied from an internal power supply such as a battery provided in the arm device 200 or power supplied from an external power supply connected thereto.
  • MPU Micro Processing Unit
  • CPU Central Processing Unit
  • a communication device for example, a communication antenna and RF circuit (wireless communication), an IEEE 802.15.1 port and transmitting and receiving circuit (wireless communication), an IEEE 802.11 port and transmitting and receiving circuit (wireless communication) Or a LAN terminal and a transmission / reception circuit (wire communication).
  • a processor (not shown) and a communication device (not shown) are provided, for example, in a housing.
  • the holding member is provided at the end of the arm and holds medical devices of various sizes and shapes.
  • FIG. 10 is an explanatory view showing an example of the holding member provided at the end of the arm of the arm device 200 according to the present embodiment.
  • the holding member has, for example, a structure for holding a medical device (A in FIG. 10), a structure for suctioning the medical device by magnetic force or air (B in FIG. 10), or a scoop-type structure for crawling the medical device (C in FIG. 10). Or a combination of these (D in FIG. 10) holds various medical devices.
  • the structure of the holding member is not limited to the example shown in FIG. 10, and the arm device 200 may have any structure capable of holding one or more medical instruments.
  • the holding member is made of a material that can be sterilized, and has a mechanism that is detachable from the arm.
  • a mechanism capable of removing the holding member from the arm for example, any mechanism capable of removing the holding member from the arm, such as a latch-type attachment / detachment mechanism, a button-type attachment / detachment mechanism, or a thumb-turn attachment / detachment mechanism , Mentioned.
  • the arm device 200 can cope with the operation in the clean area at the surgical site by the holding member being made of the material that can be sterilized and having the mechanism that is detachable from the arm.
  • the holding member may not be made of a material that can be sterilized.
  • the holding member is disposable and appropriately discarded, so that the arm device 200 can cope with the operation in the clean area at the surgical site.
  • the holding member has an optional sensor capable of detecting a stress applied during an operation such as, for example, a person gripping a medical instrument, and weakens a gripping force when a certain stress is detected, to thereby make the medical instrument Let go.
  • the holding member is supplied with power from the arm device 200 main body, for example, wirelessly or by wire. Further, the holding member and the processor (not shown) are connected, for example, wirelessly or by wire, and transmit and receive signals by performing communication by wireless or by wire.
  • the arm device 200 includes, for example, a housing, a processor (not shown), a communication device (not shown), an arm, and a holding member.
  • arm device 200 may further include a distance sensor (not shown) capable of measuring the distance to an object by any method such as TOF (Time of Flight) method, for example. .
  • a distance sensor capable of measuring the distance to an object by any method such as TOF (Time of Flight) method, for example.
  • One or more distance sensors are provided in a portion which a medical worker does not touch during normal use, such as an arm portion of the arm device 200, and measures a distance to an object present around the portion .
  • One or more distance sensors are arranged, for example, such that the distance to an object present around the entire periphery of the portion which the medical worker does not touch during the normal use is measured.
  • the sensing range of one or more distance sensors may be arbitrarily set, for example, in the design stage, the manufacturing stage, or the like.
  • the distance sensor (not shown) is connected to, for example, a processor (not shown) wirelessly or by wire, and transmits a signal indicating a detection result by wireless communication or wired communication.
  • a processor (not shown) that receives the signal indicating the detection result controls the operation of the arm based on the distance indicated by the signal indicating the detection result.
  • the processor moves the arm of the moving arm when the distance indicated by the signal indicating the detection result is equal to or less than the set threshold (or when the distance is smaller than the threshold). Reduce the speed, stop the arm, or change the trajectory of the holding member provided at the end of the arm (moving route of the holding member).
  • the arm device 200 predicts a collision with a person, an obstacle or the like, and safely It is possible to decelerate, safely stop the arm, or safely avoid collision of the arm.
  • the sensor for moving the arm to safely decelerate, stop and avoid is not limited to the distance sensor (not shown).
  • a processor (not shown) of the arm device 200 processes, for example, a captured image captured by the overhead camera 12 By doing this, it is possible to realize movement of the arm for safely decelerating, stopping and avoiding.
  • the processor (not shown) recognizes, for example, “a relative positional relationship between the arm device 200 and a person, an obstacle or the like” based on the captured image, and controls the arm according to the recognition result.
  • FIG. 11 and 12 are explanatory views showing an example of the operation of the arm device 200 according to the present embodiment.
  • FIG. 11 shows an example of the operation in which the medical instrument is transported from the equipment storage location P1 to the equipment installation location P2.
  • FIG. 12 has shown an example of operation
  • the arm device 200 transfers a specific medical instrument among the medical instruments stored in the equipment storage location P1 to the equipment installation location P2 according to a control signal according to the arm control processing in the medical information processing apparatus 100.
  • Transport
  • the arm device 200 can also transport a specific medical device of the medical devices stored in the device storage location P1 to the device installation location P2 based on the operation of a medical worker.
  • the operation relating to the conveyance of the medical instrument includes, for example, an operation on an operation device such as a remote controller, an operation by voice on an audio input device such as a microphone, an operation by a line of sight detected by an arbitrary imaging device, Operations by moving the object, and the like.
  • the medical information processing apparatus 100 transmits a control signal corresponding to the recognized operation to the arm device 200. Then, in accordance with the control signal corresponding to the operation, the arm device 200 transports a specific medical instrument of the medical instruments stored in the equipment storage site P1 to the equipment installation site P2.
  • the arm device 200 When the medical instrument is transported from the equipment storage location P1 to the equipment installation site P2, the arm device 200 places the held medical equipment at the equipment installation site P2. Then, the arm device 200 moves the arm to a predetermined standby position. In addition, arm device 200 transports the medical instrument from equipment storage location P1 to equipment installation site P2, and when stress is detected during operation such as grasping a medical instrument by the surgeon etc, the arm becomes a predetermined standby. It may be moved to the position.
  • Examples of the predetermined standby position include an initial setting position and a position set based on a captured image captured by the overhead camera 12 (for example, a spatial position where no person or object exists).
  • the processing (not shown) of the arm device 200 may perform the process related to the setting of the predetermined standby position, or the medical information processing apparatus 100 may perform the process.
  • the arm device 200 follows the control signal corresponding to the arm control process in the medical information processing apparatus 100, as in the case where the medical instrument is transported from the equipment storage place P1 to the equipment installation place P2. Transport medical equipment stored in the equipment to the equipment disposal site P3. Also, as in the case where the medical equipment is transported from the equipment storage location P1 to the equipment installation location P2, the arm device 200 is configured to store the medical equipment stored in the equipment installation location P2 based on the operation of the medical staff. It may be transported to the equipment disposal site P3.
  • the arm device 200 holds and holds the medical instrument stored in the equipment installation site P2, and transports the held medical instrument to the equipment disposal site P3.
  • the arm device 200 can also hold and hold a medical instrument from the hand of a medical worker such as a surgeon, for example, and transport the held medical instrument to the equipment disposal site P3.
  • the arm device 200 is held, for example, when the medical instrument is transported from the equipment installation site P2 to the equipment disposal site P3 as in the case where the medical instrument is transported from the equipment storage site P1 to the equipment installation site P2.
  • the medical instrument is placed at the equipment disposal site P3 and the arm is moved to a predetermined standby position.
  • the arm apparatus 200 for example, when stress is applied during operation such as grasping a medical instrument, etc., as in the case where the medical instrument is transported from the equipment storage site P1 to the equipment installation site P2, The arm may be moved to a predetermined standby position.
  • the medical information processing apparatus 100 operates the arm device 200 by transmitting a control signal for controlling the operation of the arm of the arm device 200 to the arm device 200.
  • the medical information processing apparatus 100 identifies the progress of the surgery based on the feature data corresponding to the surgery data acquired during the surgery. Then, the medical information processing apparatus 100 controls the operation of the arm of the arm device 200 such that the medical device corresponding to the identified progress is transported to a predetermined position corresponding to the progress.
  • the medical information processing apparatus 100 detects the feature corresponding to the surgical situation, and identifies the progress of the surgery from the detected feature. Identifying the progress of the operation corresponds to identifying a scene in which a feature is detected, as shown in A of FIG. 6, for example.
  • the medical information processing apparatus 100 identifies a medical instrument corresponding to the identified progress of the surgery and a storage location of the medical instrument.
  • the medical information processing apparatus 100 stores, for example, “progression status of surgery, information indicating a medical instrument to be used, and information indicating a storage location, stored in a recording medium such as a storage unit (described later).
  • Medical equipment corresponding to the progress of the identified surgery and a storage location of the medical equipment corresponding to the progress of the identified surgery (refer to the delivery destination of the medical instrument by referring to the “table (or database)”. Identify the location).
  • information indicating the medical device for example, data indicating the ID of the medical device, data indicating the shape of the medical device, data indicating the RFID of the RF tag attached to the medical device, etc. can be identified. Any form of data can be mentioned.
  • information indicating a medical instrument for example, one of data set by an operation of a user of the medical information processing apparatus 100 or the like and data set by the medical information processing apparatus 100 performing machine learning Both are mentioned.
  • information indicating the storage location for example, data indicating an ID corresponding to the equipment storage location P1, data indicating an ID corresponding to the equipment installation location P2, data indicating an ID corresponding to the equipment disposal location P3, and additional equipment storage
  • data indirectly indicating a storage location such as data indicating an ID corresponding to the location P1 ′
  • the information indicating the storage location may be data that directly indicates the storage location, such as data indicating the space coordinates of each storage location.
  • the medical information processing apparatus 100 transmits a control signal including “a control command for conveying the medical instrument corresponding to the identified progress of the surgery to the storage location corresponding to the identified progress of the surgery”. , To the arm device 200.
  • the medical information processing apparatus 100 transmits the control signal corresponding to the progress status of the surgery specified based on the feature data to the arm apparatus 200 so that the medical information processing apparatus 100 cooperates with the intraoperative navigation support
  • the operation of the device 200 can be controlled.
  • the medical information processing apparatus 100 controls the operation of the arm device 200 in cooperation with the intraoperative navigation support, thereby “promoting the operation without the arm device 200 being operated by a medical worker such as a surgeon or the like. Automatically transporting the medical device corresponding to the situation to the storage location corresponding to the progress of the operation is realized.
  • FIG. 13 is an explanatory diagram for explaining an example of arm control processing according to the information processing method according to the present embodiment.
  • a of FIG. 13 illustrates an example of the relationship between the actual operation situation and the intraoperative navigation.
  • B of FIG. 13 illustrates an example of control of the operation of the arm device 200 in cooperation with the intraoperative navigation support.
  • the medical information processing apparatus 100 identifies a scene corresponding to the actual surgical situation, and stores the medical instrument corresponding to the identified scene at the storage location corresponding to the identified scene. Transport to a certain equipment installation site P2.
  • the arm control process according to the present embodiment is not limited to the example described above.
  • the medical information processing apparatus 100 can recognize various operations such as an operation on the operation device and an operation by voice, and can transmit a control signal corresponding to the recognized operation to the arm device 200.
  • a medical worker such as a surgeon can cause the arm device 200 to perform an intended operation.
  • FIG. 14 is a block diagram showing an example of the configuration of the medical information processing apparatus 100 according to the present embodiment.
  • the medical information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the medical information processing apparatus 100 may be, for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), or the medical information processing apparatus 100.
  • An operation unit (not shown) that can be operated by the user, a display unit (not shown) that displays various screens on the display screen, and the like may be provided.
  • the medical information processing apparatus 100 connects the above-described components by a bus as a data transmission path.
  • the ROM (not shown) stores programs used by the control unit 104 and control data such as operation parameters.
  • the RAM (not shown) temporarily stores programs and the like executed by the control unit 104.
  • the storage unit is a storage unit included in the medical information processing apparatus 100.
  • a machine such as information indicating a network structure, a hyper parameter, and a training data set, a machine learning neural network module, etc.
  • Data related to the information processing method according to the present embodiment such as data related to learning, and various data such as various applications are stored.
  • Information indicating network structure, hyperparameters, and a training data set correspond to data for machine learning.
  • a memory storage part (not shown), non-volatile memories, such as magnetic recording media, such as a hard disk, flash memory, etc. are mentioned, for example.
  • the storage unit (not shown) may be removable from the medical information processing apparatus 100.
  • the information indicating the network structure is, for example, information indicating the structure of an arbitrary network such as a neural network.
  • the information indicating the network structure includes, for example, any form of data capable of expressing the relationship between data in a graph structure.
  • the hyper parameter according to the present embodiment is a parameter for learning.
  • the hyper parameters include, for example, the number of neurons, the number of layers of the network, and the learning rate.
  • the hyper parameter according to the present embodiment is not limited to the example described above. For example, any parameter capable of giving a width to the network indicated by the information indicating the network structure by learning may be performed. It may be
  • the training data set according to the present embodiment is a data group including training data used for a plurality of learnings.
  • the training data may be data of any format according to the learning content, such as image data and text data.
  • Examples of the operation unit (not shown) include an operation input device described later. Moreover, as a display part (not shown), the display device mentioned later is mentioned.
  • the medical information processing apparatus 100 may not include one or both of the operation unit (not shown) and the display unit (not shown).
  • FIG. 15 is an explanatory diagram showing an example of the hardware configuration of the medical information processing apparatus 100 according to the present embodiment.
  • the medical information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164.
  • the medical information processing apparatus 100 connects the respective constituent elements by, for example, a bus 166 as a data transmission path.
  • the medical information processing apparatus 100 is driven by, for example, power supplied from an internal power supply such as a battery provided in the medical information processing apparatus 100, or power supplied from a connected external power supply, or the like. Do.
  • the MPU 150 includes, for example, one or more processors configured by an arithmetic circuit such as an MPU, various processing circuits, and the like, and functions as a control unit 104 that controls the entire medical information processing apparatus 100. Further, in the medical information processing apparatus 100, the MPU 150 plays a role of, for example, a selection unit 110, an extraction unit 112, an editing processing unit 114, a display control unit 116, and an arm control unit 118 described later. Note that some or all of the selection unit 110, the extraction unit 112, the editing processing unit 114, the display control unit 116, and the arm control unit 118 are dedicated (or general purpose) circuits (for example, a processor separate from the MPU 150) Etc.).
  • the ROM 152 stores programs used by the MPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores, for example, a program or the like executed by the MPU 150.
  • the recording medium 156 functions as a storage unit (not shown), and stores, for example, various data such as data related to the information processing method according to the present embodiment and various applications.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Also, the recording medium 156 may be removable from the medical information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown)
  • the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a Universal Serial Bus (USB) terminal, a DVI terminal, a High-Definition Multimedia Interface (HDMI) (registered trademark) terminal, various processing circuits, and the like.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • the operation input device 160 is provided, for example, on the medical information processing apparatus 100 and is connected to the input / output interface 158 inside the medical information processing apparatus 100.
  • the operation input device 160 may be, for example, a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
  • the display device 162 is provided, for example, on the medical information processing apparatus 100 and is connected to the input / output interface 158 inside the medical information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display and an organic EL display.
  • the input / output interface 158 can also be connected to an external device such as an external operation input device (for example, a keyboard or a mouse) or an external display device of the medical information processing apparatus 100.
  • an external device such as an external operation input device (for example, a keyboard or a mouse) or an external display device of the medical information processing apparatus 100.
  • the display device 162 may be a device such as a touch panel capable of display and user operation.
  • the communication interface 164 is communication means included in the medical information processing apparatus 100, and functions as the communication unit 102 for communicating wirelessly or by wire with other apparatuses constituting the medical information processing system 1000.
  • the communication interface 164 can also communicate wirelessly or by wire with devices other than the devices constituting the medical information processing system 1000.
  • a communication antenna and an RF circuit wireless communication
  • an IEEE 802.15.1 port and a transmitting and receiving circuit wireless communication
  • an IEEE 802.11 port and a transmitting and receiving circuit wireless communication
  • a LAN Terminals and transmission / reception circuits wireless communication
  • the medical information processing apparatus 100 performs the processing according to the above-described information processing method according to the present embodiment, for example, by the configuration shown in FIG.
  • the hardware configuration of the medical information processing apparatus 100 according to the present embodiment is not limited to the configuration shown in FIG.
  • the medical information processing apparatus 100 may not include the communication interface 164 when communicating with an external device or the like via the connected external communication device.
  • the communication interface 164 may be configured to be able to communicate with one or more external devices by a plurality of communication methods.
  • the medical information processing apparatus 100 can be configured not to include some or all of the recording medium 156, the operation input device 160, and the display device 162, for example.
  • the medical information processing apparatus 100 can have a configuration according to an application example of the medical information processing apparatus 100 described later.
  • part or all of the configuration (or the configuration according to the modification) illustrated in FIG. 15 may be realized by one or two or more ICs (Integrated Circuits).
  • the communication unit 102 is a communication unit included in the medical information processing apparatus 100, and performs wireless or wired communication with other apparatuses constituting the medical information processing system 1000.
  • the communication unit 102 can also communicate wirelessly or by wire with devices other than the devices constituting the medical information processing system 1000. Communication in the communication unit 102 is controlled by, for example, the control unit 104.
  • the communication unit 102 for example, a communication antenna and an RF circuit, a LAN terminal, a transmission / reception circuit, etc. may be mentioned, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can have a configuration compatible with any standard capable of performing communication such as a USB terminal and a transmission / reception circuit.
  • the communication unit 102 may be configured to be able to communicate with one or more external devices and the like by a plurality of communication methods.
  • the control unit 104 is formed of, for example, an MPU, and serves to control the entire medical information processing apparatus 100. Also, the control unit 104 includes, for example, a selection unit 110, an extraction unit 112, an editing processing unit 114, a display control unit 116, and an arm control unit 118, and the processing according to the information processing method according to the present embodiment. Play a leading role in
  • the selection unit 110 plays a leading role in performing the process (selection process) of the above (1), and selects target data corresponding to the selection condition from the candidate data. For example, each time the selection condition is manually selected by, for example, an operation on the operation unit (not shown), and / or each time the selection condition is set based on surgery data acquired during surgery, the selection unit 110 And select target data corresponding to the set selection condition. If the set selection condition is not changed when the selection condition is set, the selection unit 110 may not select the target data.
  • the extraction unit 112 plays a leading role in performing the processing (extraction processing) of the above (2), detects a feature from target data selected in the selection unit 110, and detects feature data corresponding to the detected feature, Extract from target data.
  • the extraction unit 112 extracts feature data each time target data is selected in the selection unit 110.
  • the extraction unit 112 extracts feature data by machine learning such as deep learning, for example.
  • the extraction unit 112 extracts at least a medical image as feature data.
  • the extraction unit 112 is characterized by a feature other than the medical image. It is possible to extract data.
  • the editing processing unit 114 plays a leading role in performing the process (3) (editing process) described above, and edits the feature data extracted by the extracting unit 112.
  • the editing process for example, the process shown in each of D1 to D5 shown in FIG. 2 and the process (including the modified example) described with reference to FIGS. 3 to 5 can be mentioned.
  • the display control unit 116 plays a leading role in performing the process (4) (display control process), and causes the display screen to display a medical image corresponding to the surgical data acquired during the surgery.
  • the process (4) display control process
  • causes the display screen to display a medical image corresponding to the surgical data acquired during the surgery As an example of the editing process, for example, the process (including the modification) described with reference to FIG. 6 may be mentioned.
  • the arm control unit 118 plays a leading role in performing the processing of (5) (arm control processing), and controls the operation of the arm capable of transporting the medical instrument.
  • the arm controlled by the arm control unit 118 may be an arm included in an external device such as the arm device 200 or may be an arm included in the medical information processing apparatus 100 (medical information When the processing device 100 functions as an arm device).
  • the arm control unit 118 controls the operation of the arm by specifying the progress of the surgery based on feature data corresponding to the surgery data acquired during the surgery, for example.
  • the arm control unit 118 can also recognize various operations such as an operation on the operation device and an operation by voice, and control the operation of the arm so as to correspond to the recognized operation.
  • the medical information processing apparatus 100 performs the processing according to the information processing method according to the present embodiment, for example, by the configuration shown in FIG.
  • the configuration of the medical information processing apparatus 100 is not limited to the example shown in FIG.
  • the medical information processing apparatus 100 includes a part or all of the selection unit 110, the extraction unit 112, the editing processing unit 114, the display control unit 116, and the arm control unit 118 separately from the control unit 104 (for example, , And another processing circuit).
  • the medical information processing apparatus 100 may not include the communication unit 102. .
  • the medical information processing apparatus 100 may not have, for example, a part or all of the editing processing unit 114, the display control unit 116, and the arm control unit 118. Even when the editing processing unit 114, the display control unit 116, and the arm control unit 118 are not included in part or all, the medical information processing apparatus 100 performs the process (selection process) of the above (1) and the above. It is possible to perform the process (extraction process) of (2). Therefore, even when the editing processing unit 114, the display control unit 116, and the arm control unit 118 are not included in part or all, the medical information processing apparatus 100 improves the convenience for medical workers. be able to.
  • the processing of 5) (arm control processing) is obtained by dividing the processing related to the information processing method according to the present embodiment for the sake of convenience. Therefore, the configuration of the medical information processing apparatus 100 is not limited to the example illustrated in FIG. 14, and can be configured according to how to separate the processes according to the information processing method according to the present embodiment.
  • the medical information processing apparatus 100 has been described above as a component of the medical information processing system according to the present embodiment, but the present embodiment Is not limited to such a form.
  • the medical information processing apparatus 100 transports a medical instrument such as “computer such as PC (Personal Computer) or server”, “tablet type device”, “game machine”, and “arm device 200”.
  • a medical instrument such as “computer such as PC (Personal Computer) or server”, “tablet type device”, “game machine”, and “arm device 200”.
  • a device capable of performing the processing processing pertaining to the information processing method according to the present embodiment
  • another device constituting the medical information processing system such as the medical controller 10 may function as the medical information processing apparatus 100.
  • the medical information processing apparatus 100 can also be applied to, for example, an IC that can be incorporated into the above-described device.
  • the medical information processing apparatus 100 may be applied to a processing system that assumes connection to a network (or communication between devices), such as cloud computing.
  • a processing system for example, a part of the processing (the processing according to the information processing method according to the present embodiment) performed in the medical information processing device 100 by one device configuring the processing system is performed.
  • System etc. in which processing other than the said one part process in the process performed in the medical information processing apparatus 100 is performed by the other apparatus which comprises the processing system.
  • Detected features, etc. can be managed as one file system.
  • Automatic editing is realized such as cutting out and joining scenes before and after the point in time corresponding to the feature.
  • Auto-edited files can be edited manually based on findings such as anatomy and doctors, such as doctors and the like manually add texts and figures. This facilitates, for example, creation of a procedure protocol according to the case.
  • -By performing machine learning or the like on patient information and data classified by case it is possible to automatically perform case classification according to patient attributes such as gender, age and body type.
  • Program according to the present embodiment When a program (computer program) for causing a computer system to function as the medical information processing apparatus 100 is executed by a processor or the like in the computer system, the convenience of medical workers can be improved.
  • the computer system according to the present embodiment includes a single computer or a plurality of computers. A series of processes according to the information processing method according to the present embodiment are performed by the computer system according to the present embodiment.
  • a program for causing a computer system to function as the medical information processing apparatus 100 is executed by a processor or the like in the computer system, thereby achieving the processing according to the information processing method according to the present embodiment described above. An effect can be achieved.
  • the present embodiment further includes a record in which the program is stored.
  • a medium can be provided together.
  • An extraction unit which detects a feature from the selected target data and extracts feature data corresponding to the detected feature from the target data; Equipped with The medical information processing apparatus, wherein the extraction unit extracts at least a medical image as the feature data.
  • the target data includes a medical imaging image captured by an imaging device during surgery.
  • the medical information processing apparatus according to any one of (1) to (3), wherein the medical image is the medical pickup image.
  • the target data includes a medical illustration image, The medical information processing apparatus according to any one of (1) to (4), wherein the medical image is the medical illustration image.
  • the target data includes sound collected by the sound collection device during the operation, The medical information processing apparatus according to any one of (1) to (5), wherein the extraction unit further extracts voice as the feature data.
  • the target data includes text input by an operation on the operation device, The medical information processing apparatus according to any one of (1) to (6), wherein the extraction unit further extracts text as the feature data.
  • the medical information processing apparatus detects one or both of a feature regarding a state and a feature regarding an operation from the target data.
  • the extraction unit Detecting a time point in the target data when a predetermined state is detected from the target data as a feature related to the state;
  • the medical information processing apparatus according to (8), wherein a time point in the target data when a predetermined operation is detected from the target data is detected as a feature related to the operation.
  • the medical information processing apparatus according to any one of (1) to (9), further comprising: an editing processing unit that edits the extracted feature data.
  • the medical information processing apparatus edits the feature data to generate protocol data of a procedure related to a case.
  • the medical information processing apparatus according to any one of (1) to (11), further comprising: a display control unit configured to display the medical image corresponding to the surgical data acquired during the operation on a display screen. .
  • the selection unit sets the selection condition based on the operation data acquired during the operation, and selects the target data.
  • the extraction unit detects a feature from the selected target data and extracts the medical image.
  • the medical information processing apparatus wherein the medical image corresponding to the operation data among the extracted medical images is displayed on a display screen.
  • the medical information processing apparatus according to (13), wherein the extraction unit further notifies the ground on which the medical image to be displayed on the display screen is extracted.
  • the medical information processing apparatus according to (13) or (14), wherein the medical image corresponding to the surgery data displayed on the display screen corresponds to a navigation image during surgery.
  • It has an arm control unit that controls the movement of an arm capable of transporting a medical instrument, The arm control unit Identifying the progress of the operation based on the feature data corresponding to the operation data acquired during the operation; Any one of (1) to (15) which controls the operation of the arm such that a medical instrument corresponding to the identified progress is transported to a predetermined position corresponding to the identified progress.
  • the medical information processing apparatus described in one.
  • target data corresponding to a selection condition including a condition related to a patient attribute, a condition related to a type of procedure, and a condition related to a type of disease from candidate data including operation data acquired during surgery; Detecting a feature from the selected target data, and extracting feature data corresponding to the detected feature from the target data; An information processing method executed by a medical information processing apparatus, wherein at least the medical image is extracted as the feature data in the extracting step.
  • An extraction unit which detects a feature from the selected target data and extracts feature data corresponding to the detected feature from the target data;
  • An editing processing unit that edits the extracted feature data; Equipped with The medical information processing apparatus, wherein the extraction unit extracts at least a medical image as the feature data.
  • the medical information processing apparatus learns the target data corresponding to the selection condition.
  • the medical information processing apparatus learns the target data corresponding to the selection condition.
  • the medical information processing apparatus learns the target data corresponding to the selection condition.
  • the medical information processing apparatus learns the target data corresponding to the selection condition.
  • the medical information processing apparatus learns the target data corresponding to the selection condition.
  • the medical information processing apparatus learns the target data corresponding to the selection condition.
  • the machine learning is deep learning.
  • the target data includes a medical imaging image captured by an imaging device during surgery.
  • the medical information processing apparatus according to any one of (1) to (4), wherein the medical image is the medical pickup image.
  • the target data includes a medical illustration image, The medical information processing apparatus according to any one of (1) to (5), wherein the medical image is the medical illustration image.
  • the target data includes data other than images, The medical information processing apparatus according to any one of (1) to (6), wherein the extraction unit detects a feature from data other than an image.
  • the target data includes sound collected by the sound collection device during the operation, The medical information processing apparatus according to any one of (1) to (7), wherein the extraction unit further extracts voice as the feature data.
  • the target data includes text input by an operation on the operation device, The medical information processing apparatus according to any one of (1) to (8), wherein the extraction unit further extracts text as the feature data.
  • the extraction unit Detecting a time point in the target data when a predetermined state is detected from the target data as a feature related to the state;
  • the medical information processing apparatus according to (10) wherein a time point in the target data when a predetermined operation is detected from the target data is detected as a feature related to the operation.
  • the editing processing unit generates protocol data of the procedure from a plurality of cases.
  • the medical information processing apparatus according to any one of (1) to (13), further comprising: a display control unit configured to display the medical image corresponding to the surgical data acquired during the operation on a display screen. .
  • the selection unit sets the selection condition based on the operation data acquired during the operation, and selects the target data.
  • the extraction unit detects a feature from the selected target data and extracts the medical image.
  • the medical information processing apparatus according to (14), wherein the medical image corresponding to the surgery data among the extracted medical images is displayed on a display screen.
  • the extraction unit further notifies a reason for extracting the medical image to be displayed on the display screen.
  • the medical information processing apparatus according to (15) or (16), wherein the medical image corresponding to the surgery data displayed on the display screen corresponds to a navigation image during surgery. (18) It has an arm control unit that controls the movement of an arm capable of transporting a medical instrument, The arm control unit Identifying the progress of the operation based on the feature data corresponding to the operation data acquired during the operation; Any one of (1) to (17) which controls the operation of the arm such that a medical instrument corresponding to the identified progress is transported to a predetermined position corresponding to the identified progress.
  • the medical information processing apparatus described in one.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Anesthesiology (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Bioethics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Emergency Medicine (AREA)
  • Pulmonology (AREA)
  • Hematology (AREA)
  • Gynecology & Obstetrics (AREA)

Abstract

手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、選択された対象データから特徴を検出し、検出された特徴に対応する特徴データを、対象データから抽出する抽出部と、抽出された特徴データを編集する編集処理部と、を備え、抽出部は、特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置が、提供される。

Description

医療用情報処理装置、および情報処理方法
　本開示は、医療用情報処理装置、および情報処理方法に関する。
　手術においては、手術に関連する様々な装置において生成される各種データ（以下、総称して、または、各データを指して、「手術データ」と示す場合がある。）が、記録媒体に記録されている。このような中、手術データを効率的に管理するための技術が開発されている。手術データを効率的に管理するための技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
　また、内視鏡により得られた内視鏡画像を解析する技術が開発されている。“内視鏡画像に含まれる細胞核を抽出して特徴を計測した結果と、内視鏡画像の全体に対してテクスチャ解析を行った結果とを用いて、病理診断に対応した分類を行う技術”としては、例えば下記の特許文献２に記載の技術が挙げられる。
国際公開第２００６／０７７７９８号 特開２０１６－１５４８１０号公報
　上述したように、手術においては様々な装置により手術データ生成され、当該手術データは記録媒体に記録されている。例えば、医師などの医療従事者が記録媒体に記憶されている手術データを二次利用しようとする場合、医療従事者は、“手術データを全て再生し直し、編集ソフトなどを活用してスナップショットを切り出す”、“手術データと、解剖学図などの医療用イラスト画像とを照らし合わせて、症例の手術プロトコルのワークフローを作成する”など、膨大な作業を行う必要があった。
　本開示では、医療従事者の利便性の向上を図ることが可能な、新規かつ改良された医療用情報処理装置、および情報処理方法を提案する。
　本開示によれば、手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、選択された上記対象データから特徴を検出し、検出された特徴に対応する特徴データを、上記対象データから抽出する抽出部と、抽出された上記特徴データを編集する編集処理部と、を備え、上記抽出部は、上記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置が、提供される。
　また、本開示によれば、手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、選択された上記対象データから特徴を検出し、検出された特徴に対応する特徴データを、上記対象データから抽出するステップと、抽出された前記特徴データを編集するステップと、を有し、上記抽出するステップでは、上記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法が、提供される。
　本開示によれば、医療従事者の利便性の向上を図ることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る医療用情報処理システムの構成の一例を示す説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る表示制御処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。 本実施形態に係る医療器具の格納場所の一例を説明するための説明図である。 本実施形態に係るアーム装置の構造の一例を示す説明図である。 本実施形態に係るアーム装置のアームの端部に設けられる保持部材の一例を示す説明図である。 本実施形態に係るアーム装置の動作の一例を示す説明図である。 本実施形態に係るアーム装置の動作の一例を示す説明図である。 本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。 本実施形態に係る医療用情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る医療用情報処理装置のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る医療用情報処理装置
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　以下では、本実施形態に係る医療用情報処理装置が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げる。また、以下では、“本実施形態に係る医療用情報処理装置を有する本実施形態に係る医療用情報処理システムの一例”を説明した後に、本実施形態に係る情報処理方法に係る処理について、説明する。
［１］医療用情報処理システムの構成
　図１は、本実施形態に係る医療用情報処理システム１０００の構成の一例を示す説明図である。図１では、手術データのうちの画像および／または音声を示すデータの流れを、破線で示している。また、図１では、上記画像および／または音声を示すデータ以外のデータ（例えば、他の手術データや、装置の制御に係るデータなど）の流れを、実線で示している。
　医療用情報処理システム１０００は、本実施形態に係る医療用情報処理装置１００を有する。医療用情報処理装置１００の構成の一例、および医療用情報処理装置１００における処理（本実施形態に係る情報処理方法に係る処理）の一例については、後述する。
　また、医療用情報処理システム１０００は、例えば、メディカルコントローラ１０と、取得装置と、記憶装置と、患者情報管理装置と、データ出力装置と、操作デバイスと、スイッチャ４６とを有する。医療用情報処理システム１０００を構成する各装置は、各装置が備えているバッテリなどの内部電源から供給される電力、または、各装置に接続されている外部電源から供給される電力などによって、駆動する。
　医療用情報処理システム１０００が有する取得装置は、各種の手術データを取得する装置である。取得装置としては、例えば、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６、外部入力端子１８、インカム２０、生体モニタ２２、および麻酔システム２４が、挙げられる。
　医療用情報処理システム１０００が有する記憶装置は、取得された手術データを記憶する装置である。記憶装置としては、例えば、レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２が、挙げられる。
　医療用情報処理システム１０００が有する患者情報管理装置は、患者についてのデータである患者情報を管理する装置である。患者情報管理装置としては、例えば、電子カルテサーバ３４と、ＤＩＣＯＭ（Digital　Imaging　and　COmmunication　in　Medicine）サーバ３６とが、挙げられる。
　患者情報としては、例えば下記に示すデータ（またはデータ群）が挙げられる。なお、患者情報の例が、下記に示す例に限られないことは、言うまでもない。患者情報を構成するデータの一部または全部は、電子カルテサーバ３４に記憶されている電子カルテ情報（後述する）に該当する。
　　・患者を一意に示す識別データ（例えば患者を示すＩＤ）
　　・患者に対して行われる手術に適用される術式を示すデータ
　　・患者の性別を示すデータ
　　・患者の年代（または年齢）を示すデータ
　　・患者の身体データ
　　・疾患の種類を示すデータ
　　・患者の病歴を示すデータ
　　・患者の手術歴を示すデータ
　　・患者の投薬履歴を示すデータ
　　・患者の検査データ
　　・患者の術後に関する術後データ（例えば、ＱＡＬＩ（Quality　Adjusted　Life　Years）を示すデータ、ＱＯＬ（Quality　Of　Life）を示すデータ、退院日数を示すデータ、合併症の有無および種類を示すデータなど）
　　・上記のデータの２以上の組み合わせ
　医療用情報処理システム１０００が有するデータ出力装置は、取得された手術データおよび／または患者情報を出力する装置である。データ出力装置としては、例えば、天井懸架モニタ３８、壁面モニタ４０、およびプリンタ４２が、挙げられる。なお、データ出力装置は、上記に示す例に限られない。例えば、データ出力装置は、タブレット型のデバイスや可搬型のコンピュータなどの、任意のモバイルデバイスであってもよい。
　医療用情報処理システム１０００が有する操作デバイスは、操作デバイスを用いる者が操作を行うことが可能なデバイスである。
　操作デバイスに対する操作によって、例えば、メディカルコントローラ１０などの医療用情報処理システム１０００を構成する様々な装置が操作される。メディカルコントローラ１０を操作する操作デバイスとしては、例えばタッチパネル４４が挙げられる。
　なお、医療用情報処理システム１０００が有する操作デバイスは、装置が操作するデバイスに限られない。例えば、操作デバイスに対する操作によってテキスト（例えば、文字列、文書）が入力される場合、医療用情報処理システム１０００が有する操作デバイスは、テキストデータを生成してもよい。
　医療用情報処理システム１０００が有するスイッチャ４６は、取得された手術データなどの様々なデータの各装置への入出力を制御する装置である。
　医療用情報処理システム１０００を構成する装置のうち、例えば、取得装置、データ出力装置および操作デバイスは、手術室内に設置される。また、医療用情報処理システム１０００を構成する装置のうち、メディカルコントローラ１０、記憶装置、患者情報管理装置、スイッチャ４６、および医療用情報処理装置１００は、例えば、手術室外であって、病院内または病院外の任意の位置に設置される。なお、医療用情報処理システム１０００を構成する各装置の配置の例が、上記に示す例に限られないことは、言うまでもない。
　以下、医療用情報処理システム１０００を構成する装置のうち、後述する医療用情報処理装置１００以外の装置について、より具体的に説明する。
［１－１］メディカルコントローラ１０
　メディカルコントローラ１０は、医療用情報処理システム１０００を構成する各装置と通信可能に接続されており、各装置の動作を制御する。なお、図１に示す例では、メディカルコントローラ１０は、インカム２０、生体モニタ２２、および麻酔システム２４とは接続されていない。そのため、図１に示す例では、インカム２０、生体モニタ２２、および麻酔システム２４それぞれは、メディカルコントローラ１０とは独立して動作可能である。
　具体的には、メディカルコントローラ１０は、取得装置の動作を制御し、手術データを取得させる。
　また、メディカルコントローラ１０は、記憶装置の動作を制御し、取得装置によって取得された手術データを記憶装置に記録させて、手術データを記憶装置に記憶させる。
　本実施形態に係る手術データとしては、例えば、画像データ、患者のバイタルデータ、手術に用いられる医療機器のログデータ、マイクロホンなどの音声入力デバイスにおいて集音された音声データなどが、挙げられる。手術データに含まれる画像データとしては、例えば、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６（医療用観察装置の一例）などにおける撮像により生成された医療用撮像画像を示すデータが、挙げられる。また、手術データに含まれる画像データには、音声が含まれていてもよい。手術データに含まれる患者のバイタルデータとしては、例えば、患者の脈拍を示すデータ、患者の血圧を示すデータ、患者の出血量を示すデータなどが挙げられる。手術に用いられる医療機器のログデータとしては、例えば、電気メスやバイポーラなどの処置装置（図示せず）の動作時の設定値などを示すデータが、挙げられる。
　例えば、メディカルコントローラ１０は、スイッチャ４６の動作を制御することにより、スイッチャ４６を介して、記憶装置に当該画像データを送信させる。また、メディカルコントローラ１０は、記憶装置および患者情報管理装置にアクセスし、記憶装置および患者情報管理装置それぞれに記憶されている手術データおよび患者情報を読み出してもよい。
　また、メディカルコントローラ１０は、データ出力装置の動作を制御し、手術データおよび／または患者情報をデータ出力装置から出力させる。具体的には、メディカルコントローラ１０は、例えば、現在取得されている手術データに含まれる画像データを、ユーザの指示に従ってデータ出力装置から出力させる。また、メディカルコントローラ１０は、例えば、現在取得されている手術データに含まれる医療機器のログデータ、バイタルデータ、麻酔データ（後述する）、電子カルテ情報（後述する）およびＤＩＣＯＭ情報（後述する）のうちの１または２以上を、ユーザの指示に従ってデータ出力装置から出力させる。なお、図１に示す構成例のようにデータ出力装置が複数存在する場合には、ユーザの指示に従って、各装置から互いに異なるデータが出力されてもよい。
　また、メディカルコントローラ１０には、術野に照明光を照射する照明装置５０が接続されうる。照明装置５０は、例えば無影灯である。メディカルコントローラ１０は、ユーザの指示に従って、当該照明装置５０の動作も制御しうる。
　メディカルコントローラ１０は、例えばＣＰＵ（Central　Processing　Unit）やＤＳＰ（Digital　Signal　Processor）などのプロセッサによって構成される。メディカルコントローラ１０のプロセッサが所定のプログラムに従って演算処理を実行することにより、上述した機能が実現される。
［１－２］操作デバイス
　操作デバイスは、操作デバイスを用いる者が操作を行うことが可能なデバイスである。
　上述したように、操作デバイスに対する操作によって、例えば、メディカルコントローラ１０などの医療用情報処理システム１０００を構成する様々な装置が操作される。例えば、メディカルコントローラ１０を操作する操作デバイスは、操作デバイスを操作する者の操作に応じて、メディカルコントローラ１０に対して各種の指示を示す操作信号を送信する。操作デバイスから送信される操作信号を受信したメディカルコントローラ１０は、操作信号が示す指示に従って、接続されている各種の装置の動作を制御する。
　また、上述したように、操作デバイスに対する操作によってテキストが入力される場合、操作デバイスは、テキストデータを生成してもよい。
　操作デバイスとしては、例えば、図１に示すタッチパネル４４や、マウス、キーボード、フットスイッチなどの各種スイッチ、レバー、リモートコントローラなどの操作を行うことが可能な任意のデバイスが挙げられる。また、操作デバイスは、マイクロホンなどの集音デバイスや、デジタルビデオカメラなどの撮像デバイスであってもよい。集音デバイスは、音声による操作を行うための操作デバイスとして機能し、撮像デバイスは、ジェスチャのような動きや形などで操作を行うための操作デバイスとして機能する。
［１－３］取得装置
　取得装置は、各種の手術データを取得する装置である。取得装置としては、例えば上述したように、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６、外部入力端子１８、インカム２０、生体モニタ２２、および麻酔システム２４が、挙げられる。
　俯瞰カメラ１２は、手術室の天井に設置され、手術室内の様子（特に患者が位置している手術台の周囲の様子）を撮像する。俯瞰カメラ１２は、手術データとして、手術室内の様子が収められた画像データを取得する。
　術野カメラ１４は、手術室内において手術台の近くに設置され、術野の様子を撮像する。術野カメラ１４は、手術データとして、術野の様子が収められた画像データを取得する。
　内視鏡／医療機器１６は、内視鏡と、患者に対して処置を行う際に用いられる各種装置とを各種装置を概念的に１つの装置として表すものである。医療機器としては、例えば、“腹腔を拡張し手術スペースを作る気腹装置”や、“高周波電流や超音波振動などのエネルギーを使用して組織を凝固、切開、またはシーリングする処置装置”などが挙げられる。なお、医療機器は、上記に示す例に限られず、一般的に手術に用いられる様々な装置を含みうる。内視鏡によって、手術データとして、その内視鏡によって撮像された画像データが取得される。また、医療機器によって、手術データとして、医療機器が動作した際の設定値（例えば、気腹装置であれば送気量の設定値、処置装置であれば出力電力の設定値など）のログデータ（すなわち、医療機器のログデータ）が取得される。
　外部入力端子１８は、画像データやログデータなどの各種データを入力するための端子である。外部入力端子１８に機器が接続されることにより、当部機器からの画像データなどの各種データが医療用情報処理システム１０００に入力される。図１では、外部入力端子１８に接続される機器としてセンサデバイス５８を示している。
　なお、図１では、センサデバイス５８として生体センサデバイスを示しているが、図１に示すセンサデバイスは一例であり、外部入力端子１８には、ＩｏＴ（Internet　of　Things）デバイスやウェアラブルデバイスなどの、任意のセンサデバイスが接続されうる。また、センサデバイス５８が、外部入力端子１８に接続されることに限られないことは、言うまでもない。さらに、センサデバイス５８は、取得装置として機能しうる。
　インカム２０は、マイクロホンとして機能し、手術データとして、手術室内で発話された音声を示す音声データを取得する。上記音声データが示す音声としては、例えば、指導医による口頭での指示や、医療スタッフ間の会話などが挙げられる。
　生体モニタ２２は、手術データとして、手術中における患者のバイタルデータ（例えば、患者の脈拍や血圧などを示すデータ）を取得する。
　麻酔システム２４は、患者への麻酔の投与の制御、および患者に対して投与した麻酔量の管理など、手術中における麻酔に関する各種の制御、管理を行うシステムである。麻酔システム２４は、麻酔データを、手術データとして取得する。麻酔データとしては、例えば、麻酔に関する各種の制御、管理を行う過程で得られたログデータや、患者に対して投与した麻酔量の設定値などのデータが、挙げられる。
　なお、医療用情報処理システム１０００では、壁面モニタ４０などの表示デバイスが、タッチパネル機能を有してもよい。医療用情報処理システム１０００を構成する表示デバイスがタッチパネル機能を有する場合、当該表示デバイスは、取得装置として機能しうる。
　壁面モニタ４０がタッチパネル機能を有する場合を例に挙げると、例えば、指導医は、内視鏡によって撮像された画像などが表示されている壁面モニタ４０の表示画面を操作することにより、執刀医に対して何らかの指示をだす。このとき、壁面モニタ４０を介して入力された指導医の指示を示すデータは、壁面モニタ４０の表示画面に表示されている画像データに対するアノテーションデータとして機能しうる。よって、表示デバイスがタッチパネル機能を有する場合、医療用情報処理システム１０００では、上記アノテーションデータなどの表示デバイスの表示画面に対する操作に応じたデータが、手術データとして取得されうる。
　俯瞰カメラ１２、術野カメラ１４、および内視鏡／医療機器１６によって取得された画像データは、それぞれ、コンバータ５２を介して、所定の伝送方式で送信され、スイッチャ４６に入力される。また、外部入力端子１８によって取得された画像データは、コンバータ５２を介して、所定の伝送方式で送信され、スイッチャ４６に入力される。また、インカム２０によって取得された音声データは、コンバータ５２を介して、所定の伝送方式で送信され、スイッチャ４６に入力される。
　スイッチャ４６は、入力されたデータを、コンバータ５２を介して、所定の伝送方式で動画サーバ２８に送信する。このとき、アノテーションデータが取得されている場合には、アノテーションデータは、スイッチャ４６によって、対応する画像データと関連付けて動画サーバ２８に送信される。動画サーバ２８は、スイッチャ４６から送信されたデータを記憶する。
　また、内視鏡／医療機器１６の医療機器によって取得された医療機器のログデータは、メディカルコントローラ１０を介して、機器ログデータサーバ３０に記憶される。また、当該医療機器によって取得された医療機器のログデータの表示データは、コンバータ５２を介して、所定の伝送方式で、スイッチャ４６に送信される。
　また、生体モニタ２２および麻酔システム２４によって取得されたバイタルデータおよび麻酔データは、麻酔科サーバ３２に記憶される。また、生体モニタ２２および麻酔システム２４によって取得されたバイタルデータおよび麻酔データのうちの表示データは、コンバータ５２を介して、所定の伝送方式で、スイッチャ４６に送信される。上述したように、生体モニタ２２および麻酔システム２４は、メディカルコントローラ１０とは独立して設置されていてもよい。そのため、生体モニタ２２および麻酔システム２４によって取得されたバイタルデータおよび麻酔データは、メディカルコントローラ１０を経由することなく、麻酔科サーバ３２に直接的に記憶されうる。また、バイタルデータおよび麻酔データのうちの表示データは、スイッチャ４６に直接的に送信されうる。
　なお、取得装置は、手術データを取得する際に、その手術データを取得した時刻を、手術データと関連付けて同時に取得しうる。取得装置は、例えば、手術データが取得された時刻を示す時間データを、手術データのメタデータとして生成する。
　なお、上述した取得装置は一例であり、医療用情報処理システム１０００は、取得装置として機能する他の医療機器を含んでいてもよい。一例を挙げると、ある医療機器において、患者の出血量や患者に投与された輸液量が、所定の時間間隔で測定される場合、当該医療機器は、取得装置として機能する。上記ある医療機器において測定された出血量などを示すデータは、例えば、患者のバイタルデータとして、麻酔科サーバ３２に記憶される。また、上記ある医療機器は、出血量などを測定した時刻を、上記バイタルデータのメタデータとして生成してもよい。
［１－４］記憶装置
　記憶装置は、手術データを記憶する装置である。記憶装置としては、例えば上述したように、レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２が、挙げられる。
　動画サーバ２８は、例えば、手術データのうち、画像データを記憶する。動画サーバ２８は、例えば、俯瞰カメラ１２、術野カメラ１４、内視鏡／医療機器１６、および外部入力端子１８によって取得された画像データを、スイッチャ４６を介して受信し、記憶する。このとき、取得装置によって画像データとアノテーションデータとが取得された場合、メディカルコントローラ１０は、アノテーションデータを画像データと関連付けて、動画サーバ２８に記憶させる。
　機器ログデータサーバ３０は、例えば、手術データのうち、内視鏡／医療機器１６によって取得された医療機器のログデータを、メディカルコントローラ１０を介して受信し、記憶する。
　麻酔科サーバ３２は、例えば、手術データのうち、生体モニタ２２および麻酔システム２４によって取得された、バイタルデータおよび麻酔データそれぞれを記憶する。
　レコーダ２６は、例えば、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２のバックアップ装置として機能する。レコーダ２６は、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２に記憶される手術データの一部または全部を、記憶する。レコーダ２６が記憶する手術データの種類は、医療用情報処理システム１０００の利用者によって適宜決定されてよい。レコーダ２６が設けられることにより、万が一、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２のいずれかに異常が発生した場合であっても、手術データの復旧が容易となる。よって、レコーダ２６が設けられることにより、医療用情報処理システム１０００の信頼性が向上する。なお、図１では、レコーダ２６を１つのみ示しているが、医療用情報処理システム１０００は、複数のレコーダ２６を有していてもよい。また、複数のレコーダ２６を有する場合、各レコーダに記憶されるデータは、同一であってもよいし、一部または全部が異なっていてもよい。
　レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２それぞれは、電子カルテサーバ３４に記憶されている電子カルテ情報（後述する）のうちの、手術データに対応する患者の電子カルテ情報を、手術データと対応付けて記憶してもよい。一例を挙げると、患者のＩＤや手術の執刀医のＩＤなど（電子カルテ情報に含まれるデータの一例）が、手術データと対応付けて記憶される。“電子カルテサーバ３４から、レコーダ２６、動画サーバ２８、機器ログデータサーバ３０、および麻酔科サーバ３２それぞれへの、電子カルテ情報の伝達”は、例えばメディカルコントローラ１０からの制御により実現される。
［１－５］患者情報管理装置
　患者情報管理装置は、患者情報を管理する装置である。患者情報管理装置としては、例えば上述したように、電子カルテサーバ３４と、ＤＩＣＯＭサーバ３６とが、挙げられる。
　電子カルテサーバ３４は、電子カルテ情報を記憶する。
　上述したように、電子カルテ情報には、患者情報を構成するデータの一部または全部が含まれる。一例を挙げると、電子カルテ情報としては、例えば、患者を一意に示す識別データ（例えば患者を示すＩＤ）、患者の身体データ、患者の病歴を示すデータ、患者の手術歴を示すデータなどが挙げられる。患者の手術歴を示すデータには、手術を担当した執刀医や、その手術に参加した看護師などを特定するＩＤが含まれうる。なお、電子カルテ情報には、電子カルテを実現するために一般的に含まれうる任意のデータが、含まれていてもよい。
　ＤＩＣＯＭサーバ３６は、患者のＤＩＣＯＭ情報を記憶する。ＤＩＣＯＭサーバ３６では、ＤＩＣＯＭ情報が、患者のＩＤと関連付けて記憶される。
　ＤＩＣＯＭ情報としては、例えば、患者のＣＴ（Computed　Tomographic）画像を示すＣＴ画像データ、患者のＭＲＩ（Magnetic　Resonance　Imaging）画像を示すＭＲＩ画像データなどが、挙げられる。また、ＤＩＣＯＭ情報には、ＤＩＣＯＭに則った任意のデータが含まれてよい。
［１－６］スイッチャ４６
　スイッチャ４６は、画像データなどの各種のデータの各装置への入力の制御と、当該各種のデータの各装置からの出力の制御とを行う装置である。医療用情報処理システム１０００では、画像データなどの各種のデータは、スイッチャ４６を介して各装置に入力され、スイッチャ４６を介して各装置から出力される。スイッチャ４６の動作は、スイッチャ制御装置４８によって制御される。また、スイッチャ制御装置４８の動作は、メディカルコントローラ１０により制御される。つまり、メディカルコントローラ１０は、スイッチャ制御装置４８を介してスイッチャ４６の動作を制御することが可能である。
　具体的には、スイッチャ４６は、例えば上述したように、取得装置によって取得された画像データを、コンバータ５２を介して所定の伝送方式で動画サーバ２８に送信する。また、スイッチャ４６は、取得装置によって取得された手術データを、コンバータ５２を介して所定の伝送方式で取得する。
　また、スイッチャ４６は、メディカルコントローラ１０から伝達される制御信号に基づいて動作してもよい。一例を挙げると、スイッチャ４６は、メディカルコントローラ１０から伝達される制御信号に基づいて、手術データをコンバータ５２を介して所定の伝送方式でデータ出力装置に送信する。また、他の例を挙げると、スイッチャ４６は、メディカルコントローラ１０から伝達される制御信号に基づいて、患者情報管理装置に記憶されている電子カルテ情報とＤＩＣＯＭ情報との一方または双方を取得し、取得された情報の表示データを、コンバータ５２を介して、所定の伝送方式でデータ出力装置に送信する。
　なお、医療用情報処理システム１０００では、画像データなどを伝送するための伝送経路として、伝送形式が異なる複数の伝送経路が設けられていてもよい。伝送形式が異なる複数の伝送経路が設けられることによって、医療用情報処理システム１０００では、万が一、一の伝送経路に異常が発生したとしても、他の伝送経路によって画像データなどを正常に伝送することが可能となる。伝送方式としては、例えば、ＤＶＩ（Digital　Visual　Interface）に対応する伝送方式、ＳＤＩ（Serial　Digital　Interface）に対応する伝送方式（例えば、ＨＤ－ＳＤＩ）、ＩＰ（Internet　Protocol）を利用した伝送方式などが、挙げられる。なお、伝送形式が異なる複数の伝送経路が設けられる場合、医療用情報処理システム１０００では、採用されている伝送方式に対応する外部入力端子１８、スイッチャ４６、およびコンバータ５２が、設けられる。上記の場合、医療用情報処理システム１０００では、外部入力端子１８、スイッチャ４６、およびコンバータ５２が、伝送方式ごとに設けられていてもよい。
［１－７］データ出力装置
　データ出力装置は、取得された手術データおよび／または患者情報を出力する装置である。データ出力装置としては、例えば上述したように、天井懸架モニタ３８、壁面モニタ４０、およびプリンタ４２が、挙げられる。
　天井懸架モニタ３８は、手術室内において天井から吊り下げられて設置される表示デバイスである。壁面モニタ４０は、手術室内において壁面に設置される表示デバイスである。
　天井懸架モニタ３８および壁面モニタ４０は、例えば、手術データに含まれる画像データを表示画面に表示する。なお、天井懸架モニタ３８および壁面モニタ４０は、スピーカなどの音声出力デバイスを有してもよい。つまり、天井懸架モニタ３８および壁面モニタ４０は、手術データに含まれる音声データが示す音声を、画像データが示す画像の表示と共に出力することも可能である。
　また、天井懸架モニタ３８および壁面モニタ４０は、例えば、手術データに含まれる医療機器のログデータ、バイタルデータ、麻酔データのうちの１または２以上が示す内容を、表示画面に表示させてもよい。手術データに含まれる各データの表示の例としては、時間軸に沿ったグラフの形式での表示が、挙げられる。
　また、天井懸架モニタ３８および壁面モニタ４０は、例えば、電子カルテ情報とＤＩＣＯＭ情報との一方または双方が示す内容を、表や画像などの任意の形式で表示させてもよい。
　天井懸架モニタ３８、壁面モニタ４０としては、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode　Ray　Tube）ディスプレイなどが挙げられる。
　プリンタ４２は、手術データおよび／または患者情報が示す内容を、紙などに印刷する。
　医療用情報処理システム１０００は、例えば図１を参照して示した構成を有する。なお、本実施形態に係る医療用情報処理システムの構成は、図１を参照して示した構成に限られない。例えば、医療用情報処理システム１０００は、後述するアーム装置２００などの医療に関する様々な装置を有していてもよい。
［２］本実施形態に係る情報処理方法に係る処理
　次に、図１に示す医療用情報処理装置１００が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る情報処理方法に係る処理について、説明する。
［２－１］本実施形態に係る情報処理方法の概要
　図１を参照して説明したように、医療用情報処理システム１０００では、手術データなどの様々なデータが生成され、各装置で記憶される。
　ここで、医療用情報処理システム１０００を構成する装置（医療用情報処理システム１０００からアクセスすることが可能な任意の装置も含む。以下、同様とする。）に記憶されているデータのデータ数、データ量が、大きくなればなる程、これらのデータの有効活用が困難となることが、想定される。一例として医師などの医療従事者が手術データを二次利用する場合を想定すると、医療用情報処理システム１０００を構成する装置に記憶されているデータのデータ数、データ量が、大きくなればなる程、医療従事者が膨大な作業を行わなければならない可能性が高い。
　そこで、医療用情報処理装置１００は、医療用情報処理システム１０００を構成する装置に記憶されているデータから、“所定の選択条件に対応するデータであって、かつ所定の特徴に対応するデータ”を抽出する。本実施形態に係る特徴とは、患者や術部の状態、医療関係者の行動、医療機器の動作状態など、実施された手術に関連する事象を含む。以下では、医療用情報処理装置１００が処理の対象とする、医療用情報処理システム１０００を構成する装置に記憶されているデータを、「候補データ」と示す。
　本実施形態に係る候補データには、例えば、図１を参照して説明した“取得装置により取得されて記憶装置に記憶されている手術データ”などの手術データが含まれる。なお、候補データは、手術データに限られない。例えば、候補データには、解剖学図を示す画像などの医療用イラスト画像を示す画像データなどの、手術データ以外のデータが含まれていてもよい。
　以下では、上記所定の選択条件に対応するデータを、「対象データ」と示す。また、以下では、“対象データのうちの所定の特徴に対応するデータ”、すなわち、“候補データのうちの、所定の選択条件に対応し、かつ所定の特徴に対応するデータ”を、「特徴データ」と示す。対象データの一例、および特徴データの一例については、後述する。
　医療用情報処理装置１００が、候補データから特徴データを抽出することによって、特徴データのデータ数、データ量は、医療用情報処理システム１０００を構成する装置に記憶されているデータのデータ数、データ量よりも、小さくなる。よって、医療用情報処理装置１００が、本実施形態に係る情報処理方法に係る処理により特徴データを抽出することによって、医療用情報処理システム１０００を構成する装置に記憶されているデータの有効活用は、より容易となる。
　したがって、医療用情報処理装置１００は、医療従事者の利便性の向上を図ることができる。
［２－２］本実施形態に係る情報処理方法に係る処理の一例
　以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
　医療用情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば下記の（１）に示す選択処理、および下記の（２）に示す抽出処理を行う。
（１）選択処理
　医療用情報処理装置１００は、候補データから、選択条件に対応する対象データを選択する。
　本実施形態に係る選択条件とは、少なくとも、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む条件である。
　患者の属性に関する条件としては、例えば下記に示す例が挙げられる。
　　・患者の性別に関する条件：男性、または、女性
　　・患者の年代（または年齢）に関する条件：１０代、２０代、…など
　　・患者の身体に関する条件：身長、体重、ＢＭＩ（Body　Mass　Index）のうちの１または２以上など
　　・これらの組み合わせ
　なお、患者の属性に関する条件の例は、上記に示す例に限られない。例えば、患者の属性に関する条件には、患者の属性を無視するという条件が、含まれていてもよい。患者の属性を無視するという条件が、患者の属性に関する条件として設定された場合、患者の属性に依存しない対象データが、候補データから選択されることとなる。
　手技の種類に関する条件としては、例えば、術式の名称、または、術式を一意に示すＩＤなど、手技を特定することが可能な任意の条件が、挙げられる。
　なお、手技の種類に関する条件の例は、上記に示す例に限られない。例えば、手技の種類に関する条件には、手技の種類を無視するという条件が、含まれていてもよい。手技の種類を無視するという条件が、手技の種類に関する条件として設定された場合、手技の種類に依存しない対象データが、候補データから選択されることとなる。
　疾患の種類に関する条件としては、例えば、疾患の名称、または、疾患を一意に示すＩＤなど、疾患を特定することが可能な任意の条件が、挙げられる。
　なお、疾患の種類に関する条件の例は、上記に示す例に限られない。例えば、疾患の種類に関する条件には、疾患の種類を無視するという条件が、含まれていてもよい。疾患の種類を無視するという条件が、疾患の種類に関する条件として設定された場合、疾患の種類に依存しない対象データが、候補データから選択されることとなる。
　本実施形態に係る選択条件としては、上記に示すような“患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む条件”が、挙げられる。
　なお、本実施形態に係る選択条件は、上記に示す例に限られない。例えば、選択条件には、執刀医に関する条件、投薬されている薬剤に関する条件などの、１または２以上の他の条件が、含まれていてもよい。執刀医に関する条件としては、例えば、執刀医の名称、または、執刀医を一意に示すＩＤなど、執刀医を特定することが可能な任意の条件が、挙げられる。薬剤に関する条件としては、例えば、薬剤の名称、または、薬剤を一意に示すＩＤなど、薬剤を特定することが可能な任意の条件が、挙げられる。
　選択条件は、例えば、医療用情報処理装置１００が備える操作部（後述する）に対する操作や、リモートコントローラなどの医療用情報処理装置１００の外部の操作デバイスに対する操作によって、設定される。
　なお、選択条件の設定方法は、操作に基づく設定方法に限られない。例えば、医療用情報処理装置１００は、手術中に取得された手術データに基づき選択条件を設定することも可能である。
　手術データに基づく選択条件の設定の例としては、例えば、音声データが示す音声の解析結果に基づく選択条件の設定、医療用撮像画像の解析結果に基づく選択条件の設定などが、挙げられる。医療用情報処理装置１００は、例えば、音声に対する任意の音声認識処理の結果、所定の音声が認識された場合に、認識された音声に対応する選択条件を設定する。また、例えば、医療用撮像画像に対する任意の画像認識処理の結果、医療従事者の所定の動きや、所定の医療機器、医療器具が認識された場合に、認識結果に対応する選択条件を設定する。
　例えば上記のように、手術データに基づく選択条件の設定が行われることによって、選択条件の自動的な設定が実現される。また、選択条件が自動的に設定されることによって、例えば、“手術中に術式が変更された場合に、変更後の術式に対応する対象データが自動的に選択されて、変更後の術式に対応する特徴データが自動的に抽出されること”が、実現される。
　医療用情報処理装置１００は、例えば、医療用情報処理システム１０００を構成する記憶装置に直接的にアクセスして、記憶装置が記憶しているデータ（候補データを含むデータの一例。以下、同様とする。）の中から、選択条件を満たすデータを検索することにより、対象データを選択する。本実施形態に係る対象データの選択とは、例えば、“対象データが記憶されている場所を特定すること”、または、“検索された対象データを、対象データが記憶されている場所から取得すること”を、意味する。
　また、医療用情報処理装置１００は、例えば、“選択条件を満たすデータを検索させる命令、および検索結果を示す応答を行わせる命令を含む制御信号”を、メディカルコントローラ１０などの外部装置に対して送信することにより、外部装置に選択条件を満たすデータを検索させてもよい。この場合、外部装置が、記憶装置が記憶しているデータの中から選択条件を満たすデータを検索することにより、対象データが選択される。
　医療用情報処理装置１００または上記制御信号を受信する外部装置は、例えば、手術データなどの候補データ、および候補データに関連付けられているメタデータなどの、記憶装置が記憶しているデータに対して、任意の情報検索技術に係る処理を行うことによって、選択条件を満たすデータを検索する。
（２）抽出処理
　上記選択処理によって対象データが選択されると、医療用情報処理装置１００は、選択された対象データから特徴を検出し、検出された特徴に対応する特徴データを、対象データから抽出する。
　本実施形態に係る特徴は、例えば、特定の医療機器（例えば、電気メスやバイポーラなどの処置装置）の動作状態、患者の状態、術場における医療従事者の動き、術場において医療従事者が行った発話内容、あるいはこれらの組み合わせなどに基づき検出される。
　例えば、医療用情報処理装置１００は、処置装置が非動作状態から動作状態へと切り替わった時点、または、処置装置が動作状態から非動作状態へと切り替わった時点を、特徴として検出する。医療用情報処理装置１００は、医療機器のログデータ（手術データの一例）に基づき特徴を検出する。
　また、医療用情報処理装置１００は、例えば、患者のバイタルが大きく変動した時点を、特徴として検出する。医療用情報処理装置１００は、例えば、患者のバイタルデータ（手術データの一例）を用いた閾値処理によって、特徴を検出する。
　また、医療用情報処理装置１００は、例えば、術場において医療従事者の所定の動きが検出された時点を、特徴として検出する。医療用情報処理装置１００は、例えば、医療用撮像画像を示す画像データ（手術データの一例）が示す医療用撮像画像に対して任意の画像認識処理を行うことによって、特徴を検出する。以下では、医療用撮像画像を示す画像データを「医療用撮像画像」と示す場合がある。
　また、医療用情報処理装置１００は、例えば、操作デバイスに対する操作により入力されたテキストから、所定の文言が検出された場合、テキストが入力された時点を、特徴として検出する。医療用情報処理装置１００は、例えば、テキストデータ（手術データの一例）が示すテキストに対して任意の構文解析処理などを行うことによって、特徴を検出する。
　また、医療用情報処理装置１００は、例えば、術場において医療従事者の所定の発話内容が検出された時点を、特徴として検出する。医療用情報処理装置１００は、例えば、音声データ（手術データの一例）が示す音声に対して任意の音声認識処理を行うことによって、特徴を検出する。
　つまり、医療用情報処理装置１００は、状態に関する特徴と動作に関する特徴との一方または双方を、対象データから検出する。状態に関する特徴としては、例えば、上記特定の医療機器の動作状態に基づく特徴と、上記患者の状態に基づく特徴とが該当する。動作に関する特徴としては、例えば、上記術場における医療従事者の動きに基づく特徴、上記術場において医療従事者が行った発話内容に基づく特徴とが該当する。
　上記に示す例のように、医療用情報処理装置１００は、“対象データから所定の状態が検出されたときの、対象データにおける時点”を、状態に関する特徴として検出する。また、医療用情報処理装置１００は、“対象データから所定の動作が検出されたときの、対象データにおける時点”を、動作に関する特徴として検出する。つまり、本実施形態に係る特徴は、状態に関する特定の時点、または、動作に関する特定の時点であると捉えることができる。また、本実施形態に係る特徴データは、所定の状態となった時点に対応するデータ、または所定の動作が行われた時点に対応するデータであると捉えることができる。
　特徴が検出されると、医療用情報処理装置１００は、上述したように、検出された特徴に対応する特徴データを対象データから抽出する。
　ここで、検出された特徴に対応する特徴データとしては、特徴が検出された対象データが挙げられる。
　例えば、医療用撮像画像から特徴が検出された場合、医療用情報処理装置１００は、特徴が検出された時点に撮像された医療用撮像画像（静止画像）、または、特徴が検出された時点を含む設定された期間に撮像された医療用撮像画像（動画像）を、特徴データとして抽出する。また、例えば、音声データから特徴が検出された場合、医療用情報処理装置１００は、特徴が検出された時点に集音された音声データ、または、特徴が検出された時点を含む設定された期間に集音された音声データを、特徴データとして抽出する。また、例えば、テキストデータから特徴が検出された場合、医療用情報処理装置１００は、当該テキストデータを、特徴データとして抽出する。
　なお、検出された特徴に対応する特徴データは、上記に示す例に限られない。例えば、検出された特徴に対応する特徴データは、特徴が検出された対象データに関連付けられている任意の対象データであってもよい。
　一例を挙げると、特徴が検出された対象データが医療用撮像画像である場合、医療用情報処理装置１００は、特徴が検出された時点に撮像された医療用撮像画像に対応する医療用イラスト画像を、特徴データとして抽出する。医療用撮像画像に対応する医療用イラスト画像としては、例えば、術式、症例などが一致（または類似）している解剖学図が、挙げられる。特徴が検出された対象データが医療用撮像画像である場合、医療用情報処理装置１００は、特徴が検出された時点を含む設定された期間に、操作デバイスに対する操作により入力されたテキストを示すテキストデータ、特徴データとして抽出することも可能である。
　また、他の例を挙げると、特徴が検出された対象データが音声データである場合、医療用情報処理装置１００は、特徴が検出された時点に撮像された医療用撮像画像や、特徴が検出された時点を含む設定された期間に入力されたテキストデータなどを、特徴データとして抽出する。さらに他の例を挙げると、特徴が検出された対象データがテキストデータである場合、医療用情報処理装置１００は、当該テキストデータが入力された時点に撮像された医療用撮像画像や、当該テキストデータが入力された時点を含む設定された期間に集音された音声データなどを、特徴データとして抽出する。
　なお、特徴が検出された対象データに関連付けられている対象データの例が、上記に示す例に限られないことは、言うまでもない。また、医療用情報処理装置１００は、特徴が検出された対象データと、１または２以上の特徴が検出された対象データに関連付けられている対象データとを、特徴データとして抽出することも可能である。
　医療用情報処理装置１００は、例えば、少なくとも設定されている特定の種類のデータを、特徴データとして抽出してもよい。
　例えば、医療用情報処理装置１００は、少なくとも医療用画像を示す画像データを、特徴データとして抽出する、本実施形態に係る医療用画像としては、例えば、医療用撮像画像と、医療用イラスト画像との一方または双方など、医療に関連する任意の画像が、挙げられる。以下では、医療用画像を示す画像データを「医療用画像」と示す場合がある。
　一般的に、医療従事者の視覚で認識される画像は、音声などの医療従事者の他の感覚で認識される媒体よりも、情報量が大きい。よって、医療用情報処理装置１００が少なくとも医療用画像を特徴データとして抽出することによって、より情報量が大きな特徴データを、抽出することができる。また、情報量がより大きな特徴データを抽出することは、例えば、後述する編集処理、および後述する表示制御処理それぞれにおいて有益である。
　医療用情報処理装置１００は、例えば、機械学習により特徴データを抽出する。より具体的には、医療用情報処理装置１００は、例えば、機械学習による学習済みモデルを使って特徴データを抽出する。機械学習には、例えば、対象データからの特徴の検出に係る学習と、対象データからの特徴データの抽出に係る学習との一方または双方が含まれる。本実施形態に係る機械学習としては、例えば、深層学習（deep　learning）や、深層学習と強化学習（reinforcement　learning）とを組み合わせた深層強化学習（deep　reinforcement　learning）などの、任意の学習方法による機械学習が、挙げられる。具体例を挙げると、医療用情報処理装置１００は、例えば、リカレントニューラルネットワークを用いた学習や、ロングショートタームメモリのニューラルネットワークを用いた学習が、挙げられる。
　医療用情報処理装置１００は、例えば上記のように、選択された対象データから特徴を検出して、検出された特徴に対応する特徴データを対象データから抽出する。医療用情報処理装置１００は、上記（１）の処理（選択処理）において対象データが選択されるごと、換言すると選択条件が変わるごとに、特徴データを抽出する。
　なお、本実施形態に係る抽出処理は、上記に示す例に限られない。
　例えば、医療用情報処理装置１００は、特徴データを抽出した根拠を通知させてもよい。医療用情報処理装置１００は、例えば、ルールベースでの抽出根拠、または、知識ベースでの抽出根拠を通知させる。医療用情報処理装置１００は、“上記根拠を示す画像および／または上記根拠を示す文字列を、表示デバイスの表示画面に表示させることによる視覚的な通知”、“上記根拠を示す音声を、音声出力デバイスから出力させることによる聴覚的な通知”、あるいは、これらの組み合わせによって、特徴データを抽出した根拠を通知させる。
　医療用情報処理装置１００が特徴データを抽出した根拠を通知させることによって、医療従事者は、特徴データが抽出された根拠を認識することができる。よって、医療用情報処理装置１００が特徴データを抽出した根拠を通知させることによって、本実施形態に係る情報処理方法に係る処理により抽出された特徴データは、医療従事者にとって受け入れやすいデータとなりうる。
　医療用情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば上記（１）の処理（選択処理）、および上記（２）の処理（抽出処理）を行う。
　ここで、上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）が行われることによって、候補データから特徴データが抽出される。また、特徴データのデータ数、データ量は、候補データ、すなわち、医療用情報処理システム１０００を構成する装置に記憶されているデータのデータ数、データ量よりも、小さくなる。よって、特徴データが抽出されることにより、医療用情報処理システム１０００を構成する装置に記憶されているデータの有効活用は、より容易となる。
　したがって、例えば上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）を行うことによって、医療用情報処理装置１００は、医療従事者の利便性の向上を図ることができる。
　なお、本実施形態に係る情報処理方法に係る処理は、上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）に限られない。例えば、医療用情報処理装置１００は、抽出された特徴データを用いた処理を、さらに行うことが可能である。
　図２は、本実施形態に係る情報処理方法に係る処理を説明するための説明図である。図２のＡに示す術前計画工程、図２のＢに示す手術工程、図２のＣに示す編集工程は、ある患者に対して手術が行われる場合の流れの一例を示している。
　抽出された特徴データが利用されるユースケースを想定すると、当該ユースケースとしては、ある患者に対して手術が行われた後に特徴データが利用されるユースケースと、ある患者に対して手術を行うときに特徴データが利用されるユースケースとの一方または双方のユースケースが、考えられる。
　ある患者に対して手術が行われた後に特徴データが利用されるユースケースに対応する処理としては、例えば、“抽出された特徴データを用いた編集処理”が挙げられる。編集処理の一例をとしては、図２に示すＤ１～Ｄ５それぞれに示す処理が、挙げられる。
　ある患者に対して手術を行うときに特徴データが利用されるユースケースに対応する一の処理としては、例えば“手術中に取得された手術データに対応する医療用画像（特徴データの一例）を、表示画面に表示させる表示制御処理”が、挙げられる。表示制御処理が行われることによって、例えば図２に示すＥに示す術中ナビゲーション支援（手術中のナビゲーション支援）のような、医療従事者の支援が、実現される。
　また、ある患者に対して手術を行うときに特徴データが利用されるユースケースに対応する他の処理としては、例えば“手術中に取得された手術データに対応する特徴データに基づいて、アームの動作を制御するアーム制御処理”が、挙げられる。
　本実施形態に係るアームとは、例えば、医療器具を搬送することが可能なアームである。本実施形態に係るアームは、例えば、複数のリンクが関節部によって互いに連結されて構成される。本実施形態に係るアームの自由度は、例えば、関節部およびリンクの数や配置、関節部の駆動軸の方向などによって、所望の自由度を有するように設定することが可能である。本実施形態に係るアームの一例については、後述する。
　ここで、本実施形態に係るアームは、医療用情報処理装置１００の外部装置が備えるアームであってもよいし、医療用情報処理装置１００が備えるアームであってもよい。以下では、本実施形態に係るアームが、医療用情報処理装置１００の外部装置が備えるアームである場合を主に例に挙げる。
　つまり、医療用情報処理装置１００は、本実施形態に係る情報処理方法に係る抽出された特徴データを用いた処理として、上記編集処理、上記表示制御処理、および上記アーム制御処理のうちの一部または全部を、行ってもよい。
　なお、本実施形態に係る情報処理方法に係る抽出された特徴データを用いた処理は、上記編集処理、上記表示制御処理、および上記アーム制御処理に限られない。例えば、医療用情報処理装置１００は、“抽出された特徴データを、医療用情報処理システム１０００を構成する記憶装置に記憶させる処理”や、“抽出された特徴データを、医療用情報処理システム１０００の外部の装置に送信する処理”など、抽出された特徴データを用いた任意の処理を、行うことも可能である。
　以下、本実施形態に係る情報処理方法に係る抽出された特徴データを用いた処理の一例として、編集処理、表示制御処理、およびアーム制御処理についてそれぞれ説明する。
（３）編集処理
　医療用情報処理装置１００は、抽出された特徴データを編集する。医療用情報処理装置１００は、医療用情報処理装置１００の利用者の操作に基づいて、または、自動的に、特徴データを編集する。編集処理の例としては、上述したように、図２に示すＤ１～Ｄ５それぞれに示す処理が、挙げられる。
　図３～図５は、本実施形態に係る情報処理方法に係る編集処理の一例を説明するための説明図である。図３は、医療用情報処理システム１０００を構成する装置に記憶されている候補データの一例を示している。図４は、編集処理の結果の一例を概念的に示す説明図であり、図５は、編集処理の結果の他の例を概念的に示す説明図である。
　図２のＤ２に示す自動編集に係る処理を例に挙げる。医療用情報処理装置１００は、例えば図４に示すように、一症例が実施されるごとに、上記（２）に示す処理（抽出処理）により抽出された手術の主要なシーンを、タグデータ（メタデータ）と共に、一つの症例ファイルを生成する。
　図２のＤ５に示す手技プロトコル生成に係る処理を例に挙げる。医療用情報処理装置１００は、例えば図５に示すように、症例Ａに対応する複数の症例ファイルから、症例Ａのプロトコルを示すプロトコルファイル（プロトコルデータ）を作成する。症例Ａのプロトコルとは、症例Ａの手技マニュアルに該当する。また、医療用情報処理装置１００が作成するプロトコルファイルは、症例Ａのベストプラクティスを示す手技マニュアルに該当する。
　医療用情報処理装置１００は、医療用情報処理装置１００が備える操作部（後述する）に対する操作などに基づいて、複数の症例ファイルから、症例Ａのプロトコルファイルを作成する（手動による編集の例）。
　また、例えば、操作部（後述する）に対する操作などにより同一属性の患者群が選択された場合、医療用情報処理装置１００は、症例Ａのプロトコルファイルを自動的に作成してもよい（自動による編集の例）。患者の属性としては、例えば、年代、体重、ＢＭＩなど、患者情報に含まれる任意の指標（または、患者情報に含まれる任意の指標の組み合わせ）が、挙げられる。
　医療用情報処理装置１００は、例えば、“患者属性から平均分布を算出し（平均年齢、平均体重、ＢＭＩなど）、平均値を含む患者属性群の中から症例Ａに適した画像例などを自動的に選択すること”などによって、症例Ａのプロトコルファイルを自動的に作成する。また、医療用情報処理装置１００は、機械学習によって、抽出された特徴データから症例Ａに適した画像例などを自動的に選択してもよい。
　例えば、医療用情報処理装置１００が選択された同一属性の患者群に対して症例のプロトコルファイルを作成されることによって、医療用情報処理システム１０００では、“症例ごとかつ患者の属性ごとに、プロトコルが自動的に作成されること”が、実現される。
　例えば上記のように症例Ａのプロトコルファイルが作成された後、医療用情報処理装置１００は、操作部（後述する）に対する操作などにより、および／または、機械学習により、症例Ａに適した画像例などを、手動でまたは自動的に、置換することも可能である。つまり、編集処理により作成された症例のプロトコルファイルは、適宜更新されうる。
　医療用情報処理装置１００は、例えば上記のように、抽出された特徴データを編集する。なお、編集処理の例が、上記に示す例に限られないことは、言うまでもない。
（４）表示制御処理
　医療用情報処理装置１００は、手術中に取得された手術データに対応する医療用画像（特徴データの一例）を表示画面に表示させる。手術データに対応する医療用画像が表示画面に表示されることによって、上述したように、例えば図２に示すＥに示す術中ナビゲーション支援のような医療従事者の支援が、実現される。つまり、手術データに対応する医療用画像は、手術中のナビゲーション画像に該当しうる。
　医療用画像を表示させる表示画面としては、例えば、図１に示す天井懸架モニタ３８や壁面モニタ４０などの任意の表示デバイスが、挙げられる。医療用情報処理装置１００は、例えば、手術データに対応する医療用画像を示す画像データと表示命令を含む制御信号とを、表示デバイスに送信することによって、手術データに対応する医療用画像を表示画面に表示させる。
　医療用情報処理装置１００は、例えば、表示画面全体に医療用画像を表示させる。また、医療用情報処理装置１００は、例えば、ＰＩＰ（Picture　In　Picture）表示や、ＰＯＰ（Picture　Out　Picture）表示などによって、表示画面の一部の領域に医療用画像を表示させてもよい。
　図６は、本実施形態に係る情報処理方法に係る表示制御処理の一例を説明するための説明図である。
　図６のＡは、手術中に取得される手術データから特定される、手術状況を示している。図６のＡでは、手術状況を、特徴が検出されるシーンごとに分けて示している。手術状況に対応する特徴は、上記（２）に示す処理（抽出処理）における特徴の検出と同様に、検出される。
　図６のＢは、症例Ａおよび術式Ａに対応する術中ナビゲーション支援の一環として表示画面に表示される、シーンごとの医療用画像を概念的に示している。図６のＣは、症例Ａおよび術式Ｂに対応する術中ナビゲーション支援の一環として表示画面に表示される、シーンごとの医療用画像を概念的に示している。
　術中ナビゲーション支援が行われる場合、医療用情報処理装置１００は、図６のＡおよび図６のＢに示すように、実際の手術状況に先行して、次のシーンに対応する医療用画像を、表示画面に表示させる。
　医療現場では、手術中に状況に応じて術式が変更されることがある。状況に応じて術式が変更される場合、医療用情報処理装置１００は、図６のＡおよび図６のＣに示すように、実際の手術状況に先行して、“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させる。
　医療用情報処理装置１００は、例えば、医療用情報処理装置１００が備える操作部（後述する）などに対する操作などに基づいて、上記“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させる。
　また、医療用情報処理装置１００は、例えば、手術データから検出された術式の変更の検出結果に基づいて、上記“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させてもよい。医療用情報処理装置１００は、例えば、医療用撮像画像に対する任意の画像認識処理の結果、音声に対する任意の音声認識処理の結果、あるいは、これらの組み合わせによって、手術データから術式の変更を検出する。
　上記“変更後の術式に対応し、かつ次のシーンに対応する医療用画像”を表示画面に表示させる場合、医療用情報処理装置１００は、“表示画面に表示させる医療用画像を抽出した根拠”を通知させてもよい。“表示画面に表示させる医療用画像を抽出した根拠”は、表示画面に表示させる医療用画像に対応する、上述した“特徴データを抽出した根拠”に該当する。
　医療用情報処理装置１００が“表示画面に表示させる医療用画像を抽出した根拠”を通知させることによって、“表示画面に表示された医療用画像による術中ナビゲーション支援が、医療従事者にとって受け入れやすくなる”という効果が、奏される。
　なお、医療現場では、術前計画によっては、患者に対する１つの手術内で複数の術式が行われる場合もある。予め複数の術式が行われる場合においても、医療用情報処理装置１００は、上記手術中に状況に応じて術式が変更される場合と同様に、術式の切り替えに対応する術中ナビゲーション支援を、行うことができる。
　医療用情報処理装置１００は、例えば上記のように、手術中に取得された手術データに対応する医療用画像を表示画面に表示させる。
　なお、表示制御処理の例は、上記に示す例に限られない。例えば、医療用情報処理装置１００は、さらに、表示画面に表示させる医療用画像に対応する特徴データの内容を、医療従事者に対して通知してもよい。一例を挙げると、医療用情報処理装置１００は、医療用画像の表示による術中ナビゲーション支援と共に、医療用画像に対応する音声を音声出力デバイスから出力させる。
（５）アーム制御処理
　医療用情報処理装置１００は、医療器具を搬送することが可能なアームの動作を制御する
（５－１）アーム装置の一例、およびアーム装置２００の動作の一例
　アーム制御処理について説明する前に、本実施形態に係る医療器具を搬送することが可能なアームを備えるアーム装置の一例、およびアーム装置２００の動作の一例について、説明する。
　図７は、本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。図７は、医療器具を搬送することが可能なアームを備えるアーム装置２００が用いられる手術現場の一例を示している。
　手術現場では、執刀医が使用する医療機器の受け渡しが、器械出し看護師（Scrub　Nurse）により行われている。その一方で、医療分野では、器械出し看護師の不足の問題が認識されている。そのため、今後、図７に示すアーム装置２００のような装置が、器械出し看護師の役目を担っていくことが、想定される。
　アーム装置２００は、例えば上述したように、複数のリンクが関節部によって互いに連結されて構成されるアームを備える装置であり、当該アームが移動することによって、医療器具を搬送する。図７では、“アーム装置２００が、機材格納場所Ｐ１、機材設置場所Ｐ２、および機材廃棄場所Ｐ３の間を移動して、各場所に医療器具を搬送する例”を、示している。
　なお、アーム装置２００が医療器具を搬送する場所は、図７に示す例に限られない。例えば、アーム装置２００は、“手術中に使用済になった医療器具のうち、滅菌処理を行う医療器具を格納する場所”などの様々な場所に、医療器具を搬送することが可能である。また、例えば“手術中に使用済になった医療器具のうち、滅菌処理を行う医療器具を格納する場所”に医療器具を搬送する場合、機材廃棄場所Ｐ３は設けられていなくてもよい。以下では、“アーム装置２００が、機材格納場所Ｐ１、機材設置場所Ｐ２、および機材廃棄場所Ｐ３の間を移動して、各場所に医療器具を搬送する例”について説明する。
　機材格納場所Ｐ１とは、手術で使用される予定の医療器具が配置される格納場所であり、いわゆるメイヨー台に相当する。機材設置場所Ｐ２とは、機材格納場所Ｐ１から搬送される、執刀医が使用する医療器具が配置される格納場所である。機材廃棄場所Ｐ３とは、使用された医療器具のうち、廃棄される医療器具が集められる格納場所である。なお、医療器具が格納される格納場所は、機材格納場所Ｐ１、機材設置場所Ｐ２、および機材廃棄場所Ｐ３に限られない。例えば、本実施形態に係る格納場所には、術中に追加される医療器具が配置される追加機材格納場所が、含まれていてもよい。
　図８は、本実施形態に係る医療器具の格納場所の一例を説明するための説明図である。図８では、格納場所として、機材格納場所Ｐ１、追加機材格納場所Ｐ１’、および機材廃棄場所Ｐ３を示している。なお、図８では、機材格納場所Ｐ１と追加機材格納場所Ｐ１’とを分けているが、機材格納場所Ｐ１および追加機材格納場所Ｐ１’は、同一の格納場所（例えば、同一のメイヨー台）であってもよい。
　機材格納場所Ｐ１には、手術開始前に予め医療器具が配置される。機材格納場所Ｐ１では、例えば図８に示すように、医療器具が配置される場所がユニークに分類される。なお、俯瞰カメラ１２により撮像された撮像画像や、センサなどによって、機材格納場所Ｐ１に配置された医療器具が一意に特定することが可能な場合には、機材格納場所Ｐ１における医療器具が配置される場所は、分類されていなくてもよい。医療器具は、例えば、撮像画像から形状やパターンなどを認識すること、医療器具に付与されているＲＦ（Radio　Frequency）タグからＲＦＩＤ（Radio　Frequency　IDentification）を読み出すことなどによって、特定される。
　機材格納場所Ｐ１における場所と医療器具との対応付けは、例えば、機材格納場所Ｐ１に医療器具が配置されるときに行われ、対応付け結果を示す情報は、医療用情報処理装置１００が備える記憶部（後述する）などに記憶される。なお、機材格納場所Ｐ１における場所と医療器具との対応付けは、医療用情報処理装置１００が自動的に行ってもよいし、医療用情報処理装置１００が備える操作部（後述する）などによる操作によって、手動で行われてもよい。対応付け結果を示す情報としては、例えば、医療器具が配置される場所を示すＩＤおよび医療器具のＩＤとが対応付けられたデータ、医療器具の形状を示すデータ、医療器具に付与されたＲＦタグのＲＦＩＤを示すデータなどが、挙げられる。また、対応付け結果を示す情報には、さらに、医療器具が使用後に廃棄されるものであるかを示す廃棄情報（例えば、廃棄されるか否かを示すフラグなど）が、含まれていてもよい。廃棄情報は、自動的にまたは手動で設定される。
　追加機材格納場所Ｐ１’には、術中に追加される医療器具が配置される。追加機材格納場所Ｐ１’へ医療器具が配置される場合、機材格納場所Ｐ１における医療器具の配置と同様に、追加機材格納場所Ｐ１’における場所と医療器具との対応付けが行われる。
　機材廃棄場所Ｐ３には、ガーゼや針などの廃棄される医療器具が集められる。図８に示すように、機材廃棄場所Ｐ３には、医療器具が廃棄される場所がユニークに分類され、廃棄物が分別される。なお、廃棄物を分別する必要がない場合、機材廃棄場所Ｐ３では、医療器具が廃棄される場所が１つであってもよい。
　図９は、本実施形態に係るアーム装置２００の構造の一例を示す説明図である。アーム装置２００は、例えば、図９のＡに示すような手術ベッドのベッドレールに装着する構造、図９のＢに示すような台座と一体化した構造、図９のＣに示すような天井懸垂されたシーリングペンダント型の構造をとることが可能である。なお、アーム装置２００の構造は、図９に示す例に限られず、アームを移動させることにより医療器具を搬送することが可能な、任意の構造をとることが可能である。
　アーム装置２００は、例えば、アーム装置２００全体の動作を制御するプロセッサ（図示せず）と、医療用情報処理装置１００などの外部装置と無線または有線で通信を行うことが可能な通信デバイス（図示せず）と、筐体と、アームと、アームの端部に設けられる保持部材とを備える。アーム装置２００は、例えば、アーム装置２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　プロセッサ（図示せず）としては、例えばＭＰＵ（Micro　Processing　Unit）やＣＰＵなどが挙げられる。また、通信デバイス（図示せず）としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。プロセッサ（図示せず）と通信デバイス（図示せず）とは、例えば筐体内に設けられる。
　保持部材は、アームの端部に設けられ、様々な大きさ、形状の医療器具を保持する。
　図１０は、本実施形態に係るアーム装置２００のアームの端部に設けられる保持部材の一例を示す説明図である。保持部材は、例えば、医療器具を把持する構造（図１０のＡ）、磁力や空気により医療器具を吸引する構造（図１０のＢ）、医療器具を掬い上げるスコップ型の構造（図１０のＣ）、あるいは、これらを組み合わせた構成（図１０のＤ）を有することによって、様々な医療器具を保持する。なお、保持部材の構造は、図１０に示す例に限られず、アーム装置２００は、１つまたは２つ以上の医療器具を保持することが可能な、任意の構造を有していてもよい。
　また、保持部材は、滅菌処理が可能な素材で構成され、アームから着脱可能な機構を有する。保持部材をアームから取り外すことが可能な機構としては、例えば、ラッチ式の着脱機構、ボタン式の着脱機構、サムターン式の着脱機構などの、保持部材をアームから取り外すことが可能な任意の機構が、挙げられる。保持部材が、滅菌処理が可能な素材で構成され、かつ、アームから着脱可能な機構を有することによって、アーム装置２００は、手術現場における清潔域での動作に対応することができる。
　なお、保持部材は、滅菌処理が可能な素材で構成されていなくてもよい。この場合、保持部材は、ディスポーザブルなものとされ、適宜廃棄されることによって、アーム装置２００は、手術現場における清潔域での動作に対応することができる。
　保持部材は、例えば、人が医療器具を掴むなどの動作時に加わる応力を検出することが可能な、任意のセンサを有し、一定の応力が検出されると把持力を弱くして、医療器具を離す。
　保持部材は、例えば無線または有線で、アーム装置２００本体から電力が供給される。また、保持部材とプロセッサ（図示せず）とは、例えば、無線または有線で接続され、無線または有線で通信を行うことにより信号の送受信を行う。
　アーム装置２００は、例えば、筐体、プロセッサ（図示せず）、通信デバイス（図示せず）、アーム、および保持部材を備える。
　なお、アーム装置２００の構成は、上記に示す例に限られない。例えば、アーム装置２００は、例えば、ＴＯＦ（Time　of　Flight）方式などの任意の方式で物体との間の距離を測定することが可能な、距離センサ（図示せず）をさらに備えていてもよい。
　距離センサ（図示せず）は、アーム装置２００のアーム部分など、通常使用時に医療従事者が触れない部分に、１または２以上設けられ、当該部分の周辺に存在する物体との距離を測定する。１または２以上の距離センサ（図示せず）は、例えば、上記通常使用時に医療従事者が触れない部分の全周囲に存在する物体との距離が測定されるように配置される。なお、１または２以上の距離センサ（図示せず）のセンシング範囲は、例えば、設計段階や製造段階などにおいて任意に設定されうる。
　距離センサ（図示せず）は、例えばプロセッサ（図示せず）と無線または有線で接続され、無線通信または有線通信によって検出結果を示す信号を送信する。検出結果を示す信号を受信したプロセッサ（図示せず）は、検出結果を示す信号が示す距離に基づいて、アームの動作を制御する。一例を挙げると、プロセッサ（図示せず）は、検出結果を示す信号が示す距離が設定されている閾値以下である場合（または、当該距離が当該閾値より小さい場合）に、動かしているアームの速度を小さくする、アームを停止させる、あるいは、アームの端部に設けられる保持部材の軌跡（保持部材の移動ルート）を変える。
　例えば、上記のように距離センサ（図示せず）の検出結果に基づきアームの動作が制御されることによって、アーム装置２００は、人、障害物などとの衝突を予測して、安全にアームを減速させ、安全にアームを停止させ、あるいは、安全にアームの衝突を回避させることができる。
　なお、安全に減速、停止、回避を行うためのアームの移動を行うためのセンサが、距離センサ（図示せず）に限られないことは、言うまでもない。
　また、アーム装置２００が距離センサ（図示せず）などを備えていない場合であっても、アーム装置２００のプロセッサ（図示せず）は、例えば、俯瞰カメラ１２により撮像された撮像画像を画像処理することによって、安全に減速、停止、回避を行うためのアームの移動を、実現することが可能である。プロセッサ（図示せず）は、例えば、撮像画像に基づき“アーム装置２００と、人、障害物などとの相対位置関係”を認識し、認識結果に応じてアームの制御を行う。
　図１１、図１２は、本実施形態に係るアーム装置２００の動作の一例を示す説明図である。図１１は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される動作の一例を示している。また、図１２は、機材設置場所Ｐ２から機材廃棄場所Ｐ３へと医療器具が搬送される動作の一例を示している。
　まず、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合の一例を説明する。
　アーム装置２００は、例えば、医療用情報処理装置１００におけるアーム制御処理に応じた制御信号に従って、機材格納場所Ｐ１に格納されている医療器具のうちの特定の医療器具を、機材設置場所Ｐ２へと搬送する。
　なお、アーム装置２００は、医療従事者の操作に基づいて、機材格納場所Ｐ１に格納されている医療器具のうちの特定の医療器具を、機材設置場所Ｐ２へと搬送することも、可能である。医療器具の搬送に係る操作としては、例えば、リモートコントローラなどの操作デバイスに対する操作、マイクロホンなどの音声入力デバイスに対する音声による操作、任意の撮像デバイスにより検出される視線による操作、任意の撮像デバイスにより検出される動きによる操作などが、挙げられる。
　各種操作は、例えば医療用情報処理装置１００において認識される。医療用情報処理装置１００は、認識された操作に対応する制御信号をアーム装置２００へ送信する。そして、アーム装置２００は、操作に対応する制御信号に従って、機材格納場所Ｐ１に格納されている医療器具のうちの特定の医療器具を、機材設置場所Ｐ２へと搬送する。
　アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具を搬送すると、保持されている医療器具を機材設置場所Ｐ２へ置く。そして、アーム装置２００は、アームを所定のスタンバイ位置に移動させる。また、アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具を搬送し、執刀医などが医療器具を掴むなどの動作時に加わる応力が検出された場合に、アームを所定のスタンバイ位置に移動させてもよい。
　所定のスタンバイ位置としては、例えば、初期設定位置や、俯瞰カメラ１２により撮像された撮像画像に基づき設定される位置（例えば、人や物が存在しない空間位置）が、挙げられる。上記所定のスタンバイ位置の設定に係る処理は、アーム装置２００のプロセッサ（図示せず）が行ってもよいし、医療用情報処理装置１００が行ってもよい。
　次に、機材設置場所Ｐ２から機材廃棄場所Ｐ３へと医療器具が搬送される場合の一例を説明する。
　アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、例えば、医療用情報処理装置１００におけるアーム制御処理に応じた制御信号に従って、機材設置場所Ｐ２に格納されている医療器具を、機材廃棄場所Ｐ３へと搬送する。また、アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、医療従事者の操作に基づいて、機材設置場所Ｐ２に格納されている医療器具を機材廃棄場所Ｐ３へと搬送してもよい。
　アーム装置２００は、機材設置場所Ｐ２に格納されている医療器具を把持するなどして保持し、保持された医療器具を機材廃棄場所Ｐ３へと搬送する。また、アーム装置２００は、例えば、執刀医などの医療従事者の手から医療器具を把持するなどして保持し、保持された医療器具を機材廃棄場所Ｐ３へと搬送することも可能である。
　アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、例えば、機材設置場所Ｐ２から機材廃棄場所Ｐ３へと医療器具を搬送すると、保持されている医療器具を機材廃棄場所Ｐ３へ置き、アームを所定のスタンバイ位置に移動させる。また、アーム装置２００は、機材格納場所Ｐ１から機材設置場所Ｐ２へと医療器具が搬送される場合と同様に、例えば、看護師などが医療器具を掴むなどの動作時に加わる応力が検出された場合に、アームを所定のスタンバイ位置に移動させてもよい。
（５－２）アーム制御処理の一例
　次に、上述したアーム装置２００の動作を実現するための、アーム制御処理の一例を説明する。
　上述したように、医療用情報処理装置１００は、アーム装置２００のアームの動作を制御する制御信号を、アーム装置２００に対して送信することによって、アーム装置２００を動作させる。
　一例を挙げると、医療用情報処理装置１００は、手術中に取得された手術データに対応する特徴データに基づいて、手術の進行状況を特定する。そして、医療用情報処理装置１００は、特定された進行状況に対応する医療器具が当該進行状況に対応する所定の位置に搬送されるように、アーム装置２００のアームの動作を制御する。
　医療用情報処理装置１００は、上記（２）に示す処理（抽出処理）における特徴の検出と同様に、手術状況に対応する特徴を検出し、検出された特徴から手術の進行状況を特定する。手術の進行状況を特定することは、例えば図６のＡに示したような、特徴が検出されるシーンを特定することに該当する。
　手術の進行状況が特定されると、医療用情報処理装置１００は、特定された手術の進行状況に対応する医療器具、および当該医療器具の格納場所を特定する。医療用情報処理装置１００は、例えば、記憶部（後述する）などの記録媒体に記憶されている“手術の進行状況、使用される医療器具を示す情報、および格納場所を示す情報が対応付けられたテーブル（またはデータベース）”を参照することによって、特定された手術の進行状況に対応する医療器具、および特定された手術の進行状況に対応する医療器具の格納場所（医療器具の搬送先となる場所）を特定する。
　医療器具を示す情報としては、例えば、医療器具のＩＤを示すデータ、医療器具の形状を示すデータ、医療器具に付与されたＲＦタグのＲＦＩＤを示すデータなど、医療器具を特定することが可能な任意の形式のデータが、挙げられる。医療器具を示す情報としては、例えば、医療用情報処理装置１００の使用者などの操作により設定されたデータと、医療用情報処理装置１００が機械学習を行うことにより設定されるデータとの一方または双方が、挙げられる。
　格納場所を示す情報としては、例えば、機材格納場所Ｐ１に対応するＩＤを示すデータ、機材設置場所Ｐ２に対応するＩＤを示すデータ、機材廃棄場所Ｐ３に対応するＩＤを示すデータ、および追加機材格納場所Ｐ１’に対応するＩＤを示すデータなど、格納場所を間接的に示すデータが、挙げられる。また、格納場所を示す情報は、各格納場所の空間座標を示すデータなどの、格納場所を直接的に示すデータであってもよい。
　そして、医療用情報処理装置１００は、“特定された手術の進行状況に対応する医療器具を、特定された手術の進行状況に対応する格納場所へ搬送させるための制御命令”を含む制御信号を、アーム装置２００へ送信する。
　例えば上記のように、特徴データに基づき特定される手術の進行状況に対応する制御信号を、アーム装置２００へ送信することによって、医療用情報処理装置１００は、術中ナビゲーション支援と連携して、アーム装置２００の動作を制御することができる。また、医療用情報処理装置１００が、術中ナビゲーション支援と連携してアーム装置２００の動作を制御することによって、“アーム装置２００が、執刀医などの医療従事者の操作がなくとも、手術の進行状況に対応する医療器具を、手術の進行状況に対応する格納場所へ自動的に搬送すること”が、実現される。
　図１３は、本実施形態に係る情報処理方法に係るアーム制御処理の一例を説明するための説明図である。図１３のＡは、図６と同様に、実際の手術の状況と、術中ナビゲーションとの関係の一例を示している。図１３のＢは、術中ナビゲーション支援と連携したアーム装置２００の動作の制御一例を、示している。
　例えば図１３に示すように、医療用情報処理装置１００は、実際の手術の状況に対応するシーンを特定し、特定されたシーンに対応する医療器具を、特定されたシーンに対応する格納場所である機材設置場所Ｐ２へと搬送する。
　なお、本実施形態に係るアーム制御処理は、上記に示す例に限られない。例えば、医療用情報処理装置１００は、操作デバイスに対する操作や音声による操作などの各種操作を認識し、認識された操作に対応する制御信号をアーム装置２００へ送信することも、可能である。医療用情報処理装置１００が認識された操作に対応する制御信号をアーム装置２００へ送信することによって、執刀医などの医療従事者は、意図した動作をアーム装置２００に行わせることができる。
（本実施形態に係る医療用情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、医療用情報処理装置１００の構成の一例を説明する。
［Ｉ］医療用情報処理装置１００の構成の一例
　図１４は、本実施形態に係る医療用情報処理装置１００の構成の一例を示すブロック図である。医療用情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
　また、医療用情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、医療用情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。医療用情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、医療用情報処理装置１００が備える記憶手段であり、例えば、“ネットワーク構造を示す情報、ハイパーパラメータ、およびトレーニングデータセット、機械学習済みのニューラルネットワークモジュールなどの、機械学習に係るデータ”などの本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ネットワーク構造を示す情報、ハイパーパラメータ、およびトレーニングデータセットは、機械学習のためのデータに該当する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、医療用情報処理装置１００から着脱可能であってもよい。
　本実施形態に係るネットワーク構造を示す情報とは、例えば、ニューラルネットワークなどの任意のネットワークの構造を示す情報である。ネットワーク構造を示す情報としては、例えば、データ間の関係をグラフ構造で表現することが可能な任意の形式のデータが、挙げられる。
　本実施形態に係るハイパーパラメータとは、学習のためのパラメータである。ネットワーク構造を示す情報がニューラルネットワークの構造を示す情報である場合を例に挙げると、ハイパーパラメータとしては、例えば、ニューロンの数、ネットワークの層数、学習率などが挙げられる。なお、本実施形態に係るハイパーパラメータは、上記に示す例に限られず、例えば、学習が行われることによりネットワーク構造を示す情報が示すネットワークに対して幅を持たせることが可能な、任意のパラメータであってもよい。
　本実施形態に係るトレーニングデータセットとは、複数の学習のために用いられるトレーニングデータを含むデータ群である。トレーニングデータとしては、画像データやテキストデータなどの、学習内容に応じた任意の形式のデータが、挙げられる。
　操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。なお、医療用情報処理装置１００は、操作部（図示せず）と表示部（図示せず）との一方または双方を備えていなくてもよい。
［医療用情報処理装置１００のハードウェア構成例］
　図１５は、本実施形態に係る医療用情報処理装置１００のハードウェア構成の一例を示す説明図である。医療用情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、医療用情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、医療用情報処理装置１００は、例えば、医療用情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
　ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、医療用情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、医療用情報処理装置１００において、例えば、後述する選択部１１０、抽出部１１２、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の役目を果たす。なお、選択部１１０、抽出部１１２、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、医療用情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　また、操作入力デバイス１６０は、例えば、医療用情報処理装置１００上に備えられ、医療用情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
　また、表示デバイス１６２は、例えば、医療用情報処理装置１００上に備えられ、医療用情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。
　なお、入出力インタフェース１５８が、医療用情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、医療用情報処理装置１００が備える通信手段であり、医療用情報処理システム１０００を構成する他の装置と、無線または有線で通信を行うための通信部１０２として機能する。また、通信インタフェース１６４は、医療用情報処理システム１０００を構成する装置以外の装置と、無線または有線で通信を行うことも可能である。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。
　医療用情報処理装置１００は、例えば図１５に示す構成によって、上述した本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る医療用情報処理装置１００のハードウェア構成は、図１５に示す構成に限られない。
　例えば、医療用情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　また、医療用情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、および表示デバイス１６２のうちの一部または全部を備えない構成をとることが可能である。
　また、医療用情報処理装置１００は、例えば、後述する医療用情報処理装置１００の適用例に応じた構成をとることが可能である。
　また、例えば、図１５に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated　Circuit）で実現されてもよい。
　再度図１４を参照して、医療用情報処理装置１００の構成の一例について説明する。通信部１０２は、医療用情報処理装置１００が備える通信手段であり、医療用情報処理システム１０００を構成する他の装置と、無線または有線で通信を行う。また、通信部１０２は、医療用情報処理システム１０００を構成する装置以外の装置と、無線または有線で通信を行うことも可能である。通信部１０２における通信は、例えば制御部１０４により制御される。
　ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
　制御部１０４は、例えばＭＰＵなどで構成され、医療用情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、選択部１１０と、抽出部１１２と、編集処理部１１４と、表示制御部１１６と、アーム制御部１１８を有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　選択部１１０は、上記（１）の処理（選択処理）を主導的に行う役目を果たし、候補データから、選択条件に対応する対象データを選択する。選択部１１０は、例えば、操作部（図示せず）に対する操作などにより手動で選択条件が選択されるごと、および／または、手術中に取得された手術データに基づき選択条件が設定されるごとに、設定された選択条件に対応する対象データを選択する。なお、選択条件が設定されたときに、設定された選択条件が変更されていない場合、選択部１１０は、対象データを選択しなくてもよい。
　抽出部１１２は、上記（２）の処理（抽出処理）を主導的に行う役目を果たし、選択部１１０において選択された対象データから特徴を検出し、検出された特徴に対応する特徴データを、対象データから抽出する。抽出部１１２は、選択部１１０において対象データが選択されるごとに、特徴データを抽出する。抽出部１１２は、例えば、深層学習などの機械学習により特徴データを抽出する。
　抽出部１１２は、例えば、特徴データとして少なくとも医療用画像を抽出する。なお、選択部１１０において選択された対象データに医療用画像が含まれない場合、または、検出された特徴に対応する対象データが存在しない場合には、抽出部１１２は、医療用画像以外の特徴データを抽出することが可能である。
　編集処理部１１４は、上記（３）の処理（編集処理）を主導的に行う役目を果たし、抽出部１１２において抽出された特徴データを編集する。編集処理の一例をとしては、例えば、図２に示すＤ１～Ｄ５それぞれに示す処理や、図３～図５を参照して説明した処理（変形例も含む）が、挙げられる。
　表示制御部１１６は、上記（４）の処理（表示制御処理）を主導的に行う役目を果たし、手術中に取得された手術データに対応する医療用画像を表示画面に表示させる。編集処理の一例をとしては、例えば図６を参照して説明した処理（変形例も含む）が、挙げられる。
　アーム制御部１１８は、上記（５）の処理（アーム制御処理）を主導的に行う役目を果たし、医療器具を搬送することが可能なアームの動作を制御する。上述したように、アーム制御部１１８が制御するアームは、アーム装置２００などの外部装置が備えるアームであってもよいし、医療用情報処理装置１００が備えるアームであってもよい（医療用情報処理装置１００がアーム装置として機能する場合）。
　アーム制御部１１８は、例えば、手術中に取得された手術データに対応する特徴データに基づき手術の進行状況を特定して、アームの動作を制御する。また、アーム制御部１１８は、例えば、操作デバイスに対する操作や音声による操作などの各種操作を認識し、認識された操作に対応するように、アームの動作を制御することも、可能である。
　医療用情報処理装置１００は、例えば図１４に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。
　なお、医療用情報処理装置１００の構成は、図１４に示す例に限られない。
　例えば、医療用情報処理装置１００は、選択部１１０、抽出部１１２、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
　また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、医療用情報処理装置１００は、通信部１０２を備えていなくてもよい。
　また、医療用情報処理装置１００は、例えば、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を、有していなくてもよい。編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を有さない場合であっても、医療用情報処理装置１００は、上記（１）の処理（選択処理）および上記（２）の処理（抽出処理）を行うことが可能である。よって、編集処理部１１４、表示制御部１１６、およびアーム制御部１１８の一部または全部を有さない場合であっても、医療用情報処理装置１００は、医療従事者の利便性の向上を図ることができる。
　なお、上記（１）の処理（選択処理）、上記（２）の処理（抽出処理）、上記（３）の処理（編集処理）、上記（４）の処理（表示制御処理）、および上記（５）の処理（アーム制御処理）は、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、医療用情報処理装置１００の構成は、図１４に示す例に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
［ＩＩ］本実施形態に係る医療用情報処理装置１００の適用例
　以上、本実施形態に係る医療用情報処理システムの構成要素として、医療用情報処理装置１００を挙げて説明したが、本実施形態は、かかる形態に限られない。医療用情報処理装置１００は、例えば、“ＰＣ（Personal　Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“アーム装置２００のような、医療器具を搬送することが可能なアームを備える装置”など、上述した医療用情報処理装置１００において行われる処理（本実施形態に係る情報処理方法に係る処理）を行うことが可能な、任意の機器に適用することができる。また、医療用情報処理システムでは、メディカルコントローラ１０などの医療用情報処理システムを構成する他の機器が、医療用情報処理装置１００として機能してもよい。さらに、医療用情報処理装置１００は、例えば、上記のような機器に組み込むことが可能なＩＣに適用することもできる。
　また、本実施形態に係る医療用情報処理装置１００は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。上記処理システムの一例としては、例えば“処理システムを構成する一の装置によって、医療用情報処理装置１００において行われる処理（本実施形態に係る情報処理方法に係る処理）の一部の処理が行われ、処理システムを構成する他の装置によって、医療用情報処理装置１００において行われる処理における当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
［ＩＩＩ］本実施形態に係る医療用情報処理装置１００が用いられることにより奏される効果の一例
　本実施形態に係る医療用情報処理装置１００が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る医療用情報処理装置１００が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
　　・術場にあるカメラやマイクからの入力データとそれらに同期した時間データとを関連付け、様々な特徴（例えば、“術場の人や機材の動きなどが自動的に検出された特徴”、“術中の処置具（鉗子やメスなど）の動きや、執刀医の指示（音声）などから自動的に検出された特徴”、“執刀医、助手などが入力装置を用いて入力されたデータから自動的に検出された特徴”など）を、一つのファイルシステムとして、管理することができる。
　　・特徴に対応する時点の前後のシーンを切り出して繋ぎ合わせるなどの、自動編集が実現される。
　　・自動編集されたファイルは、医師などが手動でテキストや図などを追加するなど、解剖学や医師などの知見に基づく手動での編集が可能である。これにより、例えば症例の応じた手技プロトコルの作成が容易となる。
　　・患者情報や症例ごとに分類されたデータを機械学習などを行うことによって、性別、年齢、体型などの患者の属性に応じた症例分類を、自動的に行うことができる。
　　・症例数の増加に応じて、適宜抽出シーンの追加や、置換候補の提示、自動的な置換を行うことができる。
　　・抽出された特徴データ、または、当該特徴データに基づき作成されたプロトコルファイルに基づいて、表示画面への医療用画像の表示、および／または、音声の出力（音声ガイド）が可能となる。よって、表示画面への医療用画像の表示、および／または、音声の出力（音声ガイド）による術中ナビゲーション支援が、実現される。
（本実施形態に係るプログラム）
　コンピュータシステムを、医療用情報処理装置１００として機能させるためのプログラム（コンピュータプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、医療従事者の利便性の向上を図ることができる。本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
　医療用情報処理装置１００として機能させるためのプログラムとしては、例えば下記に示すプログラムが、挙げられる。；
　　・図１４に示す“選択部１１０”および“抽出部１１２”として機能させるプログラム
　　・図１４に示す“選択部１１０”、“抽出部１１２”、および“編集処理部１１４、表示制御部１１６、およびアーム制御部１１８のうちの一部または全部”として機能させるプログラム
　また、コンピュータシステムを、医療用情報処理装置１００として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した、本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到しうることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータシステムを、本実施形態に係る医療用情報処理装置１００として機能させるためのプログラムが提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体を、併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
　選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
　を備え、
　前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
（２）
　前記抽出部は、機械学習により前記特徴データを抽出する、（１）に記載の医療用情報処理装置。
（３）
　前記機械学習は、深層学習である、（２）に記載の医療用情報処理装置。
（４）
　前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
　前記医療用画像は、前記医療用撮像画像である、（１）～（３）のいずれか１つに記載の医療用情報処理装置。
（５）
　前記対象データには、医療用イラスト画像が含まれ、
　前記医療用画像は、前記医療用イラスト画像である、（１）～（４）のいずれか１つに記載の医療用情報処理装置。
（６）
　前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
　前記抽出部は、前記特徴データとしてさらに音声を抽出する、（１）～（５）のいずれか１つに記載の医療用情報処理装置。
（７）
　前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
　前記抽出部は、前記特徴データとしてさらにテキストを抽出する、（１）～（６）のいずれか１つに記載の医療用情報処理装置。
（８）
　前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、（１）～（７）のいずれか１つに記載の医療用情報処理装置。
（９）
　前記抽出部は、
　前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
　前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、（８）に記載の医療用情報処理装置。
（１０）
　抽出された前記特徴データを編集する編集処理部を、さらに備える、（１）～（９）のいずれか１つに記載の医療用情報処理装置。
（１１）
　前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、（１０）に記載の医療用情報処理装置。
（１２）
　手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、（１）～（１１）のいずれか１つに記載の医療用情報処理装置。
（１３）
　前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
　前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
　抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、（１２）に記載の医療用情報処理装置。
（１４）
　前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、（１３）に記載の医療用情報処理装置。
（１５）
　前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、（１３）または（１４）に記載の医療用情報処理装置。
（１６）
　医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
　前記アーム制御部は、
　手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
　特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、（１）～（１５）のいずれか１つに記載の医療用情報処理装置。
（１７）
　手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
　選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
　を有し
　前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。
　また、以下のような構成も本開示の技術的範囲に属する。
（１）
　手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
　選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
　抽出された前記特徴データを編集する編集処理部と、
　を備え、
　前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
（２）
　前記抽出部は、機械学習による学習済みモデルを使って前記特徴データを抽出する、（１）に記載の医療用情報処理装置。
（３）
　前記抽出部は、前記選択条件に対応する前記対象データを学習する、（２）に記載の医療用情報処理装置。
（４）
　前記機械学習は、深層学習である、（２）または（３）に記載の医療用情報処理装置。
（５）
　前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
　前記医療用画像は、前記医療用撮像画像である、（１）～（４）のいずれか１つに記載の医療用情報処理装置。
（６）
　前記対象データには、医療用イラスト画像が含まれ、
　前記医療用画像は、前記医療用イラスト画像である、（１）～（５）のいずれか１つに記載の医療用情報処理装置。
（７）
　前記対象データには、画像以外のデータが含まれ、
　前記抽出部は、画像以外のデータから特徴を検出する、（１）～（６）のいずれか１つに記載の医療用情報処理装置。
（８）
　前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
　前記抽出部は、前記特徴データとしてさらに音声を抽出する、（１）～（７）のいずれか１つに記載の医療用情報処理装置。
（９）
　前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
　前記抽出部は、前記特徴データとしてさらにテキストを抽出する、（１）～（８）のいずれか１つに記載の医療用情報処理装置。
（１０）
　前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、（１）～（９）のいずれか１つに記載の医療用情報処理装置。
（１１）
　前記抽出部は、
　前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
　前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、（１０）に記載の医療用情報処理装置。
（１２）
　前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、（１）～（１１）のいずれか１つに記載の医療用情報処理装置。
（１３）
　前記編集処理部は、複数の症例から前記手技のプロトコルデータを生成する、（１２）に記載の医療用情報処理装置。
（１４）
　手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、（１）～（１３）のいずれか１つに記載の医療用情報処理装置。
（１５）
　前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
　前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
　抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、（１４）に記載の医療用情報処理装置。
（１６）
　前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、（１５）に記載の医療用情報処理装置。
（１７）
　前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、（１５）または（１６）に記載の医療用情報処理装置。
（１８）
　医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
　前記アーム制御部は、
　手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
　特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、（１）～（１７）のいずれか１つに記載の医療用情報処理装置。
（１９）
　手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
　選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
　抽出された前記特徴データを編集するステップと、
　を有し
　前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。
　１００　　医療用情報処理装置
　１０２　　通信部
　１０４　　制御部
　１１０　　選択部
　１１２　　抽出部
　１１４　　編集処理部
　１１６　　表示制御部
　１１８　　アーム制御部
　２００　　アーム装置
　１０００　　医療用情報処理システム
　Ｐ１　　機材格納場所
　Ｐ１’　　追加機材格納場所
　Ｐ２　　機材設置場所
　Ｐ３　　機材廃棄場所

Claims (19)

  1. 　手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択する選択部と、
    　選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出する抽出部と、
    　抽出された前記特徴データを編集する編集処理部と、
    　を備え、
    　前記抽出部は、前記特徴データとして少なくとも医療用画像を抽出する、医療用情報処理装置。
  2. 　前記抽出部は、機械学習による学習済みモデルを使って前記特徴データを抽出する、請求項１に記載の医療用情報処理装置。
  3. 　前記抽出部は、前記選択条件に対応する前記対象データを学習する、請求項２に記載の医療用情報処理装置。
  4. 　前記機械学習は、深層学習である、請求項２に記載の医療用情報処理装置。
  5. 　前記対象データには、手術中に撮像デバイスにより撮像された医療用撮像画像が含まれ、
    　前記医療用画像は、前記医療用撮像画像である、請求項１に記載の医療用情報処理装置。
  6. 　前記対象データには、医療用イラスト画像が含まれ、
    　前記医療用画像は、前記医療用イラスト画像である、請求項１に記載の医療用情報処理装置。
  7. 　前記対象データには、画像以外のデータが含まれ、
    　前記抽出部は、画像以外のデータから特徴を検出する、請求項１に記載の医療用情報処理装置。
  8. 　前記対象データには、手術中に集音デバイスにより集音された音声が含まれ、
    　前記抽出部は、前記特徴データとしてさらに音声を抽出する、請求項１に記載の医療用情報処理装置。
  9. 　前記対象データには、操作デバイスに対する操作により入力されたテキストが含まれ、
    　前記抽出部は、前記特徴データとしてさらにテキストを抽出する、請求項１に記載の医療用情報処理装置。
  10. 　前記抽出部は、状態に関する特徴と、動作に関する特徴との一方または双方を、前記対象データから検出する、請求項１に記載の医療用情報処理装置。
  11. 　前記抽出部は、
    　前記対象データから所定の状態が検出されたときの、前記対象データにおける時点を、前記状態に関する特徴として検出し、
    　前記対象データから所定の動作が検出されたときの、前記対象データにおける時点を、前記動作に関する特徴として検出する、請求項１０に記載の医療用情報処理装置。
  12. 　前記編集処理部は、前記特徴データを編集して、症例に関する手技のプロトコルデータを生成する、請求項１に記載の医療用情報処理装置。
  13. 　前記編集処理部は、複数の症例から前記手技のプロトコルデータを生成する、請求項１２に記載の医療用情報処理装置。
  14. 　手術中に取得された前記手術データに対応する前記医療用画像を表示画面に表示させる表示制御部を、さらに備える、請求項１に記載の医療用情報処理装置。
  15. 　前記選択部は、手術中に取得された前記手術データに基づき前記選択条件を設定して、前記対象データを選択し、
    　前記抽出部は、選択された前記対象データから特徴を検出して、前記医療用画像を抽出し、
    　抽出された前記医療用画像のうちの、前記手術データに対応する前記医療用画像を、表示画面に表示させる、請求項１４に記載の医療用情報処理装置。
  16. 　前記抽出部は、さらに、前記表示画面に表示させる前記医療用画像を抽出した根拠を、通知させる、請求項１５に記載の医療用情報処理装置。
  17. 　前記表示画面に表示される、前記手術データに対応する前記医療用画像は、手術中のナビゲーション画像に該当する、請求項１５に記載の医療用情報処理装置。
  18. 　医療器具を搬送することが可能なアームの動作を制御するアーム制御部を備え、
    　前記アーム制御部は、
    　手術中に取得された前記手術データに対応する前記特徴データに基づいて、手術の進行状況を特定し、
    　特定された前記進行状況に対応する医療器具が、特定された前記進行状況に対応する所定の位置に搬送されるように、前記アームの動作を制御する、請求項１に記載の医療用情報処理装置。
  19. 　手術中に取得される手術データを含む候補データから、患者の属性に関する条件、手技の種類に関する条件、および疾患の種類に関する条件を含む選択条件に対応する対象データを選択するステップと、
    　選択された前記対象データから特徴を検出し、検出された特徴に対応する特徴データを、前記対象データから抽出するステップと、
    　抽出された前記特徴データを編集するステップと、
    　を有し
    　前記抽出するステップでは、前記特徴データとして少なくとも医療用画像が抽出される、医療用情報処理装置により実行される情報処理方法。
PCT/JP2018/036760 2017-12-05 2018-10-02 医療用情報処理装置、および情報処理方法 WO2019111512A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019558031A JP7343394B2 (ja) 2017-12-05 2018-10-02 医療用情報処理装置、情報処理方法、および医療用情報処理システム
US16/768,081 US20200312464A1 (en) 2017-12-05 2018-10-02 Medical information processing apparatus and information processing method
EP18886892.1A EP3677208A4 (en) 2017-12-05 2018-10-02 MEDICAL INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017233379 2017-12-05
JP2017-233379 2017-12-05

Publications (1)

Publication Number Publication Date
WO2019111512A1 true WO2019111512A1 (ja) 2019-06-13

Family

ID=66751426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036760 WO2019111512A1 (ja) 2017-12-05 2018-10-02 医療用情報処理装置、および情報処理方法

Country Status (4)

Country Link
US (1) US20200312464A1 (ja)
EP (1) EP3677208A4 (ja)
JP (1) JP7343394B2 (ja)
WO (1) WO2019111512A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010193A1 (ja) * 2019-07-18 2021-01-21 ソニー株式会社 医療機器制御システム、制御装置、および制御方法
WO2021090870A1 (ja) * 2019-11-07 2021-05-14 川崎重工業株式会社 使用器具推定装置及び方法並びに手術補助ロボット
JPWO2021111879A1 (ja) * 2019-12-05 2021-06-10
WO2022014014A1 (ja) * 2020-07-16 2022-01-20 オリンパス株式会社 集中制御装置及び手術関連情報の表示方法
KR102417602B1 (ko) * 2021-11-30 2022-07-07 (주)플라스바이오 인공 지능 모델 기반 종양 관리 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755779B (zh) * 2020-06-30 2022-02-21 香港商智慧生醫材料有限公司 智慧手術房手術物品管理方法和手術物品管理系統

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030216836A1 (en) * 2002-04-05 2003-11-20 Treat Michael R. Robotic scrub nurse
JP3104051U (ja) * 2004-03-16 2004-09-02 株式会社ユープロダクション 外科手術の記録動画の編集装置
JP2006043209A (ja) * 2004-08-05 2006-02-16 U Production:Kk 外科手術の動画記録装置
WO2006077798A1 (ja) 2005-01-19 2006-07-27 Olympus Corporation 医療機器データ解析装置
US20110046476A1 (en) * 2007-08-24 2011-02-24 Universite Joseph Fourier- Grenoble 1 System and method for analysing a surgical operation by endoscopy
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
JP2016042982A (ja) * 2014-08-21 2016-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
JP2016154810A (ja) 2015-02-26 2016-09-01 サイバネットシステム株式会社 画像処理装置及び画像処理方法
WO2016200887A1 (en) * 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Video content searches in a medical context
JP2017047022A (ja) * 2015-09-03 2017-03-09 株式会社メディカルプラットフォーム 情報処理装置、情報処理方法および情報処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
EP2636034A4 (en) * 2010-11-04 2015-07-22 Univ Johns Hopkins SYSTEM AND METHOD FOR ASSESSING OR ENHANCING CAPACITIES IN NON-INVASIVE SURGERY
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
WO2017083768A1 (en) * 2015-11-12 2017-05-18 Jarc Anthony Michael Surgical system with training or assist functions
US20170143284A1 (en) * 2015-11-25 2017-05-25 Carestream Health, Inc. Method to detect a retained surgical object
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US11370113B2 (en) * 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
US11158415B2 (en) * 2017-02-16 2021-10-26 Mako Surgical Corporation Surgical procedure planning system with multiple feedback loops
US9836654B1 (en) * 2017-02-28 2017-12-05 Kinosis Ltd. Surgical tracking and procedural map analysis tool
JP7227168B2 (ja) * 2017-06-19 2023-02-21 モハメド・アール・マーフーズ 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030216836A1 (en) * 2002-04-05 2003-11-20 Treat Michael R. Robotic scrub nurse
JP3104051U (ja) * 2004-03-16 2004-09-02 株式会社ユープロダクション 外科手術の記録動画の編集装置
JP2006043209A (ja) * 2004-08-05 2006-02-16 U Production:Kk 外科手術の動画記録装置
WO2006077798A1 (ja) 2005-01-19 2006-07-27 Olympus Corporation 医療機器データ解析装置
US20110046476A1 (en) * 2007-08-24 2011-02-24 Universite Joseph Fourier- Grenoble 1 System and method for analysing a surgical operation by endoscopy
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
JP2016042982A (ja) * 2014-08-21 2016-04-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
JP2016154810A (ja) 2015-02-26 2016-09-01 サイバネットシステム株式会社 画像処理装置及び画像処理方法
WO2016200887A1 (en) * 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Video content searches in a medical context
JP2017047022A (ja) * 2015-09-03 2017-03-09 株式会社メディカルプラットフォーム 情報処理装置、情報処理方法および情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OHNUMA ET AL.: "Intraoperative analysis of Surgeon's motions and construction of timed automata based model of Laparoscopic surgery for human adaptive surgical robot system", TIMED AUTOMATA, vol. 43, no. 8, 31 August 2007 (2007-08-31), pages 679 - 688, XP055684092, ISSN: 0453-4654, DOI: 10.9746/ve.sicetr1965.43.679 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010193A1 (ja) * 2019-07-18 2021-01-21 ソニー株式会社 医療機器制御システム、制御装置、および制御方法
WO2021090870A1 (ja) * 2019-11-07 2021-05-14 川崎重工業株式会社 使用器具推定装置及び方法並びに手術補助ロボット
CN114449970A (zh) * 2019-11-07 2022-05-06 川崎重工业株式会社 使用器具推断装置、方法以及手术辅助机器人
JP7324121B2 (ja) 2019-11-07 2023-08-09 川崎重工業株式会社 使用器具推定装置及び方法並びに手術補助ロボット
EP4056140A4 (en) * 2019-11-07 2023-11-15 Kawasaki Jukogyo Kabushiki Kaisha DEVICE AND METHOD FOR ESTIMATING INSTRUMENT TO BE USED, AND SURGICAL ASSISTANCE ROBOT
JPWO2021111879A1 (ja) * 2019-12-05 2021-06-10
JP7245360B2 (ja) 2019-12-05 2023-03-23 Hoya株式会社 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
WO2022014014A1 (ja) * 2020-07-16 2022-01-20 オリンパス株式会社 集中制御装置及び手術関連情報の表示方法
KR102417602B1 (ko) * 2021-11-30 2022-07-07 (주)플라스바이오 인공 지능 모델 기반 종양 관리 장치 및 방법
WO2023101444A1 (ko) * 2021-11-30 2023-06-08 (주)플라스바이오 인공 지능 모델 기반 종양 관리 장치 및 방법

Also Published As

Publication number Publication date
US20200312464A1 (en) 2020-10-01
JP7343394B2 (ja) 2023-09-12
EP3677208A4 (en) 2020-09-09
JPWO2019111512A1 (ja) 2020-11-26
EP3677208A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
WO2019111512A1 (ja) 医療用情報処理装置、および情報処理方法
CN113748468B (zh) 填写外科手术的术后报告的系统和方法、计算机可读介质
US10878966B2 (en) System and method for analysis and presentation of surgical procedure videos
US7966269B2 (en) Intelligent human-machine interface
US20230023635A1 (en) Hub identification and tracking of objects and personnel within the or to overlay data that is custom to the user's need
CN109996508A (zh) 带有基于患者健康记录的器械控制的远程操作手术系统
Kranzfelder et al. New technologies for information retrieval to achieve situational awareness and higher patient safety in the surgical operating room: the MRI institutional approach and review of the literature
EP3770913A1 (en) Operation assistance system, information processing device, and program
WO2018163600A1 (ja) 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
US11810360B2 (en) Methods for arthroscopic surgery video segmentation and devices therefor
WO2019244896A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
US20230363851A1 (en) Methods and systems for video collaboration
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP2016157320A (ja) 情報処理システム、情報処理方法及びプログラム
JP2015097065A (ja) 手術情報管理装置
KR20190000107A (ko) 이벤트 인덱스를 통한 수술 영상 처리 방법 및 장치
CN115443108A (zh) 手术程序指导系统
US20210158947A1 (en) Beacon-based systems and methods for generating medical facility metrics
US20220129822A1 (en) Detecting events during a surgery
US20230372030A1 (en) Automatic compilation, annotation, and dissemination of surgical data to systems to anticipate related automated operations
US20230372013A1 (en) Aggregation of patient, procedure, surgeon, and facility pre-surgical data and population and adaptation of a starting procedure plan template
US20230372031A1 (en) Identification of images shapes based on situational awareness of a surgical image and annotation of shapes or pixels
EP4276777A1 (en) Object detection in an operating room
WO2023223234A1 (en) Automatic compilation, annotation, and dissemination of surgical data to systems to anticipate related automated operations
CN118019506A (en) Surgical data system and control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18886892

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018886892

Country of ref document: EP

Effective date: 20200331

ENP Entry into the national phase

Ref document number: 2019558031

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE