WO2022201800A1 - 手術室システム、画像記録方法、プログラム、および医療情報処理システム - Google Patents

手術室システム、画像記録方法、プログラム、および医療情報処理システム Download PDF

Info

Publication number
WO2022201800A1
WO2022201800A1 PCT/JP2022/001915 JP2022001915W WO2022201800A1 WO 2022201800 A1 WO2022201800 A1 WO 2022201800A1 JP 2022001915 W JP2022001915 W JP 2022001915W WO 2022201800 A1 WO2022201800 A1 WO 2022201800A1
Authority
WO
WIPO (PCT)
Prior art keywords
recording
operating room
image
automatic recording
input
Prior art date
Application number
PCT/JP2022/001915
Other languages
English (en)
French (fr)
Inventor
滋 齊藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP22774603.9A priority Critical patent/EP4316410A1/en
Priority to US18/549,924 priority patent/US20240155085A1/en
Priority to CN202280022434.4A priority patent/CN116997289A/zh
Priority to JP2023508691A priority patent/JPWO2022201800A1/ja
Publication of WO2022201800A1 publication Critical patent/WO2022201800A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Definitions

  • the present disclosure relates to an operating room system, an image recording method, a program, and a medical information processing system, and more particularly to an operating room system, an image recording method, a program, and a medical information processing system that can appropriately record records.
  • Operating rooms and ICUs are equipped with multiple image input sources, including various medical devices, MRI (Magnetic Resonance Imaging) devices, CT (Computed Tomography) devices, and ultrasound devices. .
  • Patent Literature 1 discloses a system for transmitting and recording images captured by a surgical loupe in an operating room to an external device.
  • the surgical staff decides when to start recording the surgical images that will be used as surgical records, as well as the recording time.
  • the surgical staff since the surgical staff is busy with work during the operation, it may not be possible to record at the appropriate timing.
  • the surgical image is recorded from beginning to end, the recording capacity may become enormous.
  • An operating room system includes an operating room that includes a setting unit that sets whether or not to automatically record the image for each of a plurality of input sources for inputting images. System.
  • An image recording method is an image recording method in which an operating room system sets whether or not to automatically record the image for each of a plurality of image input sources provided in the operating room. recording method.
  • a program according to the first aspect of the present disclosure causes a computer to execute processing for setting whether or not to automatically record the image for each of a plurality of image input sources provided in an operating room. program.
  • a medical information processing system is a medical information processing system that includes a setting unit that sets whether or not to automatically record the information for each of a plurality of video sources that output information about a patient. be.
  • whether or not to automatically record the image is set for each of a plurality of image input sources provided in the operating room.
  • whether or not to automatically record the information is set for each of a plurality of video sources that output patient-related information.
  • FIG. 1 is a diagram showing an overview of an operating room system to which technology according to the present disclosure can be applied;
  • FIG. It is a block diagram which shows the functional structural example of an operating room system. It is a figure which shows the example of a setting screen.
  • 7 is a flowchart for explaining the flow of automatic recording setting processing;
  • 7 is a flowchart for explaining the flow of automatic recording setting processing;
  • 7 is a flowchart for explaining the flow of automatic recording setting processing;
  • 4 is a flowchart for explaining the flow of recording processing for each input source;
  • 4 is a flowchart for explaining the flow of recording processing for each input source;
  • 4 is a flowchart for explaining the flow of recording processing for each input source;
  • 4 is a flowchart for explaining the flow of recording processing for each input source;
  • It is a figure which shows the example of an integrated screen.
  • FIG. 10 is a diagram showing an example of a preview screen; It is a figure which shows the structural example of a computer.
  • FIG. 1 is a diagram showing an overview of an operating room system 100 to which technology according to the present disclosure can be applied.
  • the operating room system 100 shown in FIG. 1 a group of devices installed in the operating room are connected to each other via an operating room server 107 and an IP switch (SW) 109 so as to be able to cooperate with each other.
  • the operating room system 100 is composed of an IP (Internet Protocol) network capable of transmitting/receiving 4K/8K images, and input/output images and control information for each device are transmitted/received via the IP network.
  • IP Internet Protocol
  • Various devices can be installed in the operating room.
  • a group of various devices 101 for endoscopic surgery a ceiling camera 187 that captures an image of the operator's hand, an operating field camera 189 that captures an image of the entire operating room, and a plurality of display devices 103A to 103A. 103D, patient bed 183 and lighting 191 are shown. Both the ceiling camera 187 and the operating field camera 189 are provided on the ceiling of the operating room.
  • the device group 101 may be applied with various medical devices for acquiring images, such as a master-slave endoscopic surgical robot and an X-ray imaging device.
  • the display devices 103A to 103C, the device group 101, the ceiling camera 187, the surgical site camera 189, and the IP SW 109 are connected via IP converters 115A to 115F, respectively.
  • the IP converters 115A to 115F are simply referred to as the IP converter 115 when not distinguished from each other.
  • the IP converters 115D, 115E, 115F on the input source side (camera side) for inputting images are connected to individual medical imaging devices (endoscopes, surgical microscopes, X-ray imaging devices, operating field cameras, pathological imaging devices, etc.). IP-converts the image from and transmits it over the network.
  • the IP converters 115A to 115C on the image output side (monitor side) that output images convert the images transmitted via the network into a monitor-specific format and output them.
  • the IP converter 115 on the input source side functions as an encoder, and the IP converter 115 on the image output side functions as a decoder.
  • Input sources include, for example, video sources.
  • the IP converter 115 can have various image processing functions.
  • the IP converter 115 can have a function of executing resolution conversion processing according to the output destination, rotation correction and camera shake correction of an endoscopic image, object recognition processing, and the like.
  • the IP converter 115 on the image output side can synthesize a plurality of images (such as PinP processing) and superimpose annotation information.
  • the protocol conversion function of the IP converter 115 is a function of converting a received signal into a converted signal conforming to a communication protocol that can be communicated on a network such as the Internet. Any communication protocol may be set as the communication protocol. Also, the protocol-convertible signal received by the IP converter 115 is a digital signal, such as an image signal or a pixel signal. The IP converter 115 may be incorporated inside the device on the input source side or inside the device on the image output side.
  • the device group 101 belongs to, for example, an endoscopic surgery system, and includes an endoscope and a display device that displays images captured by the endoscope.
  • the display devices 103A to 103D, the patient bed 183, and the lighting 191 are devices installed in the operating room separately from the endoscopic surgery system. Each device used for these surgeries or diagnoses is also called a medical device.
  • Operating room server 107 and/or IP SW 109 cooperatively control the operation of these medical devices.
  • the operating room includes a surgical robot (surgical master-slave) system and a medical image acquisition device such as an X-ray imaging device, these devices can also be connected as the device group 101 .
  • the operating room server 107 comprehensively controls processing related to image display in medical equipment.
  • the device group 101, the ceiling camera 187, and the operating field camera 189 are devices having a function of transmitting information to be displayed during surgery (hereinafter also referred to as display information).
  • display information hereinafter also referred to as a source device.
  • the display devices 103A to 103D can be devices to which display information is output (hereinafter also referred to as output destination devices).
  • the operating room server 107 has a function of controlling the operations of the source device and the output destination device, acquiring display information from the source device, and transmitting the display information to the output destination device for display or recording.
  • the display information includes various images captured during surgery, various information related to surgery (for example, patient's physical information, past examination results, information on surgical procedure), and the like.
  • the operating room server 107 as the display information from the device group 101, information about the image of the surgical site within the patient's body cavity captured by the endoscope can be transmitted. Further, to the operating room server 107 , information about an image of the operator's hand captured by the ceiling camera 187 can be transmitted as display information from the ceiling camera 187 . In addition, to the operating room server 107, as display information from the operating field camera 189, information about an image showing the state of the entire operating room captured by the operating field camera 189 can be transmitted. If there are other devices having an imaging function in the operating room system 100, the operating room server 107 acquires information about images captured by these other devices from these other devices as display information. You may
  • the operating room server 107 causes at least one of the display devices 103A to 103D, which are output destination devices, to display the acquired display information (that is, images captured during surgery and various types of information related to surgery).
  • the display device 103A is a display device that is installed by being suspended from the ceiling of the operating room
  • the display device 103B is a display device that is installed on the wall surface of the operating room.
  • the display device 103C is a display device installed on a desk in the operating room
  • the display device 103D is a mobile device (for example, a tablet PC (Personal Computer) or a smartphone) having a display function.
  • the IP SW 109 is configured as one of the input/output controllers that control the input/output of image signals to the connected equipment.
  • the IP SW 109 controls input/output of image signals under the control of the operating room server 107 .
  • the IP SW 109 controls high-speed transfer of image signals between devices arranged on the IP network.
  • the operating room system 100 may include devices outside the operating room.
  • the devices outside the operating room can be, for example, servers connected to networks built inside and outside the hospital, PCs used by medical staff, projectors installed in hospital conference rooms, and the like. If such an external device is located outside the hospital, the operating room server 107 can also cause the display information to be displayed on a display device in another hospital via a teleconferencing system or the like for telemedicine purposes.
  • the external server 113 is, for example, an in-hospital server outside the operating room or a cloud server, and may be used for image analysis, data analysis, and the like.
  • image information in the operating room is sent to the external server 113, and additional information is generated by recognition and analysis processing using big data analysis and AI (machine learning) by the external server 113, and fed back to the display device in the operating room.
  • AI machine learning
  • the IP converter 115H connected to the IP SW 109 in the operating room transmits data to the external server 113 and analyzes the image.
  • the data to be transmitted may be a surgical image itself such as from an endoscope, metadata extracted from the image, data indicating the operation status of connected equipment, and the like.
  • a centralized operation panel 111 is provided in the operating room system 100 .
  • the user can give instructions to the operating room server 107 via the centralized operation panel 111 regarding input/output control of the IP SW 109 and instructions regarding the operation of connected equipment. Also, the user can switch the image display via the centralized operation panel 111 .
  • the centralized operation panel 111 is configured by providing a touch panel on the display surface of the display device. Centralized operation panel 111 and IP SW 109 are connected via IP converter 115J.
  • the IP network may be configured as a wired network, or part or all of the IP network may be configured as a wireless network.
  • the IP converter 115 on the input source side having a wireless communication function outputs the received image via a wireless communication network such as a fifth generation mobile communication system (5G) or a sixth generation mobile communication system (6G). may be sent to the IP converter 115 on the side.
  • 5G fifth generation mobile communication system
  • 6G sixth generation mobile communication system
  • the operating room is provided with a plurality of input sources for inputting images (generating images and supplying them to other devices), such as various medical devices, MRI devices and CT devices.
  • Surgical staff decides when to start recording the surgical images that will be used as surgical records, as well as the recording time.
  • Surgical staff here includes surgeons, assistants, nurses, clinical engineers, and the like.
  • the plurality of input sources include the device group 101 described above, the ceiling camera 187, the surgical field camera 189, an MRI device and a CT device for capturing MRI images and CT images before surgery, and the like.
  • Automatic recording here includes pre-recording, in which recording of an image starts a predetermined time (for example, 30 seconds) before an instruction to start recording, and trigger recording, in which recording is started with the recognition result of image recognition for an image as a trigger.
  • pre-recording in which recording of an image starts a predetermined time (for example, 30 seconds) before an instruction to start recording
  • trigger recording in which recording is started with the recognition result of image recognition for an image as a trigger.
  • automatic recording may be trigger recording triggered by an input from an electronic medical device or trigger recording triggered by an input from a device outside the operating room system 100 .
  • An input from a device outside the operating room system 100 is, for example, a signal transmitted from the integrated system to the operating room system 100 in accordance with a surgical operation start setting for the integrated system by the surgical staff.
  • FIG. 2 is a block diagram showing a functional configuration example of an operating room system 100 that realizes setting as to whether or not to automatically record images for each of a plurality of input sources provided in the operating room.
  • symbol shall be attached
  • each of the plurality of input sources 211 is connected to the IP switch 109 via the IP converter 115.
  • a plurality of input sources 211 correspond to devices that input images to the IP switch 109, such as the device group 101, the ceiling camera 187, and the surgical field camera 189 in FIG.
  • An image input from the input source 211 to the IP switch 109 is recorded in the recording unit 231 under the control of the operating room server 107 .
  • the recording unit 231 may be a recording device such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) built into the operating room server 107, or may be a recording device connected to the operating room server 107 via a driver. It may be a medium.
  • the recording unit 231 may be a recording device provided outside the operating room and connected to the operating room server 107 via the hospital network, a cloud server outside the hospital, or the like.
  • the operating room server 107 controls recording of images input from the input source 211 to the IP switch 109 in the recording unit 231, and sets whether or not to automatically record images for each input source 211.
  • the operating room server 107 is configured to include a setting reception unit 251 , an automatic recording setting unit 252 and a recording control unit 253 .
  • the setting reception unit 251 receives a setting as to whether or not to execute automatic recording (ON/OFF of automatic recording) for each input source 211 based on the operation of the surgical staff on the setting screen described later. Acceptance information indicating the accepted setting contents is supplied to the automatic recording setting unit 252 .
  • the automatic recording setting unit 252 sets ON/OFF of automatic recording for each input source 211 based on the reception information from the setting reception unit 251 .
  • Setting information indicating ON/OFF of the set automatic recording is supplied to the recording control unit 253 .
  • the automatic recording setting unit 252 may set the automatic recording method for each input source 211 in addition to setting ON/OFF of automatic recording for each input source 211 .
  • the automatic recording setting unit 252 selects, for each input source 211, which of pre-recording, trigger recording triggered by the result of image recognition, and trigger recording triggered by an input from an electronic medical device is performed as automatic recording. can be set to
  • the recording control unit 253 controls recording for each input source 211 based on setting information from the automatic recording setting unit 252 . Specifically, the above-described automatic recording is started for the input source 211 for which automatic recording is set to ON. For the input source 211 for which automatic recording is set to OFF, automatic recording is not started, and manual recording (recording instruction by the surgical staff) is awaited. For the input source 211 for which automatic recording is set to OFF, recording may be performed all the time instead of waiting for manual recording.
  • An image for each input source 211 is recorded in the operating room server 107 (recording unit 231) connected to each input source 211 via the IP converter 115. This enables large-capacity recording.
  • an image for each input source 211 may be recorded in each IP converter 115 connected to each input source 211 .
  • the automatic recording setting unit 252 sets automatic recording ON/OFF for the IP converters 115 corresponding to the respective input sources 211 .
  • FIG. 3 is a diagram showing an example of a setting screen operated by the surgical staff when accepting ON/OFF setting of automatic recording.
  • the setting screen 300 in FIG. 3 is displayed on the centralized operation panel 111, for example.
  • the setting screen 300 is provided with a setting area 310 for receiving image display and recording settings for each input source 211 .
  • a setting area 310 for receiving image display and recording settings for each input source 211 .
  • four setting areas 310 are shown corresponding to four input sources 211 .
  • the image display section 321 is an area where an image input from the input source 211 is displayed in real time.
  • the recording button 322 is a button operated to start/end recording of an image (moving image) displayed on the image display section 321 .
  • the shutter button 323 is a button operated to record the image displayed on the image display section 321 as a still image.
  • switch buttons 341, 342, and 343 are provided for switching the monitor to which the image displayed on the image display section 321 is to be output.
  • Three monitors 1, 2, and 3 are associated with the switch buttons 341, 342, and 343.
  • the switch button 341 is selected, the image displayed on the image display unit 321 is displayed on the monitor 1.
  • output to The number of switch buttons may vary depending on the number of monitors provided in the operating room system 100.
  • a recording button 350 and an automatic recording setting button 360 are provided in the upper left portion of the setting screen 300 .
  • the record button 350 is a button operated to start/end recording of voice in the operating room.
  • the automatic recording setting button 360 is a button operated to set the operating room system 100 to an automatic recording setting mode for setting ON/OFF of automatic recording for each input source 211 .
  • settings for setting automatic recording ON/OFF for the corresponding input source 211 are provided in respective predetermined areas of the setting area 310 .
  • a button appears.
  • a user surgical staff can set ON/OFF of automatic recording for each input source 211 by operating a setting button in each setting area 310 .
  • step S11 the setting accepting unit 251 determines whether or not the setting of automatic recording for the input source 211 corresponding to the setting area 310 has been accepted, depending on whether or not the setting button displayed in the setting area 310 has been operated. judge.
  • step S11 If it is determined in step S11 that the automatic recording setting has been accepted, the process proceeds to step S12, and the automatic recording setting unit 252 turns on automatic recording for the input source 211 corresponding to the setting area 310 whose setting button has been operated. set.
  • step S11 determines that the automatic recording setting has not been accepted
  • the process advances to step S13, and the automatic recording setting unit 252 selects the automatic recording for the input source 211 corresponding to the setting area 310 whose setting button has been operated. to OFF.
  • step S31 the setting reception unit 251 receives automatic recording settings for each input source 211 by setting the operating room system 100 to the automatic recording setting mode.
  • step S32 the automatic recording setting unit 252 determines whether or not one of the plurality of input sources 211 is an input source for which automatic recording is set.
  • the automatic recording setting unit 252 determines whether or not it is an input source for which automatic recording is set. For example, the automatic recording setting unit 252 acquires the medical device information of the input source 211, and determines whether the input source is for setting automatic recording according to a table preset based on the type of electronic medical device. do.
  • the medical device information may be obtained from the metadata of the image of the input source 211, or may be obtained as DICOM (Digital Imaging and Communications in Medicine) information.
  • the medical device information may be connection information acquired by the IP converter 115 connected to the input source 211 .
  • the automatic recording setting unit 252 may determine whether or not the input source is an input source for which automatic recording is set, based on preset information in which ON/OFF of automatic recording is set in advance.
  • the preset information is information in which ON/OFF of automatic recording is set for each IP converter 115 to which the input source 211 is connected. That is, ON/OFF of automatic recording of the input source 211 is set according to the IP converter 115 to which the input source 211 is connected.
  • a plurality of preset information may be stored in the operating room server 107, and ON/OFF of automatic recording may be set for each input source 211 based on the preset information selected by the user (surgical staff).
  • the preset information may be associated with the surgical technique, or may be information set by the user. Furthermore, recommended preset information may be presented to the user by recognizing the type of individual electronic medical device.
  • step S32 If it is determined in step S32 that the input source 211 is an input source for which automatic recording is set based on the type of input source 211 and the preset information, the process proceeds to step S33.
  • step S ⁇ b>33 the automatic recording setting unit 252 sets automatic recording to ON for the input source 211 .
  • step S32 determines whether the input source 211 is an input source for which automatic recording is set based on the type of input source 211 and the preset information. If it is determined in step S32 that the input source 211 is not an input source for which automatic recording is set based on the type of input source 211 and the preset information, the process proceeds to step S34. In step S ⁇ b>34 , the automatic recording setting unit 252 sets automatic recording to OFF for the input source 211 .
  • step S33 or step S34 the process proceeds to step S35, and the automatic recording setting unit 252 determines whether or not ON/OFF of automatic recording has been set for all input sources 211.
  • step S32 If it is determined that ON/OFF of automatic recording has not been set for all input sources 211, the process returns to step S32, and the subsequent processes are repeated. On the other hand, if it is determined that ON/OFF of automatic recording has been set for all input sources 211, a series of processing ends.
  • automatic recording is turned ON/OFF so that when automatic recording is started for one input source 211, automatic recording is also started for related input sources 211 in conjunction.
  • the flow of automatic recording setting processing to be set will be described.
  • the process of FIG. 6 is executed for each input source 211 while the operating room system 100 is set to the automatic recording setting mode, similarly to the process of FIG.
  • step S51 the setting reception unit 251 determines whether or not the automatic recording setting for the input source 211 corresponding to the setting area 310 has been received, depending on whether or not the setting button displayed in the setting area 310 has been operated. judge.
  • step S51 If it is determined in step S51 that the automatic recording setting has been accepted, the process proceeds to step S52, and the automatic recording setting unit 252 turns on automatic recording for the input source 211 corresponding to the setting area 310 whose setting button has been operated. set.
  • step S53 the setting reception unit 251 starts automatic recording at the same time as the input source 211 for which automatic recording is set to ON, depending on, for example, whether a GUI (not shown) displayed on the setting screen 300 is operated. It determines whether or not the setting or selection of the input source to be used has been received.
  • the input sources for which the setting/selection for starting automatic recording at the same time is accepted may be separately limited to the input sources 211 for which the automatic recording is already set to ON, or the input sources 211 for which the automatic recording is already set to OFF.
  • An input source 211 may be included.
  • step S53 If it is determined in step S53 that the setting/selection of the input source for starting automatic recording has been received at the same time, the process proceeds to step S54.
  • step S54 the automatic recording setting unit 252 sets automatic recording ON for the input source 211 for which the setting or selection for starting automatic recording is received at the same time.
  • step S54 If it is determined in step S53 that the setting/selection of the input source for starting automatic recording has not been received at the same time, step S54 is skipped.
  • step S51 determines whether the setting for automatic recording has been accepted. If it is determined in step S51 that the setting for automatic recording has not been accepted, the process proceeds to step S55, and the automatic recording setting unit 252 selects the automatic recording for the input source 211 corresponding to the setting area 310 whose setting button has been operated. to OFF.
  • ON/OFF of automatic recording is set so that when automatic recording is started for one input source 211, automatic recording is started in conjunction with related input sources 211. can be done.
  • pre-recording is started for an endoscope by a predetermined trigger
  • pre-recording is started for other related input sources in conjunction.
  • step S111 the recording control unit 253, for example, based on the setting information indicating ON/OFF of automatic recording for each input source 211, which is set by the automatic recording setting unit 252, selects an input for which automatic recording is set to ON. Determine whether it is the source.
  • step S111 If it is determined in step S111 that the input source has automatic recording set to ON, the process proceeds to step S112, and the recording control unit 253 starts recording the image of the input source 211 in the buffer.
  • 30-second frames of the input source 211 are always recorded in the ROM (Read Only Memory) provided in the operating room server 107 or in the buffer area of the recording unit 231 .
  • frames for 30 seconds may be constantly recorded by repeating recording and deletion in units of frames, or a group of recorded frames may be replaced every 30 seconds.
  • step S113 the recording control unit 253 determines whether or not a recording start instruction has been input for the input source 211. Step S113 is repeated until a recording start instruction is input.
  • the recording start instruction here may be triggered by an operation such as pressing a button by the user, or by the arrival of a timing set in advance by the user. Further, the recording start instruction may be triggered by the recognition result of image recognition for the image of the input source 211, or may be triggered by an input from the electronic medical device. For example, recognition of insertion of the endoscope into the patient's body by image recognition may be used as the recording start instruction, or detection of power ON of the electric scalpel may be used as the recording start instruction. Furthermore, the recording start instruction may be triggered by the user's uttered voice.
  • step S113 If it is determined in step S113 that a recording start instruction has been input for the input source 211, the recording control unit 253 starts pre-recording the image of the input source 211 in step S114. As a result, the image of the input source 211 can be recorded from, for example, 30 seconds before the recording start instruction.
  • step S111 if it is determined in step S111 that the input source does not have automatic recording set to ON, the process ends. That is, since the input source 211 is an input source for which automatic recording is set to OFF, for example, it is in a state of waiting for manual recording.
  • the details of pre-recording may be set by the automatic recording setting unit 252 according to the user's operation on the setting screen 300 or the like.
  • the frame rate of the image recorded in the buffer and the buffer recording time (eg, 30 seconds described above) may be set according to the image quality (resolution) of the image of the input source 211 .
  • the buffer recording time is set to 30 seconds when the image of the input source 211 is a 4K image, or 60 seconds when the image of the input source 211 is an HD image.
  • it may be set according to the user's operation whether the frame rate or the buffer recording time should be emphasized in recording the frames in the buffer.
  • the buffer recording time may be changed depending on whether the image for each input source 211 is recorded in the operating room server 107 (recording unit 231) or stored in each of the corresponding IP converters 115. For example, when the image of the input source 211 is recorded in the corresponding IP converter 115, while the buffer recording time is set to 30 seconds, the image is recorded in the operating room server 107 (recording unit 231) capable of large-capacity recording. If so, the buffer recording time may be set to 60 seconds.
  • step S ⁇ b>131 the recording control unit 253 selects an input source for which automatic recording is set to ON based on setting information indicating ON/OFF of automatic recording for each input source 211 set by the automatic recording setting unit 252 . Determine whether or not there is
  • step S131 If it is determined in step S131 that the input source has automatic recording set to ON, the process advances to step S132, and the recording control unit 253 starts image recognition for the image of the input source 211 in question.
  • step S133 the recording control unit 253 determines whether or not a recognition result that triggers the start of recording has been obtained for the input source 211 concerned. Step S133 is repeated until a recognition result that triggers the start of recording is obtained.
  • the recognition result that triggers the start of recording may be the insertion of the endoscope into the patient's body, the entry of the surgical staff into the operating room, or the operation. It may be a specific action of the staff.
  • image recognitions are performed, for example, by machine learning models using neural networks.
  • step S133 If it is determined in step S133 that the recognition result that triggers the start of recording has been obtained for the input source 211, the recording control unit 253 starts recording the image of the input source 211 in step S134.
  • step S131 if it is determined in step S131 that the input source does not have automatic recording set to ON, the process ends. That is, since the input source 211 is an input source for which automatic recording is set to OFF, for example, it is in a state of waiting for manual recording.
  • step S ⁇ b>151 the recording control unit 253 selects input sources for which automatic recording is set to ON based on setting information indicating ON/OFF of automatic recording for each input source 211 set by the automatic recording setting unit 252 . Determine whether or not there is
  • step S151 If it is determined in step S151 that the input source is one for which automatic recording is set to ON, the process advances to step S152, and the recording control unit 253 determines that the input source 211 receives an input from the electronic medical device that triggers the start of recording. Determines whether an input has been obtained. Step S152 is repeated until an input is obtained from the electronic medical device that triggers the start of recording.
  • the input from the electronic medical device that triggers the start of recording is, for example, the power ON/OFF of the electric surgical knife, the opening and closing of the door in the operating room (entry of the surgical staff), and the wireless communication by RFID from the electronic medical device. .
  • step S152 If it is determined in step S152 that an input from the electronic medical device that triggers the start of recording has been obtained for the input source 211, the recording control unit 253 stops recording the image of the input source 211 in step S153. Start.
  • step S151 if it is determined in step S151 that the input source does not have automatic recording set to ON, the process ends. That is, since the input source 211 is an input source for which automatic recording is set to OFF, for example, it is in a state of waiting for manual recording.
  • pre-recording may be started using an instruction from another site outside the operating room via the network as a recording start instruction. For example, even with the input source 211 for which automatic recording is set to ON, if a sudden event occurs, the surgical staff will be busy dealing with the event and press the button to start recording within 30 seconds. You may not be able to press it. Therefore, the staff in the operation monitor room outside the operating room may be able to input a recording start instruction when they notice that an unexpected event has occurred.
  • the automatic recording setting unit 252 may set whether or not to automatically record the image of each input source 211 according to the purpose of the recorded image. For example, the image of the surgical field camera 189 is always recorded as evidence in court when a medical accident occurs, and the automatic recording of the image of the other input source 211 is turned ON for report creation, patient explanation, and procedure propagation. , each image can be recorded with the optimum recording capacity.
  • a black-boxing function may be applied to images recorded for use as evidence in court, making it impossible for anyone other than the administrator to edit the images. For example, when a surgery start button that is displayed on the centralized operation panel 111 and is operated when surgery is started is pressed, image recording by the black box function is started.
  • the centralized operation panel 111 can display an integrated screen in which images from a plurality of input sources 211 in the operating room system 100 are integrated.
  • the automatic recording of the entire integrated screen is executed, or Whether to perform automatic recording may be set.
  • the operating room system 100 acquires information of each input source 211 inputting the image displayed on the integrated screen, and based on the information, , determine which input source 211 to set automatic recording to ON, and start automatic recording.
  • the integrated screen as shown in FIG. 10 may be displayed in the operation monitor room outside the operating room as described above.
  • a playback area 510 , a playback target selection area 520 , a timeline 530 , and an operation button group 540 are provided on the preview screen 500 .
  • the reproduction area 510 is an area for reproducing images and sounds selected in the reproduction target selection area 520 .
  • selection buttons 521 to 524 including thumbnails and icons representing images and sounds recorded in the operating room system 100 are displayed in the reproduction target selection area 520 .
  • the selection button 521 corresponds to the voice recorded in the operating room system 100.
  • the selection button 521 displays an icon representing audio, as well as the playback time and recording start time of the audio.
  • the selection button 522 corresponds to the image captured by the surgical field camera 189 recorded in the operating room system 100 .
  • the selection button 522 displays the playback time and recording start time of the image in addition to the thumbnail of the image. In the example of FIG. 11, the selection button 522 is selected, and in the playback area 510, an image of the entire operating room captured by the operating field camera 189 is played back.
  • the selection button 523 corresponds to a still image captured by an endoscope, which is one of the device group 101 and recorded in the operating room system 100 .
  • the recording time (capturing time) of the still image is displayed on the selection button 523 .
  • Selection button 524 corresponds to the patient's vital signs recorded in operating room system 100 during surgery. Selection button 524 displays a thumbnail of the vital sign and the recording start time of the vital sign.
  • a timeline 530 provided below the playback area 510 represents the total playback time of the images and sounds being played back in the playback area 510, and a pointer is displayed at the location corresponding to the playback position.
  • the operation button group 540 can be used to stop or pause playback, fast-forward or fast-rewind, double-speed playback, etc., for the image or sound being played back in the playback area 510, mute the audio, enlarge or reduce the image, freeze the image, and so on. It consists of buttons for accepting various operations such as image capture.
  • an image recorded by automatic recording can also be selected in the reproduction target selection area 520.
  • the selection button displayed in the reproduction target selection area 520 displays, as a thumbnail, a still image at the timing when a recording start instruction (an operation such as pressing a button) is input during pre-recording, for example. .
  • a recording start instruction an operation such as pressing a button
  • a doctor can select an image to be reproduced based on a memory such as "this kind of image should have been recorded”.
  • the timeline 530 is displayed so that the section of the image recorded in the buffer during pre-recording, for example, for 30 seconds, and the section of the image recorded after the recording start instruction is input can be distinguished. may This allows the doctor to grasp at a glance the timing at which he or she started recording.
  • images recorded by automatic recording may include images that the user does not remember. Therefore, it is preferable that the thumbnails of the selection buttons displayed in the reproduction target selection area 520 are displayed so that images recorded by automatic recording can be distinguished from images recorded manually.
  • the recording capacity per surgery can be reduced.
  • a predetermined threshold may be set for the recording capacity in automatic recording, and recording of images by automatic recording may be stopped when the recording capacity exceeds the threshold. Accordingly, an image can be recorded with an appropriate recording capacity according to the capacity of the recording unit 231 or the like.
  • importance may be assigned to images recorded by automatic recording, and images with low importance may be preferentially deleted.
  • images with low importance may be preferentially deleted.
  • an image with a lower importance is set to have a shorter retention period, and is deleted after the retention period has passed. It may be deleted.
  • the image that is the output result of the medical imaging apparatus is IP-converted using an external IP converter.
  • multiple input sources may be provided in multiple operating rooms.
  • multiple input sources may be provided in ICUs, hospital wards, nursing homes, etc., instead of operating rooms.
  • the input source is, for example, a video source that outputs information about the patient. As a result, patient records and care records can be kept appropriately.
  • FIG. 12 is a block diagram showing an example hardware configuration of a computer that executes the series of processes described above by a program.
  • the operating room server 107 to which the technology according to the present disclosure can be applied is implemented by a computer having the configuration shown in FIG.
  • a CPU 1001 , a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are interconnected by a bus 1004 .
  • An input/output interface 1005 is further connected to the bus 1004 .
  • the input/output interface 1005 is connected to an input unit 1006 such as a keyboard and a mouse, and an output unit 1007 such as a display and a speaker.
  • the input/output interface 1005 is also connected to a storage unit 1008 including a hard disk and nonvolatile memory, a communication unit 1009 including a network interface, and a drive 1010 for driving a removable medium 1011 .
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004 and executes the above-described series of processes. is done.
  • Programs executed by the CPU 1001 are recorded on the removable media 1011, or provided via wired or wireless transmission media such as local area networks, the Internet, and digital broadcasting, and installed in the storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • An operating room system comprising: a setting unit for setting whether or not to automatically record an image for each of a plurality of image input sources provided in an operating room.
  • the automatic recording includes pre-recording in which recording of the image is started a predetermined time before an instruction to start recording.
  • the recording start instruction is triggered by at least one of a user's operation or setting, a recognition result of image recognition for the image, and an input from an electronic medical device.
  • the recording start instruction is an instruction from outside the operating room.
  • the operating room system according to (2), wherein the setting unit further sets the predetermined time.
  • the automatic recording includes trigger recording for starting recording with a recognition result of image recognition for the image as a trigger.
  • the image recognition is performed by a machine learning model.
  • the automatic recording includes trigger recording in which recording is started with an input from an electronic medical device as a trigger.
  • the input from the electronic medical device includes at least one of power ON/OFF, opening/closing of a door in the operating room, and wireless communication using RFID (Radio Frequency Identifier).
  • the setting unit sets whether or not to execute the automatic recording of the image for each of the input sources according to the use of the image to be recorded.
  • a display unit displaying an integrated screen in which the plurality of images from the plurality of input sources are integrated;
  • the input source includes a medical imaging device.
  • operating room system An image recording method for setting whether or not to automatically record the image for each of a plurality of image input sources provided in an operating room.
  • 20) to the computer A program for executing processing for setting whether or not to automatically record an image for each of a plurality of image input sources provided in an operating room.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、適切に記録を残すことができるようにする手術室システム、画像記録方法、プログラム、および医療情報処理システムに関する。 設定部は、手術室に設けられる、画像を入力する複数の入力ソース毎に、画像の自動記録を実行するか否かを設定する。本開示は、手術室システムに適用することができる。

Description

手術室システム、画像記録方法、プログラム、および医療情報処理システム
　本開示は、手術室システム、画像記録方法、プログラム、および医療情報処理システムに関し、特に、適切に記録を残すことができる手術室システム、画像記録方法、プログラム、および医療情報処理システムに関する。
　手術室やＩＣＵ（Intensive Care Unit）には、各種の医療機器をはじめ、ＭＲＩ（Magnetic Resonance Imaging）装置やＣＴ（Computed Tomography）装置、超音波装置など、画像を入力する複数の入力ソースが設けられる。
　近年、これらの入力ソースを統合して制御、画像表示する手術室システムによる手術の効率化が進められている。このような手術室システムには、画像記録の機能も求められる。
　例えば、特許文献１には、手術室の手術用ルーペにより取り込んだ画像を、外部装置に送信して記録するシステムが開示されている。
特開２０１４－１０４３６５号公報
　通常、手術記録となる手術画像の記録開始タイミングや記録時間などは、手術スタッフにより決められている。しかしながら、術中、手術スタッフは作業に追われるため、適切なタイミングで記録できないことがある。一方で、手術画像を最初から最後まで記録すると、記録容量が膨大になるおそれがある。これらは、手術室に限らず、医療や介護の現場においても同様に生じるおそれがある。
　本開示は、このような状況に鑑みてなされたものであり、適切に記録を残すことができるものである。
　本開示の第１の側面の手術室システムは、手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する設定部を備える手術室システムである。
　本開示の第１の側面の画像記録方法は、手術室システムが、手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する画像記録方法である。
　本開示の第１の側面のプログラムは、コンピュータに、手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する処理を実行させるためのプログラムである。
　本開示の第２の側面の医療情報処理システムは、患者に関する情報を出力する複数の映像ソース毎に、前記情報の自動記録を実行するか否かを設定する設定部を備える医療情報処理システムである。
　本開示の第１の側面においては、手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かが設定される。
　本開示の第２の側面においては、患者に関する情報を出力する複数の映像ソース毎に、前記情報の自動記録を実行するか否かが設定される。
本開示に係る技術を適用し得る手術室システムの概要を示す図である。 手術室システムの機能構成例を示すブロック図である。 設定画面の例を示す図である。 自動記録設定処理の流れについて説明するフローチャートである。 自動記録設定処理の流れについて説明するフローチャートである。 自動記録設定処理の流れについて説明するフローチャートである。 入力ソース毎の記録処理の流れについて説明するフローチャートである。 入力ソース毎の記録処理の流れについて説明するフローチャートである。 入力ソース毎の記録処理の流れについて説明するフローチャートである。 統合画面の例を示す図である。 プレビュー画面の例を示す図である。 コンピュータの構成例を示す図である。
　以下、本開示を実施するための形態（以下、実施形態という）について説明する。なお、説明は以下の順序で行う。
　１．手術室システムの概要
　２．技術背景と手術室システムの機能構成例
　３．自動記録設定処理
　４．入力ソース毎の記録処理
　５．その他の自動記録機能
　６．変形例
　７．コンピュータの構成例
＜１．手術室システムの概要＞
　図１は、本開示に係る技術を適用し得る手術室システム１００の概要を示す図である。
　図１に示される手術室システム１００においては、手術室内に設置される装置群が、手術室サーバ１０７とＩＰスイッチ（ＳＷ）１０９を介して互いに連携可能に接続される。手術室システム１００は、４Ｋ／８Ｋ画像を送受信可能なＩＰ（Internet Protocol）ネットワークで構成され、入出力画像と各機器に対する制御情報がＩＰネットワークを経由して送受信される。
　手術室には、様々な装置が設置され得る。
　図１の例では、内視鏡下手術のための各種の装置群１０１、術者の手元を撮像するシーリングカメラ１８７、手術室全体の様子を撮像する術場カメラ１８９、複数の表示装置１０３Ａ乃至１０３Ｄ、患者ベッド１８３、および照明１９１が示されている。シーリングカメラ１８７と術場カメラ１８９は、ともに手術室の天井に設けられる。装置群１０１には、図示されている内視鏡の他、マスタスレーブ型内視鏡下手術用ロボットやＸ線撮影装置など、画像を取得する種々の医療用機器が適用されてよい。
　表示装置１０３Ａ乃至１０３Ｃ、装置群１０１、シーリングカメラ１８７、および術場カメラ１８９と、ＩＰ ＳＷ１０９とは、それぞれＩＰコンバータ１１５Ａ乃至１１５Ｆを介して接続される。以下、ＩＰコンバータ１１５Ａ乃至１１５Ｆなどを互いに区別しない場合、単にＩＰコンバータ１１５という。
　画像を入力する入力ソース側（カメラ側）のＩＰコンバータ１１５Ｄ，１１５Ｅ，１１５Ｆは、個々の医療撮像装置（内視鏡、手術用顕微鏡、Ｘ線撮像装置、術場カメラ、病理画像撮像装置など）からの画像をＩＰ変換し、ネットワーク上に送信する。画像を出力する画像出力側（モニタ側）のＩＰコンバータ１１５Ａ乃至１１５Ｃは、ネットワーク経由で送信された画像をモニタ固有のフォーマットに変換して出力する。入力ソース側のＩＰコンバータ１１５はエンコーダとして機能し、画像出力側のＩＰコンバータ１１５はデコーダとして機能する。入力ソースは、例えば映像ソースを含む。
　ＩＰコンバータ１１５は、各種の画像処理機能を備えることができる。例えば、ＩＰコンバータ１１５は、出力先に応じた解像度変換処理、内視鏡画像の回転補正や手振れ補正、オブジェクト認識処理などを実行する機能を備えることができる。
　これらの画像処理機能は、接続される医療画像装置固有のものであってもよいし、外部からアップグレード可能なものであってもよい。画像出力側（モニタ側）のＩＰコンバータ１１５は、複数の画像の合成（ＰｉｎＰ処理など）やアノテーション情報の重畳などの処理を行うことも可能である。
　ＩＰコンバータ１１５のプロトコル変換機能は、受信した信号を、例えばインターネットなどのネットワーク上で通信可能な通信プロトコルに準拠した変換信号に変換する機能である。その通信プロトコルには、任意の通信プロトコルが設定されてもよい。また、ＩＰコンバータ１１５が受信したプロトコル変換可能な信号はデジタル信号であり、例えば画像信号や画素信号である。ＩＰコンバータ１１５は、入力ソース側の装置の内部や、画像出力側の装置の内部に組み込まれてもよい。
　装置群１０１は、例えば、内視鏡手術システムに属するものであり、内視鏡やその内視鏡によって撮像された画像を表示する表示装置などからなる。一方、表示装置１０３Ａ乃至１０３Ｄ、患者ベッド１８３、および照明１９１は、内視鏡手術システムとは別個に、手術室に備え付けられている装置である。これらの手術または診断に用いられる各機器は、医療用機器とも呼ばれる。手術室サーバ１０７および／またはＩＰ ＳＷ１０９は、これらの医療用機器の動作を連携して制御する。また、手術室内に手術ロボット（手術用マスタスレーブ）システム、Ｘ線撮影装置などの医療画像取得装置を含む場合には、それらの機器も装置群１０１として接続され得る。
　手術室サーバ１０７は、医療用機器における画像表示に関する処理を、統括的に制御する。
　ここで、手術室システム１００が備える装置のうち、装置群１０１、シーリングカメラ１８７、および術場カメラ１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置ともいう）であり得る。また、表示装置１０３Ａ乃至１０３Ｄは、表示情報が出力される装置（以下、出力先の装置ともいう）であり得る。
　手術室サーバ１０７は、発信元の装置と出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、その表示情報を出力先の装置に送信し、表示または記録させる機能を有する。表示情報は、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報）などを含む。
　具体的には、手術室サーバ１０７には、装置群１０１からの表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、手術室サーバ１０７には、シーリングカメラ１８７からの表示情報として、そのシーリングカメラ１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、手術室サーバ１０７には、術場カメラ１８９からの表示情報として、その術場カメラ１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。手術室システム１００に撮像機能を有する他の装置が存在する場合には、手術室サーバ１０７は、表示情報として、それら他の装置からも、それら他の装置によって撮像された画像についての情報を取得してもよい。
　手術室サーバ１０７は、出力先の装置である表示装置１０３Ａ乃至１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図１の例では、表示装置１０３Ａは、手術室の天井から吊り下げられて設置される表示装置であり、表示装置１０３Ｂは、手術室の壁面に設置される表示装置である。表示装置１０３Ｃは、手術室内の机上に設置される表示装置であり、表示装置１０３Ｄは、表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer）やスマートフォン）である。
　ＩＰ ＳＷ１０９は、接続された機器に対する画像信号の入出力を制御する入出力コントローラの１つとして構成される。例えば、ＩＰ ＳＷ１０９は、手術室サーバ１０７の制御に基づいて、画像信号の入出力を制御する。ＩＰ ＳＷ１０９は、ＩＰネットワーク上に配置された機器間における画像信号の高速な転送を制御する。
　手術室システム１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタなどであり得る。このような外部装置が病院外にある場合には、手術室サーバ１０７は、遠隔医療のために、テレビ会議システムなどを介して、他の病院の表示装置に表示情報を表示させることもできる。
　外部サーバ１１３は、例えば手術室外の院内サーバやクラウドサーバであり、画像解析やデータ解析などに用いられるものであってよい。この場合、手術室内の画像情報が外部サーバ１１３に送信され、外部サーバ１１３によるビッグデータ解析やＡＩ（機械学習）を用いた認識・解析処理によって付加情報が生成され、手術室内の表示装置にフィードバックされてもよい。このとき、手術室内のＩＰ ＳＷ１０９に接続されたＩＰコンバータ１１５Ｈが、外部サーバ１１３にデータを送信し、画像を解析する。送信されるデータは、内視鏡などの手術画像そのものや、画像から抽出されたメタデータ、接続される機器の稼働状況を示すデータなどであってもよい。
　手術室システム１００には、集中操作パネル１１１が設けられる。ユーザは、集中操作パネル１１１を介して、手術室サーバ１０７に対して、ＩＰ ＳＷ１０９の入出力制御についての指示や、接続された機器の動作についての指示を与えることができる。また、ユーザは、集中操作パネル１１１を介して画像表示の切替を行うことができる。集中操作パネル１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。集中操作パネル１１１とＩＰ ＳＷ１０９とは、ＩＰコンバータ１１５Ｊを介して接続される。
　手術室システム１００において、ＩＰネットワークは、有線ネットワークで構成されてもよいし、そのＩＰネットワークの一部または全てが無線ネットワークで構築されてもよい。例えば、無線通信機能を有する入力ソース側のＩＰコンバータ１１５が、受信した画像を第５世代移動通信システム（５Ｇ）や第６世代移動通信システム（６Ｇ）などの無線通信ネットワークを介して、画像出力側のＩＰコンバータ１１５に送信してもよい。
＜２．技術背景と手術室システムの機能構成例＞
（本開示に係る技術の背景）
　上述したように、手術室には、各種の医療機器をはじめ、ＭＲＩ装置やＣＴ装置など、画像を入力する（画像を生成して他の装置に供給する）複数の入力ソースが設けられる。
　近年、これらの入力ソースを統合して制御、画像表示する手術室システムによる手術の効率化が進められている。このような手術室システムには、画像記録の機能も求められる。
　通常、手術記録となる手術画像の記録開始タイミングや記録時間などは、手術スタッフにより決められている。ここでの手術スタッフは、執刀医、助手、看護師、臨床工学技士などを含む。
　しかしながら、術中、手術スタッフは作業に追われるため、適切なタイミングで記録できないことがある。また、出血などの突発的なイベントに対しては、そのイベントが起きた後に記録を開始したところで、所望の手術画像は記録できない。一方で、手術画像を最初から最後まで記録すると、記録容量が膨大になるおそれがある。
　そこで、本開示に係る技術を適用した手術室システム１００においては、複数の入力ソースに対して、入力ソース毎に画像の自動記録を実行するか否かが設定されるようにする。複数の入力ソースには、上述した装置群１０１、シーリングカメラ１８７、術場カメラ１８９、手術前にＭＲＩ画像やＣＴ画像を撮像するＭＲＩ装置やＣＴ装置などが含まれる。
　ここでいう自動記録は、記録開始指示の所定時間前（例えば３０秒前）から画像の記録を開始するプリレコーディングや、画像に対する画像認識の認識結果をトリガとして記録を開始するトリガ記録を含む。
　また、自動記録は、電子医療機器からの入力をトリガとしたトリガ記録や、手術室システム１００外部の装置からの入力をトリガとしたトリガ記録であってもよい。手術室システム１００外部の装置からの入力は、例えば、手術スタッフによる統合システムに対する手術開始の設定に伴い、統合システムから手術室システム１００に送信される信号などとされる。
（手術室システムの機能構成例）
　図２は、手術室に設けられる複数の入力ソース毎に画像の自動記録を実行するか否かの設定を実現する手術室システム１００の機能構成例を示すブロック図である。なお、図２において、図１と同じ構成に対しては、同一の符号を付すものとする。
　図２の手術室システム１００においては、複数の入力ソース２１１それぞれが、ＩＰコンバータ１１５を介してＩＰスイッチ１０９に接続されている。複数の入力ソース２１１は、図１の装置群１０１、シーリングカメラ１８７、術場カメラ１８９の他、ＭＲＩ装置やＣＴ装置など、ＩＰスイッチ１０９に画像を入力する機器に対応する。
　入力ソース２１１からＩＰスイッチ１０９に入力された画像は、手術室サーバ１０７の制御の下、記録部２３１に記録される。
　記録部２３１は、手術室サーバ１０７に内蔵されるＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記録装置であってもよいし、ドライバを介して手術室サーバ１０７に接続される記録媒体であってもよい。また、記録部２３１は、手術室の外部に設けられ、院内ネットワークを介して手術室サーバ１０７に接続される記録装置や、病院外のクラウドサーバなどであってもよい。
　手術室サーバ１０７は、入力ソース２１１からＩＰスイッチ１０９に入力された画像の記録部２３１への記録を制御するとともに、入力ソース２１１毎に画像の自動記録を実行するか否かを設定する。
　手術室サーバ１０７は、設定受付部２５１、自動記録設定部２５２、および記録制御部２５３を含むように構成される。
　設定受付部２５１は、後述する設定画面に対する手術スタッフの操作に基づいて、入力ソース２１１毎に自動記録を実行するか否か（自動記録のＯＮ／ＯＦＦ）の設定を受け付ける。受け付けられた設定内容を示す受付情報は、自動記録設定部２５２に供給される。
　自動記録設定部２５２は、設定受付部２５１からの受付情報に基づいて、入力ソース２１１毎に自動記録のＯＮ／ＯＦＦを設定する。設定された自動記録のＯＮ／ＯＦＦを示す設定情報は、記録制御部２５３に供給される。
　また、自動記録設定部２５２は、入力ソース２１１毎に自動記録のＯＮ／ＯＦＦを設定する以外にも、入力ソース２１１毎に、自動記録の方式を設定してもよい。例えば、自動記録設定部２５２は、自動記録として、プリレコーディング、画像認識の認識結果をトリガしたトリガ記録、電子医療機器からの入力をトリガとしたトリガ記録のいずれを行うかを、入力ソース２１１毎に設定してもよい。
　記録制御部２５３は、自動記録設定部２５２からの設定情報に基づいて、入力ソース２１１毎の記録を制御する。具体的には、自動記録がＯＮに設定された入力ソース２１１については、上述した自動記録を開始させる。また、自動記録がＯＦＦに設定された入力ソース２１１については、自動記録を開始させず、手動（手術スタッフの記録指示）による記録を待ち受ける状態にさせる。自動記録がＯＦＦに設定された入力ソース２１１については、手動による記録を待ち受ける状態にさせるのではなく、常時記録させるようにしてもよい。
　入力ソース２１１毎の画像は、ＩＰコンバータ１１５を介して入力ソース２１１それぞれに接続される手術室サーバ１０７（記録部２３１）に記録される。これにより、大容量の記録が可能となる。
　これに限らず、入力ソース２１１毎の画像は、入力ソース２１１それぞれに接続されるＩＰコンバータ１１５それぞれに記録されてもよい。これにより、手術室システム１００において何らかのシステム障害が発生した場合であっても、ＩＰコンバータ１１５それぞれが動作していれば、記録の継続が可能となる。この場合、自動記録設定部２５２は、入力ソース２１１それぞれに対応するＩＰコンバータ１１５に対して、自動記録のＯＮ／ＯＦＦを設定する。
＜３．自動記録設定処理＞
（設定画面の例）
　図３は、自動記録のＯＮ／ＯＦＦの設定を受け付ける際に手術スタッフに操作される設定画面の例を示す図である。
　図３の設定画面３００は、例えば、集中操作パネル１１１に表示される。
　設定画面３００には、入力ソース２１１毎に、画像の表示や記録の設定を受け付けるための設定領域３１０が設けられる。図３の例では、４つの入力ソース２１１に対応して、４つの設定領域３１０が示されている。
　設定領域３１０の上部には、画像表示部３２１、記録ボタン３２２、およびシャッタボタン３２３が設けられる。画像表示部３２１は、入力ソース２１１から入力される画像がリアルタイムに表示される領域である。記録ボタン３２２は、画像表示部３２１に表示されている画像（動画像）の記録を開始・終了するために操作されるボタンである。シャッタボタン３２３は、画像表示部３２１に表示されている画像を静止画像として記録するために操作されるボタンである。
　設定領域３１０の下部には、画像表示部３２１に表示されている画像の出力先となるモニタを切り替えるスイッチボタン３４１，３４２，３４３が設けられる。スイッチボタン３４１，３４２，３４３には、３つのモニタ１、モニタ２、モニタ３が対応付けられ、例えば、スイッチボタン３４１が選択されることで、画像表示部３２１に表示されている画像がモニタ１に出力される。スイッチボタンの数は、手術室システム１００に設けられるモニタの数に応じて変更することができる。
　設定画面３００の左上部分には、録音ボタン３５０と自動記録設定ボタン３６０が設けられる。録音ボタン３５０は、手術室内の音声の記録を開始・終了するために操作されるボタンである。自動記録設定ボタン３６０は、手術室システム１００を、入力ソース２１１毎に自動記録のＯＮ／ＯＦＦを設定するための自動記録設定モードに設定するために操作されるボタンである。
　例えば、手術室システム１００が自動記録設定モードに設定されると、図示はしないが、設定領域３１０それぞれの所定の領域に、対応する入力ソース２１１について自動記録のＯＮ／ＯＦＦを設定するための設定ボタンが表示される。ユーザ（手術スタッフ）は、設定領域３１０それぞれの設定ボタンを操作することで、入力ソース２１１毎に自動記録のＯＮ／ＯＦＦを設定することができる。
（自動記録設定処理の流れ１）
　ここで、図４のフローチャートを参照して、入力ソース２１１毎に自動記録のＯＮ／ＯＦＦを設定する自動記録設定処理の流れについて説明する。図４の処理は、手術室システム１００が自動記録設定モードに設定された状態で、入力ソース２１１毎に実行される。
　ステップＳ１１において、設定受付部２５１は、設定領域３１０に表示された設定ボタンが操作されたか否かに応じて、設定領域３１０に対応する入力ソース２１１についての自動記録の設定を受け付けたか否かを判定する。
　ステップＳ１１において、自動記録の設定を受け付けたと判定された場合、ステップＳ１２に進み、自動記録設定部２５２は、設定ボタンが操作された設定領域３１０に対応する入力ソース２１１について、自動記録をＯＮに設定する。
　一方、ステップＳ１１において、自動記録の設定を受け付けなかったと判定された場合、ステップＳ１３に進み、自動記録設定部２５２は、設定ボタンが操作された設定領域３１０に対応する入力ソース２１１について、自動記録をＯＦＦに設定する。
　以上のようにして、複数の入力ソース２１１毎に画像の自動記録を実行するか否かを設定することができる。
　図４の処理においては、設定領域３１０に表示された設定ボタンが操作されることで、入力ソース２１１毎に自動記録を実行するか否かが、個別に設定されるものとした。これに限らず、入力ソース２１１毎に自動記録を実行するかが、一括して（自動的に）設定されるようにしてもよい。
（自動記録設定処理の流れ２）
　図５のフローチャートを参照して、入力ソース２１１毎の自動記録のＯＮ／ＯＦＦを一括して設定する自動記録設定処理の例について説明する。図５の処理は、自動記録設定ボタン３６０が操作されることにより、手術室システム１００が自動記録設定モードに設定されると開始される。
　ステップＳ３１において、設定受付部２５１は、手術室システム１００が自動記録設定モードに設定されることで、入力ソース２１１毎の自動記録の設定を受け付ける。
　ステップＳ３２において、自動記録設定部２５２は、複数の入力ソース２１１のうちの１つについて、自動記録を設定する入力ソースであるか否かを判定する。
　具体的には、自動記録設定部２５２は、当該入力ソース２１１の種類に基づいて、自動記録を設定する入力ソースであるか否かを判定する。例えば、自動記録設定部２５２は、入力ソース２１１の医療機器情報を取得し、電子医療機器の種類に基づいて事前にセットされたテーブルに従って、自動記録を設定する入力ソースであるか否かを判定する。例えば、医療機器情報は、入力ソース２１１の画像のメタデータから取得されてもよいし、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）情報として取得されてもよい。また、医療機器情報は、入力ソース２１１に接続されているＩＰコンバータ１１５により取得された接続情報であってもよい。
　また、自動記録設定部２５２は、自動記録のＯＮ／ＯＦＦがあらかじめ設定されたプリセット情報に基づいて、自動記録を設定する入力ソースであるか否かを判定してもよい。例えば、プリセット情報は、入力ソース２１１が接続されるＩＰコンバータ１１５毎に自動記録のＯＮ／ＯＦＦが設定された情報とされる。すなわち、入力ソース２１１が接続されるＩＰコンバータ１１５に応じて、その入力ソース２１１の自動記録のＯＮ／ＯＦＦが設定される。また、複数のプリセット情報が、手術室サーバ１０７に記憶され、ユーザ（手術スタッフ）により選択されたプリセット情報に基づいて、入力ソース２１１毎の自動記録のＯＮ／ＯＦＦが設定されてもよい。
　プリセット情報は、手術の術式に対応付けられていてもよいし、ユーザにより設定された情報であってもよい。さらに、個々の電子医療機器の種類が認識されることにより、推薦プリセット情報がユーザに提示されるようにしてもよい。
　さて、ステップＳ３２において、入力ソース２１１の種類やプリセット情報に基づいて、当該入力ソース２１１について、自動記録を設定する入力ソースであると判定された場合、ステップＳ３３に進む。ステップＳ３３において、自動記録設定部２５２は、当該入力ソース２１１について、自動記録をＯＮに設定する。
　一方、ステップＳ３２において、入力ソース２１１の種類やプリセット情報に基づいて、当該入力ソース２１１について、自動記録を設定する入力ソースでないと判定された場合、ステップＳ３４に進む。ステップＳ３４において、自動記録設定部２５２は、当該入力ソース２１１について、自動記録をＯＦＦに設定する。
　ステップＳ３３またはステップＳ３４の後、ステップＳ３５に進み、自動記録設定部２５２は、全ての入力ソース２１１について自動記録のＯＮ／ＯＦＦを設定したか否かを判定する。
　全ての入力ソース２１１について自動記録のＯＮ／ＯＦＦを設定していないと判定された場合、ステップＳ３２に戻り、それ以降の処理が繰り返される。一方、全ての入力ソース２１１について自動記録のＯＮ／ＯＦＦを設定したと判定された場合、一連の処理は終了する。
　以上のようにして、複数の入力ソース２１１毎に画像の自動記録を実行するか否かを、一括して設定することができる。
　以上の処理によれば、複数の入力ソース毎に画像の自動記録を実行するか否かが設定されるので、入力ソース毎に適切に手術記録を残すことが可能となる。具体的には、手術画像を最初から最後まで記録しなくとも、所望の手術画像を記録することができる。これにより、出血などの突発的なイベントなどの記録も逃すことなく、かつ、１回の手術あたりの記録容量を低減させることができる。
（自動記録設定処理の流れ３）
　ところで、手術室システム１００においては、１つの入力ソース２１１について自動記録が開始されたときに、関連する入力ソース２１１についても連動して自動記録が開始されることが好ましいケースがある。
　図６のフローチャートを参照して、１つの入力ソース２１１について自動記録が開始されたときに、関連する入力ソース２１１についても連動して自動記録が開始されるように、自動記録のＯＮ／ＯＦＦを設定する自動記録設定処理の流れについて説明する。図６の処理は、図４の処理と同様、手術室システム１００が自動記録設定モードに設定された状態で、入力ソース２１１毎に実行される。
　ステップＳ５１において、設定受付部２５１は、設定領域３１０に表示された設定ボタンが操作されたか否かに応じて、設定領域３１０に対応する入力ソース２１１についての自動記録の設定を受け付けたか否かを判定する。
　ステップＳ５１において、自動記録の設定を受け付けたと判定された場合、ステップＳ５２に進み、自動記録設定部２５２は、設定ボタンが操作された設定領域３１０に対応する入力ソース２１１について、自動記録をＯＮに設定する。
　ステップＳ５３において、設定受付部２５１は、例えば、設定画面３００に表示される図示せぬＧＵＩが操作されたか否かに応じて、自動記録がＯＮに設定された入力ソース２１１と同時に自動記録を開始する入力ソースの設定または選択を受け付けたか否かを判定する。
　ここで、同時に自動記録を開始する設定／選択が受け付けられる入力ソースは、別途、既に自動記録がＯＮに設定されている入力ソース２１１に限定されてもよいし、自動記録がＯＦＦに設定されている入力ソース２１１が含まれていてもよい。
　ステップＳ５３において、同時に自動記録を開始する入力ソースの設定／選択を受け付けたと判定された場合、ステップＳ５４に進む。ステップＳ５４において、自動記録設定部２５２は、同時に自動記録を開始する設定または選択を受け付けた入力ソース２１１について、自動記録をＯＮに設定する。
　なお、ステップＳ５３において、同時に自動記録を開始する入力ソースの設定／選択を受け付けなかったと判定された場合、ステップＳ５４はスキップされる。
　一方、ステップＳ５１において、自動記録の設定を受け付けなかったと判定された場合、ステップＳ５５に進み、自動記録設定部２５２は、設定ボタンが操作された設定領域３１０に対応する入力ソース２１１について、自動記録をＯＦＦに設定する。
　以上のようにして、１つの入力ソース２１１について自動記録が開始されたときに、関連する入力ソース２１１についても連動して自動記録が開始されるように、自動記録のＯＮ／ＯＦＦを設定することができる。
　以上の処理によれば、例えば、内視鏡について所定のトリガによりプリレコーディングが開始されたときに、関連する他の入力ソースについても連動してプリレコーディングが開始されるようになる。これにより、これにより、出血などの突発的なイベントが起きた際に、イベントが起きる前の内視鏡の画像とともに、イベントが起きる前の他の入力ソースの画像も同時に記録することができる。
＜４．入力ソース毎の記録処理＞
　以下においては、上述した自動記録設定処理によって自動記録のＯＮ／ＯＦＦが設定された入力ソース２１１毎の記録処理の流れについて説明する。
（入力ソース毎の記録処理の流れ１）
　図７のフローチャートを参照して、自動記録がプリレコーディングの場合の、入力ソース２１１毎の記録処理の流れについて説明する。図７の処理は、自動記録のＯＮ／ＯＦＦが設定された入力ソース２１１それぞれについて実行される。
　ステップＳ１１１において、記録制御部２５３は、例えば、自動記録設定部２５２により設定された、入力ソース２１１毎の自動記録のＯＮ／ＯＦＦを表す設定情報に基づいて、自動記録がＯＮに設定された入力ソースであるか否かを判定する。
　ステップＳ１１１において、自動記録がＯＮに設定された入力ソースであると判定された場合、ステップＳ１１２に進み、記録制御部２５３は、当該入力ソース２１１の画像のバッファへの記録を開始する。これにより、例えば、手術室サーバ１０７が備えるＲＯＭ（Read Only Memory）や記録部２３１のバッファ領域に、常に、当該入力ソース２１１の３０秒分のフレームが記録される。このバッファ領域には、フレーム単位で記録と削除が繰り返されることで３０秒分のフレームが常に記録されてもよいし、３０秒毎に、記録されるフレーム群が入れ替わってもよい。
　ステップＳ１１３において、記録制御部２５３は、当該入力ソース２１１について、記録開始指示が入力されたか否かを判定する。ステップＳ１１３は、記録開始指示が入力されるまで繰り返される。
　ここでの記録開始指示は、ユーザによるボタン押下などの操作や、ユーザによりあらかじめ設定された時間的なタイミングの到来をトリガとしてもよい。また、記録開始指示は、当該入力ソース２１１の画像に対する画像認識の認識結果をトリガとしてもよいし、電子医療機器からの入力をトリガとしてもよい。例えば、画像認識により内視鏡の患者の体内への挿入が認識されたことを記録開始指示としてもよいし、電気メスの電源ＯＮが検知されたことを記録開始指示としてもよい。さらに、記録開始指示は、ユーザの発話音声をトリガとしてもよい。
　ステップＳ１１３において、当該入力ソース２１１について、記録開始指示が入力されたと判定された場合、ステップＳ１１４において、記録制御部２５３は、当該入力ソース２１１の画像のプリレコーディングを開始する。これにより、当該入力ソース２１１の画像の、記録開始指示の例えば３０秒前からの記録が可能となる。
　一方、ステップＳ１１１において、自動記録がＯＮに設定された入力ソースでないと判定された場合、処理は終了する。すなわち、当該入力ソース２１１は、自動記録がＯＦＦに設定された入力ソースであるので、例えば、手動による記録を待ち受ける状態となる。
　設定画面３００に対するユーザの操作などに応じて、自動記録設定部２５２により、プリレコーディングの詳細が設定されてもよい。具体的には、入力ソース２１１の画像の画質（解像度）に応じて、バッファに記録される画像のフレームレートや、バッファ記録時間（上述した３０秒など）が設定されてもよい。例えば、バッファ記録時間として、入力ソース２１１の画像が４Ｋ画像の場合には３０秒が設定されたり、入力ソース２１１の画像がＨＤ画像の場合には６０秒が設定されるようにする。また、ユーザの操作に応じて、フレームレートとバッファ記録時間のいずれを重視してフレームをバッファに記録させるかが設定されてもよい。
　また、入力ソース２１１毎の画像が、手術室サーバ１０７（記録部２３１）に記録される場合と、対応するＩＰコンバータ１１５それぞれに記憶される場合とで、バッファ記録時間が変更されてもよい。例えば、入力ソース２１１の画像が、対応するＩＰコンバータ１１５に記録される場合、バッファ記録時間が３０秒に設定される一方、大容量の記録が可能な手術室サーバ１０７（記録部２３１）に記録される場合には、バッファ記録時間が６０秒に設定されるようにしてもよい。
（入力ソース毎の記録処理の流れ２）
　図８のフローチャートを参照して、自動記録が、画像認識の認識結果をトリガとして記録を開始するトリガ記録の場合の、入力ソース２１１毎の記録処理の流れについて説明する。図８の処理もまた、自動記録のＯＮ／ＯＦＦが設定された入力ソース２１１それぞれについて実行される。
　ステップＳ１３１において、記録制御部２５３は、自動記録設定部２５２により設定された、入力ソース２１１毎の自動記録のＯＮ／ＯＦＦを表す設定情報に基づいて、自動記録がＯＮに設定された入力ソースであるか否かを判定する。
　ステップＳ１３１において、自動記録がＯＮに設定された入力ソースであると判定された場合、ステップＳ１３２に進み、記録制御部２５３は、当該入力ソース２１１の画像に対する画像認識を開始する。
　ステップＳ１３３において、記録制御部２５３は、当該入力ソース２１１について、記録開始のトリガとなる認識結果が得られたか否かを判定する。ステップＳ１３３は、記録開始のトリガとなる認識結果が得られるまで繰り返される。
　記録開始のトリガとなる認識結果は、例えば当該入力ソース２１１が内視鏡である場合、内視鏡の患者の体内への挿入であってもよいし、手術室における手術スタッフの入場や、手術スタッフの特定の動作であってもよい。これらの画像認識は、例えば、ニューラルネットワークを用いた機械学習モデルにより行われる。
　ステップＳ１３３において、当該入力ソース２１１について、記録開始のトリガとなる認識結果が得られたと判定された場合、ステップＳ１３４において、記録制御部２５３は、当該入力ソース２１１の画像の記録を開始する。
　一方、ステップＳ１３１において、自動記録がＯＮに設定された入力ソースでないと判定された場合、処理は終了する。すなわち、当該入力ソース２１１は、自動記録がＯＦＦに設定された入力ソースであるので、例えば、手動による記録を待ち受ける状態となる。
（入力ソース毎の記録処理の流れ３）
　図９のフローチャートを参照して、自動記録が、電子医療機器からの入力をトリガとしたトリガ記録の場合の、入力ソース２１１毎の記録処理の流れについて説明する。図９の処理もまた、自動記録のＯＮ／ＯＦＦが設定された入力ソース２１１それぞれについて実行される。
　ステップＳ１５１において、記録制御部２５３は、自動記録設定部２５２により設定された、入力ソース２１１毎の自動記録のＯＮ／ＯＦＦを表す設定情報に基づいて、自動記録がＯＮに設定された入力ソースであるか否かを判定する。
　ステップＳ１５１において、自動記録がＯＮに設定された入力ソースであると判定された場合、ステップＳ１５２に進み、記録制御部２５３は、当該入力ソース２１１について、記録開始のトリガとなる電子医療機器からの入力が得られたか否かを判定する。ステップＳ１５２は、記録開始のトリガとなる電子医療機器からの入力が得られるまで繰り返される。
　記録開始のトリガとなる電子医療機器からの入力は、例えば、電気メスの電源ＯＮ／ＯＦＦ、手術室における扉の開閉（手術スタッフの入場）、電子医療機器からのＲＦＩＤによる無線通信などとされる。
　ステップＳ１５２において、当該入力ソース２１１について、記録開始のトリガとなる電子医療機器からの入力が得られたと判定された場合、ステップＳ１５３において、記録制御部２５３は、当該入力ソース２１１の画像の記録を開始する。
　一方、ステップＳ１５１において、自動記録がＯＮに設定された入力ソースでないと判定された場合、処理は終了する。すなわち、当該入力ソース２１１は、自動記録がＯＦＦに設定された入力ソースであるので、例えば、手動による記録を待ち受ける状態となる。
＜５．その他の自動記録機能＞
　自動記録がＯＮに設定された入力ソース２１１について、手術室の外部の、ネットワークを経由した別の拠点からの指示を記録開始指示として、プリレコーディングが開始されてもよい。例えば、自動記録がＯＮに設定された入力ソース２１１であっても、突発的なイベントが起きた場合、手術スタッフは、そのイベントの対処に追われ、記録開始のためのボタンを３０秒以内に押下できない場合がある。そこで、手術室の外部にある手術モニタルームのスタッフが、突発的なイベントが起きたことに気づいたときに、記録開始指示を入力できるようにしてもよい。
　手術室システム１００において、自動記録設定部２５２により、記録される画像の用途に応じて、各入力ソース２１１の画像の自動記録を実行するか否かが設定されてもよい。例えば、医療事故が起きたときの裁判の証拠用に、術場カメラ１８９の画像は常時記録され、レポート作成や患者説明、手技伝搬のために、他の入力ソース２１１の画像の自動記録がＯＮに設定されることで、最適な記録容量で各画像を記録することができる。
　この場合、裁判の証拠用に記録される画像に対して、管理者以外の者は当該画像の編集を不可能とするブラックボックス化機能が適用されてもよい。例えば、集中操作パネル１１１に表示される、手術開始の際に操作される手術開始ボタンが押下されたときに、ブラックボックス化機能による画像の記録が開始されるようにする。
　集中操作パネル１１１には、図１０に示されるように、手術室システム１００における複数の入力ソース２１１からの画像を統合した統合画面を表示させることができる。
　図１０のような統合画面に表示されている自動画像の記録を設定する際に、統合画面全体の自動記録を実行するか、または、統合画面に表示されている各入力ソース２１１の画像毎の自動記録を実行するかが設定されてもよい。各入力ソース２１１の画像毎の自動記録が設定された場合、手術室システム１００は、統合画面に表示されている画像を入力している入力ソース２１１それぞれの情報を取得し、その情報に基づいて、いずれの入力ソース２１１の自動記録をＯＮに設定するかを判定し、自動記録を開始する。
　なお、図１０のような統合画面は、上述したような、手術室の外部にある手術モニタルームにおいて表示されるようにしてもよい。
＜６．変形例＞
（プレビュー画面）
　上述した手術室システム１００において記録された各入力ソース２１１の画像は、図１１に示されるようなプレビュー画面５００において、手術後などに再生されるようにもできる。
　プレビュー画面５００には、再生領域５１０、再生対象選択領域５２０、タイムライン５３０、および操作ボタン群５４０が設けられる。
　再生領域５１０は、再生対象選択領域５２０において選択された画像や音声を再生するための領域である。図１１の例では、再生対象選択領域５２０には、手術室システム１００において記録された画像や音声を表すサムネイルやアイコンを含む選択ボタン５２１乃至５２４が表示されている。
　選択ボタン５２１は、手術室システム１００において記録された音声に対応する。選択ボタン５２１には、音声であることを表すアイコンに加え、その音声の再生時間や記録開始時刻が表示されている。
　選択ボタン５２２は、手術室システム１００において記録された、術場カメラ１８９により撮像された画像に対応する。選択ボタン５２２には、その画像のサムネイルに加え、その画像の再生時間や記録開始時刻が表示されている。図１１の例では、選択ボタン５２２が選択され、再生領域５１０においては、術場カメラ１８９により手術室全体の様子が撮像された画像が再生されている。
　選択ボタン５２３は、手術室システム１００において記録された、装置群１０１の１つである内視鏡により撮像された静止画像に対応する。選択ボタン５２３には、その静止画像のサムネイルに加え、その静止画像の記録時刻（撮像時刻）が表示されている。
　選択ボタン５２４は、手術室システム１００において記録された、手術中の患者のバイタルサインに対応する。選択ボタン５２４には、そのバイタルサインのサムネイルに加え、そのバイタルサインの記録開始時刻が表示されている。
　再生領域５１０の下方に設けられるタイムライン５３０は、再生領域５１０において再生されている画像や音声の総再生時間を表し、その再生位置に対応する箇所にはポインタが表示される。
　操作ボタン群５４０は、再生領域５１０において再生されている画像や音声に対して、再生の停止や一時停止、早送りや早戻し、倍速再生などの他、音声のミュート、画像の拡大や縮小、静止画像のキャプチャなど、各種の操作を受け付けるためのボタンから構成される。
　このようなプレビュー画面５００では、再生対象選択領域５２０において、自動記録により記録された画像を選択することもできる。
　この場合、再生対象選択領域５２０に表示される選択ボタンには、例えばプリレコーディングの際の記録開始指示（ボタン押下などの操作）が入力されたタイミングの静止画像が、サムネイルとして示されるようにする。これにより、例えば、医師が、「こういう画像を記録したはず」といった記憶をもとに、再生対象とする画像を選択することができる。
　またこの場合、タイムライン５３０は、プリレコーディングにおいて、例えば３０秒などのバッファに記録された画像の区間と、記録開始指示が入力されてから記録された画像の区間とが区別できるように表示されてもよい。これにより、医師は、自身が記録を開始したタイミングを一目で把握することができる。
　なお、自動記録により記録された画像には、ユーザの記憶にない画像が含まれる場合も考えられる。そこで、再生対象選択領域５２０に表示される選択ボタンのサムネイルは、自動記録により記録された画像と、手動により記録された画像とが区別できるように表示されることが好ましい。
（その他）
　上述した自動記録によれば、１回の手術あたりの記録容量を低減させることができる。さらに、自動記録における記録容量に所定の閾値を設け、記録容量がその閾値を超えた場合に、自動記録による画像の記録を停止させるようにしてもよい。これにより、記録部２３１などの容量に応じて、適切な記録容量で画像を記録することができる。
　また、自動記録により記録された画像に対して重要度を付与し、重要度の低い画像が優先的に削除されるようにしてもよい。例えば、重要度の低い画像ほど保存期間が短く設定され、その保存期間が経過すると削除されるようにしたり、削除タイミングが所定の日数おきに設定され、削除タイミング毎に、重要度の低い画像が削除されるようにしてもよい。
　上述した実施の形態において、医療撮像装置の出力結果となる画像は、外部のＩＰコンバータを用いてＩＰ変換されるものとしたが、ＩＰ変換を実行する機能が、医療撮像装置内に組み込まれていてもよい。
　以上においては、１つの手術室に複数の入力ソースが設けられる例について説明したが、複数の入力ソースは、複数の手術室に設けられてもよい。また、複数の入力ソースは、手術室ではなく、ＩＣＵや病棟、介護施設などに設けられてもよい。この場合、入力ソースは、例えば患者に関する情報を出力する映像ソースとなる。これにより、適切に患者記録や介護記録を残すことができる。
＜７．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　本開示に係る技術を適用し得る手術室サーバ１０７は、図１２に示される構成を有するコンピュータにより実現される。
　ＣＰＵ１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示は以下のような構成をとることができる。
（１）
　手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する設定部
　を備える手術室システム。
（２）
　前記自動記録は、記録開始指示の所定時間前から前記画像の記録を開始するプリレコーディングを含む
　（１）に記載の手術室システム。
（３）
　前記記録開始指示は、ユーザの操作または設定、前記画像に対する画像認識の認識結果、および、電子医療機器からの入力の少なくともいずれかをトリガとする
　（２）に記載の手術室システム。
（４）
　前記記録開始指示は、前記手術室の外部からの指示である
　（２）に記載の手術室システム。
（５）
　前記設定部は、前記所定時間をさらに設定する
　（２）に記載の手術室システム。
（６）
　前記設定部は、記録される前記画像のフレームレートをさらに設定する
　（２）または（３）に記載の手術室システム。
（７）
　前記自動記録は、前記画像に対する画像認識の認識結果をトリガとして記録を開始するトリガ記録を含む
　（１）に記載の手術室システム。
（８）
　前記画像認識は、機械学習モデルにより行われる
　（７）に記載の手術室システム。
（９）
　前記自動記録は、電子医療機器からの入力をトリガとして記録を開始するトリガ記録を含む
　（１）に記載の手術室システム。
（１０）
　前記電子医療機器からの入力は、電源ＯＮ／ＯＦＦ、前記手術室における扉の開閉、およびＲＦＩＤ（Radio Frequency Identifier）による無線通信の少なくともいずれかを含む
　（９）に記載の手術室システム。
（１１）
　前記入力ソースそれぞれに接続されるＩＰ（Internet Protocol）コンバータを備え、
　前記ＩＰコンバータそれぞれが、前記入力ソース毎の前記画像を記録する
　（１）乃至（１０）のいずれかに記載の手術室システム。
（１２）
　ＩＰ（Internet Protocol）コンバータを介して、前記入力ソースそれぞれに接続されるサーバを備え、
　前記サーバが、前記入力ソース毎の前記画像を記録する
　（１）乃至（１０）のいずれかに記載の手術室システム。
（１３）
　前記設定部は、前記入力ソースの種類に基づいて、前記入力ソース毎に、前記画像の前記自動記録を実行するか否かを設定する
　（１）乃至（１２）のいずれかに記載の手術室システム。
（１４）
　前記設定部は、プリセット情報に基づいて、前記入力ソース毎に、前記画像の前記自動記録を実行するか否かを設定する
　（１）乃至（１２）のいずれかに記載の手術室システム。
（１５）
　前記設定部は、１の前記入力ソースが前記自動記録を開始したときに、同時に前記自動記録を開始する他の前記入力ソースを設定する
　（１）乃至（１２）に記載の手術室システム。
（１６）
　前記設定部は、記録される前記画像の用途に応じて、前記入力ソース毎に、前記画像の前記自動記録を実行するか否かを設定する
　（１）に記載の手術室システム。
（１７）
　複数の前記入力ソースからの複数の前記画像を統合した統合画面を表示する表示部を備え、
　前記設定部は、前記統合画面の前記自動記録を実行するか、または、前記画像毎の前記自動記録を実行するかを設定する
　（１）に記載の手術室システム。
（１８）
　前記入力ソースは、医療撮像装置を含む
　（１）乃至（１７）のいずれかに記載の手術室システム。
（１９）
　手術室システムが、
　手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する
　画像記録方法。
（２０）
　コンピュータに、
　手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する
　処理を実行させるためのプログラム。
（２１）
　患者に関する情報を出力する複数の映像ソース毎に、前記情報の自動記録を実行するか否かを設定する設定部
　を備える医療情報処理システム。
　１００　手術室システム，　１０７　手術室サーバ，　１０９　ＩＰスイッチ，　１１５　ＩＰコンバータ，　２１１　入力ソース，　２３１　記録部，　２５１　設定受付部，　２５２　自動記録設定部，　２５３　記録制御部

Claims (20)

  1. 　手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する設定部
    　を備える手術室システム。
  2. 　前記自動記録は、記録開始指示の所定時間前から前記画像の記録を開始するプリレコーディングを含む
    　請求項１に記載の手術室システム。
  3. 　前記記録開始指示は、ユーザの操作または設定、前記画像に対する画像認識の認識結果、および、電子医療機器からの入力の少なくともいずれかをトリガとする
    　請求項２に記載の手術室システム。
  4. 　前記記録開始指示は、前記手術室の外部からの指示である
    　請求項２に記載の手術室システム。
  5. 　前記設定部は、前記所定時間をさらに設定する
    　請求項２に記載の手術室システム。
  6. 　前記設定部は、記録される前記画像のフレームレートをさらに設定する
    　請求項２に記載の手術室システム。
  7. 　前記自動記録は、前記画像に対する画像認識の認識結果をトリガとして記録を開始するトリガ記録を含む
    　請求項１に記載の手術室システム。
  8. 　前記画像認識は、機械学習モデルにより行われる
    　請求項７に記載の手術室システム。
  9. 　前記自動記録は、電子医療機器からの入力をトリガとして記録を開始するトリガ記録を含む
    　請求項１に記載の手術室システム。
  10. 　前記電子医療機器からの入力は、電源ＯＮ／ＯＦＦ、前記手術室における扉の開閉、およびＲＦＩＤ（Radio Frequency Identifier）による無線通信の少なくともいずれかを含む
    　請求項９に記載の手術室システム。
  11. 　前記入力ソースそれぞれに接続されるＩＰ（Internet Protocol）コンバータを備え、
    　前記ＩＰコンバータそれぞれが、前記入力ソース毎の前記画像を記録する
    　請求項１に記載の手術室システム。
  12. 　ＩＰ（Internet Protocol）コンバータを介して、前記入力ソースそれぞれに接続されるサーバを備え、
    　前記サーバが、前記入力ソース毎の前記画像を記録する
    　請求項１に記載の手術室システム。
  13. 　前記設定部は、前記入力ソースの種類に基づいて、前記入力ソース毎に、前記画像の前記自動記録を実行するか否かを設定する
    　請求項１に記載の手術室システム。
  14. 　前記設定部は、プリセット情報に基づいて、前記入力ソース毎に、前記画像の前記自動記録を実行するか否かを設定する
    　請求項１に記載の手術室システム。
  15. 　前記設定部は、１の前記入力ソースが前記自動記録を開始したときに、同時に前記自動記録を開始する他の前記入力ソースを設定する
    　請求項１に記載の手術室システム。
  16. 　前記設定部は、記録される前記画像の用途に応じて、前記入力ソース毎に、前記画像の前記自動記録を実行するか否かを設定する
    　請求項１に記載の手術室システム。
  17. 　複数の前記入力ソースからの複数の前記画像を統合した統合画面を表示する表示部を備え、
    　前記設定部は、前記統合画面の前記自動記録を実行するか、または、前記画像毎の前記自動記録を実行するかを設定する
    　請求項１に記載の手術室システム。
  18. 　手術室システムが、
    　手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する
    　画像記録方法。
  19. 　コンピュータに、
    　手術室に設けられる、画像を入力する複数の入力ソース毎に、前記画像の自動記録を実行するか否かを設定する
    　処理を実行させるためのプログラム。
  20. 　患者に関する情報を出力する複数の映像ソース毎に、前記情報の自動記録を実行するか否かを設定する設定部
    　を備える医療情報処理システム。
PCT/JP2022/001915 2021-03-25 2022-01-20 手術室システム、画像記録方法、プログラム、および医療情報処理システム WO2022201800A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22774603.9A EP4316410A1 (en) 2021-03-25 2022-01-20 Surgical operation room system, image recording method, program, and medical information processing system
US18/549,924 US20240155085A1 (en) 2021-03-25 2022-01-20 Surgical operation room system, image recording method, program, and medical information processing system
CN202280022434.4A CN116997289A (zh) 2021-03-25 2022-01-20 手术室系统、图像记录方法、程序和医疗信息处理系统
JP2023508691A JPWO2022201800A1 (ja) 2021-03-25 2022-01-20

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021051579 2021-03-25
JP2021-051579 2021-03-25

Publications (1)

Publication Number Publication Date
WO2022201800A1 true WO2022201800A1 (ja) 2022-09-29

Family

ID=83395351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001915 WO2022201800A1 (ja) 2021-03-25 2022-01-20 手術室システム、画像記録方法、プログラム、および医療情報処理システム

Country Status (5)

Country Link
US (1) US20240155085A1 (ja)
EP (1) EP4316410A1 (ja)
JP (1) JPWO2022201800A1 (ja)
CN (1) CN116997289A (ja)
WO (1) WO2022201800A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135344A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 医療情報システム
JP2007257122A (ja) * 2006-03-22 2007-10-04 Hitachi Kokusai Electric Inc 監視システム
JP2014104365A (ja) 2012-11-29 2014-06-09 Sony Corp 手術用無線ルーペ
WO2016190022A1 (ja) * 2015-05-27 2016-12-01 オリンパス株式会社 画像記録装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135344A (ja) * 2003-10-31 2005-05-26 Toshiba Corp 医療情報システム
JP2007257122A (ja) * 2006-03-22 2007-10-04 Hitachi Kokusai Electric Inc 監視システム
JP2014104365A (ja) 2012-11-29 2014-06-09 Sony Corp 手術用無線ルーペ
WO2016190022A1 (ja) * 2015-05-27 2016-12-01 オリンパス株式会社 画像記録装置

Also Published As

Publication number Publication date
US20240155085A1 (en) 2024-05-09
EP4316410A1 (en) 2024-02-07
JPWO2022201800A1 (ja) 2022-09-29
CN116997289A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US11676716B2 (en) System and method for controlling and selecting sources in a room on a network
US7787699B2 (en) Real-time integration and recording of surgical image data
JP5347089B1 (ja) 医療情報記録装置
WO2018163600A1 (ja) 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
EP3770913A1 (en) Operation assistance system, information processing device, and program
US20180092509A1 (en) Image recording device
WO2023062594A1 (en) Apparatus, systems, and methods for intraoperative visualization
US20050177312A1 (en) Real-time medical data recording system and method
US11483515B2 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
JP2005040223A (ja) 医療用画像表示装置
WO2022201800A1 (ja) 手術室システム、画像記録方法、プログラム、および医療情報処理システム
US20240120073A1 (en) Medical management system, medical management device, and medical management method
WO2023189520A1 (ja) 情報処理システム、情報処理方法、及び、プログラム
JP2005124824A (ja) 手術支援システム
WO2023145447A1 (ja) 情報処理方法、情報処理システム、およびプログラム
US11722643B2 (en) Medical-use control system, image processing server, image converting apparatus, and control method
WO2023054089A1 (ja) 映像処理システム、並びに、医療情報処理システムおよび動作方法
WO2022213604A1 (zh) 数字化手术室的数据处理方法及系统
WO2023166981A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
KR20230044626A (ko) 의료영상을 roi별로 이벤트 레코딩하는 방법
WO2023053524A1 (ja) 医療情報処理システム、判定方法、およびプログラム
US20230125596A1 (en) Control apparatus, method for displaying data logs and medical centralized control system
TWM631514U (zh) 複合式手術室之影像系統
CN114694804A (zh) 一种手术视频记录方法、系统及储存介质
CN115348403A (zh) 手术影像资料的管理方法、手术视频的录制方法和服务器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774603

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023508691

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18549924

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280022434.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022774603

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022774603

Country of ref document: EP

Effective date: 20231025