WO2023145447A1 - 情報処理方法、情報処理システム、およびプログラム - Google Patents

情報処理方法、情報処理システム、およびプログラム Download PDF

Info

Publication number
WO2023145447A1
WO2023145447A1 PCT/JP2023/000541 JP2023000541W WO2023145447A1 WO 2023145447 A1 WO2023145447 A1 WO 2023145447A1 JP 2023000541 W JP2023000541 W JP 2023000541W WO 2023145447 A1 WO2023145447 A1 WO 2023145447A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
information processing
quality
video
image
Prior art date
Application number
PCT/JP2023/000541
Other languages
English (en)
French (fr)
Inventor
雅矢 竹本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023145447A1 publication Critical patent/WO2023145447A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Definitions

  • the present technology relates to an information processing method, an information processing system, and a program, and particularly relates to an information processing method, an information processing system, and a program that can appropriately control the quality of surgical images depending on the situation.
  • Patent Document 1 in communication between the emergency site and the emergency center, if the communication bandwidth is not enough to transmit both video and audio from the emergency site, video transmission is temporarily stopped and the patient's Techniques for prioritizing data transmission have been disclosed.
  • This technology was created in view of this situation, and enables the quality of surgical images to be appropriately controlled according to the situation.
  • a plurality of surgical images including images shot in an operating room are selected based on a selection state of images by a user viewing a plurality of surgical images including images captured in an operating room using a receiving device, and a state of a communication line. and transmitting the quality-controlled surgical images to the receiving device via an information processing server on a network.
  • each of the plurality of surgical images is selected based on the state of selection of images by a user viewing a plurality of surgical images including images shot in an operating room using a receiving device and the state of a communication line. is controlled for quality, and the quality-controlled surgical video is transmitted to the receiving device via an information processing server on a network.
  • FIG. 1 is a diagram illustrating an example of an information processing system according to an embodiment of the present technology
  • FIG. It is a figure which shows the structural example of an operating room system.
  • 2 is a block diagram showing a functional configuration example of each device that configures the information processing system
  • FIG. FIG. 10 is a diagram showing a display example of a surgical image on a receiving device
  • FIG. 3 is a sequence diagram illustrating the flow of processing in each device that configures the information processing system
  • FIG. 4 is a diagram showing a specific example of the status of communication lines
  • FIG. 4 is a diagram showing a first specific example of quality control of surgical images
  • FIG. 10 is a diagram showing a second specific example of quality control of surgical images
  • FIG. 10 is a diagram showing a third specific example of quality control of surgical images
  • It is a block diagram which shows the structural example of the hardware of a computer.
  • FIG. 1 is a diagram illustrating an example of an information processing system according to an embodiment of the present technology.
  • An information processing system includes an operating room system 1, an information processing server 2, and a receiving device 3. Each configuration is connected via a network such as the Internet.
  • the operating room system 1 is provided in a medical facility with an operating room, such as a hospital. As will be described later, the operating room system 1 is provided with a plurality of cameras, such as a camera for photographing the surgical site and a camera for photographing the state of the operating room.
  • the information processing server 2 is a server (cloud server) on the network. Communication is performed via the Internet between the operating room system 1 and the information processing server 2, and between the information processing server 2 and the receiving device 3, respectively.
  • the receiving device 3 is a device located away from the operating room, such as the user's home.
  • the receiving device 3 is composed of a PC, a tablet terminal, or the like.
  • a doctor who is far away acts as a user and operates the receiving device 3 .
  • the receiving device 3 may be used at various locations other than the user's home, as long as it is located away from the operating room.
  • surgical images such as images of surgeries being performed in the operating room and images of screens showing patient's vital signs are uploaded to the information processing server 2 in real time.
  • the uploaded surgical video is transmitted (downloaded) in real time to the receiving device 3 via the information processing server 2 as indicated by arrow #2.
  • the surgical video transmitted to the receiving device 3 is displayed on the display of the receiving device 3.
  • the user of the receiving device 3 can see the surgical video displayed on the display, confirm the content of the surgery being performed in the operating room, and issue instructions to the operator in the operating room in real time.
  • Video and audio data indicating the contents of the instruction are transmitted from the receiving device 3 to the operating room system 1 via the information processing server 2 and output in the operating room.
  • the information processing system of FIG. 1 is used, for example, by a doctor who is far away (the user of the receiving device 3) to serve as an instructor and instruct an operator in the operating room how to perform surgery. be done.
  • the user of the receiving device 3 can select a high-quality video that they want to see from among multiple surgical videos uploaded from the operating room system 1 .
  • Information indicating the state of image selection by the user is transmitted to the operating room system 1 and used to control the quality of surgical images to be uploaded.
  • the quality of the surgical video is controlled based on the user's video selection status and the communication line status. Quality control is done by adjusting the resolution of each surgical video and adjusting the frame rate.
  • the quality of surgical images to be uploaded is controlled by transmitting high-quality images selected by the user and low-quality images not selected by the user. This makes it possible to maintain both the real-time nature and quality of surgical images even when the communication line is in a state where it is not possible to transmit all surgical images with high quality.
  • FIG. 2 is a diagram showing a configuration example of the operating room system 1 of FIG.
  • the operating room system 1 a group of devices installed in the operating room are connected to each other via an operating room server 11 and an IP switch (SW) 12 so as to be able to cooperate with each other.
  • the operating room system 1 is composed of an IP (Internet Protocol) network capable of transmitting/receiving 4K/8K images, and input/output images and control information for each device are transmitted/received via the IP network.
  • IP Internet Protocol
  • Various devices are installed in the operating room.
  • a group of various devices 13 for endoscopic surgery a ceiling camera 14 for photographing the hand of the operator, an operating field camera 15 for photographing the entire operating room, display devices 16A to 16D, display devices 16A to 16D, A patient bed 17 and lighting 18 are shown. Both the ceiling camera 14 and the operating field camera 15 are provided on the ceiling of the operating room.
  • the device group 13 may be applied with various medical devices for acquiring images, such as a master-slave endoscopic surgical robot and an X-ray imaging device.
  • the display devices 16A to 16C, the device group 13, the ceiling camera 14, the surgical site camera 15, and the IP SW 12 are connected via IP converters 19A to 19F, respectively.
  • the IP converters 19A to 19F are simply referred to as the IP converter 19 when not distinguished from each other.
  • IP converters 19D, 19E, and 19F which are IP converters 19 on the input source side (camera side) for inputting images, are connected to individual medical imaging devices (endoscopes, surgical microscopes, X-ray imaging devices, surgical field cameras, pathological Image capture device, etc.) is IP-converted and sent over the network.
  • IP converters 19A to 19C which are IP converters 19 on the image output side (monitor side) that output images, convert images transmitted via a network into a monitor-specific format and output them.
  • the IP converter 19 on the input source side functions as an encoder
  • the IP converter 19 on the image output side functions as a decoder.
  • Input sources include, for example, video sources.
  • the IP converter 19 can be equipped with various image processing functions.
  • the IP converter 19 can have a function of executing resolution conversion processing according to the output destination, rotation correction and camera shake correction of an endoscopic image, object recognition processing, and the like.
  • the IP converter 19 on the image output side can synthesize a plurality of images (such as PinP processing) and superimpose annotation information.
  • the protocol conversion function of the IP converter 19 is a function that converts the received signal into a converted signal conforming to a communication protocol that can be communicated on a network such as the Internet. Any communication protocol may be set as the communication protocol. Also, the protocol-convertible signal received by the IP converter 19 is a digital signal, such as an image signal or a pixel signal. The IP converter 19 may be incorporated inside the device on the input source side or inside the device on the image output side.
  • the device group 13 belongs to, for example, an endoscopic surgery system, and includes an endoscope and a display device that displays images captured by the endoscope.
  • the display devices 16A to 16D, the patient bed 17, and the lighting 18 are devices installed in the operating room separately from the endoscopic surgery system. Each device used for these surgeries or diagnoses is also called a medical device.
  • the operating room server 11 and/or IP SW 12 cooperatively control the operations of these medical devices. If the operating room includes a surgical robot (surgical master-slave) system and a medical image acquisition device such as an X-ray imaging device, these devices are also connected as the device group 13 .
  • the device group 13, the ceiling camera 14, and the operating field camera 15 are devices having a function of transmitting information to be displayed during surgery (hereinafter also referred to as display information).
  • display information hereinafter also referred to as a source device.
  • the display devices 16A to 16D are devices to which display information is output (hereinafter also referred to as output destination devices).
  • the operating room server 11 comprehensively controls the processing within the operating room system 1 .
  • the operating room server 11 has a function of controlling the operations of the source device and the output destination device, acquiring display information from the source device, and transmitting the display information to the output destination device for display or recording.
  • the display information includes various images taken during surgery, various information related to surgery (for example, patient's physical information, past examination results, information on surgical procedure), and the like.
  • the operating room server 11 As display information from the device group 13, information about the image of the surgical site within the patient's body cavity captured by the endoscope is transmitted. In addition, to the operating room server 11, as display information from the ceiling camera 14, information about an image of the operator's hand captured by the ceiling camera 14 is transmitted. Further, to the operating room server 11, as display information from the operating site camera 15, information about an image showing the state of the entire operating room captured by the operating site camera 15 is transmitted. If there are other devices having imaging functions in the operating room system 1, the operating room server 11 also acquires information about images captured by these other devices from those other devices as display information. You may
  • the operating room server 11 causes at least one of the display devices 16A to 16D, which are output destination devices, to display the acquired display information (that is, images captured during surgery and various types of information related to surgery).
  • the display device 16A is a display device that is installed by being suspended from the ceiling of the operating room
  • the display device 16B is a display device that is installed on the wall surface of the operating room.
  • the display device 16C is a display device installed on a desk in the operating room
  • the display device 16D is a mobile device (for example, a tablet PC (Personal Computer) or a smartphone) having a display function.
  • the operating room server 11 also controls the quality of surgical images transmitted to the receiving device 3 via the information processing server 2 .
  • the IP SW 12 is configured as one of the input/output controllers that control the input/output of image signals to the connected equipment.
  • the IP SW 12 controls input/output of image signals under the control of the operating room server 11 .
  • the IP SW 12 controls high-speed transfer of image signals between devices arranged on the IP network.
  • the operating room system 1 may include devices outside the operating room.
  • Devices outside the operating room include, for example, servers connected to networks built inside and outside the hospital, PCs used by medical staff, projectors installed in hospital conference rooms, and the like. If such an external device is located outside the hospital, the operating room server 11 can also display the display information on a display device in another hospital via a teleconferencing system or the like for telemedicine.
  • the external server 20 communicates with, for example, an in-hospital server outside the operating room and the information processing server 2, which is a cloud server. Image information in the operating room is transmitted to the information processing server 2 via the external server 20 .
  • the data to be transmitted may be surgical images themselves such as those from an endoscope, metadata extracted from images, data indicating the operation status of connected equipment, and the like.
  • the IP network may be configured as a wired network, or part or all of the IP network may be configured as a wireless network.
  • the IP converter 19 on the input source side having a wireless communication function outputs the received image via a wireless communication network such as the 5th generation mobile communication system (5G) or the 6th generation mobile communication system (6G). may be sent to the IP converter 19 on the side.
  • 5G 5th generation mobile communication system
  • 6G 6th generation mobile communication system
  • FIG. 3 is a block diagram showing an example of functional configuration of each device constituting the information processing system of FIG. Each function shown in FIG. 3 is realized by executing a predetermined program by the CPU of the computer constituting each device.
  • the operating room server 11 includes a line status acquisition unit 101, a surgical image acquisition unit 102, an operation image analysis unit 103, an image selection state reception unit 104, an operation image quality control unit 105, and an operation image transmission unit. 106.
  • the line status acquisition unit 101 acquires information indicating the status of the communication line transmitted from the information processing server 2 .
  • Information indicating the status of the communication line is output to the surgical video quality control unit 105 .
  • the surgical image acquisition unit 102 acquires surgical images transmitted from multiple cameras installed in the operating room.
  • the surgical images acquired by the surgical image acquiring unit 102 include, for example, images captured by the endoscope of the device group 13 in FIG. It includes footage of the entire operating room being filmed and footage of the screen showing the patient's vital signs.
  • the surgical image acquired by the surgical image acquisition unit 102 is output to the surgical image analysis unit 103 .
  • the surgical video analysis unit 103 analyzes the surgical video supplied from the surgical video acquisition unit 102. Analysis of surgical images is performed using, for example, an inference model generated in advance by machine learning using a plurality of images showing various surgical procedures as learning data. By inputting a surgical image to the inference model, information indicating the details of the surgery and the degree of importance of the details of the surgery is output. Information on the analysis result by the surgical image analysis unit 103 is output to the surgical image quality control unit 105 together with the surgical image.
  • the video selection status receiving unit 104 receives video selection information, which is information indicating which surgical video is selected in the receiving device 3 .
  • video selection information is information indicating which surgical video is selected in the receiving device 3 .
  • selection of surgical images desired to be viewed in high quality, selection of which surgical images are to be primary images and secondary images, and the like are performed.
  • Image selection information is transmitted from the receiving device 3 to the operating room server 11 in response to the selection of the surgical image.
  • the video selection information received by the video selection status receiving unit 104 is output to the surgical video quality control unit 105 .
  • the surgical video quality control unit 105 controls the quality of the surgical video to be transmitted to the receiving device 3 based on the information supplied from each of the line status acquisition unit 101, the surgical video analysis unit 103, and the video selection status reception unit 104. do. A specific example of the quality control method will be described later.
  • the surgical video whose quality is controlled by the surgical video quality control unit 105 is output to the surgical video transmission unit 106 .
  • the surgical image transmission unit 106 transmits (uploads) the quality-controlled surgical image supplied from the surgical image quality control unit 105 to the information processing server 2, for example, via the external server 20 (FIG. 2).
  • all the functional units of the line status acquisition unit 101, the surgical video acquisition unit 102, the surgical video analysis unit 103, the video selection status reception unit 104, the surgical video quality control unit 105, and the surgical video transmission unit 106 Although it is assumed to be implemented in the room server 11 , at least some of the functional units may be implemented in other devices within the operating room system 1 .
  • the function of the surgical video quality control unit 105 that performs image processing on the surgical video can be implemented in the IP converter 19 .
  • the information processing server 2 is composed of a line status analysis unit 201 , a surgical image receiving unit 202 , and a surgical image transmitting unit 203 .
  • Each functional unit of the information processing server 2 may be realized by a plurality of computers.
  • the line status analysis unit 201 communicates with, for example, the external server 20 of the operating room system 1 and analyzes the status of the communication line between the information processing server 2 and the operating room system 1 . Also, the line status analysis unit 201 communicates with the receiving device 3 and analyzes the status of the communication line between the information processing server 2 and the receiving device 3 . Line information, which is information indicating the result of analysis by the line status analysis unit 201 , is transmitted to the operating room server 11 .
  • the surgical image receiving unit 202 receives surgical images transmitted from the operating room server 11 .
  • the surgical image received by the surgical image receiving unit 202 is output to the surgical image transmitting unit 203 .
  • the surgical image transmission unit 203 transmits the surgical image supplied from the surgical image reception unit 202 to the reception device 3.
  • the receiving device 3 is composed of a surgical video receiving unit 301 , a surgical video display unit 302 , and a video selection status transmitting unit 303 .
  • the surgical image receiving unit 301 receives surgical images transmitted from the information processing server 2 .
  • the surgical image received by the surgical image receiving unit 301 is output to the surgical image display unit 302 .
  • the surgical image display unit 302 displays the surgical image supplied from the surgical image receiving unit 301 on the display of the receiving device 3.
  • the video selection status transmission unit 303 receives the selection of the surgical video by the user, and transmits video selection information according to the content of the selection to the operating room server 11 .
  • the image selection information may be transmitted via the information processing server 2 or may be transmitted directly from the receiving device 3 to the operating room server 11 .
  • the user may select a partial area of the surgical image.
  • information indicating the area selected by the user is included in the video selection information and transmitted to the operating room server 11 .
  • the image selection information includes various types of information regarding the selection of surgical images.
  • FIG. 4 is a diagram showing a display example of a surgical image on the receiving device 3.
  • FIG. 4 is a diagram showing a display example of a surgical image on the receiving device 3.
  • the display 311 of the receiving device 3 displays surgical images transmitted from the operating room server 11 in various formats.
  • the screen shown in A of FIG. 4 is an enlarged display of the surgical image P1, which is the image of the surgical site.
  • the screen shown in A of FIG. 4 is displayed, for example, when the user selects to view only the image of the operative site in high-quality enlargement.
  • the user can concentrate on viewing only the surgical image.
  • the screen shown in FIG. 4B is a screen in which the surgical image P1 is displayed enlarged on the left side, and the surgical images P2 and P3 are displayed small on the right side thereof.
  • the surgical image P2 is an image showing the state of the entire operating room.
  • the surgical image P3 is a screen image showing the patient's vital signs.
  • the screen shown in FIG. 4B is displayed, for example, when the surgical image P1 is set as the primary image and the surgical images P2 and P3 are set as the secondary images.
  • the primary video is a surgical video with the highest priority
  • the secondary video is a surgical video with a lower priority than the primary video.
  • the user can also set a priority for each surgical image.
  • each surgical image By displaying each surgical image as shown in FIG. 4B, the user can view the surgical site image while checking the state of the entire operating room and the patient's vital signs.
  • the user can display the surgical video in various formats, such as displaying the video that the user wants to focus on in a larger size.
  • step S11 the line status analysis unit 201 of the information processing server 2 analyzes the status of the communication line, and in step S12, transmits the line information to the operating room server 11.
  • step S1 the line status acquisition unit 101 of the operating room server 11 receives and acquires the line information transmitted from the information processing server 2.
  • step S ⁇ b>21 the video selection status transmission unit 303 of the receiving device 3 receives the user's selection and transmits video selection information to the operating room server 11 .
  • the operation video may be selected while viewing the video transmitted from the operating room server 11 .
  • step S2 the image selection status receiving unit 104 of the operating room server 11 receives the image selection information transmitted from the receiving device 3.
  • step S3 the surgical image acquisition unit 102 receives and acquires surgical images transmitted from a plurality of cameras installed in the operating room.
  • step S4 the surgical image analysis unit 103 analyzes the surgical image.
  • step S5 the surgical image quality control unit 105 controls the surgical image quality based on the line information and the image selection information.
  • step S ⁇ b>6 the surgical image transmission unit 106 transmits the quality-controlled surgical image to the information processing server 2 .
  • step S ⁇ b>13 the surgical video reception unit 202 of the information processing server 2 receives the surgical video transmitted from the operating room server 11 .
  • step S14 the surgical image transmission unit 203 transmits the surgical image to the receiving device 3.
  • step S ⁇ b>22 the surgical image receiving section 301 of the receiving device 3 receives the surgical image transmitted from the information processing server 2 .
  • step S23 the surgical image display unit 302 displays the surgical image on the display.
  • the surgical images selected by the user can be transmitted in both real time and high quality. can be transmitted while maintaining
  • Quality control by the surgical image quality control unit 105 will be described. Quality control may be performed by combining two or more of the following processes.
  • the surgical video selected by the user is transmitted in a high quality state, and the other surgical video is transmitted in a degraded state.
  • the surgical video selected by the user as the primary video is transmitted in a high quality state. Reducing the quality of the surgical image is achieved by, for example, reducing at least one of the resolution and frame rate of the surgical image.
  • ⁇ Second example (an example of transmitting only the area selected by the user with high quality)
  • the quality of the surgical image is controlled by reducing the quality of areas other than the area selected by the user.
  • the area selected by the user in the surgical video is transmitted in a high quality state, and the other areas are transmitted in a reduced quality state.
  • the regions showing the organ that is being operated on are transmitted in high quality. Reducing the quality of some areas is realized, for example, by reducing the resolution of areas other than the area selected by the user.
  • the region selected by the user may be cut out by cropping processing for each frame that constitutes the surgical video, and the video of the cut-out region may be transmitted as the surgical video with the quality controlled.
  • a video obtained by cutting out a part of the region is a video whose resolution is lower than that of the original video, so that the quality of the video is lowered.
  • ⁇ Third example (example of controlling quality based on priority)
  • the quality of the surgical image is controlled based on the priority set according to the user's selection.
  • the primary video which is a surgical video with a high priority
  • the secondary video which is a surgical video with a lower priority than the primary video
  • ⁇ Fourth example (example of selection of quality reduction method) Regarding the method of lowering the quality of the secondary video, the user may be allowed to select which of the resolution and frame rate is to be lowered. The user may be able to choose to reduce both resolution and frame rate.
  • the receiving device 3 transmits to the operating room server 11 information indicating the content of the user's selection regarding how to reduce the quality, for example, included in the video selection information.
  • the user another person such as an operator in the operating room may be allowed to select the method of lowering.
  • ⁇ Fifth example (example of not transmitting surgical images other than surgical images with high priority)
  • the quality of surgical images is controlled by not transmitting surgical images other than an arbitrary number of surgical images with high priority set according to selection by the user.
  • Surgical images other than the primary image and the secondary image are excluded from transmission targets as low-priority surgical images.
  • the user may be able to select the number of surgical videos to be transmitted in high quality. Reducing the number of images to be transmitted results in a reduction in the quality of the surgical image as a whole.
  • ⁇ Sixth example (example of synthesizing and transmitting a plurality of surgical images)
  • the quality of surgical images is controlled by synthesizing an arbitrary number of high-priority surgical images set according to user selection into one image.
  • Synthesis of surgical images may be performed in the information processing server 2 instead of the operating room server 11 .
  • a processing unit having the same function as the surgical image quality control unit 105 is implemented in the information processing server 2 .
  • the priority of the surgical image is set based on the medical device information included in the attribute information of the surgical image, and the quality of the surgical image is controlled based on the set priority.
  • attribute information such as DICOM (Digital Imaging and Communications in Medicine) is added to surgical images output by the device group 13 used for endoscopic surgery.
  • DICOM includes medical device information that indicates the type of medical device that is the source of video output.
  • the priority of surgical images is automatically set in the operating room server 11.
  • a high priority is set for surgical images using an endoscope.
  • the contents of the surgical video are analyzed by the surgical video analysis unit 103, and the quality of the surgical video is controlled based on the situation of the surgery.
  • the analysis of the content of the surgical video is performed using, for example, an inference model that inputs each frame of the surgical video and outputs information indicating the status of the surgery.
  • the importance of surgical content is identified based on the output of the inference model. For example, a surgical video in which an important organ is dissected is identified as a video with a high degree of importance.
  • surgical videos that have been identified as videos with a high degree of importance are transmitted in a high-quality state.
  • Surgical images identified as less important images are transmitted at reduced resolution and reduced quality.
  • the surgical images selected by the user will be transmitted in high quality.
  • Surgical images not selected by the user are transmitted at reduced resolution and reduced quality.
  • ⁇ Tenth example (example of controlling quality based on both surgical conditions and communication line conditions)
  • the quality of surgical images is controlled based on both surgical conditions and communication line conditions.
  • FIG. 6 is a diagram showing a specific example of the status of communication lines.
  • the state (transmission speed) of the communication line between information processing server 2 and operating room system 1 is analyzed to be 100 Mbps, and as indicated by arrow #4, information processing server 2 and the receiving device 3 is analyzed to be 100 Mbps.
  • the state of the communication line is analyzed by the line state analysis unit 201 .
  • the line information is transmitted from the information processing server 2 to the operating room system 1 and acquired by the line status acquisition unit 101 of the operating room server 11 .
  • the surgical image acquisition unit 102 acquires a surgical image P1, which is a surgical field image, and a surgical image P2, which is an operating room image.
  • the surgical video P1 and the surgical video P2 are videos with a resolution of 4K, a frame rate of 60p, and a bit rate of 50 Mbps.
  • the surgical image P1 is the primary image
  • the surgical image P2 is the secondary image.
  • FIG. 8 is a diagram showing a second specific example of quality control of surgical images.
  • the transmission speed of the communication line between the information processing server 2 and the operating room system 1 and the communication line between the information processing server 2 and the receiving device 3 is 75 Mbps. are analyzed by the line status analysis unit 201 .
  • the surgical video P1 and the surgical video P2 are videos with a resolution of 4K, a frame rate of 60p, and a bit rate of 50 Mbps.
  • the surgical video quality control unit 105 executes, for example, the balloon shown in the upper right of FIG. , the bit rate of the surgical video P1 is reduced to 45 Mbps, and the bit rate of the surgical video P2 is reduced to 5 Mbps, so that the quality of the two surgical videos is controlled.
  • the surgical video P1-1 and the surgical video P2-2 whose total bit rate is 50 Mbps, which is suppressed from the transmission speed, are transmitted to the receiving device 3 via the information processing server 2.
  • FIG. 9 is a diagram showing a third specific example of quality control of surgical images.
  • the transmission speed of the communication line between the information processing server 2 and the operating room system 1 and the communication line between the information processing server 2 and the receiving device 3 is 50 Mbps. are analyzed by the line status analysis unit 201 .
  • the surgical video P1 and the surgical video P2 are videos with a resolution of 4K, a frame rate of 60p, and a bit rate of 50 Mbps.
  • FIG. 9 shows only the processing for the surgical image P1.
  • the surgical image P1 is analyzed to be a surgical image with a high degree of importance, and the user selects the area containing the important blood vessel as the area that the user wants to see in high quality. If so, the surgical image analysis unit 103 detects a rectangular area (the area indicated by the frame F) including important blood vessels and their surroundings, as shown in the balloon in the center of FIG.
  • the rectangular area detected by the surgical image analysis unit 103 is cut out from the surgical image P1 by crop processing.
  • the image of the rectangular area cut out by the cropping process is synthesized with the image obtained by lowering the resolution of the entire surgical image P1 and reducing the bit rate to 5 Mbps.
  • a surgical image P1-2 which is one composite image as shown, is generated.
  • the bit rate of the surgical video P1-2 is, for example, 20 Mbps.
  • the area other than the rectangular area indicated by the frame F is blurred, indicating that the area other than the rectangular area has a low resolution.
  • the operation room server 11 may select the area by analyzing the video.
  • the quality is controlled by reducing the bit rate to 5 Mbps, similarly to the case described with reference to FIG. 8, and the surgical video P2-2 is generated.
  • the surgical video P1-2 and the surgical video P2-2 with a total bit rate of 25 Mbps, which is lower than the transmission speed, are transmitted to the receiving device 3 via the information processing server 2.
  • the surgical video quality control unit 105 may be implemented in the information processing server 2 and the control of the surgical video quality may be performed in the information processing server 2 .
  • the information output by each of the line status acquisition unit 101 , surgical video analysis unit 103 , and video selection status reception unit 104 is transmitted to the information processing server 2 .
  • the quality is controlled by lowering at least one of the resolution and frame rate
  • the quality of surgical images may be controlled by other methods.
  • the quality may be reduced by switching the scanning method of the surgical image from progressive scanning to interlaced scanning.
  • the video to be distributed is surgical video
  • the above-described technology can also be applied to the distribution of various video such as video captured by surveillance cameras.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed from a program recording medium into a computer built into dedicated hardware or a general-purpose personal computer.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • the information processing server 2, the receiving device 3, and the operating room server 11 each have the same configuration as the configuration shown in FIG.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 1005 is further connected to the bus 1004 .
  • An input unit 1006 , an output unit 1007 , a storage unit 1008 , a communication unit 1009 and a drive 1010 are connected to the input/output interface 1005 .
  • a drive 1010 drives a removable medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of processes. is done.
  • Programs executed by the CPU 1001 are, for example, recorded on a removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • this technology can take the configuration of cloud computing in which a single function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • the present technology can also take the following configurations.
  • Information processing system The quality of each of the plurality of surgical images is controlled based on the state of selection of images by a user viewing a plurality of surgical images including images shot in an operating room using a receiving device and the state of a communication line.
  • An information processing method comprising: transmitting the quality-controlled surgical video to the receiving device via an information processing server on a network.
  • the surgical video is arranged so that the surgical video with the higher priority has higher quality than the surgical video with the lower priority.
  • the quality of each of the plurality of surgical videos based on information indicating the selection status of the videos by the user viewing the plurality of surgical videos including the videos taken in the operating room using the receiving device and the status of the communication line.
  • a quality control unit that controls and a transmission control unit configured to transmit the quality-controlled surgical video to the receiving device via an information processing server on a network.
  • the computer to control the A program for executing a process of transmitting the quality-controlled surgical video to the receiving device via an information processing server on a network.
  • 1 surgery system 1 surgery system, 2 information processing server, 3 receiving device, 11 operating room server, 101 line status acquisition unit, 102 surgical video acquisition unit, 103 surgical video analysis unit, 104 video selection status reception unit, 105 surgical video quality control unit, 106 Operation video transmission unit, 201 Line status analysis unit, 202 Operation video reception unit, 203 Operation video transmission unit, 301 Operation video reception unit, 302 Operation video display unit, 303 Video selection status transmission unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本技術は、手術映像の品質を状況に応じて適切に制御することができるようにする情報処理方法、情報処理システム、およびプログラムに関する。 本技術の一側面の情報処理方法は、手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況と、通信回線の状況とに基づいて、複数の手術映像のそれぞれの品質を制御し、品質を制御した手術映像を、ネットワーク上の情報処理サーバを経由して受信デバイスに送信する。本技術は、遠方にいる医者が指導医となって、手術室にいる術者に対して手術の仕方を指導することに適用することができる。

Description

情報処理方法、情報処理システム、およびプログラム
　本技術は、情報処理方法、情報処理システム、およびプログラムに関し、特に、手術映像の品質を状況に応じて適切に制御することができるようにした情報処理方法、情報処理システム、およびプログラムに関する。
　医療サービスを含む様々なサービスのクラウド化が進められている。昨今の人手不足を背景に、手術シーンにおいても、熟練の医師が、クラウド経由で配信された手術の映像を見て手術室外から指導を行う方法が提案されている。
　特許文献１には、救急現場と救急センターとの間における通信において、通信バンド幅が映像と音声の両方を救急現場から送信するのに十分でない場合に、映像の送信を一時中止し、患者のデータの送信を優先させる技術が開示されている。
特開２０１８－１４９３７８号公報
　クラウド経由で映像を配信する場合、遅延が発生することが想定される。また、映像配信においては、映像の品質とリアルタイム性は、通常、トレードオフの関係にある。例えば、リアルタイム性を維持するためには、映像品質を下げる必要がある。
　しかしながら、上述したように手術の仕方を遠方から指導医が指導する場合においては、高品質な医療映像を指導医の元にリアルタイムで配信することが重要となる。
　本技術はこのような状況に鑑みてなされたものであり、手術映像の品質を状況に応じて適切に制御することができるようにするものである。
　本技術の一側面の情報処理方法は、手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御し、品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する。
　本技術においては、手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質が制御され、品質を制御した前記手術映像が、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信される。
本技術の一実施形態に係る情報処理システムの例を示す図である。 手術室システムの構成例を示す図である。 情報処理システムを構成する各装置の機能構成例を示すブロック図である。 受信デバイスにおける手術映像の表示例を示す図である。 情報処理システムを構成する各装置のそれぞれの処理の流れについて説明するシーケンス図である。 通信回線の状況の具体例を示す図である。 手術映像の品質制御の第１の具体例を示す図である 手術映像の品質制御の第２の具体例を示す図である。 手術映像の品質制御の第３の具体例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本技術の概要
　２．情報処理システムの機能構成
　３．情報処理システムの動作
　４．品質制御の例
　５．品質制御の具体例
　６．変形例
＜本技術の概要＞
　図１は、本技術の一実施形態に係る情報処理システムの例を示す図である。
　本技術の一実施形態に係る情報処理システムは、手術室システム１、情報処理サーバ２、および受信デバイス３により構成される。各構成は、インターネットなどのネットワークを介して接続される。
　手術室システム１は、病院などの、手術室がある医療施設内に設けられる。後述するように、手術室システム１には、術部を撮影するカメラ、手術室の様子を撮影するカメラなどの複数台のカメラが設けられる。
　情報処理サーバ２は、ネットワーク上のサーバ（クラウドサーバ）である。手術室システム１と情報処理サーバ２の間、情報処理サーバ２と受信デバイス３の間では、それぞれ、インターネットを介して通信が行われる。
　受信デバイス３は、ユーザの自宅などの、手術室から離れた位置にあるデバイスである。受信デバイス３は、PC、タブレット端末などにより構成される。例えば、遠方にいる医者がユーザとなって受信デバイス３の操作が行われる。手術室から離れた位置であれば、ユーザの自宅以外の様々な位置で受信デバイス３が使用されるようにしてもよい。
　図１の矢印＃１で示すように、手術室において行われている手術の映像や、患者のバイタルサインを示す画面の映像などの手術映像が、情報処理サーバ２にリアルタイムでアップロードされる。アップロードされた手術映像は、矢印＃２で示すように、情報処理サーバ２を経由して受信デバイス３に対してリアルタイムで送信される（ダウンロードされる）。
　受信デバイス３に対して送信された手術映像は、受信デバイス３のディスプレイに表示される。受信デバイス３のユーザは、ディスプレイに表示された手術映像を見て、手術室で行われている手術の内容を確認し、手術室にいる術者などに対してリアルタイムに指示を出すことができる。指示の内容を示す映像や音声のデータは、受信デバイス３から、情報処理サーバ２を経由して手術室システム１に対して送信され、手術室において出力される。
　このように、図１の情報処理システムは、例えば、遠方にいる医者（受信デバイス３のユーザ）が指導医となって、手術室にいる術者に対して手術の仕方を指導することに用いられる。
　後に詳述するように、受信デバイス３のユーザは、手術室システム１からアップロードされた複数の手術映像の中から、高品質で見たい映像を選択することができる。ユーザによる映像の選択状況を示す情報は手術室システム１に対して送信され、アップロードする手術映像の品質の制御に用いられる。
　手術室システム１においては、ユーザによる映像の選択状況と、通信回線の状況に基づいて、手術映像の品質の制御が行われる。品質の制御は、それぞれの手術映像の解像度を調整したり、フレームレートを調整したりすることによって行われる。
　例えば、ユーザが選択している映像については高品質で送信し、ユーザが選択していない映像については低品質で送信するようにして、アップロードする手術映像の品質の制御が行われる。これにより、通信回線の状況が全ての手術映像を高品質で送信することができない状況にある場合であっても、手術映像のリアルタイム性と品質の両方を維持することが可能となる。
・手術室システム１の構成
　図２は、図１の手術室システム１の構成例を示す図である。
　手術室システム１においては、手術室内に設置される装置群が、手術室サーバ１１とIPスイッチ(SW)１２を介して互いに連携可能に接続される。手術室システム１は、４Ｋ／８Ｋ画像を送受信可能なIP(Internet Protocol)ネットワークで構成され、入出力画像と各機器に対する制御情報がIPネットワークを経由して送受信される。
　手術室には、様々な装置が設置される。図２の例では、内視鏡下手術のための各種の装置群１３、術者の手元を撮影するシーリングカメラ１４、手術室全体の様子を撮影する術場カメラ１５、表示装置１６Ａ乃至１６Ｄ、患者ベッド１７、および照明１８が示されている。シーリングカメラ１４と術場カメラ１５は、ともに手術室の天井に設けられる。装置群１３には、図示されている内視鏡の他、マスタスレーブ型内視鏡下手術用ロボットやＸ線撮影装置など、画像を取得する種々の医療用機器が適用されてよい。
　表示装置１６Ａ乃至１６Ｃ、装置群１３、シーリングカメラ１４、および術場カメラ１５と、IP SW１２とは、それぞれIPコンバータ１９Ａ乃至１９Ｆを介して接続される。以下、IPコンバータ１９Ａ乃至１９Ｆなどを互いに区別しない場合、単にIPコンバータ１９という。
　画像を入力する入力ソース側（カメラ側）のIPコンバータ１９であるIPコンバータ１９Ｄ，１９Ｅ，１９Ｆは、個々の医療撮影装置（内視鏡、手術用顕微鏡、Ｘ線撮影装置、術場カメラ、病理画像撮影装置など）からの画像をIP変換し、ネットワーク上に送信する。画像を出力する画像出力側（モニタ側）のIPコンバータ１９であるIPコンバータ１９Ａ乃至１９Ｃは、ネットワーク経由で送信された画像をモニタ固有のフォーマットに変換して出力する。入力ソース側のIPコンバータ１９はエンコーダとして機能し、画像出力側のIPコンバータ１９はデコーダとして機能する。入力ソースは、例えば映像ソースを含む。
　IPコンバータ１９は、各種の画像処理機能を備えることができる。例えば、IPコンバータ１９は、出力先に応じた解像度変換処理、内視鏡画像の回転補正や手振れ補正、オブジェクト認識処理などを実行する機能を備えることができる。
　これらの画像処理機能は、接続される医療画像装置固有のものであってもよいし、外部からアップグレード可能なものであってもよい。画像出力側（モニタ側）のIPコンバータ１９は、複数の画像の合成（PinP処理など）やアノテーション情報の重畳などの処理を行うことも可能である。
　IPコンバータ１９のプロトコル変換機能は、受信した信号を、例えばインターネットなどのネットワーク上で通信可能な通信プロトコルに準拠した変換信号に変換する機能である。通信プロトコルには、任意の通信プロトコルが設定されてもよい。また、IPコンバータ１９が受信したプロトコル変換可能な信号はデジタル信号であり、例えば画像信号や画素信号である。IPコンバータ１９は、入力ソース側の装置の内部や、画像出力側の装置の内部に組み込まれてもよい。
　装置群１３は、例えば、内視鏡下手術システムに属するものであり、内視鏡やその内視鏡によって撮影された画像を表示する表示装置などからなる。一方、表示装置１６Ａ乃至１６Ｄ、患者ベッド１７、および照明１８は、内視鏡下手術システムとは別個に、手術室に備え付けられている装置である。これらの手術または診断に用いられる各機器は、医療用機器とも呼ばれる。手術室サーバ１１および／またはIP SW１２は、これらの医療用機器の動作を連携して制御する。また、手術室内に手術ロボット（手術用マスタスレーブ）システム、Ｘ線撮影装置などの医療画像取得装置を含む場合には、それらの機器も装置群１３として接続される。
　ここで、手術室システム１が備える装置のうち、装置群１３、シーリングカメラ１４、および術場カメラ１５は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置ともいう）である。また、表示装置１６Ａ乃至１６Ｄは、表示情報が出力される装置（以下、出力先の装置ともいう）である。
　手術室サーバ１１は、手術室システム１内における処理を、統括的に制御する。
　手術室サーバ１１は、発信元の装置と出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、その表示情報を出力先の装置に送信し、表示または記録させる機能を有する。表示情報は、手術中に撮影された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報）などを含む。
　具体的には、手術室サーバ１１には、装置群１３からの表示情報として、内視鏡によって撮影された患者の体腔内の術部の画像についての情報が送信される。また、手術室サーバ１１には、シーリングカメラ１４からの表示情報として、そのシーリングカメラ１４によって撮影された術者の手元の画像についての情報が送信される。また、手術室サーバ１１には、術場カメラ１５からの表示情報として、その術場カメラ１５によって撮影された手術室全体の様子を示す画像についての情報が送信される。手術室システム１に撮影機能を有する他の装置が存在する場合には、手術室サーバ１１は、表示情報として、それら他の装置からも、それら他の装置によって撮影された画像についての情報を取得してもよい。
　手術室サーバ１１は、出力先の装置である表示装置１６Ａ乃至１６Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図２の例では、表示装置１６Ａは、手術室の天井から吊り下げられて設置される表示装置であり、表示装置１６Ｂは、手術室の壁面に設置される表示装置である。表示装置１６Ｃは、手術室内の机上に設置される表示装置であり、表示装置１６Ｄは、表示機能を有するモバイル機器（例えば、タブレットPC(Personal Computer)やスマートフォン）である。
　後に詳述するように、手術室サーバ１１は、情報処理サーバ２経由で受信デバイス３に送信する手術映像の品質を制御することなども行う。
　IP SW１２は、接続された機器に対する画像信号の入出力を制御する入出力コントローラの１つとして構成される。例えば、IP SW１２は、手術室サーバ１１の制御に基づいて、画像信号の入出力を制御する。IP SW１２は、IPネットワーク上に配置された機器間における画像信号の高速な転送を制御する。
　手術室システム１には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタなどである。このような外部装置が病院外にある場合には、手術室サーバ１１は、遠隔医療のために、テレビ会議システムなどを介して、他の病院の表示装置に表示情報を表示させることもできる。
　外部サーバ２０は、例えば、手術室外の院内サーバや、クラウドサーバである情報処理サーバ２と通信を行う。手術室内の画像情報は、外部サーバ２０を介して情報処理サーバ２に送信される。送信されるデータは、内視鏡などの手術映像そのものや、画像から抽出されたメタデータ、接続される機器の稼働状況を示すデータなどであってもよい。
　手術室システム１において、IPネットワークは、有線ネットワークで構成されてもよいし、そのIPネットワークの一部または全てが無線ネットワークで構築されてもよい。例えば、無線通信機能を有する入力ソース側のIPコンバータ１９が、受信した画像を第５世代移動通信システム（５Ｇ）や第６世代移動通信システム（６Ｇ）などの無線通信ネットワークを介して、画像出力側のIPコンバータ１９に送信してもよい。
＜情報処理システムの機能構成＞
　図３は、図１の情報処理システムを構成する各装置の機能構成例を示すブロック図である。図３に示す各機能は、各装置を構成するコンピュータのCPUにより所定のプログラムが実行されることによって実現される。
・手術室サーバ１１の機能構成
　手術室サーバ１１は、回線状況取得部１０１、手術映像取得部１０２、手術映像解析部１０３、映像選択状況受信部１０４、手術映像品質制御部１０５、および手術映像送信部１０６により構成される。
　回線状況取得部１０１は、情報処理サーバ２から送信されてきた通信回線の状況を示す情報を取得する。通信回線の状況を示す情報は、手術映像品質制御部１０５に出力される。
　手術映像取得部１０２は、手術室内に設置された複数のカメラから送信されてきた手術映像を取得する。手術映像取得部１０２が取得する手術映像には、例えば、図２の装置群１３の内視鏡によって撮影された映像、シーリングカメラ１４によって撮影された術者の手元の映像、術場カメラ１５によって撮影された手術室全体の様子の映像、および患者のバイタルサインを示す画面の映像が含まれる。手術映像取得部１０２によって取得された手術映像は、手術映像解析部１０３に出力される。
　手術映像解析部１０３は、手術映像取得部１０２から供給された手術映像を解析する。手術映像の解析は、例えば、様々な手術行為が映る複数の映像を学習データとした機械学習によってあらかじめ生成された推論モデルを用いて行われる。推論モデルに対して手術映像を入力することにより、手術内容や手術内容の重要度を表す情報が出力される。手術映像解析部１０３による解析結果の情報は、手術映像とともに手術映像品質制御部１０５に出力される。
　映像選択状況受信部１０４は、受信デバイス３においてどの手術映像が選択されているのかを示す情報である映像選択情報を受信する。受信デバイス３においては、例えば、高品質で見たい手術映像の選択、どの手術映像をPrimary映像、Secondary映像とするのかの選択などが行われる。手術映像の選択が行われたことに応じて、受信デバイス３から手術室サーバ１１に対して映像選択情報が送信される。映像選択状況受信部１０４によって受信された映像選択情報は、手術映像品質制御部１０５に出力される。
　手術映像品質制御部１０５は、回線状況取得部１０１、手術映像解析部１０３、および映像選択状況受信部１０４のそれぞれから供給された情報に基づいて、受信デバイス３に送信する手術映像の品質を制御する。品質の制御の仕方の具体例については後述する。手術映像品質制御部１０５によって品質が制御された手術映像は、手術映像送信部１０６に出力される。
　手術映像送信部１０６は、手術映像品質制御部１０５から供給された、品質制御後の手術映像を、例えば外部サーバ２０（図２）を介して情報処理サーバ２に送信する（アップロードする）。
　この例においては、回線状況取得部１０１、手術映像取得部１０２、手術映像解析部１０３、映像選択状況受信部１０４、手術映像品質制御部１０５、および手術映像送信部１０６の全ての機能部が手術室サーバ１１において実現されるものとしたが、少なくとも一部の機能部が、手術室システム１内の他の装置において実現されるようにしてもよい。例えば、手術映像に対する画像処理を行う手術映像品質制御部１０５の機能については、IPコンバータ１９において実現されるようにすることが可能である。
・情報処理サーバ２の機能構成
　情報処理サーバ２は、回線状況解析部２０１、手術映像受信部２０２、および手術映像送信部２０３により構成される。情報処理サーバ２の各機能部が複数台のコンピュータによって実現されるようにしてもよい。
　回線状況解析部２０１は、手術室システム１の例えば外部サーバ２０と通信を行い、情報処理サーバ２と手術室システム１との間の通信回線の状況を解析する。また、回線状況解析部２０１は、受信デバイス３と通信を行い、情報処理サーバ２と受信デバイス３との間の通信回線の状況を解析する。回線状況解析部２０１による解析結果を示す情報である回線情報は、手術室サーバ１１に送信される。
　手術映像受信部２０２は、手術室サーバ１１から送信されてきた手術映像を受信する。手術映像受信部２０２により受信された手術映像は、手術映像送信部２０３に出力される。
　手術映像送信部２０３は、手術映像受信部２０２から供給された手術映像を受信デバイス３に送信する。
・受信デバイス３の機能構成
　受信デバイス３は、手術映像受信部３０１、手術映像表示部３０２、および映像選択状況送信部３０３により構成される。
　手術映像受信部３０１は、情報処理サーバ２から送信されてきた手術映像を受信する。
手術映像受信部３０１により受信された手術映像は、手術映像表示部３０２に出力される。
　手術映像表示部３０２は、手術映像受信部３０１から供給された手術映像を受信デバイス３のディスプレイに表示する。
　映像選択状況送信部３０３は、ユーザによる手術映像の選択を受け付け、選択内容に応じた映像選択情報を手術室サーバ１１に送信する。映像選択情報の送信が、情報処理サーバ２を経由して行われるようにしてもよいし、受信デバイス３から手術室サーバ１１に直接送信するようにして行われるようにしてもよい。
　手術映像の一部の領域の選択がユーザにより行われるようにしてもよい。この場合、ユーザにより選択された領域を示す情報が映像選択情報に含められ、手術室サーバ１１に対して送信される。このように、手術映像の選択に関する各種の情報が映像選択情報に含まれる。
　図４は、受信デバイス３における手術映像の表示例を示す図である。
　図４に示すように、受信デバイス３のディスプレイ３１１には、手術室サーバ１１から送信されてきた手術映像が様々な形式で表示される。図４のＡに示す画面は、術部の映像である手術映像Ｐ１を拡大表示させた画面である。図４のＡに示す画面は、例えば、術部の映像だけを高品質で拡大して見ることをユーザが選択したときに表示される。
　図４のＡに示すようにして手術映像Ｐ１が表示されることによって、ユーザは、術部の映像だけを集中して見ることができる。
　図４のＢに示す画面は、手術映像Ｐ１を左側に拡大表示し、その右側に、手術映像Ｐ２と手術映像Ｐ３を小さく表示させた画面である。手術映像Ｐ２は、手術室全体の様子を示す映像である。手術映像Ｐ３は、患者のバイタルサインを示す画面の映像である。図４のＢに示す画面は、例えば、Primary映像として手術映像Ｐ１を設定し、Secondary映像として手術映像Ｐ２，Ｐ３を設定したときに表示される。Primary映像は、優先度が最も高い手術映像であり、Secondary映像は、優先度がPrimary映像より低い手術映像である。ユーザは、それぞれの手術映像に対して優先度を設定することもできる。
　図４のＢに示すようにしてそれぞれの手術映像が表示されることによって、ユーザは、手術室全体の様子や患者のバイタルサインを確認しながら、術部の映像を見ることができる。
　このように、ユーザは、注目して見たい映像を大きく表示させるなどの、各種の形式で手術映像を表示させることができる。
＜情報処理システムの動作＞
　ここで、図５のシーケンス図を参照して、以上のような構成を有する手術室サーバ１１、情報処理サーバ２、および受信デバイス３のそれぞれの処理の流れについて説明する。
　ステップＳ１１において、情報処理サーバ２の回線状況解析部２０１は、通信回線の状況を解析し、ステップＳ１２において、回線情報を手術室サーバ１１に送信する。
　ステップＳ１において、手術室サーバ１１の回線状況取得部１０１は、情報処理サーバ２から送信されてきた回線情報を受信し、取得する。
　ステップＳ２１において、受信デバイス３の映像選択状況送信部３０３は、ユーザによる選択を受け付け、映像選択情報を手術室サーバ１１に送信する。手術映像の選択が、手術室サーバ１１から送信されてきた映像を見ている状態で行われるようにしてもよい。
　ステップＳ２において、手術室サーバ１１の映像選択状況受信部１０４は、受信デバイス３から送信されてきた映像選択情報を受信する。
　ステップＳ３において、手術映像取得部１０２は、手術室内に設置された複数のカメラから送信されてきた手術映像を受信し、取得する。
　ステップＳ４において、手術映像解析部１０３は、手術映像を解析する。
　ステップＳ５において、手術映像品質制御部１０５は、回線情報と映像選択情報に基づいて、手術映像の品質を制御する。
　ステップＳ６において、手術映像送信部１０６は、品質が制御された手術映像を情報処理サーバ２に送信する。
　ステップＳ１３において、情報処理サーバ２の手術映像受信部２０２は、手術室サーバ１１から送信されてきた手術映像を受信する。
　ステップＳ１４において、手術映像送信部２０３は、手術映像を受信デバイス３に送信する。
　ステップＳ２２において、受信デバイス３の手術映像受信部３０１は、情報処理サーバ２から送信されてきた手術映像を受信する。
　ステップＳ２３において、手術映像表示部３０２は、手術映像をディスプレイに表示する。
　以上の処理により、通信回線の状況が全ての手術映像を高品質で送信することができない状況にある場合であっても、特にユーザが選択している手術映像については、リアルタイム性と品質の両方を維持した状態で送信することが可能となる。
＜品質制御の例＞
　手術映像品質制御部１０５による品質制御の例について説明する。以下の処理の２つ以上を組み合わせて品質制御が行われるようにしてもよい。
・第１の例（ユーザが選択している手術映像だけを高品質で送信する例）
　ユーザが選択している手術映像以外の手術映像の品質を低下させるようにして手術映像の品質の制御が行われる。
　この場合、ユーザが選択している手術映像については高品質の状態のまま送信され、それ以外の手術映像については、品質を低下させた状態で送信される。例えば、Primary映像としてユーザが選択している手術映像だけが、高品質の状態のまま送信される。手術映像の品質を低下させることは、例えば、手術映像の解像度とフレームレートのうちの少なくともいずれかを低下させることによって実現される。
・第２の例（ユーザが選択している領域だけを高品質で送信する例）
　ある手術映像のうちの一部の領域をユーザが選択している場合、ユーザが選択している領域以外の領域の品質を低下させるようにして手術映像の品質の制御が行われる。
　この場合、ある手術映像のうちの、ユーザが選択している領域については高品質の状態のまま送信され、それ以外の領域については、品質を低下させた状態で送信される。例えば、手術の対象になっている臓器が映っている領域だけが高品質の状態のまま送信される。一部の領域の品質を低下させることは、例えば、ユーザが選択している領域以外の領域の解像度を低下させることによって実現される。
　ユーザが選択している領域が、手術映像を構成する各フレームを対象としたクロップ処理により切り出され、切り出された領域の映像が、品質を制御した手術映像として送信されるようにしてもよい。一部の領域を切り出した映像は、オリジナルの映像と較べて解像度が低下した映像であるから、品質を低下させた映像となる。
・第３の例（優先度に基づいて品質を制御する例）
　Primary映像とSecondary映像の２つの手術映像をユーザが選択している場合、ユーザによる選択に応じて設定された優先度に基づいて、手術映像の品質の制御が行われる。
　この場合、優先度が高い手術映像であるPrimary映像については高品質の状態のまま送信され、Primary映像より優先度が低い手術映像であるSecondary映像については、品質を低下させた状態で送信される。
・第４の例（品質の低下方法の選択の例）
　Secondary映像の品質の低下のさせ方について、解像度とフレームレートのうちのどちらを低下させるかをユーザが選択することができるようにしてもよい。解像度とフレームレートの両方を低下させることをユーザが選択することができるようにしてもよい。
　この場合、品質の低下のさせ方に関するユーザの選択内容を示す情報が、例えば映像選択情報に含めて受信デバイス３から手術室サーバ１１に対して送信される。ユーザではなく、手術室にいる術者などの他の人が低下のさせ方を選択することができるようにしてもよい。
・第５の例（優先度が高い手術映像以外の手術映像を送信しない例）
　ユーザによる選択に応じて設定された優先度が高い任意の数の手術映像以外の手術映像を送信しないようにして、手術映像の品質の制御が行われる。
　例えば、３種類以上の手術映像がある場合において、Primary映像とSecondary映像が１つずつ選択されているとき、優先度が高い手術映像であるPrimary映像とSecondary映像だけが高品質のまま送信される。Primary映像とSecondary映像以外の手術映像については、優先度が低い手術映像として送信対象から除外される。高品質のまま送信する手術映像の数をユーザが選択することができるようにしてもよい。送信する映像の数が削減されることにより、手術映像全体としての品質が低下することになる。
・第６の例（複数の手術映像を合成して送信する例）
　ユーザによる選択に応じて設定された優先度が高い任意の数の手術映像を１つの映像に合成するようにして、手術映像の品質の制御が行われる。
　例えば、Primary映像の各フレームとSecondary映像の各フレームを左右に並べるSide By Side処理や、Primary映像の各フレームに対して、縮小したSecondary映像の各フレームを重畳するPinP処理によって合成が行われる。オリジナルの映像と較べて解像度が低下した映像となるから、合成後の手術映像は、品質を低下させた映像となる。合成する手術映像の数をユーザが選択することができるようにしてもよい。
　手術映像の合成が、手術室サーバ１１ではなく、情報処理サーバ２において行われるようにしてもよい。この場合、手術映像品質制御部１０５と同様の機能を有する処理部が情報処理サーバ２において実現される。
・第７の例（手術映像の属性情報に基づいて品質を制御する例）
　手術映像の属性情報に含まれる医療機器情報に基づいて手術映像の優先度が設定され、設定された優先度に基づいて、手術映像の品質の制御が行われる。例えば、内視鏡下手術に用いられる装置群１３が出力する手術映像には、DICOM(Digital Imaging and Communications in Medicine)などの属性情報が付加されている。DICOMには、映像の出力元となる医療機器の種類などを示す医療機器情報が含まれる。
　この場合、手術映像の優先度が、手術室サーバ１１において自動的に設定されることになる。例えば、内視鏡を用いた手術映像に対しては、高い優先度が設定される。
・第８の例（手術の状況に基づいて品質を制御する例）
　手術映像解析部１０３により手術映像の内容が解析され、手術の状況に基づいて、手術映像の品質の制御が行われる。手術映像の内容の解析は、例えば、手術映像の各フレームを入力とし、手術の状況を示す情報を出力とする推論モデルを用いて行われる。推論モデルの出力に基づいて、手術の内容の重要度が特定される。例えば、重要な臓器の切開の様子が映っている手術映像が、重要度が高い映像として特定される。
　この場合、重要度が高い映像として特定された手術映像については、高品質の状態のまま送信される。重要度が低い映像として特定された手術映像については、解像度を下げ、品質を低下させた状態で送信される。
・第９の例（通信回線の状況に基づいて品質を制御する例）
　通信回線の状況に基づいて、手術映像の品質の制御が行われる。
　例えば、通信回線の状況が全ての手術映像を高品質で送信することができない状況にある場合、ユーザが選択した手術映像については高品質で送信される。ユーザが選択していない手術映像については、解像度を下げ、品質を低下させた状態で送信される。
・第１０の例（手術の状況と通信回線の状況の両方に基づいて品質を制御する例）
　手術の状況と通信回線の状況の両方に基づいて、手術映像の品質の制御が行われる。
　例えば、通信回線の状況が全ての手術映像を高品質で送信することができない状況にある場合、重要度が高い映像として特定された手術映像については、高品質の状態のまま送信される。重要度が低い映像として特定された手術映像については、解像度を下げ、品質を低下させた状態で送信される。
＜品質制御の具体例＞
　ここで、手術映像品質制御部１０５による品質制御の具体例について説明する。
・第１の具体例（上記第９の品質制御の具体例）
　図６は、通信回線の状況の具体例を示す図である。
　図６の矢印＃３で示すように、情報処理サーバ２と手術室システム１との間の通信回線の状況（伝送速度）が100Mbpsと解析され、矢印＃４で示すように、情報処理サーバ２と受信デバイス３との間の通信回線の状況が100Mbpsと解析されている場合について説明する。通信回線の状況は回線状況解析部２０１により解析される。回線情報は、情報処理サーバ２から手術室システム１に対して送信され、手術室サーバ１１の回線状況取得部１０１により取得される。
　また、図７の左側に示すように、術野映像である手術映像Ｐ１と、手術室映像である手術映像Ｐ２が手術映像取得部１０２により取得されているものとする。手術映像Ｐ１と手術映像Ｐ２は、それぞれ、解像度が4K、フレームレートが60p、ビットレートが50Mbpsの映像である。例えば、手術映像Ｐ１がPrimary映像であり、手術映像Ｐ２がSecondary映像である。
　手術映像Ｐ１のビットレートと手術映像Ｐ２のビットレートの合計が３拠点間の伝送速度と等しいから、この状況は、手術映像Ｐ１と手術映像Ｐ２をオリジナルの品質のまま送信することが難しい状況である。
　この場合、例えば、手術映像品質制御部１０５においては、図７の右側の吹き出しに示すように、Secondary映像である手術映像Ｐ２のビットレートが25Mbpsに削減され、手術映像Ｐ１と、ビットレートが削減された手術映像Ｐ２－１が、情報処理サーバ２を経由して受信デバイス３に対して送信される。
　これにより、Primary映像の品質を維持しながら、２つの手術映像をリアルタイムで送信することが可能となる。
・第２の具体例（上記第１０の品質制御の具体例）
　図８は、手術映像の品質制御の第２の具体例を示す図である。
　この例においては、情報処理サーバ２と手術室システム１との間の通信回線の状況、および、情報処理サーバ２と受信デバイス３との間の通信回線の状況として、それぞれ伝送速度が75Mbpsであると回線状況解析部２０１により解析されているものとする。
　また、図８の左側に示すように、手術映像Ｐ１と手術映像Ｐ２が手術映像取得部１０２により取得されているものとする。手術映像Ｐ１と手術映像Ｐ２は、それぞれ、解像度が4K、フレームレートが60p、ビットレートが50Mbpsの映像である。
　手術映像Ｐ１のビットレートと手術映像Ｐ２のビットレートの合計が３拠点間の伝送速度より大きいことから、この状況は、手術映像Ｐ１と手術映像Ｐ２をオリジナルの品質のまま送信することができない状況である。
　手術映像Ｐ２が、手術映像Ｐ１より重要度が低い手術映像であると手術映像解析部１０３により解析された場合、手術映像品質制御部１０５においては、例えば、図８の右上の吹き出しに示すように、手術映像Ｐ１のビットレートを45Mbpsに削減し、手術映像Ｐ２のビットレートを5Mbpsに削減するようにして、２つの手術映像の品質が制御される。ビットレートの合計が50Mbpsとして伝送速度より抑えられた手術映像Ｐ１－１と手術映像Ｐ２－２は、情報処理サーバ２を経由して受信デバイス３に対して送信される。
　これにより、重要なシーンが映っている手術映像Ｐ１の品質を維持しながら、２つの手術映像をリアルタイムで送信することが可能となる。
・第３の具体例（上記第２，６，１０の品質制御の組み合わせの具体例）
　図９は、手術映像の品質制御の第３の具体例を示す図である。
　この例においては、情報処理サーバ２と手術室システム１との間の通信回線の状況、および、情報処理サーバ２と受信デバイス３との間の通信回線の状況として、それぞれ伝送速度が50Mbpsであると回線状況解析部２０１により解析されているものとする。
　また、図８を参照して説明した手術映像Ｐ１と手術映像Ｐ２が手術映像取得部１０２により取得されているものとする。手術映像Ｐ１と手術映像Ｐ２は、それぞれ、解像度が4K、フレームレートが60p、ビットレートが50Mbpsの映像である。図９には、手術映像Ｐ１についての処理のみが示されている。
　手術映像Ｐ１のビットレートと手術映像Ｐ２のビットレートの合計が３拠点間の伝送速度より大きいことから、この状況は、手術映像Ｐ１と手術映像Ｐ２をオリジナルの品質のまま送信することができない状況である。
　重要な血管の結紮の様子が映っていることから、手術映像Ｐ１が、重要度が高い手術映像であると解析されており、ユーザが重要な血管を含む領域を高品質で見たい領域として選択している場合、手術映像解析部１０３においては、図９の中央の吹き出しに示すように、重要な血管とその周辺を含む矩形領域（枠Ｆで示す領域）が検出される。
　手術映像品質制御部１０５においては、手術映像解析部１０３により検出された矩形領域が手術映像Ｐ１からクロップ処理により切り出される。また、手術映像品質制御部１０５においては、クロップ処理により切り出された矩形領域の映像と、手術映像Ｐ１全体の解像度を下げてビットレートを5Mbpsに削減した映像とを合成し、図９の右側に示すような１つの合成映像である手術映像Ｐ１－２が生成される。手術映像Ｐ１－２のビットレートは例えば20Mbpsである。図９の右側において、枠Ｆで示す矩形領域以外の領域をぼかして示していることは、矩形領域以外の領域の解像度が低いことを示す。
　このように、重要な領域の選択がユーザにより行われるのではなく、映像を解析することによって、手術室サーバ１１側で選択されるようにしてもよい。
　手術映像Ｐ２については、図８を参照して説明した場合と同様に、ビットレートを5Mbpsに削減するようにして品質が制御され、手術映像Ｐ２－２が生成される。
　ビットレートの合計が25Mbpsとして伝送速度より抑えられた手術映像Ｐ１－２と手術映像Ｐ２－２が、情報処理サーバ２を経由して受信デバイス３に対して送信される。
　これにより、手術映像Ｐ１の重要な領域の品質を維持しながら、２つの手術映像をリアルタイムで送信することが可能となる。
＜変形例＞
　手術映像品質制御部１０５が情報処理サーバ２において実現され、手術映像の品質の制御が情報処理サーバ２において行われるようにしてもよい。この場合、回線状況取得部１０１、手術映像解析部１０３、および映像選択状況受信部１０４のそれぞれが出力した情報は、情報処理サーバ２に送信される。
　解像度とフレームレートのうちの少なくともいずれかを低下させることによって品質の制御が行われるものとしたが、他の方法により手術映像の品質の制御が行われるようにしてもよい。例えば、手術映像の走査方式をプログレッシブ走査からインターレース走査に切り替えることによって、品質を低下させるようにしてもよい。
　配信の対象となる映像が手術映像である場合について説明したが、監視カメラにより撮影された映像などの、各種の映像を配信する場合にも上述した技術は適用可能である。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。情報処理サーバ２、受信デバイス３、手術室サーバ１１は、それぞれ、図１０に示す構成と同様の構成を有する。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　情報処理システムが、
　手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御し、
　品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する
　情報処理方法。
（２）
　前記ユーザが選択している前記手術映像以外の前記手術映像の品質を低下させる
　前記（１）に記載の情報処理方法。
（３）
　前記ユーザが選択している領域を切り出すことによって、前記手術映像の品質を低下させる
　前記（１）または（２）に記載の情報処理方法。
（４）
　前記ユーザによる選択に応じて設定された優先度に基づいて、前記優先度が高い前記手術映像の方が、前記優先度が低い前記手術映像より高品質の映像となるように、前記手術映像の品質を制御する
　前記（１）乃至（３）のいずれかに記載の情報処理方法。
（５）
　解像度とフレームレートのうちの少なくともいずれかを変更することによって、前記手術映像の品質を制御する
　前記（１）乃至（４）のいずれかに記載の情報処理方法。
（６）
　前記ユーザによる選択に応じて設定された優先度が高い任意の数の前記手術映像以外の前記手術映像を送信しないことによって、前記手術映像の品質を制御する
　前記（１）乃至（５）のいずれかに記載の情報処理方法。
（７）
　前記ユーザによる選択に応じて設定された優先度が高い任意の数の前記手術映像を１つの映像に合成することによって、複数の前記手術映像の品質を制御する
　前記（１）乃至（６）のいずれかに記載の情報処理方法。
（８）
　複数の前記手術映像のそれぞれの優先度を、それぞれの前記手術映像の属性情報に含まれる医療機器情報に基づいて設定し、
　前記優先度に基づいて前記手術映像の品質を制御する
　前記（１）乃至（７）のいずれかに記載の情報処理方法。
（９）
　前記手術映像の内容を解析し、
　前記手術映像の内容の解析結果に応じて、前記手術映像の品質を制御する
　前記（１）乃至（８）のいずれかに記載の情報処理方法。
（１０）
　前記手術映像の内容の解析結果と前記通信回線の状況とに基づいて、前記手術映像の品質を制御する
　前記（９）に記載の情報処理方法。
（１１）
　前記受信デバイスから送信された、前記ユーザによる前記手術映像の選択状況を示す情報を取得する
　前記（１）乃至（１０）のいずれかに記載の情報処理方法。
（１２）
　前記手術室がある医療施設と、前記医療施設からアップロードされた前記手術映像を配信する前記情報処理サーバとの間の通信回線の状況、および、前記情報処理サーバと前記受信デバイスとの間の通信回線の状況を取得する
　前記（１）乃至（１１）のいずれかに記載の情報処理方法。
（１３）
　手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況を示す情報と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御する品質制御部と、
　品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する送信制御部と
　を備える情報処理システム。
（１４）
　コンピュータに、
　手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況を示す情報と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御し、
　品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する
　処理を実行させるためのプログラム。
　１　手術システム，　２　情報処理サーバ，　３　受信デバイス，　１１　手術室サーバ，　１０１　回線状況取得部，　１０２　手術映像取得部，　１０３　手術映像解析部，　１０４　映像選択状況受信部，　１０５　手術映像品質制御部，　１０６　手術映像送信部，　２０１　回線状況解析部，　２０２　手術映像受信部，　２０３　手術映像送信部，　３０１　手術映像受信部，　３０２　手術映像表示部，　３０３　映像選択状況送信部

Claims (14)

  1. 　情報処理システムが、
    　手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御し、
    　品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する
    　情報処理方法。
  2. 　前記ユーザが選択している前記手術映像以外の前記手術映像の品質を低下させる
    　請求項１に記載の情報処理方法。
  3. 　前記ユーザが選択している領域を切り出すことによって、前記手術映像の品質を低下させる
    　請求項１に記載の情報処理方法。
  4. 　前記ユーザによる選択に応じて設定された優先度に基づいて、前記優先度が高い前記手術映像の方が、前記優先度が低い前記手術映像より高品質の映像となるように、前記手術映像の品質を制御する
    　請求項１に記載の情報処理方法。
  5. 　解像度とフレームレートのうちの少なくともいずれかを変更することによって、前記手術映像の品質を制御する
    　請求項１に記載の情報処理方法。
  6. 　前記ユーザによる選択に応じて設定された優先度が高い任意の数の前記手術映像以外の前記手術映像を送信しないことによって、前記手術映像の品質を制御する
    　請求項１に記載の情報処理方法。
  7. 　前記ユーザによる選択に応じて設定された優先度が高い任意の数の前記手術映像を１つの映像に合成することによって、複数の前記手術映像の品質を制御する
    　請求項１に記載の情報処理方法。
  8. 　複数の前記手術映像のそれぞれの優先度を、それぞれの前記手術映像の属性情報に含まれる医療機器情報に基づいて設定し、
    　前記優先度に基づいて前記手術映像の品質を制御する
    　請求項１に記載の情報処理方法。
  9. 　前記手術映像の内容を解析し、
    　前記手術映像の内容の解析結果に応じて、前記手術映像の品質を制御する
    　請求項１に記載の情報処理方法。
  10. 　前記手術映像の内容の解析結果と前記通信回線の状況とに基づいて、前記手術映像の品質を制御する
    　請求項９に記載の情報処理方法。
  11. 　前記受信デバイスから送信された、前記ユーザによる前記手術映像の選択状況を示す情報を取得する
    　請求項１に記載の情報処理方法。
  12. 　前記手術室がある医療施設と、前記医療施設からアップロードされた前記手術映像を配信する前記情報処理サーバとの間の通信回線の状況、および、前記情報処理サーバと前記受信デバイスとの間の通信回線の状況を取得する
    　請求項１に記載の情報処理方法。
  13. 　手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況を示す情報と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御する品質制御部と、
    　品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する送信制御部と
    　を備える情報処理システム。
  14. 　コンピュータに、
    　手術室で撮影された映像を含む複数の手術映像を受信デバイスを用いて視聴するユーザによる映像の選択状況を示す情報と、通信回線の状況とに基づいて、複数の前記手術映像のそれぞれの品質を制御し、
    　品質を制御した前記手術映像を、ネットワーク上の情報処理サーバを経由して前記受信デバイスに送信する
    　処理を実行させるためのプログラム。
PCT/JP2023/000541 2022-01-27 2023-01-12 情報処理方法、情報処理システム、およびプログラム WO2023145447A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022010940 2022-01-27
JP2022-010940 2022-01-27

Publications (1)

Publication Number Publication Date
WO2023145447A1 true WO2023145447A1 (ja) 2023-08-03

Family

ID=87471244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000541 WO2023145447A1 (ja) 2022-01-27 2023-01-12 情報処理方法、情報処理システム、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023145447A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187078A (ja) * 2009-02-10 2010-08-26 Canon Inc 映像再生装置及びその制御方法
JP2011055204A (ja) * 2009-09-01 2011-03-17 National Institute Of Advanced Industrial Science & Technology 動画像の圧縮方法及び圧縮装置
WO2018163600A1 (ja) * 2017-03-07 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
JP2018156424A (ja) * 2017-03-17 2018-10-04 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187078A (ja) * 2009-02-10 2010-08-26 Canon Inc 映像再生装置及びその制御方法
JP2011055204A (ja) * 2009-09-01 2011-03-17 National Institute Of Advanced Industrial Science & Technology 動画像の圧縮方法及び圧縮装置
WO2018163600A1 (ja) * 2017-03-07 2018-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
JP2018156424A (ja) * 2017-03-17 2018-10-04 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法

Similar Documents

Publication Publication Date Title
EP2973105B1 (en) Surgical imaging system and method for processing surgical images
US11157842B2 (en) System, equipment and method for performing and documenting in real-time a remotely assisted professional procedure
EP3534620B1 (en) Signal processing device and method, and program
US20120281970A1 (en) Medical video production and distribution system
Stahl et al. Teleconferencing with dynamic medical images
US11496662B2 (en) Image processing apparatus, image processing method, and image pickup system for displaying information associated with an image
JP2021531883A (ja) 手術室における分散型画像処理システム
WO2023145447A1 (ja) 情報処理方法、情報処理システム、およびプログラム
WO2022176531A1 (ja) 医療管理システム、医療管理装置及び医療管理方法
CN109937574B (zh) 发送设备、发送方法和内容分发系统
CN109964487B (zh) 管理装置和管理方法
CN216017008U (zh) 一种基于手术室的数据传输系统
US11671872B2 (en) Communication system and transmission apparatus
KR20180089639A (ko) 수술 영상촬영 및 처리 시스템
WO2023054089A1 (ja) 映像処理システム、並びに、医療情報処理システムおよび動作方法
WO2023189520A1 (ja) 情報処理システム、情報処理方法、及び、プログラム
Roesler et al. MIR: A low cost digital operating room
US11722643B2 (en) Medical-use control system, image processing server, image converting apparatus, and control method
CN111421537A (zh) 远程控制系统
WO2022201800A1 (ja) 手術室システム、画像記録方法、プログラム、および医療情報処理システム
WO2023166981A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US12034935B2 (en) Reception apparatus, reception method, and image processing system
CN113965682B (zh) 远程导管室控制系统和远程导管室控制方法
Aanestad et al. Organising multimedia technology for real-time transmission of image-guided surgery
CN115348414A (zh) 一种基于手术室的数据传输系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23746662

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023576765

Country of ref document: JP