WO2019225231A1 - 手術用情報処理装置、情報処理方法及びプログラム - Google Patents

手術用情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019225231A1
WO2019225231A1 PCT/JP2019/016411 JP2019016411W WO2019225231A1 WO 2019225231 A1 WO2019225231 A1 WO 2019225231A1 JP 2019016411 W JP2019016411 W JP 2019016411W WO 2019225231 A1 WO2019225231 A1 WO 2019225231A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
surgical
information
field image
information processing
Prior art date
Application number
PCT/JP2019/016411
Other languages
English (en)
French (fr)
Inventor
雅矢 竹本
幸弘 中村
白木　寿一
雄生 杉江
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/055,137 priority Critical patent/US20210220076A1/en
Priority to JP2020521099A priority patent/JPWO2019225231A1/ja
Priority to EP19807693.7A priority patent/EP3797730B1/en
Publication of WO2019225231A1 publication Critical patent/WO2019225231A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Definitions

  • the present disclosure relates to an information processing apparatus for surgery, an information processing method, and a program.
  • the surgical field is illuminated by a lighting device such as a surgical light so that the operator can easily perform the operation. Since the illumination position and the amount of illumination required by the operator change as the operation progresses, it is necessary to adjust the illumination state in the operative field.
  • Patent Document 1 a driving state and a position state of a joint portion of an arm that supports a lighting device are detected, a position state of a chair on which a patient is sitting is detected, and an optimum illumination is based on those states.
  • a method for calculating the position is disclosed.
  • the surgical field location varies depending on the patient, and the location where illumination is required changes in real time according to the progress of the surgery.
  • the present disclosure proposes an information processing apparatus for surgery, an information processing method, and a program capable of quickly grasping the necessity of adjusting the lighting state.
  • an acquisition unit that acquires an operation field image including an operation field illuminated by an illumination device, and first illumination information indicating an illumination state of the illumination device, and the acquisition unit acquired by the acquisition unit
  • a surgical information processing apparatus comprising: a presentation unit that provides a user with a presentation based on a surgical field image and the first illumination information.
  • the processor acquires a surgical field image including a surgical field illuminated by a lighting device, and illumination information indicating a lighting state of the lighting device, and the acquired surgical field
  • An information processing method includes presenting to a user based on an image and the illumination information.
  • the computer is acquired by the acquisition unit that acquires the surgical field image including the surgical field illuminated by the lighting device and the illumination information indicating the lighting state of the lighting device, and the acquisition unit.
  • the user can quickly grasp the necessity of adjusting the illumination state of the operative field.
  • a surgical light is used as an illumination device that illuminates the surgical field so that an operator such as a doctor can easily perform the operation.
  • the surgical light is not sterilized, it is not preferable for the operator to touch and operate the surgical light.
  • a bright field of view is provided to the operator by physically operating the diaphragm and the like.
  • the outside nurse has various roles such as assisting the surgeon and recording at the time of the operation as described above in addition to the operation of the surgical light. For this reason, the outside nurse cannot always work near the surgical light.
  • the outside nurse cannot always check the brightness of the operative field by always looking at the operative field.
  • the surgical wound becomes deeper or the position of the surgical field changes according to the progress of the surgical operation, it is delayed for the outside nurse to notice that the surgical field has darkened, and the progress of the surgery Delay may occur.
  • the operator's attention may be reduced.
  • skilled techniques are required to operate the illumination device to irradiate the surgical field with appropriate light. Therefore, even if the surgeon performing the surgical operation himself operates the sterilized lighting device, it may take time to irradiate the surgical field with appropriate light, which may cause interruption or delay in the surgical operation. is there.
  • the operator's attention may be reduced, and this reduction in the operator's attention may affect the progress of the operation.
  • the present inventors have conceived presenting the present technique to a user such as an operator or a nurse based on illumination information indicating an operative field image and illumination information indicating the illumination state of the illumination device, and have invented the present technology. .
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of a surgical information processing system 1 to which the technology according to the present disclosure can be applied.
  • FIG. 2 is a schematic diagram for explaining the presented display according to the present embodiment.
  • the surgical information processing system 1 includes a surgical information processing apparatus 10, a camera 20, a lighting device 30, and an output device 40 according to the present embodiment.
  • the surgical information processing apparatus 10 acquires a surgical field image in which the surgical field illuminated by the illumination device 30 is captured by the camera 20 and a setting value of the illumination device 30, and the surgical field image and the illumination device. Presentation based on the set value of 30 is performed to the user.
  • the setting value of the lighting device 30 is a setting value of an adjustment factor used for adjusting the illumination light of the lighting device 30, for example, a coordinate value indicating a position where the lighting device 30 is disposed, an illuminance value, an aperture value, Color temperature etc.
  • the surgical information processing apparatus 10 according to the embodiment of the present disclosure is not the camera 20, the illumination device 30, and the output device 40 in the surgical information processing system 1 as illustrated in FIG. It is also possible to perform various processes while mutually coordinating with devices having the same functions as the device 30 and the output device 40.
  • the surgical information processing apparatus 10 includes an acquisition unit 110, an analysis unit 120, a presentation unit 130, and a storage unit 140.
  • the acquisition unit 110 has a function of performing information communication with a camera 20 and a lighting device 30 described later via a network, and acquires an image captured by the camera 20 and a setting value of the lighting device 30. Further, the acquisition unit 110 may have a function of communicating information input to an external input device. The acquisition unit 110 may have a function of transmitting a control signal to the camera 20 and the lighting device 30 and controlling driving of the camera 20 and the lighting device 30. The control signal may include information regarding imaging conditions and illumination conditions, such as the magnification and focal length of the camera 20, the illumination intensity of the illumination device 30, a diaphragm, and illumination intensity.
  • the acquisition unit 110 includes an image information acquisition unit 111 and an illumination information acquisition unit 112.
  • the image information acquisition unit 111 has a function of acquiring from the camera 20 operative field image information including the operative field image captured by the camera 20 and setting information of the camera 20 when the operative field image is captured.
  • the operative field image information acquired by the image information acquisition unit 111 includes, for example, luminance of the operative field image, color information constituting the operative field image, focal length, and the like.
  • the surgical field image information acquired by the image information acquisition unit 111 is transmitted to the analysis unit 120.
  • the illumination information acquisition unit 112 sets the setting value of the illumination device 30 when the operative field image is acquired (hereinafter, “the setting value of the illumination device 30 when the operative field image is acquired”) as the “current setting value”. Is obtained from the lighting device 30.
  • the current set value acquired by the illumination information acquisition unit 112 is transmitted to the analysis unit 120.
  • the set value of the illumination device 30 when this operative field image is acquired corresponds to the first illumination information.
  • the analysis unit 120 Based on the operative field image information acquired by the acquisition unit 110 and the setting value of the illuminating device 30 when the operative field image is acquired, the analysis unit 120 presents the user with a setting to change the setting of the illuminating device 30. It is determined whether or not to perform.
  • the analysis unit 120 includes a calculation unit 121 and a determination unit 122.
  • the calculation unit 121 analyzes the luminance distribution of the acquired operative field image, and for the illuminating device 30 that illuminates the operative site, the setting value of the illuminating device 30 that is optimal for illuminating the operative site (hereinafter referred to as “operative part”).
  • the “setting value of the illumination device 30 that is optimal for illuminating” is sometimes referred to as “optimal setting value”).
  • the optimal setting value of the illuminating device 30 for illuminating the surgical part corresponds to the second illumination information.
  • a known image processing technique can be applied to the analysis of the luminance distribution.
  • the analysis region of the luminance distribution of the operative field image performed by the calculation unit 121 may be the entire operative field image, or a part of the region displayed in the operative field image, for example, the operative field where surgery is performed. It may be a luminance distribution or an area specified by the user.
  • the calculation of the optimal setting value performed by the calculation unit 121 may be performed using, for example, a classifier generated by machine learning.
  • a known method may be applied to the machine learning method that can be applied to the present embodiment, for example, a machine learning method using a neural network may be applied.
  • a machine learning method using a neural network uses, for example, a plurality of data in which a classification label is assigned to each data as learning data.
  • a classification parameter is generated by inputting learning data into a machine learning model using a neural network. Then, the input data is input to the generated machine learning model in which the classification parameters are set, thereby classifying the input data. At this time, it is preferable to output the classification and the likelihood of the classification. Even if there is no information regarding factors that obstruct illumination to the surgical field such as shadows caused by the user, surgical equipment, etc., by this machine learning method, statistical processing is performed by the calculation unit 121, so that an optimal setting is obtained. A value is calculated.
  • the calculation unit 121 may detect a surgical tool displayed on the surgical field image by a known surgical tool detection technique, and analyze the luminance distribution in a region near the position where the surgical tool is detected.
  • a surgical instrument detection technique disclosed in Japanese Patent Application Laid-Open No. 2017-164007 or WO2015 / 037340 can be used.
  • the calculation unit 121 may detect a visual field position by applying a known visual field position estimation technique and analyze the luminance distribution of a region including the visual field position.
  • the visual field position estimation technique disclosed in Japanese Unexamined Patent Application Publication No. 2016-182228 can be used.
  • the calculation unit 121 may detect a portion pointed by a user using a laser or the like using a known image processing technique and analyze the luminance distribution of the region including the portion.
  • the determination unit 122 compares the current setting value with the optimal setting value, and determines whether or not to present the user with a prompt to change the setting of the lighting device 30. Specifically, the difference between the current setting value and the optimum setting value is calculated, and when this difference is larger than a predetermined threshold value, the determination unit 122 sends a signal for changing the setting of the lighting device 30 to the presentation unit 130. Send. For example, for the illuminance that is one of the setting values, the determination unit 122 determines that the difference between the illuminance value of the illumination device 30 when the surgical field image is acquired and the optimum illuminance value is greater than a predetermined threshold In addition, a signal for changing the setting of the lighting device 30 is transmitted to the presentation unit 130.
  • the determination unit 122 may calculate the difference between the setting values for all the adjustment factors of the lighting apparatus 30, or may calculate the difference between the setting values for the adjustment factors selected in advance.
  • the threshold value may be set by the user, or may be set based on a classifier generated by machine learning.
  • the presenting unit 130 has a function of presenting a notification that prompts the user to change the setting conditions of the lighting device 30.
  • the presentation unit 130 has a function of presenting the operative field image and the setting value of the illumination device 30 when the operative field image is acquired to the user.
  • the presentation unit 130 controls information output by the output device 40 and an output method. For example, the presentation unit 130 transmits a notification for prompting a change in the setting conditions of the lighting device 30, image information acquired by the camera 20, lighting information of the lighting device 30, and the like to the output device 40 and causes the output device 40 to output the notification.
  • the presentation unit 130 may appropriately present the status related to the surgery (for example, the elapsed time of the surgery, physical information of the patient, etc.) in the area.
  • the storage unit 140 images acquired by the camera 20, various programs and databases used when the acquisition unit 110, the analysis unit 120, and the presentation unit 130 perform various processes as described above are appropriately recorded. ing.
  • various types of information acquired by the acquisition unit 110 as described above may be recorded as history information.
  • various parameters that need to be stored, progress of the process, and the like may be appropriately recorded in the storage unit 140.
  • the present invention is not limited to the processing executed by the calculation unit 121 and the determination unit 122, and various parameters that have to be stored when the surgical information processing apparatus 10 according to the present embodiment performs some processing, the progress of the processing, and the like. May be recorded as appropriate.
  • the storage unit 140 can be freely read / written by the acquisition unit 110 and the analysis unit 120.
  • the camera 20 is a medical observation apparatus that has a function of capturing an operative field image by capturing an image of the operative field where surgery is performed.
  • the camera 20 is, for example, a surgical video microscope or a surgical field camera.
  • the camera 20 may be provided with a magnification adjustment function, a focal length adjustment function, a shooting direction adjustment function, and the like.
  • the camera 20 is not particularly limited as long as the operative field can be imaged under a surgical light used as the illumination device 30.
  • the camera 20 may be integrated with the lighting device 30.
  • CMOS complementary metal oxide semiconductor
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor of the camera 20 is configured to have a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the surgeon can more accurately grasp the depth of the living tissue in the surgical site.
  • the camera 20 includes a communication unit (not shown), and transmits and receives various types of information to and from the acquisition unit 110.
  • the communication unit of the camera 20 transmits the acquired image signal to the acquisition unit 110 as RAW data.
  • the image signal is preferably transmitted by optical communication.
  • the camera 20 has a function of receiving a control signal for controlling the driving of the camera 20 from the acquisition unit 110.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, the exposure value, the magnification, and the focus are automatically set by the acquisition unit 110 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the camera 20.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the illumination device 30 has a function of irradiating light to the surgical site.
  • the illumination device 30 is provided on the ceiling of the operating room and irradiates at least the operator's hand.
  • the illumination device 30 may be able to adjust the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like as appropriate.
  • the illuminating device 30 has, for example, a plurality of LED light sources as light sources.
  • the illumination device 30 includes a movable arm, and the position of the light source is arbitrarily determined by a user operation.
  • the illumination device 30 is preferably configured to be capable of adjusting the depth of focus and the light field diameter of illumination light emitted from the illumination device 30.
  • the illuminating device 30 is constituted by, for example, a surgical light, and may be constituted by a plurality of surgical lights.
  • the output device 40 has a function of outputting an operative field image, assist information that is information for assisting an operation method to a user, predetermined sound, and the like according to an instruction of the presentation unit 130 provided in the surgical information processing device 10.
  • the assist information includes information regarding the setting value of the illumination device 30 when the operative field image is acquired.
  • the display screen of the output device 40 includes, for example, an operative field image display area 410 that displays an operative field image and an assist information display area 420 that displays assist information. For example, in FIG. 2, a real-time image acquired by the camera 20 is displayed in the operative field image display area 410. In the assist information display area 420, the illuminance and the aperture of the illumination device 30 are displayed on the output device 40.
  • the assist information display area 420 displays assist information by a display method that allows the user to easily grasp the state of the lighting device 30.
  • the illuminance value and the aperture value of the illumination device 30 may be displayed in a meter display or numerically.
  • the output device 40 includes a switch 430 for controlling ON / OFF of the lighting device 30, and an alarm release for releasing an alarm that is issued when prompting the user to set the lighting device 30.
  • a button 440 may be provided. The user can quickly grasp whether or not the adjustment of the illumination device 30 is necessary by confirming the operative field image displayed on the output device 40 and the illumination information of the illumination device 30.
  • the output device 40 displays an image based on the image signal subjected to image processing by the presentation unit 130 under the control of the presentation unit 130.
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320)
  • a device capable of high-resolution display and / or a device capable of 3D display can be used as the output device 40.
  • 4K or 8K high resolution imaging a more immersive feeling can be obtained by using an output device 40 having a size of 55 inches or more.
  • a plurality of output devices 40 having different resolutions and sizes may be provided depending on the application.
  • FIG. 3 is a flowchart for explaining the operation of the surgical information processing apparatus 10 according to the present embodiment.
  • the acquisition unit 110 acquires the operative field image information acquired by the camera 20 and the setting value of the illumination device 30 when the operative field image is acquired (S101). Specifically, the image information acquisition unit 111 included in the acquisition unit 110 acquires image information including a surgical field image captured by the camera 20 and setting information of the camera 20 when the surgical field image is captured. At this time, the image information acquisition unit 111 detects, for example, a surgical part that is proceeding with treatment by applying a known surgical instrument detection technique, a visual field position estimation technique, or the like. Thereby, the operation part which a user wants to brighten in an operative field image is detected. The acquired surgical field image, surgical field image information, and illumination information are transmitted to the analysis unit 120.
  • the calculation unit 121 included in the analysis unit 120 analyzes the surgical field image and the illumination state (S103). Specifically, the calculation unit 121 analyzes the operative field image and calculates the luminance distribution of the operative field. At this time, the calculation unit 121 may analyze the luminance distribution of the entire operative field, or may analyze the luminance distribution of a part of the display area of the operative field image. Specifically, the calculation unit 121 may analyze the luminance distribution of the region near the surgical instrument, may analyze the luminance distribution of the region including the visual field position by detecting the visual field position, The luminance distribution of the area designated by the above may be analyzed.
  • the calculation unit 121 calculates an optimal setting value of the lighting device 30 based on the acquired image information and luminance distribution (S105). Specifically, the calculation unit 121 analyzes the surgical field image to be adjusted by the illumination device 30 using the classifier learned by machine learning, and calculates the optimal setting value of the surgical part.
  • the determination unit 122 included in the analysis unit 120 compares the current setting value with the optimal setting value to determine whether or not to present the user with a prompt to change the setting of the lighting device 30 ( S107). Specifically, the determination unit 122 calculates a difference between the current setting value and the optimum setting value, compares the difference with a predetermined threshold value, and if the difference is larger than the predetermined threshold value, the determination unit 122 Transmits information including the surgical field image and the current set value to the presentation unit 130 (S107 / YES). On the other hand, when the difference is not more than the predetermined threshold value, the operation is repeated from S101 (S107 / NO).
  • the presentation unit 130 transmits a signal that prompts the user to operate the lighting device 30 to the output device 40.
  • the output device 40 performs an output for prompting the operation of the lighting device 30 (S109).
  • the output for prompting the operation of the lighting device 30 may be performed by, for example, issuing a warning sound.
  • the presentation unit 130 transmits the operative field image and the setting value information of the illumination device 30 when the operative field image is acquired to the output device, and the output device 40 receives the received operative field image and setting value information. It may be output. With the above operation, the user can quickly grasp the necessity of adjusting the illumination state of the operative field.
  • FIG. 4 is a diagram illustrating an example of a schematic configuration of an information processing system 1a for surgery to which the technology according to the present embodiment can be applied.
  • FIG. 5 is a schematic diagram for explaining the presented display according to the present embodiment.
  • the surgical information processing system 1a to which the technology according to the present embodiment can be applied includes the surgical information processing apparatus 10a, the camera 20a, the illumination device 30a, the output device 40a, and the input device 50 according to the present embodiment.
  • the surgical information processing system 1a to which the technology according to the present embodiment can be applied is further provided with an input device 50 in the surgical information processing system 1 according to the first embodiment.
  • the surgical information processing apparatus 10a according to the present embodiment has various types while cooperating with the camera 20a, the illumination apparatus 30a, the output apparatus 40a, and the input apparatus 50 in the surgical information processing system 1a as illustrated in FIG. It is possible to implement the process.
  • the surgical information processing apparatus 10a according to the present embodiment is not the camera 20a, the illumination device 30a, the output device 40a, and the input device 50 in the surgical information processing system 1a as shown in FIG.
  • Various processes can also be performed while cooperating with those having the same functions as those of the lighting device 30a, the output device 40a, and the input device 50.
  • the information processing apparatus 10a for surgery includes an acquisition unit 110a, an analysis unit 120a, a presentation unit 130a, a storage unit 140a, and a control unit 150. Since the storage unit 140a is the same as that described in the first embodiment, a detailed description thereof is omitted here.
  • the acquisition unit 110a has a function of registering reference data when creating a classifier used for machine learning described later, in addition to the function of the determination unit 122 according to the first embodiment.
  • the analysis unit 120a includes a calculation unit 121a and a determination unit 122a.
  • the determination unit 122a determines whether there is a dark part that is a dark region in the surgical field displayed in the surgical field image.
  • the calculation unit 121a calculates an optimal setting value for the illumination device 30a. The presence / absence of a dark part is determined using the luminance distribution of the region displayed in the surgical field image calculated by the calculation unit 121a.
  • the determination unit 122a determines that a dark portion exists.
  • the determination unit 122a has a function of registering teacher data when creating a classifier used for machine learning, which will be described later.
  • the presentation unit 130a has a function of presenting an optimal setting value of the illumination device 30a and a display regarding a dark part of the operative field, in addition to the function of the presentation unit 130 according to the first embodiment.
  • the presentation unit 130a presents a notification that prompts the user to change the setting condition of the illumination device 30a. Thereby, the user can appropriately change the setting of the lighting device 30a at an appropriate timing.
  • the control unit 150 has a function of controlling the lighting device 30a.
  • the control unit 150 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
  • the control unit 150 receives information input by the input device 50 and controls a setting value of the lighting device 30a according to the received information.
  • the control unit 150 may transmit a control signal to the camera 20a to control driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length. Information regarding the imaging conditions can be input via the input device 50.
  • the output screen of the output device 40a includes an operative field image display area 410a, an assist information display area 420a, a switch 430a, and an alarm release button 440a.
  • the output device 40a has a function of superimposing a display indicating a dark part on a real-time image displayed in the operative field image display area 410a in addition to the function of the output device 40 according to the first embodiment.
  • Have The output device 40a has a function of displaying the current set value and the optimal set value of the lighting device 30a in the assist information display area 420a.
  • the optimal setting value of the lighting device 30a calculated by the calculation unit 121a is displayed in addition to the illuminance and the aperture of the lighting device 30a included in the current setting value.
  • the assist information display area 420a displays the real-time illuminance A and the illuminance A0 that is the optimum setting value for the dark part shown in the surgical field image display area 410a.
  • a real-time arrangement S of the illumination devices 30 and an arrangement S0 of the illumination devices 30 in an optimal illumination state are displayed.
  • the output screen of the output device 40a displays the position of the dark part, and the current setting value and the optimum setting value of the lighting device 30a, so that the user can visually grasp the room for improvement in lighting. it can.
  • the user can quickly determine how to change the setting of the lighting device 30a by checking the room for improvement of the lighting shown in the output device 40a.
  • the assist information displayed in the assist information display area 420a may be displayed according to the setting condition to be adjusted of the lighting device 30a.
  • the setting conditions of the apparatus previously selected by the user may be displayed as assist information.
  • Examples of the output device 40a include a monitor provided in an operating room, an information processing terminal, a user interface (UI) of an OR system, and the like.
  • Examples of the information processing terminal include a tablet and a PC.
  • a device having a voice input function may be used as the output device 40a.
  • the switch 430a has a function of controlling ON / OFF of the lighting device 30a, and the alarm release button 440a has a function of releasing an alarm issued when prompting the user to set the lighting device 30a.
  • the input device 50 is operated by a user and can input various information and instructions to the surgical information processing apparatus 10a.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 50.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the camera 20a, an instruction to change the set value of the illumination device 30a, and the like.
  • the type of the input device 50 is not limited, and the input device 50 may be various known input devices.
  • the input device 50 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5171 and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the output device 40a.
  • the input device 50 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), and various types of input are performed according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 50 includes a camera that can detect a user's movement, and various inputs are performed according to a user's gesture and line of sight detected from an image captured by the camera.
  • the input device 50 includes a microphone capable of collecting a user's voice, and various inputs are performed by voice through the microphone.
  • the input device 50 is configured to be able to input various types of information without contact, it is possible for a user belonging to a clean area to operate a device belonging to an unclean area in a non-contact manner.
  • the user since the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • FIG. 6 is a flowchart for explaining the operation of the surgical information processing apparatus 10a according to the present embodiment.
  • the operation of the surgical information processing apparatus 10a according to the present embodiment includes a step (S104) of determining a dark part after the step (S103) of analyzing the surgical field image and the illumination state in the flowchart shown in FIG.
  • the step (S111) for controlling the lighting device 30a is added after the step (S109) for prompting the operation of the lighting device 30. Since S101 and S103 are the same as the operation of the information processing apparatus 10 for surgery according to the first embodiment, detailed description thereof is omitted here.
  • the determination unit 122a uses the luminance distribution analyzed by the calculation unit 121a in S103, and determines that there is a dark part when there is a region whose luminance is smaller than a predetermined threshold on the operative field image (S104 / YES).
  • the calculation unit 121a calculates an optimal setting value of the illumination device 30a based on the acquired image information and the luminance distribution so that the optimal light is emitted to the dark part. (S105).
  • the calculation unit 121a calculates a setting value to be changed for the lighting device 30a using a classifier generated by machine learning.
  • the determination unit 122a compares the current setting value of the lighting device 30a with respect to the dark portion and the optimum setting value of the lighting device 30a, and performs a presentation prompting the user to change the setting of the lighting device 30a. It is determined whether or not (S107). Specifically, the determination unit 122a compares the current setting value of the lighting device 30a with the optimal setting value of the lighting device 30a calculated by the calculation unit 121, and determines the current setting value and the optimal setting value. When the difference is larger than the predetermined threshold, the determination unit 122a determines that the setting of the illumination device 30a should be changed (S107 / YES). The determination unit 122a transmits the determination result to the presentation unit 130a.
  • the presentation unit 130a receives the determination result from the determination unit 122a, and when the setting of the lighting device 30a is to be changed, the presentation unit 130a transmits a signal that prompts the user to operate the lighting device 30a to the output device 40a and outputs the signal.
  • the device 40a performs an output prompting the operation of the lighting device 30a (S109).
  • the control unit 150 is controlled to change the setting value of the illuminating device 30a based on the input setting value (S111).
  • S101 to S111 are repeated as needed.
  • the user can change the set value of the illumination device 30a on the spot while confirming the presented operative field image and assist information, and can apply optimal illumination to the operative field.
  • the determination unit 122a determines in S104 that there is no region whose luminance is smaller than the predetermined threshold value, the operation is repeated from S101 (S104 / NO).
  • FIG. 7 is a flowchart for explaining the machine learning flow for calculating the optimal setting value of the illumination device 30a in the surgical information processing apparatus 10a according to the present embodiment.
  • FIG. 8 is a flowchart for explaining another flow of machine learning for calculating an optimal setting value of the illumination device 30a in the surgical information processing apparatus 10a according to the present embodiment.
  • the analysis unit 120a detects a dark part on the operative field image (S201). The detection of the dark part is performed in the same flow as the flow of S101, S103, and S104 described above.
  • the operation field image, the operation field image information, and the current setting value of the illumination device 30a are acquired by the acquisition unit 110a (S203).
  • the presentation unit 130a transmits to the output device 40a a signal that prompts the user to operate the lighting device 30a by the output device 40a.
  • the output device 40a performs an output (alert) that prompts the operation of the lighting device 30a (S205).
  • the user registers the operative field image acquired by the acquiring unit 110a, the operative field image information, and the current setting value of the lighting device 30a as reference data (S207).
  • the reference data is stored in the storage unit 140a (S209).
  • the user adjusts the illumination device 30a so as to be an operative field suitable for surgery (S211).
  • the adjusted operative field image, operative field image information, and setting values of the illumination device 30a are acquired by the acquisition unit 110a (S213).
  • the user registers the adjusted operative field image, operative field image information, and setting values of the illumination device 30a acquired by the acquisition unit 110a as teacher data (S215).
  • the teacher data is stored in the storage unit 140a (S217).
  • a classifier for calculating the optimum illumination state of the illumination device 30a is produced.
  • the alert in S205 may be omitted, and the surgical information processing apparatus 10a may be set so that the output device 40a does not prompt the operation of the lighting device 30a.
  • the user operates the lighting device 30a with the alert turned off, collects the operative field image, operative field image information, and the current setting value of the illuminating device 30a as reference data, and registers the reference data as a label May be.
  • the determination unit 122a determines that there is a dark region in the operative field, the user determines the current operative field image, operative field image information, and the current state of the illumination device 30a.
  • the set value may be registered as reference data as a label.
  • a machine learning method for generating a classifier used for calculating the optimum setting value of the illumination device 30a by registering the learning data by the surgical information processing device 10a explain.
  • the user does not register the reference data and the teacher data as labels, but the surgical information processing apparatus 10a collects learning data during the operation.
  • the analysis unit 120a detects a dark part on the operative field image (S201).
  • the operation field image, the operation field image information, and the current setting value of the illumination device 30a are acquired by the acquisition unit 110a (S203).
  • the presentation unit 130a transmits a signal that prompts the user to operate the lighting device 30 to the output device 40a by the output device 40a.
  • the output device 40a performs an output (alert) that prompts the operation of the lighting device 30 (S205).
  • the acquisition unit 110a performs label registration of the operative field image, the operative field image information, and the current setting value of the lighting device 30a as reference data (S207A).
  • the reference data is stored in the storage unit 140 (S209).
  • the user adjusts the illumination device 30 so as to be an operative field suitable for surgery (S211).
  • the adjusted operative field image, operative field image information, and setting values of the illumination device 30a are acquired by the acquisition unit 110 (S213).
  • the determination unit 122a considers that the illumination device 30 has been adjusted to an optimal state, and the adjusted surgical field image, surgical field image information, and illumination
  • the set value of the device 30a is registered as a label as teacher data (S215A).
  • the teacher data is stored in the storage unit 140a (S217).
  • a classifier is generated by machine learning of learning data in which a learning technique field image and an optimum lighting state of the lighting device 30 in the learning technique field image are linked.
  • the surgical information processing apparatus 10a can calculate the optimal setting value of the illumination device 30 by inputting the surgical field image acquired by the camera 20 to this classifier.
  • the presenting unit 130a can present to the user at a more appropriate timing, and the lighting device with higher accuracy can be provided. It is possible to present the optimal setting value of 30a.
  • the classifier is generated by machine learning by registering learning data by user operation or machine learning by registering learning data by the surgical information processing apparatus 10a during operation.
  • the classifier may be generated by machine learning by registering learning data by the surgical information processing apparatus 10a before surgery, or machine learning by previously registering learning data by an operation other than the user. May be generated.
  • FIG. 9 is a schematic diagram for explaining a dark part presentation method according to the present embodiment.
  • FIG. 10 is a schematic diagram for explaining a dark part presentation method according to the present embodiment.
  • the determination unit 122a uses the luminance distribution analyzed by the calculation unit 121a, and determines that there is a dark part when there is a region whose luminance is smaller than a predetermined threshold on the operative field image.
  • FIG. 5 shows a case where one dark region exists in the surgical site
  • the presentation unit 130a displays a plurality of dark regions in the region displayed in the surgical field image by the output device 40a as shown in FIG. May be presented.
  • the assist information presented by the presentation unit 130a by the output device 40a may display a set value of the illumination device 30a for any one of the plurality of dark parts.
  • the dark part that the user wants to adjust the brightness of among the plurality of dark parts may be selected by operating the input device 50 by the user.
  • the user may select the dark part by touching the dark part that the user wants to brighten.
  • the user can select an area other than the dark part presented by the presentation unit 130a and set the selected position as a position where the luminance should be adjusted.
  • the analysis unit 120a calculates an optimal setting value of the illumination device 30a for the selected dark part by machine learning described above.
  • the output device 40 a displays a display indicating the selected dark part superimposed on the real-time image displayed in the operative field image display area 410 a.
  • the assist information display area 420a real-time illuminance A and illuminance A0 that is an optimum setting value for the dark part indicated in the operative field image display area 410a are displayed.
  • a real-time arrangement S of the illumination devices 30 and an arrangement S0 of the illumination devices 30 in an optimal illumination state are displayed.
  • a plurality of dark parts generated in the operative field are presented, so that the user can adjust the luminance of a part to be watched other than the surgical part in which the operation is performed. It is possible to quickly determine whether or not there is any.
  • the luminance of the portion that the user wants to watch can be quickly adjusted, and the operation time can be shortened.
  • FIG. 11 is a schematic diagram for explaining a dark part presentation method according to the present modification.
  • a plurality of dark portions in the region displayed in the surgical field image are presented by the output device 40a, but the presenting unit 130a can select the plurality of detected dark portions. May be presented.
  • a number is assigned to each of the detected dark portions. For example, when a microphone that recognizes the user's voice is used as the input device 50, for example, a dark part to be brightened may be selected by reading a number assigned to the dark part by the user. Further, for example, when the microphone as the input device 50 recognizes the user's voice, the lighting device 30a may be adjusted to be an optimal setting value.
  • the illumination device 30a By selecting the dark part and adjusting the illumination device 30a by voice, even when the illumination device 30 and the input device 50 are not sterilized, a user who cannot touch the unsterilized unclean area, for example, an operator, It is possible to realize an optimal illumination state by operating the illumination device 30a.
  • FIG. 12 is a schematic diagram for explaining a dark part presentation method according to the present modification.
  • the presentation unit 130a presents a plurality of dark parts in the region displayed on the operative field image by the output device 40a.
  • the dark part whose brightness is to be adjusted may be presented for a plurality of detected dark parts by changing the display method of the dark part according to the recommendation level.
  • the display method of a dark part is changed and shown according to the recommendation degree of the dark part which should adjust brightness.
  • the recommended degree of dark part whose brightness is to be adjusted may be set according to the distance between the position of the surgical part and the dark part calculated by a known image processing technique, for example.
  • the presentation unit 130a may present a display indicating a high recommendation level for the dark part close to the surgical part by the output device 40a.
  • the recommended degree of dark part whose brightness is to be adjusted may be set based on a classifier generated by machine learning. For example, by applying a classifier that distinguishes between a dark part and an object with a low reflectance inserted in the operative field, the accuracy of dark part detection can be improved.
  • the recommendation degree of the dark part whose brightness is to be adjusted is calculated by the method described in advance by the determination unit 122a.
  • the determination unit 122a is configured to adjust the brightness of the dark part whose brightness is to be adjusted based on any information acquired by the acquisition unit 110a and any information that can be calculated by the analysis unit 120a based on the information acquired by the acquisition unit 110a.
  • the degree of recommendation can be set. It should be noted that the recommended level of the dark part whose brightness is to be adjusted is not limited to the display method as shown in FIG. 12, and a numerical value indicating the recommended level may be displayed in the vicinity of each dark part on the real-time image. As the information, the recommended degree and the coordinate value of the dark part may be displayed in the assist information display area 420a. With such presentation, the user can quickly recognize a dark part whose brightness is to be adjusted.
  • the presentation unit 130 may present the images before and after the time when the dark part is detected as PinP (Picture in Picture) as a moving image.
  • PinP Picture in Picture
  • a surgical information processing system 1b to which the technology according to the present embodiment can be applied includes a surgical information processing apparatus 10b, a camera 20b, an illumination device 30b, an output device 40b, and an input device 50b according to the present embodiment.
  • the camera 20b and the illumination device 30b are the same as those described in the first embodiment, and the output device 40b and the input device 50b are the same as those described in the second embodiment. Description is omitted.
  • the surgical information processing apparatus 10b according to the present embodiment can perform various processes while cooperating with the camera 20b, the illumination device 30b, the output device 40b, and the input device 50b in the surgical information processing system 1b. Is possible. Further, the surgical information processing apparatus 10b according to the present embodiment is not the camera 20b, the illumination device 30b, the output device 40b, and the input device 50b in the surgical information processing system 1b, but the camera 20b, the illumination device 30b, and the output device. It is also possible to perform various processes while cooperating with those having the same functions as those of 40b and the input device 50b.
  • the information processing apparatus 10b for surgery includes an acquisition unit 110b, an analysis unit 120b, a presentation unit 130b, a storage unit 140b, and a control unit 150b. Since the acquisition unit 110b, the storage unit 140b, and the control unit 150b are the same as those described in the second embodiment, a detailed description thereof is omitted here.
  • the analysis unit 120b In addition to the function of the analysis unit 120a according to the second embodiment, the analysis unit 120b generates simulation image information for generating a simulation image that simulates the surgical field when the setting value of the illumination device 30b is changed. It further has the function of A plurality of pieces of simulation image information may be generated according to setting values to be adjusted of the lighting device 30b. The set value to be adjusted of the lighting device 30b may be determined by machine learning so that the brightness is suitable for the user to visually recognize the surgical part.
  • the presentation unit 130b further has a function of presenting a simulation image of the operative field when the setting value of the illumination device 30b is changed, in addition to the function of the presentation unit 130a according to the second embodiment.
  • a plurality of simulation images to be presented may be presented according to the simulation image information generated by the analysis unit 120b. Further, a predetermined number of simulation images may be presented by the user.
  • FIG. 13 is a schematic diagram for explaining the presented display according to the present embodiment.
  • the output device 40b includes an operative field image display area 410b, an assist information display area 420b, a switch 430, and an alarm release button 440b.
  • the switch 430b has a function of controlling ON / OFF of the lighting device 30, and the alarm release button 440b has a function of releasing an alarm issued when prompting the user to set the lighting device 30b.
  • the surgical field image display area 410b displays, for example, a current image acquired by the camera 20b and a simulation image of the surgical field obtained when the setting value of the illumination device 30b is changed.
  • the assist information display area 420b the illuminance A of the illumination device 30b and the aperture B of the illumination device 30b are displayed for the current image.
  • the operative field image display area 410b presents one operative field real-time operative field image and three simulation images in FIG. These four images correspond to the image information transmitted from the presentation unit 130a.
  • the presented real-time surgical field image is a real-time surgical field image I that is illuminated with the illumination device 30b adjusted to have an illuminance of A and a diaphragm adjusted to B.
  • the presentation unit 130b presents the surgical field image when the illuminance of the illumination device 30b is adjusted to A1 and the diaphragm to B1, as the candidate A, and the illuminance of the illumination device 30b is adjusted to A2 and the diaphragm is adjusted to B2.
  • the surgical field image when the illuminance of the illumination device 30b is adjusted to A3 and the diaphragm is adjusted to B3 is presented as the candidate C.
  • the control unit 150b causes the illumination device 30b to change the illuminance and aperture of the candidate image. Adjusted to By presenting the simulation image as a candidate image, the surgical information processing apparatus 10b according to the present modification can provide the brightness of the surgical field corresponding to the surgeon.
  • the real-time operative field image may be displayed as a relatively large main image, and the remaining three simulation images may be displayed as a relatively small sub image.
  • FIG. 14 is a flowchart for explaining the operation of the surgical information processing apparatus 10b according to the present embodiment.
  • a step (S106) in which simulation image information is generated is added after the step (S105A) of calculating the optimum setting value in the flowchart shown in FIG. Is done.
  • S101 to S104 and S107 to S111 are the same as the operation of the surgical information processing apparatus 10a according to the second embodiment. Detailed description is omitted.
  • the calculation unit 121b calculates a plurality of optimum setting values of the lighting device 30 based on the acquired image information and luminance distribution so that the optimum light is emitted to the dark part. Specifically, using the classifier generated by machine learning, the calculation unit 121b analyzes the surgical field image to calculate the illumination state of the surgical part, and calculates a plurality of setting values to be changed.
  • the analysis unit 120b generates a plurality of simulation image information of the operative field based on the calculated optimal setting values of the illumination device 30b (S106).
  • simulation image information generated at this time for example, images with different colors may be generated even if the brightness of the operative field is the same.
  • the determination unit 122b included in the analysis unit 120b compares the setting value of the illumination device 30b at the time when the operative field image is acquired with a plurality of optimum setting values of the illumination device 30b, and provides illumination to the user. It is determined whether or not the presentation for prompting the setting change of the device 30b is performed (S107). Specifically, the determination unit 122b compares the current setting value of the lighting device 30b with the optimal setting value of the lighting device 30b calculated by the calculation unit 121b, and compares the current setting value with the optimal setting value. When the difference is larger than the predetermined threshold value, the determination unit 122b determines that the setting of the lighting device 30b should be changed (S107 / YES).
  • the analysis unit 120b transmits the generated simulation image information to the presentation unit 130b.
  • the difference between the current set value and the optimum set value of the lighting device 30b is equal to or smaller than the predetermined threshold value in S107, the operation is repeated from S101 (S107 / NO).
  • an output prompting the operation of the illumination device 30b by the output device 40b is output (S109).
  • a plurality of simulation images based on real-time surgical field images and a plurality of simulation image information generated by the analysis unit 120b are presented.
  • the output device 40b displays one real-time surgical field image and three simulation images.
  • One of the displayed surgical field images is a real-time surgical field image that is illuminated with the illumination device 30b adjusted to have the illuminance A and the aperture B.
  • the presentation unit 130b presents the surgical field image when the illuminance of the illumination device 30b is adjusted to A1 and the diaphragm to B1, as the candidate A, and the illuminance of the illumination device 30b is adjusted to A2 and the diaphragm is adjusted to B2.
  • the surgical field image when the illuminance of the illumination device 30b is adjusted to A3 and the diaphragm is adjusted to B3 is presented as the candidate C.
  • the output device 40b displays the illuminance A and the aperture B of the real-time illumination device 30b as assist information.
  • one simulation image is selected from the above three surgical field image candidates, and image information of the selected simulation image is transmitted to the control unit 150b. .
  • the setting value of the illuminating device 30b is changed by the control part 150b so that a surgical field is illuminated according to the selected surgical field image (S111).
  • the illuminance of the illumination device 30b is adjusted from illuminance A to illuminance A2, and the aperture is adjusted from aperture B to aperture B2.
  • the above S101 to S111 are repeated as needed. Thereby, even when a user changes for every operation, it becomes possible to irradiate the surgical field with the optimal illumination according to the user.
  • FIG. 15 is a block diagram illustrating a hardware configuration example of the surgical information processing apparatus 10 according to an embodiment of the present disclosure.
  • the surgical information processing apparatus 10 includes, for example, a CPU 901, a ROM 902, a RAM 903, a host bus 904, a bridge 905, an external bus 906, an interface 907, an input device 908, and a display device. 909, an audio output device 910, a storage device 911, a drive 912, a connection port 913, and a removable storage medium 914.
  • the hardware configuration shown here is an example, and some of the components may be omitted.
  • the information processing apparatus 10 for surgery may further include components other than the components shown here.
  • the CPU 901 functions as, for example, an arithmetic processing device or a control device, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 902, RAM 903, storage device 911, or removable storage medium 914. .
  • the ROM 902 is a means for storing a program read by the CPU 901, data used for calculation, and the like.
  • the RAM 903 temporarily or permanently stores, for example, a program read by the CPU 901 and various parameters that change as appropriate when the program is executed.
  • the CPU 901, the ROM 902, and the RAM 903 are connected to each other via, for example, a host bus 904 capable of high-speed data transmission.
  • the host bus 904 is connected to an external bus 906 having a relatively low data transmission speed via a bridge 905, for example.
  • the external bus 906 is connected to various components via an interface 907.
  • a mouse, a keyboard, a touch panel, a button, a switch, and a lever can be used as the input device 908.
  • a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used as the input device 908.
  • the input device 908 includes a voice input device such as a microphone. In the surgical information processing apparatus 10 according to an embodiment of the present disclosure, the input device 908 corresponds to the input device 50 described above.
  • the display device 909 is, for example, a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, a printer, or the like, and the audio output device 910 is an audio output device such as a speaker or headphones. Both the display device 909 and the audio output device 910 are devices that can notify the user of the acquired information visually or audibly.
  • a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, a printer, or the like
  • the audio output device 910 is an audio output device such as a speaker or headphones. Both the display device 909 and the audio output device 910 are devices that can notify the user of the acquired information visually or audibly.
  • the storage device 911 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 912 is a device that reads information recorded in a removable storage medium 914 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information in the removable storage medium 914, for example.
  • a removable storage medium 914 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable storage medium 914 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable storage medium 914 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 913 is a port for connecting an external connection device such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • an external connection device such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal.
  • An acquisition unit that acquires an operation field image including an operation field illuminated by an illumination device, and first illumination information indicating an illumination state of the illumination device;
  • a presentation unit that makes a presentation to the user based on the surgical field image and the first illumination information acquired by the acquisition unit; Comprising Information processing device for surgery.
  • An analysis unit The analysis unit calculates second illumination information indicating an ideal illumination state of the illumination device by machine learning from the operative field image,
  • the presenting unit presents to the user based on a result of comparing the first lighting information and the second lighting information.
  • the analysis unit includes the classifier generated by performing machine learning in advance on learning data in which the operative field image for learning and an ideal illumination state in the operative field image for learning are linked. Calculating a second illumination information by inputting a field image;
  • the presenting unit performs a presentation based on the surgical field image and the first illumination information to the user when a dark part that is an area having a luminance equal to or lower than a predetermined threshold occurs in the surgical field image.
  • the surgical information processing apparatus according to any one of (1) to (3).
  • the presenting unit presents a plurality of dark parts so as to be selectable, and presents second illumination information about the dark parts selected by the user.
  • the analysis unit calculates second illumination information indicating an ideal illumination state of the illumination device by machine learning from the operative field image
  • the presenting unit presents at least one of the position of the dark part and the second illumination information about the dark part based on the voice uttered by the user.
  • the surgical information processing apparatus according to (4) or (5).
  • the presenting unit changes the display indicating the position of the dark part according to the position of the dark part of the operative field image and displays it by an external output device.
  • the surgical information processing apparatus according to any one of (4) to (6).
  • the presenting unit presents images before and after the time point when it is determined that the dark part has occurred, The surgical information processing apparatus according to any one of (4) to (7).
  • An analysis unit The analysis unit calculates second illumination information indicating an ideal illumination state of the illumination device by machine learning from the operative field image, The analysis unit calculates the second illumination information for a position specified by the user in the operative field; The surgical information processing apparatus according to any one of (2) to (8).
  • An analysis unit The analysis unit calculates second illumination information indicating an ideal illumination state of the illumination device by machine learning from the operative field image, The analysis unit calculates a difference between the first illumination information and the second illumination information; The presenting unit presents the user when the difference exceeds a predetermined threshold.
  • the surgical information processing apparatus according to any one of (2) to (9).
  • the presenting unit outputs a signal for invoking an operation of the lighting device when the difference exceeds the threshold.
  • the surgical information processing apparatus (10) The surgical information processing apparatus according to (10). (12) The presenting unit presents the first illumination information when the operative field image is acquired by a predetermined presenting method, The surgical information processing apparatus according to any one of (1) to (11). (13) An analysis unit, The analysis unit generates a plurality of simulation images that are images of the surgical field simulating a case where the illumination state of the illumination device is different, The presentation unit presents the simulation images of a plurality of the surgical fields when the illumination states of the illumination devices are different from each other. The surgical information processing apparatus according to any one of (1) to (12).
  • the analysis unit calculates second illumination information indicating an ideal illumination state of the illumination device for a certain region by machine learning from the operative field image, The acquisition unit acquires a region for calculating the second illumination information by detecting a surgical instrument in the surgical field.
  • the information processing apparatus for operation according to any one of (13) to (13).
  • the analysis unit calculates second illumination information indicating an ideal illumination state of the illumination device for a certain region by machine learning from the operative field image, The acquisition unit acquires a region for calculating the second illumination information by detecting a line of sight of the user or a user different from the user.
  • the surgical information processing apparatus according to any one of (2) to (14).

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

照明状態を調整する必要性の有無をすばやく把握することができる、手術用情報処理装置、情報処理方法及びプログラムにおいて、照明装置(30)によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部(110)と、前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部(130)と、を備えるように構成した。

Description

手術用情報処理装置、情報処理方法及びプログラム
　本開示は、手術用情報処理装置、情報処理方法及びプログラムに関する。
　外科手術においては、術者が手術をしやすいように無影灯のような照明装置によって術野が照らされている。手術の進行に合わせて術者が必要とする照明位置や照明量は変化するため、術野における照明の状態の調整が必要となる。
　例えば、以下の特許文献１には、照明機器を支えるアームの関節部の駆動状態や位置状態を検出するとともに患者の座っているチェアの位置状態を検出し、それらの状態に基づいて最適な照明位置を算出する方法が開示されている。
特開２００４－１２９９７８号公報
　しかしながら、外科手術では患者によって術野箇所は異なり、また、手術の進行状況に応じて照明が必要とされる場所はリアルタイムで変化する。このとき、照明装置の照明状態の調整のため、術者だけでなく、術者以外の人間、例えば看護師も術野の照明状態を調整する必要性の有無を素早く把握することが望まれる。
　そこで、本開示では、上記事情に鑑みて、照明状態を調整する必要性の有無をすばやく把握することができる、手術用情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部と、前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、を備える、手術用情報処理装置が提供される。
　また、本開示によれば、プロセッサが、照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得することと、取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うことと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得する取得部、及び前記取得部によって取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うこと提示部、として機能させるための、プログラムが提供される。
　本開示によれば、照明装置の設定を変更すべき場合に、照明装置の操作を促す提示がなされる。
　以上説明したように本開示によれば、ユーザは、術野の照明状態を調整する必要性の有無を素早く把握することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る手術用情報処理システムの構成を示すブロック図である。 同実施形態に係る提示された表示を説明するための模式図である。 同実施形態に係る手術用情報処理装置の動作を説明するための流れ図である。 本開示の第２の実施形態に係る手術用情報処理システムの構成を示すブロック図である。 同実施形態に係る提示された表示を説明するための模式図である。 同実施形態に係る手術用情報処理装置の動作を説明するための流れ図である。 同実施形態に係る手術用情報処理装置における最適な照明状態を算出するための機械学習の流れを説明するための流れ図である。 同実施形態に係る手術用情報処理装置における最適な照明状態を算出するための機械学習の流れを説明するための流れ図である。 同実施形態に係る提示された表示を説明するための模式図である。 同実施形態に係る提示された表示を説明するための模式図である。 同実施形態に係る提示された表示を説明するための模式図である。 同実施形態に係る提示された表示を説明するための模式図である。 本開示の第３の実施形態に係る提示された表示を説明するための模式図である。 同実施形態に係る手術用情報処理装置の動作を説明するための流れ図である。 本開示に係る手術用情報処理装置のハードウェア構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜１．背景＞
　＜２．第１の実施形態＞
　＜３．第２の実施形態＞
　＜４．第３の実施形態＞
　＜５．ハードウェア構成＞
　＜６．結び＞
　＜１．背景＞
　外科手術において、医師などの術者が手術をしやすいように術野を照らす照明装置として、無影灯が用いられる。通常、無影灯は滅菌されていないため、術者がその無影灯に触れて操作することは好ましくない。そのため、一般的には、直接手術にかかわる術者の補助、手術時の記録や手術環境の調節などを行う看護師（以下、外回り看護師と称する）が、無影灯による照射位置や照射角度、絞り等を物理的に操作して明るい視野を術者に提供する。しかし、外回り看護師には、無影灯の操作以外にも上記のように術者の補助、手術時の記録など様々な役割がある。そのため、外回り看護師は、無影灯の近くで常時作業が出来るわけではない。また、外回り看護師は、常に術野を見て術野の明るさを確認することができるとは限らない。そのため、手術展開によっては手術の進行に応じて術創が深くなったときや術野の位置が変わったときに、術野が暗くなったことに外回り看護師が気づくのが遅れ、手術の進行の遅延が生じることがある。手術が行われる術部が暗い状態であると、術者の注意力の低下等が生じることがある。また、照明装置を操作して術野に適切な光を照射するには熟練の技術が必要である。そのため、手術操作を行う術者自身が滅菌された照明装置を操作するとしても、適切な光を術野に照射するのに時間を要することがあり、手術操作の中断や遅れが生じる可能性がある。これに加えて、術者の注意力が低下する可能性があり、この術者の注意力の低下が手術の進行に影響する場合がある。
　このような手術の進行の遅延や医師の注意力の低下などを抑制するために、外回り看護師は、短時間で正確に照明装置を操作して他の作業の時間を確保することが重要である。そのため、外回り看護師には、照明状態の変更が必要かどうかを迅速に判断することが求められる。また、術者が外回り看護師に明るくしたいと所望する箇所を精度よく伝達することは、手術の円滑な進行に重要である。
　そこで、本発明者らは、術野画像および照明装置の照明状態を示す照明情報に基づいた提示を術者や看護師等のユーザに提示することに着想し、本技術を発明するに至った。
＜２．第１の実施形態＞
［２－１．構成］
　ここまで、本技術を発明する至った背景を説明した。続いて、図１及び図２を参照しながら、本開示に係る手術用情報処理装置の構成について説明する。
　まず、本開示に係る技術が適用され得る手術用情報処理システム１の概略構成を説明する。図１は、本開示に係る技術が適用され得る手術用情報処理システム１の概略的な構成の一例を示す図である。図２は、本実施形態に係る提示された表示を説明するための模式図である。
　手術用情報処理システム１は、本実施形態に係る手術用情報処理装置１０、カメラ２０、照明装置３０、及び出力装置４０を備える。
　本実施形態に係る手術用情報処理装置１０は、照明装置３０によって照明された術野がカメラ２０により撮像された術野画像と、照明装置３０の設定値を取得し、術野画像および照明装置３０の設定値に基づいた提示をユーザへ行う。照明装置３０の設定値とは、照明装置３０の照明光の調整に用いられる調整因子の設定値であり、例えば、照明装置３０が配置されている位置を示す座標値、照度値、絞り値、色温度等がある。なお、本開示の実施形態に係る手術用情報処理装置１０は、図１に示したような手術用情報処理システム１におけるカメラ２０、照明装置３０、及び出力装置４０ではなく、これらカメラ２０、照明装置３０、及び出力装置４０と同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。
　本実施形態に係る手術用情報処理装置１０は、取得部１１０と、解析部１２０と、提示部１３０と、記憶部１４０とを備える。
　取得部１１０は、ネットワークを介して、後述するカメラ２０及び照明装置３０との情報通信を行う機能を有しており、カメラ２０で撮像された画像、及び照明装置３０の設定値を取得する。また、取得部１１０は、外部の入力装置に入力された情報の通信を行う機能を有していてもよい。取得部１１０は、カメラ２０および照明装置３０に対して制御信号を送信し、カメラ２０及び照明装置３０の駆動を制御する機能を有してもよい。当該制御信号には、カメラ２０の倍率や焦点距離、及び照明装置３０の照明強度、絞りや照明強度等、撮像条件及び照明条件に関する情報が含まれ得る。取得部１１０は、画像情報取得部１１１と、照明情報取得部１１２を有する。
　画像情報取得部１１１は、カメラ２０によって撮影された術野画像、及び術野画像が撮影されたときのカメラ２０の設定情報を含む術野画像情報をカメラ２０から取得する機能を有する。画像情報取得部１１１が取得する術野画像情報には、例えば、術野画像の輝度、術野画像を構成する色情報、焦点距離等が含まれる。画像情報取得部１１１によって取得された術野画像情報は、解析部１２０に送信される。
　照明情報取得部１１２は、術野画像が取得されたときの照明装置３０の設定値（以下では、「術野画像が取得されたときの照明装置３０の設定値」を「現在の設定値」と呼称することもある。）を照明装置３０から取得する。照明情報取得部１１２で取得された現在の設定値は、解析部１２０に送信される。この術野画像が取得されたときの照明装置３０の設定値は、第１照明情報に相当する。
　解析部１２０は、取得部１１０で取得された術野画像情報、及び術野画像が取得されたときの照明装置３０の設定値に基づいて、ユーザに照明装置３０の設定を変更すべき提示を行うか否かの判定を行う。解析部１２０は、算出部１２１及び判定部１２２を有する。
　算出部１２１は、取得された術野画像の輝度分布を解析し、術部を照明する照明装置３０について、術部を照明するのに最適な照明装置３０の設定値（以下では、「術部を照明するのに最適な照明装置３０の設定値」を「最適な設定値」と呼称することもある。）の算出を行う。この術部を照明するのに最適な照明装置３０の設定値は、第２照明情報に相当する。輝度分布の解析は、例えば、公知の画像処理技術が適用可能である。算出部１２１が行う術野画像の輝度分布の解析領域は、術野画像全体であってもよいし、術野画像に表示された領域の一部、例えば、手術が行われている術部の輝度分布、又はユーザによって指定される領域であってもよい。また、算出部１２１が行う最適な設定値の算出は、例えば、機械学習により生成された分類器を用いて行われてもよい。本実施形態に適用され得る機械学習方法には、公知の方法が適用されてよく、例えば、ニューラルネットワークを用いた機械学習方法が適用されてもよい。ニューラルネットワークを用いた機械学習手法は、例えばそれぞれのデータに分類ラベルが付与されている複数のデータを学習データとして用いる。ニューラルネットワークを用いた機械学習モデルに学習データを入力することで分類用のパラメータを生成する。そして生成された分類用のパラメータをセットした機械学習モデルに入力データを入力することで、入力データに対する分類を行う。このとき、分類と、分類の尤度を出力するのが好ましい。かかる機械学習方法により、ユーザや手術機器等によって生じる影等の術野への照明を阻害する因子に関する情報がない場合でも、算出部１２１によって統計的な処理が施されることで、最適な設定値が算出される。
　また、算出部１２１は、公知の術具検出技術により術野画像に表示された術具を検出し、術具が検出された箇所近傍の領域の輝度分布を解析してもよい。この術具検出には、例えば、特開２０１７－１６４００７号や、ＷＯ２０１５／０３７３４０号公報に開示された術具検出技術を使用することができる。また、算出部１２１は、公知の視野位置推定技術を適用して視野位置を検出し、当該視野位置を含む領域の輝度分布を解析してもよい。この視野位置推定には、例えば特開２０１６－１８２２２８号に開示された視野位置推定技術を使用することができる。算出部１２１は、公知の画像処理技術を用いてユーザによってレーザ等で用いてポインティングされた部分を検出し、当該部分含む領域の輝度分布を解析してもよい。
　判定部１２２は、現在の設定値と最適な設定値とを比較して、ユーザに対して、照明装置３０の設定変更を促す提示を行うか否かを判定する。詳細には、現在の設定値と最適な設定値との差分を算出し、この差分が所定の閾値より大きい場合、判定部１２２は、提示部１３０に照明装置３０の設定を変更すべき信号を送信する。判定部１２２は、例えば、設定値の一つである照度について、術野画像が取得されたときの照明装置３０の照度値と、最適な照度値との差分が所定の閾値より大きくなった場合に、提示部１３０に照明装置３０の設定を変更すべき信号を送信する。なお、判定部１２２は、照明装置３０の全ての調整因子について設定値の差分を算出してもよいし、予め選択された調整因子について設定値の差分を算出してもよい。また、上記の閾値は、ユーザによって設定されてもよいし、機械学習により生成された分類器に基づいて閾値が設定されてもよい。
　提示部１３０は、照明装置３０の設定条件変更を促す通知を提示する機能を有する。また、提示部１３０は、術野画像および術野画像が取得されたときの照明装置３０の設定値をユーザに提示する機能を有する。提示部１３０は、出力装置４０が出力する情報及び出力方法を制御する。例えば、提示部１３０は、照明装置３０の設定条件変更を促す通知、カメラ２０により取得された画像情報、照明装置３０の照明情報等を出力装置４０に送信して、出力装置４０に出力させる。また、提示部１３０は、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）を適宜提示してもよい。
　記憶部１４０には、カメラ２０により取得された画像、取得部１１０、解析部１２０及び提示部１３０が上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。また、記憶部１４０には、上記のような取得部１１０が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部１４０には、例えば、算出部１２１及び判定部１２２がそれぞれの処理を行う際に、保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。また、算出部１２１及び判定部１２２が実行する処理に限られず、本実施形態に係る手術用情報処理装置１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部１４０は、取得部１１０及び解析部１２０が、自由にリード／ライト処理を実施することが可能である。
　カメラ２０は、手術が行われている術野を撮像して術野画像を取得する機能を有する医療用観察装置である。カメラ２０は、例えば、手術用ビデオ顕微鏡や術野カメラである。カメラ２０には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。カメラ２０は、照明装置３０として用いられる無影灯の下で術野を撮像可能であれば特段制限されない。例えば、カメラ２０は、照明装置３０に一体化されていてもよい。
　例えば、カメラ２０の撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、ユーザは、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
　また、カメラ２０の撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。
　カメラ２０には通信部が備えられ（図示せず）、取得部１１０との間で各種の情報を送受信する。カメラ２０の通信部は、取得された画像信号をＲＡＷデータとして取得部１１０に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。
　また、カメラ２０は、取得部１１０から、カメラ２０の駆動を制御するための制御信号を受信する機能を有する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいて取得部１１０によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能がカメラ２０に搭載される。
　照明装置３０は、術部に光を照射する機能を有する。照明装置３０は、手術室の天井に設けられ、少なくとも術者の手元を照射する。照明装置３０は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。照明装置３０は、光源として、例えば、複数のＬＥＤ光源を有している。照明装置３０には、可動するアームが備えられており、ユーザの操作によって任意に光源の位置が定められる。照明装置３０は、照明装置３０から照射される照明光の焦点深度、光野径の調節が可能に構成されることが好ましい。照明装置３０は、例えば、無影灯によって構成され、複数の無影灯によって構成されてもよい。
　出力装置４０は、手術用情報処理装置１０に備えられる提示部１３０の指示によって、術野画像、ユーザに操作方法を支援する情報であるアシスト情報、所定の音声等を出力する機能を有する。アシスト情報には、術野画像が取得されたときの照明装置３０の設定値に関する情報が含まれる。出力装置４０の表示画面は、例えば、術野画像を表示する術野画像表示エリア４１０と、アシスト情報を表示するアシスト情報表示エリア４２０を有している。例えば、図２では、カメラ２０により取得されたリアルタイムの画像が術野画像表示エリア４１０に表示されている。また、アシスト情報表示エリア４２０には、照明装置３０の照度及び絞りが出力装置４０に表示されている。アシスト情報表示エリア４２０は、ユーザによって照明装置３０の状態が把握されやすいような表示方法でアシスト情報を表示する。例えば、照明装置３０の照度値や絞り値をメータ表示で表示してもよいし、数値表示してもよい。また、出力装置４０には、図２に示すように、照明装置３０のＯＮ／ＯＦＦを制御するためのスイッチ４３０、ユーザへの照明装置３０の設定を促す際に発せられるアラームを解除するアラーム解除ボタン４４０が備えられてもよい。ユーザは、出力装置４０に表示された術野画像及び照明装置３０の照明情報を確認することで、照明装置３０の調整が必要かどうかを素早く把握することができる。
　出力装置４０は、提示部１３０からの制御により、提示部１３０によって画像処理が施された画像信号に基づく画像を表示する。カメラ２０が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、出力装置４０としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、出力装置４０として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の出力装置４０が設けられてもよい。
　ここまで、本開示に係る技術が適用され得る手術用情報処理システム１及び手術用情報処理装置１０の概略構成について説明した。
［２－２．動作］
　続いて、図３を参照して、本実施形態に係る手術用情報処理装置１０の動作を説明する。図３は、本実施形態に係る手術用情報処理装置１０の動作を説明するための流れ図である。
　まず、取得部１１０は、カメラ２０で取得された術野画像情報、及び術野画像が取得されたときの照明装置３０の設定値を取得する（Ｓ１０１）。具体的には、取得部１１０が有する画像情報取得部１１１が、カメラ２０によって撮影された術野画像、及び術野画像が撮影されたときのカメラ２０の設定情報を含む画像情報を取得する。このとき、画像情報取得部１１１は、例えば、公知の術具検出技術や視野位置推定技術等を適用して、処置を進めている術部を検出する。これにより、ユーザが術野画像において明るくしたい術部が検出される。取得された術野画像、術野画像情報及び照明情報は解析部１２０に送信される。
　続いて、解析部１２０が有する算出部１２１は、術野画像及び照明状態を解析する（Ｓ１０３）。具体的には、算出部１２１は、術野画像を解析して術野の輝度分布を算出する。このとき算出部１２１は、術野全体の輝度分布を解析してもよいし、術野画像の一部の表示領域の輝度分布を解析してもよい。詳細には、算出部１２１は、術具近傍の領域の輝度分布を解析してもよいし、視野位置を検出することで当該視野位置を含む領域の輝度分布を解析してもよいし、ユーザによって指定された領域の輝度分布を解析してもよい。
　次いで、算出部１２１は、取得された画像情報及び輝度分布を基に、照明装置３０の最適な設定値を算出する（Ｓ１０５）。具体的には、算出部１２１は、機械学習により学習させた分類器を用いて、照明装置３０の調整すべき術野画像を解析して術部の最適な設定値を算出する。
　その後、解析部１２０が有する判定部１２２は、現在の設定値と最適な設定値とを比較して、ユーザに対して、照明装置３０の設定変更を促す提示を行うか否かを判定する（Ｓ１０７）。具体的には、判定部１２２は、現在の設定値と最適な設定値との差分を算出し、この差分と所定の閾値を比較して、この差分が所定の閾値より大きい場合、判定部１２２は、提示部１３０へ術野画像及び現在の設定値を含む情報を送信する（Ｓ１０７／ＹＥＳ）。一方、上記差分が所定の閾値以下の場合、繰り返しＳ１０１から動作が繰り返される（Ｓ１０７／ＮＯ）。
　そして、提示部１３０は、判定部１２２から術野画像及び現在の設定値に関する情報を受信した後、ユーザに対して照明装置３０の操作を促す信号を出力装置４０に送信する。そして、出力装置４０は、照明装置３０の操作を促す出力を行う（Ｓ１０９）。照明装置３０の操作を促す出力は、例えば、警告音を発することで行われてもよい。提示部１３０は、上記術野画像及び術野画像が取得されたときの照明装置３０の設定値の情報を出力装置に送信し、出力装置４０は、受信した術野画像及び設定値の情報を出力してもよい。上記の動作により、ユーザは、術野の照明状態を調整する必要性の有無を素早く把握することが可能となる。
＜３．第２の実施形態＞
［３－１．構成］
　続いて、図４及び図５を参照して、本開示に係る第２の実施形態について説明する。図４は、本実施形態に係る技術が適用され得る手術用情報処理システム１ａの概略的な構成の一例を示す図である。図５は、本実施形態に係る提示された表示を説明するための模式図である。本実施形態に係る技術が適用され得る手術用情報処理システム１ａは、本実施形態に係る手術用情報処理装置１０ａ、カメラ２０ａ、照明装置３０ａ、出力装置４０ａ、入力装置５０を備える。カメラ２０ａ、照明装置３０ａ、及び出力装置４０ａは第１の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。本実施形態に係る技術が適用され得る手術用情報処理システム１ａは、第１の実施形態に係る手術用情報処理システム１に、入力装置５０が更に備えられている。本実施形態に係る手術用情報処理装置１０ａは、図４に示したような手術用情報処理システム１ａにおけるカメラ２０ａ、照明装置３０ａ、出力装置４０ａ、及び入力装置５０と相互に連携を取りながら各種の処理を実施することが可能である。また、本実施形態に係る手術用情報処理装置１０ａは、図４に示したような手術用情報処理システム１ａにおけるカメラ２０ａ、照明装置３０ａ、出力装置４０ａ、及び入力装置５０ではなく、これらカメラ２０ａ、照明装置３０ａ、出力装置４０ａ、及び入力装置５０と同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。
　手術用情報処理装置１０ａは、取得部１１０ａと、解析部１２０ａと、提示部１３０ａと、記憶部１４０ａと、制御部１５０とを備える。記憶部１４０ａは、第１の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
　本実施形態に係る取得部１１０ａは、第１の実施形態に係る判定部１２２が有する機能に加え、後述する機械学習に用いる分類器を作製する際の参照データの登録を行う機能を有する。
　本実施形態に係る解析部１２０ａは、算出部１２１ａ及び判定部１２２ａを備える。判定部１２２ａは、第１の実施形態に係る判定部１２２が有する機能に加え、術野画像に表示された術野に暗い領域である暗部が存在するか否かを判定する。算出部１２１ａは、判定部１２２ａによって術野に暗部が存在すると判定された場合に、照明装置３０ａの最適な設定値を算出する。暗部の有無の判定は、算出部１２１ａにより算出された術野画像に表示された領域の輝度分布を利用して判定される。詳細には、術野画像に表示された領域において、輝度が所定の閾値以下の領域が存在する場合に、判定部１２２ａは、暗部が存在すると判定する。また、判定部１２２ａは、後述する機械学習に用いる分類器を作製する際の教師データの登録を行う機能を有する。
　提示部１３０ａは、第１の実施形態に係る提示部１３０が有する機能に加え、照明装置３０ａの最適な設定値、術野の暗部に関する表示を提示する機能を有する。また、提示部１３０ａは、判定部１２２ａによって術野に暗部が生じている判定された場合に、照明装置３０ａの設定条件変更を促す通知を提示する。これにより、ユーザは、適切なタイミングで照明装置３０ａの設定を適切に変更することが可能となる。
　本実施形態に係る制御部１５０は、照明装置３０ａを制御する機能を有する。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成される。制御部１５０は、例えば、入力装置５０によって入力された情報を受信し、受信した情報に応じて照明装置３０ａの設定値を制御する。制御部１５０は、カメラ２０ａに対して制御信号を送信し、その駆動を制御してもよい。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５０を介して入力され得る。
　出力装置４０ａの出力画面には、術野画像表示エリア４１０ａ、アシスト情報表示エリア４２０ａ、スイッチ４３０ａ及びアラーム解除ボタン４４０ａが備えられる。出力装置４０ａは、図５に示すように、第１の実施形態に係る出力装置４０が有する機能に加え、術野画像表示エリア４１０ａに表示されたリアルタイムの画像に暗部を示す表示を重畳させる機能を有する。また、出力装置４０ａは、アシスト情報表示エリア４２０ａに、現在の設定値及び照明装置３０ａの最適な設定値を表示する機能を有する。例えば、アシスト情報表示エリア４２０ａには、現在の設定値に含まれるリアルタイムの照明装置３０ａの照度及び絞りに加え、算出部１２１ａによって算出された照明装置３０ａの最適な設定値が表示される。具体的には、図５では、アシスト情報表示エリア４２０ａには、リアルタイムの照度Ａと術野画像表示エリア４１０ａに示された暗部についての最適な設定値である照度Ａ０が表示されている。また、アシスト情報表示エリア４２０ａには、リアルタイムの照明装置３０の配置Ｓと最適な照明状態である照明装置３０の配置Ｓ０が表示されている。出力装置４０ａの出力画面には、暗部の位置、及び照明装置３０ａの現在の設定値と最適な設定値とが表示されるので、ユーザは、視覚的に照明の改善の余地を把握することができる。ユーザは、出力装置４０ａに示された照明の改善の余地を確認することで、照明装置３０ａの設定をどのように変更すればよいか迅速に判断することが可能となる。なお、アシスト情報表示エリア４２０ａに表示されるアシスト情報は、照明装置３０ａの調整されるべき設定条件に応じて表示されてもよい。また、予めユーザによって選択された装置の設定条件がアシスト情報として表示されてもよい。出力装置４０ａとしては、例えば、手術室に備えられるモニタ、情報処理端末、ＯＲシステムのユーザインタフェース（ＵＩ）等が挙げられる。情報処理端末としては、タブレット、ＰＣ等が挙げられる。出力装置４０ａには、音声入力機能を有するものが用いられてもよい。スイッチ４３０ａは、照明装置３０ａのＯＮ／ＯＦＦを制御する機能を有し、アラーム解除ボタン４４０ａは、ユーザへの照明装置３０ａの設定を促す際に発せられるアラームを解除する機能を有する。
　入力装置５０は、ユーザによって操作され、手術用情報処理装置１０ａに対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、カメラ２０ａによる撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、照明装置３０ａの設定値を変更する旨の指示等を入力する。
　入力装置５０の種類は限定されず、入力装置５０は各種の公知の入力装置であってよい。入力装置５０としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５０としてタッチパネルが用いられる場合には、当該タッチパネルは出力装置４０ａの表示面上に設けられてもよい。
　あるいは、入力装置５０は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザが、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
［３－２．動作］
　続いて、図６を参照して、本実施形態に係る手術用情報処理装置１０ａの動作を説明する。図６は、本実施形態に係る手術用情報処理装置１０ａの動作を説明するための流れ図である。本実施形態に係る手術用情報処理装置１０ａの動作は、図３に示した流れ図の術野画像、照明状態を解析するステップ（Ｓ１０３）の後に暗部を判定するステップ（Ｓ１０４）が追加され、また、照明装置３０の操作を促す提示を行うステップ（Ｓ１０９）の後に、照明装置３０ａを制御するステップ（Ｓ１１１）が追加されている。Ｓ１０１及びＳ１０３は第１の実施形態に係る手術用情報処理装置１０の動作と同様であるため、ここでの詳細な説明は省略する。
　Ｓ１０４において、判定部１２２ａは、Ｓ１０３で算出部１２１ａによって解析された輝度分布を利用し、術野画像上に輝度が所定の閾値より小さい領域がある場合に、暗部が存在すると判定する（Ｓ１０４／ＹＥＳ）。暗部が存在すると判定された場合、算出部１２１ａは、暗部に対して最適な光が照射されるように、取得された画像情報及び輝度分布を基に照明装置３０ａの最適な設定値を算出する（Ｓ１０５）。具体的には、算出部１２１ａは、機械学習により生成された分類器を用いて、照明装置３０ａの変更すべき設定値を算出する。次いで、判定部１２２ａは、暗部についての照明装置３０ａの現在の設定値と照明装置３０ａの最適な設定値とを比較して、ユーザに対して、照明装置３０ａの設定変更を促す提示を行うか否かを判定する（Ｓ１０７）。具体的には、判定部１２２ａは、照明装置３０ａの現在の設定値と、算出部１２１により算出された照明装置３０ａの最適な設定値とを比較し、現在の設定値と最適な設定値の差分が所定の閾値より大きい場合、判定部１２２ａは、照明装置３０ａの設定を変更すべきであると判定する（Ｓ１０７／ＹＥＳ）。判定部１２２ａは、提示部１３０ａへ判定結果を送信する。
　そして、提示部１３０ａは、判定部１２２ａから判定結果を受信し、照明装置３０ａの設定を変更すべき場合は、ユーザに対して照明装置３０ａの操作を促す信号を出力装置４０ａに送信し、出力装置４０ａは、照明装置３０ａの操作を促す出力を行う（Ｓ１０９）。
　その後、ユーザによって、入力装置５０が操作されることにより照明装置３０ａの設定値が変更され、入力された設定値は制御部１５０に送信される。そして制御部１５０は、入力された設定値に基づいて、照明装置３０ａの設定値を変更するように制御する（Ｓ１１１）。上記のＳ１０１～Ｓ１１１は随時繰り返される。これにより、ユーザは提示された術野画像やアシスト情報を確認しながら、その場で照明装置３０ａの設定値を変更し、最適な照明を術野に当てることが可能となる。一方、Ｓ１０４において、判定部１２２ａによって輝度が所定の閾値より小さい領域は存在しないと判定された場合、繰り返しＳ１０１から動作が繰り返される（Ｓ１０４／ＮＯ）。また、Ｓ１０７において、照明装置３０ａ現在の設定値と照明装置３０ａの最適な設定値の差分が所定の閾値以下の場合、判定部１２２ａによる提示が行われることなく、繰り返しＳ１０１から動作が繰り返される（Ｓ１０７／ＮＯ）。
　ここで、図７及び図８を参照して、照明装置３０ａの最適な設定値を算出するための機械学習方法について詳細に説明する。図７は、本実施形態に係る手術用情報処理装置１０ａにおける、照明装置３０ａの最適な設定値を算出するための機械学習の流れを説明するための流れ図である。図８は、本実施形態に係る手術用情報処理装置１０ａにおける照明装置３０ａの最適な設定値を算出するための機械学習の別の流れを説明するための流れ図である。
　まず、図７を参照して、ユーザの操作によって学習データが登録されることによる照明装置３０ａの最適な設定値を算出するために用いられる分類器を生成する機械学習方法を説明する。
　解析部１２０ａは、術野画像上の暗部を検知する（Ｓ２０１）。暗部の検知は、上記のＳ１０１、Ｓ１０３及びＳ１０４の流れと同様の流れで行われる。次いで、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値が取得部１１０ａによって取得される（Ｓ２０３）。提示部１３０ａは、出力装置４０ａによって、ユーザに対して照明装置３０ａの操作を促す信号を出力装置４０ａに送信する。出力装置４０ａは、照明装置３０ａの操作を促す出力（アラート）を行う（Ｓ２０５）。ユーザ、例えば外回り看護師は、取得部１１０ａによって取得された術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を参照データとしてラベル登録する（Ｓ２０７）。その参照データは記憶部１４０ａに保存される（Ｓ２０９）。続いて、ユーザは、手術に適した術野となるように照明装置３０ａを調整する（Ｓ２１１）。調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値が取得部１１０ａによって取得される（Ｓ２１３）。ユーザは、取得部１１０ａによって取得された調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値を教師データとしてラベル登録する（Ｓ２１５）。その教師データは記憶部１４０ａに保存される（Ｓ２１７）。上記Ｓ２０１～Ｓ２１７を繰り返すことで、照明装置３０ａの最適な照明状態を算出するための分類器が作製される。なお、Ｓ２０５のアラートは省略されてもよく、出力装置４０ａによる照明装置３０ａの操作を促す出力がされないように、手術用情報処理装置１０ａを設定しておいてもよい。ユーザは、アラートを切った状態で照明装置３０ａを操作して、参照データとなる、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を収集して、参照データをラベル登録してもよい。また、判定部１２２ａが暗部を検知しない場合においても、ユーザが術野に暗い領域があると判断したときは、ユーザは、そのときの術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を参照データとしてラベル登録してもよい。
　次いで、図８を参照して、手術用情報処理装置１０ａよって学習データが登録されることによる照明装置３０ａの最適な設定値を算出するために用いられる分類器を生成するための機械学習方法を説明する。本方法では、ユーザが参照データ及び教師データをラベル登録するのではなく、手術用情報処理装置１０ａが術中に学習データを収集する。具体的には、以下の手順で行われる。解析部１２０ａは、術野画像上の暗部を検知する（Ｓ２０１）。次いで、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値が取得部１１０ａによって取得される（Ｓ２０３）。提示部１３０ａは、出力装置４０ａによって、ユーザに対して照明装置３０の操作を促す信号を出力装置４０ａに送信する。出力装置４０ａは、照明装置３０の操作を促す出力（アラート）を行う（Ｓ２０５）。提示部１３０ａが出力装置４０ａによってアラートを出した後、取得部１１０ａは、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を参照データとしてラベル登録する（Ｓ２０７Ａ）。その参照データは記憶部１４０に保存される（Ｓ２０９）。続いて、ユーザは、手術に適した術野となるように照明装置３０を調整する（Ｓ２１１）。調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値が取得部１１０によって取得される（Ｓ２１３）。その後、所定の時間、照明装置３０ａの設定値に変化がなければ、判定部１２２ａは、照明装置３０が最適な状態に調整されたとみなし、調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値を教師データとしてラベル登録する（Ｓ２１５Ａ）。その教師データは記憶部１４０ａに保存される（Ｓ２１７）。上記Ｓ２０１～Ｓ２１７を繰り返すことで、照明装置３０ａの最適な設定値を算出するための分類器が作製される。
　上記のようにして、学習用術野画像と、当該学習用術野画像における照明装置３０の最適な照明状態とが紐づけられた学習データを機械学習することで分類器が生成される。本実施形態に係る手術用情報処理装置１０ａは、この分類器にカメラ２０で取得された術野画像を入力することにより、照明装置３０の最適な設定値を算出することができる。上記方法で、照明装置３０ａの最適な設定値が算出されることにより、提示部１３０ａは、ユーザに対してより適切なタイミングで提示を行うことができ、また、より精度を高くして照明装置３０ａの最適な設定値を提示することが可能となる。なお、上記では、分類器が、ユーザの操作によって学習データが登録されることによる機械学習、又は、術中に手術用情報処理装置１０ａよって学習データが登録されることによる機械学習により生成される場合を説明した。しかしながら、分類器は、術前に手術用情報処理装置１０ａよって学習データが登録されることによる機械学習により生成されてもよいし、予めユーザ以外の操作によって学習データが登録されることによる機械学習により生成されてもよい。
［３－３．第１の変形例］
　続いて、図９及び図１０を参照して、第２の実施形態に係る手術用情報処理装置１０ａに係る第１の変形例について説明する。図９は、本実施形態に係る暗部の提示方法を説明するための模式図である。図１０は、本実施形態に係る暗部の提示方法を説明するための模式図である。
　判定部１２２ａは、上述したように、算出部１２１ａによって解析された輝度分布を利用し、術野画像上に輝度が所定の閾値より小さい領域がある場合に、暗部が存在すると判定する。図５では、術部に暗い領域が１つ存在する場合を示したが、提示部１３０ａは、図９に示すように、出力装置４０ａによって術野画像に表示された領域中の複数の暗部を提示してもよい。このとき、提示部１３０ａが出力装置４０ａによって提示するアシスト情報は、複数の暗部のうちのいずれかの暗部についての照明装置３０ａの設定値を表示してもよい。複数の暗部のうちユーザが明るさを調整したい暗部は、ユーザによって入力装置５０が操作されることで選択されてもよい。例えば、入力装置５０としてタッチパネルが用いられる場合、ユーザが明るくしたい暗部にタッチすることで当該暗部が選択されてもよい。また、ユーザは、提示部１３０ａが提示する暗部以外の領域を選択して、その選択された位置を、輝度を調整すべき位置とすることも可能である。そして、解析部１２０ａは、選択された暗部に対して、先立って説明した機械学習により照明装置３０ａの最適な設定値を算出する。その結果、例えば、図１０に示すように、出力装置４０ａは、術野画像表示エリア４１０ａに表示されたリアルタイムの画像に、選択された暗部を示す表示を重畳して表示する。また、アシスト情報表示エリア４２０ａには、リアルタイムの照度Ａと術野画像表示エリア４１０ａに示された暗部についての最適な設定値である照度Ａ０が表示されている。また、アシスト情報表示エリア４２０ａには、リアルタイムの照明装置３０の配置Ｓと最適な照明状態である照明装置３０の配置Ｓ０が表示されている。上記のように、術野に生じた複数の暗部が提示されることで、ユーザは、手術が行われている術部以外の注視したい部分についても輝度の調整が可能となり、当該部分についての処置の有無を迅速に判断することが可能となる。また、提示された暗部以外の部分をユーザが選択することで、ユーザが注視したい部分の輝度を迅速に調整することができ、手術時間を短縮することが可能となる。
［３－４．第２の変形例］
　続いて、図１１を参照して、第２の実施形態に係る手術用情報処理装置１０ａの第２の変形例について説明する。図１１は、本変形例に係る暗部の提示方法を説明するための模式図である。
　本変形例では、図１１に示すように、出力装置４０ａによって術野画像に表示された領域中の複数の暗部が提示されているが、提示部１３０ａは、検出された複数の暗部を選択可能に提示してもよい。図１１では、検出された複数の暗部に対して、それぞれ番号が割り振られている。例えば、入力装置５０として、例えばユーザの音声を認識するマイクが用いられる場合、暗部に割り振られた番号がユーザによって読み上げられることで、明るくしたい暗部が選択されてもよい。また、例えば、入力装置５０としてのマイクがユーザの音声を認識することにより、照明装置３０ａは、最適な設定値となるように調整されてもよい。暗部の選択、照明装置３０ａの調整が音声によって行われることで、照明装置３０や入力装置５０が滅菌されていない場合でも、滅菌されていない不潔領域を触れることができないユーザ、例えば術者は、照明装置３０ａを操作して、最適な照明状態を実現することが可能となる。
［３－５．第３の変形例］
　続いて、図１２を参照して、第３の実施形態に係る手術用情報処理装置１０ａの第３の変形例について説明する。図１２は、本変形例に係る暗部の提示方法を説明するための模式図である。
　第１の変形例では、図９に示すように、提示部１３０ａは、出力装置４０ａによって術野画像に表示された領域中の複数の暗部を提示しているが、提示部１３０ａは、図１２に示すように、検出された複数の暗部に対して、明るさを調整すべき暗部を推奨度に応じて暗部の表示方法を変更して提示してもよい。例えば、図１２では、明るさを調整すべき暗部の推奨度に応じて、暗部の表示方法が変更されて提示されている。明るさを調整すべき暗部の推奨度は、例えば、公知の画像処理技術によって算出された術部の位置と暗部との間の距離に応じて設定されてもよい。具体的には、提示部１３０ａは、出力装置４０ａによって術部に近い暗部に対して高い推奨度を示す表示を提示してもよい。また、明るさを調整すべき暗部の推奨度は、機械学習によって生成された分類器に基づいて設定されてもよい。機械学習によって生成された分類器には、例えば、暗部と術野に挿入された反射率が低い物体とを区別する分類器を適用することで、暗部検出の精度を向上することができる。この明るさを調整すべき暗部の推奨度は、判定部１２２ａによって先立って説明した方法にて算出される。また、判定部１２２ａは、取得部１１０ａで取得されるあらゆる情報、及び取得部１１０ａで取得される情報を基に解析部１２０ａで算出され得るあらゆる情報に基づいて、明るさを調整すべき暗部の推奨度を設定することができる。なお、明るさを調整すべき暗部の推奨度は、図１２に示したような表示方法限られず、推奨度を示す数値をリアルタイムの画像上のそれぞれの暗部近傍に表示してもよいし、アシスト情報として、アシスト情報表示エリア４２０ａにその推奨度と暗部の座標値を表示してもよい。このような提示がされることで、ユーザは、明るさを調整すべき暗部を迅速に認識することができる。
　また、提示部１３０は、図１２の下部に示すように、暗部が検出される時点の前後の画像を、動画像としてＰｉｎＰ（Ｐｉｃｔｕｒｅ　ｉｎ　Ｐｉｃｕｔｕｒｅ）提示してもよい。提示部１３０によって暗部が検出される時点前後の動画像が提示されることで、ユーザは暗部が生じた原因を特定することが可能となる。
＜４．第３の実施形態＞
［４－１．構成］
　続いて、本開示に係る第３の実施形態について説明する。本実施形態に係る技術が適用され得る手術用情報処理システム１ｂは、本実施形態に係る手術用情報処理装置１０ｂ、カメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、入力装置５０ｂを備える。カメラ２０ｂ及び照明装置３０ｂは第１の実施形態で説明したものと同様であり、出力装置４０ｂ及び入力装置５０ｂは、第２の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。本実施形態に係る手術用情報処理装置１０ｂは、手術用情報処理システム１ｂにおけるカメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、及び入力装置５０ｂと相互に連携を取りながら各種の処理を実施することが可能である。また、本実施形態に係る手術用情報処理装置１０ｂは、手術用情報処理システム１ｂにおけるカメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、及び入力装置５０ｂではなく、これらカメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、及び入力装置５０ｂと同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。
　本実施形態に係る手術用情報処理装置１０ｂは、取得部１１０ｂと、解析部１２０ｂと、提示部１３０ｂと、記憶部１４０ｂと、制御部１５０ｂとを備える。取得部１１０ｂと、記憶部１４０ｂと、制御部１５０ｂは、第２の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
　解析部１２０ｂは、第２の実施形態に係る解析部１２０ａが有する機能に加え、照明装置３０ｂの設定値が変更された場合の術野を模擬したシミュレーション画像を生成するためのシミュレーション画像情報を生成する機能を更に有する。シミュレーション画像情報は、照明装置３０ｂの調整されるべき設定値に応じて複数生成されてもよい。照明装置３０ｂの調整されるべき設定値は、機械学習により、ユーザが術部を視認するのに適した明るさとなるように決定されてもよい。
　提示部１３０ｂは、第２の実施形態に係る提示部１３０ａが有する機能に加え、照明装置３０ｂの設定値が変更されたときの術野のシミュレーション画像を提示する機能を更に有する。提示されるシミュレーション画像は、解析部１２０ｂが生成するシミュレーション画像情報に応じて複数提示されてもよい。また、ユーザによって予め定められた数のシミュレーション画像が提示されてもよい。
　ここで、図１３を参照して、提示部１３０ｂが出力装置４０ｂに出力させる情報について説明する。図１３は、本実施形態に係る提示された表示を説明するための模式図である。出力装置４０ｂは、術野画像表示エリア４１０ｂ、アシスト情報表示エリア４２０ｂ、スイッチ４３０及びアラーム解除ボタン４４０ｂを備える。スイッチ４３０ｂは、照明装置３０のＯＮ／ＯＦＦを制御する機能を有し、アラーム解除ボタン４４０ｂは、ユーザへの照明装置３０ｂの設定を促す際に発せられるアラームを解除する機能を有する。
　術野画像表示エリア４１０ｂは、例えば、カメラ２０ｂにより取得された現在の画像、および照明装置３０ｂの設定値が変更されたときに得られる術野のシミュレーション画像を表示する。また、アシスト情報表示エリア４２０ｂには、現在の画像について照明装置３０ｂの照度Ａと照明装置３０ｂの絞りＢが表示されている。具体的には、術野画像表示エリア４１０ｂは、図１３では、術野のリアルタイムの術野画像１つと、３つのシミュレーション画像を提示している。これら４つの画像は、提示部１３０ａから送信された画像情報に対応するものである。提示されたリアルタイムの術野画像は、照明装置３０ｂの照度がＡ、絞りがＢに調整されて照明されたリアルタイムの術野画像Ｉである。また、提示部１３０ｂは、照明装置３０ｂの照度がＡ１及び絞りがＢ１に調整された場合の術野画像を候補Ａとして提示し、照明装置３０ｂの照度がＡ２及び絞りがＢ２に調整された場合の術野画像を候補Ｂとして提示し、照明装置３０ｂの照度がＡ３及び絞りがＢ３に調整された場合の術野画像を候補Ｃとして提示している。そして、ユーザによって入力装置５０ｂが操作されることによって上記の３つの術野画像の候補のうちから、１つの術野画像が選択され、制御部１５０ｂによって、照明装置３０ｂは候補画像の照度と絞りに調整される。シミュレーション画像が候補画像として提示されることで、本変形例に係る手術用情報処理装置１０ｂは、術者に応じた術野の明るさを提供することが可能となる。
　なお、４つの画像のうち、リアルタイムの術野画像はメイン画像として比較的大きく表示され、残りの３つのシミュレーション画像はサブ画像として比較的小さく表示されてもよい。
［４－２．動作］
　続いて、図１４を参照して、本実施形態に係る手術用情報処理装置１０ｂの動作を説明する。図１４は、本実施形態に係る手術用情報処理装置１０ｂの動作を説明するための流れ図である。本実施形態に係る手術用情報処理装置１０ｂの動作は、図６に示した流れ図の、最適な設定値を算出するステップ（Ｓ１０５Ａ）の後に、シミュレーション画像情報が生成されるステップ（Ｓ１０６）が追加される。本実施形態に係る手術用情報処理装置１０ｂの動作の流れにおいて、Ｓ１０１～Ｓ１０４、及びＳ１０７～Ｓ１１１は第２の実施形態に係る手術用情報処理装置１０ａの動作と同様であるため、ここでの詳細な説明は省略する。
　Ｓ１０５Ａにおいて、算出部１２１ｂは、暗部に対して最適な光が照射されるように、取得された画像情報及び輝度分布を基に照明装置３０の最適な設定値を複数算出する。具体的には、算出部１２１ｂは、機械学習により生成された分類器を用いて、術野画像を解析して術部の照明状態を算出し、変更されるべき設定値を複数算出する。
　続いて、解析部１２０ｂは、複数算出された照明装置３０ｂの最適な設定値に基づいて、術野のシミュレーション画像情報を複数生成する（Ｓ１０６）。このとき生成されるシミュレーション画像情報としては、例えば、術野の明るさは同等であっても、色味が異なる画像が生成されてもよい。
　その後、解析部１２０ｂが有する判定部１２２ｂは、術野画像が取得された時点の照明装置３０ｂの設定値と照明装置３０ｂの複数の最適な設定値とを比較して、ユーザに対して、照明装置３０ｂの設定変更を促す提示を行うか否かを判定する（Ｓ１０７）。具体的には、判定部１２２ｂは、照明装置３０ｂの現在の設定値と、算出部１２１ｂにより算出された照明装置３０ｂの最適な設定値とを比較し、現在の設定値と最適な設定値との差分が所定の閾値より大きい場合、判定部１２２ｂは、照明装置３０ｂの設定を変更すべきであると判定する（Ｓ１０７／ＹＥＳ）。判定部１２２ｂが照明装置３０ｂの設定を変更すべきであると判定した場合、解析部１２０ｂは、提示部１３０ｂへ生成されたシミュレーション画像情報を送信する。一方、Ｓ１０７において、現在の設定値と照明装置３０ｂの最適な設定値の差分が所定の閾値以下の場合、繰り返しＳ１０１から動作が繰り返される（Ｓ１０７／ＮＯ）。
　続いて、出力装置４０ｂによる照明装置３０ｂの操作を促す出力がされる（Ｓ１０９）。ここでは、リアルタイムの術野画像と、解析部１２０ｂで生成された複数のシミュレーション画像情報に基づいた複数のシミュレーション画像が提示される。例えば、図１３では、出力装置４０ｂは、リアルタイムの術野画像１つと、３つのシミュレーション画像を表示している。表示された術野画像の一つは、照明装置３０ｂの照度がＡ、絞りがＢに調整されて照明されたリアルタイムの術野画像である。また、提示部１３０ｂは、照明装置３０ｂの照度がＡ１及び絞りがＢ１に調整された場合の術野画像を候補Ａとして提示し、照明装置３０ｂの照度がＡ２及び絞りがＢ２に調整された場合の術野画像を候補Ｂとして提示し、照明装置３０ｂの照度がＡ３及び絞りがＢ３に調整された場合の術野画像を候補Ｃとして提示している。また、出力装置４０ｂは、アシスト情報として、リアルタイムの照明装置３０ｂの照度Ａ及び絞りＢを表示している。
　その後、入力装置５０ｂがユーザに操作されることによって上記の３つの術野画像の候補のうちから、１つのシミュレーション画像が選択され、選択されたシミュレーション画像の画像情報が制御部１５０ｂに送信される。そして、制御部１５０ｂによって、選択された術野画像に応じて術野が照明されるように、照明装置３０ｂの設定値が変更される（Ｓ１１１）。例えば、図１３では、候補２がユーザによって選択された場合には、照明装置３０ｂの照度は照度Ａから照度Ａ２に調整され、絞りは絞りＢから絞りＢ２に調整される。上記のＳ１０１～Ｓ１１１は随時繰り返される。これにより、ユーザが手術毎に異なる場合でも、そのユーザに応じて最適な照明を術野に当てることが可能となる。
＜５．ハードウェア構成＞
　以上、本開示に係る実施形態について説明した。上述した画像処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。
　次に、本開示の一実施形態に係る手術用情報処理装置１０のハードウェア構成例について説明する。図１５は、本開示の一実施形態に係る手術用情報処理装置１０のハードウェア構成例を示すブロック図である。図１５を参照すると、手術用情報処理装置１０は、例えば、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、表示装置９０９と、音声出力装置９１０と、ストレージ装置９１１と、ドライブ９１２と、接続ポート９１３と、リムーバブル記憶媒体９１４と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、手術用情報処理装置１０は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　ＣＰＵ９０１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１１、又はリムーバブル記憶媒体９１４に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　ＲＯＭ９０２は、ＣＰＵ９０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０３には、例えば、ＣＰＵ９０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３は、例えば、高速なデータ伝送が可能なホストバス９０４を介して相互に接続される。一方、ホストバス９０４は、例えば、ブリッジ９０５を介して比較的データ伝送速度が低速な外部バス９０６に接続される。また、外部バス９０６は、インタフェース９０７を介して種々の構成要素と接続される。
　入力装置９０８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられ得る。さらに、入力装置９０８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置９０８には、マイクロフォンなどの音声入力装置が含まれる。本開示の一実施形態に係る手術用情報処理装置１０では、入力装置９０８は、先立って説明した入力装置５０に相当する。
　表示装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、プリンタ等であり、音声出力装置９１０は、スピーカー、ヘッドホン等のオーディオ出力装置等である。表示装置９０９及び音声出力装置９１０は、いずれも取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　ストレージ装置９１１は、各種のデータを格納するための装置である。ストレージ装置９１１としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　ドライブ９１２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９１４に記録された情報を読み出し、又はリムーバブル記憶媒体９１４に情報を書き込む装置である。
リムーバブル記憶媒体９１４は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体９１４は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　接続ポート９１３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器を接続するためのポートである。
＜６．結び＞
　以上説明したように、本開示によれば、照明装置の設定を変更すべき場合は、照明装置３０の操作を促す提示がなされる。その結果、ユーザは、術野の照明状態を調整する必要性の有無をすばやく把握することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、本明細書において流れ図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部と、
　前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、
を備える、
　手術用情報処理装置。
（２）
　解析部をさらに備え、
　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
　前記提示部は、前記第１照明情報と前記第２照明情報とを比較した結果に基づいて、前記ユーザへ提示を行う、
　（１）に記載の手術用情報処理装置。
（３）
　前記解析部は、学習用の前記術野画像と該学習用の前記術野画像における理想的な照明状態とが紐づいた学習データを予め機械学習することで生成された分類器に、前記術野画像を入力して前記第２照明情報を算出する、
　（２）に記載の手術用情報処理装置。
（４）
　前記提示部は、前記術野画像において輝度が所定の閾値以下の領域である暗部が生じている場合に、前記術野画像および前記第１照明情報に基づいた提示を前記ユーザへ行う、
　（１）～（３）のいずれか１項に記載の手術用情報処理装置。
（５）
　前記提示部は、複数の前記暗部を選択可能に提示し、前記ユーザによって選択された前記暗部についての第２照明情報を提示する、
　（４）に記載の手術用情報処理装置。
（６）
　解析部をさらに備え、
　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
　前記提示部は、前記ユーザによって発せられた音声に基づいて前記暗部の位置及び前記暗部についての前記第２照明情報の少なくともいずれかを提示する、
　（４）又は（５）に記載の手術用情報処理装置。
（７）
　前記提示部は、前記術野画像の前記暗部の位置に応じて、前記暗部の位置を示す表示を変更して外部の出力装置によって表示する、
　（４）～（６）のいずれか１項に記載の手術用情報処理装置。
（８）
　前記提示部は、前記暗部が生じたと判定された時点前後の画像を提示する、
　（４）～（７）のいずれか１項に記載の手術用情報処理装置。
（９）
　解析部をさらに備え、
　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
　前記解析部は、前記術野における前記ユーザによって指定された位置についての前記第２照明情報を算出する、
　（２）～（８）のいずれか１項に記載の手術用情報処理装置。
（１０）
　解析部をさらに備え、
　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
　前記解析部は、前記第１照明情報と前記第２照明情報との差分を算出し、
　前記提示部は、前記差分が所定の閾値を超えたときに前記ユーザへの提示を行う、
　（２）～（９）のいずれか１項に記載の手術用情報処理装置。
（１１）
　前記提示部は、前記差分が前記閾値を超えたときに、前記照明装置の操作を喚起する信号を出力する、
　（１０）に記載の手術用情報処理装置。
（１２）
　前記提示部は、前記術野画像が取得されたときの前記第１照明情報を所定の提示方法で提示する、
　（１）～（１１）のいずれか１項に記載の手術用情報処理装置。
（１３）
　解析部をさらに備え、
　前記解析部は、前記照明装置の照明状態が異なる場合を模擬した前記術野の画像であるシミュレーション画像を複数生成し、
　前記提示部は、前記照明装置の照明状態がそれぞれ異なる場合の複数の前記術野の前記シミュレーション画像を提示する、
　（１）～（１２）のいずれか１項に記載の手術用情報処理装置。
（１４）
　前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
　前記取得部は、前記術野における術具を検出することで、前記第２照明情報を算出する領域を取得する、
　（２）～（１３）のいずれか１項に記載の手術用情報処理装置。
（１５）
　前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
　前記取得部は、前記ユーザ又は前記ユーザと異なるユーザの視線を検出することで、前記第２照明情報を算出する領域を取得する、
　（２）～（１４）のいずれか１項に記載の手術用情報処理装置。
（１６）
　照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得することと、
　取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行うことと、
を含む、
　情報処理方法。
（１７）
　コンピュータを、
　照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部、及び、
　前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、
として機能させるための、
　プログラム。
　１、１ａ、１ｂ　　　　　　　　　手術用情報処理システム
　１０、１０ａ、１０ｂ　　　　　　手術用情報処理装置
　２０、２０ａ、２０ｂ　　　　　　カメラ
　３０、３０ａ、３０ｂ　　　　　　照明装置
　４０、４０ａ、４０ｂ　　　　　　出力装置
　５０、５０ｂ　　　　　　　　　　入力装置
　１１０、１１０ａ、１１０ｂ　　　取得部
　１１１、１１１ａ、１１１ｂ　　　画像情報取得部
　１１２、１１２ａ、１１２ｂ　　　照明情報取得部
　１２０、１２０ａ、１２０ｂ　　　解析部
　１２１、１２１ａ、１２１ｂ　　　算出部
　１２２、１２２ａ、１２２ｂ　　　判定部
　１３０、１３０ａ、１３０ｂ　　　提示部
　１４０、１４０ａ、１４０ｂ　　　記憶部
　１５０、１５０ｂ　　　　　　　　制御部

Claims (17)

  1. 　照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部と、
    　前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、
    を備える、
    　手術用情報処理装置。
  2. 　解析部をさらに備え、
    　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
    　前記提示部は、前記第１照明情報と前記第２照明情報とを比較した結果に基づいて、前記ユーザへ提示を行う、
    　請求項１に記載の手術用情報処理装置。
  3. 　前記解析部は、学習用の前記術野画像と該学習用の前記術野画像における理想的な照明状態とが紐づいた学習データを予め機械学習することで生成された分類器に、前記術野画像を入力して前記第２照明情報を算出する、
    　請求項２に記載の手術用情報処理装置。
  4. 　前記提示部は、前記術野画像において輝度が所定の閾値以下の領域である暗部が生じている場合に、前記術野画像および前記第１照明情報に基づいた提示を前記ユーザへ行う、
    　請求項１に記載の手術用情報処理装置。
  5. 　前記提示部は、複数の前記暗部を選択可能に提示し、前記ユーザによって選択された前記暗部についての第２照明情報を提示する、
    　請求項４に記載の手術用情報処理装置。
  6. 　解析部をさらに備え、
    　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
    　前記提示部は、前記ユーザによって発せられた音声に基づいて前記暗部の位置及び前記暗部についての前記第２照明情報の少なくともいずれかを提示する、
    　請求項５に記載の手術用情報処理装置。
  7. 　前記提示部は、前記術野画像の前記暗部の位置に応じて、前記暗部の位置を示す表示を変更して外部の出力装置によって表示する、
    　請求項４に記載の手術用情報処理装置。
  8. 　前記提示部は、前記暗部が生じたと判定された時点前後の画像を提示する、
    　請求項４に記載の手術用情報処理装置。
  9. 　解析部をさらに備え、
    　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
    　前記解析部は、前記術野における前記ユーザによって指定された位置についての前記第２照明情報を算出する、
    　請求項２に記載の手術用情報処理装置。
  10. 　解析部をさらに備え、
    　前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
    　前記解析部は、前記第１照明情報と前記第２照明情報との差分を算出し、
    　前記提示部は、前記差分が所定の閾値を超えたときに前記ユーザへの提示を行う、
    　請求項２に記載の手術用情報処理装置。
  11. 　前記提示部は、前記差分が前記閾値を超えたときに、前記照明装置の操作を喚起する信号を出力する、
    　請求項１０に記載の手術用情報処理装置。
  12. 　前記提示部は、前記術野画像が取得されたときの前記第１照明情報を所定の提示方法で提示する、
    　請求項１に記載の手術用情報処理装置。
  13. 　解析部をさらに備え、
    　前記解析部は、前記照明装置の照明状態が異なる場合を模擬した前記術野の画像であるシミュレーション画像を複数生成し、
    　前記提示部は、前記照明装置の照明状態がそれぞれ異なる場合の複数の前記術野の前記シミュレーション画像を提示する、
    　請求項１に記載の手術用情報処理装置。
  14. 　前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
    　前記取得部は、前記術野における術具を検出することで、前記第２照明情報を算出する領域を取得する、
    　請求項２に記載の手術用情報処理装置。
  15. 　前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、
    　前記取得部は、前記ユーザ又は前記ユーザと異なるユーザの視線を検出することで、前記第２照明情報を算出する領域を取得する、
    　請求項２に記載の手術用情報処理装置。
  16. 　プロセッサが、
    　照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得することと、
    　取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うことと、
    を含む、
    　情報処理方法。
  17. 　コンピュータを、
    　照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得する取得部、及び、
    　前記取得部によって取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うこと提示部、
    として機能させるための、
    　プログラム。
PCT/JP2019/016411 2018-05-22 2019-04-17 手術用情報処理装置、情報処理方法及びプログラム WO2019225231A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/055,137 US20210220076A1 (en) 2018-05-22 2019-04-17 Surgical information processing device, information processing method, and program
JP2020521099A JPWO2019225231A1 (ja) 2018-05-22 2019-04-17 手術用情報処理装置、情報処理方法及びプログラム
EP19807693.7A EP3797730B1 (en) 2018-05-22 2019-04-17 Surgery information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-097551 2018-05-22
JP2018097551 2018-05-22

Publications (1)

Publication Number Publication Date
WO2019225231A1 true WO2019225231A1 (ja) 2019-11-28

Family

ID=68615592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016411 WO2019225231A1 (ja) 2018-05-22 2019-04-17 手術用情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20210220076A1 (ja)
EP (1) EP3797730B1 (ja)
JP (1) JPWO2019225231A1 (ja)
WO (1) WO2019225231A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4391727A1 (en) * 2022-12-22 2024-06-26 Stryker Corporation Light pollution reduction techniques for medical environments

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129978A (ja) 2002-10-15 2004-04-30 Yoshida Dental Mfg Co Ltd 無影灯自動位置補正点灯システム
JP2008535202A (ja) * 2005-03-23 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自己学習する照明システム
US20090261759A1 (en) * 2008-04-17 2009-10-22 Drager Medical Ag & Co. Kg Device and process for uniformly lighting an operating area
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
US20140346957A1 (en) * 2013-05-24 2014-11-27 Surgiris Medical lighting system, in particular an operating lighting system, and a method of controlling such a lighting system
WO2015037340A1 (ja) 2013-09-10 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US20150208478A1 (en) * 2012-07-25 2015-07-23 Dräger Medical GmbH Method for improving the illumination of an illuminated area
JP2016182228A (ja) 2015-03-26 2016-10-20 ソニー株式会社 情報処理装置および方法
JP2017164007A (ja) 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160008172A (ko) * 2013-04-25 2016-01-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장비 제어 입력 시각화 장치 및 방법
US11154378B2 (en) * 2015-03-25 2021-10-26 Camplex, Inc. Surgical visualization systems and displays
DE102015106519A1 (de) * 2015-04-28 2016-11-03 Berchtold Holding Gmbh Verfahren und Vorrichtung zur Ansteuerung einer Operationsleuchte
JP2019203691A (ja) * 2016-11-11 2019-11-28 オムロン株式会社 照明装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004129978A (ja) 2002-10-15 2004-04-30 Yoshida Dental Mfg Co Ltd 無影灯自動位置補正点灯システム
JP2008535202A (ja) * 2005-03-23 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自己学習する照明システム
US20090261759A1 (en) * 2008-04-17 2009-10-22 Drager Medical Ag & Co. Kg Device and process for uniformly lighting an operating area
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
US20150208478A1 (en) * 2012-07-25 2015-07-23 Dräger Medical GmbH Method for improving the illumination of an illuminated area
US20140346957A1 (en) * 2013-05-24 2014-11-27 Surgiris Medical lighting system, in particular an operating lighting system, and a method of controlling such a lighting system
WO2015037340A1 (ja) 2013-09-10 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2016182228A (ja) 2015-03-26 2016-10-20 ソニー株式会社 情報処理装置および方法
JP2017164007A (ja) 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3797730A4

Also Published As

Publication number Publication date
EP3797730B1 (en) 2022-06-29
EP3797730A4 (en) 2021-07-14
US20210220076A1 (en) 2021-07-22
EP3797730A1 (en) 2021-03-31
JPWO2019225231A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
EP2391292B1 (en) Examination apparatus
US11527321B2 (en) Augmented reality for predictive workflow in an operating room
US20210015432A1 (en) Surgery support system, information processing apparatus, and program
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
WO2015146491A1 (ja) 検出装置および検出方法
WO2015080104A1 (ja) 視線検出支援装置および視線検出支援方法
JP6269377B2 (ja) 診断支援装置および診断支援方法
US20220246307A1 (en) Surgery support system, surgery support method, information processing apparatus, and information processing program
JP2019042412A5 (ja)
WO2019225231A1 (ja) 手術用情報処理装置、情報処理方法及びプログラム
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP2021182950A (ja) 情報処理装置および方法
WO2020075773A1 (en) A system, method and computer program for verifying features of a scene
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
JP2007319408A (ja) 眼科装置及び視野データ処理方法
JP2007319407A (ja) 眼科装置及び視野データ変換処理方法。
JP5048284B2 (ja) 眼科装置
JP6330638B2 (ja) トレーニング支援装置およびプログラム
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
EP4339681A1 (en) Device for an imaging system, ocular, display apparatus, imaging system, method and computer program
EP3192429A1 (en) Video processor for endoscope, and endoscope system equipped with same
El Moucary et al. Commodious Control Apparatus for Impaired People
JP2015181798A (ja) 検出装置および検出方法
JP2015181797A (ja) 検出装置および検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020521099

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019807693

Country of ref document: EP

Effective date: 20201222