WO2023026528A1 - 手術システム、制御方法、およびプログラム - Google Patents

手術システム、制御方法、およびプログラム Download PDF

Info

Publication number
WO2023026528A1
WO2023026528A1 PCT/JP2022/009610 JP2022009610W WO2023026528A1 WO 2023026528 A1 WO2023026528 A1 WO 2023026528A1 JP 2022009610 W JP2022009610 W JP 2022009610W WO 2023026528 A1 WO2023026528 A1 WO 2023026528A1
Authority
WO
WIPO (PCT)
Prior art keywords
segmentation
attention area
area
surgical
region
Prior art date
Application number
PCT/JP2022/009610
Other languages
English (en)
French (fr)
Inventor
弘充 松浦
信二 勝木
素明 小林
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023543651A priority Critical patent/JPWO2023026528A1/ja
Publication of WO2023026528A1 publication Critical patent/WO2023026528A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis

Definitions

  • the present technology relates to a surgical system, control method, and program, and more particularly to a surgical system, control method, and program that allow an operator to appropriately set a region of interest.
  • Patent Document 1 discloses a technique for controlling the focus of a camera through non-contact input using the voice, gestures, line of sight, etc. of the operator.
  • Patent Document 2 discloses a technique for controlling the focus and exposure of a camera by performing image segmentation.
  • Non-contact input is generally more likely to be misrecognized than contact input. Misrecognition of inputs can lead to malfunction of the surgical system.
  • the line of sight when used as a non-contact input, it is mistakenly recognized that the operator is looking at an organ next to the organ to be operated on, and the endoscope focuses on the organ next to the organ to be operated on. may be controlled in such a way that During surgery, the operator's line of sight is often directed to the edge of the organ to be operated on rather than to the center. There is something.
  • This technology was created in view of this situation, and allows the operator to appropriately set the area of interest.
  • a surgery system includes an image processing unit that performs segmentation on an image captured by a camera and sets a segmentation region in which each target is captured; An attention area candidate acquisition unit that acquires a candidate, and a control unit that sets the attention area based on a relationship between the segmentation area and the attention area candidate.
  • an image captured by a camera is segmented, a segmentation region in which each target is captured is set, and an attention region candidate, which is a candidate region for an operator's attention region, is acquired,
  • the attention area is set based on the relationship between the segmentation area and the attention area candidate.
  • FIG. 4 is a diagram showing an example of an operating field image
  • FIG. 4 is a diagram showing examples of attention area candidates and segmentation areas
  • 2 is a block diagram showing a configuration example of a control device in FIG. 1
  • FIG. FIG. 2 is a flow chart describing a series of processes of the control device of FIG. 1
  • FIG. FIG. 7 is a flowchart for explaining processing of a control unit performed in step S3 of FIG. 6
  • FIG. 4 is a diagram showing an example of division of a segmentation region
  • FIG. 4 is a diagram showing an example of concatenation of segmentation regions
  • It is a block diagram which shows the structural example of the hardware of a computer.
  • Embodiments for implementing the present technology will be described below. The explanation is given in the following order.
  • First Embodiment (Example of Method of Setting Attention Area) 2.
  • Configuration of control device 3 Operation of the controller;4.
  • Second embodiment setting of segmentation area) 5.
  • Third Embodiment (Countermeasures when the segmentation area is small) 6.
  • Fourth Embodiment (Countermeasures when Attention Area Candidates Have Errors) 7.
  • Fifth embodiment weighting for segmentation regions) 8.
  • Sixth Embodiment (Division of Segmentation Area Using Depth Information) 9.
  • Seventh Embodiment (Concatenation of Segmentation Regions Using Depth Information) 10.
  • Eighth embodiment (division of segmentation region using SLAM information) 11.
  • FIG. 1 is a diagram illustrating a configuration example of a surgery system according to an embodiment of the present technology.
  • the surgical system in FIG. 1 is composed of a control device 1, a surgical camera 11, a motion recognition camera 12, a display 13, an operating table 14, a line of sight recognition device 15, a microphone 16, and a foot switch 17.
  • the surgical system is a system that is placed in an operating room or the like and used for treatment such as surgical operation with reference to images captured by the surgical camera 11 . Treatment is performed by the operator H who wears the line-of-sight recognition device 15 and the microphone 16 on the head.
  • the surgical camera 11 is, for example, a camera used for photographing the surgical field in laparoscopic surgery.
  • the surgical camera 11 photographs the surgical field of the patient lying on the operating table 14, and transmits the resulting image to the control device 1 as the surgical field image.
  • a moving image or a still image is captured as the operative field image.
  • the motion recognition camera 12 is a camera used for recognizing the motion of the operator H.
  • the action recognition camera 12 is arranged above the display 13, for example.
  • the action recognition camera 12 photographs the operator H and transmits the resulting image to the control device 1 as an operator image.
  • the display 13 displays operative field images and the like according to the control by the control device 1 .
  • the display 13 is installed with the display surface facing the operator H.
  • the control device 1 receives the operator image transmitted from the action recognition camera 12 and recognizes the operator H's gesture.
  • the control device 1 also receives information transmitted from the line-of-sight recognition device 15 and recognizes the position of the viewpoint on the screen of the display 13 .
  • Information on the line of sight of the operator H is transmitted from the line of sight recognition device 15 .
  • the control device 1 receives the voice transmitted from the microphone 16 and performs voice recognition.
  • the control device 1 receives a signal transmitted from the foot switch 17 and recognizes the content of the operator H's operation on the foot switch 17 .
  • the control device 1 controls the imaging of the surgical camera 11 and the display of the display 13 based on the recognized information.
  • control device 1 controls the operation system based on at least one input from the operator H's voice, line of sight, touch, gesture, and operation of the operator H using the foot switch 17. It is a device.
  • the microphone 16 acquires the voice of the operator H and transmits it to the control device 1.
  • the foot switch 17 is placed at the feet of the operator H.
  • the foot switch 17 transmits to the control device 1 an operation signal representing the content of the operation performed by the operator H using the foot.
  • the operator H lays the patient on the operating table 14 and, while viewing the surgical field image and the like displayed on the display 13 via the line-of-sight recognition device 15, Treatment such as surgery is performed.
  • the operator H when the operator H changes the imaging conditions, position and angle of the surgical camera 11, the display of the display 13, etc., the operator H performs input by voice, line of sight, touch, gesture, and foot switch operation.
  • the operator H can perform non-contact input for operating the surgical camera 11 while holding a surgical tool (not shown) by using voice, line of sight, gestures, and the like.
  • Any method can be adopted as the method of recognizing the line of sight of the operator H, the method of detecting gestures, and the method of acquiring voice.
  • a region of interest which is the region that the operator H is supposed to be paying attention to, is set in the surgical field image, and according to the region of interest, Driving of the surgical camera 11 is controlled. For example, focus control for focusing on the attention area and exposure control for adjusting the brightness of the attention area are performed according to the attention area.
  • Such an attention area used as a determination area for focus control and exposure control is set based on the relationship between an attention area candidate, which is a candidate for an attention area, and a segmentation area set by performing image segmentation. be done.
  • FIG. 2 is a diagram showing an example of a surgical field image.
  • the colored area on the right side is the area in which the organ to be operated is shown.
  • Other organs are shown around the organ to be operated on.
  • the vicinity of the distal end of the surgical tool T is shown in the area below the center of the surgical field image P, which is shaded.
  • the control device When the operative field image P is being captured by the operative camera 11, the control device 1, for example, based on the information supplied from the line-of-sight recognition device 15, colors A in FIG. Such attention area candidate A1 is set.
  • FIG. 3A a circular range with a certain distance centered on the viewpoint position p1 is set as the attention area candidate A1.
  • the viewpoint position p1 is a position near the edge of the organ to be operated.
  • segmentation is performed on the surgical field image P, so that a region in which the organ to be operated is shown is set as a segmentation region A2, as shown by adding color to B in FIG. be done.
  • a region in which the organ to be operated is shown is set as a segmentation region A2
  • the segmentation region A2 in which the organ to be operated is shown is used for setting the region of interest.
  • the segmentation of the operative field image P is performed, for example, using an inference model generated in advance by machine learning using images showing each organ as learning data.
  • an inference model generated in advance by machine learning using images showing each organ as learning data.
  • FIG. 4 is a diagram showing an example of a method of setting an attention area.
  • the control device 1 controls the surgical camera 11 by focusing on the attention area A3 and adjusting the exposure according to the brightness of the attention area A3.
  • the attention area A3 is set based on the relationship between the attention area candidate A1 and the segmentation area A2.
  • the attention area A3 set by excluding such an area in which a non-interesting object is shown is an area in line with the intention of the operator H who is paying attention to the organ to be operated.
  • the position of operator H's viewpoint is always recognized as swaying. Therefore, if the attention area candidate A1 is set as the attention area based only on the viewpoint position, the surgical camera 11 is controlled according to the fluctuation of the viewpoint position, and the image of the surgical field image changes each time. end up By setting the attention area A3 using the attention area candidate A1 and the segmentation area A2, it is possible to suppress such changes in appearance.
  • the attention area A3 is set based on the importance set for each position in the segmentation area A2.
  • weighting is performed according to the distance from the viewpoint position, and the importance is set for each position within the segmentation area A2.
  • a region of interest A3 is set so as to include positions for which the degree of importance equal to or greater than the threshold is set. Setting of the attention area A3 using the degree of importance will be described later.
  • FIG. 5 is a block diagram showing a configuration example of the control device 1 of FIG. Among the configurations shown in FIG. 5, the same components as those described with reference to FIG. 1 are denoted by the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • the control device 1 is composed of an attention area candidate acquisition unit 31, an image processing unit 32, a control unit 33, a surgical procedure information acquisition unit 34, a segmentation target provision unit 35, and an attention area correction information acquisition unit 36.
  • Each functional unit as shown in FIG. 5 is realized by executing a predetermined program by a computer that constitutes the control device 1 .
  • the attention area candidate acquisition unit 31 has a voice recognition unit 51 , a line-of-sight recognition unit 52 , a touch recognition unit 53 , a gesture recognition unit 54 and an operation recognition unit 55 .
  • Information output from each of the input devices of the motion recognition camera 12 , line-of-sight recognition device 15 , microphone 16 , foot switch 17 , spatial touch panel 18 , and touch panel 19 is input to attention area candidate acquisition section 31 .
  • the voice recognition unit 51 performs voice recognition based on the voice of the operator H supplied from the microphone 16.
  • the line-of-sight recognition unit 52 recognizes the viewpoint position on the screen of the display 13 based on the line-of-sight information of the operator H supplied from the line-of-sight recognition device 15 .
  • the touch recognition unit 53 recognizes the content of touch input by the operator H based on the operation signals supplied from the spatial touch panel 18 and the touch panel 19 .
  • the spatial touch panel 18 is an input device that detects an input by the operator H to a predetermined space using a finger or hand.
  • a spatial touch panel 18 is provided at a predetermined position of the surgical system.
  • the touch panel 19 is provided over the display 13, for example.
  • the gesture recognition unit 54 recognizes the content of gesture input by the operator H based on the operator image supplied from the action recognition camera 12 .
  • the operation recognition unit 55 recognizes the content of the operator H's input based on the operation signal supplied from the foot switch 17 .
  • the attention area candidate acquisition unit 31 acquires (sets) attention area candidates based on the speech recognition result, viewpoint position, touch input, gesture input, and foot switch input, which are the recognition results of each unit.
  • the attention area candidate acquisition unit 31 outputs information on the attention area candidates to the control unit 33 .
  • attention area candidates can be acquired based on information other than the viewpoint position. For example, when an utterance such as "near the surgical tool" is uttered, a region in the vicinity of the tip of the surgical tool is set as a target region candidate based on the result of voice recognition.
  • An attention area candidate may be set based on two or more recognition results instead of being set based on one recognition result. Attention area candidates can be set based on at least one of voice recognition results, viewpoint positions, touch inputs, gesture inputs, and foot switch inputs.
  • the image processing unit 32 is composed of a segmentation processing unit 61 and an attention area superimposition processing unit 62 .
  • the segmentation processing unit 61 performs segmentation on the surgical field image supplied from the surgical camera 11 and outputs information about the segmentation result to the control unit 33 .
  • Information supplied to the control unit 33 includes information on each segmentation region.
  • the segmentation processing unit 61 has a segmentation weighting processing unit 71, a depth processing unit 72, and a SLAM processing unit 73. The function of each part of the segmentation processing part 61 will be described later.
  • the control unit 33 sets the region of interest by appropriately using the information acquired by the segmentation weighting processing unit 71 , the depth processing unit 72 , and the SLAM processing unit 73 .
  • the attention area superimposition processing unit 62 displays the attention area on the display 13 based on the information supplied from the attention area setting unit 81 of the control unit 33 .
  • the region of interest is displayed so as to be superimposed on the operative field image.
  • the control unit 33 has an attention area setting unit 81 .
  • the attention area setting unit 81 determines the relationship between the attention area candidate represented by the information supplied from the attention area candidate acquisition unit 31 and the segmentation area represented by the information supplied from the segmentation processing unit 61 of the image processing unit 32. A region of interest is set based on gender.
  • the attention area setting unit 81 outputs information on the attention area to the image processing unit 32 .
  • control unit 33 controls driving of the surgical camera 11 based on the region of interest.
  • the surgical procedure information acquisition unit 34 receives and acquires surgical procedure information supplied from the surgical procedure information providing device 2 .
  • the surgical procedure information includes information such as details of surgery and organs to be operated.
  • the surgical procedure information acquired by the surgical procedure information acquiring unit 34 is supplied to the segmentation target providing unit 35 . Acquisition of the surgical procedure information by the surgical procedure information acquisition unit 34 is appropriately performed based on the voice supplied from the microphone 16 .
  • the segmentation target providing unit 35 identifies an area to be set as a segmentation area based on the surgical procedure information supplied from the surgical procedure information acquiring unit 34, and provides it to the segmentation processing unit 61 of the image processing unit 32. For example, a surgical target organ is specified based on the surgical procedure information, and information indicating that the surgical target organ is to be set as a segmentation region is provided to the segmentation processing unit 61 .
  • the attention area correction information acquisition unit 36 generates correction information, which is information for instructing correction (change) of the attention area, based on the sound supplied from the microphone 16 and outputs it to the control unit 33 . For example, when the operator H utters a request to change the attention area, correction information is generated. Based on the correction information generated by the attention area correction information acquisition unit 36, the attention area is appropriately changed. Correction of the attention area may be instructed based on non-contact input other than voice input.
  • step S1 the attention area candidate acquisition unit 31 acquires the operator H's attention area candidates.
  • step S2 the image processing unit 32 performs segmentation of the operative field image, and sets a region in which the organ to be operated is shown as a segmentation region.
  • step S3 the processing of the control unit 33 is performed.
  • step S11 the control unit 33 determines whether or not it is possible to acquire the attention area candidates. For example, when information about the recognition result of the viewpoint position of the operator H is included in the information supplied from the attention area candidate acquisition unit 31, it is determined that the attention area candidate can be acquired.
  • step S12 the control unit 33 determines whether or not it is possible to acquire the segmentation area. For example, when the segmentation of the operative field image is performed by the segmentation processing unit 61 and the information of the segmentation region is included in the information supplied from the segmentation processing unit 61, it is determined that the segmentation region can be acquired. be.
  • step S13 the control unit 33 sets the attention area based on the relationship between the attention area candidate and the segmentation area. As described above, for example, the common area between the attention area candidate and the segmentation area is set as the attention area.
  • step S14 the control unit 33 determines whether or not the surgical camera 11 needs to be controlled. For example, when there is a change in the attention area, it is determined that the surgical camera 11 needs to be controlled.
  • step S15 the control unit 33 controls at least one of focus and exposure of the surgical camera 11 according to the state of the region of interest. .
  • step S15 After the operation of the surgical camera 11 is controlled in step S15, the process proceeds to step S16. If it is determined that the region of interest candidate cannot be acquired in step S11, if it is determined that the segmentation region cannot be acquired in step S12, or if it is determined that the surgical camera 11 cannot be controlled in step S14 Similarly, when it is determined that , the process proceeds to step S16.
  • step S16 the control unit 33 determines whether or not to turn off the power of the control device 1.
  • step S16 If it is determined in step S16 that the power of the control device 1 should not be turned off, the process returns to step S11 and the above processing is repeated.
  • step S16 If it is determined in step S16 that the power of the control device 1 is to be turned off, the process returns to step S3 of FIG. 6 and the processing of the control device 1 ends.
  • control device 1 can appropriately set the attention area based on the relationship between the attention area candidate and the segmentation area.
  • control device 1 can appropriately control the surgical camera 11 based on the attention area set in accordance with the operator H's intention.
  • a plurality of segmentation regions may be set instead of setting one segmentation region for the entire region in which the organ to be operated is shown.
  • each region showing the transverse colon, upper rectum, etc., and each narrower region showing the mesentery, blood vessels, etc. are used as the segmentation regions. set.
  • the segmentation target providing unit 35 in FIG. 5 sets the granularity of the region to be set as the segmentation region based on the surgical procedure information acquired by the surgical procedure information acquisition unit 34. Based on the granularity set by the segmentation target providing unit 35, the segmentation processing unit 61 sets a region showing a part of one organ to be operated on as a segmentation region.
  • the area showing the part with the tumor and the area showing the part without the tumor may be set as different segmentation areas.
  • a common area between one attention area candidate and each of a plurality of segmentation areas may be set as the attention area.
  • the segmentation processing unit 61 sets a plurality of segmentation regions for the operative field image.
  • the attention area setting unit 81 sets a common area between the attention area candidate and each segmentation area as an attention area.
  • the attention area is determined based on the positional relationship between the surgical tool and the organ to be operated. may be set.
  • the surgical procedure is determined based on the positional relationship between the surgical tool and the organ to be operated on, with reference to the surgical procedure information.
  • surgery using an endoscope since the locations to be treated are standardized according to the surgical technique, it is possible to determine the surgical process based on the positional relationship between the surgical tool and the organ.
  • the segmentation weighting processing unit 71 identifies the cut-off part or cut part of the organ to be operated on, and sets a high degree of importance, for example, to the part showing the organ sandwiched by forceps.
  • a region-of-interest setting unit 81 sets a region of interest based on the degree of importance so as to include a portion in which an organ sandwiched by forceps is shown. For example, the attention area is set so as to include a portion for which the degree of importance equal to or greater than the threshold is set.
  • Each portion of the segmentation region may be weighted so that the region of interest is preferentially included in the region of interest.
  • the segmentation weighting processing unit 71 identifies a region in which the tumor portion of the organ to be operated is displayed based on the surgical procedure information acquired by the surgical procedure information acquiring unit 34, and for the specified region, Set high importance. Further, the attention area setting unit 81 sets the area including the area where the tumor part is shown as the attention area based on the importance set for each area.
  • Each region may be weighted so that a high-contrast region, such as a region where a surgical tool is shown, is included in the region of interest.
  • Focus performance can be improved by performing focus control based on a region of interest including a high-contrast region.
  • a segmentation region showing an organ to be operated may be divided into a plurality of segmentation regions based on depth information of the organ to be operated.
  • the depth processing unit 72 performs depth estimation using the surgical field image captured by the surgical camera 11, and acquires depth information representing the distance to each part shown in the surgical field image.
  • the depth estimation performed by the depth processing unit 72 is so-called monocular depth estimation.
  • the segmentation processing unit 61 segment the entire region in which the organ is visible into multiple segmentation regions.
  • FIG. 8 is a diagram showing an example of division of the segmentation area.
  • the surgical target organ is shown in the surgical field image P, and a segmentation area A11 is set. If it is difficult to focus on the entire segmentation area A11, the segmentation area A11 is divided into a segmentation area A11-1 and a segmentation area A11-2 as indicated by arrows in FIG. For example, the division of the segmentation region is performed based on the depth information so that the distance to each position within the region is within a certain distance.
  • the achievable depth of field is shallow due to the short distance to the subject.
  • the pixel pitch of the image sensor used in the endoscope becomes narrower due to the higher resolution, which also reduces the achievable depth of field.
  • the segmentation region is divided so that the distance to each position within the region is within a certain distance, so that the focus can be appropriately set in any region within the segmentation region. It is possible to match.
  • a plurality of segmentation regions showing the organ to be operated may be connected to one segmentation region based on the depth information of the organ to be operated.
  • the depth processing unit 72 performs depth estimation using the surgical field image captured by the surgical camera 11, and acquires depth information representing the distance to each part shown in the surgical field image.
  • the segmentation processing unit 61 A plurality of regions in which the organs of are shown are combined into one segmentation region.
  • FIG. 9 is a diagram showing an example of concatenation of segmentation regions.
  • an organ to be operated is shown in the surgical field image P, and a segmentation area A21-1 and a segmentation area A21-2 are set.
  • the segmentation region A21-1 and segmentation area A21-2 are connected to one segmentation area A21.
  • a wide area is set as an attention area that serves as a reference for focusing. As a result, it is possible to capture an operating field image in which the entire organ in a wide area is in focus.
  • SLAM information can be used to divide the segmentation region.
  • the SLAM processing unit 73 performs SLAM processing using the surgical field image captured by the surgical camera 11 .
  • the segmentation processing unit 61 identifies the distance to each part shown in the operative field image based on SLAM information representing the result of SLAM processing, and divides the segmentation region as described with reference to FIG.
  • SLAM information can be used to concatenate segmentation regions.
  • the SLAM processing unit 73 performs SLAM processing using the surgical field image captured by the surgical camera 11 .
  • the segmentation processing unit 61 identifies the distance to each part shown in the operative field image based on the SLAM information representing the result of SLAM processing, and connects the segmentation regions as described with reference to FIG.
  • This also makes it possible to capture an operative field image in which the entire organ in a wide area is in focus.
  • the attention area superimposition processing unit 62 causes the display 13 to display information indicating which area the attention area is set to based on the information supplied from the attention area setting unit 81 . For example, an image of a predetermined color is displayed superimposed on the operative field image, and the operator H is presented with a region of interest.
  • the operator H can appropriately grasp the behavior of the surgical system.
  • the setting of the attention area may be changed according to the operator H's speech after the presentation of the information about the attention area.
  • the attention area correction information acquisition unit 36 generates correction information, which is information for instructing correction of the attention area, based on the sound supplied from the microphone 16 . Correction information is generated in response to utterances such as "a little earlier", “a little later", and "no".
  • the attention area setting unit 81 changes the attention area based on the correction information generated by the attention area correction information acquisition unit 36, and controls the surgical camera 11 according to the changed attention area.
  • the surgical technique information is obtained from the surgical technique information providing device 2 that constitutes the HIS (Hospital Information System), but the surgical technique information may be obtained based on the speech at time-out.
  • the time-out is the time for confirming the patient's name, surgical method, and surgical site. For example, a timeout period is secured before the start of surgery.
  • the surgical procedure information acquisition unit 34 recognizes the speech detected by the microphone 16 at the time of timeout, and generates surgical procedure information by specifying the patient's name, surgical method, and surgical site. Based on the surgical procedure information generated by the surgical procedure information acquisition unit 34, the setting of the degree of importance and the like are performed. That is, the surgical procedure information acquisition unit 34 acquires surgical procedure information based on at least one of the information transmitted from the linked HIS and the recognition result of the speech of the operator H or the like before the start of surgery. Is possible.
  • the setting of the attention area may be changed according to the display magnification of the surgical field image captured by the surgical camera 11 .
  • the attention area setting unit 81 sets the attention area to a narrower area, and when the surgical field image is displayed in a reduced size on the display 13, the attention area setting unit 81 sets the attention area to Set to a wider area.
  • the common area of the attention area candidate and the segmentation area is set as the attention area
  • the common area may be set based on another relationship different from the common area. For example, when the distance between the attention area candidate and the segmentation area is shorter than the threshold distance, it is possible to set the attention area candidate and the entire segmentation area as the attention area.
  • the attention area may be set based on various relationships including the positional relationship between the attention area candidate and the segmentation area.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed from a program recording medium into a computer built into dedicated hardware or a general-purpose personal computer.
  • FIG. 10 is a block diagram showing a hardware configuration example of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit 101
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 105 is further connected to the bus 104 .
  • Input unit 106 , output unit 107 , storage unit 108 , communication unit 109 , and drive 110 are connected to input/output interface 105 .
  • a drive 110 drives a removable medium 111 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 101 loads, for example, a program stored in the storage unit 108 into the RAM 103 via the input/output interface 105 and the bus 104 and executes the above-described series of programs. is processed.
  • Programs executed by the CPU 101 are, for example, recorded on the removable media 111, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 108.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the present technology can also take the following configurations.
  • an image processing unit that performs segmentation of an image captured by a camera and sets a segmentation region in which each target is captured; a region-of-interest candidate acquisition unit that acquires a region-of-interest candidate that is a candidate for a region of interest of an operator; and a control unit that sets the attention area based on the relationship between the segmentation area and the attention area candidate.
  • the control unit sets a common area of the segmentation area and the attention area candidate as the attention area.
  • the control unit controls at least one of focus and exposure of the camera.
  • the attention area candidate acquisition unit acquires the attention area candidate based on at least one input from the operator's voice, line of sight, touch, gesture, and foot switch operation.
  • the image processing unit sets the segmentation region to a region in which an organ to be operated that is specified based on surgical procedure information is displayed.
  • the control section determines a surgical process based on the positional relationship between the surgical tool and the organ to be operated, and sets the region of interest based on the determination result.
  • the image processing unit sets the importance based on the surgical procedure information to each part of the segmentation region in which the organ to be operated is displayed,
  • the surgical operation system according to (6) or (7), wherein the control unit sets the region of interest so as to include a portion of which the degree of importance is higher than a threshold.
  • the image processing unit performs depth estimation based on the image captured by the camera, and divides the segmentation region or connects a plurality of the segmentation regions based on depth information representing the result of the depth estimation.
  • the surgical system according to any one of (1) to (8) above.
  • the image processing unit performs SLAM processing based on the image captured by the camera, and divides the segmentation region or connects a plurality of the segmentation regions based on SLAM information representing the result of the SLAM processing.
  • the surgical system according to any one of (1) to (8) above.
  • the control unit changes the attention area according to the operator's speech performed after the presentation of the information about the attention area.
  • the surgical operation system according to any one of (1) to (13), wherein the control unit changes the attention area according to a display magnification of the image captured by the camera.
  • the surgical system Segment the image captured by the camera, set the segmentation area where each target is shown, Obtaining an attention area candidate, which is an area that is a candidate for an operator's attention area, A control method of setting the attention area based on a relationship between the segmentation area and the attention area candidate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

本技術は、術者が注目する領域を適切に設定することができるようにする手術システム、制御方法、およびプログラムに関する。 本技術の一側面の手術システムは、カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定し、術者の注目領域の候補となる領域である注目領域候補を取得し、セグメンテーション領域と注目領域候補との関係性に基づいて、注目領域を設定するものである。本技術は、内視鏡を用いた手術システムに適用することができる。

Description

手術システム、制御方法、およびプログラム
　本技術は、手術システム、制御方法、およびプログラムに関し、特に、術者が注目する領域を適切に設定することができるようにした手術システム、制御方法、およびプログラムに関する。
　内視鏡などを用いた手術システムでは、術者の滅菌対策が必要となる。そのため、内視鏡などの機器を非接触で操作できるようにした技術が各種提案されている。
　特許文献１には、術者の音声、ジェスチャ、視線などを用いた非接触の入力により、カメラのフォーカスを制御する技術が開示されている。
　また、特許文献２には、画像のセグメンテーションを行うことにより、カメラのフォーカスや露出を制御する技術が開示されている。
特開２０１７－０７０６３６号公報 国際公開第２０１８／００３５０３号
　非接触の入力は、一般的に、接触による入力に比べて誤認識される可能性が高い。入力の誤認識により、手術システムの誤作動が発生することがある。
　例えば、非接触による入力として視線を用いた場合、手術対象の臓器の隣にある臓器に術者が注目しているとして誤認識され、手術対象の臓器の隣にある臓器に内視鏡のフォーカスを合わせるような制御が行われてしまうことがある。手術中の術者の視線は、手術の対象となる臓器の中心ではなく端に向けられることが多いことから、手術対象の臓器の隣にある臓器に術者が注目しているとして誤認識されることがある。
　本技術はこのような状況に鑑みてなされたものであり、術者が注目する領域を適切に設定することができるようにするものである。
　本技術の一側面の手術システムは、カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定する画像処理部と、術者の注目領域の候補となる領域である注目領域候補を取得する注目領域候補取得部と、前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する制御部とを備える。
　本技術の一側面においては、カメラにより撮影された画像のセグメンテーションが行われ、それぞれの対象が映るセグメンテーション領域が設定され、術者の注目領域の候補となる領域である注目領域候補が取得され、前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域が設定される。
本技術を適用した手術システムの構成例を示す図である。 術野画像の例を示す図である。 注目領域候補とセグメンテーション領域の例を示す図である。 注目領域の設定方法の例を示す図である。 図１の制御装置の構成例を示すブロック図である。 図１の制御装置の一連の処理について説明するフローチャートである。 図６のステップＳ３において行われる制御部の処理について説明するフローチャートである。 セグメンテーション領域の分割の例を示す図である。 セグメンテーション領域の連結の例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（注目領域の設定方法の例）
　２．制御装置の構成
　３．制御装置の動作
　４．第２の実施の形態（セグメンテーション領域の設定）
　５．第３の実施の形態（セグメンテーション領域が小さい場合の対策）
　６．第４の実施の形態（注目領域候補に誤差がある場合の対策）
　７．第５の実施の形態（セグメンテーション領域に対する重み付け）
　８．第６の実施の形態（Depth情報を用いたセグメンテーション領域の分割）
　９．第７の実施の形態（Depth情報を用いたセグメンテーション領域の連結）
　１０．第８の実施の形態（SLAM情報を用いたセグメンテーション領域の分割）
　１１．第９の実施の形態（SLAM情報を用いたセグメンテーション領域の連結）
　１２．第１０の実施の形態（注目領域の表示）
　１３．第１１の実施の形態（発話による注目領域の設定変更）
　１４．第１２の実施の形態（術式情報の取得元の例）
　１５．第１３の実施の形態（表示倍率に応じた注目領域の設定）
　１６．その他
＜第１の実施の形態（注目領域の設定方法の例）＞
・本技術を適用した手術システムの構成例
　図１は、本技術の一実施形態に係る手術システムの構成例を示す図である。
　図１の手術システムは、制御装置１、術用カメラ１１、動作認識用カメラ１２、ディスプレイ１３、手術台１４、視線認識デバイス１５、マイクロフォン１６、およびフットスイッチ１７により構成される。手術システムは、手術室等に配置され、術用カメラ１１により撮影される画像を参照した外科手術等の処置に用いられるシステムである。視線認識デバイス１５とマイクロフォン１６を頭部に装着した術者Ｈにより処置が行われる。
　術用カメラ１１は、例えば腹腔鏡手術における術野の撮影に用いられるカメラである。術用カメラ１１は、手術台１４に横たわる患者の術野等を撮影し、その結果得られる画像を術野画像として制御装置１に送信する。術野画像として、動画像または静止画像の撮影が行われる。
　動作認識用カメラ１２は、術者Ｈの動作の認識に用いられるカメラである。動作認識用カメラ１２は例えばディスプレイ１３の上に配置される。動作認識用カメラ１２は、術者Ｈを撮影し、その結果得られる画像を術者画像として制御装置１に送信する。
　ディスプレイ１３は、制御装置１による制御にしたがって術野画像等を表示する。ディスプレイ１３は、表示面を術者Ｈに向けて設置される。
　制御装置１は、動作認識用カメラ１２から送信される術者画像を受信し、術者Ｈのジェスチャを認識する。
　また、制御装置１は、視線認識デバイス１５から送信される情報を受信し、ディスプレイ１３の画面上における視点の位置を認識する。視線認識デバイス１５からは、術者Ｈの視線の情報が送信されてくる。
　制御装置１は、マイクロフォン１６から送信される音声を受信し、音声認識を行う。制御装置１は、フットスイッチ１７から送信される信号を受信し、フットスイッチ１７に対する術者Ｈの操作の内容を認識する。
　制御装置１は、認識した情報に基づいて、術用カメラ１１の撮影やディスプレイ１３の表示を制御する。
　このように、制御装置１は、術者Ｈの音声、視線、タッチ、ジェスチャ、およびフットスイッチ１７を用いた術者Ｈの操作のうちの少なくとも１つの入力に基づいて、手術システムの制御を行う装置である。
　マイクロフォン１６は、術者Ｈの音声を取得し、制御装置１に送信する。
　フットスイッチ１７は、術者Ｈの足元に配置される。フットスイッチ１７は、足を用いて行われる術者Ｈの操作の内容を表す操作信号を制御装置１に送信する。
　以上のように構成される手術システムでは、術者Ｈは、患者を手術台１４の上に横たわらせ、ディスプレイ１３に表示される術野画像等を、視線認識デバイス１５を介して見ながら外科手術等の処置を行う。
　また、術者Ｈは、術用カメラ１１の撮影条件、位置および角度、ディスプレイ１３の表示等を変更する場合、音声、視線、タッチ、ジェスチャ、およびフットスイッチ操作による入力を行う。術者Ｈは、音声、視線、ジェスチャなどを用いることにより、図示せぬ術具を把持した状態で、術用カメラ１１の操作のための入力を非接触で行うことができる。
　なお、術者Ｈの視線の認識方法、ジェスチャの検出方法、および音声の取得方法として、任意の方法を採用することができる。
　以上のような構成を有する手術システムを制御する制御装置１においては、術者Ｈが注目していると考えられる領域である注目領域が術野画像に対して設定され、注目領域に応じて、術用カメラ１１の駆動が制御される。例えば、注目領域にフォーカスを合わせるフォーカス制御、注目領域の明るさに合わせた露出制御が注目領域に応じて行われる。
　このような、フォーカス制御、露出制御の判定エリアとして用いられる注目領域は、注目領域の候補である注目領域候補と、画像のセグメンテーションを行うことにより設定されたセグメンテーション領域との関係性に基づいて設定される。
・注目領域の設定方法の例
　図２は、術野画像の例を示す図である。
　ここでは、図２に示す術野画像Ｐを用いて、術者Ｈの注目領域の設定方法について説明する。術野画像Ｐのうち、色を付して示す右側の領域が、手術対象の臓器が映っている領域である。手術対象の臓器の周りには他の臓器が映っている。また、斜線を付して示す、術野画像Ｐの中央下方の領域には術具Ｔの先端付近が映っている。
　術野画像Ｐの撮影が術用カメラ１１により行われている場合、制御装置１においては、例えば、視線認識デバイス１５から供給される情報に基づいて、図３のＡに色を付して示すような注目領域候補Ａ１が設定される。図３のＡにおいては、視点位置ｐ１を中心として一定の距離の円形の範囲が注目領域候補Ａ１として設定されている。視点位置ｐ１は、手術対象の臓器の縁の近傍の位置である。
　また、制御装置１においては、術野画像Ｐを対象としたセグメンテーションが行われることにより、図３のＢに色を付して示すような、手術対象の臓器が映る領域がセグメンテーション領域Ａ２として設定される。例えば複数の臓器が術野画像Ｐに映っている場合、セグメンテーションが行われることによって複数のセグメンテーション領域が設定され、そのうちの手術対象の臓器が映るセグメンテーション領域Ａ２が、注目領域の設定に用いられる。
　術野画像Ｐのセグメンテーションは、例えば、各臓器が映る画像を学習データとした機械学習によってあらかじめ生成された推論モデルを用いて行われる。推論モデルに対して術野画像Ｐを入力することにより、各臓器が映っているセグメンテーション領域に関する情報が出力される。
　図４は、注目領域の設定方法の例を示す図である。
　以上のようにして注目領域候補Ａ１とセグメンテーション領域Ａ２が設定された場合、図４に示すように、例えば、注目領域候補Ａ１とセグメンテーション領域Ａ２の共通領域が、注目領域Ａ３として設定される。制御装置１においては、注目領域Ａ３にフォーカスを合わせたり、注目領域Ａ３の明るさに合わせて露出を調整したりして、術用カメラ１１の制御が行われる。
　このように、制御装置１においては、注目領域候補Ａ１とセグメンテーション領域Ａ２との関係性に基づいて注目領域Ａ３が設定される。
　これにより、視点に近い位置に映っている非注目物を注目領域Ａ３から除くことが可能となり、術者Ｈの意図に沿った領域を注目領域Ａ３として設定することが可能となる。すなわち、視点位置に基づいて設定された注目領域候補Ａ１のうちの、セグメンテーション領域Ａ２外の領域は、手術対象の臓器に隣接する臓器が映っている領域であり、非注目物が映っている領域である。そのような、非注目物が映っている領域を除くようにして設定された注目領域Ａ３は、手術対象の臓器に注目している術者Ｈの意図に沿った領域であるといえる。
　また、注目領域Ａ３に基づいて術用カメラ１１を制御することにより、術者Ｈの意図に沿ったフォーカス制御、露出制御が可能となる。
　通常、術者Ｈの視点位置は常に揺れている状態で認識される。そのため、視点位置だけに基づいて、注目領域候補Ａ１を注目領域として設定するとした場合、視点位置が揺れることに応じて術用カメラ１１の制御が行われ、術野画像の映りがその都度変化してしまう。注目領域候補Ａ１とともにセグメンテーション領域Ａ２を用いて注目領域Ａ３の設定が行われることにより、そのような映りの変化を抑えることが可能となる。
　注目領域候補Ａ１とセグメンテーション領域Ａ２の共通領域が注目領域Ａ３として一律に設定されるのではなく、セグメンテーション領域Ａ２内の各位置に設定された重要度に基づいて注目領域Ａ３が設定されるようにしてもよい。この場合、例えば、視点位置からの距離に応じた重み付けが行われ、セグメンテーション領域Ａ２内の各位置に対して重要度が設定される。また、閾値以上の重要度が設定された位置を含めるようにして注目領域Ａ３が設定される。重要度を用いた注目領域Ａ３の設定については後述する。
＜制御装置の構成＞
　図５は、図１の制御装置１の構成例を示すブロック図である。図５に示す構成のうち、図１を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　制御装置１は、注目領域候補取得部３１、画像処理部３２、制御部３３、術式情報取得部３４、セグメンテーション対象提供部３５、および注目領域修正情報取得部３６により構成される。図５に示すような各機能部が、制御装置１を構成するコンピュータにより所定のプログラムが実行されることによって実現される。
　注目領域候補取得部３１は、音声認識部５１、視線認識部５２、タッチ認識部５３、ジェスチャ認識部５４、および操作認識部５５を有する。動作認識用カメラ１２、視線認識デバイス１５、マイクロフォン１６、フットスイッチ１７、空間タッチパネル１８、タッチパネル１９のそれぞれの入力デバイスから出力された情報が注目領域候補取得部３１に入力される。
　音声認識部５１は、マイクロフォン１６から供給される術者Ｈの音声に基づいて音声認識を行う。
　視線認識部５２は、視線認識デバイス１５から供給される術者Ｈの視線の情報に基づいて、ディスプレイ１３の画面上における視点位置を認識する。
　タッチ認識部５３は、空間タッチパネル１８およびタッチパネル１９から供給される操作信号に基づいて、術者Ｈのタッチ入力の内容を認識する。空間タッチパネル１８は、指や手を用いて行われる、所定の空間に対する術者Ｈの入力を検出する入力デバイスである。空間タッチパネル１８は手術システムの所定の位置に設けられる。タッチパネル１９は例えばディスプレイ１３に重ねて設けられる。
　ジェスチャ認識部５４は、動作認識用カメラ１２から供給される術者画像に基づいて、術者Ｈのジェスチャ入力の内容を認識する。
　操作認識部５５は、フットスイッチ１７から供給される操作信号に基づいて、術者Ｈの入力の内容を認識する。
　注目領域候補取得部３１は、各部における認識結果である、音声認識結果、視点位置、タッチ入力、ジェスチャ入力、フットスイッチ入力に基づいて、注目領域候補を取得する（設定する）。注目領域候補取得部３１は、注目領域候補の情報を制御部３３に出力する。
　このように、注目領域候補が、視点位置以外の情報に基づいて取得されるようにすることが可能である。例えば、「術具の近く」といった発話が行われた場合、音声認識の結果に基づいて、術具の先端の近傍の領域が注目領域候補として設定される。
　１つの認識結果に基づいて注目領域候補が設定されるのではなく、２つ以上の認識結果に基づいて注目領域候補が設定されるようにしてもよい。音声認識結果、視点位置、タッチ入力、ジェスチャ入力、フットスイッチ入力のうちの少なくともいずれかに基づいて注目領域候補の設定が行われるようにすることが可能である。
　画像処理部３２は、セグメンテーション処理部６１と注目領域重畳処理部６２により構成される。
　セグメンテーション処理部６１は、術用カメラ１１から供給される術野画像を対象としてセグメンテーションを行い、セグメンテーションの結果に関する情報を制御部３３に出力する。制御部３３に供給される情報には、各セグメンテーション領域の情報が含まれる。
　セグメンテーション処理部６１は、セグメンテーション重み付け処理部７１、Depth処理部７２、SLAM処理部７３を有する。セグメンテーション処理部６１が有する各部の機能については後述する。セグメンテーション重み付け処理部７１、Depth処理部７２、SLAM処理部７３の各部により取得された情報を適宜用いて、注目領域の設定が制御部３３により行われる。
　注目領域重畳処理部６２は、制御部３３の注目領域設定部８１から供給された情報に基づいて、注目領域をディスプレイ１３に表示させる。注目領域の表示は、術野画像に重畳させるようにして行われる。
　制御部３３は注目領域設定部８１を有する。注目領域設定部８１は、注目領域候補取得部３１から供給された情報により表される注目領域候補と、画像処理部３２のセグメンテーション処理部６１から供給された情報により表されるセグメンテーション領域との関係性に基づいて注目領域を設定する。注目領域設定部８１は、注目領域の情報を画像処理部３２に出力する。
　また、制御部３３は、術用カメラ１１の駆動を注目領域に基づいて制御する。
　術式情報取得部３４は、術式情報提供機器２から供給された術式情報を受信し、取得する。術式情報には、手術内容や手術対象の臓器などの情報が含まれる。術式情報取得部３４により取得された術式情報は、セグメンテーション対象提供部３５に供給される。術式情報取得部３４による術式情報の取得は、適宜、マイクロフォン１６から供給された音声に基づいて行われる。
　セグメンテーション対象提供部３５は、術式情報取得部３４から供給された術式情報に基づいて、セグメンテーション領域として設定する領域を特定し、画像処理部３２のセグメンテーション処理部６１に提供する。例えば、手術対象の臓器が術式情報に基づいて特定され、手術対象の臓器をセグメンテーション領域として設定することを表す情報がセグメンテーション処理部６１に対して提供される。
　注目領域修正情報取得部３６は、マイクロフォン１６から供給された音声に基づいて、注目領域の修正（変更）を指示する情報である修正情報を生成し、制御部３３に出力する。例えば、注目領域を変更することを要求する内容の発話が術者Ｈにより行われた場合、修正情報が生成される。注目領域修正情報取得部３６により生成された修正情報に基づいて、適宜、注目領域が変更される。音声入力以外の非接触の入力に基づいて注目領域の修正が指示されるようにしてもよい。
＜制御装置の動作＞
　ここで、以上のような構成を有する制御装置１の動作について説明する。
　はじめに、図６のフローチャートを参照して、制御装置１の一連の処理について説明する。
　ステップＳ１において、注目領域候補取得部３１は、術者Ｈの注目領域候補を取得する。
　ステップＳ２において、画像処理部３２は、術野画像のセグメンテーションを行い、手術対象の臓器が映る領域をセグメンテーション領域として設定する。
　ステップＳ３において、制御部３３の処理が行われる。
　次に、図７のフローチャートを参照して、図６のステップＳ３において行われる制御部の処理について説明する。
　ステップＳ１１において、制御部３３は、注目領域候補を取得することが可能であるか否かを判定する。例えば、術者Ｈの視点位置の認識結果に関する情報が注目領域候補取得部３１から供給される情報に含まれている場合、注目領域候補を取得することが可能であると判定される。
　注目領域候補を取得することが可能であるとステップＳ１１において判定された場合、ステップＳ１２において、制御部３３は、セグメンテーション領域を取得することが可能であるか否かを判定する。例えば、術野画像のセグメンテーションがセグメンテーション処理部６１により行われ、セグメンテーション領域の情報がセグメンテーション処理部６１から供給される情報に含まれている場合、セグメンテーション領域を取得することが可能であると判定される。
　セグメンテーション領域を取得することが可能であるとステップＳ１２において判定された場合、ステップＳ１３において、制御部３３は、注目領域候補とセグメンテーション領域との関係性に基づいて注目領域を設定する。上述したように、例えば、注目領域候補とセグメンテーション領域との共通領域が注目領域として設定される。
　ステップＳ１４において、制御部３３は、術用カメラ１１の制御が必要であるか否かを判定する。例えば、注目領域に変更があった場合、術用カメラ１１の制御が必要であると判定される。
　術用カメラ１１の制御が必要であるとステップＳ１４において判定された場合、ステップＳ１５において、制御部３３は、注目領域の状況に応じて、術用カメラ１１のフォーカスおよび露出の少なくとも一方を制御する。
　ステップＳ１５において術用カメラ１１の駆動が制御された後、処理はステップＳ１６に進む。ステップＳ１１において注目領域候補を取得することができないと判定された場合、ステップＳ１２においてセグメンテーション領域を取得することができないと判定された場合、または、ステップＳ１４において術用カメラ１１の制御が必要ではないと判定された場合も同様に、処理はステップＳ１６に進む。
　ステップＳ１６において、制御部３３は、制御装置１の電源をオフにするか否かを判定する。
　制御装置１の電源をオフにしないとステップＳ１６において判定された場合、ステップＳ１１に戻り、以上の処理が繰り返される。
　制御装置１の電源をオフにするとステップＳ１６において判定された場合、図６のステップＳ３に戻り、制御装置１の処理は終了となる。
　以上の処理により、制御装置１は、注目領域候補とセグメンテーション領域との関係性に基づいて、注目領域を適切に設定することができる。また、制御装置１は、術者Ｈの意図に沿うようにして設定した注目領域に基づいて、術用カメラ１１を適切に制御することができる。
＜第２の実施の形態（セグメンテーション領域の設定）＞
　手術対象の臓器が映っている領域全体に１つのセグメンテーション領域が設定されるのではなく、複数のセグメンテーション領域が設定されるようにしてもよい。
　例えば、手術対象の臓器が大腸である場合、横行結腸、上部直腸などの部位が映っているそれぞれの領域、腸間膜や血管などの部位が映っているより狭いそれぞれの領域が、セグメンテーション領域として設定される。
　この場合、例えば、図５のセグメンテーション対象提供部３５は、セグメンテーション領域として設定する領域の粒度を、術式情報取得部３４により取得された術式情報に基づいて設定する。セグメンテーション処理部６１は、セグメンテーション対象提供部３５により設定された粒度に基づいて、手術対象の１つの臓器の一部分が映っている領域をセグメンテーション領域として設定する。
　これにより、より狭い注目領域の設定が可能になる。
　手術対象の臓器のうち、腫瘍がある部分が映っている領域と腫瘍がない部分が映っている領域がそれぞれ異なるセグメンテーション領域として設定されるようにしてもよい。
＜第３の実施の形態（セグメンテーション領域が小さい場合の対策）＞
　１つの注目領域候補と、複数のセグメンテーション領域のそれぞれとの共通領域が注目領域として設定されるようにしてもよい。
　この場合、セグメンテーション処理部６１は、術野画像に対して複数のセグメンテーション領域を設定する。注目領域設定部８１は、注目領域候補とそれぞれのセグメンテーション領域との共通領域を注目領域として設定する。
　これにより、１つのセグメンテーション領域が狭い場合であっても、オートフォーカスの制御、露出制御の基準となる注目領域として一定の広さの領域を確保することが可能となる。
＜第４の実施の形態（注目領域候補に誤差がある場合の対策）＞
　術者Ｈの視線が揺れるなどして各タイミングにおける注目領域候補に誤差があることから注目領域の設定が困難である場合、術具と手術対象の臓器との位置関係などにも基づいて注目領域が設定されるようにしてもよい。
　この場合、例えば、術式情報を参照し、術具と手術対象の臓器との位置関係に基づいて手術工程が判定される。内視鏡を用いた手術においては、処置を施す箇所が術式によって統一されているため、術具と臓器の位置関係に基づいて、手術工程を判定することが可能である。
　セグメンテーション重み付け処理部７１は、手術対象の臓器の切り離し部分や切断部分を特定し、例えば鉗子によって挟まれている臓器が映っている部分に対して、高い重要度を設定する。注目領域設定部８１は、鉗子によって挟まれている臓器が映っている部分を含むように、重要度に基づいて注目領域を設定する。例えば、閾値以上の重要度が設定されている部分を含むようにして注目領域が設定される。
　これにより、各タイミングにおける注目領域候補に誤差がある場合であっても、注目領域設定部８１は、注目領域を適切に設定することが可能となる。
＜第５の実施の形態（セグメンテーション領域に対する重み付け）＞
　腫瘍部分が映る領域が優先的に注目領域に含まれるように、セグメンテーション領域の各部に対する重み付けが行われるようにしてもよい。
　この場合、例えば、セグメンテーション重み付け処理部７１は、術式情報取得部３４により取得された術式情報に基づいて、手術対象の臓器の腫瘍部分が映る領域を特定し、特定した領域に対して、高い重要度を設定する。また、注目領域設定部８１は、各領域に設定された重要度に基づいて、腫瘍部分が映る領域を含む領域を注目領域として設定する。
　これにより、術者Ｈの意図に沿ったフォーカス制御と露出制御が可能となる。
　術具が映っている領域のような、コントラストが高い領域を注目領域に含めるように各領域に対する重み付けが行われるようにしてもよい。コントラストが高い領域を含む注目領域に基づいてフォーカス制御が行われることにより、フォーカス性能を向上させることが可能となる。
＜第６の実施の形態（Depth情報を用いたセグメンテーション領域の分割）＞
　手術対象の臓器が映っているセグメンテーション領域が、手術対象の臓器のDepth情報に基づいて、複数のセグメンテーション領域に分割されるようにしてもよい。
　この場合、Depth処理部７２は、術用カメラ１１により撮影された術野画像を用いたDepth推定を行い、術野画像に映る各部までの距離を表すDepth情報を取得する。Depth処理部７２により行われるDepth推定は、いわゆる単眼のDepth推定となる。
　また、手術対象の臓器が、フォーカスを合わせるのに必要となる被写界深度が深い対象物である場合（手術対象の臓器の奥行き方向の幅が広い場合）、セグメンテーション処理部６１は、手術対象の臓器が映っている領域全体を複数のセグメンテーション領域に分割する。
　図８は、セグメンテーション領域の分割の例を示す図である。
　図８の例においては、術野画像Ｐに手術対象の臓器が映り、セグメンテーション領域Ａ１１が設定されている。セグメンテーション領域Ａ１１全体にフォーカスを合わせることが困難である場合、図８の矢印に示すように、セグメンテーション領域Ａ１１がセグメンテーション領域Ａ１１－１とセグメンテーション領域Ａ１１－２に分割される。例えば、領域内の各位置までの距離が一定の距離に収まるように、セグメンテーション領域の分割がDepth情報に基づいて行われる。
　これにより、同じような距離の位置にあるセグメンテーション領域Ａ１１－１とセグメンテーション領域Ａ１１－２のいずれかを注目領域の設定に用いることにより、フォーカスを適切に合わせることが可能となる。
　内視鏡を用いた手術システムにおいては、被写体となる物体までの距離が近いために、実現可能な被写界深度が浅くなる。また、内視鏡に用いられるイメージセンサの画素ピッチが高解像度化によって狭くなり、これによっても、実現可能な被写界深度が浅くなる。上述したように、領域内の各位置までの距離が一定の距離に収まるようにセグメンテーション領域の分割が行われることにより、セグメンテーション領域内のどの領域に注目領域が設定された場合でもフォーカスを適切に合わせることが可能となる。
　また、他の臓器を傷つけないようにするために、手術対象の臓器を鉗子で持ち上げた状態で切開や切除などの処置が行われる。この場合、臓器全体にフォーカス合わせるのに必要となる被写界深度が深くなるが、上述したように、領域内の各位置までの距離が一定の距離に収まるようにセグメンテーション領域の分割が行われることにより、フォーカスを適切に制御することが可能となる。
＜第７の実施の形態（Depth情報を用いたセグメンテーション領域の連結）＞
　手術対象の臓器が映っている複数のセグメンテーション領域が、手術対象の臓器のDepth情報に基づいて、１つのセグメンテーション領域に連結されるようにしてもよい。
　この場合、Depth処理部７２は、術用カメラ１１により撮影された術野画像を用いたDepth推定を行い、術野画像に映る各部までの距離を表すDepth情報を取得する。
　また、手術対象の臓器が、フォーカスを合わせるのに必要となる被写界深度が浅い対象物である場合（手術対象の臓器の奥行き方向の幅が狭い場合）、セグメンテーション処理部６１は、手術対象の臓器が映っている複数の領域を１つのセグメンテーション領域に連結する。
　図９は、セグメンテーション領域の連結の例を示す図である。
　図９の例においては、術野画像Ｐに手術対象の臓器が映り、セグメンテーション領域Ａ２１－１およびセグメンテーション領域Ａ２１－２が設定されている。セグメンテーション領域Ａ２１－１に映っている部分とセグメンテーション領域Ａ２１－２に映っている部分のそれぞれの部分までの距離が一定の範囲に収まる距離にある場合、図９の矢印に示すように、セグメンテーション領域Ａ２１－１とセグメンテーション領域Ａ２１－２が１つのセグメンテーション領域Ａ２１に連結される。
　セグメンテーション領域Ａ２１を用いることにより、フォーカスを合わせる基準となる注目領域として広い領域が設定される。これにより、広い領域に映る臓器全体にフォーカスが合った状態の術野画像を撮影することが可能となる。
＜第８の実施の形態（SLAM情報を用いたセグメンテーション領域の分割）＞
　SLAM情報がセグメンテーション領域の分割に用いられるようにすることが可能である。
　この場合、SLAM処理部７３は、術用カメラ１１により撮影された術野画像を用いたSLAM処理を行う。セグメンテーション処理部６１は、術野画像に映る各部までの距離をSLAM処理の結果を表すSLAM情報に基づいて特定し、図８を参照して説明したようにしてセグメンテーション領域を分割する。
　これによっても、複数のセグメンテーション領域のそれぞれに適切にフォーカスを合わせることが可能となる。
＜第９の実施の形態（SLAM情報を用いたセグメンテーション領域の連結）＞
　SLAM情報がセグメンテーション領域の連結に用いられるようにすることが可能である。
　この場合、SLAM処理部７３は、術用カメラ１１により撮影された術野画像を用いたSLAM処理を行う。セグメンテーション処理部６１は、術野画像に映る各部までの距離をSLAM処理の結果を表すSLAM情報に基づいて特定し、図９を参照して説明したようにしてセグメンテーション領域を連結する。
　これによっても、広い領域に映る臓器全体にフォーカスが合った状態の術野画像を撮影することが可能となる。
＜第１０の実施の形態（注目領域の表示）＞
　術用カメラ１１のフォーカスおよび露出の少なくとも一方の制御が行われているときに、注目領域に関する情報が術者Ｈにフィードバックされるようにしてもよい。
　この場合、注目領域重畳処理部６２は、注目領域設定部８１から供給された情報に基づいて、注目領域がどの領域に設定されているのかを表す情報をディスプレイ１３に表示させる。例えば、所定の色の画像が術野画像に重ねて表示され、注目領域が術者Ｈに提示される。
　ディスプレイ１３に注目領域が表示されることで、術者Ｈは手術システムの挙動を適切に把握することができる。
＜第１１の実施の形態（発話による注目領域の設定変更）＞
　注目領域に関する情報の提示の後に行われた術者Ｈの発話に応じて、注目領域の設定が変更されるようにしてもよい。
　この場合、注目領域修正情報取得部３６は、マイクロフォン１６から供給された音声に基づいて、注目領域の修正を指示する情報である修正情報を生成する。「もう少し前」、「もう少し後ろ」、「違う」などの発話が行われることに応じて、修正情報が生成される。注目領域設定部８１は、注目領域修正情報取得部３６により生成された修正情報に基づいて、注目領域を変更し、変更後の注目領域に応じて術用カメラ１１を制御する。
　これにより、術者Ｈの意図に沿わない形で注目領域が設定されてしまった場合でも、注目領域を適切に修正することが可能となる。
＜第１２の実施の形態（術式情報の取得元の例）＞
　HIS(Hospital Information System)を構成する術式情報提供機器２から術式情報が取得されるものとしたが、タイムアウト時の発話に基づいて術式情報が取得されるようにしてもよい。タイムアウトは、患者の氏名、手術方法、手術部位を確認するための時間である。例えば、手術開始前などにタイムアウトの時間が確保される。
　この場合、術式情報取得部３４は、マイクロフォン１６により検出されたタイムアウト時の発話を認識し、患者の氏名、手術方法、手術部位を特定することによって術式情報を生成する。術式情報取得部３４により生成された術式情報に基づいて、重要度の設定などが行われる。すなわち、術式情報取得部３４は、連携するHISから送信されてきた情報と、手術開始前における、術者Ｈなどの発話の認識結果とのうちの少なくとも一方に基づいて術式情報を取得することが可能である。
　これにより、術式情報の取得元の選択肢を増やすことが可能となる。
＜第１３の実施の形態（表示倍率に応じた注目領域の設定）＞
　術用カメラ１１によって撮影された術野画像の表示倍率に応じて、注目領域の設定が変更されるようにしてもよい。
　例えば、注目領域設定部８１は、術野画像がディスプレイ１３に拡大表示されている場合、注目領域をより狭い領域に設定し、術野画像がディスプレイ１３に縮小表示されている場合、注目領域をより広い領域に設定する。
　これにより、術野画像全体に表示されている範囲に応じた広さの注目領域を設定することが可能となる。
＜その他＞
　注目領域候補とセグメンテーション領域の共通領域が注目領域として設定されるものとしたが、共通領域とは異なる他の関係性に基づいて共通領域が設定されるようにしてもよい。例えば、注目領域候補とセグメンテーション領域の距離が閾値となる距離より近い場合に、注目領域候補とセグメンテーション領域の全体が注目領域として設定されるようにすることが可能である。
　このように、注目領域候補とセグメンテーション領域の位置の関係性を含む、各種の関係性に基づいて注目領域の設定が行われるようにしてもよい。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１０１が実行するプログラムは、例えばリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定する画像処理部と、
　術者の注目領域の候補となる領域である注目領域候補を取得する注目領域候補取得部と、
　前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する制御部と
　を備える手術システム。
（２）
　前記制御部は、前記セグメンテーション領域と前記注目領域候補の共通領域を前記注目領域として設定する
　前記（１）に記載の手術システム。
（３）
　前記制御部は、前記カメラのフォーカスおよび露出の少なくとも一方を制御する
　前記（１）または（２）に記載の手術システム。
（４）
　前記注目領域候補取得部は、前記術者の音声、視線、タッチ、ジェスチャ、およびフットスイッチ操作の少なくとも１つの入力に基づいて前記注目領域候補を取得する
　前記（１）乃至（３）のいずれかに記載の手術システム。
（５）
　前記制御部は、複数の前記セグメンテーション領域を用いて前記注目領域を設定する
　前記（１）乃至（４）のいずれかに記載の手術システム。
（６）
　前記画像処理部は、術式情報に基づいて特定した手術対象となる臓器が映る領域に前記セグメンテーション領域を設定する
　前記（１）乃至（５）のいずれかに記載の手術システム。
（７）
　前記制御部は、術具と手術対象となる前記臓器との位置関係に基づいて手術工程を判定し、判定した結果に基づいて前記注目領域を設定する
　前記（６）に記載の手術システム。
（８）
　前記画像処理部は、手術対象となる前記臓器が映る前記セグメンテーション領域の各部に前記術式情報に基づいて重要度を設定し、
　前記制御部は、前記重要度が閾値より高い部分を含むように前記注目領域を設定する
　前記（６）または（７）に記載の手術システム。
（９）
　前記画像処理部は、前記カメラにより撮影された前記画像に基づいてDepth推定を行い、前記Depth推定の結果を表すDepth情報に基づいて、前記セグメンテーション領域の分割、または、複数の前記セグメンテーション領域の連結を行う
　前記（１）乃至（８）のいずれかに記載の手術システム。
（１０）
　前記画像処理部は、前記カメラにより撮影された前記画像に基づいてSLAM処理を行い、前記SLAM処理の結果を表すSLAM情報に基づいて、前記セグメンテーション領域の分割、または、複数の前記セグメンテーション領域の連結を行う
　前記（１）乃至（８）のいずれかに記載の手術システム。
（１１）
　前記画像処理部は、前記カメラの制御時に、前記注目領域に関する情報を前記術者に提示する
　前記（１）乃至（３）のいずれかに記載の手術システム。
（１２）
　前記制御部は、前記注目領域に関する情報の提示後に行われた前記術者の発話に応じて前記注目領域を変更する
　前記（１１）に記載の手術システム。
（１３）
　連携するHISから送信されてきた情報と、手術開始前における発話の認識結果とのうちの少なくとも一方に基づいて前記術式情報を取得する術式情報取得部をさらに備える
　前記（６）乃至（８）のいずれかに記載の手術システム。
（１４）
　前記制御部は、前記カメラにより撮影された前記画像の表示倍率に応じて前記注目領域を変更する
　前記（１）乃至（１３）のいずれかに記載の手術システム。
（１５）
　手術システムが、
　カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定し、
　術者の注目領域の候補となる領域である注目領域候補を取得し、
　前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する
　制御方法。
（１６）
　コンピュータに、
　カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定し、
　術者の注目領域の候補となる領域である注目領域候補を取得し、
　前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する
　処理を実行させるためのプログラム。
　１　制御装置，　２　術式情報提供機器，　１１　術用カメラ，　３１　注目領域候補取得部，　３２　画像処理部，　３３　制御部，　３４　術式情報取得部，　３５　セグメンテーション対象提供部，　３６　注目領域修正情報取得部，　６１　セグメンテーション処理部，　６２　注目領域重畳処理部，　７１　セグメンテーション重み付け処理部，　７２　Depth処理部，　７３　SLAM処理部，　８１　注目領域設定部

Claims (16)

  1. 　カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定する画像処理部と、
    　術者の注目領域の候補となる領域である注目領域候補を取得する注目領域候補取得部と、
    　前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する制御部と
    　を備える手術システム。
  2. 　前記制御部は、前記セグメンテーション領域と前記注目領域候補の共通領域を前記注目領域として設定する
    　請求項１に記載の手術システム。
  3. 　前記制御部は、前記カメラのフォーカスおよび露出の少なくとも一方を制御する
    　請求項１に記載の手術システム。
  4. 　前記注目領域候補取得部は、前記術者の音声、視線、タッチ、ジェスチャ、およびフットスイッチ操作の少なくとも１つの入力に基づいて前記注目領域候補を取得する
    　請求項１に記載の手術システム。
  5. 　前記制御部は、複数の前記セグメンテーション領域を用いて前記注目領域を設定する
    　請求項１に記載の手術システム。
  6. 　前記画像処理部は、術式情報に基づいて特定した手術対象となる臓器が映る領域に前記セグメンテーション領域を設定する
    　請求項１に記載の手術システム。
  7. 　前記制御部は、術具と手術対象となる前記臓器との位置関係に基づいて手術工程を判定し、判定した結果に基づいて前記注目領域を設定する
    　請求項６に記載の手術システム。
  8. 　前記画像処理部は、手術対象となる前記臓器が映る前記セグメンテーション領域の各部に前記術式情報に基づいて重要度を設定し、
    　前記制御部は、前記重要度が閾値より高い部分を含むように前記注目領域を設定する
    　請求項６に記載の手術システム。
  9. 　前記画像処理部は、前記カメラにより撮影された前記画像に基づいてDepth推定を行い、前記Depth推定の結果を表すDepth情報に基づいて、前記セグメンテーション領域の分割、または、複数の前記セグメンテーション領域の連結を行う
    　請求項１に記載の手術システム。
  10. 　前記画像処理部は、前記カメラにより撮影された前記画像に基づいてSLAM処理を行い、前記SLAM処理の結果を表すSLAM情報に基づいて、前記セグメンテーション領域の分割、または、複数の前記セグメンテーション領域の連結を行う
    　請求項１に記載の手術システム。
  11. 　前記画像処理部は、前記カメラの制御時に、前記注目領域に関する情報を前記術者に提示する
    　請求項３に記載の手術システム。
  12. 　前記制御部は、前記注目領域に関する情報の提示後に行われた前記術者の発話に応じて前記注目領域を変更する
    　請求項１１に記載の手術システム。
  13. 　連携するHISから送信されてきた情報と、手術開始前における発話の認識結果とのうちの少なくとも一方に基づいて前記術式情報を取得する術式情報取得部をさらに備える
    　請求項６に記載の手術システム。
  14. 　前記制御部は、前記カメラにより撮影された前記画像の表示倍率に応じて前記注目領域を変更する
    　請求項１に記載の手術システム。
  15. 　手術システムが、
    　カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定し、
    　術者の注目領域の候補となる領域である注目領域候補を取得し、
    　前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する
    　制御方法。
  16. 　コンピュータに、
    　カメラにより撮影された画像のセグメンテーションを行い、それぞれの対象が映るセグメンテーション領域を設定し、
    　術者の注目領域の候補となる領域である注目領域候補を取得し、
    　前記セグメンテーション領域と前記注目領域候補との関係性に基づいて、前記注目領域を設定する
    　処理を実行させるためのプログラム。
PCT/JP2022/009610 2021-08-26 2022-03-07 手術システム、制御方法、およびプログラム WO2023026528A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023543651A JPWO2023026528A1 (ja) 2021-08-26 2022-03-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-138108 2021-08-26
JP2021138108 2021-08-26

Publications (1)

Publication Number Publication Date
WO2023026528A1 true WO2023026528A1 (ja) 2023-03-02

Family

ID=85322612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009610 WO2023026528A1 (ja) 2021-08-26 2022-03-07 手術システム、制御方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2023026528A1 (ja)
WO (1) WO2023026528A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525582A (ja) * 2003-04-29 2006-11-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 領域分割の微調整
JP2010528762A (ja) * 2007-06-06 2010-08-26 カール シュトルツ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 身体上の対象を見るためのビデオシステム
JP2017512554A (ja) * 2014-03-19 2017-05-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
JP2017153968A (ja) * 2015-07-13 2017-09-07 ソニー株式会社 医療用観察装置、医療用観察装置の作動方法、内視鏡システム、及び手術用顕微鏡システム
JP2020157108A (ja) * 2014-07-28 2020-10-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術中のセグメンテーションについてのシステム及び方法
US20200357170A1 (en) * 2017-06-29 2020-11-12 Open Space Labs, Inc. Automated spatial indexing of images based on floorplan features

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525582A (ja) * 2003-04-29 2006-11-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 領域分割の微調整
JP2010528762A (ja) * 2007-06-06 2010-08-26 カール シュトルツ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 身体上の対象を見るためのビデオシステム
JP2017512554A (ja) * 2014-03-19 2017-05-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
JP2020157108A (ja) * 2014-07-28 2020-10-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術中のセグメンテーションについてのシステム及び方法
JP2017153968A (ja) * 2015-07-13 2017-09-07 ソニー株式会社 医療用観察装置、医療用観察装置の作動方法、内視鏡システム、及び手術用顕微鏡システム
US20200357170A1 (en) * 2017-06-29 2020-11-12 Open Space Labs, Inc. Automated spatial indexing of images based on floorplan features

Also Published As

Publication number Publication date
JPWO2023026528A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
US20210401512A1 (en) Surgical suite integration and optimization
US20220331049A1 (en) Systems and methods for controlling surgical data overlay
JP6904254B2 (ja) 手術用制御装置、手術用制御方法、およびプログラム
US11642004B2 (en) Image processing device, image processing method and recording medium
US20190069957A1 (en) Surgical recognition system
US11503201B2 (en) Focus detection device and method
WO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
JP2017070636A (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
US20190361252A1 (en) Branching optical system, imaging apparatus, and imaging system
US20170164829A1 (en) Registration Using a Microscope Insert
US20230069839A1 (en) Information processing device, information processing method, program, screen, and information drawing system
US20180049840A1 (en) Methods and systems for registration using a microscope insert
WO2023026528A1 (ja) 手術システム、制御方法、およびプログラム
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
US20210177284A1 (en) Medical observation system, medical observation apparatus, and method for driving medical observation apparatus
US11523729B2 (en) Surgical controlling device, control method, and surgical system
JP7480783B2 (ja) 内視鏡システム、制御装置、および制御方法
US20190117052A1 (en) Surgical system, surgical control method, and program
US20230218143A1 (en) Medical observation system, image processing method, and program
JP2021018281A (ja) 医療機器制御システム、制御装置、および制御方法
TWI805248B (zh) 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法
WO2023162479A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023017651A1 (ja) 医療用観察システム、情報処理装置及び情報処理方法
US20210153959A1 (en) Physical medical element affixation systems, methods, and materials
EP4356396A1 (en) Customization, troubleshooting, and wireless pairing techniques for surgical instruments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860826

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023543651

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE