WO2017169824A1 - 制御装置および方法並びに手術システム - Google Patents

制御装置および方法並びに手術システム Download PDF

Info

Publication number
WO2017169824A1
WO2017169824A1 PCT/JP2017/010580 JP2017010580W WO2017169824A1 WO 2017169824 A1 WO2017169824 A1 WO 2017169824A1 JP 2017010580 W JP2017010580 W JP 2017010580W WO 2017169824 A1 WO2017169824 A1 WO 2017169824A1
Authority
WO
WIPO (PCT)
Prior art keywords
sight
line
reference point
unit
correction
Prior art date
Application number
PCT/JP2017/010580
Other languages
English (en)
French (fr)
Inventor
加奈 松浦
和田　成司
前田　毅
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017169824A1 publication Critical patent/WO2017169824A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the present technology relates to a control device and method, and a surgical system, and more particularly, to a control device, method, and surgical system that can perform calibration easily and reliably.
  • Patent Document 1 proposes correcting a deviation based on the relationship between a selected object and another displayed object.
  • Patent Document 2 proposes correcting the deviation based on the position of the object when a voice keyword is detected.
  • the calibration becomes simpler than when correction is performed on a calibration-dedicated screen, but the accuracy is not sufficient, and it is difficult to apply to a medical system in particular. there were.
  • the present technology has been made in view of such a situation, and makes it possible to execute calibration easily and reliably.
  • One aspect of the present technology includes an input unit that acquires a detection value of a line of sight, a reference point detection unit that detects a reference point, an estimation unit that estimates that the line of sight is directed to the reference point, and the estimation A control unit that corrects the detection value of the line of sight based on a difference between the detection value of the line of sight and the reference point when the line of sight estimates that the line of sight is directed to the reference point Device.
  • the line of sight is the line of sight during the operation of an operator who operates using a surgical instrument.
  • the estimation unit can estimate that the line of sight is directed to the reference point when the surgical instrument is in use.
  • the surgical tool can be used with electricity.
  • the reference point detection unit detects a tip of the surgical tool used by being energized as the reference point, and the correction unit corresponds to an error between the detected value of the line of sight and the tip of the surgical tool, The line-of-sight detection value can be corrected.
  • the reference point detection unit detects a trajectory of the surgical tool used by being energized as the reference point, and the correction unit corresponds to an error between the detected value of the line of sight and the trajectory of the surgical tool, The line-of-sight detection value can be corrected.
  • the estimation unit directs the line of sight toward the reference point. Can be estimated.
  • the reference point detection unit detects an object displayed on a monitor when receiving a voice command as the reference point, and the estimation unit detects the display of the object that receives the voice command and the line of sight is the reference It can be estimated that the point is oriented.
  • One aspect of the present technology includes an input step of acquiring a detection value of a line of sight, a reference point detection step of detecting a reference point, an estimation step of estimating that the line of sight is directed to the reference point, and the estimation
  • One aspect of the present technology is an imaging unit that images the surgical field of the subject, a display unit that displays the surgical field image captured by the imaging unit, an input unit that acquires a detection value of the line of sight, and a reference point A reference point detection unit that detects the line of sight, an estimation unit that estimates that the line of sight is directed to the reference point, and the estimation unit that estimates that the line of sight is directed to the reference point And a correction unit that corrects the detected value of the line of sight based on a difference between the detected value of the line of sight and the reference point.
  • a gaze detection value is obtained, a reference point is detected, a gaze is estimated to be directed to the reference point, and a gaze is directed to the reference point
  • the line-of-sight detection value is corrected based on the difference between the line-of-sight detection value and the reference point.
  • Embodiment Surgery System (1) Configuration of Surgery System (Fig. 1) (2) Functional configuration of the surgical system (FIGS. 2 and 3) (3) Gaze correction processing (FIGS. 4 to 10) 2. Other
  • FIG. 1 is a perspective view schematically showing a configuration of a surgery system according to an embodiment of the present technology.
  • the surgical system 10 includes an operative field camera 11, a camera arm 12, a control device 13, a monitor arm 14, a monitor 15, a motion recognition camera 16, a foot switch 17, a microphone 18, and an operating table 19.
  • the surgical system 10 is disposed in an operating room or the like, and enables a procedure such as a surgical operation with reference to an image taken by the surgical field camera 11.
  • the surgical field camera 11 (surgical imaging device) of the surgical system 10 is a modality device such as a 3D camera held by the camera arm 12.
  • the operative field camera 11 images the operative field or the like of the patient 32 lying on the operating table 19 and transmits the 3D image obtained as a result to the control device 13 as an operative field image.
  • the camera arm 12 holds the operative field camera 11 and controls the position and angle of the operative field camera 11.
  • the motion recognition camera 16 is a 2D camera, for example, and is disposed on the monitor 15.
  • the motion recognition camera 16 photographs the operator 31 with the microphone 18 mounted on the head 31A.
  • the motion recognition camera 16 transmits a 2D image obtained as a result of imaging to the control device 13 as an operator image.
  • the monitor arm 14 holds the monitor 15 and controls the positions and angles of the monitor 15 and the motion recognition camera 16.
  • the monitor 15 is a 3D monitor having a screen for displaying an image, and is arranged at a position relatively close to the operator 31 (in the example of FIG. 1, a position close to the operator 31 on the operating table 19).
  • the monitor 15 displays an operation field image transmitted from the control device 13.
  • An action recognition camera 16 is disposed on the monitor 15.
  • the control device 13 sets the operation mode to manual mode or hands-free mode.
  • the manual mode is a mode in which the surgical system 10 is controlled based on an input by the operator 31 (for example, an applied force to the camera arm 12 or an operation of an operation button (not shown) provided in each part). is there.
  • the hands-free mode is based on non-contact input such as voice, line of sight, movement and direction of the head 31A, gestures, etc., and input by contact of the foot 31B to the foot switch 17 without depending on the hand of the operator 31. In this mode, the operation system 10 is controlled.
  • control device 13 recognizes the movement and direction of the head 31A by detecting the position of the head 31A in the operator image transmitted from the motion recognition camera 16.
  • the control device 13 detects the direction of the line of sight of the operator 31 from the surgeon image, and recognizes the position of the line of sight on the screen of the monitor 15 based on the direction. Furthermore, the control device 13 recognizes the gesture of the operator 31 from the operator image.
  • the control device 13 receives the voice transmitted from the microphone 18 and performs voice recognition on the voice.
  • the control device 13 receives an operation signal representing an operation on the foot switch 17 transmitted from the foot switch 17, and recognizes the content of the operation on the foot switch 17 based on the operation signal.
  • the control device 13 uses the following information as input information. That is, the movement and direction of the head 31 ⁇ / b> A, the gesture of the surgeon 31, line-of-sight position information indicating the position of the line of sight on the screen of the monitor 15, voice recognition result, volume, and operation information indicating the content of the operation on the foot switch 17. Input information. The control device 13 recognizes the command from the operator 31 and the state of the operator 31 based on the input information.
  • the control device 13 permits a command from the operator 31 according to the state of the operator 31.
  • the control device 13 controls the imaging of the operative field camera 11, controls the drive of the camera arm 12 and the monitor arm 14, controls the display of the monitor 15, and changes the operation mode according to the permitted command. Or change it.
  • the surgeon 31 recognizes the operative field image displayed on the monitor 15 with the naked eye as a 3D image.
  • the microphone 18 is attached to the head 31A of the operator 31.
  • the microphone 18 acquires surrounding sounds including the voice of the operator 31 and transmits it to the control device 13.
  • the foot switch 17 is disposed around the operator 31 and is operated by the contact of the leg 31B of the operator 31.
  • the foot switch 17 transmits an operation signal representing the operation of the leg 31 ⁇ / b> B from the operator 31 to the control device 13.
  • the surgeon 31 lays the surgical subject 32 on the operating table 19 and looks at the surgical field image displayed on the monitor 15 while performing surgery and the like. Take action.
  • the operator 31 when changing the operation mode, the imaging conditions of the operative field camera 11, the position and angle of the operative field camera 11, the display of the monitor 15, etc., the operator 31 performs non-contact input or input by foot contact. Therefore, the operator 31 can perform input while holding a surgical tool (not shown). Further, the surgeon 31 does not need to perform sterilization each time input is performed.
  • any method can be employed as the gaze detection method, the movement and direction of the head 31A of the surgeon 31, the gesture detection method, and the voice acquisition method.
  • the line-of-sight detection device or the microphone 18 may not be a wearable device.
  • the horizontal direction of the monitor 15 is referred to as the x direction
  • the vertical direction is referred to as the y direction
  • the direction perpendicular to the screen of the monitor 15 is referred to as the z direction.
  • the line of sight detection is performed using an operator image taken by the motion recognition camera 16, but the operator 31 wears glasses equipped with a line of sight detection device, and the line of sight is detected.
  • the detection device may perform line-of-sight detection.
  • the movement and direction of the head 31 ⁇ / b> A are detected from the operator image, but the operator 31 wears a marker (not shown). Then, the movement and direction of the head 31A may be detected from the position of the marker in the operator image.
  • the monitor 15 may be arranged at a position relatively far from the operator 31.
  • the monitor 15 may be a 3D monitor that allows the operator 31 to recognize a 3D image by using the 3D polarized glasses, and the operator 31 may wear the 3D polarized glasses.
  • FIG. 2 is a block diagram illustrating a functional configuration of the surgery system according to the embodiment of the present technology.
  • the control device 13 is configured to control operations of the operative field camera 11, the camera arm 12, the monitor 15, the motion recognition camera 16, and the like, and predetermined information is received from the information input interface 51. It is configured to be entered.
  • the information input interface 51 includes an audio detection unit 61, a line-of-sight detection unit 62, a head track unit 63, a gesture detection unit 64, a foot switch 65, and the like.
  • the sound detection unit 61 includes the microphone 18 as a component, and detects sound emitted from the operator 31 and the like.
  • the line-of-sight detection unit 62 detects the line of sight of the operator 31 from the image signal of the motion recognition camera 16.
  • the head track unit 63 detects the movement of the head 31 ⁇ / b> A of the operator 31 from the image signal of the motion recognition camera 16.
  • the gesture detection unit 64 detects the gesture of the operator 31 from the image signal of the motion recognition camera 16.
  • the line-of-sight detection unit 62, the head track unit 63, and the gesture detection unit 64 are configured in the image signal processing unit 74.
  • the foot switch 65 detects the operation of the foot switch 17 in FIG. 1 and outputs a signal corresponding to the operation.
  • the control device 13 includes a sensor input unit 71, a calibration unit 72, an operation control unit 73, and an image signal processing unit 74.
  • the sensor input unit 71 inputs a signal from the information input interface 51 and outputs it to the calibration unit 72 and the operation control unit 73.
  • the calibration unit 72 includes a detection value correction unit 81 and a correction value update unit 82.
  • the detected value of the line of sight of the operator 31 detected by the line of sight detection unit 62 is input to the detection value correction unit 81 and the correction value update unit 82 via the sensor input unit 71.
  • the detection value correction unit 81 corrects the input detection value based on the correction value supplied from the correction value update unit 82, and outputs the corrected detection value to the operation control unit 73.
  • the correction value update unit 82 receives the corrected detection value from the detection value correction unit 81 as the current detection value, and is supplied from the line-of-sight detection unit 62 via the sensor input unit 71. Compared with, a new correction value is calculated as necessary. The calculation result is output to the detection value correction unit 81.
  • the operation control unit 73 of the control device 13 controls the operation of the image signal processing unit 74 in addition to controlling the operation of the operative field camera 11, the camera arm 12, the monitor 15, and the operation recognition camera 16.
  • the image signal processing unit 74 processes image signals of images taken by the operative field camera 11 and the motion recognition camera 16 and outputs them to the monitor 15 for display.
  • the operation performed by the operator 31 is supported by the operation system 10 having the above basic configuration. That is, a predetermined part of the patient 32 is photographed by the operative field camera 11 and the image is displayed on the monitor 15. The surgeon 31 performs an operation while viewing the image.
  • FIG. 3 is a block diagram showing a functional configuration of a surgical system according to an embodiment of the present technology.
  • the surgical operation system 10 according to the present embodiment is configured as shown in FIG. 3 so that calibration can be easily and reliably performed in addition to the basic configuration shown in FIG. That is, the image signal processing unit 74 includes the reference point detection unit 101.
  • the reference point detection unit 101 detects a reference point from the image signal output from the operative field camera 11 and supplies it to the correction value update unit 82.
  • the correction value update unit 82 calculates a correction value using the reference point.
  • the display position of a surgical instrument used during surgery As the reference point, the display position of a surgical instrument used during surgery, the display position of a predetermined object, and the like can be used.
  • the control device 13 has an information input unit 111.
  • the information input unit 111 inputs information related to the operation of the surgeon 31 during the operation, and performs a determination process for correction timing. For example, when the surgeon 31 uses a surgical instrument (see FIG. 5 described later), a determination process is performed upon receiving an input of a signal indicating that the surgical instrument is being used. Further, the information input unit 111 determines from the output of the operation control unit 73 whether an instruction to switch the operation mode of the camera arm 12 or the monitor arm 14 or an instruction to switch the system operation by line of sight has been issued. Further, the information input unit 111 determines whether a predetermined object (see FIG. 10 described later) for receiving a voice command is displayed. The determination result is output to the correction value update unit 82. Other configurations are the same as those of the surgical system 10 of FIG.
  • FIG. 4 is a flowchart for describing line-of-sight correction processing according to an embodiment of the present technology.
  • step S11 the line-of-sight detection unit 62 detects the line of sight of the operator 31. That is, the motion recognition camera 16 captures the head 31A (in this case, the face) of the operator 31 and detects the line of sight from the position of the eyes. The line-of-sight detection process is continued thereafter, and the detection value correction unit 81 and the correction value update unit 82 always receive the current line-of-sight detection value.
  • step S12 the detection value correction unit 81 calibrates the initial line of sight. This calibration process is performed by displaying a calibration-dedicated screen on the monitor 15 so that the operator 31 can visually recognize it and correcting the error. This calibration process is initially performed only once.
  • step S13 the correction value update unit 82 updates the correction value.
  • the correction value is updated based on the calibration result.
  • the detection value correction unit 81 corrects the detection value of the line of sight that is currently detected based on the correction value.
  • step S14 the reference point detection unit 101 detects a reference point.
  • Reference points will be described with reference to FIG.
  • FIG. 5 is a diagram for describing line-of-sight correction processing according to an embodiment of the present technology.
  • FIG. 5 shows an image taken by the operative field camera 11 and displayed on the monitor 15.
  • an electric knife is shown as a surgical instrument 201 used by the surgeon 31 energized.
  • the distal end 202 of the surgical instrument 201 is used as a reference point.
  • the reference point position information detected by the reference point detection unit 101 is supplied to the correction value update unit 82.
  • step S15 the correction value update unit 82 calculates an error. That is, an error between the current gaze detection value (that is, the gaze detection position coordinates) and the reference point coordinates is calculated.
  • the line-of-sight detection position 211 is located far from the distal end 202 of the surgical instrument 201 and is located at the upper right thereof, and an error between the position of the line-of-sight detection position 211 and the distal end 202 is calculated.
  • step S16 the correction value update unit 82 determines an error amount. That is, it is determined whether the error amount calculated in step S15 is within the reference range. When the error amount is within the reference range, that is, when the error amount is not less than the small reference value and not more than the large reference value, the correction value update unit 82 determines a correction value in step S17. Specifically, the error value is set as the correction value.
  • step S18 the information input unit 111 (estimating unit) determines the correction timing. That is, it is determined whether it is a correction timing now. For example, when the surgeon 31 uses an electric knife as the surgical instrument 201, a switch for turning on the power is operated in order to turn on the power. Alternatively, the foot switch 17 is operated. When using the electric knife, the operator 31 is surely viewing the tip 202. Therefore, when a signal indicating that the surgical instrument 201 (in this case, an electric knife) is used is input, it is estimated that the operator 31 is surely viewing the tip 202. That is, the error amount at that time is not an accidental error but an error amount that is correctly detected.
  • a signal indicating that the surgical instrument 201 in this case, an electric knife
  • step S18 when the surgical instrument 201 is being used, it is determined in step S18 that the correction timing is reached, the process returns to step S13, and the process of updating the correction value is executed. That is, the correction value update unit 82 updates the original correction value with the correction value based on the error amount determined in step S17.
  • the detection value correction unit 81 corrects the detection value of the line of sight based on the correction value. That is, in FIG. 5, the current gaze detection position 211 is corrected so as to coincide with the position of the tip 202 as a reference point. As a result, the detected value can be reliably corrected to the correct position value.
  • step S14 a new reference point is detected in step S14 for the new line-of-sight detection value, and the same processing is repeated.
  • step S18 When it is determined in step S18 that it is not the timing for correction, that is, when the surgical instrument 201 is not used, it cannot be estimated that the operator 31 is viewing the distal end 202 of the surgical instrument 201. Therefore, in this case, the correction value update unit 82 discards the correction value in step S19. That is, the correction value determined in step S17 is discarded. Then, the process returns to step S14, and the subsequent processes are repeated. That is, the same processing is repeated based on the new detection value and the reference point.
  • step S16 If the amount of error is smaller than the reference value below, there is almost no error, so no correction is necessary. If the error amount is larger than the large reference value, it is considered that an abnormal value has been detected accidentally. Therefore, if it is determined in step S16 that the error amount is not within the reference range, the process returns from step S16 to step S14. Then, a new line-of-sight detection value and a new reference point are detected, and the same processing is repeated.
  • FIG. 6 is a diagram for explaining line-of-sight correction processing according to an embodiment of the present technology.
  • a line 251 represents the locus of the distal end 202 of the surgical instrument 201.
  • the trajectory when the surgical instrument 201 is sequentially moved to the surgical instruments 201A, 201B, and 201C is represented as a line 251.
  • the line 252 represents the trajectory of the operator's actual line of sight.
  • the actual line-of-sight line 252 of the surgeon 31 is a line that approximates the line 251 of the path of the distal end 202 of the surgical instrument 201.
  • a line 253 represents the locus of the eye gaze detection position of the operator 31.
  • the line 253 representing the locus of the visual line detection position is separated from the line 252 of the actual visual locus of the operator 31.
  • the line 253 representing the locus of the line-of-sight detection position can be brought close to the line 252 of the locus of the actual line of sight of the operator 31 by the correction processing described above.
  • locus lines 251 and 253 may be calculated, and correction processing may be performed based on the calculated routes.
  • the operator 31 can easily and surely perform the calibration while performing an operation necessary for the operation without feeling a special burden.
  • FIG. 7 is a flowchart for describing line-of-sight correction processing according to an embodiment of the present technology.
  • step S31 the line-of-sight detection unit 62 detects the line of sight of the operator 31. That is, the motion recognition camera 16 captures the head 31A (in this case, the face) of the operator 31 and detects the line of sight from the position of the eyes. The line-of-sight detection process is continued thereafter, and the detection value correction unit 81 and the correction value update unit 82 always receive the current line-of-sight detection value.
  • step S32 the detection value correction unit 81 calibrates the initial line of sight. This calibration process is performed by displaying a calibration-dedicated screen on the monitor 15 so that the operator 31 can visually recognize it and correcting the error. This calibration process is initially performed only once.
  • step S33 the correction value update unit 82 updates the correction value.
  • the correction value is updated based on the calibration result.
  • the detection value correction unit 81 corrects the detection value based on the correction value. The processing so far is the same as the processing in steps S11 to S13 in FIG.
  • step S34 the line-of-sight detection unit 62 extracts a pattern from the line-of-sight detection frequency.
  • the pattern will be described with reference to FIG.
  • FIG. 8 is a diagram illustrating a line-of-sight correction process according to an embodiment of the present technology. As shown in FIG. 8, five objects 311 to 315 are displayed in an area 301 in the lower center of the monitor 15. These are, for example, objects related to the operation mode switching operation of the camera arm 12 and the monitor arm 14 during the operation of the surgical system 10 or the system operation switching operation based on the line of sight.
  • the surgeon 31 selects and sets a predetermined operation mode by visually recognizing these objects. That is, this visual recognition is not performed for calibration but is performed as part of an operation for surgery. In this case, the operator 31 visually recognizes the objects 311 to 315 in the region 301. As a result, the time for which the line of sight is directed to each of the objects 311 to 315 becomes longer, and the frequency of detection of the line of sight at that position is higher than in other areas.
  • the line-of-sight detection positions 341 to 345 in the region 331 are detected as positions where the line-of-sight detection frequency is high. That is, in this example, detection is performed based on the accumulated value of the line of sight, not the instantaneous line of sight.
  • the line-of-sight detection unit 62 thus detects an area where the line-of-sight detection frequency is higher than other areas as a pattern. In this example, a state in which five frequently detected points are arranged at a predetermined interval is detected as a pattern so that the points are arranged almost on a straight line.
  • step S35 the reference point detection unit 101 detects a reference point.
  • a reference point In the example of FIG. 8, a pattern displayed at a predetermined interval so that the objects 311 to 315 are arranged in a straight line in the region 301 is detected as a reference point.
  • the reference point position information detected by the reference point detection unit 101 is supplied to the correction value update unit 82.
  • step S36 the correction value update unit 82 determines whether the patterns match. That is, the pattern extracted in step S34 is compared with the pattern detected as the reference point in step S35.
  • the correction value update unit 82 calculates an error in step S37. That is, an error between the current gaze detection value (that is, the gaze detection position coordinates) and the reference point coordinates is calculated.
  • the line-of-sight detection positions 341 to 345 in the area 331 are located in the upper right direction so that they are slightly rotated clockwise from the objects 311 to 315 in the area 301.
  • the position error between the region 331 where the line-of-sight detection positions 341 to 345 exist and the region 301 where the objects 311 to 315 exist is calculated.
  • step S38 the correction value update unit 82 determines the error amount. That is, it is determined whether the error amount calculated in step S37 is within the reference range. When the error amount is within the reference range, that is, when the error amount is not less than the small reference value and not more than the large reference value, the correction value update unit 82 determines the correction value in step S39. Specifically, the error value is set as the correction value.
  • step S40 the information input unit 111 determines the correction timing. That is, it is determined whether it is a correction timing now.
  • the operation control unit 73 controls the operative field camera 11, the camera arm 12, the monitor arm 14, the image signal processing unit 74, the monitor 15, and the like, and has control information thereof.
  • the information input unit 111 monitors the control information of the operation control unit 73 and detects when an instruction to switch the operation mode of the camera arm 12 or the monitor arm 14 or an instruction to switch the system operation by line of sight is issued. To do. When the detection is performed by the information input unit 111, it can be estimated that the operator 31 is viewing the objects 311 to 315 for the switching. That is, the error amount at that time is not an accidental error but an error amount that is correctly detected.
  • step S40 when the information input unit 111 determines that an operation mode switching instruction or a system operation switching instruction based on the line of sight has been input, it is determined in step S40 that the correction timing is reached, and the process returns to step S33. . And the process which updates a correction value is performed. That is, the correction value update unit 82 updates the original correction value with the correction value based on the error amount determined in step S39.
  • the detection value correction unit 81 corrects the detection value of the line of sight based on the correction value. That is, in FIG. 8, the correction is performed so that the position of the area 331 matches the position of the area 301. That is, the current gaze detection positions 341 to 345 are corrected so as to coincide with the positions of the objects 311 to 315 as reference points. As a result, the detected value can be reliably corrected to the correct position value.
  • step S40 When the information input unit 111 has not detected an operation mode switching instruction or a system operation switching instruction based on the line of sight, it is determined in step S40 that it is not the timing of correction. That is, at this time, it cannot always be estimated that the operator 31 is viewing the region 301. Therefore, at this time, the correction value update unit 82 discards the correction value in step S41. That is, the correction value determined in step S39 is discarded. Then, the process returns to step S34, and the subsequent processes are repeated. That is, the same processing is repeated based on the new pattern.
  • step S36 If it is determined in step S36 that the patterns do not match, the surgeon 31 is visually recognizing a pattern different from the extracted pattern. If the correction is made in this case, the error becomes larger, and the correction should not be executed. Therefore, in this case, the process returns from step S36 to step S34. Then, a new pattern is extracted and the same process is repeated.
  • step S38 If the error amount is smaller than the small reference value, it is considered that there is almost no error, so there is no need for correction. If the error amount is larger than the large reference value, it is considered that an abnormal value has been detected accidentally. Therefore, if it is determined in step S38 that the error amount is not within the reference range, the process returns from step S38 to step S34. Then, a new pattern is extracted and the same process is repeated.
  • the operator 31 can easily and surely perform the calibration while performing an operation necessary for the operation without feeling a special burden.
  • FIG. 9 is a flowchart for describing line-of-sight correction processing according to an embodiment of the present technology.
  • step S51 the line-of-sight detection unit 62 detects the line of sight of the operator 31. That is, the motion recognition camera 16 captures the head 31A (in this case, the face) of the operator 31 and detects the line of sight from the position of the eyes. The line-of-sight detection process is continued thereafter, and the detection value correction unit 81 and the correction value update unit 82 always receive the current line-of-sight detection value.
  • step S52 the detection value correction unit 81 calibrates the initial line of sight. This calibration process is performed by displaying a calibration-dedicated screen on the monitor 15 so that the operator 31 can visually recognize it and correcting the error. This calibration process is initially performed only once.
  • step S53 the correction value update unit 82 updates the correction value.
  • the correction value is updated based on the calibration result.
  • the detection value correction unit 81 corrects the detection value based on the correction value.
  • step S54 the reference point detection unit 101 detects a reference point.
  • the process so far is the same as the process of step S11 thru
  • reference points in this example will be described.
  • FIG. 10 is a diagram for explaining line-of-sight correction processing according to an embodiment of the present technology.
  • an object 401 is displayed on the upper left of the monitor 15. This object 401 is displayed at a timing when an input of a voice command from the surgeon 31 is accepted, and only an input of a voice command issued by the surgeon 31 while viewing the object 401 is accepted.
  • the object 401 in order for the surgeon 31 to input a voice command, the object 401 must be visually recognized. Therefore, the operator 31 needs to visually recognize the object 401 at the timing when the voice command is input. Therefore, in this example, the object 401 is detected as a reference point.
  • the reference point position information detected by the reference point detection unit 101 is supplied to the correction value update unit 82.
  • step S55 the voice detection unit 61 determines whether a voice command has been recognized.
  • the voice command recognized here is not for calibration, but is issued as part of an operation for surgery. In this case, the operator 31 visually recognizes the object 401.
  • the correction value update unit 82 calculates an error in step S56. That is, an error between the current gaze detection value (that is, the gaze detection position coordinates) and the reference point coordinates is calculated. In the example of FIG. 10, an error between the line-of-sight detection position 402 and the position of the object 401 is calculated.
  • step S57 the correction value update unit 82 determines an error amount. That is, it is determined whether the error amount calculated in step S56 is within the reference range. When the error amount is within the reference range, that is, when the error amount is not less than the small reference value and not more than the large reference value, the correction value update unit 82 determines the correction value in step S58. Specifically, the error value is used as the correction value.
  • step S59 the information input unit 111 determines the correction timing. That is, it is determined whether it is a correction timing now.
  • the reference point detection unit 101 detects the object 401 as a reference point. This object 401 is displayed at a timing when an input of a voice command from the surgeon 31 is accepted, and only an input of a voice command issued by the surgeon 31 while viewing the object 401 is accepted. Accordingly, when a voice command is recognized at the timing when the object 401 is displayed, it can be estimated that the surgeon 31 is viewing the object 401. That is, the error amount at that time is not an accidental error but an error amount that is correctly detected.
  • step S55 Since the voice command has already been detected in step S55, it can be estimated that the surgeon 31 is viewing the object 401 if the object 401 is displayed that the voice command cannot be accepted unless it is visually recognized. . Therefore, when the object 401 is displayed that the voice command cannot be received unless it is visually recognized, it is determined in step S59 that the correction timing is reached, the process returns to step S53, and the process of updating the correction value is executed. Is done. That is, the correction value update unit 82 updates the original correction value with the correction value based on the error amount determined in step S58.
  • the detection value correction unit 81 corrects the detection value of the line of sight based on the correction value. That is, in FIG. 10, the current gaze detection position 402 is corrected so as to coincide with the position of the object 401 as a reference point. As a result, the detected value can be reliably corrected to the correct position value.
  • step S54 Thereafter, a new reference point is detected in step S54, and the same processing is repeated.
  • step S57 the correction value update unit 82 discards the correction value in step S60. That is, the correction value determined in step S56 is discarded. Then, the process returns to step S54, and the subsequent processes are repeated. That is, new line-of-sight detection points and reference points are detected, and the same processing is repeated.
  • step S55 If it is determined in step S55 that the voice command is not recognized, the process returns to step S54, and the subsequent processes are repeated. That is, new line-of-sight detection points and reference points are detected, and the same processing is repeated.
  • the operator 31 can easily and surely perform the calibration while performing an operation necessary for the operation without feeling a special burden.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the control device 13 performs both control based on a combination of a plurality of types of non-contact inputs and restricts control according to the state of the operator 31.
  • the safety of the operation may be improved by only one of them.
  • control target by the control device 13 may be any device as long as it is a surgical device.
  • control device 13 can also control a surgical imaging device such as an endoscope or a video microscope.
  • the zoom control may be performed by processing the operative field image in the image signal processing unit 74 instead of being performed by the imaging control of the operative field camera 11.
  • the image signal processing unit 74 enlarges the surgical field image transmitted from the surgical field camera 11 in response to the zoom-in photographing command, thereby zooming in on the subject corresponding to the position of the line of sight.
  • An electronic zoom is performed to generate an image from an operative field image.
  • the image signal processing unit 74 performs zoom-out shooting around the subject corresponding to the position of the line of sight by reducing the surgical field image transmitted from the surgical field camera 11 in response to the zoom-out shooting command.
  • a zoomed-out image is generated from the operative field image.
  • the image signal processing unit 74 may superimpose a marker at a position corresponding to the line of sight in the zoom-in image or the zoom-out image based on the line-of-sight position information.
  • the non-contact input is not limited to the voice of the operator 31, the line of sight, the movement and direction of the head 31A, and the gesture.
  • the movement or posture of the operator 31 other than the head 31A may be used.
  • the means for accepting non-contact input may be wearable such as the microphone 18 or may not be wearable.
  • control device 13 estimates the state of the operator 31 and controls the operative field camera 11, the camera arm 12, and the image signal processing unit 74 according to the state. You may make it restrict
  • this technique can also take the following structures.
  • An input unit for obtaining a detection value of the line of sight A reference point detector for detecting a reference point; An estimation unit that estimates that the line of sight is directed to the reference point; A correction unit that corrects the detection value of the line of sight based on a difference between the detection value of the line of sight and the reference point when the estimation unit estimates that the line of sight is directed to the reference point; A control device provided.
  • the control device according to (1) wherein the line of sight is a line of sight during an operation of an operator who operates using a surgical instrument.
  • the control device according to (1), (2), or (3), wherein the surgical instrument is used by being energized.
  • the reference point detection unit detects the distal end of the surgical instrument used by being energized as the reference point, The control device according to any one of (1) to (4), wherein the correction unit corrects the detection value of the line of sight according to an error between the detection value of the line of sight and a distal end of the surgical instrument.
  • the estimation unit directs the line of sight toward the reference point.
  • the control device according to any one of (1) to (6).
  • the reference point detection unit detects an object displayed on a monitor when receiving a voice command as the reference point,
  • the control device according to any one of (1) to (7), wherein when the display of the object that receives the voice command is detected, the estimation unit estimates that the line of sight is directed to the reference point.
  • a control method including and.
  • An imaging unit for imaging the surgical field of the subject; A display unit for displaying an operative field image photographed by the photographing unit; An input unit for obtaining a detection value of the line of sight; A reference point detector for detecting a reference point; An estimation unit that estimates that the line of sight is directed to the reference point; A correction unit that corrects the detection value of the line of sight based on a difference between the detection value of the line of sight and the reference point when the estimation unit estimates that the line of sight is directed to the reference point; Surgery system provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

術者(31)はモニタ(15)に表示される術野画像を見ながら手術を行う。視線検出部(62)は、動作認識用カメラ(16)が撮影した術者(31)の頭部(31A)の画像から術者(31)の視線を検出する。術者(31)はモニタ(15)に表示されるオブジェクト(311-315)のいずれかを視認することで手術システム(10)の動作モードを選択することができる。手術中、制御装置(13)は視線の検出値を次のように補正する。術具(201)の使用中、術者(31)はモニタ(15)に表示された術具(201)の先端(202)を視認していると推定できる。その場合において、検出した視線に対応するモニタ(15)上の位置(211)とモニタ(15)上の先端(202)の位置との間に基準値以下の差があるとき、この差は視線検出部(62)の系統誤差を表す。そこで、制御装置(13)は以降、当該系統誤差を取り除くように検出値を補正する。このように、簡単かつ確実に視線検出部(62)のキャリブレーションができる。

Description

制御装置および方法並びに手術システム
　本技術は、制御装置および方法並びに手術システムに関し、特に簡単かつ確実にキャリブレーションを実行することができるようにした制御装置および方法並びに手術システムに関する。
　操作者の視線を検出し、モニタに表示されるメニュー、オブジェクト等を視線によって選択させることで、コンピュータの動作を制御することが提案されている。このような制御を実現するには、視線を正確に検出することが必要になる。このため、実際の視線の位置と、検出された視線の位置とのずれを補正するキャリブレーションが要求される。
　例えば特許文献１には、選択されたオブジェクトと、表示された他のオブジェクトとの関係に基づいてずれを補正することが提案されている。
　また、特許文献２には、音声によるキーワードが検出されたときのオブジェクトの位置に基づいて、ずれを補正することが提案されている。
特開２０１２－６５７８１号公報 特開２００７－２５９６３号公報
　しかし、上記した提案によれば、キャリブレーション専用の画面上で補正を行う場合に較べてキャリブレーションが簡単になるが、正確性が十分でなく、特に医療用のシステムに適用することは困難であった。
　本技術はこのような状況に鑑みてなされたものであり、簡単かつ確実にキャリブレーションを実行することができるようにするものである。
　本技術の一側面は、視線の検出値を取得する入力部と、参照点を検出する参照点検出部と、前記視線が前記参照点を指向していることを推定する推定部と、前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部とを備える制御装置である。
　前記視線は、術具を用いて手術する術者の手術中の視線である。
　前記推定部は、前記術具が使用中であるとき、前記視線が前記参照点を指向していると推定することができる。
　前記術具は通電して使用されることができる。
　前記参照点検出部は、通電して使用される前記術具の先端を前記参照点として検出し、前記補正部は、前記視線の検出値と前記術具の先端との誤差に対応して、前記視線の検出値を補正することができる。
　前記参照点検出部は、通電して使用される前記術具の軌跡を前記参照点として検出し、前記補正部は、前記視線の検出値と前記術具の軌跡との誤差に対応して、前記視線の検出値を補正することができる。
　前記推定部は、モニタに表示されているオブジェクトのパターンが検出された場合、前記モニタに表示されている前記オブジェクトの前記パターンに基づく動作が切り替えられたとき、前記視線が前記参照点を指向していると推定することができる。
　前記参照点検出部は、音声コマンドを受け付けるときモニタに表示されるオブジェクトを前記参照点として検出し、前記推定部は、前記音声コマンド受け付ける前記オブジェクトの表示が検出されたとき、前記視線が前記参照点を指向していると推定することができる。
　本技術の一側面は、視線の検出値を取得する入力ステップと、参照点を検出する参照点検出ステップと、前記視線が前記参照点を指向していることを推定する推定ステップと、前記推定ステップの処理により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正ステップとを含む制御方法である。
　本技術の一側面は、被手術者の術野を撮影する撮影部と、前記撮影部により撮影された術野画像を表示する表示部と、視線の検出値を取得する入力部と、参照点を検出する参照点検出部と、前記視線が前記参照点を指向していることを推定する推定部と、前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部とを備える手術システムである。
　本技術の一側面においては、視線の検出値が取得され、参照点が検出され、視線が参照点を指向していることが推定され、視線が参照点を指向していることが推定されたときに、視線の検出値と参照点の差に基づいて、視線の検出値が補正される。
　以上のように、本技術の一側面によれば、簡単かつ確実にキャリブレーションを実行することができるようになる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
本技術の一実施の形態の手術システムの構成を模式的に示す斜視図である。 本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。 本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。 本技術の一実施の形態の視線補正処理を説明するフローチャートである。 本技術の一実施の形態の視線補正処理を説明する図である。 本技術の一実施の形態の視線補正処理を説明する図である。 本技術の一実施の形態の視線補正処理を説明するフローチャートである。 本技術の一実施の形態の視線補正処理を説明する図である。 本技術の一実施の形態の視線補正処理を説明するフローチャートである。 本技術の一実施の形態の視線補正処理を説明する図である。
　以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
　１．実施の形態：手術システム
　　（１）手術システムの構成(図１)
　　（２）手術システムの機能的構成（図２、図３）
　　（３）視線補正処理（図４乃至図１０）
　２．その他
　＜実施の形態＞
　（１）手術システムの構成
　図１は、本技術の一実施の形態の手術システムの構成を模式的に示す斜視図である。
　手術システム１０は、術野カメラ１１、カメラアーム１２、制御装置１３、モニタアーム１４、モニタ１５、動作認識用カメラ１６、フットスイッチ１７、マイクロフォン１８および手術台１９により構成される。手術システム１０は、手術室等に配置され、術野カメラ１１により撮影される画像を参照した外科手術等の処置を可能にする。
　具体的には、手術システム１０の術野カメラ１１（手術用撮影装置）は、カメラアーム１２により保持された３Ｄカメラ等のモダリティ機器である。術野カメラ１１は、手術台１９に横たわる被手術者３２の術野等を撮影し、その結果得られる３Ｄ画像を術野画像として制御装置１３に送信する。カメラアーム１２は、術野カメラ１１を保持し、術野カメラ１１の位置や角度を制御する。
　動作認識用カメラ１６は、例えば２Ｄカメラであり、モニタ１５の上に配置される。動作認識用カメラ１６は、マイクロフォン１８を頭部３１Ａに装着した術者３１を撮影する。動作認識用カメラ１６は、撮影の結果得られる２Ｄ画像を術者画像として制御装置１３に送信する。モニタアーム１４は、モニタ１５を保持し、モニタ１５と動作認識用カメラ１６の位置や角度を制御する。
　モニタ１５は、画像を表示する画面を有する３Ｄモニタであり、術者３１から比較的近い位置（図１の例では、手術台１９の上の術者３１に近い位置）に配置される。モニタ１５は、制御装置１３から送信されてくる術野画像等を表示する。モニタ１５の上には動作認識用カメラ１６が配置される。
　制御装置１３は、動作モードを、手動モードまたはハンズフリーモードに設定する。手動モードとは、術者３１の手による入力（例えば、カメラアーム１２への加力や、各部に設けられた図示せぬ操作ボタン等の操作）に基づいて手術システム１０の制御を行うモードである。ハンズフリーモードとは、術者３１の手によらない、音声、視線、頭部３１Ａの動きや方向、ジェスチャなどの非接触の入力やフットスイッチ１７への脚部３１Ｂの接触による入力に基づいて、手術システム１０の制御を行うモードである。
　また、制御装置１３は、動作認識用カメラ１６から送信されてくる術者画像内の頭部３１Ａの位置を検出することにより、頭部３１Ａの動きや方向を認識する。また、制御装置１３は、術者画像から術者３１の視線の方向を検出し、その方向に基づいてモニタ１５の画面上の視線の位置を認識する。さらに、制御装置１３は、術者画像から術者３１のジェスチャを認識する。
　制御装置１３は、マイクロフォン１８から送信されてくる音声を受信し、その音声に対して音声認識を行う。制御装置１３は、フットスイッチ１７から送信されてくるフットスイッチ１７に対する操作を表す操作信号を受信し、その操作信号に基づいてフットスイッチ１７に対する操作の内容を認識する。
　さらに、動作モードがハンズフリーモードである場合、制御装置１３は、次のような情報を入力情報とする。すなわち、頭部３１Ａの動きや方向、術者３１のジェスチャ、モニタ１５の画面上の視線の位置を表す視線位置情報、音声認識結果、音量、およびフットスイッチ１７に対する操作の内容を表す操作情報が入力情報とされる。制御装置１３は、入力情報に基づいて術者３１からの指令および術者３１の状態を認識する。
　制御装置１３は、術者３１の状態に応じて、術者３１からの指令を許可する。制御装置１３は、許可された指令に応じて、術野カメラ１１の撮影を制御したり、カメラアーム１２やモニタアーム１４の駆動を制御したり、モニタ１５の表示を制御したり、動作モードを変更したりする。
　術者３１は、裸眼でモニタ１５に表示された術野画像を３Ｄ画像として認識する。
　マイクロフォン１８は、術者３１の頭部３１Ａに装着される。マイクロフォン１８は、術者３１の音声等を含む周囲の音声を取得し、制御装置１３に送信する。
　フットスイッチ１７は、術者３１の周囲に配置され、術者３１の脚部３１Ｂの接触により操作される。フットスイッチ１７は、術者３１からの脚部３１Ｂの操作を表す操作信号を制御装置１３に送信する。
　以上のように構成される手術システム１０では、術者３１は、被手術者３２を手術台１９の上に横たわらせ、モニタ１５に表示される術野画像等を見ながら、外科手術等の処置を行う。
　また、術者３１は、動作モード、術野カメラ１１の撮影条件、術野カメラ１１の位置や角度、モニタ１５の表示等を変更する場合、非接触の入力または足の接触による入力を行う。従って、術者３１は、図示せぬ術具を把持した状態で入力を行うことができる。また、術者３１は、入力を行うたびに、滅菌処理を行う必要がない。
　なお、視線検出方法、術者３１の頭部３１Ａの動きや方向、および、ジェスチャの検出方法、音声の取得方法としては、任意の方法を採用することができる。例えば、視線検出デバイスやマイクロフォン１８は、ウェアラブルデバイスでなくてもよい。
　本明細書では、モニタ１５の水平方向をｘ方向といい、垂直方向をｙ方向といい、モニタ１５の画面に対して垂直な方向をｚ方向という。
　なお、手術システム１０では、視線検出は、動作認識用カメラ１６により撮影された術者画像を用いて行われるようにしたが、術者３１が、視線検出デバイスを備えた眼鏡を装着し、視線検出デバイスが視線検出を行うようにしてもよい。
　また、手術システム１０では、動作認識用カメラ１６と術者３１との距離が短いため、術者画像から頭部３１Ａの動きや方向を検出したが、術者３１がマーカ（不図示）を装着し、術者画像内のマーカの位置から頭部３１Ａの動きや方向を検出するようにしてもよい。
　さらに、モニタ１５は、術者３１から比較的遠い位置に配置されるようにしてもよい。また、モニタ１５を、術者３１が３Ｄ偏光眼鏡を用いることにより３Ｄ画像を認識可能な３Ｄモニタとし、術者３１に、３Ｄ偏光眼鏡を装着させるようにしてもよい。
　（２）手術システムの機能的構成
　図２は、本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。この実施の形態において制御装置１３は、術野カメラ１１、カメラアーム１２、モニタ１５および動作認識用カメラ１６等の動作を制御するように構成されている他、情報入力インタフェース５１から所定の情報が入力されるように構成されている。
　情報入力インタフェース５１は、音声検出部６１、視線検出部６２、ヘッドトラック部６３、ジェスチャ検出部６４、フットスイッチ６５等を有している。音声検出部６１はマイクロフォン１８を構成要素とし、術者３１等の発する音声を検出する。視線検出部６２は動作認識用カメラ１６の画像信号から、術者３１の視線を検出する。ヘッドトラック部６３は動作認識用カメラ１６の画像信号から、術者３１の頭部３１Ａの動きを検出する。ジェスチャ検出部６４は動作認識用カメラ１６の画像信号から、術者３１のジェスチャを検出する。従って、視線検出部６２、ヘッドトラック部６３およびジェスチャ検出部６４は、画像信号処理部７４内に構成されていると考えることもできる。フットスイッチ６５は、図１のフットスイッチ１７の操作を検出し、その操作に対応する信号を出力する。
　制御装置１３は、センサ入力部７１、キャリブレーション部７２、動作制御部７３、および画像信号処理部７４を有している。センサ入力部７１は、情報入力インタフェース５１からの信号を入力し、キャリブレーション部７２や動作制御部７３に出力する。キャリブレーション部７２は、検出値補正部８１と補正値更新部８２を有する。
　検出値補正部８１と補正値更新部８２には、センサ入力部７１を介して視線検出部６２により検出された術者３１の視線の検出値が入力される。検出値補正部８１は入力された検出値を補正値更新部８２より供給された補正値に基づき補正し、補正後の検出値を動作制御部７３に出力する。補正値更新部８２は検出値補正部８１から補正後の検出値を現在の検出値として受け取り、センサ入力部７１を介して視線検出部６２より供給される術者３１の新たな視線の検出値と比較して、必要に応じて新たな補正値を計算する。計算結果は検出値補正部８１に出力される。
　制御装置１３の動作制御部７３は、術野カメラ１１、カメラアーム１２、モニタ１５および動作認識用カメラ１６の動作を制御する他、画像信号処理部７４の動作を制御する。画像信号処理部７４は、術野カメラ１１および動作認識用カメラ１６が撮影した画像の画像信号を処理し、モニタ１５に出力して表示させる。
　以上の基本的構成を有する手術システム１０により、術者３１が行う手術が支援される。すなわち、被手術者３２の所定の部位が術野カメラ１１により撮影され、その画像がモニタ１５に表示される。術者３１はその画像を見ながら手術を行う。
　図３は、本技術の一実施の形態の手術システムの機能的構成を示すブロック図である。本実施の形態の手術システム１０は、図２に示す基本的構成以外に、簡単かつ確実にキャリブレーションが実行できるように、図３に示すように構成される。すなわち、画像信号処理部７４は参照点検出部１０１を有する。参照点検出部１０１は、術野カメラ１１が出力する画像信号から、参照点を検出し、補正値更新部８２に供給する。補正値更新部８２は参照点を利用して、補正値を計算する。
　参照点としては、手術中に使用される術具の表示位置、所定のオブジェクトの表示位置等を用いることができる。
　また、制御装置１３は情報入力部１１１を有する。情報入力部１１１は術者３１の手術中の操作に関する情報を入力し、補正のタイミングについての判定処理を行う。例えば術者３１が術具（後述する図５参照）を使用した場合、術具が使用されていることを表す信号の入力を受け、判定処理を行う。また、情報入力部１１１は動作制御部７３の出力から、カメラアーム１２やモニタアーム１４の動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示が出されたかを判定する。さらに情報入力部１１１は、音声コマンドをお受け付けるための所定のオブジェクト（後述する図１０参照）が表示されているかを判定する。判定結果は補正値更新部８２に出力される。その他の構成は図２の手術システム１０と同様である。
　（３）視線補正処理
　（３－１）視線補正処理１
　次に手術システム１０の第１の視線補正処理について説明する。図４は、本技術の一実施の形態の視線補正処理を説明するフローチャートである。
　ステップＳ１１において視線検出部６２は、術者３１の視線を検出する。すなわち動作認識用カメラ１６が術者３１の頭部３１Ａ（いまの場合、顔）を撮影し、その目の位置から視線を検出する。この視線検出処理は以後継続され、検出値補正部８１と補正値更新部８２には、現在の視線の検出値が常に入力される。
　ステップＳ１２において検出値補正部８１は、初期視線を校正する。この校正処理は、校正専用の画面をモニタ１５に表示させ、それを術者３１に視認させ、その誤差を補正することで行われる。この校正処理は、最初に１回だけ行われる。
　ステップＳ１３において補正値更新部８２は補正値を更新する。いまの場合、校正結果に基づいて補正値が更新される。検出値補正部８１は補正値に基づいて、いま検出されている視線の検出値を補正する。
　ステップＳ１４において参照点検出部１０１は、参照点を検出する。参照点について図５を参照して説明する。図５は、本技術の一実施の形態の視線補正処理を説明する図である。図５は術野カメラ１１により撮影され、モニタ１５に表示された画像を示している。図５には術者３１が通電して使用する術具２０１として電気メスが映っている。ここではこの術具２０１の先端２０２が参照点とされる。参照点検出部１０１により検出された参照点の位置情報は、補正値更新部８２に供給される。
　ステップＳ１５において補正値更新部８２は、誤差を計算する。すなわち現在の視線の検出値（すなわち視線検出位置の座標）と、参照点の座標との誤差が計算される。図５の例では、視線検出位置２１１は、術具２０１の先端２０２から離れ、その右上に位置しており、この視線検出位置２１１と先端２０２の位置の誤差が計算される。
　ステップＳ１６において補正値更新部８２は、誤差量の判定を行う。すなわち、ステップＳ１５で計算された誤差量が基準の範囲内であるかが判定される。誤差量が基準の範囲内である場合、つまり、誤差量が小さい基準値以上であり、かつ大きい基準値以下である場合、ステップＳ１７において補正値更新部８２は補正値を決定する。具体的には誤差値が補正値に設定される。
　ステップＳ１８において情報入力部１１１（推定部）は、補正のタイミングの判定を行う。つまり、いまが補正のタイミングであるかが判定される。例えば術者３１が術具２０１としての電気メスを使用するとき、通電状態にするため、その電源をオンするスイッチを操作する。あるいはフットスイッチ１７が操作される。電気メスを使用しているとき、術者３１は確実にその先端２０２を視認している。そこで術具２０１（いまの場合、電気メス）が使用されていることを表す信号が入力されたとき、術者３１が確実にその先端２０２を視認していると推定する。すなわちそのときの誤差量は、偶発的なエラーではなく、正しく検出された誤差量である。
　そこで、術具２０１が使用されているときは、ステップＳ１８で補正のタイミングであると判定され、処理はステップＳ１３に戻り、補正値を更新する処理が実行される。すなわち、補正値更新部８２は、ステップＳ１７で決定された誤差量に基づく補正値で元の補正値を更新する。検出値補正部８１はこの補正値に基づき視線の検出値を補正する。つまり、図５において、現在の視線検出位置２１１が参照点としての先端２０２の位置と一致するように補正される。これにより確実に、検出値を正しい位置の値に補正することができる。
　その後、新たな視線検出値に対して、ステップＳ１４で新たな参照点が検出され、同様の処理が繰り返される。
　ステップＳ１８でいまは補正のタイミングではないと判定された場合、すなわち術具２０１が使用されていないときは、術者３１が術具２０１の先端２０２を視認していると推定することができない。そこでこの場合には、ステップＳ１９において補正値更新部８２は補正値を破棄する。すなわちステップＳ１７で決定された補正値が破棄される。そして処理はステップＳ１４に戻り、それ以降の処理が繰り返される。すなわち新たな検出値と参照点に基づいて同様の処理が繰り返される。
　誤差量が下の基準値より小さい場合、誤差は殆ど無いと考えられるので、補正の必要が無い。また、誤差量が大きい基準値より大きい場合、偶発的に異常値が検出されたと考えられる。そこでステップＳ１６で誤差量が基準の範囲内ではないと判定された場合には、処理はステップＳ１６からステップＳ１４に戻る。そして、新たな視線検出値と新たな参照点が検出され、同様の処理が繰り返される。
　図６は、本技術の一実施の形態の視線補正処理を説明する図である。図６において線２５１は術具２０１の先端２０２の軌跡を表している。すなわち術具２０１が、術具２０１Ａ、２０１Ｂ、２０１Ｃと順次その位置を移動させたときの軌跡が線２５１として表されている。
　線２５２は術者３１の実際の視線の軌跡を表している。術者３１の実際の視線の軌跡の線２５２は、術具２０１の先端２０２の軌跡の線２５１に近似した線となっている。一方、線２５３は、術者３１の視線検出位置の軌跡を表している。この視線検出位置の軌跡を表す線２５３は、術者３１の実際の視線の軌跡の線２５２から離間している。しかし、上述した補正処理により、視線検出位置の軌跡を表す線２５３を、術者３１の実際の視線の軌跡の線２５２に近づけることができる。
　なお、軌跡の線２５１，２５３を計算し、それに基づいて補正処理を行うようにしてもよい。
　以上のようにして、術者３１が特別の負担を感じることなく、手術に必要な操作をしている間に、その裏で、簡単かつ確実にキャリブレーションが実行される。
　（３－２）視線補正処理２
　次に、図７を参照して、第２の視線補正処理について説明する。図７は、本技術の一実施の形態の視線補正処理を説明するフローチャートである。
　ステップＳ３１において視線検出部６２は、術者３１の視線を検出する。すなわち動作認識用カメラ１６が術者３１の頭部３１Ａ（いまの場合、顔）を撮影し、その目の位置から視線を検出する。この視線検出処理は以後継続され、検出値補正部８１と補正値更新部８２には、現在の視線の検出値が常に入力される。
　ステップＳ３２において検出値補正部８１は、初期視線を校正する。この校正処理は、校正専用の画面をモニタ１５に表示させ、それを術者３１に視認させ、その誤差を補正することで行われる。この校正処理は、最初に１回だけ行われる。
　ステップＳ３３において補正値更新部８２は補正値を更新する。いまの場合、校正結果に基づいて補正値が更新される。検出値補正部８１は補正値に基づいて検出値を補正する。ここまでの処理は、図４のステップＳ１１乃至ステップＳ１３の処理と同様である。
　ステップＳ３４において視線検出部６２は、視線検出頻度からパターンを抽出する。ここで図８を参照して、パターンについて説明する。
　図８は、本技術の一実施の形態の視線補正処理を説明する図である。図８に示されるように、モニタ１５の下方中央の領域３０１には、５個のオブジェクト３１１乃至３１５が表示されている。これらは例えば手術システム１０の手術中に、カメラアーム１２やモニタアーム１４の動作モード切り替えの操作、あるいは視線によるシステム動作の切り替えの操作の状態に関するオブジェクトである。
　術者３１はこれらのオブジェクトを視認することで所定の動作モードを選択し、設定する。すなわち、この視認はキャリブレーションのためのものではなく、手術のための操作の一環として行われるものである。この場合、術者３１は領域３０１のオブジェクト３１１乃至３１５を視認する。その結果、各オブジェクト３１１乃至３１５に視線を向ける時間が長くなり、その位置における視線の検出頻度が他の領域より多くなる。図８の例では、領域３３１における視線検出位置３４１乃至３４５が、視線の検出頻度が多い位置として検出されている。すなわち、この例では瞬間的な視線ではなく、視線の累積値に基づいて検出が行われる。
　視線検出部６２は、このように、視線の検出頻度が他の領域より多くなる領域をパターンとして検出する。この例では、５個の検出頻度が多い点がほぼ直線上に並ぶように、所定の間隔で配列されている状態がパターンとして検出される。
　ステップＳ３５において参照点検出部１０１は、参照点を検出する。図８の例では、領域３０１にオブジェクト３１１乃至３１５が直線上に並ぶように、所定の間隔で表示されているパターンが、参照点として検出される。参照点検出部１０１により検出された参照点の位置情報は、補正値更新部８２に供給される。
　ステップＳ３６において補正値更新部８２は、パターンが一致したかを判定する。すなわち、ステップＳ３４で抽出されたパターンと、ステップＳ３５で参照点として検出されたパターンが比較される。
　ステップＳ３４で抽出されたパターンと、ステップＳ３５で参照点として検出されたパターンが一致すると判定された場合、ステップＳ３７において補正値更新部８２は、誤差を計算する。すなわち現在の視線の検出値（すなわち視線検出位置の座標）と、参照点の座標との誤差が計算される。図８の例では、領域３３１の視線検出位置３４１乃至３４５は、領域３０１のオブジェクト３１１乃至３１５から、時計回転方向に若干回転したように、右上方向に位置している。ここでは視線検出位置３４１乃至３４５が存在する領域３３１と、オブジェクト３１１乃至３１５が存在する領域３０１の位置の誤差が計算される。
　ステップＳ３８において補正値更新部８２は、誤差量の判定を行う。すなわち、ステップＳ３７で計算された誤差量が基準の範囲内であるかが判定される。誤差量が基準の範囲内である場合、つまり、誤差量が小さい基準値以上であり、かつ大きい基準値以下である場合、ステップＳ３９において補正値更新部８２は補正値を決定する。具体的には誤差値が補正値に設定される。
　ステップＳ４０において情報入力部１１１は、補正のタイミングの判定を行う。つまり、いまが補正のタイミングであるかが判定される。動作制御部７３は術野カメラ１１、カメラアーム１２、モニタアーム１４、画像信号処理部７４、モニタ１５等を制御し、それらの制御情報を有している。情報入力部１１１は、動作制御部７３の制御情報を監視し、カメラアーム１２やモニタアーム１４の動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示等が出されたとき、それを検出する。情報入力部１１１によりその検出が行われたとき、術者３１はその切り替えのためにオブジェクト３１１乃至３１５を視認していると推定することができる。すなわちそのときの誤差量は、偶発的なエラーではなく、正しく検出された誤差量である。
　そこで、動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示が入力されたと情報入力部１１１により判定されたときは、ステップＳ４０で補正のタイミングであると判定され、処理はステップＳ３３に戻る。そして、補正値を更新する処理が実行される。すなわち、補正値更新部８２は、ステップＳ３９で決定された誤差量に基づく補正値で元の補正値を更新する。検出値補正部８１はこの補正値に基づき視線の検出値を補正する。つまり、図８において、領域３３１の位置が領域３０１の位置と一致するように補正が行われる。すなわち、現在の視線検出位置３４１乃至３４５が、参照点としてのオブジェクト３１１乃至３１５の位置と一致するように補正される。これにより確実に、検出値を正しい位置の値に補正することができる。
　その後、新たな視線検出値が検出され、ステップＳ３４で新たなパターンが抽出され、同様の処理が繰り返される。
　動作モード切り替えの指示、あるいは視線によるシステム動作の切り替えの指示が情報入力部１１１で検出されていないときは、ステップＳ４０でいまは補正のタイミングではないと判定される。すなわちこのときは、必ずしも術者３１が領域３０１を視認していると推定することができない。そこでこのときは、ステップＳ４１において補正値更新部８２は補正値を破棄する。すなわちステップＳ３９で決定された補正値が破棄される。そして処理はステップＳ３４に戻り、それ以降の処理が繰り返される。すなわち新たなパターンに基づいて同様の処理が繰り返される。
　ステップＳ３６においてパターンが一致しないと判定された場合、術者３１は抽出されたパターンとは別のパターンを視認していることになる。この場合に補正すると、却って誤差が大きくなるので補正は実行すべきではない。そこでこの場合には、処理はステップＳ３６からステップＳ３４に戻る。そして、新たなパターンが抽出され、同様の処理が繰り返される。
　誤差量が小さい基準値より小さい場合、誤差は殆ど無いと考えられるので、補正の必要が無い。また、誤差量が大きい基準値より大きい場合、偶発的に異常値が検出されたと考えられる。そこでステップＳ３８で誤差量が基準の範囲内ではないと判定された場合には、処理はステップＳ３８からステップＳ３４に戻る。そして、新たなパターンが抽出され、同様の処理が繰り返される。
　以上のようにして、術者３１が特別の負担を感じることなく、手術に必要な操作をしている間に、その裏で、簡単かつ確実にキャリブレーションが実行される。
　（３－３）視線補正処理３
　次に、図９を参照して、第３の視線補正処理について説明する。図９は、本技術の一実施の形態の視線補正処理を説明するフローチャートである。
　ステップＳ５１において視線検出部６２は、術者３１の視線を検出する。すなわち動作認識用カメラ１６が術者３１の頭部３１Ａ（いまの場合、顔）を撮影し、その目の位置から視線を検出する。この視線検出処理は以後継続され、検出値補正部８１と補正値更新部８２には、現在の視線の検出値が常に入力される。
　ステップＳ５２において検出値補正部８１は、初期視線を校正する。この校正処理は、校正専用の画面をモニタ１５に表示させ、それを術者３１に視認させ、その誤差を補正することで行われる。この校正処理は、最初に１回だけ行われる。
　ステップＳ５３において補正値更新部８２は補正値を更新する。いまの場合、校正結果に基づいて補正値が更新される。検出値補正部８１は補正値に基づいて検出値を補正する。
　ステップＳ５４において参照点検出部１０１は、参照点を検出する。ここまでの処理は図４のステップＳ１１乃至ステップＳ１４の処理と同様である。ここでこの例における参照点について説明する。
　図１０は、本技術の一実施の形態の視線補正処理を説明する図である。図１０においては、モニタ１５の左上にオブジェクト４０１が表示されている。このオブジェクト４０１は術者３１から音声コマンドの入力を受け付けるタイミングのときに表示され、術者３１がこのオブジェクト４０１を視認しながら発した音声コマンドの入力だけが受け付けられる。
　すなわち、術者３１が音声コマンドを入力するには、オブジェクト４０１を視認していなければならない。従って音声コマンドが入力されたタイミングにおいては、術者３１はオブジェクト４０１を視認する必要がある。そこで、この例では、オブジェクト４０１が参照点として検出される。参照点検出部１０１により検出された参照点の位置情報は、補正値更新部８２に供給される。
　ステップＳ５５において音声検出部６１は、音声コマンドを認識したかを判定する。ここで認識される音声コマンドは、キャリブレーションのためのものではなく、手術のための操作の一環として発せられるものである。この場合、術者３１はオブジェクト４０１を視認する。音声コマンドが認識されたと判定された場合、ステップＳ５６において補正値更新部８２は、誤差を計算する。すなわち現在の視線の検出値（すなわち視線検出位置の座標）と、参照点の座標との誤差が計算される。図１０の例では、視線検出位置４０２とオブジェクト４０１の位置の誤差が計算される。
　ステップＳ５７において補正値更新部８２は、誤差量の判定を行う。すなわち、ステップＳ５６で計算された誤差量が基準の範囲内であるかが判定される。誤差量が基準の範囲内である場合、つまり、誤差量が小さい基準値以上であり、かつ大きい基準値以下である場合、ステップＳ５８において補正値更新部８２は補正値を決定する。具体的には誤差値が補正値とされる。
　ステップＳ５９において情報入力部１１１は、補正のタイミングの判定を行う。つまり、いまが補正のタイミングであるかが判定される。参照点検出部１０１はオブジェクト４０１を参照点として検出している。このオブジェクト４０１は術者３１から音声コマンドの入力を受け付けるタイミングのときに表示され、術者３１がこのオブジェクト４０１を視認しながら発した音声コマンドの入力だけが受け付けられる。従ってこのオブジェクト４０１が表示されているタイミングで音声コマンドが認識されたときは、術者３１はオブジェクト４０１を視認していると推定することができる。すなわちそのときの誤差量は、偶発的なエラーではなく、正しく検出された誤差量である。
　音声コマンドはステップＳ５５において既に検出されているので、視認しなければ音声コマンドが受け付けられないというオブジェクト４０１が表示されていれば、術者３１はオブジェクト４０１を視認していると推定することができる。そこで、視認しなければ音声コマンドが受け付けられないというオブジェクト４０１が表示されているときは、ステップＳ５９で補正のタイミングであると判定され、処理はステップＳ５３に戻り、補正値を更新する処理が実行される。すなわち、補正値更新部８２は、ステップＳ５８で決定された誤差量に基づく補正値で元の補正値を更新する。検出値補正部８１はこの補正値に基づき視線の検出値を補正する。つまり図１０において、現在の視線検出位置４０２が、参照点としてのオブジェクト４０１の位置と一致するように補正される。これにより確実に、検出値を正しい位置の値に補正することができる。
　その後、ステップＳ５４で新たな参照点が検出され、同様の処理が繰り返される。
　誤差量が小さい基準値より小さい場合、誤差は殆ど無いと考えられるので、補正の必要が無い。また、誤差量が大きい基準値より大きい場合、偶発的に異常値が検出されたと考えられる。そこでステップＳ５７で誤差量が基準の範囲内ではないと判定された場合には、ステップＳ６０において補正値更新部８２は補正値を破棄する。すなわちステップＳ５６で決定された補正値が破棄される。そして処理はステップＳ５４に戻り、それ以降の処理が繰り返される。すなわち新たな視線検出点と参照点が検出され、同様の処理が繰り返される。
　ステップＳ５５で音声コマンドが認識されないと判定された場合にも、処理はステップＳ５４に戻り、それ以降の処理が繰り返される。すなわち新たな視線検出点と参照点が検出され、同様の処理が繰り返される。
　以上のようにして、術者３１が特別の負担を感じることなく、手術に必要な操作をしている間に、その裏で、簡単かつ確実にキャリブレーションが実行される。
　以上においては図４、図７および図９の視線補正処理を個別に説明したが、それらは同時に並行して実施されるようにしてもよいし、所定の順番で、直列的に順次繰り返し実行されるようにしてもよい。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、第１の実施の形態では、制御装置１３は、複数の種類の非接触の入力の組み合わせに基づいて制御を行うこと、および、術者３１の状態に応じて制御を制限することの両方により、手術の安全性を向上させたが、いずれか一方のみにより手術の安全性を向上させるようにしてもよい。
　また、制御装置１３による制御対象は、手術用装置であれば、どのようなものであってもよい。例えば、制御装置１３は、内視鏡やビデオ顕微鏡等の手術用撮影装置を制御することもできる。
　さらに、ズーム制御は、術野カメラ１１の撮影制御によって行われるのではなく、画像信号処理部７４において術野画像を処理することにより行われるようにしてもよい。
　この場合、画像信号処理部７４は、ズームイン撮影指令に応じて、術野カメラ１１から送信されてくる術野画像を拡大することにより、視線の位置に対応する被写体を中心にズームイン撮影されたズームイン画像を術野画像から生成する電子ズームを行う。同様に、画像信号処理部７４は、ズームアウト撮影指令に応じて、術野カメラ１１から送信されてくる術野画像を縮小することにより、視線の位置に対応する被写体を中心にズームアウト撮影されたズームアウト画像を術野画像から生成する。なお、このとき、画像信号処理部７４は、視線位置情報に基づいて、ズームイン画像やズームアウト画像内の視線に対応する位置にマーカを重畳するようにしてもよい。
　また、モニタ１５に術野画像が表示されている間、常に、アノテーション表示が行われるようにしてもよい。非接触の入力は、術者３１の音声、視線、頭部３１Ａの動きや方向、およびジェスチャに限定されない。例えば、術者３１の頭部３１Ａ以外の動きや姿勢などであってもよい。
　非接触の入力を受け付ける手段は、マイクロフォン１８などのようにウェアラブルであってもよいし、ウェアラブルでなくてもよい。
　制御装置１３は、動作モードが手動モードである場合であっても、術者３１の状態を推定し、その状態に応じて術野カメラ１１、カメラアーム１２、および画像信号処理部７４の制御を制限するようにしてもよい。
　＜その他＞
　なお、本技術は、以下のような構成をとることもできる。
（１）
　視線の検出値を取得する入力部と、
　参照点を検出する参照点検出部と、
　前記視線が前記参照点を指向していることを推定する推定部と、
　前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
　を備える制御装置。
（２）
　前記視線は、術具を用いて手術する術者の手術中の視線である
　前記（１）に記載の制御装置。
（３）
　前記推定部は、前記術具が使用中であるとき、前記視線が前記参照点を指向していると推定する
　前記（１）または（２）に記載の制御装置。
（４）
　前記術具は通電して使用される
　前記（１）、（２）または（３）に記載の制御装置。
（５）
　前記参照点検出部は、通電して使用される前記術具の先端を前記参照点として検出し、
　前記補正部は、前記視線の検出値と前記術具の先端との誤差に対応して、前記視線の検出値を補正する
　前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
　前記参照点検出部は、通電して使用される前記術具の軌跡を前記参照点として検出し、
　前記補正部は、前記視線の検出値と前記術具の軌跡との誤差に対応して、前記視線の検出値を補正する
　前記（１）乃至（５）のいずれかに記載の制御装置。
（７）
　前記推定部は、モニタに表示されているオブジェクトのパターンが検出された場合、前記モニタに表示されている前記オブジェクトの前記パターンに基づく動作が切り替えられたとき、前記視線が前記参照点を指向していると推定する
　前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
　前記参照点検出部は、音声コマンドを受け付けるときモニタに表示されるオブジェクトを前記参照点として検出し、
　前記推定部は、前記音声コマンド受け付ける前記オブジェクトの表示が検出されたとき、前記視線が前記参照点を指向していると推定する
　前記（１）乃至（７）のいずれかに記載の制御装置。
（９）
　視線の検出値を取得する入力ステップと、
　参照点を検出する参照点検出ステップと、
　前記視線が前記参照点を指向していることを推定する推定ステップと、
　前記推定ステップの処理により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正ステップと
　を含む制御方法。
（１０）
　被手術者の術野を撮影する撮影部と、
　前記撮影部により撮影された術野画像を表示する表示部と、
　視線の検出値を取得する入力部と、
　参照点を検出する参照点検出部と、
　前記視線が前記参照点を指向していることを推定する推定部と、
　前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
　を備える手術システム。
　１０　手術システム，　１１　術野カメラ，　１２　カメラアーム，　１３　制御装置，　１５　モニタ，　５１　情報入力インタフェース，　６１　音声検出部，　６２　視線検出部，　７２　キャリブレーション部，　７３　動作制御部，　７４　画像信号処理部，　８１　検出値補正部，　８２　補正値更新部，　１０１　参照点検出部，　１１１　情報入力部

Claims (10)

  1. 　視線の検出値を取得する入力部と、
    　参照点を検出する参照点検出部と、
    　前記視線が前記参照点を指向していることを推定する推定部と、
    　前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
    　を備える制御装置。
  2. 　前記視線は、術具を用いて手術する術者の手術中の視線である
    　請求項１に記載の制御装置。
  3. 　前記推定部は、前記術具が使用中であるとき、前記視線が前記参照点を指向していると推定する
    　請求項２に記載の制御装置。
  4. 　前記術具は通電して使用される
    　請求項３に記載の制御装置。
  5. 　前記参照点検出部は、通電して使用される前記術具の先端を前記参照点として検出し、
    　前記補正部は、前記視線の検出値と前記術具の先端との誤差に対応して、前記視線の検出値を補正する
    　請求項４に記載の制御装置。
  6. 　前記参照点検出部は、通電して使用される前記術具の軌跡を前記参照点として検出し、
    　前記補正部は、前記視線の検出値と前記術具の軌跡との誤差に対応して、前記視線の検出値を補正する
    　請求項４に記載の制御装置。
  7. 　前記推定部は、モニタに表示されているオブジェクトのパターンが検出された場合、前記モニタに表示されている前記オブジェクトの前記パターンに基づく動作が切り替えられたとき、前記視線が前記参照点を指向していると推定する
    　請求項２に記載の制御装置。
  8. 　前記参照点検出部は、音声コマンドを受け付けるときモニタに表示されるオブジェクトを前記参照点として検出し、
    　前記推定部は、前記音声コマンド受け付ける前記オブジェクトの表示が検出されたとき、前記視線が前記参照点を指向していると推定する
    　請求項２に記載の制御装置。
  9. 　視線の検出値を取得する入力ステップと、
    　参照点を検出する参照点検出ステップと、
    　前記視線が前記参照点を指向していることを推定する推定ステップと、
    　前記推定ステップの処理により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正ステップと
    　を含む制御方法。
  10. 　被手術者の術野を撮影する撮影部と、
    　前記撮影部により撮影された術野画像を表示する表示部と、
    　視線の検出値を取得する入力部と、
    　参照点を検出する参照点検出部と、
    　前記視線が前記参照点を指向していることを推定する推定部と、
    　前記推定部により前記視線が前記参照点を指向していることが推定されたときに、前記視線の検出値と前記参照点の差に基づいて、前記視線の検出値を補正する補正部と
    　を備える手術システム。
PCT/JP2017/010580 2016-03-30 2017-03-16 制御装置および方法並びに手術システム WO2017169824A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-067417 2016-03-30
JP2016067417A JP2017176414A (ja) 2016-03-30 2016-03-30 制御装置および方法並びに手術システム

Publications (1)

Publication Number Publication Date
WO2017169824A1 true WO2017169824A1 (ja) 2017-10-05

Family

ID=59965362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010580 WO2017169824A1 (ja) 2016-03-30 2017-03-16 制御装置および方法並びに手術システム

Country Status (2)

Country Link
JP (1) JP2017176414A (ja)
WO (1) WO2017169824A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200749B2 (ja) * 2019-02-27 2023-01-10 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
JP7034228B1 (ja) * 2020-09-30 2022-03-11 株式会社ドワンゴ アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム
KR102625583B1 (ko) * 2021-04-29 2024-01-16 숭실대학교 산학협력단 Vr 공간에 대한 시지각 분석 시스템, 시지각 분석 방법 및 시지각 분석 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2014113494A (ja) * 2012-12-11 2014-06-26 Biosense Webster (Israel) Ltd 手技中の医師の視線トラッキングの使用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1176165A (ja) * 1997-09-02 1999-03-23 Sanyo Electric Co Ltd 視線検出装置
JP2014113494A (ja) * 2012-12-11 2014-06-26 Biosense Webster (Israel) Ltd 手技中の医師の視線トラッキングの使用

Also Published As

Publication number Publication date
JP2017176414A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
US9766441B2 (en) Surgical stereo vision systems and methods for microsurgery
US11439473B2 (en) Surgical control apparatus, surgical control method, and program
JP6697482B2 (ja) 外科手術システムを制御するための手術器具のトラッキング
JP6903991B2 (ja) 手術用システム、手術用システムの作動方法及び手術用システムの制御装置
US8194949B2 (en) User adjustment measurement scale on video overlay
JP2015192697A5 (ja) 手術用制御装置および手術用制御方法、並びに手術システム
SG188765A1 (en) Surgical stereo vision systems and methods for microsurgery
JP7444065B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
WO2017169824A1 (ja) 制御装置および方法並びに手術システム
JP6965338B2 (ja) 医療用観察装置、制御装置、及び観察視野補正方法
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
EP3415071A1 (en) Endoscope system
US11638000B2 (en) Medical observation apparatus
US20200037847A1 (en) Control apparatus for medical system, control method for medical system, and medical system
JP2018198685A (ja) 制御装置、制御方法、および手術システム
US11850730B2 (en) Double eye tracker configuration for a robot-assisted surgical system
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP7163913B2 (ja) 医療用システム及び制御ユニット
JP2014023818A (ja) 撮像システムおよび撮像システムに適用される機能制御方法
US20220321803A1 (en) Medical observation system, control device, and control method
JP2021142175A (ja) 術野監視システム
TW202122049A (zh) 細微作業機器人
JP2017134369A (ja) 光学機器

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774368

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774368

Country of ref document: EP

Kind code of ref document: A1