WO2014073122A1 - 内視鏡操作システム - Google Patents

内視鏡操作システム Download PDF

Info

Publication number
WO2014073122A1
WO2014073122A1 PCT/JP2013/000738 JP2013000738W WO2014073122A1 WO 2014073122 A1 WO2014073122 A1 WO 2014073122A1 JP 2013000738 W JP2013000738 W JP 2013000738W WO 2014073122 A1 WO2014073122 A1 WO 2014073122A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
operator
head
unit
angular velocity
Prior art date
Application number
PCT/JP2013/000738
Other languages
English (en)
French (fr)
Inventor
耕太郎 只野
健嗣 川嶋
Original Assignee
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学 filed Critical 国立大学法人東京工業大学
Priority to US14/439,547 priority Critical patent/US20150342442A1/en
Priority to EP13853422.7A priority patent/EP2918216B1/en
Publication of WO2014073122A1 publication Critical patent/WO2014073122A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features

Definitions

  • the present invention relates to an endoscope operation system.
  • an enlargement ratio of a zoom lens of an endoscope is provided in a head mounted display (hereinafter also referred to as an HMD).
  • Control is performed based on a detection output from a posture sensor that detects movement of the head. Further, the movement of the surgeon's head is taken out as the displacement of the posture sensor with respect to the magnetic source that generates the magnetic field.
  • the left image based on the imaging data obtained through the solid-state imaging device of the endoscope is displayed on the pair of liquid crystal monitors in the HMD, and the surgeon In this case, a field of view magnified by the zoom lens can be obtained. Therefore, the surgeon can stereoscopically observe the inside of the body cavity in which the endoscope is inserted.
  • Non-Patent Document 1 a five-node link mechanism, a ball joint portion that holds a trocar penetrating the abdominal wall with the abdominal wall portion, and a drive unit and an operation unit that drive the link mechanism A device in which an endoscope gripping device is configured is proposed.
  • a laparoscope which is a type of endoscope, is a zoom type and can quickly switch between the perspective of the screen, and the zoom type laparoscope can be quickly moved to a position desired by the operator by a controller switch. It can be moved.
  • Non-Patent Document 1 the zoom operation is performed by, for example, a voice command or a hand or foot switch. For this reason, it is necessary for the surgeon to learn these zoom operation methods in advance, and when performing an intraoperative zoom operation, the consciousness must be switched from a surgical technique to a zoom operation. For this reason, there is not only room for improvement in work efficiency but also a risk of erroneous operation.
  • the zoom operation can be performed by moving the face back and forth in the same way as the daily operation, it is considered very intuitive.
  • As a means for detecting the translational movement of the head there is a method using an optical or magnetic three-dimensional detection device.
  • a sensor outside In addition to attaching a marker or the like to the operator's head, it is necessary to fix a sensor outside. For this reason, not only is there a limitation on the positional relationship between the external sensor and the operator, but there are problems of signal shielding and interference with other devices.
  • the endoscope operation system disclosed in Patent Document 1 employs a method in which a magnetic sensor is attached to the HMD and the movement of the operator's head is detected by a change in magnetism, and is affected by a magnetic field. It is difficult to use in an MRI environment. Further, it is assumed that the bending endoscope is operated by the HMD in the up / down, left / right, and zoom directions.
  • the present application has been made to solve such a problem, and an object thereof is to provide an endoscope operation system capable of easily and intuitively zooming the field of view of an endoscope.
  • an endoscope operating system includes an endoscope having an imaging unit at a distal end portion, and supports the distal end portion of the endoscope so as to be movable up and down, left and right, and in the front-rear direction and capable of rotating.
  • a holding arm unit to be supported a display unit that displays an image based on an image signal from the imaging unit of the endoscope, and an angular velocity that is attached to the operator's head and is based on the posture displacement of the operator's head
  • a first posture detection unit that is attached to the torso of the operator, a second posture detection unit that detects an angular velocity based on a tilt displacement of the upper body of the operator, and a target at the distal end of the endoscope
  • a control unit that calculates a velocity vector and controls a moving direction and a velocity of the distal end portion of the endoscope so as to follow the calculated target velocity vector, and the control unit includes the second posture detection.
  • the translational velocity in the front-rear direction of the neck position of the operator is calculated based on the tilt angular velocity component in the front-rear direction of the upper body among the angular velocities based on the tilt displacement of the upper body of the operator, and the calculated Calculating the target speed vector based on a translational speed in the front-rear direction of the neck position of the operator and movement information of the posture of the head of the operator detected by the first posture detection unit; It is characterized by.
  • an endoscope operation system capable of easily and intuitively zooming the field of view of an endoscope.
  • FIG. 1 is a block diagram illustrating an overall configuration of an example of an endoscope operation system according to Embodiment 1.
  • FIG. 6 is a schematic diagram for explaining detection of an inclination angular velocity in the front-rear direction of the upper body according to Embodiment 1.
  • FIG. 10 is a schematic diagram for explaining detection of vertical movement of the entire head according to Embodiment 3.
  • FIG. Embodiments of the present invention will be described below with reference to the drawings. With reference to FIG. 1, a configuration that is a feature of the present invention and points of interest thereof will be briefly described.
  • the translational operation of the visual field such as zoom is intuitively performed without using hands or feet by translating the head in the front-rear direction in the same manner as in daily operations. It is realized.
  • the operator instead of directly detecting the translational movement of the head, the operator (operator OP) detects the posture of the gyro sensor, for example, on the chest. A tilt angle velocity of the upper body is detected by attaching a part, and a translational operation of the visual field is realized using the detected output value.
  • posture detecting means such as a gyro sensor 3 is attached to the chest of the operator OP, thereby detecting the inclination angular velocity of the upper body. Then, a translational velocity in the front-rear direction of the head is calculated from the detected body inclination angle velocity, and used as a command value for a zoom operation or the like. For example, when the upper body is tilted forward, the field of view is zoomed in (zoom in), and when the upper body is tilted backward, the field of view is zoomed out (zoom out).
  • the inventor of the present application is that when a human naturally translates the head from front to back and from side to side and right and left Focused on tilting from the upper body, not just from the neck up. Since the motion of the upper body itself is not a translational motion but a rotational motion around the waist, the speed of the rotational motion can be easily detected by attaching the gyro sensor 3 or the like to the upper body portion.
  • the translational velocity in the front-rear direction of the head can be calculated from the body inclination angular velocity, and can be used as a command value for a zoom operation or the like. Further, as will be described later, by combining this with the output of a gyro sensor attached to the head, it is possible to detect at least a motion with 5 degrees of freedom of the head.
  • FIG. 2 shows a configuration of an example of the endoscope operation system according to the present embodiment together with the operator OP.
  • the endoscope operation system is detachable from the endoscope 24, the holding arm unit 10 that holds the endoscope 24 and controls the posture of the endoscope 24, and the head of the operator OP.
  • a head mounted display 30 (hereinafter also referred to as HMD 30) to be mounted is included as a main element.
  • the endoscope 24 includes, for example, a flexible insertion unit having an imaging unit at a distal end inserted into the body, an operation unit (not shown) that controls the optical system, and a light source connected to the operation unit. And a connection portion (not shown) connected to the.
  • the imaging unit includes an optical unit including an objective lens, a solid-state imaging device, and a zoom mechanism unit including an actuator that controls the lens of the optical unit to enlarge or reduce an image obtained by the imaging unit. .
  • the zoom mechanism unit of the imaging unit is controlled by an endoscope controller 60 described later.
  • a light guide is provided adjacent to the objective lens at the distal end of the insertion portion. The light guide illuminates the inside of the body with the light guided from the light source.
  • the endoscope 24 a rigid endoscope and a flexible endoscope can be adopted.
  • the HMD 30 is attached to the head of the operator OP as shown in FIG.
  • the HMD 30 includes a pair of left and right display units (not shown) at positions corresponding to both eyes of the operator OP facing the front of the face of the operator OP.
  • the display unit displays, for example, a 3D color image.
  • the display unit is not limited to such an example, and may display, for example, a 2D format monochrome image.
  • the entire HMD 30 follows the movement of the head of the operator OP. That is, in the HMD 30, as shown by an arrow in FIG. 2, when viewed from the operator OP side, the neck is the right axis (clockwise rotation) with the neck as the center axis, and the neck is the center axis.
  • Left-handed (counterclockwise) rotation left-handed rotation
  • vertical rotation with respect to the neck flexion, extension
  • tilting right with respect to the neck bending right
  • tilting left with respect to the neck left side
  • the holding arm unit 10 supports the distal end portion of the endoscope 24 so as to be movable in the up and down, left and right, and front and rear directions and to be rotatable.
  • the holding arm unit 10 is supported via a bracket (not shown) of a vane motor unit 16 described later on a pedestal (not shown) adjacent to the operating table separated from the operator OP.
  • the holding arm unit 10 includes a chassis that movably supports a vane motor 20 that rotatably supports an endoscope 24, an endoscope 24 and a vane motor that are fixed to the chassis.
  • the pneumatic cylinder 18 for moving the 20 close to or away from the patient, the vane motor unit 16 supported via the parallel link mechanism 14 supported at one end by the above-mentioned chassis, and the output shaft of the vane motor unit 16 are connected.
  • the main part includes a timing belt pulley and a rotating shaft portion that rotates the entire chassis by being rotated via the timing belt 22 and a pneumatic cylinder 12 that drives the parallel link mechanism 14. It is configured.
  • the parallel link mechanism 14 has one end of a link member constituting a part thereof connected to the rotating shaft portion and the other end portion connected to the chassis.
  • the chassis is rotated in the clockwise direction around the lower end of the rotating shaft portion in FIG. 3 is rotated in the counterclockwise direction with respect to the rotation center at the lower end of the rotation shaft portion. That is, as will be described later, the imaging unit of the endoscope 24 can move around the rotation center point GP in a direction corresponding to the vertical rotation (bending and extension) of the head with respect to the neck of the operator OP in the HMD 30. It is.
  • the rotation center point GP is located in the vicinity of the patient's body wall on a common straight line with a rotation axis G of the rotation shaft portion described later.
  • the rotation axis G is set to be parallel to the Lx coordinate axis of the orthogonal coordinate system in FIG. 3 taken in the holding arm unit 10.
  • the Lx coordinate axis is set in a direction orthogonal to the patient's body wall, and the coordinate axis Lz is set to be perpendicular to the Lx coordinate axis.
  • the pneumatic cylinder 18 is supported by the chassis so that its rod is substantially parallel to the central axis of the endoscope 24.
  • the imaging unit of the endoscope 24 and the vane motor 20 in FIG. 3 are moved relative to the chassis in a direction away from the patient, while the rod of the pneumatic cylinder 18 is in the contracted state.
  • the imaging unit of the endoscope 24 and the vane motor 20 are moved with respect to the chassis in a direction approaching the patient. That is, as will be described later, the imaging unit of the endoscope 24 is movable in a direction corresponding to the inclination of the upper body of the operator OP in the front-rear direction.
  • each of the link members constituting the parallel link mechanism 14 is connected to a predetermined distance along the central axis of the rotary shaft portion provided in parallel with the vane motor unit 16 at a position apart from the center shaft line.
  • the rotating shaft portion is rotatably supported by the vane motor unit 16 around the rotating axis G.
  • the vicinity of the operation unit in the endoscope 24 is supported by the vane motor 20 so as to be rotatable.
  • the imaging unit of the endoscope 24 can rotate (roll) by a predetermined angle around the rotation center axis of the vane motor 20. That is, as will be described later, the imaging unit of the endoscope 24 is movable in a direction corresponding to the lateral bending of the head of the operator OP in the HMD 30.
  • the imaging unit of the endoscope 24 can move around the rotation center point GP in the direction corresponding to the vertical rotation (bending and extension) of the head with respect to the neck of the operator OP in the HMD 30. . Further, the imaging unit of the endoscope 24 is movable in a direction corresponding to the rotation around the neck of the head of the operator OP in the HMD 30. In addition, the imaging unit of the endoscope 24 is movable in a direction corresponding to the lateral bending of the head of the operator OP in the HMD 30. In addition, the imaging unit of the endoscope 24 is movable in a direction corresponding to the inclination of the upper body of the operator OP in the front-rear direction.
  • the holding arm unit 10 has at least four degrees of freedom of movement in the vertical, left and right, rotation, and front-back directions following the movement of the head and upper body of the operator OP with respect to movement of the imaging unit of the endoscope 24. Can be realized.
  • a unit 58, an endoscope controller 60, and an on / off switching foot switch 50 are provided.
  • an endoscope 24 is attached to the holding arm unit 10, and an image captured by the endoscope 24 is displayed on the HMD 30.
  • the gyro sensor 2 attached to the HMD 30 and the gyro sensor 3 attached to the chest of the operator OP are used to relate to the head of the operator OP. The movement is detected, and the holding arm unit 10 is operated in synchronization so as to follow the detected movement.
  • the gyro sensor 2 as an example of the first posture detection unit is attached to the HMD 30 described above.
  • the gyro sensor 2 detects the angular velocity based on the posture displacement of the head of the operator OP by detecting the rotation, lateral bending, bending and extension of the HMD 30 described above.
  • the detection output from the gyro sensor 2 is supplied to a control unit 40 described later.
  • the sensor used as the first posture detection unit is not limited to this.
  • the first posture detection unit may be used in an environment that is not easily affected by a magnetic field or in an environment that does not need to consider the influence of a magnetic field.
  • a magnetic sensor may be used.
  • a magnetic sensor or an acceleration sensor may be combined with the gyro sensor.
  • the position where the gyro sensor 2 is attached is not limited to the HMD 30 and may be attached to another position of the operator OP's head.
  • the gyro sensor 3 as an example of the second posture detection unit is attached to the chest of the operator OP.
  • the gyro sensor 3 detects the angular velocity based on the tilt displacement of the upper body of the operator OP by detecting the angular velocity of the upper body of the operator OP in the front-rear and left-right directions.
  • the sensor used as the second posture detection unit is not limited to this.
  • the second posture detection unit in an environment that is not easily affected by a magnetic field or an environment that does not need to consider the influence of a magnetic field is not high.
  • a magnetic sensor may be used.
  • a magnetic sensor or an acceleration sensor may be combined with the gyro sensor.
  • the position where the gyro sensor 3 is attached is not limited to the chest of the operator OP.
  • the gyro sensor 3 may be attached to the abdomen of the operator OP, or the position where the inclination angular velocity of the trunk of the operator OP can be detected. You may attach to the arbitrary positions of the trunk
  • the detection output from the gyro sensor 3 is supplied to a control unit 40 described later.
  • the detection output supplied from each of the gyro sensor 2 and the gyro sensor 3 to the control unit 40 is supplied to the control unit 40 via CAN communication, for example.
  • the endoscope controller 60 controls the operation of the zoom mechanism unit and the light source of the endoscope 24 based on a command signal group from the operation unit, and uses the imaging data DD obtained from the solid-state image sensor of the endoscope 24. Based on this, predetermined image processing is performed.
  • the endoscope controller 60 performs predetermined image processing based on the imaging data, forms image data, and supplies it to the control unit 40 and the HMD 30. Thereby, an image based on the image data from the endoscope controller 60 is displayed on the display unit of the HMD 30 in the 3D format.
  • the control unit 40 includes a signal group GS1 representing the angular velocity vectors in the above-described directions of the head of the operator OP from the gyro sensor 2 in the HMD 30, and the above-described directions of the upper body of the operator OP from the gyro sensor 3.
  • a signal group GS2 representing an angular velocity vector and a command signal Cf representing an operation stop command of the holding arm unit 10 from the on / off switching foot switch 50 are supplied.
  • the control unit 40 stores program data for controlling the air pressure of the vane motor unit 16, the vane motor 20, the pneumatic cylinder 12 and the pneumatic cylinder 18, image data from the endoscope controller 60, data representing a calculation result by the control unit 40, and the like.
  • a storage unit (not shown) is provided.
  • the control unit 40 forms a control signal for controlling the vane motor unit 16, the vane motor 20, the pneumatic cylinder 12 and the pneumatic cylinder 18 in the holding arm unit 10 described above, and supplies it to the valve unit 58.
  • the valve unit 58 controls each valve based on the control signal from the control unit 40, and the working air from the air supply source is supplied to the vane motor unit 16, the vane motor 20, the pneumatic cylinder 12 and the pneumatic pressure in the holding arm unit 10. Supply to cylinder 18.
  • the control unit 40 controls the holding arm unit 10 so as to control the insertion amount and speed of the endoscope 24 into the patient's body and to control the posture of the imaging unit of the endoscope 24. Make it.
  • the control unit 40 includes a signal group GS1 representing the above-described angular velocity vectors of the head of the operator OP from the gyro sensor 2 in the HMD 30 and the above-described directions of the upper body of the operator OP from the gyro sensor 3. Based on the signal group GS2 representing the angular velocity vector, the target velocity value of the imaging unit of the endoscope 24 is calculated.
  • the control unit 40 causes the pneumatic cylinders 12 and 18 of the holding arm unit 10 and the vane motor 16 to operate so that the imaging unit of the endoscope 24 follows the target speed value based on the target speed value. , Form control data and supply it to the valve unit 58.
  • the control unit 40 calculates the angular velocity command vector ⁇ cmd from the following equation based on the signal group GS1 representing the angular velocity vector from the gyro sensor 2. That is, the control unit 40 calculates the angular velocity command vector ⁇ cmd by multiplying the angular velocity vector ⁇ s1 of the head obtained from the gyro sensor 2 by the predetermined coefficient matrix K r .
  • ⁇ s1 is an angular velocity vector of the head detected by the gyro sensor 2 of the HMD 30.
  • a coordinate system fixed to the head is used as the coordinate system.
  • the center axis of the neck of the operator OP shown in FIG. 2 is the y-axis
  • the left-right direction of the operator OP is the x-axis
  • the front-back direction of the operator OP is the z-axis.
  • the angular velocity vector ⁇ s1 is an angular velocity in the longitudinal direction of the head of the operator OP in the z-axis and y-axis plane in the coordinate system fixed to the head (vertical direction of the head relative to the neck of the operator OP).
  • the coefficient matrix Kr is a diagonal matrix with 3 rows and 3 columns, and a predetermined coefficient representing a speed gain is set in advance in each diagonal component. It can be set in accordance with the motion of the sensitivity to the user's preference by multiplying the constant K r of the angular velocity. This constant Kr can be set to a different value for each direction. Kr may be a function.
  • the control unit 40 sets the angular velocity command vector ⁇ cmd to a predetermined limit value ⁇ lim with a limiter. That is, when the angular velocity command vector ⁇ cmd exceeds the limit value ⁇ lim , the angular velocity command vector ⁇ ′ cmd is set to the limit value ⁇ lim , and when the angular velocity command vector ⁇ cmd is less than or equal to the limit value ⁇ lim , the angular velocity command vector ⁇ ' cmd is set to the angular velocity command vector ⁇ cmd . This is because the operation of the holding arm unit 10 operates at an excessive speed so that the internal organs are not damaged by the imaging unit. Note that the data of the value of the angular velocity command vector ⁇ ′ cmd is stored in the storage unit.
  • the control unit 40 converts the angular velocity command vector ⁇ ′ cmd into the local coordinates (Lx, Ly, Lz) (see FIG. 3) of the holding arm unit 10 by the conversion matrix T according to the following equation, and further multiplies the matrix R. Then, the angular velocity command vector ⁇ ′′ cmd of the orthogonal coordinate system (Cx, Cy, Cz) (see FIG. 3) at the distal end portion of the endoscope 24 is obtained.
  • the coordinate axis Cz is taken along the central axis of the insertion portion of the endoscope 24, that is, along the advancing direction or the retreating direction of the imaging portion of the endoscope 24.
  • the matrix R represents the posture of the endoscope 24 and is sequentially obtained from the joint displacement q (see q 1 , q 2 , and q 4 in FIG. 3) of the holding arm unit 10 by forward kinematics calculation.
  • E represents a rotation matrix.
  • the vertical and horizontal directions in the screen of the display unit in the HMD 30 always coincide with the vertical and horizontal directions of the head of the operator OP. That is, the coordinate system fixed to the head in the HMD 30 and the coordinate system fixed to the distal end of the endoscope 24 coincide with each other. Therefore, the image displayed on the display unit in the HMD 30 follows the movement of the head of the operator OP.
  • the angular velocity command vector ⁇ ′ cmd is converted into the local coordinates (Lx, Ly, Lz) of the holding arm unit 10 by the conversion matrix T, and further multiplied by the matrix R, so that the endoscope 24
  • the angular velocity command vector ⁇ ′′ cmd of the Cartesian coordinate system (Cx, Cy, Cz) at the tip has been obtained, but the present invention is not limited to this example.
  • the conversion from the local coordinates (Lx, Ly, Lz) of the holding arm unit 10 to the orthogonal coordinate system (Cx, Cy, Cz) at the distal end portion of the endoscope 24 can be omitted.
  • the local coordinates (Lx, Lz) to the orthogonal coordinate system (Cx, Cy, Cz) at the distal end portion of the endoscope 24 can be omitted.
  • the control unit 40 obtains the angular velocity command vector ⁇ ′′ cmd of the orthogonal coordinate system at the distal end portion of the endoscope 24 according to the following equation, and the target velocity vector v xy at the distal end portion (imaging portion) of the endoscope 24.
  • angular velocity command vector omega '' cmd by taking the vector l 3 and outer product to the tip of the endoscope 24 from the rotation center GP of the holding arm unit 10, an orthogonal coordinate system (Cx, Cy, Cz) inner in This is converted into a component v xy in the vertical and horizontal directions of the target speed at the tip of the endoscope 24.
  • the control unit 40 calculates the following expression for the target speed vector v xy in order to adjust the speed of the imaging unit so as to be changeable according to the amount of insertion of the endoscope 24 into the body in the imaging unit. To do. Thereby, when the amount of insertion in the advancing direction into the body in the imaging unit of the endoscope 24 increases, the target velocity vector v ′ xy of the imaging unit of the endoscope 24 becomes large, while the imaging of the endoscope 24 is performed. When the amount of insertion in the unit decreases, that is, when the imaging unit of the endoscope 24 is pulled out from the body, the target velocity vector v ′ xy of the imaging unit of the endoscope 24 becomes small.
  • the coefficient r xy depending on q 3 (see FIG. 3) representing the amount of insertion of the distal end of the endoscope 24 is multiplied by the value of v xy as shown in the above equation, so that the amount of movement of the screen corresponds to the degree of insertion. Dependency is adjusted. Thereby, the movement amount of the visual field by the rotation of the head can be adjusted. For example, the amount of movement of the gaze object on the screen when the head is rotated can be made substantially constant regardless of the zoom position. Therefore, the intuitiveness of operation is improved.
  • r xy is a constant and is set in a range in which the sign of v xy does not invert.
  • q 3 is the direction of inserting the endoscope from the intermediate position the positive and negative direction of pulling.
  • the center of the movable range of q 3 as an intermediate position in FIG. 3, taking an intermediate position to zero.
  • r xy may be a function.
  • control unit 40 calculates a target velocity vector along the Cz coordinate axis (see FIG. 3) in the imaging unit of the endoscope 24 based on the signal group GS2 representing the angular velocity vector from the gyro sensor 3. Therefore, the control unit 40 first calculates the velocity vector v h of the neck position in the absolute coordinate system based on the signal group GS2 representing the angular velocity vector from the gyro sensor 3 by the following equation. That is, the angular velocity vector ⁇ s2 of the upper body is converted into a velocity command vector v h at the neck position in the absolute coordinate system by taking the outer product of the vector l ′ from the waist to the neck position of the operator OP.
  • the moving speed in the front-rear direction of the head is regarded as the translational speed in the front-rear direction of the neck position, and the moving speed in the front-rear direction of the head is actually the neck speed. Obtained as the moving speed of the part in the longitudinal direction.
  • ⁇ s2 represents the rotational speed generated by the rotational motion of the upper body around the waist, and is an angular velocity vector of the upper body detected by the gyro sensor 3 on the chest.
  • the vertical direction in FIG. 5 is the y axis
  • the right direction of the operator OP orthogonal to the y axis is the x axis
  • the forward direction of the operator OP orthogonal to the y axis and the x axis is z.
  • Axis is. In this absolute coordinate system, even when the upper body of the operator OP inclines in FIG. 5, the y axis is always vertically upward.
  • the angular velocity vector ⁇ s2 is a tilt angular velocity in the longitudinal direction of the upper body of the operator OP in the z-axis and y-axis plane in the absolute coordinate system (a direction corresponding to the longitudinal tilt of the upper body of the operator OP).
  • Angular velocity the rotational angular velocity of the upper body of the operator OP around the y axis in the z axis and the x axis plane, and the lateral direction of the upper body of the operator OP in the x axis and y axis plane. It is a three-dimensional vector including a tilt angular velocity.
  • an inclination angular velocity component in the front-rear direction of the upper body of the operator OP is used among the components of the angular velocity vector ⁇ s2. .
  • the control unit 40 converts the velocity command vector v h at the neck position into a coordinate system fixed to the head of the operator OP by the conversion matrix R ′ according to the following equation, and the target velocity vector v h at the neck position.
  • a coordinate system fixed to the head is used as the coordinate system.
  • the center axis of the operator OP's head shown in FIG. 5 is the y-axis
  • the left-right direction of the operator OP is the x-axis
  • the front-back direction of the operator OP is the z-axis.
  • the target velocity vector v h ′ of the neck position is a moving speed of the head in the vertical direction of the operator OP in the y-axis direction and in the front-back direction of the operator OP in the z-axis direction in a coordinate system fixed to the head. Is a three-dimensional vector including the moving speed of the head of the operator and the moving speed of the head in the left-right direction of the operator OP in the x-axis direction.
  • the component of the target velocity vector v h ′ at the neck position is related to the zoom operation for moving the distal end portion of the endoscope 24 in the front-rear direction.
  • a command value for a zoom operation for moving the distal end portion of the endoscope 24 in the front-rear direction is calculated using the moving speed of the head in the front-rear direction of the operator OP.
  • the vector l ′ and the transformation matrix R ′ can be obtained from the inclination angles of the upper body and the head.
  • the inclination angles of the upper body and the head can be obtained, for example, by integrating the angular velocities obtained from the gyro sensors 2 and 3 and the output of the geomagnetic sensor. In an actual operation, these inclination angles may be set to be sufficiently close to 0 °, and even if set in this way, the operation does not give a sense of incongruity.
  • control unit 40 ' controls the target speed vector v h of the tip portion of the endoscope 24 according to the following equation (imaging unit)' target speed vector v h of the resulting fired position into a '.
  • the matrix R and the transformation matrix T are the same as the above formula.
  • the control unit 40 is a component corresponding to the moving speed of the head in the front-rear direction of the operator OP among the components of the target velocity vector v h ′′ of the distal end portion (imaging unit) of the endoscope 24 obtained. Is used to determine the target velocity value of the final endoscope tip (imaging unit).
  • the component corresponding to the moving speed of the head in the front-rear direction of the operator OP may be subjected to processing such as further multiplying by a predetermined coefficient.
  • the control unit 40 reads “the target velocity vector v xy of the distal end portion (imaging unit) of the endoscope 24 obtained based on the gyro sensor 2” and “the endoscope 24 obtained based on the gyro sensor 3.
  • the target velocity vector v h ′′ ”of the tip (imaging unit) is added.
  • the control unit 40 adds the velocity components in the up / down / left / right direction and the front / rear direction, and calculates the final target velocity value of the distal end (imaging unit) of the endoscope 24.
  • the roll component (the operation of tilting the neck) of the rotational speed of the operator's head is directly related to the roll component of the angular velocity command vector ⁇ ′ cmd and the roll q 4 of the endoscope.
  • the present invention is not limited to such an example. This operation may be disabled.
  • the effects generated by using the on / off switching foot switch 50 are as follows.
  • the endoscope 24 is not desired to be operated, if the switch is turned off, the head and upper body can be moved freely.
  • the switch is turned off and the head is returned to the left before the switch is turned on.
  • the endoscope 24 can be further moved to the right.
  • the endoscope 24 is not interlocked with the movement of the head unless the switch is turned on, an unexpected operation can be avoided.
  • the gyro sensor 3 is attached to the chest in addition to the gyro sensor 2 of the head. And the velocity of the head in the front-rear direction is obtained from the front-rear inclination of the upper body detected by the gyro sensor 3, and the endoscope 24 is moved in the vertical and horizontal directions and the endoscope based on the movement information.
  • the target speed value of the distal end portion of the endoscope 24 for realizing the rotational movement around the axis of the mirror 24 and the movement of the endoscope 24 in the front-rear direction is calculated and instructed to the holding arm unit 10.
  • the degree of freedom in operation can be increased without using the hand of the operator OP itself.
  • Input devices such as switches that have been necessary in the past can be omitted.
  • the intuitiveness of the operation can be drastically increased, and the risk of erroneous operation can be reduced.
  • the following effects can be obtained. 1. There is no need to install an external sensor from the viewpoint of signal interruption, noise, and settings. 2. All operations can be performed without using hands. 3. Intuitive operation without being aware of the operation procedure. 4). Minimize the use of foot switches. That is, according to the example of the endoscope operation system according to the present embodiment, it is possible to realize a translational operation method of a visual field such as a zoom that satisfies all of these and is simple and intuitive.
  • Embodiment 2 FIG. According to the example of the endoscope operating system according to the first embodiment described above, the endoscope 24 shown in FIG. 3 is always in the extended state and is not configured to bend. On the other hand, according to the example of the endoscope operation system according to the present embodiment, the endoscope 24 is configured to be able to bend and bend at least a part of its distal end portion. That is, at least a part of the distal end portion of the endoscope 24 can be bent in the left-right direction with respect to the rotation axis G.
  • the holding arm unit 10 has four degrees of freedom related to movement of the imaging unit of the endoscope 24 (up and down, left and right, rotation, and movement in the front-rear direction following the movement of the head and upper body of the operator OP), One degree of freedom (movement in the left-right direction following the left-right movement of the upper body of the operator OP) with respect to the movement by bending of the imaging unit of the endoscope 24 can also be realized. That is, the holding arm unit 10 supports the distal end portion of the endoscope 24 so as to be movable in the vertical, left, and right directions, and the front and rear directions, and supports the tip portion of the endoscope 24 so that it can rotate. It is configured so as to be bent in the left-right direction.
  • the control unit 40 can detect the angular velocity of the upper body of the operator OP in the horizontal direction by the upper body gyro sensor 3 based on the same principle as described above in the first embodiment. Then, the control unit 40 can calculate the moving speed in the left-right direction of the neck position of the operator OP from the detected inclination angular velocity in the left-right direction of the upper body of the operator OP. Furthermore, the control unit 40 can calculate the moving speed of the head of the operator OP in the left-right direction from the calculated moving speed of the neck position in the left-right direction.
  • the control unit 40 uses the calculated moving speed of the head of the operator OP in the left-right direction with respect to an operation command for bending at least a part of the distal end portion of the endoscope 24. For example, when the operator OP tilts to the right, the control unit 40 follows this movement and bends at least a part of the distal end portion of the endoscope 24 to the right, so that the operator OP moves to the left. When tilted to the right, at least a part of the distal end portion of the endoscope 24 is bent leftward following this movement.
  • the direction of at least a part of the distal end portion is set with respect to the endoscope 24 in which at least a part of the distal end portion can be bent.
  • the tip itself in which at least a part of the distal end portion can be bent.
  • Embodiment 3 FIG.
  • at least a part of the distal end portion of the endoscope 24 can be bent in the left-right direction with respect to the rotation axis G.
  • at least a part of the distal end portion of the endoscope 24 can be bent in the vertical direction in addition to the horizontal direction.
  • the holding arm unit 10 has four degrees of freedom related to movement of the imaging unit of the endoscope 24 (up and down, left and right, rotation, and movement in the front-rear direction following the movement of the head and upper body of the operator OP), Two degrees of freedom related to the movement of the imaging unit of the endoscope 24 by bending (moving in the left and right direction following the left and right movements of the upper body of the operator OP, and vertical and vertical movements of the entire head of the operator OP It is also possible to realize the following movement in the vertical direction.
  • the holding arm unit 10 supports the distal end portion of the endoscope 24 so as to be movable in the vertical, left, and right directions, and the front and rear directions, and supports the tip portion of the endoscope 24 so that it can rotate. It is configured so as to be bent in the left and right and up and down directions.
  • the vertical vertical movement speed of the entire head is regarded as the vertical translation speed of the neck position, and actually the vertical vertical movement speed of the entire head is considered.
  • the moving speed is obtained as the moving speed in the vertical direction of the neck portion.
  • the moving speed of the neck portion in the vertical direction can be obtained from, for example, the vertical translation speed of the waist position.
  • the translational velocity in the vertical direction of the waist position is obtained from, for example, the rotational angular velocity of the waist due to the knee bending / extension motion of the operator OP.
  • a gyro sensor 4 as an example of a third posture detection unit is attached to the knee of the operator OP as shown in FIG.
  • the gyro sensor 4 detects the rotational angular velocity of the waist based on the bending and stretching movements of the knee of the operator OP.
  • the position where the gyro sensor 4 is attached is not limited to the knee of the operator OP, and any position on the thigh or lower leg of the operator OP as long as the rotational angular velocity of the hip of the operator OP can be detected. You may attach to the position.
  • the detection output from the gyro sensor 4 is supplied to the control unit 40 described above.
  • the control unit 40 calculates the vertical rotation speed v k of the waist position from the rotational angular velocity ⁇ k dots of the waist in the knee flexion / extension motion detected from the gyro sensor 4 (a variable indicated by an upper dot in the equation).
  • the component v ky in the direction is approximately calculated.
  • the other components of the waist position translation velocity vector v k may be set to zero.
  • the knee rotation angle ⁇ k is the rotational angular velocity of the waist due to the knee flexion / extension motion in the vertical direction, and is 0 ° when the operator OP is in the upright posture.
  • l k1 is the length from the ankle to the knee
  • l k2 is the length from the knee to the waist.
  • the coefficient applied to the rotational angular velocity ⁇ k dots of the waist may be calculated by multiplying a constant value K as in the following equation.
  • control unit 40 uses the calculated vertical vertical movement speed of the entire head of the operator OP with respect to an operation command to bend at least a part of the distal end portion of the endoscope 24.
  • the control unit 40 bends at least a part of the distal end portion of the endoscope 24 following this movement when the operator OP bends the knee by bending and stretching movements.
  • the operator OP extends the knee by bending and stretching, at least a part of the distal end portion of the endoscope 24 is bent upward following this movement.
  • the endoscope operation system it is possible to detect the vertical vertical movement of the entire head independent of the inclination of the upper body, and according to the detection value of this movement, At least a part of the distal end portion of the endoscope 24 is bent in the vertical direction. Accordingly, a total of 6 degrees of freedom can be realized with respect to the movement of the distal end portion of the endoscope 24.
  • the present invention is not limited to this, and the small size attached to the front surface of the trunk as the second posture detection unit.
  • Other cameras may be used. In the case of using a small camera, it is possible to estimate the tilt angular velocity in the front-rear direction of the upper body based on the optical flow of the image in the forward direction of the operator OP imaged by the camera.
  • the operator OP wearing the HMD 30 cannot visually recognize the front, for example, a part of the front image captured by the small camera is displayed on the sub monitor of the HMD 30 or the display of the display unit of the HMD 30 is displayed forward. By switching to the image, there is an advantage that the operator OP can check the situation ahead.
  • the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit of the present invention.
  • the case where a gyro sensor or a small camera is used as the second posture detection unit has been described as an example.
  • the present invention is not limited to this, for example, in an environment that is not easily affected by a magnetic field.
  • a magnetic sensor may be used as the second posture detection unit in an environment where it is not necessary to consider the influence of the magnetic field.
  • the specific configurations of the holding arm unit 10 and the endoscope 24 are not limited to the above-described embodiments, and the holding arm unit 10 and the endoscope 24 having other specific configurations may be used. Good.
  • the display unit that displays an image based on the image signal from the imaging unit of the endoscope 24 has been described as being displayed by the HMD 30, the present invention is not limited to this.
  • the display unit may display using a known display unit such as a general liquid crystal monitor.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡操作システムは、内視鏡２４、内視鏡２４の先端部を上下左右前後方向に移動可能に支持すると共に自転可能に支持する保持アームユニット１０、内視鏡２４の撮像部からの画像信号に基づく画像を表示する表示部、操作者ＯＰの頭部に取り付けられるジャイロセンサ２、操作者ＯＰの胴部に取り付けられるジャイロセンサ３、内視鏡２４の先端部の移動方向および速度を制御する制御ユニット４０を備える。制御ユニット４０は、ジャイロセンサ３により検出した操作者ＯＰの上体の傾斜変位に基づく角速度から操作者ＯＰの首位置の前後方向の並進速度を算出し、当該算出した操作者ＯＰの首位置の前後方向の並進速度と、ジャイロセンサ２により検出した操作者ＯＰの頭部の姿勢の動き情報と、に基づいて目標速度ベクトルを算出する。

Description

内視鏡操作システム
　本発明は内視鏡操作システムに関する。
　外科手術において、術後の回復が速く、手術の際の傷口が小さい等の利点から開腹手術に代えて内視鏡手術が広く行われている。このような内視鏡手術においては、遠隔操作が可能なマスタスレーブ型の内視鏡操作システムが提案されている。
　このような内視鏡操作システムは、例えば、特許文献１にも示されるように、内視鏡のズームレンズの拡大率が、ヘッドマウントディスプレイ（以下、ＨＭＤともいう）内に設けられ手術者の頭の移動を検出する姿勢センサからの検出出力に基づいて制御されるものとされる。また、手術者の頭の移動は、磁界を発生する磁気ソースに対する姿勢センサの変位として取り出される。これにより、例えば、手術者が患者に対し左を向けば、内視鏡の固体撮像素子を通じて得られた撮像データに基づく左の画像がＨＭＤ内の一対の液晶モニタに映され、手術者が患者に近づいた場合、ズームレンズにより拡大された視野が得られることとなる。従って、手術者は、内視鏡が挿入された体腔内を立体的に観察できることとなる。
　また、非特許文献１に開示される内視鏡把持装置においては、５節リンク機構と、腹壁を貫通するトロッカーを腹壁部で保持するボールジョイント部と、リンク機構を駆動させる駆動部および操作部とにより内視鏡把持装置が構成されているものが提案されている。かかる構成においては、内視鏡の一種である腹腔鏡は、ズーム式で、画面の遠近を素早く切り替えることができ、また、コントローラスイッチにより、ズーム式の腹腔鏡が手術者の欲する位置に迅速に移動可能とされる。
特開平１０－３０９２５８号公報
医療用内視鏡把持装置「Ｎａｖｉｏｔ」、カタログ、日立ハイブリッドネットワーク（株）発行
　非特許文献１などに開示される内視鏡操作システムでは、ズーム操作は、例えば、音声指令や手元または足元のスイッチにより行われている。このため、術者はこれらのズーム操作方法を予め覚える必要があり、術中ズーム操作を行う際には、手術手技からズーム操作に意識を切り替えなければならない。このため、作業の効率に改善の余地があるだけでなく、誤操作のリスクもある。
　そこで、ズーム操作を日常動作と同様に顔を前後に移動させることで行うことができれば、非常に直感的であると考えられる。このためには、何らかの方法で頭部の並進運動を検出する必要がある。頭部の並進運動を検出する手段として、光学式または磁気式の３次元検出装置を用いる方法があるが、操作者の頭部にマーカー等を取り付ける他、外部にセンサを固定する必要がある。このため、外部センサと操作者の位置関係に制限があるだけでなく、信号の遮蔽や他の機器との干渉の問題がある。一方、操作者の頭部に加速度センサを取り付け、この出力を積分することによって速度を求めることも理論上は可能であるが、重力加速度補償の誤差やゼロ点のずれ、ノイズなどによって、正確に速度を求めることは困難である。
　なお、特許文献１に開示される内視鏡操作システムは、ＨＭＤに磁気センサを取り付け、磁気の変化により術者の頭の移動を検出する方法を採用しており、磁場の影響を受けることから、ＭＲＩ環境下ではその使用が困難である。また、湾曲内視鏡の上下、左右、ズームをＨＭＤにより操作することを想定している。
　本出願は、このような問題点を解決するためになされたものであり、簡易かつ直感的に内視鏡の視野のズーム操作が可能な内視鏡操作システムを提供することを目的とする。
　一実施の形態において、内視鏡操作システムは、先端部に撮像部を有する内視鏡と、前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する保持アームユニットと、前記内視鏡の撮像部からの画像信号に基づく画像を表示する表示部と、操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第１の姿勢検出部と、前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第２の姿勢検出部と、前記内視鏡の先端部における目標速度ベクトルを算出し、当該算出した目標速度ベクトルに追従するように前記内視鏡の先端部の移動方向および速度を制御する制御ユニットと、を備え、前記制御ユニットは、前記第２の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度と、前記第１の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、ことを特徴とするものである。
　本発明により、簡易かつ直感的に内視鏡の視野のズーム操作が可能な内視鏡操作システムを提供することができる。
本発明の特徴構成および着目点を説明するための概略図である。 実施の形態１に係る内視鏡操作システムの全体構成を手術者とともに概略的に示す図である。 実施の形態１に係る内視鏡操作システムの一例に用いられる保持アームユニットを示す図である。 実施の形態１に係る内視鏡操作システムの一例の全体構成を示すブロック図である。 実施の形態１に係る上体の前後方向の傾斜角速度の検出を説明するための概略図である。 実施の形態３に係る頭部全体の上下方向の動きの検出を説明するための概略図である。
　実施の形態１．
　以下、図面を参照して本発明の実施の形態について説明する。
　図１を参照して、本発明の特徴となる構成およびその着目点について簡単に説明する。本実施の形態に係る内視鏡操作システムの一例においては、日常動作と同様に頭を前後方向に並進移動させることによって、ズームなどの視野の並進操作を手や足を用いずに直感的に実現するものである。多くの場合、頭部を前後移動させる際には上体ごと傾けることから、頭部の並進運動を直接検出するのではなく、操作者（手術者ＯＰ）の例えば胸部にジャイロセンサなどの姿勢検出部を取り付けることによって上体の傾斜角速度を検出し、この検出出力値を用いて視野の並進操作を実現する。
　例えば図１に示すように、ジャイロセンサ３などの姿勢検出手段を手術者ＯＰの胸部に取り付け、これによって上体の傾斜角速度を検出する。そして、この検出した上体傾角速度から頭部の前後方向の並進速度を計算し、ズーム操作などの指令値として用いる。例えば、上体を前方に傾斜させた場合には視野をズームイン（ｚｏｏｍ　ｉｎ）させ、上体を後方に傾斜させた場合には視野をズームアウト（ｚｏｏｍ　ｏｕｔ）させる。
　簡易かつ直感的に内視鏡の視野のズーム操作を可能とする内視鏡操作システムを実現するために、本出願の発明者は、人間が頭部を前後左右に自然に並進運動させる際には、首から上だけの動きではなく上体から傾斜させる点に着目した。この上体の運動そのものは並進運動ではなく腰付近を中心とする回転運動であることから、その回転運動の速度はジャイロセンサ３などを上体部分に取り付けることによって容易に検出することができる。この上体傾斜角速度から頭部の前後方向における並進速度を算出することができ、ズーム操作などの指令値として用いることができる。さらに、後述するように、これと頭部に取り付けられたジャイロセンサの出力を組み合わせることによって、少なくとも頭部の５自由度の運動を検出することができる。
　図２は、本実施の形態に係る内視鏡操作システムの一例の構成を、手術者ＯＰとともに示す。
　図２において、内視鏡操作システムは、内視鏡２４と、内視鏡２４を保持するとともに内視鏡２４の姿勢を制御する保持アームユニット１０と、手術者ＯＰの頭部に着脱可能に装着されるヘッドマウントディスプレイ３０（以下、ＨＭＤ３０ともいう）と、を主な要素として含んで構成されている。
　内視鏡２４は、例えば、体内に挿入される先端部に撮像部を有する柔軟な挿入部と、光学系の制御を行う操作部（不図示）と、操作部に接続され光源等を操作部に接続する接続部（不図示）とを含んで構成されている。
　撮像部は、対物レンズ等からなる光学部と、固体撮像素子と、撮像部により得られる画像を拡大または縮小すべく光学部のレンズを制御するアクチュエータを含むズーム機構部とを含んで構成される。その撮像部のズーム機構部は、後述する内視鏡コントローラ６０により制御される。挿入部の先端部における対物レンズに隣接してライトガイドが設けられている。ライトガイドは、上述の光源から導かれた光により体内を照らすものとされる。なお、内視鏡２４としては、硬性内視鏡及び軟性内視鏡を採用することができる。
　ＨＭＤ３０は、図２に示されるように、手術者ＯＰの頭部に装着されている。ＨＭＤ３０は、手術者ＯＰの顔の正面に向き合って手術者ＯＰの両眼に対応した位置にそれぞれ左右一対の表示部（不図示）を備えている。表示部は、例えば、３Ｄ形式のカラー画像を表示するものとされる。なお、表示部は、かかる例に限られることなく、例えば、２Ｄ形式の白黒画像を表示するものでもよい。
　ＨＭＤ３０全体が、手術者ＯＰの頭部の動きに追従することとなる。即ち、ＨＭＤ３０においては、図２において矢印で示されるように、手術者ＯＰ側から見た場合、首を中心軸線とした右向き（時計回り方向）の回転（右回旋）、首を中心軸線とした左向き（反時計回り方向）の回転（左回旋）、首に対し縦方向の回転（屈曲、伸展）、首に対し右方向への傾動（右側屈）、首に対し左方向への傾動（左側屈）の移動が可能である。
　保持アームユニット１０は、内視鏡２４の先端部を、上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する。保持アームユニット１０は、手術者ＯＰから離隔した手術台に隣接した架台（不図示）に後述するベーンモータユニット１６のブラケット（不図示）を介して支持されている。保持アームユニット１０は、図２および図３に示されるように、内視鏡２４を回動可能に支持するベーンモータ２０を移動可能に支持するシャーシと、そのシャーシに固定され内視鏡２４およびベーンモータ２０を患者に対し近接または離隔させる空気圧シリンダー１８と、上述のシャーシに一端部が支持される平行リンク機構１４を介して支持されるベーンモータユニット１６と、ベーンモータユニット１６の出力軸に連結されるタイミングベルトプーリ、および、タイミングベルト２２を介して回動されることにより、上述のシャーシ全体を回動させる回転軸部と、平行リンク機構１４を駆動させる空気圧シリンダー１２を主な要素として含んで構成されている。
　平行リンク機構１４は、一部を構成するリンク部材の一端が回転軸部に連結され他端部がシャーシに連結されている。これにより、例えば、平行リンク機構１４に連結される空気圧シリンダー１２のロッドが伸長状態のとき、図３においてシャーシが回転軸部の下端を中心として時計回り方向に回動され、一方、空気圧シリンダー１２のロッドが縮小状態のとき、図３においてシャーシが回転軸部の下端の回転中心に対し反時計回り方向に回動される。即ち、後述するように、内視鏡２４の撮像部がＨＭＤ３０における手術者ＯＰの首に対し頭部の縦方向の回転（屈曲、伸展）に対応した方向に回転中心点ＧＰを中心として移動可能である。回転中心点ＧＰは、後述する回転軸部の回転軸線Ｇと共通の直線上にあって患者の体壁近傍に位置する。回転軸線Ｇは、保持アームユニット１０においてとられる図３における直交座標系のＬｘ座標軸に対し平行となるように設定されている。Ｌｘ座標軸は、患者の体壁に直交する方向に設定され、座標軸Ｌｚは、Ｌｘ座標軸に対し直角となるように設定されている。
　空気圧シリンダー１８は、そのロッドが内視鏡２４の中心軸線と略平行となるようにシャーシに支持されている。空気圧シリンダー１８のロッドが伸長状態のとき、図３において内視鏡２４の撮像部およびベーンモータ２０が患者に対し離隔する方向にシャーシに対し移動せしめられ、一方、空気圧シリンダー１８のロッドが縮小状態のとき、図３において内視鏡２４の撮像部およびベーンモータ２０が患者に対し近接する方向にシャーシに対し移動せしめられる。即ち、後述するように、内視鏡２４の撮像部が手術者ＯＰの上体の前後方向の傾斜に対応した方向に移動可能である。
　ベーンモータユニット１６に並設される回転軸部におけるその中心軸線に沿った所定の間隔、離隔した位置には、平行リンク機構１４を構成するリンク部材の一端がそれぞれ連結されている。その回転軸部は、回転軸線Ｇの回りにベーンモータユニット１６に回動可能に支持されている。これにより、ベーンモータユニット１６が作動状態とされる場合、内視鏡２４の撮像部およびベーンモータ２０が回転軸線Ｇの回りに回動可能とされる。即ち、後述するように、内視鏡２４の撮像部がＨＭＤ３０における手術者ＯＰの頭部の首回りの回旋に対応した方向に移動可能である。
　また、内視鏡２４における操作部近傍は、ベーンモータ２０により回動可能に支持されている。これにより、内視鏡２４の撮像部がベーンモータ２０の回転中心軸線回りに所定の角度だけ自転（ロール）可能とされる。即ち、後述するように、内視鏡２４の撮像部がＨＭＤ３０における手術者ＯＰの頭部の側屈に対応した方向に移動可能である。
　このように、内視鏡２４の撮像部は、ＨＭＤ３０における手術者ＯＰの首に対し頭部の縦方向の回転（屈曲、伸展）に対応した方向に回転中心点ＧＰを中心として移動可能である。また、内視鏡２４の撮像部は、ＨＭＤ３０における手術者ＯＰの頭部の首回りの回旋に対応した方向に移動可能である。また、内視鏡２４の撮像部は、ＨＭＤ３０における手術者ＯＰの頭部の側屈に対応した方向に移動可能である。また、内視鏡２４の撮像部は、手術者ＯＰの上体の前後方向の傾斜に対応した方向に移動可能である。即ち、保持アームユニット１０は、内視鏡２４の撮像部の移動に関して、手術者ＯＰの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動の少なくとも４自由度を実現することができる。
　さらに、本実施の形態に係る内視鏡操作システムの一例においては、図４に示されるように、ジャイロセンサ２と、ジャイロセンサ３と、保持アームユニット１０の動作制御を行う制御ユニット４０およびバルブユニット５８と、内視鏡コントローラ６０と、オンオフ切替用フットスイッチ５０と、を備えている。
　本実施の形態に係る内視鏡操作システムの一例においては、保持アームユニット１０には内視鏡２４が取り付けられており、内視鏡２４により撮像された画像がＨＭＤ３０に映し出される。そして、本実施の形態に係る内視鏡操作システムの一例においては、ＨＭＤ３０に取り付けられたジャイロセンサ２と手術者ＯＰの胸部に取り付けられたジャイロセンサ３を用いることにより手術者ＯＰの頭部に関する動きを検出し、検出した動きに追従するように保持アームユニット１０を同期して動作させる。
　第１の姿勢検出部の一例としてのジャイロセンサ２は、上述したＨＭＤ３０に取り付けられている。ジャイロセンサ２は、上述したＨＭＤ３０の回旋、側屈、屈曲、および、伸展を検出することにより、手術者ＯＰの頭部の姿勢変位に基づく角速度を検出する。ジャイロセンサ２からの検出出力は、後述する制御ユニット４０に供給される。なお、第１の姿勢検出部として用いるセンサはこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第１の姿勢検出部として磁気センサを利用するものとしてもよい。また、ジャイロセンサのゼロ点補正を行うために、ジャイロセンサに磁気センサあるいは加速度センサを組み合わせて構成してもよい。また、ジャイロセンサ２を取り付ける位置はＨＭＤ３０に限定されず、手術者ＯＰの頭部の他の位置に取り付けてもよい。
　第２の姿勢検出部の一例としてのジャイロセンサ３は、手術者ＯＰの胸部に取り付けられている。ジャイロセンサ３は、手術者ＯＰの上体の前後および左右方向における傾斜角速度を検出することにより、手術者ＯＰの上体の傾斜変位に基づく角速度を検出する。なお、第２の姿勢検出部として用いるセンサはこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第２の姿勢検出部として磁気センサを利用するものとしてもよい。また、ジャイロセンサのゼロ点補正を行うために、ジャイロセンサに磁気センサあるいは加速度センサを組み合わせて構成してもよい。また、ジャイロセンサ３を取り付ける位置は手術者ＯＰの胸部に限定されず、例えば手術者ＯＰの腹部に取り付けてもよいし、手術者ＯＰの胴部の傾斜角速度を検出可能な位置であれば、手術者ＯＰの胴部の任意の位置に取り付けてよい。ジャイロセンサ３からの検出出力は、後述する制御ユニット４０に供給される。また、ジャイロセンサ２およびジャイロセンサ３のそれぞれから制御ユニット４０に供給される検出出力は、例えばＣＡＮ通信を介して制御ユニット４０に供給される。
　内視鏡コントローラ６０は、操作部からの指令信号群に基づいて内視鏡２４のズーム機構部、光源の動作制御を行うと共に、内視鏡２４の固体撮像素子から得られた撮像データＤＤに基づいて所定の画像処理を行う。また、内視鏡コントローラ６０は、撮像データに基づいて所定の画像処理を行い、画像データを形成してそれを制御ユニット４０およびＨＭＤ３０に供給する。これにより、内視鏡コントローラ６０からの画像データに基づく画像が、ＨＭＤ３０の表示部に３Ｄ形式で表示される。
　制御ユニット４０には、ＨＭＤ３０におけるジャイロセンサ２からの手術者ＯＰの頭部の上述した各方向の角速度ベクトルをあらわす信号群ＧＳ１、ジャイロセンサ３からの手術者ＯＰの上体の上述した各方向の角速度ベクトルをあらわす信号群ＧＳ２、およびオンオフ切替用フットスイッチ５０からの保持アームユニット１０の動作停止命令をあらわす指令信号Ｃｆが供給される。
　制御ユニット４０は、ベーンモータユニット１６、ベーンモータ２０、空気圧シリンダー１２および空気圧シリンダー１８の空気圧制御についてのプログラムデータ、内視鏡コントローラ６０からの画像データ、制御ユニット４０による演算結果をあらわすデータ等を格納する記憶部（不図示）を備えている。
　制御ユニット４０は、上述の保持アームユニット１０におけるベーンモータユニット１６、ベーンモータ２０、空気圧シリンダー１２および空気圧シリンダー１８を制御するための制御信号を形成し、それをバルブユニット５８に供給する。これにより、バルブユニット５８は、制御ユニット４０からの制御信号に基づいて各バルブを制御し、空気供給源からの作動空気を保持アームユニット１０におけるベーンモータユニット１６、ベーンモータ２０、空気圧シリンダー１２および空気圧シリンダー１８に供給する。
　制御ユニット４０は、内視鏡２４の挿入部における患者の体内への挿入量および速度制御を行うとともに、内視鏡２４の撮像部の姿勢制御を行うように、保持アームユニット１０に動作を行わせる。
　制御ユニット４０は、ＨＭＤ３０におけるジャイロセンサ２からの手術者ＯＰの頭部の上述した各方向の角速度ベクトルをあらわす信号群ＧＳ１と、ジャイロセンサ３からの手術者ＯＰの上体の上述した各方向の角速度ベクトルをあらわす信号群ＧＳ２と、に基づいて内視鏡２４の撮像部の目標速度値を算出する。制御ユニット４０は、目標速度値に基づいて内視鏡２４の撮像部がその目標速度値に追従するように、保持アームユニット１０の空気圧シリンダー１２、１８、および、ベーンモータ１６に動作を行わせるべく、制御データを形成しそれをバルブユニット５８に供給する。
　以下、制御ユニット４０による、内視鏡２４の撮像部の目標速度値の設定方法をより具体的に説明する。
　制御ユニット４０は、先ず、ジャイロセンサ２からの角速度ベクトルをあらわす信号群ＧＳ１に基づいて、角速度指令ベクトルωｃｍｄを次式により算出する。即ち、制御ユニット４０は、ジャイロセンサ２から得られた頭部の角速度ベクトルωｓ１に、所定の係数行列Ｋｒを乗算することによって、角速度指令ベクトルωｃｍｄを算出する。
　ωｓ１は、ＨＭＤ３０のジャイロセンサ２により検出される頭部の角速度ベクトルである。ここで、座標系は、頭部に固定された座標系を用いる。図２に示す手術者ＯＰの首の中心軸をｙ軸とし、手術者ＯＰの左右方向をｘ軸とし、手術者ＯＰの前後方向をｚ軸とする。
　角速度ベクトルωｓ１は、頭部に固定された座標系における、ｚ軸およびｙ軸平面内での手術者ＯＰの頭部の前後方向への傾斜角速度（手術者ＯＰの首に対し頭部の縦方向の回転に対応した方向における角速度）、ｚ軸およびｘ軸平面内でのｙ軸を中心軸とした手術者ＯＰの頭部の回転角速度（手術者ＯＰの頭部の首回りの回旋に対応した方向における角速度）、ｘ軸およびｙ軸平面内での手術者ＯＰの頭部の左右方向への傾斜角速度（手術者ＯＰの頭部の側屈に対応した方向における角速度）を含む３次元ベクトルである。
Figure JPOXMLDOC01-appb-M000002
　係数行列Ｋｒは、３行３列の対角行列であり、速度ゲインを表す所定の係数が対角成分に予めそれぞれ設定される。角速度に定数Ｋｒをかけることで動きの感度をユーザの好みに合わせて設定することができる。この定数Ｋｒは、方向ごとに異なる値を設定することができる。Ｋｒは、関数でもよい。
Figure JPOXMLDOC01-appb-M000003
　次に、制御ユニット４０は、角速度指令ベクトルωｃｍｄをリミッタにより所定の制限値ωｌｉｍに設定する。即ち、角速度指令ベクトルωｃｍｄが制限値ωｌｉｍよりも超える場合、角速度指令ベクトルω'ｃｍｄを制限値ωｌｉｍに設定され、角速度指令ベクトルωｃｍｄが制限値ωｌｉｍ以下の場合、角速度指令ベクトルω'ｃｍｄが、その角速度指令ベクトルωｃｍｄに設定される。これは、保持アームユニット１０の動作が過剰な速度で動作し、撮像部により内臓を傷めないようにするためである。なお、角速度指令ベクトルω'ｃｍｄの値のデータは、記憶部に格納される。
　続いて、制御ユニット４０は、次式に従い角速度指令ベクトルω'ｃｍｄを変換行列Ｔにより保持アームユニット１０のローカル座標（Ｌｘ，Ｌｙ，Ｌｚ）（図３参照）に変換し、さらに行列Ｒを乗算して、内視鏡２４の先端部における直交座標系（Ｃｘ，Ｃｙ，Ｃｚ）（図３参照）の角速度指令ベクトルω''ｃｍｄを求める。直交座標系において座標軸Ｃｚは、内視鏡２４の挿入部の中心軸線に沿って、即ち、内視鏡２４の撮像部の進行方向または後退方向に沿ってとられている。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　行列Ｒは、内視鏡２４の姿勢を表し、保持アームユニット１０の関節変位ｑ（図３におけるｑ１、ｑ２、ｑ４参照）から順運動学演算によって逐次得られる。ここで、Ｅは回転行列を表す。
　これにより、ＨＭＤ３０における表示部の画面内の上下左右方向と手術者ＯＰの頭部の上下左右が常に一致することとなる。即ち、ＨＭＤ３０における頭部に固定された座標系と内視鏡２４の先端に固定された座標系が一致することとなる。従って、ＨＭＤ３０における表示部に表示される画像が、手術者ＯＰの頭部の動きに追従することとなる。
　なお、上述の例においては、角速度指令ベクトルω'ｃｍｄを変換行列Ｔにより保持アームユニット１０のローカル座標（Ｌｘ，Ｌｙ，Ｌｚ）に変換し、さらに行列Ｒを乗算して、内視鏡２４の先端部における直交座標系（Ｃｘ，Ｃｙ，Ｃｚ）の角速度指令ベクトルω''ｃｍｄを求めていたが、かかる例に限られることはない。保持アームユニット１０のローカル座標（Ｌｘ，Ｌｙ，Ｌｚ）から、内視鏡２４の先端部における直交座標系（Ｃｘ，Ｃｙ，Ｃｚ）への変換を省略することもできる。例えば、ＨＭＤ３０における表示部に表示される画像を外部のＣＲＴ画像として見る場合などで、このＣＲＴ画像とＣＴ画像との重ね合わせができるようにするために、保持アームユニット１０のローカル座標（Ｌｘ，Ｌｙ，Ｌｚ）から、内視鏡２４の先端部における直交座標系（Ｃｘ，Ｃｙ，Ｃｚ）への変換を省略することもできる。
　続いて、制御ユニット４０は、次式に従い、内視鏡２４の先端部における直交座標系の角速度指令ベクトルω''ｃｍｄを、内視鏡２４の先端部（撮像部）の目標速度ベクトルｖｘｙに変換する。即ち、角速度指令ベクトルω''ｃｍｄは、保持アームユニット１０の回転中心ＧＰから内視鏡２４の先端までのベクトルｌ３と外積をとることで、直交座標系（Ｃｘ，Ｃｙ，Ｃｚ）における内視鏡２４の先端部の目標速度の上下、左右方向の成分ｖｘｙに変換される。
Figure JPOXMLDOC01-appb-M000006
　続いて、制御ユニット４０は、内視鏡２４の撮像部における体内への挿入量に応じて撮像部の速度を変更可能とするように調節するために目標速度ベクトルｖｘｙに対し演算を次式により行う。これにより、内視鏡２４の撮像部における体内への進行方向の挿入量が増大するとき、内視鏡２４の撮像部の目標速度ベクトルｖ'ｘｙが大となり、一方、内視鏡２４の撮像部における挿入量が減少するとき、即ち、内視鏡２４の撮像部が体内から引き抜かれるとき、内視鏡２４の撮像部の目標速度ベクトルｖ'ｘｙが小となる。
Figure JPOXMLDOC01-appb-M000007
　内視鏡２４の先端の挿入量をあらわすｑ３（図３参照）に依存した係数ｒｘｙを上式のようにそれぞれのｖｘｙの値に乗算することで、画面の移動量の挿入度に対する依存度が調節される。これにより、頭の回転による視界の移動量を調節できる。例えば、頭を回転させたときの注視対象物の画面上での移動量を、ズーム位置によらずほぼ一定にすることなどができる。そのため操作の直感性が向上する。
　ここで、ｒｘｙは、定数であり、ｖｘｙの値の正負が反転しない範囲で設定される。但し、ｑ３は、中間位置から内視鏡を挿入する方向を正、引き抜く方向を負とする。図３におけるｑ３の可動範囲の中央を中間位置とし、中間位置を０にとっている。なお、ｒｘｙは、関数でもよい。
　また、制御ユニット４０は、ジャイロセンサ３からの角速度ベクトルをあらわす信号群ＧＳ２に基づいて、内視鏡２４の撮像部におけるＣｚ座標軸（図３参照）に沿った目標速度ベクトルを算出する。このため、制御ユニット４０は、先ず、ジャイロセンサ３からの角速度ベクトルをあらわす信号群ＧＳ２に基づいて、絶対座標系における首位置の速度ベクトルｖｈを次式により算出する。即ち、上体の角速度ベクトルωｓ２は、手術者ＯＰの腰から首位置までのベクトルｌ'の外積をとることで、絶対座標系における首位置の速度指令ベクトルｖｈに変換される。
Figure JPOXMLDOC01-appb-M000008
　本実施の形態に係る内視鏡操作システムの一例においては、頭部の前後方向の移動速度を首位置の前後方向の並進速度として見なし、頭部の前後方向の移動速度は、実際には首部分の前後方向の移動速度として求める。
　図５に示すように、ωｓ２は、腰回りの上体の回転運動によって生じる回転速度をあらわし、胸部のジャイロセンサ３により検出される上体の角速度ベクトルである。ここで、座標系は、図５において鉛直上方向をｙ軸とし、ｙ軸と直交する手術者ＯＰの右方向をｘ軸とし、ｙ軸およびｘ軸と直交する手術者ＯＰの前方向をｚ軸とする。この絶対座標系は、図５において、手術者ＯＰの上体が傾斜した場合においても、そのy軸は、常に鉛直上向きである。
　角速度ベクトルωｓ２は、上記絶対座標系における、ｚ軸およびｙ軸平面内での手術者ＯＰの上体の前後方向への傾斜角速度（手術者ＯＰの上体の前後方向の傾斜に対応した方向における角速度）、ｚ軸およびｘ軸平面内でのｙ軸を中心軸とした手術者ＯＰの上体の回転角速度、ｘ軸およびｙ軸平面内での手術者ＯＰの上体の左右方向への傾斜角速度を含む３次元ベクトルである。なお、後述するように、内視鏡２４の先端部を前後方向に移動させるズーム操作に関しては、角速度ベクトルωｓ２の成分のうち、手術者ＯＰの上体の前後方向への傾斜角速度成分を用いる。
　続いて、制御ユニット４０は、次式に従い、首位置の速度指令ベクトルｖｈを変換行列Ｒ'により手術者ＯＰの頭部に固定された座標系に変換し、首位置の目標速度ベクトルｖｈ'を求める。ここで、座標系は、頭部に固定された座標系を用いる。図５に示す手術者ＯＰの頭の中心軸をｙ軸とし、手術者ＯＰの左右方向をｘ軸とし、手術者ＯＰの前後方向をｚ軸とする。
Figure JPOXMLDOC01-appb-M000009
　なお、頭部の傾斜角が小さく、変換行列Ｒ'が単位行列に近い場合には、式（９）の変換演算を省略するものとしてもよい。また、厳密な計算を必要とする場合にのみ、式（９）の変換演算を実行するものとしてもよい。
　首位置の目標速度ベクトルｖｈ'は、頭部に固定された座標系における、ｙ軸方向における手術者ＯＰの上下方向への頭部の移動速度、ｚ軸方向における手術者ＯＰの前後方向への頭部の移動速度、ｘ軸方向における手術者ＯＰの左右方向への頭部の移動速度を含む３次元ベクトルである。
　後述するように、本実施の形態に係る内視鏡操作システムの一例においては、内視鏡２４の先端部を前後方向に移動させるズーム操作に関して、首位置の目標速度ベクトルｖｈ'の成分のうちで、手術者ＯＰの前後方向への頭部の移動速度を用いて、内視鏡２４の先端部を前後方向に移動させるズーム操作の指令値を算出する。
　なお、ベクトルｌ'や変換行列Ｒ'は、上体および頭部の傾斜角度から求めることができる。上体および頭部の傾斜角度は、例えばジャイロセンサ２、３から得られる角速度を積分することや、地磁気センサの出力などから求めることができる。また、実際の操作においては、これらの傾斜角を十分に小さいものとして０°に近似して設定してもよく、このように設定した場合にあっても、操作に違和感を与えることはない。
　続いて、制御ユニット４０は、得られた首位置の目標速度ベクトルｖｈ'を、次式に従い内視鏡２４の先端部（撮像部）の目標速度ベクトルｖｈ''に変換する。これにより、頭の前後の動きと内視鏡２４の先端部（撮像部）の前後の動きを一致させることができる。但し、行列Ｒおよび変換行列Ｔは、上述の式と同様である。
Figure JPOXMLDOC01-appb-M000010
　制御ユニット４０は、得られた内視鏡２４の先端部（撮像部）の目標速度ベクトルｖｈ''の成分のうちで、手術者ＯＰの前後方向への頭部の移動速度に対応する成分を用いて、最終的な内視鏡の先端部（撮像部）の目標速度値を求める。
　なお、目標速度ベクトルｖｈ''の成分のうちで、手術者ＯＰの前後方向への頭部の移動速度に対応する成分について、所定の係数などをさらに掛けるなどの処理を行ってもよい。
　そして、制御ユニット４０は、「ジャイロセンサ２に基づいて得られる内視鏡２４の先端部（撮像部）の目標速度ベクトルｖｘｙ」と、「ジャイロセンサ３に基づいて得られる内視鏡２４の先端部（撮像部）の目標速度ベクトルｖｈ''」とを加算する。ただし、目標速度ベクトルｖｈ''については、「手術者ＯＰの前後方向への頭部の移動速度に対応する成分」のみを加算する。これにより、制御ユニット４０は、上下左右方向と前後方向の速度成分を加算して、最終的な内視鏡２４の先端（撮像部）の目標速度値を算出する。
　なお、上述の例においては、手術者の頭部の回転速度のうちロール成分（首を傾げる動作）は、上述の角速度指令ベクトルω'ｃｍｄのロール成分を、直接、内視鏡のロールｑ４の目標速度として与えられているが、かかる例に限られることない。また、この動作は無効にしてもよい。
　オンオフ切替用フットスイッチ５０を使用することにより発生する効果は、つぎのようなものがある。内視鏡２４を動作させたくないときにはスイッチをオフにしておけば、頭および上体を自由に動かすことができる。また、例えば、スイッチをオンにして内視鏡２４を右に動かす際、自分の頭が右の可動限界に達した場合でも、スイッチをオフにして頭を左に戻してからスイッチをオンにすることで、さらに内視鏡２４を右に動かすことができる。また、スイッチをオンにしない限り内視鏡２４が頭の動きに連動することはないので、予期せぬ動作を避けることができる。
　以上に説明したように、本実施の形態に係る内視鏡操作システムの一例によれば、頭部のジャイロセンサ２に加えてジャイロセンサ３を胸部にも取り付け、ジャイロセンサ２により頭部の動きを検出すると共に、ジャイロセンサ３により検出される上体の前後方向の傾斜から頭部の前後方向の速度を求め、これら動き情報に基づいて、内視鏡２４の上下左右方向の移動および内視鏡２４の軸周りの回転移動、並びに内視鏡２４の前後方向の移動を実現するための内視鏡２４の先端部の目標速度値を算出し、保持アームユニット１０に指示する。これによって、簡易かつ直感性に優れた内視鏡２４の視野の操作を実現することができる。
　また、本実施の形態に係る内視鏡操作システムの一例によれば、視野の操作において、手術者ＯＰの手自体を使用せずに操作可能な自由度が増えるために、例えばズーム操作用フットスイッチなどの従来必要であった入力機器を省略することができる。また、頭部の動きに追従する視野の並進操作を実現できるため、操作の直感性が飛躍的に増加すると共に、誤操作のリスクを低減することができる。
　従って、本実施の形態に係る内視鏡操作システムの一例によれば、以下の効果を奏することができる。
　１．信号遮断やノイズ、セッティングの観点から、外部へのセンサ設置が不要であること。
　２．手を使わずに全ての操作を行えること。
　３．操作手順を意識することなく直感的に操作できること。
　４．フットスイッチの使用を最小限に留めること。
　即ち、本実施の形態に係る内視鏡操作システムの一例によれば、これらを全て満たすような、簡易かつ直感性に優れた、ズームなどの視野の並進操作方法を実現することができる。
　実施の形態２．
　上述した実施の形態１に係る内視鏡操作システムの一例によれば、図３に示した内視鏡２４はその先端部は常に伸長状態にあり、曲げるようには構成されていない。これに対して本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡２４はその先端部の少なくとも一部を屈曲させ曲げることが可能となるように構成されている。即ち、内視鏡２４の先端部の少なくとも一部は、回転軸線Ｇに対して左右方向に屈曲が可能である。
　保持アームユニット１０は、内視鏡２４の撮像部の移動に関する４自由度（手術者ＯＰの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動）に加えて、内視鏡２４の撮像部の屈曲による移動に関する１自由度（手術者ＯＰの上体の左右の動きに追従する左右方向への移動）についても実現することができる。即ち、保持アームユニット１０は、内視鏡２４の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、内視鏡２４の先端部の少なくとも一部を左右方向に屈曲可能に支持するように構成されている。
　制御ユニット４０は、実施の形態１において上述したのと同様の原理によって、上体のジャイロセンサ３によって、手術者ＯＰの上体の左右方向への傾斜角速度を検出することができる。そして、制御ユニット４０は、この検出した手術者ＯＰの上体の左右方向への傾斜角速度から、手術者ＯＰの首位置の左右方向の移動速度を算出することができる。さらに、制御ユニット４０は、この算出した首位置の左右方向の移動速度から、手術者ＯＰの左右方向の頭部の移動速度を算出することができる。制御ユニット４０は、内視鏡２４の先端部の少なくとも一部を屈曲させる操作の指令に関して、この算出した手術者ＯＰの左右方向の頭部の移動速度を用いる。例えば、制御ユニット４０は、手術者ＯＰが右方向に傾斜した場合には、この動きに追従して内視鏡２４の先端部の少なくとも一部を右方向に屈曲させ、手術者ＯＰが左方向に傾斜した場合には、この動きに追従して内視鏡２４の先端部の少なくとも一部を左方向に屈曲させる。
　このようにして、本実施の形態に係る内視鏡操作システムの一例によれば、先端部の少なくとも一部が屈曲可能な内視鏡２４に対して、その先端部の少なくとも一部の方向を左右方向に曲げることができると共に、実施の形態１で説明したようにして先端部自体をも平行移動させることが可能である。このような屈曲可能な内視鏡２４においては、その先端部を左右に移動させるために内視鏡２４の先端部全体を移動させることに代えて、先端部の少なくとも一部のみを屈曲させることで左右に向ける、ということが可能になる。
　実施の形態３．
　上述した実施の形態２に係る内視鏡操作システムの一例によれば、内視鏡２４の先端部の少なくとも一部は、回転軸線Ｇに対して左右方向に屈曲が可能である。本実施の形態に係る内視鏡操作システムの一例によれば、内視鏡２４の先端部の少なくとも一部は、左右方向に加えて、上下方向にも屈曲が可能である。
　保持アームユニット１０は、内視鏡２４の撮像部の移動に関する４自由度（手術者ＯＰの頭部および上体の動きに追従する上下、左右、回転、前後方向への移動）に加えて、内視鏡２４の撮像部の屈曲による移動に関する２自由度（手術者ＯＰの上体の左右の動きに追従する左右方向への移動、および手術者ＯＰの頭部全体の鉛直上下方向の動きに追従する上下方向への移動）についても実現することができる。即ち、保持アームユニット１０は、内視鏡２４の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、内視鏡２４の先端部の少なくとも一部を左右および上下方向に屈曲可能に支持するように構成されている。
　本実施の形態に係る内視鏡操作システムの一例においては、頭部全体の鉛直上下方向の移動速度を首位置の上下方向の並進速度として見なし、実際には、頭部全体の鉛直上下方向の移動速度は首部分の上下方向の移動速度として求める。首部分の上下方向の移動速度は、例えば、腰位置の上下方向の並進速度から求めることができる。そしてさらに、腰位置の上下方向の並進速度は、例えば、手術者ＯＰの膝の屈伸運動による腰の回転角速度から求める。
　第３の姿勢検出部の一例としてのジャイロセンサ４が、例えば図６に示すように、手術者ＯＰの膝部に取り付けられている。ジャイロセンサ４は、手術者ＯＰの膝の屈伸運動に基づく腰の回転角速度を検出する。なお、ジャイロセンサ４を取り付ける位置は手術者ＯＰの膝部に限定されず、手術者ＯＰの腰の回転角速度を検出可能な位置であれば、手術者ＯＰの大腿部あるいは下腿部の任意の位置に取り付けてよい。ジャイロセンサ４からの検出出力は、上述した制御ユニット４０に供給される。
　制御ユニット４０は、ジャイロセンサ４から検出した膝屈伸動作における腰の回転角速度θｋドット（式において、上部にドットを付して示す変数。）から、腰位置の並進速度ｖkについて、その鉛直方向における成分ｖkｙを近似的に算出する。なお、腰位置の並進速度ベクトルｖkの他の成分については０とすればよい。
Figure JPOXMLDOC01-appb-M000011
 　なお、膝の回転角度θｋは鉛直方向上方に対する膝屈伸運動による腰の回転角速度であり、手術者ＯＰが直立姿勢の場合には０度になる。また、ｌｋ１は足首から膝までの長さであり、ｌｋ２は膝から腰までの長さである。
　なお、（１１）式において腰の回転角速度θｋドットに掛かる係数は、次式のように一定値Ｋを掛けて算出してもよい。
Figure JPOXMLDOC01-appb-M000012
　これを上述した（８）式における首位置の速度ｖｈに加えることで、上述した（９）式を、次式に示すように置き換える。
Figure JPOXMLDOC01-appb-M000013
　このように、制御ユニット４０は、内視鏡２４の先端部の少なくとも一部を屈曲させる操作の指令に関して、この算出した手術者ＯＰの頭部全体の鉛直上下方向の移動速度を用いる。制御ユニット４０は、例えば、制御ユニット４０は、手術者ＯＰが屈伸運動により膝を屈曲させた場合には、この動きに追従して内視鏡２４の先端部の少なくとも一部を下方向に屈曲させ、手術者ＯＰが屈伸運動により膝を伸長させた場合には、この動きに追従して内視鏡２４の先端部の少なくとも一部を上方向に屈曲させる。
　このようにして、本実施の形態に係る内視鏡操作システムの一例によれば、上体の傾斜と独立した頭部全体の鉛直上下運動を検出することができ、この動きの検出値に従って、内視鏡２４の先端部の少なくとも一部を上下方向に屈曲させる。これにより、内視鏡２４の先端部の移動に関して、合計で６自由度を実現することができる。
　その他の実施の形態．
　上述した実施の形態１では、第２の姿勢検出部としてジャイロセンサを用いる場合を例に説明したが、本発明はこれに限定されず、第２の姿勢検出部として胴部の前面に取り付ける小型のカメラを利用してもよい。小型カメラを用いる場合には、当該カメラにより撮像した手術者ＯＰの前方方向における画像のオプティカルフローに基づいて、上体の前後方向の傾斜角速度を推定することができる。
　ＨＭＤ３０を装着している手術者ＯＰは前方を視認することはできないが、例えば、小型カメラにより撮像した前方画像の一部をＨＭＤ３０のサブモニターに表示させる、または、ＨＭＤ３０の表示部の表示を前方画像に切り替えることで、手術者ＯＰは前方の状況を確認することが可能になる、という利点がある。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態では、第２の姿勢検出部としてジャイロセンサあるいは小型カメラを用いる場合を例に説明したが、本発明はこれに限定されず、例えば、磁場の影響を受けにくい環境下あるいは磁場の影響を考慮する必要性の高くない環境下では、第２の姿勢検出部として磁気センサを利用するものとしてもよい。
　また、保持アームユニット１０および内視鏡２４の具体的構成は上記実施の形態に限られたものではなく、他の具体的構成を備える保持アームユニット１０および内視鏡２４を利用するものとしてもよい。
　また、内視鏡２４の撮像部からの画像信号に基づく画像を表示する表示部は、ＨＭＤ３０によって表示されるものとして説明したが、本発明はこれに限定されない。例えば、表示部は、一般的な液晶モニタなど、周知の表示手段を用いて表示するようにしてもよい。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年１１月７日に出願された日本出願特願２０１２－２４５７０３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
２、３、４　ジャイロセンサ
１０　保持アームユニット、
１２　空気圧シリンダー、
１４　平行リンク機構、
１６　ベーンモータユニット、
１８　空気圧シリンダー、
２０　ベーンモータ、
２２　タイミングベルト、
２４　内視鏡、
３０　ＨＭＤ、
４０　制御ユニット、
５０　オンオフ切換用フットスイッチ、
５８　バルブユニット、
６０　内視鏡コントローラ、

Claims (6)

  1. 　先端部に撮像部を有する内視鏡と、
    　前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持する保持アームユニットと、
    　前記内視鏡の撮像部からの画像信号に基づく画像を表示する表示部と、
    　操作者の頭部に取り付けられ当該操作者の頭部の姿勢変位に基づく角速度を検出する第１の姿勢検出部と、
    　前記操作者の胴部に取り付けられ当該操作者の上体の傾斜変位に基づく角速度を検出する第２の姿勢検出部と、
    　前記内視鏡の先端部における目標速度ベクトルを算出し、当該算出した目標速度ベクトルに追従するように前記内視鏡の先端部の移動方向および速度を制御する制御ユニットと、を備え、
    　前記制御ユニットは、
    　前記第２の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の前後方向への傾斜角速度成分に基づいて前記操作者の首位置の前後方向の並進速度を算出し、当該算出した前記操作者の首位置の前後方向の並進速度と、前記第１の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
    　ことを特徴とする内視鏡操作システム。
  2. 　前記制御ユニットは、
    　前記算出した前記操作者の首位置の前後方向の並進速度に基づいて、前記操作者の頭部の前後方向の並進速度を算出し、当該算出した前記操作者の頭部の前後方向の並進速度と、前記第１の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
    　ことを特徴とする請求項１に記載の内視鏡操作システム。
  3. 　前記内視鏡の先端部の少なくとも一部は左右方向に屈曲が可能であり、
    　前記保持アームユニットは、前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、前記内視鏡の先端部の少なくとも一部を左右方向に屈曲可能に支持し、
    　前記制御ユニットは、
    　前記第２の姿勢検出部により検出した前記操作者の前記上体の傾斜変位に基づく角速度のうちの前記上体の左右方向への傾斜角速度成分に基づいて前記操作者の首位置の左右方向の並進速度を算出し、当該算出した前記操作者の首位置の左右方向の並進速度と、前記第１の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
    　ことを特徴とする請求項１または２に記載の内視鏡操作システム。
  4. 　前記操作者の大腿部あるいは下腿部に取り付けられ当該操作者の膝の屈伸運動に基づく腰の角速度を検出する第３の姿勢検出部を更に備え、
    　前記内視鏡の先端部の少なくとも一部は上下方向に屈曲が可能であり、
    　前記保持アームユニットは、前記内視鏡の先端部を上下、左右、および前後方向に移動可能に支持すると共に自転可能に支持し、かつ、前記内視鏡の先端部の少なくとも一部を左右方向および上下方向に屈曲可能に支持し、
    　前記制御ユニットは、
    　前記第３の姿勢検出部により検出した前記操作者の前記膝の屈伸運動に基づく腰の角速度に基づいて鉛直方向における腰位置の並進速度を算出し、当該算出した前記鉛直方向における腰位置の並進速度と、前記算出した前記操作者の首位置の左右方向の並進速度と、前記第１の姿勢検出部により検出した前記操作者の前記頭部の姿勢の動き情報と、に基づいて前記目標速度ベクトルを算出する、
    　ことを特徴とする請求項３に記載の内視鏡操作システム。
  5. 　前記第２の姿勢検出部は、前記操作者の前記上体の傾斜変位に基づく角速度を検出するジャイロセンサである、
    　ことを特徴とする請求項１ないし４いずれか１項に記載の内視鏡操作システム。
  6. 　前記第２の姿勢検出部は、前記操作者の前記胴部の前面に取り付けられるカメラであり、当該カメラにより撮像した前記操作者の前方方向における画像のオプティカルフローに基づいて、前記上体の前後方向の傾斜角速度を推定する、
    　ことを特徴とする請求項１ないし４いずれか１項に記載の内視鏡操作システム。
PCT/JP2013/000738 2012-11-07 2013-02-12 内視鏡操作システム WO2014073122A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/439,547 US20150342442A1 (en) 2012-11-07 2013-02-12 Endoscope operation system
EP13853422.7A EP2918216B1 (en) 2012-11-07 2013-02-12 Endoscope operating system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-245703 2012-11-07
JP2012245703A JP5846385B2 (ja) 2012-11-07 2012-11-07 内視鏡操作システム

Publications (1)

Publication Number Publication Date
WO2014073122A1 true WO2014073122A1 (ja) 2014-05-15

Family

ID=50684253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000738 WO2014073122A1 (ja) 2012-11-07 2013-02-12 内視鏡操作システム

Country Status (4)

Country Link
US (1) US20150342442A1 (ja)
EP (1) EP2918216B1 (ja)
JP (1) JP5846385B2 (ja)
WO (1) WO2014073122A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155725A1 (ja) * 2013-03-29 2014-10-02 国立大学法人 東京工業大学 内視鏡操作システムおよび内視鏡操作プログラム
WO2014156250A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 マスタスレーブシステム
JP6347523B2 (ja) * 2013-08-08 2018-06-27 国立大学法人京都大学 身体の動作に基づく制御指令生成方法及び制御指令生成装置
US10265057B2 (en) * 2013-08-14 2019-04-23 Intuitive Surgical Operations, Inc. Endoscope control system
JP6358811B2 (ja) * 2014-02-13 2018-07-18 オリンパス株式会社 マニピュレータ及びマニピュレータシステム
US20160206179A1 (en) * 2015-01-15 2016-07-21 National Taiwan University Assistive robot endoscopic system with intuitive maneuverability for laparoscopic surgery and method thereof
CN106681488A (zh) * 2015-07-20 2017-05-17 谢培树 头操作的数字眼镜
JP6507252B2 (ja) * 2015-09-04 2019-04-24 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
WO2017160792A1 (en) * 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
CN107436679B (zh) * 2016-05-27 2020-08-07 富泰华工业（深圳）有限公司 手势控制系统及方法
EP3518730B1 (en) 2016-10-03 2024-04-17 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
CN117885097A (zh) * 2017-03-07 2024-04-16 直观外科手术操作公司 用于控制具有可铰接远侧部分的工具的系统和方法
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法
EP3705018A4 (en) * 2017-11-01 2020-10-14 Sony Corporation SURGICAL ARM SYSTEM AND SURGICAL ARM CONTROL SYSTEM
CN112104817B (zh) * 2019-05-29 2023-02-10 惠州拓邦电气技术有限公司 内窥镜及内窥镜采集图像旋转方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332169A (ja) * 1995-06-08 1996-12-17 Olympus Optical Co Ltd 体腔内観察装置
JPH10309258A (ja) 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP2001145634A (ja) * 1999-11-19 2001-05-29 Olympus Optical Co Ltd 内視鏡保持装置
JP2009285099A (ja) * 2008-05-28 2009-12-10 Tokyo Institute Of Technology 力覚提示機能を有する操縦システム
JP2011194163A (ja) * 2010-03-23 2011-10-06 Olympus Corp 医療用マニピュレータシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5436542A (en) * 1994-01-28 1995-07-25 Surgix, Inc. Telescopic camera mount with remotely controlled positioning
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
JPH11104064A (ja) * 1997-10-01 1999-04-20 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
JP5530234B2 (ja) * 2010-03-29 2014-06-25 オリンパス株式会社 操作入力装置およびマニピュレータシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08332169A (ja) * 1995-06-08 1996-12-17 Olympus Optical Co Ltd 体腔内観察装置
JPH10309258A (ja) 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP2001145634A (ja) * 1999-11-19 2001-05-29 Olympus Optical Co Ltd 内視鏡保持装置
JP2009285099A (ja) * 2008-05-28 2009-12-10 Tokyo Institute Of Technology 力覚提示機能を有する操縦システム
JP2011194163A (ja) * 2010-03-23 2011-10-06 Olympus Corp 医療用マニピュレータシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Naviot", HITACHI HYBRID NETWORK CO., LTD
See also references of EP2918216A4

Also Published As

Publication number Publication date
EP2918216B1 (en) 2017-04-12
EP2918216A1 (en) 2015-09-16
EP2918216A4 (en) 2016-06-15
JP5846385B2 (ja) 2016-01-20
JP2014094039A (ja) 2014-05-22
US20150342442A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
JP5846385B2 (ja) 内視鏡操作システム
JP5737796B2 (ja) 内視鏡操作システムおよび内視鏡操作プログラム
US11963666B2 (en) Overall endoscopic control system
WO2014073121A1 (ja) 操作対象装置の操作システム、操作入力装置
JP7248554B2 (ja) イメージング器具の向きの制御のためのシステム及び方法
JP7003985B2 (ja) 医療用支持アームシステムおよび制御装置
US11696814B2 (en) Medical arm system, control device, and control method
JP5766150B2 (ja) 内視鏡操作システム
US11478133B2 (en) Medical observation system, apparatus for controlling the same, and method for controlling the same
JP4911701B2 (ja) マスタ・スレーブ式マニピュレータシステム
JP2020039934A (ja) 外科用器具可視性のロボット制御
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
CN115768371A (zh) 用于在体内反转小型手术机器人单元的选定部件的定向和视图的系统和方法
BR112021013439A2 (pt) Sistema de imagística para robô cirúrgico e robô cirúrgico
CN105188592A (zh) 超灵巧型手术系统
CN113645919A (zh) 医疗臂系统、控制装置和控制方法
JP3668269B2 (ja) 体腔内手術用マニピュレータ装置
US11992273B2 (en) System and method of displaying images from imaging devices
WO2015110929A1 (en) Robotic control of an endoscope orientation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13853422

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14439547

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013853422

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013853422

Country of ref document: EP