WO2017221367A1 - 医療用システム - Google Patents

医療用システム Download PDF

Info

Publication number
WO2017221367A1
WO2017221367A1 PCT/JP2016/068639 JP2016068639W WO2017221367A1 WO 2017221367 A1 WO2017221367 A1 WO 2017221367A1 JP 2016068639 W JP2016068639 W JP 2016068639W WO 2017221367 A1 WO2017221367 A1 WO 2017221367A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
treatment
screen
display
Prior art date
Application number
PCT/JP2016/068639
Other languages
English (en)
French (fr)
Inventor
和田　徹
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018523225A priority Critical patent/JP6650519B2/ja
Priority to PCT/JP2016/068639 priority patent/WO2017221367A1/ja
Publication of WO2017221367A1 publication Critical patent/WO2017221367A1/ja
Priority to US16/220,038 priority patent/US10729505B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1442—Probes having pivoting end effectors, e.g. forceps
    • A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1405—Electrodes having a specific shape
    • A61B2018/1412—Blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Definitions

  • the present invention relates to a medical system.
  • the present invention has been made in view of the above-described circumstances, and a single operator grasps two treatment units arranged in different cavities while smoothly coordinating the two treatment units. It is an object to provide a medical system that can be operated.
  • the present invention provides the following means.
  • the present invention provides a first manipulator that is inserted into a first body cavity and has a first treatment section and a first imaging section that photographs the first treatment section, and a first manipulator different from the first body cavity.
  • a second manipulator that is inserted into the second body cavity and has a second treatment unit and a second imaging unit that images the second treatment unit, an interface unit that is operated by an operator, and the interface unit Acquired by the control unit that controls the operation of the first treatment unit and the second treatment unit according to the input operation, the first image acquired by the first imaging unit, and the second imaging unit
  • a display section having a screen for selectively displaying the second image, and a display switching section for switching the display of the screen between the first image and the second image,
  • An operation target selection unit selected by a user, and the display switching unit is provided in the same manipulator as the operation target selected by the operation target selection unit among the first image and the second image.
  • a medical system that selects an image obtained by an imaging unit and displays the selected image on the screen.
  • the control unit controls the unit to perform an operation corresponding to the operation of the operation unit. Therefore, the first treatment unit and the second treatment unit arranged in different cavities by switching the operation target between the first treatment unit and the second treatment unit using the operation target selection unit. Can be remotely operated by one operator via one interface unit.
  • the display switching unit controls the display of the screen so that an image obtained by photographing the operation target is displayed on the screen of the display unit. Therefore, when the operator switches the operation target from the treatment section in one cavity to the treatment section in the other cavity, the display on the screen is automatically switched to the image of the treatment section after switching. Accordingly, the first operator and the second treatment unit arranged in separate cavities based on the first image and the second image that are alternatively displayed on a single screen by one operator. While grasping the treatment section, the first treatment section and the second treatment section can be coordinated and operated smoothly.
  • the first manipulator has two first treatment sections
  • the second manipulator has two second treatment sections
  • the interface section has two The operation unit and the two operation target selection units corresponding to the two operation units, respectively
  • the display switching unit is configured such that the two operation targets selected by the two operation target selection units are the first operation unit.
  • an image to be displayed on the screen may be selected according to the types of the first treatment section and the second treatment section.
  • two treatment parts can be selected as an operation object by two operation object selection parts, and two treatment parts can be operated simultaneously using two operation parts.
  • the two operation targets are a combination of the first treatment unit and the second treatment unit
  • an image with a higher priority is displayed on the screen according to the combination of the two treatment unit types.
  • the display can be switched as shown.
  • the image processing apparatus includes a superimposition processing unit that generates a superimposed image in which a treatment unit in an image not selected by the display switching unit is superimposed on an image selected by the display switching unit, and the display unit includes the display unit A superimposed image may be displayed on the screen.
  • the said display part may have a subscreen which displays the image which was not selected by the said display switching part. By doing so, one of the first image and the second image is displayed on the screen, and the other is displayed on the sub-screen. Therefore, the operator can grasp both the first treatment section in the first body cavity and the second treatment section in the second body cavity.
  • the superimposition processing unit generates a sub-superimposition image in which the treatment unit in the image selected by the display switching unit is superimposed on an image not selected by the display switching unit, and the display unit A sub-screen for displaying the sub-superimposed image may be provided.
  • the rotation processing unit that rotates the selected image so that the operation direction on the screen of the operation target in the image selected by the display switching unit corresponds to the operation direction of the operation unit.
  • the control unit controls the operation direction of the operation target so that the operation direction on the screen of the operation target in the image selected by the display switching unit corresponds to the vertical and horizontal directions of the operation unit. May be.
  • FIG. 1 is an external view showing an overall configuration of a medical system according to a first embodiment of the present invention. It is a block diagram which shows the whole structure of the medical system of FIG. It is a figure which shows the interface part and display part of the medical system of FIG. 1, and is a figure explaining a screen display when an operation target is a treatment part in a lumen. It is a figure which shows the interface part and display part of the medical system of FIG. 1, and is a figure explaining a screen display when an operation target is a treatment part in an abdominal cavity. It is a flowchart which shows the display control method by the medical system of FIG.
  • FIG. 7 is a diagram showing another example of the screen display of the medical system of FIG. 6, and the screen display when the left operation target is a forceps in the abdominal cavity and the right operation target is a high-frequency knife in the lumen will be described.
  • FIG. It is a flowchart which shows the display control method by the medical system of FIG. It is a block diagram which shows the whole structure of the medical system which concerns on the 3rd Embodiment of this invention. It is a figure which shows the interface part and display part of the medical system of FIG.
  • FIG. 14 is a diagram showing another example of the screen display of the medical system of FIG.
  • FIG. 13 is a flowchart which shows the display control method of the medical system of FIG. It is a figure which shows the interface part and display part of a medical system which concern on the 5th Embodiment of this invention. It is a figure explaining the screen display of FIG. 16 after the display image on a main screen rotates. It is a flowchart which shows the display control method of the medical system of FIG. It is a flowchart which shows the continuation of FIG. 18A. It is a figure which shows the interface part and display part of a medical system which concern on the 6th Embodiment of this invention.
  • the medical system 100 includes two medical manipulators 1 and 2 that are inserted into the body, and two manipulators 1 that are arranged outside the body and have an operator. 2 and a console device 3 for remotely operating 2.
  • the abdominal manipulator 1 is the abdominal cavity manipulator 1 used in the abdominal cavity (first body cavity) A.
  • the abdominal manipulator 1 includes an elongated arm 11 to be inserted into the abdominal cavity A, and two electric treatment units (first treatment units) 12 and 13 provided at the distal end of the arm 11 for treating living tissue. And an imaging unit (first imaging unit) 14 provided at the distal end of the arm 11 for observing the treatment units 12 and 13.
  • the abdominal cavity image (first image) L acquired by the imaging unit 14 is transmitted to the console device 3.
  • the abdominal manipulator 1 is provided with a drive unit (not shown) for electrically driving the treatment units 12 and 13, and the drive unit operates the treatment units 12 and 13 in accordance with a control signal from the control unit 7. ing.
  • the other manipulator is a lumen manipulator 2 used in a lumen (second body cavity) B such as a digestive tract.
  • the lumen manipulator 2 includes an elongated arm 21 to be inserted into the lumen B, and two electric treatment units (second treatment units) 22 provided at the distal end of the arm 21 for treating living tissue. 23 and an imaging unit (second imaging unit) 24 provided at the distal end of the arm 21 for observing the treatment units 22 and 23.
  • the lumen image (second image) E acquired by the imaging unit 24 is transmitted to the console device 3.
  • the lumen manipulator 2 is provided with a drive unit (not shown) for electrically driving the treatment units 22 and 23 so that the drive unit operates the treatment units 22 and 23 according to a control signal received from the control unit 7. It has become.
  • the console device 3 is processed by the interface unit 4 operated by the operator, the image processing unit 5 that processes the abdominal image L and the lumen image E acquired by the imaging units 14 and 24, and the image processing unit 5. And a control unit 7 for controlling the operations of the treatment units 12, 13, 22, and 23 and the display of the display unit 6 in accordance with an input to the interface unit 4.
  • the interface unit 4 and the display unit 6 are provided on one work table, and one operator operates the interface unit 4 while observing the abdominal image L and the lumen image E displayed on the display unit 6. ing.
  • the interface unit 4 is a unit for selecting an operation target of the two operation units 41L and 41R for the operator to input an operation instruction to the treatment units 12, 13; And an operation target selection unit 42.
  • the two operation units include a left operation unit 41L and a right operation unit 41R corresponding to the left hand and the right hand of the operator, respectively, and are arranged side by side in the horizontal direction.
  • the right operation unit 41 ⁇ / b> R is associated with one treatment unit 12 of the abdominal manipulator 1 and one treatment unit 22 of the luminal manipulator 2.
  • the left operation part 41L is associated with the other treatment part 13 of the abdominal manipulator 1 and the other treatment part 23 of the lumen manipulator 2.
  • Each operation part 41L, 41R is formed in an arm shape, for example, and can be operated in multiple directions.
  • the operation target selection unit 42 selects an operation target of the left operation unit 41L and the right operation unit 41R from “Lapa” and “Endo” alternatively. Be able to. “Lapa” indicates the treatment units 12 and 13 provided in the abdominal cavity manipulator 1. “Endo” indicates the treatment units 23 and 23 provided in the lumen manipulator 2. FIG. 3 shows a state where “Endo” is selected, and FIG. 4 shows a state where “Lapa” is selected. Therefore, the operator can simultaneously operate the two treatment units 12, 13 or 22, 23 disposed in the same cavity A or B using the left and right operation units 41L and 41R.
  • the operation target selection unit 42 transmits information on the operation target selected by the operator (treatment unit selection information) to the control unit 7.
  • the display unit 6 has a single screen 61 that displays one of the abdominal image L and the lumen image E.
  • the control unit 7 specifies two treatment units that are operation targets selected by the operator. Next, the control unit 7 generates a control signal for driving the two specified treatment units 12, 13 or 22, 23 according to the operation signal received from the interface unit 4, and generates the control signal on the operation target side. Transmit to manipulator 1 or 2.
  • control unit (display switching unit) 7 is provided in the same manipulator 1 or 2 as the operation target among the abdominal image L and the lumen image E received from the manipulators 1 and 2 based on the treatment unit selection information.
  • the image of the imaging unit 14 or 24 is selected as a display image.
  • the control unit 7 transmits the display image to the display unit 6 via the image processing unit 5 and displays the display image on the screen 61.
  • an image of the operation target is displayed on the screen 61.
  • the image processing unit 5 appropriately processes the display image received from the control unit 7 and then transmits the display image to the display unit 6.
  • the operation of the medical system 100 configured as described above will be described by taking as an example the case where the affected part D of the wall C of the lumen B is treated from the abdominal cavity A side and the lumen B side.
  • the abdominal manipulator 1 inserted into the abdominal cavity A and the luminal manipulator 2 inserted into the lumen B are roughly arranged through the wall C. Arrange at the opposite position.
  • the abdominal image L obtained by observing the affected part D from the abdominal cavity A side is acquired by the imaging unit 14
  • the luminal image E obtained by observing the affected part D from the lumen B side is acquired by the imaging unit 24.
  • the abdominal image L and the lumen image E are transmitted from the manipulators 1 and 2 to the control unit 7 in the console device 3, respectively.
  • the control unit 7 is initially set so that a predetermined one of the abdominal cavity image L and the lumen image E is selected as a display image and displayed on the display unit 6.
  • the operator When the operator wants to operate the treatment units 22 and 23 on the lumen B side, as shown in FIG. 3, the operator selects the “Endo” by operating the operation target selection unit 42.
  • the treatment unit selection information indicating “Endo” is transmitted from the interface unit 4 to the control unit 7 (step SA1).
  • the control unit 7 sets the operation target to the treatment units 22 and 23 of the lumen manipulator 2 based on the treatment unit selection information, and controls the display of the screen 61 so that the lumen image E is displayed on the screen 61. To do.
  • the control unit 7 determines whether or not the current display image is a lumen image E (step SA2).
  • the current display image is the lumen image E and the lumen image E is displayed on the screen 61 (YES in step SA2)
  • the selection of the lumen image E is maintained.
  • the control unit 7 switches the display image from the abdominal cavity image L to the lumen image E (lumen side of step SA3, SA5), and the screen 61 displays the lumen image E. Is displayed.
  • the operator can remotely operate the treatment sections 22 and 23 by the operation sections 41L and 41R while observing the affected area D and the treatment sections 22 and 23 in the lumen image E on the screen 61.
  • the operator wants to operate the treatment units 12 and 13 on the abdominal cavity A side
  • the operator selects the “Lapa” by operating the operation object selection unit 42 as shown in FIG.
  • the treatment unit selection information indicating “Lapa” is transmitted from the interface unit 4 to the control unit 7.
  • the control unit 7 sets the operation target to the treatment units 12 and 13 of the abdominal cavity manipulator 1 based on the treatment unit selection information, and controls the display of the screen 61 so that the abdominal cavity image L is displayed on the screen 61.
  • the control unit 7 switches the display image from the lumen image E to the abdominal image L (abdominal side of step SA3). , SA4), the abdominal cavity image L is displayed on the screen 61.
  • the operator can remotely operate the treatment units 12 and 13 by the operation units 41L and 41R while observing the affected part D and the treatment units 12 and 13 in the abdominal image L on the screen 61.
  • the operation target of the operation units 41L and 41R can be switched between the treatment units 12 and 13 in the abdominal cavity A and the treatment units 22 and 23 in the lumen B.
  • one operator can operate two sets of the treatment units 12, 13; 22, 23 arranged in the cavities A and B separated by the wall C through the single interface unit 4. There is an advantage that you can.
  • an image of the operation target treatment unit is automatically displayed on the screen 61.
  • the display on the screen 61 is automatically switched to the image on the operation target side.
  • the manipulators 1 and 2 are each provided with two treatment units 12, 13; 22, and 23, and the interface unit 4 is provided with two operation units 41L and 41R.
  • the number of treatment units 1 and 2 and the number of operation units may be one or three or more, respectively. Further, the number of treatment parts of the abdominal manipulator 1 and the number of treatment parts of the luminal manipulator 2 may be different from each other.
  • a treatment unit that is not selected is held in a state immediately before switching. Or the treatment part which is not selected may operate
  • the operation targets of the left and right operation units 41L and 41R are the two treatment units 12, 13 or 22, 23 provided in the same manipulator 1 or 2.
  • the medical system according to the present embodiment can select different treatment units of the manipulators 1 and 2 as the operation target of the left operation unit 41L and the operation target of the right operation unit 41R.
  • the second embodiment is different from the first embodiment in that the section 12 or 13 and the treatment section 22 or 23 on the lumen B side can be operated simultaneously.
  • the abdominal manipulator 1 has a high-frequency knife 12 and forceps 13 as a treatment portion.
  • the lumen manipulator 2 has a high-frequency knife 22 and forceps 23 as a treatment portion.
  • the interface unit 4 includes two operation target selection units 42L and 42R corresponding to the left operation unit 41L and the right operation unit 41R, respectively.
  • the left operation target selection unit 42L selects the operation target (left operation target) of the left operation unit 41L from “Knife” and “Grasp” in addition to “Lapa” and “Endo”. You can choose.
  • the right operation target selection unit 42R selects the operation target (right operation target) of the right operation unit 41R as one of “Knife” and “Grasp” in addition to “Lapa” and “Endo”. The operator can select it.
  • “Knife” indicates the high-frequency knives 12 and 22 provided in the manipulators 1 and 2.
  • “Grasp” indicates the forceps 13 and 23 provided in the manipulators 1 and 2. Therefore, the operator selects one left operation target from the four treatment units 12, 13, 22, 23, and selects one right operation target from the four treatment units 12, 13, 22, 23. To do.
  • the left operation target selection unit 42L transmits information on the left operation target (left treatment unit selection information) selected by the operator to the control unit 7.
  • the right operation target selection unit 42R transmits information on the right operation target (right treatment unit selection information) selected by the operator to the control unit 7.
  • control unit 7 controls the display of the screen 61 according to the control method shown in FIG.
  • the control unit 7 receives the right treatment unit selection information and the left treatment unit selection information (step SB1), the control unit 7 performs the determination of the following steps SB2 to SB7 based on the right treatment unit selection information and the left treatment unit selection information, The image displayed on 61 is determined.
  • the control unit 7 when there is no change in the left and right operation targets (NO in step SB2), the control unit 7 maintains the current display image (step SB11). On the other hand, when there is a change in at least one operation target (YES in step SB2), the control unit 7 subsequently determines a combination of left and right operation targets (steps SB3 to SB7). When the left and right operation targets are “Knife” (YES in Step SB3), the control unit 7 displays a warning display on the screen 61 (Step SB8). It is not desirable to use high-frequency knives 12, 22 in the abdominal cavity A and lumen B simultaneously. Therefore, the warning display prompts the operator to reselect the left and right operation targets.
  • the control unit 7 When at least one of the left and right operation objects is “Grasp” (NO in Step SB3), the control unit 7 subsequently determines whether both operation objects are “Lapa” and “Endo”. Is determined (steps SB4 and SB5).
  • the left and right operation targets are “Lapa” (YES in step SB4)
  • the control unit 7 selects the abdominal image L as a display image and displays the abdominal image L on the screen 61 as shown in FIG. (Step SB9).
  • the left and right operation objects are “Endo” (YES in Step SB5)
  • the control unit 7 selects the lumen image E as a display image and displays the lumen image E on the screen 61 (Step SB10). .
  • the control unit 7 determines that “Knife” is selected ( As shown in FIG. 7, the image on the side where “Knife” is selected is preferentially selected as the display image (abdominal cavity or lumen in step SB7). On the other hand, when the left and right operation objects are “Grasp” (NO in step SB6), the control unit 7 maintains the current display image (step SB11).
  • the operator uses the high-frequency knives 12 and 22 to excise the affected part D.
  • the image required by the operator at this time is an image obtained by photographing the selected high-frequency knife 12 or 22.
  • the abdominal cavity image L is given priority when the high-frequency knife 12 of the abdominal cavity manipulator 1 is selected.
  • the lumen image E is preferentially displayed on the screen 61.
  • a medical system 300 according to a third embodiment of the present invention will be described with reference to FIGS.
  • the medical system 300 according to the present embodiment displays an image E displayed on the screen 61 as shown in FIG. 10 when the left and right operation objects are treatment units located in separate cavities A and B.
  • the second embodiment is different from the second embodiment in that the image of the treatment section 13 in the other side cavity A is superimposed and displayed.
  • the medical system 300 includes 3D imaging units 15 and 25 that acquire a three-dimensional (3D) image instead of the imaging units 14 and 24 that acquire a two-dimensional image. Furthermore, the medical system 300 includes a marker 16 and a gravity sensor 17 provided in the 3D imaging unit 15 of the abdominal manipulator 1, a marker 26 and a gravity sensor 27 provided in the 3D imaging unit 25 of the lumen manipulator 2, and an external body. And a position detection unit 8 for detecting the positions of the 3D imaging units 15 and 25 in the body based on signals from the markers 16 and 26.
  • the markers 16 and 26 generate signals (for example, magnetic fields) that propagate from the inside of the body to the outside of the body.
  • the position detection unit 8 receives signals generated by the markers 16 and 26, detects the positions of the 3D imaging units 15 and 25 based on the received signals, and detects the detected positions of the 3D imaging units 15 and 25. Is transmitted to the control unit 7.
  • the gravity sensors 17 and 27 detect the postures of the 3D imaging units 15 and 25 in the three-axis directions orthogonal to each other, and transmit the detected postures of the 3D imaging units 15 and 25 to the control unit 7.
  • the control unit 7 controls the display of the screen 61 according to the control method shown in FIG. Steps SC1 to SC8 and SC11 are the same as steps SB1 to SB8 and SB11 of the second embodiment, respectively.
  • the control unit 7 causes the image processing unit (superimposition processing unit) 5 to generate a superimposed image in which the treatment units 22 and 23 in the lumen image E are superimposed on the abdominal image L, The superimposed image is displayed on the screen 61 (step SC9).
  • control unit 7 causes the image processing unit 5 to generate a superimposed image in which the treatment units 12 and 13 in the abdominal cavity image L are superimposed on the lumen image E, and the superimposition is performed.
  • the image is displayed on the screen 61 (step SC10).
  • FIG. 12 shows a superimposed image generation method in steps SC9 and SC10.
  • the control unit 7 causes the position detection unit 8 to detect the positions of the imaging units 15 and 25, and acquires the position coordinates of the imaging units 15 and 25 from the position detection unit 8 (step SD1). ). Further, the control unit 7 causes the gravity sensors 17 and 27 to detect the postures of the imaging units 15 and 25, and acquires information on the postures of the imaging units 15 and 25 from the gravity sensors 17 and 27 (step SD2). Further, the control unit 7 calculates the 3D shape of each of the treatment units 12, 13, 22, and 23 from the 3D image signal information received from the imaging units 15 and 25 (step SD3). The control unit 7 transmits to the image processing unit 5 the information on the position coordinates and postures of the imaging units 15 and 25 and the 3D shapes of the treatment units 12, 13, 22, and 23 obtained in steps SD1 to SD3.
  • the image processing unit 5 constructs volume data of all the treatment units 12, 13, 22, and 23 based on the information and data received from the control unit 7 (step SD4).
  • the angle of view of each imaging unit 15, 25, information on the relative position between the imaging unit 15 and the treatment units 12, 13, and information on the relative position between the imaging unit 25 and the treatment units 22, 23 are further used. Information on the angle of view and the relative position is stored in the image processing unit 5 in advance.
  • the image processing unit 5 calculates the coordinate plane of the display image based on the attitude and angle of view of the imaging unit 15 or 25 corresponding to the display image (step SD5).
  • the image processing unit 5 uses the volume data to project the data of the treatment unit (on the other side) corresponding to the image that is not the display image onto the coordinate plane (step SD6). Thereby, a superimposed image is generated.
  • the 3D shape of each of the treatment units 12, 13, 22, and 23 may be calculated by the control unit 7 based on calculations based on the control information of the manipulators 1 and 2 and the design data of each treatment unit.
  • the display image is the lumen image E.
  • the treatment units 12 and 13 in the abdominal cavity A are superimposed on the lumen image E
  • the display image is the abdominal image L
  • the treatment units 22 and 23 in the lumen B are superimposed on the abdominal image L. Therefore, the operator can also grasp the treatment unit located on the other side of the wall C from the display image. Thereby, the operation of the two treatment units 12, 13; 22, 23 in the separate cavities A and B by a single operator can be more effectively supported, and the single operator can The treatment sections 12, 13; 22, 23 of the set can be operated more smoothly.
  • FIGS. 13 and 14 the display unit 6 is provided next to a screen (hereinafter referred to as a main screen) 61, and an image that is not a display image is displayed.
  • the second embodiment is different from the second embodiment in having a sub screen 62 to be displayed.
  • the sub screen 62 has a smaller size than the main screen 61.
  • the control unit 7 controls the display of the main screen 61 and the sub screen 62 according to the control method shown in FIG. Steps SE1 to SE8 and SE11 are the same as steps SB1 to SB8 and SB11 of the second embodiment, respectively.
  • the control unit 7 displays the abdominal cavity image L on the main screen 61 and the lumen image E on the sub screen 62 as shown in FIG. 13 (step SE9).
  • the control unit 7 displays the lumen image E on the main screen 61 and the abdominal image L on the sub screen 62 as shown in FIG. Step SE10).
  • the image L or E which is not the display image E or L is displayed on the sub-screen 62, so that the operator can perform treatments in both the abdominal cavity A and the lumen B.
  • the portions 12, 13, 23, and 22 can be grasped more accurately.
  • the operation of the two treatment units 12, 13; 22, 23 in the separate cavities A and B by a single operator can be more effectively supported, and the single operator can
  • the treatment sections 12, 13; 22, 23 of the set can be operated more smoothly.
  • the superimposed image described in the third embodiment may be displayed on the main screen 61.
  • a superimposed image (sub-superimposed image) may be displayed also on the sub screen 62.
  • the image processing unit 5 generates a superimposed image in which the treatment unit in the cavity on the same side as the display image is superimposed on the image that is not the display image by the same method as in steps SD5 and SD6.
  • the operator further moves the treatment units 12, 13, 23, and 22 in the abdominal cavity A and the lumen B based on the superimposed images displayed on the main screen 61 and the sub screen 62. Accurately grasp.
  • FIGS. 16 to 18B a medical system according to a fifth embodiment of the present invention will be described with reference to FIGS. 16 to 18B.
  • differences from the first and second embodiments will be mainly described, and the same reference numerals are given to the same components as those in the first and second embodiments, and the description thereof will be omitted.
  • the medical system according to the present embodiment is second in that the display image is rotated so that the operation direction of the treatment unit in the display image on the main screen 61 corresponds to the operation direction of the operation units 41L and 41R.
  • This is different from the embodiment. 16 and 17 show an example in which the sub screen 62 described in the fourth embodiment is provided on the display unit 6, but the sub screen 62 is displayed on the display unit as in the second embodiment. 6 may not be provided.
  • the main screen 61 and the operation units 41L and 41R have vertical and horizontal directions, respectively.
  • the vertical and horizontal directions of the main screen 61 and the vertical and horizontal directions of the operation units 41L and 41R correspond to each other.
  • the control unit 7 controls the rotation of the display image on the main screen 61 according to the control method shown in FIGS. 18A and 18B.
  • Steps SF1 to SF11 are the same as steps SE1 to SE11 of the fourth embodiment, respectively.
  • the control unit 7 detects the operation direction of the treatment units 22 and 23 in the lumen image E (step SF14). Then, the control unit 7 adjusts the lumen image E so that the operation direction of the treatment units 22 and 23 on the main screen 61 (in the coordinate system of the main screen 61) corresponds to the operation direction of the operation units 41L and 41R. Calculate the rotation angle. Next, the control unit 7 controls the image processing unit (rotation processing unit) 5 to rotate the lumen image E by the calculated rotation angle (step SF15). Accordingly, as shown in FIG. 17, the lumen image E on the main screen 61 is adjusted so that the operation direction of the operation units 41L and 41R and the operation direction of the treatment units 22 and 23 on the main screen 61 coincide with each other. Rotate.
  • the control unit 7 When the abdominal image L is displayed on the main screen 61 in step SF9 and then the treatment units 12 and 13 of the abdominal image L are moved by the operator operating the operation units 41L and 41R, the control unit 7 The operation direction of the treatment units 12 and 13 in the abdominal cavity image L is detected (step SF12). Then, the control unit 7 rotates the abdominal cavity image L so that the operation direction of the treatment units 12 and 13 on the main screen 61 (in the coordinate system of the main screen 61) corresponds to the operation direction of the operation units 41L and 41R. Calculate the angle. Next, the control unit 7 controls the image processing unit 5 to rotate the abdominal cavity image L by the calculated rotation angle (step SF13). Thereby, the abdominal cavity image L on the main screen 61 is rotated so that the operation direction of the operation units 41L and 41R and the operation direction of the treatment units 12 and 13 on the main screen 61 coincide.
  • the medical system according to the present embodiment is the second in that the interface unit 4 includes a rotation operation unit 43 for rotating the display image displayed on the screen 61.
  • the interface unit 4 includes a rotation operation unit 43 for rotating the display image displayed on the screen 61.
  • the rotation operation unit 43 is configured to be rotated by an operator at an arbitrary angle.
  • the rotation operation unit 43 transmits rotation operation information indicating the rotation angle of the rotation operation by the operator to the control unit 7.
  • the control unit 7 controls the display of the screen 61 and the operation of the treatment units 12, 13, 22, and 23 according to the control method shown in FIGS. 23A and 23B.
  • Steps SG1 to SG11 are the same as SB1 to SB11 of the second embodiment, respectively.
  • the control unit 7 controls the image processing unit (rotation processing unit) 5 to rotate the display image E by the rotation angle. As a result, the display image E on the screen 61 rotates as shown in FIG.
  • the control unit 7 performs steps SF12 and SF14 described above. Similarly, the operation directions of the treatment units 22 and 23 in the display image E are detected (step SG13). Next, the control unit 7 calculates a control parameter for making the operation direction of the treatment units 22 and 23 on the screen 61 correspond to the operation direction of the operation units 41L and 41R (step SG14), and calculates the calculated control parameter.
  • the control signal which adjusted the operation direction of treatment part 22 and 23 using is produced
  • a deviation may occur between the vertical and horizontal directions of the treatment units 22 and 23 and the vertical and horizontal directions of the operation units 41L and 41R.
  • the treatment unit 22 in the display image E on the screen 61 moves to the lower right. Therefore, as shown in FIG. 22, by adjusting the control signal so that the operation direction of the operation units 41 ⁇ / b> L and 41 ⁇ / b> R and the operation direction of the treatment units 22 and 23 on the screen 61 coincide, The treatment units 22 and 23 can be operated more intuitively using the units 41L and 41R.
  • control signal is adjusted based on the operation direction of the treatment unit in the display image, but instead, the control unit 7 uses the rotation operation information as shown in FIG. Based on the rotation angle of the acquired rotation operation, a control parameter for causing the operation direction of the treatment units 22 and 23 on the screen 61 to correspond to the operation direction of the operation units 41L and 41R may be calculated (step SG16). . By doing in this way, the process which detects the motion of a treatment part from the display image can be made unnecessary.
  • the first to sixth embodiments described above can be implemented in appropriate combination.
  • the functions of the image processing unit 5 and the control unit 7 described in the first to sixth embodiments are realized by, for example, a computer including a central processing unit (CPU), a main storage device, and an auxiliary storage device. .
  • CPU central processing unit
  • main storage device main storage device
  • auxiliary storage device a main storage device
  • an image processing program and a control program are stored in the auxiliary storage device, these programs are loaded from the auxiliary storage device to the main storage device, and the CPU operates according to the program, whereby the image processing unit 5 and the control unit 7 is executed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

本発明の医療用システム（１００）は、処置部（１２，１３；２２，２３）および撮像部（１４；２４）をそれぞれ有する２つののマニピュレータ（１，２）と、処置部（１２，１３；２２，２３）に対する操作指示が操作者によって入力される操作部（４１Ｌ，４１Ｒ）および操作部（４１Ｌ，４１Ｒ）の操作対象が処置部（１２，１３）および処置部（２２，２３）の中から択一的に操作者によって選択される操作対象選択部（４２）を有するインタフェース部（４）と、インタフェース部（４）への操作に従って処置部（１２，１３；２２，２３）を制御する制御部（７）と、撮像部（１４，２４）によって取得された２つの画像を択一的に表示する画面（６１）を有する表示部（６）と、操作対象と同一のマニピュレータ（２）の撮像部（２４）による画像を画面（６１）に表示させる表示切替部（７）とを備える。

Description

医療用システム
　本発明は、医療用システムに関するものである。
　従来、大腸のような管腔内に挿入された処置具と、トロッカーを介し腹腔内に挿入された処置具とを協働させて処置を行う手術方法が知られている（例えば、特許文献１参照。）。このような手術において、管腔内の処置具と腹腔内の処置具は別々の操作者によって操作される。
特開２０１５－１４６９８１号公報
　しかしながら、管腔内の処置具を操作する操作者と腹腔内の処置具を操作する操作者は、互いに声掛けする等して相手の状況を把握しながらそれぞれの処置具を操作する必要がある。したがって、円滑に処置を進めることが難しいという問題がある。
　本発明は、上述した事情に鑑みてなされたものであって、１人の操作者が別々の腔内に配置された２つの処置部を把握しながら該２つの処置部を協調させて円滑に操作することができる医療用システムを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明は、第１の体腔内に挿入され、第１の処置部および該第１の処置部を撮影する第１の撮像部を有する第１のマニピュレータと、前記第１の体腔とは異なる第２の体腔内に挿入され、第２の処置部および該第２の処置部を撮影する第２の撮像部を有する第２のマニピュレータと、操作者によって操作されるインタフェース部と、該インタフェース部に入力された操作に従って前記第１の処置部および前記第２の処置部の動作を制御する制御部と、前記第１の撮像部によって取得された第１の画像および前記第２の撮像部によって取得された第２の画像を択一的に表示する画面を有する表示部と、前記画面の表示を前記第１の画像と前記第２の画像との間で切り替える表示切替部とを備え、前記インタフェース部が、前記第１の処置部および前記第２の処置部に対する操作指示が前記操作者によって入力される操作部と、該操作部の操作対象が前記第１の処置部および前記第２の処置部の中から択一的に前記操作者によって選択される操作対象選択部とを備え、前記表示切替部が、前記第１の画像および前記第２の画像のうち、前記操作対象選択部によって選択された操作対象と同一のマニピュレータに設けられている撮像部による画像を選択し、選択された画像を前記画面に表示させる医療用システムを提供する。
　本発明によれば、操作者によって、第１の処置部および第２の処置部のうち一方が操作対象選択部を用いて操作対象として選択されて操作部が操作されると、選択された処置部が操作部の操作に対応する動作を行うように制御部によって制御される。したがって、操作対象選択部を用いて操作対象を第１の処置部と第２の処置部との間で切り替えることによって、別々の腔内に配置された第１の処置部および第２の処置部を１人の操作者が１つのインタフェース部を介して遠隔操作することができる。
　この場合に、操作対象を撮影した画像が表示部の画面に表示されるように、画面の表示が表示切替部によって制御される。したがって、操作者が操作対象を一方の腔内の処置部から他方の腔内の処置部に切り替えたときに、画面上の表示も切り替え後の処置部の画像に自動的に切り替わる。これにより、１人の操作者が、単一の画面に択一的に表示される第１の画像および第２の画像に基づいて別々の腔内に配置された第１の処置部および第２の処置部を把握しながら、該第１の処置部および第２の処置部を協調させて円滑に操作することができる。
　上記発明においては、前記第１のマニピュレータが、２つの前記第１の処置部を有し、前記第２のマニピュレータが、２つの前記第２の処置部を有し、前記インタフェース部が、２つの前記操作部と、該２つの操作部にそれぞれ対応する２つの前記操作対象選択部とを備え、前記表示切替部は、前記２つの操作対象選択部によって選択された２つの操作対象が前記第１の処置部および前記第２の処置部である場合に、前記第１の処置部および前記第２の処置部の種類に応じて前記画面に表示する画像を選択してもよい。
　このようにすることで、２つの操作対象選択部によって２つの処置部を操作対象として選択し、２つの操作部を使用して２つの処置部を同時に操作することができる。また、２つの操作対象が第１の処置部と第２の処置部との組み合わせである場合に、２つの処置部の種類の組み合わせに応じて、より優先度の高い方の画像が画面に表示されるように、表示を切り替えることができる。
　上記発明においては、前記表示切替部によって選択されなかった画像内の処置部を、前記表示切替部によって選択された画像に重畳した重畳画像を生成する重畳処理部を備え、前記表示部が、前記重畳画像を前記画面に表示させてもよい。
　このようにすることで、操作者は、画面に表示される重畳画像から、一方の腔内の操作対象の処置部のみならず、他方の腔内の処置部も観察することができる。
　上記発明においては、前記表示部が、前記表示切替部によって選択されなかった画像を表示するサブ画面を有していてもよい。
　このようにすることで、第１の画像および第２の画像のうち、一方が画面に表示され、他方がサブ画面に表示される。したがって、操作者は、第１の体腔内の第１の処置部および第２の体腔内の第２の処置部の両方を把握することができる。
　上記発明においては、前記重畳処理部が、前記表示切替部によって選択された画像内の処置部を、前記表示切替部によって選択されなかった画像に重畳したサブ重畳画像を生成し、前記表示部が、前記サブ重畳画像を表示するサブ画面を有していてもよい。
　このようにすることで、操作者は、画面に表示される重畳画像およびサブ画面に表示されるサブ重畳画像から、第１の処置部および第２の処置部の両方をより正確に把握することができる。
　上記発明においては、前記表示切替部によって選択された画像内の前記操作対象の前記画面上での動作方向が前記操作部の操作方向と対応するように前記選択された画像を回転させる回転処理部を備えていてもよい。あるいは、前記制御部は、前記表示切替部によって選択された画像内の前記操作対象の前記画面上での動作方向が前記操作部の上下左右方向と対応するように前記操作対象の動作方向を制御してもよい。
　このようにすることで、操作者による操作部の操作方向に対応する方向に画面上の画像内の操作対象が動くので、操作者は、直感的に操作対象を操作することができる。
　本発明によれば、１人の操作者が別々の腔内に配置された２つの処置部を把握しながら該２つの処置部を協調させて円滑に操作することができるという効果を奏する。
本発明の第１の実施形態に係る医療用システムの全体構成を示す外観図である。 図１の医療用システムの全体構成を示すブロック図である。 図１の医療用システムのインタフェース部および表示部を示す図であり、操作対象が管腔内の処置部であるときの画面表示を説明する図である。 図１の医療用システムのインタフェース部および表示部を示す図であり、操作対象が腹腔内の処置部であるときの画面表示を説明する図である。 図１の医療用システムによる表示制御方法を示すフローチャートである。 本発明の第２の実施形態に係る医療用システムのインタフェース部および表示部を示す図であり、左右の操作対象が腹腔内の２つの処置部であるときの画面表示を説明する図である。 図６の医療用システムの画面表示のもう１つの例を示す図であり、左操作対象が腹腔内の鉗子であり、右操作対象が管腔内の高周波ナイフであるときの画面表示を説明する図である。 図６の医療用システムによる表示制御方法を示すフローチャートである。 本発明の第３の実施形態に係る医療用システムの全体構成を示すブロック図である。 図９の医療用システムのインタフェース部および表示部を示す図であり、左操作対象が腹腔内の鉗子であり、右操作対象が管腔内の高周波ナイフであるときの画面表示を説明する図である。 図９の医療用システムによる表示制御方法を示すフローチャートである。 図９の医療用システムによる重畳画像の生成方法を示すフローチャートである。 本発明の第４の実施形態に係る医療用システムのインタフェース部および表示部を示す図であり、左右の操作対象が腹腔内の処置部であるときの画面表示を説明する図である。 図１３の医療用システムの画面表示のもう１つの例を示す図であり、左操作対象が腹腔内の鉗子であり、右操作対象が管腔内の高周波ナイフであるときの画面表示を説明する図である。 図１３の医療用システムの表示制御方法を示すフローチャートである。 本発明の第５の実施形態に係る医療用システムのインタフェース部および表示部を示す図である。 メイン画面上の表示画像が回転した後の図１６の画面表示を説明する図である。 図１６の医療用システムの表示制御方法を示すフローチャートである。 図１８Ａの続きを示すフローチャートである。 本発明の第６の実施形態に係る医療用システムのインタフェース部および表示部を示す図である。 メイン画面上の画像が回転した後の図１９の画面表示を説明する図である。 図２０の画面表示において、操作部の操作方向と画面上の操作対象の動作方向との関係を説明する図である。 操作対象の動作方向を調整した後の操作部の操作方向と画面上の操作対象の動作方向との関係を説明する図である。 図１９の医療用システムによる表示制御方法を示すフローチャートである。 図２３Ａの続きを示すフローチャートである。 図１９の医療用システムによる表示制御方法の変形例を示すフローチャートである。
（第１の実施形態）
　以下に、本発明の第１の実施形態に係る医療用システム１００について図１から図５を参照して説明する。
　本実施形態に係る医療用システム１００は、図１および図２に示されるように、体内に挿入される２つの医療用のマニピュレータ１，２と、体外に配置され操作者が２つのマニピュレータ１，２を遠隔操作するためのコンソール装置３とを備えている。
　一方のマニピュレータ（第１のマニピュレータ）は、腹腔（第１の体腔）Ａ内で使用される腹腔マニピュレータ１である。腹腔マニピュレータ１は、腹腔Ａ内に挿入される細長いアーム１１と、該アーム１１の先端に設けられ生体組織を処置するための２つの電動式の処置部（第１の処置部）１２，１３と、アーム１１の先端に設けられ処置部１２，１３を観察するための撮像部（第１の撮像部）１４とを備えている。撮像部１４によって取得された腹腔画像（第１の画像）Ｌはコンソール装置３に送信される。腹腔マニピュレータ１には処置部１２，１３を電動駆動するための駆動部（図示略）が設けられており、制御部７からの制御信号に従って駆動部が処置部１２，１３を動作させるようになっている。
　他方のマニピュレータ（第２のマニピュレータ）は、消化管のような管腔（第２の体腔）Ｂ内で使用される管腔マニピュレータ２である。管腔マニピュレータ２は、管腔Ｂ内に挿入される細長いアーム２１と、該アーム２１の先端に設けられ生体組織を処置するための２つの電動式の処置部（第２の処置部）２２，２３と、アーム２１の先端に設けられ処置部２２，２３を観察するための撮像部（第２の撮像部）２４とを備えている。撮像部２４によって取得された管腔画像（第２の画像）Ｅは、コンソール装置３に送信される。管腔マニピュレータ２には処置部２２，２３を電動駆動するための駆動部（図示略）が設けられており、制御部７から受信した制御信号に従って駆動部が処置部２２，２３を動作させるようになっている。
　コンソール装置３は、操作者によって操作されるインタフェース部４と、撮像部１４，２４によって取得された腹腔画像Ｌおよび管腔画像Ｅを処理する画像処理部５と、該画像処理部５によって処理された画像を表示する表示部６と、インタフェース部４への入力に従って処置部１２，１３，２２，２３の動作および表示部６の表示を制御する制御部７とを備えている。インタフェース部４および表示部６は１つの作業台に設けられ、１人の操作者が表示部６に表示される腹腔画像Ｌおよび管腔画像Ｅを観察しながらインタフェース部４を操作するようになっている。
　インタフェース部４は、操作者が処置部１２，１３；２２，２３に対する操作指示を入力するための２つの操作部４１Ｌ，４１Ｒと、２つの操作部４１Ｌ，４１Ｒの操作対象を選択するための単一の操作対象選択部４２とを備えている。
　２つの操作部は、操作者の左手および右手にそれぞれ対応する左操作部４１Ｌおよび右操作部４１Ｒからなり、水平方向に並んで配置されている。右操作部４１Ｒは、腹腔マニピュレータ１の一方の処置部１２および管腔マニピュレータ２の一方の処置部２２と対応付けられている。左操作部４１Ｌは、腹腔マニピュレータ１の他方の処置部１３および管腔マニピュレータ２の他方の処置部２３と対応付けられている。各操作部４１Ｌ，４１Ｒは、例えばアーム状に形成され、多方向に操作可能である。操作部４１Ｌ，４１Ｒが操作者によって操作されると、操作部４１Ｌ，４１Ｒの操作方向および操作量を示す操作信号がインタフェース部４から制御部７に送信されるようになっている。
　操作対象選択部４２は、図３および図４に示されるように、左操作部４１Ｌおよび右操作部４１Ｒの操作対象を「Ｌａｐａ」および「Ｅｎｄｏ」の中から択一的に操作者が選択することができるようになっている。「Ｌａｐａ」は、腹腔マニピュレータ１に設けられた処置部１２，１３を示す。「Ｅｎｄｏ」は、管腔マニピュレータ２に設けられた処置部２３，２３を示す。図３は、「Ｅｎｄｏ」が選択された状態を表し、図４は、「Ｌａｐａ」が選択された状態を表している。したがって、操作者は、同一の腔ＡまたはＢ内に配置される２つの処置部１２，１３または２２，２３を左右の操作部４１Ｌ，４１Ｒを使用して同時に操作することができる。操作対象選択部４２は、操作者によって選択された操作対象の情報（処置部選択情報）を制御部７に送信する。
　表示部６は、腹腔画像Ｌおよび管腔画像Ｅのいずれか一方を表示する単一の画面６１を有している。
　制御部７は、操作対象選択部４２から受信した処置部選択情報に基づき、操作者によって選択された操作対象の２つの処置部を特定する。次に、制御部７は、特定された２つの処置部１２，１３または２２，２３を駆動させるための制御信号をインタフェース部４から受信した操作信号に従って生成し、該制御信号を操作対象側のマニピュレータ１または２に送信する。
　さらに、制御部（表示切替部）７は、処置部選択情報に基づき、マニピュレータ１，２から受信した腹腔画像Ｌおよび管腔画像Ｅのうち、操作対象と同一のマニピュレータ１または２に設けられている撮像部１４または２４の画像を表示画像として選択する。制御部７は、表示画像を画像処理部５を介して表示部６に送信し、画面６１に表示させる。これにより、腹腔画像Ｌおよび管腔画像Ｅのうち、操作対象が撮影された画像が画面６１に表示されるようになっている。
　画像処理部５は、制御部７から受信した表示画像に適宜処理を施した後に、表示画像を表示部６に送信する。
　次に、このように構成された医療用システム１００の作用について、管腔Ｂの壁Ｃの患部Ｄを腹腔Ａ側および管腔Ｂ側から処置する場合を例に挙げて説明する。
　本実施形態に係る医療用システム１００によって患部Ｄを処置するためには、腹腔Ａ内に挿入された腹腔マニピュレータ１と管腔Ｂ内に挿入された管腔マニピュレータ２を、壁Ｃを介して略対向する位置に配置する。これにより、腹腔Ａ側から患部Ｄを観察した腹腔画像Ｌが撮像部１４によって取得され、管腔Ｂ側から患部Ｄを観察した管腔画像Ｅが撮像部２４によって取得される。腹腔画像Ｌおよび管腔画像Ｅはそれぞれ、マニピュレータ１，２からコンソール装置３内の制御部７に送信される。制御部７は、腹腔画像Ｌおよび管腔画像Ｅのうち所定の一方を表示画像として選択して表示部６に表示させるように、初期設定されている。
　操作者は、管腔Ｂ側の処置部２２，２３を操作したいときには、図３に示されるように、操作対象選択部４２を操作して「Ｅｎｄｏ」を選択する。「Ｅｎｄｏ」を示す処置部選択情報は、インタフェース部４から制御部７に送信される（ステップＳＡ１）。制御部７は、処置部選択情報に基づいて操作対象を管腔マニピュレータ２の処置部２２，２３に設定するとともに、画面６１に管腔画像Ｅが表示されるように、画面６１の表示を制御する。
　具体的には、制御部７は、図５に示されるように、現在の表示画像が管腔画像Ｅであるか否かを判断する（ステップＳＡ２）。現在の表示画像が管腔画像Ｅであり、画面６１に管腔画像Ｅが表示されている場合には（ステップＳＡ２のＹＥＳ）、管腔画像Ｅの選択を維持する。現在の表示画像が腹腔画像Ｌである場合には、制御部７は、表示画像を腹腔画像Ｌから管腔画像Ｅに切り替え（ステップＳＡ３の管腔側、ＳＡ５）、画面６１に管腔画像Ｅを表示させる。
　これにより、操作者が画面６１上の管腔画像Ｅ内の患部Ｄおよび処置部２２，２３を観察しながら操作部４１Ｌ，４１Ｒによる処置部２２，２３の遠隔操作が可能な状態となる。
　一方、操作者は、腹腔Ａ側の処置部１２，１３を操作したいときには、図４に示されるように、操作対象選択部４２を操作して「Ｌａｐａ」を選択する。「Ｌａｐａ」を示す処置部選択情報は、インタフェース部４から制御部７に送信される。制御部７は、処置部選択情報に基づいて操作対象を腹腔マニピュレータ１の処置部１２，１３に設定するとともに、画面６１に腹腔画像Ｌが表示されるように、画面６１の表示を制御する。
　具体的には、制御部７は、現在の表示画像が管腔画像Ｅである場合には（ステップＳＡ２のＮＯ）、表示画像を管腔画像Ｅから腹腔画像Ｌに切り替え（ステップＳＡ３の腹腔側、ＳＡ４）、画面６１に腹腔画像Ｌを表示させる。
　これにより、操作者が画面６１上の腹腔画像Ｌ内の患部Ｄおよび処置部１２，１３を観察しながら操作部４１Ｌ，４１Ｒによる処置部１２，１３の遠隔操作が可能な状態となる。
　このように、本実施形態によれば、操作部４１Ｌ，４１Ｒの操作対象を腹腔Ａ内の処置部１２，１３と管腔Ｂ内の処置部２２，２３との間で切り替えることができる。これにより、壁Ｃによって隔てられた腔Ａ，Ｂ内に配置された２組の処置部１２，１３；２２，２３を、１つのインタフェース部４を介して１人の操作者が操作することができるという利点がある。
　さらに、腹腔画像Ｌおよび管腔画像Ｅのうち、操作対象の処置部が撮影された画像が自動的に画面６１に表示される。そして、操作者が操作対象を切り替えたときには、画面６１の表示も操作対象側の画像に自動的に切り替わる。これにより、１人の操作者が、腹腔Ａ内の処置部１２，１３と管腔Ｂ内の処置部２２，２３の両方を把握しながら、２組の処置部１２，１３；２２，２３を協調させて円滑に操作することができるという利点がある。
　本実施形態においては、マニピュレータ１，２に２つずつ処置部１２，１３；２２，２３が設けられ、インタフェース部４に２つの操作部４１Ｌ，４１Ｒが設けられていることとしたが、各マニピュレータ１，２の処置部の数および操作部の数はそれぞれ、１つであってもよく、３以上であってもよい。また、腹腔マニピュレータ１の処置部の数と管腔マニピュレータ２の処置部の数は、互いに異なっていてもよい。
　なお、詳細には記述しないが、選択されていない処置部は、切り替え直前の状態に保持される。あるいは、選択されていない処置部は、予め設定された動作に従って動作してもよい。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る医療用システムについて図６から図８を参照して説明する。
　本実施形態においては、第１の実施形態と異なる点について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
　第１の実施形態においては、左右の操作部４１Ｌ，４１Ｒの操作対象が同一のマニピュレータ１または２に設けられた２つの処置部１２，１３または２２，２３であることとした。これに対し、本実施形態に係る医療用システムは、左操作部４１Ｌの操作対象および右操作部４１Ｒの操作対象として互いに異なるマニピュレータ１，２の処置部を選択可能であり、腹腔Ａ側の処置部１２または１３と管腔Ｂ側の処置部２２または２３とを同時に操作可能である点において、第１の実施形態と異なっている。
　本実施形態において、腹腔マニピュレータ１は、処置部として高周波ナイフ１２および鉗子１３を有している。管腔マニピュレータ２は、処置部として高周波ナイフ２２および鉗子２３を有している。
　インタフェース部４は、図６および図７に示されるように、左操作部４１Ｌおよび右操作部４１Ｒにそれぞれ対応する２つの操作対象選択部４２Ｌ，４２Ｒを備えている。
　左操作対象選択部４２Ｌは、左操作部４１Ｌの操作対象（左操作対象）を、「Ｌａｐａ」および「Ｅｎｄｏ」に加えて、「Ｋｎｉｆｅ」および「Ｇｒａｓｐ」の中から択一的に操作者が選択することができるようになっている。同様に、右操作対象選択部４２Ｒは、右操作部４１Ｒの操作対象（右操作対象）を、「Ｌａｐａ」および「Ｅｎｄｏ」に加えて、「Ｋｎｉｆｅ」および「Ｇｒａｓｐ」の中から択一的に操作者が選択することができるようになっている。「Ｋｎｉｆｅ」は、マニピュレータ１，２に設けられた高周波ナイフ１２，２２を示す。「Ｇｒａｓｐ」は、マニピュレータ１，２に設けられた鉗子１３，２３を示す。したがって、操作者は、左操作対象を４つの処置部１２，１３，２２，２３の中から１つ選択し、右操作対象を４つの処置部１２，１３，２２，２３の中から１つ選択する。
　左操作対象選択部４２Ｌは、操作者によって選択された左操作対象の情報（左処置部選択情報）を制御部７に送信する。右操作対象選択部４２Ｒは、操作者によって選択された右操作対象の情報（右処置部選択情報）を制御部７に送信する。
　本実施形態において、制御部７は、図８に示される制御方法に従って画面６１の表示を制御する。
　制御部７は、右処置部選択情報および左処置部選択情報を受信すると（ステップＳＢ１）、右処置部選択情報および左処置部選択情報に基づいて下記のステップＳＢ２～ＳＢ７の判断を行い、画面６１に表示する画像を決定する。
　具体的には、左右の操作対象に変更がない場合（ステップＳＢ２のＮＯ）、制御部７は、現在の表示画像を維持する（ステップＳＢ１１）。一方、少なくとも一方の操作対象に変更があった場合（ステップＳＢ２のＹＥＳ）、制御部７は、続いて、左右の操作対象の組み合わせを判断する（ステップＳＢ３～ＳＢ７）。
　左右の操作対象が「Ｋｎｉｆｅ」である場合（ステップＳＢ３のＹＥＳ）、制御部７は、画面６１に警告表示を表示する（ステップＳＢ８）。腹腔Ａおよび管腔Ｂで同時に高周波ナイフ１２，２２を使用することは望ましくない。したがって、警告表示によって、左右の操作対象の再選択が操作者に促される。
　左右の操作対象のうち少なくとも一方が「Ｇｒａｓｐ」である場合（ステップＳＢ３のＮＯ）、制御部７は、続いて、両方の操作対象が「Ｌａｐａ」および「Ｅｎｄｏ」のうち同一側であるか否かを判断する（ステップＳＢ４，ＳＢ５）。左右の操作対象が「Ｌａｐａ」である場合（ステップＳＢ４のＹＥＳ）、制御部７は、図６に示されるように、表示画像として腹腔画像Ｌを選択し、腹腔画像Ｌを画面６１に表示させる（ステップＳＢ９）。一方、左右の操作対象が「Ｅｎｄｏ」である場合（ステップＳＢ５のＹＥＳ）、制御部７は、表示画像として管腔画像Ｅを選択し、管腔画像Ｅを画面６１に表示させる（ステップＳＢ１０）。
　左右の操作対象のうち、一方が「Ｌａｐａ」であり、他方が「Ｅｎｄｏ」である場合（ステップＳＢ４のＮＯかつステップＳＢ５のＮＯ）、制御部７は、「Ｋｎｉｆｅ」が選択されているときには（ステップＳＢ６のＹＥＳ）、図７に示されるように、「Ｋｎｉｆｅ」が選択されている側の画像を優先的に表示画像として選択する（ステップＳＢ７の腹腔または管腔）。一方、左右の操作対象が「Ｇｒａｓｐ」であるときには（ステップＳＢ６のＮＯ）、制御部７は、現在の表示画像を維持する（ステップＳＢ１１）。
　操作対象が「Ｋｎｉｆｅ」であるときは、操作者が高周波ナイフ１２，２２を使用して患部Ｄを切除するときである。このときに操作者が必要とする画像は、選択された高周波ナイフ１２または２２が撮影された画像である。本実施形態によれば、左右の操作対象が、別々の腔Ａ，Ｂ内に位置する２つ処置部である場合に、腹腔マニピュレータ１の高周波ナイフ１２が選択されているときには腹腔画像Ｌが優先的に画面６１に表示され、管腔マニピュレータ２の高周波ナイフ２２が選択されているときには管腔画像Ｅが優先的に画面６１に表示される。このように、左右の操作対象の種類の組み合わせに応じて操作者が必要としている画像を判断することによって、１人の操作者による、別々の腔Ａ，Ｂ内の２組の処置部１２，１３；２２，２３の操作をさらに効果的に支援することができ、１人の操作者によって２組の処置部１２，１３；２２，２３をさらに円滑に操作することができる。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る医療用システム３００について図９から図１２を参照して説明する。
　本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る医療用システム３００は、左右の操作対象が別々の腔Ａ，Ｂ内に位置する処置部であるときに、図１０に示されるように、画面６１に表示される画像Ｅに、他側の腔Ａ内の処置部１３の像を重畳表示する点において、第２の実施形態と異なっている。
　医療用システム３００は、図９に示されるように、２次元画像を取得する撮像部１４，２４に代えて、３次元（３Ｄ）画像を取得する３Ｄ撮像部１５，２５を備えている。さらに、医療用システム３００は、腹腔マニピュレータ１の３Ｄ撮像部１５に設けられたマーカ１６および重力センサ１７と、管腔マニピュレータ２の３Ｄ撮像部２５に設けられたマーカ２６および重力センサ２７と、体外に配置され各マーカ１６，２６からの信号に基づいて体内における各３Ｄ撮像部１５，２５の位置を検出する位置検出部８とをさらに備えている。
　マーカ１６，２６は、体内から体外へ伝播する信号（例えば、磁場）を発生する。
　位置検出部８は、各マーカ１６，２６が発生する信号を受信し、受信された信号に基づいて各３Ｄ撮像部１５，２５の位置を検出し、検出された３Ｄ撮像部１５，２５の位置を制御部７に送信する。
　重力センサ１７，２７は、３Ｄ撮像部１５，２５の互いに直交する３軸方向の姿勢をそれぞれ検出し、検出された３Ｄ撮像部１５，２５の姿勢を制御部７に送信する。
　本実施形態において、制御部７は、図１１に示される制御方法に従って画面６１の表示を制御する。
　ステップＳＣ１～ＳＣ８，ＳＣ１１は、第２の実施形態のステップＳＢ１～ＳＢ８、ＳＢ１１とそれぞれ同一である。
　制御部７は、表示画像として腹腔画像Ｌを選択した場合、管腔画像Ｅ内の処置部２２，２３を腹腔画像Ｌに重畳した重畳画像を画像処理部（重畳処理部）５に生成させ、該重畳画像を画面６１に表示させる（ステップＳＣ９）。一方、制御部７は、表示画像として管腔画像Ｅを選択した場合、腹腔画像Ｌ内の処置部１２，１３を管腔画像Ｅに重畳した重畳画像を画像処理部５に生成させ、該重畳画像を画面６１に表示させる（ステップＳＣ１０）。
　図１２は、ステップＳＣ９，ＳＣ１０における重畳画像の生成方法を示す。
　図１２に示されるように、制御部７は、各撮像部１５，２５の位置を位置検出部８に検出させ、各撮像部１５，２５の位置座標を位置検出部８から取得する（ステップＳＤ１）。また、制御部７は、各重力センサ１７，２７に各撮像部１５，２５の姿勢を検出させ、各撮像部１５，２５の姿勢の情報を重力センサ１７，２７から取得する（ステップＳＤ２）。また、制御部７は、各撮像部１５，２５から受信した３Ｄ画像信号情報から各処置部１２，１３，２２，２３の３Ｄ形状を算出する（ステップＳＤ３）。制御部７は、ステップＳＤ１～ＳＤ３において得られた各撮像部１５，２５の位置座標および姿勢の情報と各処置部１２，１３，２２，２３の３Ｄ形状とを画像処理部５に送信する。
　次に、画像処理部５は、制御部７から受信した情報およびデータに基づいて、全ての処置部１２，１３，２２，２３のボリュームデータを構築する（ステップＳＤ４）。ボリュームデータの構築には、各撮像部１５，２５の画角と、撮像部１５と処置部１２，１３との相対位置の情報と、撮像部２５と処置部２２，２３との相対位置の情報とがさらに用いられる。これら画角および相対位置の情報は、予め画像処理部５に保持されている。
　次に、画像処理部５は、表示画像の座標面を、表示画像に対応する撮像部１５または２５の姿勢および画角に基づいて算出する（ステップＳＤ５）。次に、画像処理部５は、ボリュームデータを用いて、表示画像ではない方の画像に対応する（他側の）処置部のデータを座標面に投影する（ステップＳＤ６）。これにより、重畳画像が生成される。
　なお、各処置部１２，１３，２２，２３の３Ｄ形状は、制御部７がマニピュレータ１，２の制御情報と各処置部の設計データとに基づく演算によって算出してもよい。
　このように、本実施形態によれば、操作者が、腹腔Ａ内の処置部１２，１３と管腔Ｂ内の処置部２２，２３を同時に操作する場合に、表示画像が管腔画像Ｅであるときには腹腔Ａ内の処置部１２，１３が管腔画像Ｅに重畳され、表示画像が腹腔画像Ｌであるときには管腔Ｂ内の処置部２２，２３が腹腔画像Ｌに重畳される。したがって、操作者は、壁Ｃの向こう側に位置する処置部も表示画像から把握することができる。これにより、１人の操作者による、別々の腔Ａ，Ｂ内の２組の処置部１２，１３；２２，２３の操作をさらに効果的に支援することができ、１人の操作者によって２組の処置部１２，１３；２２，２３をさらに円滑に操作することができる。
（第４の実施形態）
　次に、本発明の第４の実施形態に係る医療用システムについて図１３から図１５を参照して説明する。
　本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る医療用システムは、図１３および図１４に示されるように、表示部６が、画面（以下、メイン画面という。）６１の隣に設けられ、表示画像ではない方の画像を表示するサブ画面６２を有する点において、第２の実施形態と異なっている。サブ画面６２は、メイン画面６１よりも小さい寸法を有している。
　本実施形態において、制御部７は、図１５に示される制御方法に従ってメイン画面６１およびサブ画面６２の表示を制御する。
　ステップＳＥ１～ＳＥ８，ＳＥ１１は、第２の実施形態のステップＳＢ１～ＳＢ８、ＳＢ１１とそれぞれ同一である。
　制御部７は、表示画像として腹腔画像Ｌを選択した場合、図１３に示されるように、腹腔画像Ｌをメイン画面６１に表示させ、管腔画像Ｅをサブ画面６２に表示させる（ステップＳＥ９）。一方、制御部７は、表示画像として管腔画像Ｅを選択した場合、図１４に示されるように、管腔画像Ｅをメイン画面６１に表示させ、腹腔画像Ｌをサブ画面６２に表示させる（ステップＳＥ１０）。
　このように、本実施形態によれば、表示画像ＥまたはＬではない方の画像ＬまたはＥがサブ画面６２に表示されるので、操作者は、腹腔Ａ内および管腔Ｂ内の両方の処置部１２，１３，２３，２２をより正確に把握することができる。これにより、１人の操作者による、別々の腔Ａ，Ｂ内の２組の処置部１２，１３；２２，２３の操作をさらに効果的に支援することができ、１人の操作者によって２組の処置部１２，１３；２２，２３をさらに円滑に操作することができる。
　本実施形態においては、第３の実施形態において説明した重畳画像をメイン画面６１に表示してもよい。さらに、サブ画面６２にも重畳画像（サブ重畳画像）を表示してもよい。この場合、画像処理部５は、ステップＳＤ５，ＳＤ６と同様の方法によって、表示画像ではない方の画像に、表示画像と同一側の腔内の処置部を重畳した重畳画像を生成する。
　このようにすることで、操作者は、メイン画面６１およびサブ画面６２に表示される重畳画像に基づいて、腹腔Ａ内および管腔Ｂ内の両方の処置部１２，１３，２３，２２をさらに正確に把握することができる。
（第５の実施形態）
　次に、本発明の第５の実施形態に係る医療用システムについて図１６から図１８Ｂを参照して説明する。
　本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る医療用システムは、メイン画面６１上の表示画像内における処置部の動作方向が、操作部４１Ｌ，４１Ｒの操作方向と対応するように、表示画像を回転させる点において、第２の実施形態と異なっている。図１６および図１７には、表示部６に第４の実施形態において説明したサブ画面６２が設けられている例が示されているが、第２の実施形態のようにサブ画面６２が表示部６に設けられていなくてもよい。
　メイン画面６１および操作部４１Ｌ，４１Ｒは、図１６および図１７に示されるように、上下左右方向をそれぞれ有している。メイン画面６１の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向は、互いに対応している。
　本実施形態において、制御部７は、図１８Ａおよび図１８Ｂに示される制御方法に従ってメイン画面６１上の表示画像の回転を制御する。
　ステップＳＦ１～ＳＦ１１は、第４の実施形態のステップＳＥ１～ＳＥ１１とそれぞれ同一である。
　図１６に示されるように、ステップＳＦ１０において管腔画像Ｅをメイン画面６１に表示させた後、操作者が操作部４１Ｌ，４１Ｒを操作することによって管腔画像Ｅ内の処置部２２，２３が動くと、制御部７は、管腔画像Ｅ内の処置部２２，２３の動作方向を検出する（ステップＳＦ１４）。そして、制御部７は、メイン画面６１上における（メイン画面６１の座標系における）処置部２２，２３の動作方向が、操作部４１Ｌ，４１Ｒの操作方向と対応するように、管腔画像Ｅの回転角度を算出する。次に、制御部７は、算出された回転角度だけ管腔画像Ｅを回転させるように画像処理部（回転処理部）５を制御する（ステップＳＦ１５）。これにより、図１７に示されるように、操作部４１Ｌ，４１Ｒの操作方向とメイン画面６１上における処置部２２，２３の動作方向とが一致するように、メイン画面６１上の管腔画像Ｅが回転する。
　同様に、ステップＳＦ９において腹腔画像Ｌをメイン画面６１に表示させた後、操作者が操作部４１Ｌ，４１Ｒを操作することによって腹腔画像Ｌの処置部１２，１３が動くと、制御部７は、腹腔画像Ｌ内の処置部１２，１３の動作方向を検出する（ステップＳＦ１２）。そして、制御部７は、メイン画面６１上における（メイン画面６１の座標系における）処置部１２，１３の動作方向が、操作部４１Ｌ，４１Ｒの操作方向と対応するように、腹腔画像Ｌの回転角度を算出する。次に、制御部７は、算出された回転角度だけ腹腔画像Ｌを回転させるように画像処理部５を制御する（ステップＳＦ１３）。これにより、操作部４１Ｌ，４１Ｒの操作方向とメイン画面６１上における処置部１２，１３の動作方向とが一致するように、メイン画面６１上の腹腔画像Ｌが回転する。
　体内におけるマニピュレータ１，２の姿勢によっては処置部１２，１３，２２，２３の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向との間にずれが生じる。処置部１２，１３，２２，２３の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向とがずれた状態で操作部４１Ｌ，４１Ｒを操作すると、操作部４１Ｌ，４１Ｒの操作方向とは異なる方向にメイン画面６１内で処置部１２，１３，２２，２３が動く。そこで、図１７に示されるように、操作部４１Ｌ，４１Ｒの操作方向とメイン画面６１上における処置部１２，１３または２２，２３の動作方向とが一致するように、表示画像を回転させることによって、操作者は、操作部４１Ｌ，４１Ｒを用いてより直感的に処置部１２，１３，２２，２３を操作することができる。
（第６の実施形態）
　次に、本発明の第６の実施形態に係る医療用システムについて図１９から図２４を参照して説明する。
　本実施形態においては、第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る医療用システムは、図１９から図２２に示されるように、インタフェース部４が、画面６１に表示される表示画像を回転させるための回転操作部４３を備える点において、第２の実施形態と異なっている。図１９から図２２には、サブ画面６２を有しない表示部６が示されているが、第４の実施形態のようにサブ画面６２が表示部６に設けられていてもよい。
　回転操作部４３は、操作者によって任意の角度だけ回転操作されるように構成されている。回転操作部４３は、操作者による回転操作の回転角度を示す回転操作情報を制御部７に送信する。
　本実施形態において、制御部７は、図２３Ａおよび図２３Ｂに示される制御方法に従って画面６１の表示および処置部１２，１３，２２，２３の動作を制御する。
　ステップＳＧ１～ＳＧ１１は、第２の実施形態のＳＢ１～ＳＢ１１とそれぞれ同一である。画面６１に表示画像Ｅが表示された後、図１９に示されるように操作者が回転操作部４３を操作すると、回転操作情報が制御部７に送信される（ステップＳＧ１２のＹＥＳ）。制御部７は、回転角度だけ表示画像Ｅを回転させるように画像処理部（回転処理部）５を制御する。これにより、図２０に示されるように画面６１上の表示画像Ｅが回転する。
　続いて、図２１に示されるように、操作者が操作部４１Ｌ，４１Ｒを操作することによって表示画像Ｅ内の処置部２２，２３が動くと、制御部７は、上述したステップＳＦ１２，ＳＦ１４と同様にして表示画像Ｅ内の処置部２２，２３の動作方向を検出する（ステップＳＧ１３）。次に、制御部７は、画面６１上における処置部２２，２３の動作方向を操作部４１Ｌ，４１Ｒの操作方向に対応させるための制御パラメータを算出し（ステップＳＧ１４）、算出された制御パラメータを用いて処置部２２，２３の動作方向を調整した制御信号を生成し（ステップＳＧ１５）、該制御信号をマニピュレータ２に送信する。これにより、図２２に示されるように、操作部４１Ｌ，４１Ｒの操作方向に対応する方向に処置部２２，２３が動作するようになる。
　操作者が、画面６１上の表示画像Ｅを回転させたときに、処置部２２，２３の上下左右方向と操作部４１Ｌ，４１Ｒの上下左右方向との間にずれが生じ得る。例えば、図２１の状態において、右操作部４１Ｒを左上へ操作すると、画面６１上の表示画像Ｅ内の処置部２２は右下へ動く。そこで、図２２に示されるように、操作部４１Ｌ，４１Ｒの操作方向と画面６１上における処置部２２，２３の動作方向とが一致するように制御信号を調整することによって、操作者は、操作部４１Ｌ，４１Ｒを用いてより直感的に処置部２２，２３を操作することができる。
　本実施形態においては、表示画像内の処置部の動作方向に基づいて制御信号を調整することとしたが、これに代えて、制御部７が、図２４に示されるように、回転操作情報から取得される回転操作の回転角度に基づいて、画面６１上における処置部２２，２３の動作方向を操作部４１Ｌ，４１Ｒの操作方向に対応させるための制御パラメータを算出してもよい（ステップＳＧ１６）。このようにすることで、表示画像内から処置部の動きを検出する処理を不要にすることができる。
　上述した第１から第６の実施形態は、適宜組み合わせて実施することができる。
　また、第１から第６の実施形態において説明した画像処理部５および制御部７の機能は、例えば、中央演算処理装置（ＣＰＵ）と主記憶装置と補助記憶装置とを備えるコンピュータによって実現される。具体的には、補助記憶装置に画像処理プログラムおよび制御プラグラムが格納され、これらのプログラムが補助記憶装置から主記憶装置にロードされ、プログラムに従ってＣＰＵが動作することによって、画像処理部５および制御部７による上述した処理が実行されるようになっている。
１００，３００　医療用システム
１　腹腔マニピュレータ（第１のマニピュレータ）
２　管腔マニピュレータ（第２のマニピュレータ）
１２，１３，２２，２３　処置部
１４，１５　撮像部（第１の撮像部）
２４，２５　撮像部（第２の撮像部）
４　インタフェース部
４１Ｌ，４１Ｒ　操作部
４２，４２Ｌ，４２Ｒ　操作対象選択部
４３　回転操作部
５　画像処理部（重畳処理部、回転処理部）
６　表示部
６１　画面、メイン画面
６２　サブ画面
７　制御部
Ａ　腹腔（第１の体腔）
Ｂ　管腔（第２の体腔）
Ｌ　腹腔画像（第１の画像）
Ｅ　管腔画像（第２の画像）

Claims (7)

  1. 　第１の体腔内に挿入され、第１の処置部および該第１の処置部を撮影する第１の撮像部を有する第１のマニピュレータと、
    　前記第１の体腔とは異なる第２の体腔内に挿入され、第２の処置部および該第２の処置部を撮影する第２の撮像部を有する第２のマニピュレータと、
    　操作者によって操作されるインタフェース部と、
    　該インタフェース部に入力された操作に従って前記第１の処置部および前記第２の処置部の動作を制御する制御部と、
    　前記第１の撮像部によって取得された第１の画像および前記第２の撮像部によって取得された第２の画像を択一的に表示する画面を有する表示部と、
    　前記画面の表示を前記第１の画像と前記第２の画像との間で切り替える表示切替部とを備え、
    　前記インタフェース部が、
    　前記第１の処置部および前記第２の処置部に対する操作指示が前記操作者によって入力される操作部と、
    　該操作部の操作対象が前記第１の処置部および前記第２の処置部の中から択一的に前記操作者によって選択される操作対象選択部とを備え、
    　前記表示切替部が、前記第１の画像および前記第２の画像のうち、前記操作対象選択部によって選択された操作対象と同一のマニピュレータに設けられている撮像部による画像を選択し、選択された画像を前記画面に表示させる医療用システム。
  2. 　前記第１のマニピュレータが、２つの前記第１の処置部を有し、
    　前記第２のマニピュレータが、２つの前記第２の処置部を有し、
    　前記インタフェース部が、２つの前記操作部と、該２つの操作部にそれぞれ対応する２つの前記操作対象選択部とを備え、
    　前記表示切替部は、前記２つの操作対象選択部によって選択された２つの操作対象が前記第１の処置部および前記第２の処置部である場合に、前記第１の処置部および前記第２の処置部の種類に応じて前記画面に表示する画像を選択する請求項１に記載の医療用システム。
  3. 　前記表示切替部によって選択されなかった画像内の処置部を、前記表示切替部によって選択された画像に重畳した重畳画像を生成する重畳処理部を備え、
    　前記表示部が、前記重畳画像を前記画面に表示させる請求項１または請求項２に記載の医療用システム。
  4. 　前記表示部が、前記表示切替部によって選択されなかった画像を表示するサブ画面を有する請求項１から請求項３のいずれかに記載の医療用システム。
  5. 　前記重畳処理部が、前記表示切替部によって選択された画像内の処置部を、前記表示切替部によって選択されなかった画像に重畳したサブ重畳画像を生成し、
    　前記表示部が、前記サブ重畳画像を表示するサブ画面を有する請求項３に記載の医療用システム。
  6. 　前記表示切替部によって選択された画像内の前記操作対象の前記画面上での動作方向が前記操作部の操作方向と対応するように前記選択された画像を回転させる回転処理部を備える請求項１から請求項５のいずれかに記載の医療用システム。
  7. 　前記制御部は、前記表示切替部によって選択された画像内の前記操作対象の前記画面上での動作方向が前記操作部の上下左右方向と対応するように前記操作対象の動作方向を制御する請求項１から請求項５のいずれかに記載の医療用システム。
PCT/JP2016/068639 2016-06-23 2016-06-23 医療用システム WO2017221367A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018523225A JP6650519B2 (ja) 2016-06-23 2016-06-23 医療用システム
PCT/JP2016/068639 WO2017221367A1 (ja) 2016-06-23 2016-06-23 医療用システム
US16/220,038 US10729505B2 (en) 2016-06-23 2018-12-14 Medical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068639 WO2017221367A1 (ja) 2016-06-23 2016-06-23 医療用システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/220,038 Continuation US10729505B2 (en) 2016-06-23 2018-12-14 Medical system

Publications (1)

Publication Number Publication Date
WO2017221367A1 true WO2017221367A1 (ja) 2017-12-28

Family

ID=60784417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068639 WO2017221367A1 (ja) 2016-06-23 2016-06-23 医療用システム

Country Status (3)

Country Link
US (1) US10729505B2 (ja)
JP (1) JP6650519B2 (ja)
WO (1) WO2017221367A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08275958A (ja) * 1995-04-07 1996-10-22 Olympus Optical Co Ltd 手術用マニピュレータ装置
JP2004041580A (ja) * 2002-07-15 2004-02-12 Olympus Corp 外科手術用器具と外科手術システム
JP2009542362A (ja) * 2006-06-29 2009-12-03 インテュイティブ サージカル インコーポレイテッド コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
WO2013005862A1 (en) * 2011-07-07 2013-01-10 Olympus Corporation Medical master slave manipulator

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384573B2 (ja) 1992-08-20 2003-03-10 オリンパス光学工業株式会社 手術システム
JP3321236B2 (ja) 1993-04-07 2002-09-03 オリンパス光学工業株式会社 体腔内位置検出システム
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
JPH07184909A (ja) 1993-12-27 1995-07-25 Olympus Optical Co Ltd 治療装置
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
JP2003204968A (ja) 2002-01-11 2003-07-22 Olympus Optical Co Ltd 治療装置
JP2003204967A (ja) 2002-01-11 2003-07-22 Olympus Optical Co Ltd 治療装置
JP4698966B2 (ja) 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
TW200744518A (en) 2006-01-06 2007-12-16 Olympus Medical Systems Corp Medical system conducted percutaneous or using naturally ocurring body orifice
US20070161855A1 (en) 2006-01-06 2007-07-12 Olympus Medical Systems Corp. Medical procedure through natural body orifice
US20070167967A1 (en) 2006-01-13 2007-07-19 Olympus Medical Systems Corp. Medical procedure via natural orifice and puncture device
JP2007296382A (ja) 2007-07-30 2007-11-15 Olympus Corp 挿入補助具
JP2009112644A (ja) 2007-11-08 2009-05-28 Olympus Medical Systems Corp 画像処理装置
JP5154961B2 (ja) * 2008-01-29 2013-02-27 テルモ株式会社 手術システム
US8918211B2 (en) * 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
JP5800610B2 (ja) 2011-07-07 2015-10-28 オリンパス株式会社 医療用マスタスレーブマニピュレータ
JP5800609B2 (ja) 2011-07-07 2015-10-28 オリンパス株式会社 医療用マスタスレーブマニピュレータ
DE102012025100A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
CN111166274A (zh) * 2013-10-24 2020-05-19 奥瑞斯健康公司 机器人辅助腔内外科手术系统及相关方法
JP6305088B2 (ja) * 2014-02-07 2018-04-04 オリンパス株式会社 手術システムおよび手術システムの作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08275958A (ja) * 1995-04-07 1996-10-22 Olympus Optical Co Ltd 手術用マニピュレータ装置
JP2004041580A (ja) * 2002-07-15 2004-02-12 Olympus Corp 外科手術用器具と外科手術システム
JP2009542362A (ja) * 2006-06-29 2009-12-03 インテュイティブ サージカル インコーポレイテッド コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
WO2013005862A1 (en) * 2011-07-07 2013-01-10 Olympus Corporation Medical master slave manipulator

Also Published As

Publication number Publication date
US10729505B2 (en) 2020-08-04
JP6650519B2 (ja) 2020-02-19
JPWO2017221367A1 (ja) 2019-04-25
US20190117326A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
US11941734B2 (en) Rendering tool information as graphic overlays on displayed images of tools
US20220192765A1 (en) Roboticized Surgery System with Improved Control
JP7080945B2 (ja) 遠隔操作医療システムにおける器具の画面上での識別のためのシステム及び方法
KR102501099B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
US11534241B2 (en) Medical manipulator system and image display method therefor
KR101038417B1 (ko) 수술 로봇 시스템 및 그 제어 방법
US9232984B2 (en) Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
JP2023101524A (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
WO2017115425A1 (ja) 医療用マニピュレータシステム
EP3246135A1 (en) Synthetic representation of a surgical robot
JP6117922B2 (ja) 医療用マニピュレータおよびその作動方法
JPWO2016203858A1 (ja) 医療システム
WO2014199413A1 (ja) 医療用マニピュレータおよびその制御方法
KR101798590B1 (ko) 마스터 로봇, 이를 포함하는 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
KR101801279B1 (ko) 수술 로봇 시스템 및 그 제어 방법과, 이를 기록한 기록매체
KR100962472B1 (ko) 수술 로봇 시스템 및 그 제어 방법
JP6097390B2 (ja) 医療用マニピュレータ
KR101114232B1 (ko) 수술 로봇 시스템 및 그 동작 제한 방법
JP6650519B2 (ja) 医療用システム
KR101683057B1 (ko) 수술 로봇 시스템 및 그 동작 제한 방법
KR101715026B1 (ko) 수술 로봇 시스템 및 그 동작 제한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16906284

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018523225

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16906284

Country of ref document: EP

Kind code of ref document: A1