JP6005950B2 - 手術支援装置及びその制御方法 - Google Patents

手術支援装置及びその制御方法 Download PDF

Info

Publication number
JP6005950B2
JP6005950B2 JP2012040011A JP2012040011A JP6005950B2 JP 6005950 B2 JP6005950 B2 JP 6005950B2 JP 2012040011 A JP2012040011 A JP 2012040011A JP 2012040011 A JP2012040011 A JP 2012040011A JP 6005950 B2 JP6005950 B2 JP 6005950B2
Authority
JP
Japan
Prior art keywords
marker
unit
main body
detected
support apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012040011A
Other languages
English (en)
Other versions
JP2013034835A (ja
Inventor
量平 小川
量平 小川
岸　宏亮
宏亮 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012040011A priority Critical patent/JP6005950B2/ja
Priority to PCT/JP2012/069927 priority patent/WO2013018912A1/en
Priority to EP12819447.9A priority patent/EP2739231B1/en
Priority to CN201280038440.5A priority patent/CN103717171B/zh
Publication of JP2013034835A publication Critical patent/JP2013034835A/ja
Priority to US14/169,742 priority patent/US9632577B2/en
Application granted granted Critical
Publication of JP6005950B2 publication Critical patent/JP6005950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • A61B17/32002—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes with continuously rotating, oscillating or reciprocating cutting instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1402—Probes for open surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00—Surgical drapes
    • A61B46/10—Surgical drapes specially adapted for instruments, e.g. microscopes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1679—Program controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/068—Surgical staplers, e.g. containing multiple staples or clamps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00477—Coupling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00477—Coupling
    • A61B2017/00482—Coupling with a code
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/067—Measuring instruments not otherwise provided for for measuring angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B46/00—Surgical drapes
    • A61B46/20—Surgical drapes specially adapted for patients
    • A61B46/23—Surgical drapes specially adapted for patients with means to retain or hold surgical implements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/06—Communication with another machine
    • Y10S901/08—Robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/30—End effector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/49—Method of mechanical manufacture
    • Y10T29/49826—Assembling or joining
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T74/00—Machine element or mechanism
    • Y10T74/18—Mechanical movements
    • Y10T74/18056—Rotary to or from reciprocating or oscillating

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Manipulator (AREA)

Description

本発明は、遠隔操作により操作される手術支援装置及びその制御方法に関する。
従来、手術支援装置として、操作者によって操作されるマスタマニピュレータと、マスタマニピュレータから発せられる信号に基づいて動作するスレーブマニピュレータとを備えたマスタスレーブ型の手術支援装置が知られている。
また、操作者の手の位置、姿勢、及び開閉状態を検出するトラッキング装置を用いて手術支援装置を動作させることが知られている（例えば特許文献１参照）。
特許文献１に記載のトラッキング装置は、複数のマーカーが取り付けられた手袋と、マーカーの位置を検出することができる検出器とを備えている。これにより、マーカーが付された手袋を操作者が着けて手を動かした場合に、手の位置、姿勢、及び開閉状態に基づいてスレーブマニピュレータを動作させることができる。
米国特許公開第２０１１／０１１８７５３号明細書
しかしながら、特許文献１に記載のトラッキング装置では、手袋に付された全てのマーカーの相対的な位置関係に基づいて手の位置、姿勢、及び開閉状態を検出するので、検出をするための演算量が多い。さらに、演算量を減らすためにパターンマッチングを採用しようとしても、各指や手掌の曲げ状態によってマーカーの位置関係のパターンが多数存在するので、膨大なパターンを予め用意しなければならない。
また、同一の構成を有する複数のマーカーが手袋に付されているので、マーカーが誤認識される場合があり、手術支援装置に対する誤入力が発生するおそれがある。
本発明は、上述した事情に鑑みてなされたものであって、その目的は、簡易な構成で高精度な遠隔操作入力をすることができる手術支援装置及びその制御方法を提供することである。
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の手術支援装置は、操作者からの入力に基づいて操作指令を発する操作入力部と、前記操作指令に基づいて術具を動作させる動作部と、を備えた手術支援装置であって、前記操作入力部は、前記操作者に把持される被検出体と、前記被検出体を検出する検出装置と、を備え、前記被検出体は、前記検出装置により検出される３つの第一マーカーが設けられた本体部と、前記本体部に設けられ前記操作者に操作される操作部と、前記本体部と前記操作部との少なくとも何れかに設けられ前記操作部に対する操作に対応して状態が変化する第二マーカーと、を有し、前記第一マーカーは、三辺の長さが互いに異なる三角形の頂点となるように互いに離間して前記本体部に配置され、前記検出装置は、少なくとも前記第一マーカーを用いて前記被検出体の位置及び姿勢を特定可能な情報を算出し、且つ少なくとも前記第二マーカーを用いて前記操作部への操作入力状態を特定可能な情報を算出し、前記操作入力部は、前記検出装置により算出された結果に基づいて、前記術具を移動させるための指令を前記操作指令として前記動作部へ出力することにより、前記被検出体の位置及び姿勢並びに前記操作入力状態に応じて前記術具の動作を制御することを特徴とする手術支援装置である。
また、前記操作部は前記本体部に対して移動可能に連結されており、前記第二マーカーは前記操作部に設けられ、前記検出装置は、少なくとも前記第一マーカーを用いて前記本体部の位置及び姿勢を算出し、且つ前記第二マーカーの位置に基づいて前記操作部への操作入力状態を算出することが好ましい。
また、前記操作部は前記本体部に対して開閉動作可能であることが好ましい。
また、前記第一マーカーと前記第二マーカーとは、配置位置以外の少なくとも一つの事項において相違し、前記検出装置は、前記第一マーカーと前記第二マーカーとの相違点に基づいて前記第一マーカーと前記第二マーカーとを識別するようになっていてもよい。
また、前記第一マーカーと前記第二マーカーとは前記操作入力部における配置位置のみが異なり、前記検出装置は、前記第一マーカー及び前記第二マーカーの前記操作入力部上での相対位置関係のみに基づいて前記第一マーカーと前記第二マーカーとを識別するようになっていてもよい。
また、前記検出装置は、前記第一マーカーと前記第二マーカーとの両方を用いて前記本体部の位置及び姿勢並びに前記操作入力状態を算出してもよい。
また、前記第二マーカーは、前記操作部の操作量に応じて、その状態量が変化してもよい。
本発明の手術支援装置の制御方法は、三辺の長さが互いに異なる三角形の頂点となるように互いに離間する３つの第一マーカーが付された本体部、および第二マーカーが付された操作部を有する被検出体を用いて手術支援装置を制御する手術支援装置の制御方法であって、前記被検出体の前記第一マーカーおよび前記第二マーカーを検出し、前記検出された少なくとも前記第一マーカーを用いて前記被検出体の位置及び姿勢を特定可能な第一情報を算出し、且つ前記検出された少なくとも前記第二マーカーを用いて前記操作部への操作入力状態を特定可能な第二情報を算出し、前記第一情報と前記第二情報とを用いて前記手術支援装置に設けられた術具の動作を制御することを特徴とする手術支援装置の制御方法である。
本発明の手術支援装置及びその制御方法によれば、簡易な構成で高精度な遠隔操作入力をすることができる。
本発明の第１実施形態の手術支援装置を示す全体図である。 同手術支援装置における被検出体を示す平面図である。 同被検出体を示す平面図である。 同手術支援装置に設けられた術具の例を示す模式図である。 同手術支援装置における検出装置の構成を説明するための模式図である。 同手術支援装置における被検出体の検出方法を説明するための説明図である。 同手術支援装置における被検出体の検出方法を説明するための説明図である。 同手術支援装置における被検出体の検出方法を説明するための説明図である。 同手術支援装置における被検出体の検出方法を説明するための説明図である。 同手術支援装置の他の変形例における一部の構成を示す模式図である。 本発明の第２実施形態の手術支援装置に設けられた被検出体を示す平面図である。 同被検出体を示す平面図である。 同被検出体を示す平面図である。 同実施形態の変形例における被検出体を示す平面図である。 同被検出体を示す平面図である。 同被検出体を示す平面図である。 同実施形態の他の変形例における被検出体を示す平面図である。 同被検出体を示す平面図である。 本発明の第３実施形態の手術支援装置に設けられた被検出体を示す平面図である。 同被検出体を示す平面図である。 同実施形態の変形例における被検出体を示す平面図である。 同被検出体を示す平面図である。
（第１実施形態）
本発明の第１実施形態の手術支援装置１及びその制御方法について説明する。図１は、本実施形態の手術支援装置を示す全体図である。図２は、手術支援装置における被検出体を示す平面図である。図３は、被検出体を示す平面図である。図４は、手術支援装置に設けられた術具の例を示す模式図である。
図１に示すように、手術支援装置１は、マスタマニピュレータ（操作入力部）２、スレーブマニピュレータ１４（動作部）、表示装置２０、及び制御装置２１を備える。
マスタマニピュレータ２は、操作者Ｏｐの動きに応じてスレーブマニピュレータ１４を動作させるために設けられており、操作者Ｏｐによって把持される被検出体３と、被検出体３を検出する検出装置１０とを備える。また、本実施形態では、マスタマニピュレータ２と、制御装置２１における変換処理部２２とによって、スレーブマニピュレータ１４を動作させるための操作指令を発する操作入力部が構成されている。
図１及び図２に示すように、被検出体３は、操作者Ｏｐが被検出体３を把持してマスタマニピュレータ２に対する入力操作をするために設けられている。被検出体３は、本体部４と、本体部４に対して移動可能に連結された操作部６とを備える。
本体部４は、外面に第一マーカー５が設けられた部材である。本体部４に設けられた第一マーカー５は、本体部４の外面において互いに離間する３箇所に設けられている。第一マーカー５は、本体部４の外面に例えば印刷によって設けられている。
第一マーカー５は、本体部４に対して位置決めされて配置されている。このため、第一マーカー５の位置及び姿勢は、本体部４の位置及び姿勢に対応している。さらに、３つの第一マーカー５は、各第一マーカー５と頂点とする三角形の三辺の長さが互いに異なるように配置されている。これにより、各第一マーカー５の相対位置関係により本体部４の姿勢を一意に特定することができる。
また、本実施形態では、後述する撮影部１１に設けられたカメラのうちの一台に全ての第一マーカー５が撮影されるようにする目的で、本体部４の外面における平面状の部分若しくは極緩やかな曲面状の部分に第一マーカー５が配されている。
また、あるマーカーが操作中に遮蔽された場合に対応できるよう、３つ以上のマーカーが余分に設けられていてもよい。あるマーカーが遮蔽された場合は、余分に設けられたうちの別のマーカーを用いて位置・姿勢を求める。
なお、３つ若しくはそれ以上の第一マーカー５が一枚のシート上に配され当該シートが本体部４の外面に貼り付けられていてもよい。
図２及び図３に示すように、操作部６は、スレーブマニピュレータ１４に設けられた術具１６を操作するために設けられており、図１に示すように操作者Ｏｐによって操作される。本実施形態では、操作部６は、術具１６である把持鉗子の処置部１８に配された一対の鉗子片１７を開閉動作させるために設けられている（図４参照）。操作部６は、本体部４の外面から突出する一対の棒状部７を有している。各棒状部７の一端側には、本体部４に対して棒状部７を回動可能に支持する支点部８が設けられている。各棒状部７の他端には、操作部６に対する操作に対応して状態が変化する第二マーカー９が設けられている。本実施形態では、第二マーカー９は、操作部６に対する操作に対応して、操作部６と一体に移動される。また、本実施形態では、第二マーカー９は、配置位置以外は第一マーカー５と同一の構成を有している。
一対の棒状部７は、本体部４を間に挟むように対向配置されている。各支点部８を回動軸として各棒状部７が回動することにより、操作部６は、術具１６に設けられた一対の鉗子片１７の動作に対応した開閉動作をすることができるようになっている。操作部６の開閉機構としては、例えばリンク機構６ａと、棒状部７が開くようにリンク機構６ａを付勢する付勢部材６ｂとを有する。
図５は、手術支援装置における検出装置の構成を説明するための模式図である。図６及び図７は、手術支援装置における被検出体の検出方法を説明するための説明図である。
図５に示すように、検出装置１０は、撮影部１１と、画像認識部１２と、出力部１３とを備える。
撮影部１１は、被検出体３が使用者によって使用されているときの被検出体３を撮影する装置である。撮影部１１の撮影視野は、手術支援装置１の使用時において使用者によって被検出体３が移動される空間（以下、「作業空間Ｑ１」と称する。）の全体を撮影することができるように設定されている。また、撮影部１１は、作業空間Ｑ１に対して所定の一方向から撮影をする第一のカメラと、上記所定の一方向とは別の方向から撮影をする第二のカメラとを少なくとも備えている。これにより、撮影部１１は、作業空間Ｑ１内に位置する被検出体３に対して、互いにアングルが異なる少なくとも２画像を同時に撮影することができる。なお、撮影部１１は、３以上のカメラを有していてもよい。また、撮影部１１は、被検出体３とカメラとの間に操作者Ｏｐ自身若しくは他の障害物が入り込んだ場合を想定して予備のカメラを備えた冗長構成を有していてもよい。撮影部１１は、撮影された画像を、画像認識部１２へと出力する。
画像認識部１２は、撮影された画像から、画像認識処理により第一マーカー５及び第二マーカー９を区別して認識する。本実施形態では、第一マーカー５と第二マーカー９とは配置位置のみが異なっており、画像認識部１２では、第一マーカー５と第二マーカー９の相対位置関係のみに基づいて第一マーカー５と第二マーカー９とを識別する。例えば、第一マーカー５と第二マーカー９との相対位置関係のパターンが画像認識部１２に記憶されており、撮影部１１から入力された画像と当該パターンとを照合することによって作業空間Ｑ１内における第一マーカー５及び第二マーカー９の座標を取得する。また、本実施形態では、第一マーカー５は本体部４における位置関係が固定状態であるので、第一マーカー５を頂点とする三角形を先に検出し（図６参照）、当該三角形の外側に位置するマーカーを第二マーカー９として検出することができる。その他、画像認識処理としては、公知の手段を適宜採用することができる。
出力部１３は、画像認識部１２において取得された座標を、制御装置２１の変換処理部２２へと座標情報として出力する。本実施形態において、出力部１３から出力される座標情報は、被検出体３の位置及び姿勢を変換処理部２２が特定するための情報（第一情報）、及び操作部６への操作入力状態を変換処理部２２が特定するための情報（第二情報）となっている。出力部１３からは、被検出体３が作業空間Ｑ１内で移動しているか否かに関わらず、所定の発信タイミングに従って座標情報が出力される。
図１に示すように、スレーブマニピュレータ１４は、内視鏡装置１５及び術具１６（以下、「術具等」と総称する場合がある。）が取り付けられたスレーブアーム１９と、術具等及びスレーブアーム１９を動作させるアクチュエータ（不図示）とを備える。スレーブマニピュレータ１４に設けられた各アクチュエータは、制御装置２１から出力される駆動信号に従って動作する。
図１に示すように、スレーブマニピュレータ１４に設けられた内視鏡装置１５は、処置対象物や術具１６の画像を取得して表示装置２０へと出力する。
術具１６は、内視鏡装置１５の視野内で処置対象物に対して処置を行う目的で設けられている。術具１６の種類は特に限定されることはなく、処置の内容に応じて公知の術具を適宜採用することができる。また、術具１６は、スレーブマニピュレータ１４に取り付け可能な術具には限られず、スレーブマニピュレータ１４と協動する術具であってもよい。
本実施形態では、術具１６の例として、開閉動作可能な一対の鉗子片１７を有する把持鉗子を示す（図４参照）。把持鉗子は、所定の回動軸によって一対の鉗子片１７が互いに連結されており、上記一対の鉗子片１７によって処置部１８が構成されている。処置部１８の位置及び姿勢は、把持鉗子若しくはスレーブアーム１９に設けられた位置姿勢検出手段によって検出される。当該位置姿勢検出手段によって検出された処置部１８の位置及び姿勢は、制御装置２１へ出力されたり、制御装置２１によって参照されたりする。
位置姿勢検出手段とは、たとえば、スレーブアーム１９の各関節軸に設けられたエンコーダなどである。これらの関節変位量から、運動学を解くことで該位置姿勢を算出することができる。
図１に示すように、表示装置２０は、マスタマニピュレータ２の検出装置１０と同じ土台に取り付けられており、操作者Ｏｐの前方に設置されている。表示装置２０は、内視鏡装置１５によって取得された画像を表示する表示パネルを有している。表示パネルは、液晶パネルや有機ＥＬパネル等を適宜選択して採用することができる。また、表示パネルは、立体視可能な画像を表示するパネルであってもよい。立体視可能な画像を表示するパネルは、専用のメガネにより右目用と左目用の画像が分離可能な構成や、裸眼立体視が可能な構成などを採用することができる。
制御装置２１は、検出装置１０と接続された変換処理部２２と、変換処理部２２と接続されているとともにスレーブマニピュレータ１４の各アクチュエータに接続されたスレーブ駆動部２３とを備える。
変換処理部２２は、スレーブマニピュレータ１４に設けられた位置姿勢検出手段によって術具１６及びスレーブアーム１９の位置及び姿勢並びに術具１６に設けられた処置部１８の状態を示すスレーブマニピュレータ１４のトラッキング情報を取得する。スレーブマニピュレータ１４のトラッキング情報は、変換処理部２２において、例えば直交座標系などによって規定された所定の三次元空間内における術具１６及びスレーブアーム１９の位置及び姿勢並びに処置部１８の位置及び姿勢として記憶される。
また、変換処理部２２には、検出装置１０から出力された被検出体３の座標情報が入力される。被検出体３の座標情報は上記所定の発信タイミングに従って変換処理部２２に入力され、変換処理部２２における被検出体３のトラッキング情報として変換処理部２２に取得される。
変換処理部２２は、被検出体３のトラッキング情報とスレーブマニピュレータ１４のトラッキング情報とのそれぞれの座標系を整合させる座標系変換機能を有している。また、変換処理部２２は、被検出体３のトラッキング情報における縮尺とスレーブマニピュレータ１４のトラッキング情報における縮尺とを整合させる縮尺変換機能を有している。座標変換機能及び縮尺変換機能により、表示装置２０を見て被検出体３を動かす操作者Ｏｐの動作を、スレーブマニピュレータ１４の動作に適切に変換することができる。また、変換処理部２２には、各第二マーカー９間の距離と、各鉗子片１７の先端の距離との間の対応関係が記憶されている。
変換処理部２２は、スレーブマニピュレータ１４を動作させるための操作指令をスレーブ駆動部２３に対して出力する。変換処理部２２が発する操作指令は、例えば、スレーブマニピュレータ１４に設けられた複数のアクチュエータのうち動作させるアクチュエータを特定する信号と、当該アクチュエータの動作量を特定する信号とを含む。
スレーブ駆動部２３は、変換処理部２２からの操作指令に対応して、スレーブマニピュレータ１４の各アクチュエータを駆動させる。
次に、手術支援装置１の制御方法及び動作について説明する。
手術支援装置１の使用時には、操作者Ｏｐは、被検出体３を把持し、例えば操作部６に指を掛ける（図１参照）。操作者Ｏｐが本体部４を移動させると、本体部４に設けられた第一マーカー５は本体部４と一体に移動する（図２及び図３参照）。このとき、第一マーカー５は、検出装置１０に設けられた撮影部１１によって撮影されている。さらに、操作部６に設けられた第二マーカー９は、操作部６と一体に移動する。このとき、第二マーカー９は、検出装置１０に設けられた撮影部１１によって撮影されている。
本実施形態では、検出装置１０に予め記憶された第一マーカー５及び第二マーカー９の配置パターンに基づいて、第一マーカー５と第二マーカー９とを識別する。そして、検出装置１０では、術者が表示装置２０に向いて表示装置２０を見ている姿勢における前後、上下、及び左右を座標軸とする直交座標系による三次元空間（すなわち上記作業空間）における第一マーカー５の姿勢及び位置並びに第二マーカー９の姿勢及び位置を検出する。ここで、第一マーカー５の姿勢及び位置は、本体部４の姿勢及び位置に対応し、第二マーカー９の姿勢及び位置は、操作部６の姿勢及び位置に対応する。検出装置１０では、検出装置１０において規定された上記三次元空間内における各第一マーカー５及び各第二マーカー９の座標情報を変換処理部２２へと出力する。
変換処理部２２では、検出装置１０から出力された座標情報（被検出体３のトラッキング情報）とスレーブマニピュレータ１４から取得したスレーブマニピュレータ１４のトラッキング情報とを比較し、処置部１８の位置及び姿勢の制御と、処置部１８に設けられた鉗子片１７の開閉制御を行なう。
まず、処置部１８の位置及び姿勢の制御について説明する。
変換処理部２２は、３つの第一マーカー５の座標情報に基づいて、作業空間内における本体部４の位置及び姿勢を認識する。さらに、変換処理部２２において認識された本体部４の位置及び姿勢と、スレーブマニピュレータ１４のトラッキング情報との関係が所定の対応関係と異なっている場合には、変換処理部２２は、スレーブ駆動部２３を動作させ、所定の対応関係を満たすようにスレーブアーム１９及び術具１６を移動させる。このとき、変換処理部２２は、作業空間の座標系とスレーブマニピュレータ１４の座標系とを整合させるための座標変換と縮尺変換を行い、変換後の情報を用いて操作指令を生成してスレーブ駆動部２３へと出力する。
次に、鉗子片１７の開閉制御について説明する。
変換処理部２２では、３つの第一マーカー５が共に存する仮想平面と平行な仮想平面に沿って測ったときの各第二マーカー９間の距離ｄを算出する（図７参照）。本実施形態では、各第二マーカー９の座標が検出装置１０により算出されており、変換処理部２２は、当該座標を用いて各第二マーカー９の距離を算出する。さらに、変換処理部２２に入力された各第二マーカー９間の距離とスレーブマニピュレータ１４のトラッキング情報における鉗子片１７の先端の距離との関係が所定の対応関係と異なっている場合には、変換処理部２２は、スレーブ駆動部２３を動作させ、所定の対応関係を満たすように鉗子片１７の開度を変更する。これにより、本体部４に対する操作部６の移動が、スレーブマニピュレータ１４の鉗子片１７の開閉動作として伝達される。
このように、変換処理部２２は、被検出体３のトラッキング情報とスレーブマニピュレータ１４のトラッキング情報とを比較し、各トラッキング情報が互いに異なっている場合には、スレーブマニピュレータ１４のトラッキング情報が被検出体３のトラッキング情報と一致するように操作指令を発する。変換処理部２２が発する操作指令により、スレーブ駆動部２３は、被検出体３の位置及び姿勢並びに操作部６への操作入力状態に対応した状態となるようにスレーブアーム１９及び術具１６を移動させる。
その結果、スレーブマニピュレータ１４は、被検出体３の動作に追従して動作する。
以上説明したように、本実施形態の手術支援装置１によれば、被検出体３の本体部４に配される、事前に決められた配置関係から変化しない第一マーカー５により被検出体３の位置及び姿勢を検出し、被検出体３の操作部６に配される、事前に決められた配置関係から変化する第二マーカー９により操作部６に対する操作入力状態を別のマーカー（第一マーカー５及び第二マーカー９）として分類して検出することができるので、簡易な構成で高精度な遠隔操作入力をすることができる。
ここで、被検出体３の位置及び姿勢を検出するために使用される第一マーカー５はいずれも本体部４に対して位置決めされているので位置及び姿勢の検出がしやすい。さらに、本体部４に対する位置関係が既知である第一マーカー５を元にして第二マーカー９を識別することができるので、第一マーカー５と第二マーカー９とにおける配置位置以外の構成が同一であってよいから、構成を簡素にすることができる。
また、位置及び姿勢を検出するためのマーカーと操作入力状態を検出するためのマーカーとが別々に設けられているので、誤検出が少ない。
（変形例１−１）
次に、上述の第１実施形態の変形例について説明する。図８及び図９は、手術支援装置における被検出体の検出方法を説明するための説明図である。
本変形例では、変換処理部２２における第二マーカー９の距離の算出方法が異なっている。
変換処理部２２では、第一マーカー５を用いた本体部４の姿勢の検出結果から、本体部４の中心軸Ｏ１を規定する（図８参照）。続いて、当該中心軸Ｏ１から第二マーカー９までの距離ｄ１、ｄ２を、各第二マーカー９に対して個別に算出する（図９参照）。これにより、本変形例では、変換処理部２２は、本体部４に対する第二マーカー９の位置の変化に基づいて操作部６への操作入力状態を算出できる。
本変形例では、各操作部６に設けられた第二マーカー９の一方が撮影部１１に撮影されていない状態であっても、他方が撮影部１１に撮影されていれば上述の実施形態と同様の検出結果が得られる。
（変形例１−２）
次に、上述の第１実施形態の他の変形例について説明する。
本変形例では、上述の第１実施形態で説明した第一マーカー５と第二マーカー９とが配置位置以外の少なくとも一の事項において相違する例を示す。
例えば、第一マーカー５と第二マーカー９とが互いに異なる色とされている。また、撮影部１１は、少なくとも第一マーカー５の色と第二マーカー９の色とを区別して取得できるようになっている。さらに、検出装置１０は、第一マーカー５の座標と第二マーカー９の座標とをそれぞれ区別して変換処理部２２へと出力する。
本変形例の構成によれば、色に基づいて第一マーカー５と第二マーカー９とを区別することができるので、第一マーカー５と第二マーカー９との相対位置関係から第一マーカー５と第二マーカー９を識別するための計算を変換処理部２２が行う必要がないので、計算量が少ない。また、第一マーカー５と第二マーカー９とが近づいた場合に、二つのマーカーを誤認識する確率を減らすことができる。
なお、本変形例では色に基づいて第一マーカー５と第二マーカー９とを区別する例を示したが、色以外にも、寸法、形状、模様、あるいは光の反射率を異ならせることによっても同様の効果を奏することができる。
また、第一マーカー５と第二マーカー９とを、互いに発光周期若しくは光量が異なる光源２７によって構成することもできる。
このように、第一マーカー５と第二マーカー９との相違点に基づいて第一マーカー５と第二マーカー９とをそれぞれ識別することができる。
（変形例１−３）
次に、上述の第１実施形態のさらに他の変形例について説明する。図１０は、本変形例の手術支援装置における一部の構成を示す模式図である。
本変形例では、上述の変形例２に示したように互いに色、寸法、形状、模様、光の反射率、発光周期若しくは光量が異なる第一マーカー５及び第二マーカー９を有している。さらに、図１０に示すように、検出装置１０は、第一マーカー５を検出するための第一検出部１０ａと第二マーカー９を検出するための第二検出部１０ｂとを備える。
本変形例によれば、本体部４の位置及び姿勢を検出するための検出系と、操作部６の操作状態を検出するための検出系が互いに独立しているので、操作部６の操作を容易に検出することができ、検出精度を高めることができる。
なお、本変形例における各マーカーと各検出部との組み合わせは、適合する好適な組み合わせを適宜採用することができる。例えば、２種類のカメラから成る検出装置として、赤外線センサと色識別カメラをそれぞれ検出部として備えた検出装置、認識可能波長が互いに異なるカメラを検出部として備えた検出装置、広角カメラとズームカメラをそれぞれ検出部として備えた検出装置、あるいは第一マーカー５と第二マーカー９との発光周期に対応させて撮影周期をずらして撮影するカメラを検出部として備えた検出装置などを構成することができる。
また、上述の２種類のカメラから成る検出装置でなく、２種類のセンサ系から成る検出装置としても良い。例えば、次に示すようなもの挙げられる。第一マーカー５を反射マーカーとし、それを検出する光学センサを検出部とし、第二マーカー９を磁気コイルとして、それを検出する磁気センサを検出部として備えた検出装置としても良い。また、第二マーカー９を超音波発生器として、それを検出する超音波センサを検出部として備えた検出装置としても良い。さらに、第二マーカー９を熱源として、それを検出する温度センサを検出部とした検出装置としても良い。
また、２種類のセンサ系から成る検出装置としてしているが、１種類のセンサ系から成る検出装置としてしても良い。例えば、第一マーカー５及び第二マーカー９を周波数の違う信号発生器とし、それぞれを検出する一つの信号検出部を備えた検出装置としても良い。尚、信号としては、例えば、光の周波数、電波の周波数、超音波の周波数等が挙げられる。
（第２実施形態）
次に、本発明の第２実施形態の手術支援装置１について説明する。なお、以下に説明する各実施形態において、上述の第１実施形態と同様の構成要素には同一符号を付して重複する説明を省略する。
図１１ないし図１３は、本実施形態の手術支援装置に設けられた被検出体を示す平面図である。
図１及び図１１に示すように、本実施形態の手術支援装置１は、マスタマニピュレータ２に設けられた被検出体３及び検出装置１０に代えて被検出体３Ａ及び検出装置１０Ａを備え、制御装置２１に設けられた変換処理部２２に代えて変換処理部２２Ａを備える点が異なっている。
被検出体３Ａは、第二マーカー９に代えて、第二マーカー９Ａを備える。
図１１ないし図１３に示すように、第二マーカー９Ａは、操作部６の回動動作によって本体部４から突没する直動棒２５を有している。直動棒２５は、支点部８周りの回転移動を直線移動に変換するリンク等の変換機構を介して操作部６の棒状部７に連結されている。本実施形態では、一対の棒状部７を支点部８回りに回転移動させて操作部６を閉じると直動棒２５が本体部４から突出し、一対の棒状部７を支点部８回りに回転移動させて操作部６を開くと直動棒２５が本体部４内に没する。これにより、操作部６に開度に対応して直動棒２５の本体部４からの突出長さが変化する。
検出装置１０Ａは、上記第１実施形態と同様に第一マーカー５についての検出をする。さらに、検出装置１０Ａは、上記第１実施形態で説明した第二マーカー９の検出に代えて、第二マーカー９Ａの検出をする。第二マーカー９Ａの検出は、直動棒２５が本体部４から突出された部分の表面積の大きさを検出することにより行われる。このとき、被検出体３と撮影部１１のカメラとの距離によって画像上における直動棒２５の表面積は異なるので、作業空間Ｑ１内における被検出体３の位置情報を用いて直動棒２５の表面積を、画像上大きさから実際の大きさへと補正する。検出装置１０Ａは、第一マーカー５を用いて算出した本体部４に関する座標情報と、第二マーカー９Ａを用いて算出した直動棒２５の表面積を、変換処理部２２Ａへと出力する。
変換処理部２２Ａでは、検出装置１０Ａにより算出された直動棒２５の表面積を用いて、一対の鉗子片１７の開度を制御する。例えば、直動棒２５が本体部４内に完全に入り込んでいる場合には、直動棒２５が本体部４から突出する面積がゼロであり、この場合を、一対の鉗子片１７が全開状態である場合に対応させておく。さらに、直動棒２５が本体部４から突出する面積が所定の面積を超える場合を、一対の鉗子片１７が全閉状態である場合に対応させておく。例えば、上記所定の面積は、操作部６を全閉状態としたときに直動棒２５が本体部４から突出する面積とすることができる。
本実施形態では、変換処理部２２Ａは、第二マーカー９Ａに設けられた直動棒２５の表面積の変化に基づいて、一対の鉗子片１７の開度を制御するための操作指令をスレーブ駆動部２３へ出力する。本実施形態の構成であっても、上記第１実施形態と同様に被検出体３に対する操作に連動させてスレーブマニピュレータ１４を動作させることができる。
なお、直動棒２５の表面積の変化に基づいて制御する方法ではなく、直動棒２５の先端と末端の距離の変化量に基づいて鉗子片１７の開度を制御してもよい。
（変形例２−１）
次に、上述の第２実施形態の変形例について説明する。図１４ないし図１６は、本変形例における被検出体を示す平面図である。
図１４ないし図１６に示すように、本変形例では、本体部４から突没する直動棒２５に代えて、本体部４に窓４ａが形成され、窓４ａ内で移動することにより露出面積が代わる直動部材２６が本体部４内に設けられている点が異なっている。
本変形例では、窓４ａの開口面積に対する直動部材２６の露出面積を用いて一対の鉗子片１７の開度を指示することができる。
（変形例２−２）
次に、上述の第２実施形態の他の変形例について説明する。図１７及び図１８は、本変形例における被検出体を示す平面図である。
図１７及び図１８に示すように、本変形例では、第二マーカー９Ａにおいて、直動棒２５に代えて、操作部６の棒状部７の開閉により発光状態が変化する光源２７が設けられている点が異なっている。
第二マーカー９Ａに設けられた光源２７は、棒状部７の開閉により、光量、点滅周期、色その他少なくとも一状態が変化する。
なお、光源２７の光量を変化させる方法の別の例としては、上述の変形例２−１において説明した直動棒２５に代えて、直動棒２５と同様に直線移動するカバーと、本体部４に設けられ当該カバーによって覆われる光源とを備えてもよい。この場合における光源自体は、光量や発光周期は一定であってもよい。このような構成の場合、操作部６に対する操作によって上記カバーが移動し、光源がカバーに覆われる面積が変わるので、検出装置１０に到達する光量が変わる。
（第３実施形態）
次に、本発明の第３実施形態の手術支援装置について説明する。図１９及び図２０は、本実施形態の手術支援装置に設けられた被検出体を示す平面図である。
手術支援装置１は、第１実施形態で説明した被検出体３に代えて設けられた被検出体３Ｂと、第１実施形態で説明した変換処理部２２に代えて設けられた変換処理部２２Ｂとを備えている点が異なっている。
被検出体３Ｂは、第１実施形態と同様の本体部４及び操作部６を有しており、配置状態が第１実施形態と異なる第一マーカー５が本体部４に配されている。
第一マーカー５は、本体部４の外面の一箇所に配されており、第二マーカー９は、操作部６における一対の棒状部７のそれぞれに第１実施形態と同様に１つずつ配されている。また、第一マーカー５から各第二マーカー９までの距離は互いに等しく、各第二マーカー９の間の距離は第一マーカー５と第二マーカー９との距離よりも短い。これにより、操作部６をどのような開度としても第一マーカー５及び第二マーカー９により構成される三点は二等辺三角形の頂点となる。
検出装置１０では、作業空間Ｑ１内における第一マーカー５と第二マーカー９とのそれぞれの座標を変換処理部２２Ｂへと出力する。
変換処理部２２Ｂでは、第一マーカー５と第二マーカー９とによって構成される上記二等辺三角形の位置に基づいて被検出体３の位置を算出する。また変換処理部２２Ｂでは、第一マーカー５と第二マーカー９とによって構成される上記二等辺三角形の向きに基づいて被検出体３の姿勢を算出する。さらに、各第二マーカー９の間の距離は、第一マーカー５と第二マーカー９とによって構成される上記二等辺三角形の底辺の長さとして他の辺と区別して認識することができる。
このように、本実施形態では、本体部４に配された１つのマーカー（第一マーカー５）と、操作部６の棒状部７にそれぞれ１つずつ配されたマーカー（第二マーカー９）との計３つのマーカーによって、被検出体３の位置及び姿勢並びに操作部６の操作状態を検出することができる。このため、上述の第１実施形態に示した被検出体３よりもマーカーの数が少なくてよい。このため、マーカーを配するスペースが小さくて済むので、被検出体３を小型化しやすい。
（変形例３−１）
次に、上述の実施形態の変形例について説明する。図２１及び図２２は、本変形例の被検出体を示す平面図である。
図２１及び図２２に示すように、本変形例では、本体部４に第一マーカー５が２つ配され、操作部６における棒状部７の一方に第二マーカー９が１つ配されている点が異なっている。
本体部４に配された２つの第一マーカー５は、互いに離間する二箇所に位置している。２つの第一マーカー５の距離は一定である。
本変形例では、第一マーカー５と第二マーカー９とによる三点を用いて被検出体３Ｂの位置と姿勢とをそれぞれ検出することができる。さらに、被検出体３Ｂの位置及び姿勢から、本体の中心軸Ｏ１を算出することができる。さらに中心軸Ｏ１に対する第二マーカー９の距離を上記変形例１−１と同様に算出することができる。
このように、本変形例においても、被検出体３Ｂの位置及び姿勢並びに操作部６の操作入力状態を第一マーカー５及び第二マーカー９を用いて検出することができる。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
また、上述の各実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
１ 手術支援装置
２ マスタマニピュレータ（操作入力部）
３、３Ａ、３Ｂ 被検出体
４ 本体部
４ａ 窓
５ 第一マーカー
６ 操作部
７ 棒状部
８ 支点部
９、９Ａ 第二マーカー
１０、１０Ａ 検出装置
１１ 撮影部
１２ 画像認識部
１３ 出力部
１４ スレーブマニピュレータ
１５ 内視鏡装置
１６ 術具
１７ 鉗子片
１８ 処置部
１９ スレーブアーム
２０ 表示装置
２１ 制御装置
２２、２２Ａ、２２Ｂ 変換処理部
２３ 駆動部
Ｏｐ 操作者

Claims (8)

  1. 操作者からの入力に基づいて操作指令を発する操作入力部と、前記操作指令に基づいて術具を動作させる動作部と、を備えた手術支援装置であって、
    前記操作入力部は、
    前記操作者に把持される被検出体と、
    前記被検出体を検出する検出装置と、
    を備え、
    前記被検出体は、
    前記検出装置により検出される３つの第一マーカーが設けられた本体部と、
    前記本体部に設けられ前記操作者に操作される操作部と、
    前記本体部と前記操作部との少なくとも何れかに設けられ前記操作部に対する操作に対応して状態が変化する第二マーカーと、
    を有し、
    前記第一マーカーは、三辺の長さが互いに異なる三角形の頂点となるように互いに離間して前記本体部に配置され、
    前記検出装置は、少なくとも前記第一マーカーを用いて前記被検出体の位置及び姿勢を特定可能な情報を算出し、且つ少なくとも前記第二マーカーを用いて前記操作部への操作入力状態を特定可能な情報を算出し、
    前記操作入力部は、前記検出装置により算出された結果に基づいて、前記術具を移動させるための指令を前記操作指令として前記動作部へ出力することにより、前記被検出体の位置及び姿勢並びに前記操作入力状態に応じて前記術具の動作を制御する
    ことを特徴とする手術支援装置。
  2. 請求項１に記載の手術支援装置であって、
    前記操作部は前記本体部に対して移動可能に連結されており、
    前記第二マーカーは前記操作部に設けられ、
    前記検出装置は、少なくとも前記第一マーカーを用いて前記本体部の位置及び姿勢を算出し、且つ前記第二マーカーの位置に基づいて前記操作部への操作入力状態を算出する
    ことを特徴とする手術支援装置。
  3. 請求項２に記載の手術支援装置であって、
    前記操作部は前記本体部に対して開閉動作可能であることを特徴とする手術支援装置。
  4. 請求項１から３のいずれか一項に記載の手術支援装置であって、
    前記第一マーカーと前記第二マーカーとは、配置位置以外の少なくとも一つの事項において相違し、
    前記検出装置は、前記第一マーカーと前記第二マーカーとの相違点に基づいて前記第一マーカーと前記第二マーカーとを識別する
    ことを特徴とする手術支援装置。
  5. 請求項１から３のいずれか一項に記載の手術支援装置であって、
    前記第一マーカーと前記第二マーカーとは前記操作入力部における配置位置のみが異なり、
    前記検出装置は、前記第一マーカー及び前記第二マーカーの前記操作入力部上での相対位置関係のみに基づいて前記第一マーカーと前記第二マーカーとを識別する
    ことを特徴とする手術支援装置。
  6. 請求項３に記載の手術支援装置であって、
    前記検出装置は、前記第一マーカーと前記第二マーカーとの両方を用いて前記本体部の位置及び姿勢並びに前記操作入力状態を算出する
    ことを特徴とする手術支援装置。
  7. 請求項４に記載の手術支援装置であって、前記第二マーカーは、前記操作部の操作量に応じて、その状態量が変化することを特徴とする手術支援装置。
  8. 三辺の長さが互いに異なる三角形の頂点となるように互いに離間する３つの第一マーカーが付された本体部、および第二マーカーが付された操作部を有する被検出体を用いて手術支援装置を制御する手術支援装置の制御方法であって、
    前記被検出体の前記第一マーカーおよび前記第二マーカーを検出し、
    前記検出された少なくとも前記第一マーカーを用いて前記被検出体の位置及び姿勢を特定可能な第一情報を算出し、且つ前記検出された少なくとも前記第二マーカーを用いて前記操作部への操作入力状態を特定可能な第二情報を算出し、
    前記第一情報と前記第二情報とを用いて前記手術支援装置に設けられた術具の動作を制御する
    ことを特徴とする手術支援装置の制御方法。
JP2012040011A 2011-08-04 2012-02-27 手術支援装置及びその制御方法 Active JP6005950B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012040011A JP6005950B2 (ja) 2011-08-04 2012-02-27 手術支援装置及びその制御方法
PCT/JP2012/069927 WO2013018912A1 (en) 2011-08-04 2012-07-30 Operation support device and control method thereof
EP12819447.9A EP2739231B1 (en) 2011-08-04 2012-07-30 Operation support device
CN201280038440.5A CN103717171B (zh) 2011-08-04 2012-07-30 手术支持装置及其控制方法
US14/169,742 US9632577B2 (en) 2011-08-04 2014-01-31 Operation support device and control method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161515203P 2011-08-04 2011-08-04
US61/515,203 2011-08-04
JP2012040011A JP6005950B2 (ja) 2011-08-04 2012-02-27 手術支援装置及びその制御方法
PCT/JP2012/069927 WO2013018912A1 (en) 2011-08-04 2012-07-30 Operation support device and control method thereof

Publications (2)

Publication Number Publication Date
JP2013034835A JP2013034835A (ja) 2013-02-21
JP6005950B2 true JP6005950B2 (ja) 2016-10-12

Family

ID=52579593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012040011A Active JP6005950B2 (ja) 2011-08-04 2012-02-27 手術支援装置及びその制御方法

Country Status (5)

Country Link
US (1) US9632577B2 (ja)
EP (1) EP2739231B1 (ja)
JP (1) JP6005950B2 (ja)
CN (1) CN103717171B (ja)
WO (1) WO2013018912A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323974B2 (ja) * 2012-05-18 2018-05-16 オリンパス株式会社 手術支援装置
JP6053358B2 (ja) * 2012-07-03 2016-12-27 オリンパス株式会社 手術支援装置
JP6719376B2 (ja) * 2013-08-15 2020-07-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボット器具の被駆動要素
WO2015023840A1 (en) 2013-08-15 2015-02-19 Intuitive Surgical Operations, Inc. Instrument sterile adapter drive interface
CN105611893B (zh) 2013-08-15 2018-09-28 直观外科手术操作公司 预加载外科手术器械接口
KR102312595B1 (ko) 2013-08-15 2021-10-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기구 살균 어댑터 구동 피처
JP2016016238A (ja) * 2014-07-10 2016-02-01 オリンパス株式会社 マニピュレータ
DE102014115600A1 (de) 2014-10-27 2016-04-28 Karl Storz Gmbh & Co. Kg Chirurgisches Instrument mit einer manuellen Steuervorrichtung
EP3270815B1 (en) 2015-03-17 2023-05-03 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
US10754307B2 (en) 2015-03-20 2020-08-25 Fuji Corporation Teaching device and control information generation method
WO2016151667A1 (ja) * 2015-03-20 2016-09-29 富士機械製造株式会社 ティーチング装置及び制御情報の生成方法
DE102015109371A1 (de) * 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie
US9872738B2 (en) * 2016-01-06 2018-01-23 Ethicon Endo-Surgery, Llc Methods, systems, and devices for control of surgical tools in a robotic surgical system
JP6205528B1 (ja) * 2016-02-25 2017-09-27 オリンパス株式会社 マニピュレータシステムとその作動方法
US10922836B2 (en) * 2016-11-15 2021-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Method and system for determining a 3D position of an object in space
WO2018109851A1 (ja) 2016-12-14 2018-06-21 オリンパス株式会社 医療用マニピュレータシステム
WO2018112227A2 (en) * 2016-12-15 2018-06-21 Intuitive Surgical Operations, Inc. Actuated grips for controller
WO2018179323A1 (ja) 2017-03-31 2018-10-04 オリンパス株式会社 マニピュレータ
EP4663151A3 (en) 2017-10-02 2026-03-04 Intuitive Surgical Operations, Inc. End effector force feedback to master controller
IT201800005468A1 (it) * 2018-05-17 2019-11-17 Sistema robotico per chirurgia, particolarmente microchirurgia
AU2019270647B2 (en) * 2018-05-17 2025-05-08 Medical Microinstruments, Inc. Master controller assembly for a robotic surgery system, particularly for microsurgery
WO2019240824A1 (en) * 2018-06-15 2019-12-19 Verb Surgical Inc. User interface device having grip linkages
US11135031B2 (en) * 2018-06-15 2021-10-05 Verb Surgical Inc. User interface device having grip linkages
US11135030B2 (en) 2018-06-15 2021-10-05 Verb Surgical Inc. User interface device having finger clutch
CN109316239B (zh) * 2018-08-31 2020-08-04 天津大学 基于磁导航传感的微创手术机器人主操作手及系统
WO2020042148A1 (zh) * 2018-08-31 2020-03-05 天津大学 基于磁导航传感的微创手术机器人主操作手及系统
CN112839608B (zh) 2018-10-15 2025-07-04 马佐尔机器人有限公司 多功能多臂机器人手术系统
DE102018218475B4 (de) * 2018-10-29 2022-03-10 Carl Zeiss Optotechnik GmbH Trackingsystem und optisches Messsystem zur Bestimmung mindestens einer räumlichen Position und Orientierung mindestens eines Messobjekts
EP3685785B1 (en) * 2019-01-22 2026-02-18 Stryker European Operations Limited Tracker for a surgical navigation system
DE102019118012B3 (de) * 2019-07-03 2020-09-17 Günther Battenberg Verfahren und Vorrichtung zum Steuern eines Robotersystems mittels menschlicher Bewegung
US11696807B2 (en) * 2020-03-17 2023-07-11 Verb Surgical Inc. Drop detection of ungrounded master controller for a surgical robot
GB2630725B (en) 2020-03-26 2025-10-08 Intuitive Surgical Operations Curved gimbal link geometry
CN112057172B (zh) * 2020-09-10 2022-02-11 苏州大学 一种微创手术机器人
US11786315B2 (en) * 2020-09-18 2023-10-17 Verb Surgical Inc. Surgical robotic system having grip-dependent control
US12274525B2 (en) 2020-09-29 2025-04-15 Mazor Robotics Ltd. Systems and methods for tracking anatomical motion
US12465441B2 (en) 2021-02-01 2025-11-11 Mazor Robotics Ltd. Multi-arm robotic systems and methods for identifying a target
US12508085B2 (en) 2021-02-04 2025-12-30 Mazor Robotics Ltd. Systems, methods, and devices for verifying mechanical coupling between anatomical elements
IT202100003488A1 (it) * 2021-02-16 2022-08-16 Medical Microinstruments Inc “metodo per una verifica di integrità di un dispositivo master di un sistema robotico di tipo master-slave per teleoperazione medica o chirurgica”
USD1104267S1 (en) 2021-03-24 2025-12-02 Intuitive Surgical Operations, Inc. Surgeon control apparatus
CN118021442B (zh) * 2024-04-10 2024-06-14 苏州国科康成医疗科技有限公司 一种用于手术模拟的虚拟现实交互设备及手术模拟方法
CN119632692B (zh) * 2025-02-13 2025-06-06 杭州迪视医疗生物科技有限公司 手术系统的主从控制方法、电子设备及存储介质

Family Cites Families (247)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3139990A (en) 1961-12-11 1964-07-07 Central Res Lab Inc Rugged-duty master-slave manipulator
US3923166A (en) 1973-10-11 1975-12-02 Nasa Remote manipulator system
CA1276710C (en) 1983-11-30 1990-11-20 Kazuo Asakawa Robot force controlling system
US4672281A (en) 1985-10-10 1987-06-09 Durstin Machine & Manufacturing, Inc. Control for electric motor that drives a robotic appendage
JPH0789293B2 (ja) 1986-07-23 1995-09-27 松下電器産業株式会社 ア−ム制御装置
SE462645B (sv) 1987-03-31 1990-08-06 Asea Ab Anordning vid industrirobotar avseende verktygsbyte
JPS6434688A (en) 1987-07-29 1989-02-06 Kubota Ltd Master/slave manipulator
JPH0796182B2 (ja) 1988-03-16 1995-10-18 ニッタ株式会社 工具の自重による影響を除去する装置
JPH01271185A (ja) 1988-04-20 1989-10-30 Fujitsu Ltd 遠隔ロボット操縦システム
JP3088004B2 (ja) 1989-04-28 2000-09-18 株式会社東芝 操作指令装置
JP2610956B2 (ja) 1988-09-05 1997-05-14 株式会社日立製作所 マスタスレーブマニピュレータ
JPH0741560B2 (ja) 1989-11-16 1995-05-10 工業技術院長 マスター・スレーブロボットの制御方法
US5214969A (en) 1991-02-19 1993-06-01 Philip Morris Incorporated Automatic testing of a plurality of smoking articles
JPH0596477A (ja) 1991-10-03 1993-04-20 Mitsubishi Heavy Ind Ltd マスタスレーブマニピユレータの制御方法
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US6963792B1 (en) 1992-01-21 2005-11-08 Sri International Surgical method
JPH05329784A (ja) 1992-05-28 1993-12-14 Yaskawa Electric Corp マスタ・スレーブロボットの制御方式
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5760530A (en) 1992-12-22 1998-06-02 The United States Of America As Represented By The Secretary Of The Air Force Piezoelectric tactile sensor
JP2610094B2 (ja) 1993-05-13 1997-05-14 株式会社明電舎 産業用マニプレータの制御装置
ATE209875T1 (de) 1993-07-21 2001-12-15 Charles H Klieman Chirurgisches instrument für endoskopische und generelle operationen
US5656903A (en) 1993-10-01 1997-08-12 The Ohio State University Research Foundation Master-slave position and motion control system
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
JP3339953B2 (ja) 1993-12-29 2002-10-28 オリンパス光学工業株式会社 医療用マスタースレーブ式マニピュレータ
JPH07241300A (ja) 1994-03-04 1995-09-19 Olympus Optical Co Ltd 医療器具の保持装置
JPH07246578A (ja) * 1994-03-11 1995-09-26 Yaskawa Electric Corp マスターハンド装置
DE4412605B4 (de) 1994-04-13 2005-10-20 Zeiss Carl Verfahren zum Betrieb eines stereotaktischen Adapters
US5643286A (en) 1994-06-24 1997-07-01 Cytotherapeutics, Inc. Microdrive for use in stereotactic surgery
JP2991403B2 (ja) 1994-08-29 1999-12-20 株式会社アイチコーポレーション マニピュレータのグリッパ制御装置
US5836869A (en) 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US5632432A (en) 1994-12-19 1997-05-27 Ethicon Endo-Surgery, Inc. Surgical instrument
US5603723A (en) 1995-01-11 1997-02-18 United States Surgical Corporation Surgical instrument configured to be disassembled for cleaning
JPH08215204A (ja) 1995-02-08 1996-08-27 Olympus Optical Co Ltd 医療用マニピュレータ
JPH08243080A (ja) 1995-03-07 1996-09-24 Olympus Optical Co Ltd 内視鏡洗浄消毒装置
US5814038A (en) 1995-06-07 1998-09-29 Sri International Surgical manipulator for a telerobotic system
US5649956A (en) 1995-06-07 1997-07-22 Sri International System and method for releasably holding a surgical instrument
US5784542A (en) 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
US5712543A (en) 1995-10-31 1998-01-27 Smith & Nephew Endoscopy Inc. Magnetic switching element for controlling a surgical device
US5871493A (en) 1995-10-31 1999-02-16 Smith & Nephew Endoscopy Inc. Surgical instrument handpiece and system
US6436107B1 (en) 1996-02-20 2002-08-20 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6063095A (en) 1996-02-20 2000-05-16 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
US6699177B1 (en) 1996-02-20 2004-03-02 Computer Motion, Inc. Method and apparatus for performing minimally invasive surgical procedures
JP4176126B2 (ja) 1996-02-20 2008-11-05 コンピュータ・モーション・インコーポレーテッド 侵襲を最小に抑えた心臓手術を施術するための方法および装置
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6364888B1 (en) 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
JPH10128538A (ja) 1996-10-29 1998-05-19 Hitachi Constr Mach Co Ltd 溶接ロボットとそのセンサアダプタ
US6132441A (en) 1996-11-22 2000-10-17 Computer Motion, Inc. Rigidly-linked articulating wrist with decoupled motion transmission
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US7666191B2 (en) 1996-12-12 2010-02-23 Intuitive Surgical, Inc. Robotic surgical system with sterile surgical adaptor
US8206406B2 (en) 1996-12-12 2012-06-26 Intuitive Surgical Operations, Inc. Disposable sterile surgical adaptor
US6132368A (en) 1996-12-12 2000-10-17 Intuitive Surgical, Inc. Multi-component telepresence system and method
US7699855B2 (en) 1996-12-12 2010-04-20 Intuitive Surgical Operations, Inc. Sterile surgical adaptor
US6039748A (en) 1997-08-05 2000-03-21 Femrx, Inc. Disposable laparoscopic morcellator
EP2362283B1 (en) 1997-09-19 2015-11-25 Massachusetts Institute Of Technology Robotic apparatus
US20080177285A1 (en) 1998-02-24 2008-07-24 Hansen Medical, Inc. Surgical instrument
JPH11300662A (ja) 1998-04-27 1999-11-02 Yokogawa Electric Corp マイクロ・ピンセット
JP4129313B2 (ja) 1998-05-19 2008-08-06 オリンパス株式会社 医療システムの制御装置
DE69940850D1 (de) 1998-08-04 2009-06-18 Intuitive Surgical Inc Gelenkvorrichtung zur Positionierung eines Manipulators für Robotik-Chirurgie
US6082797A (en) 1998-11-02 2000-07-04 Fanuc Robotics North America, Inc. Gripping tool assembly
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6852107B2 (en) 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6602185B1 (en) 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
JP4354042B2 (ja) 1999-04-30 2009-10-28 オリンパス株式会社 医療用マニピュレータ装置
JP3608448B2 (ja) 1999-08-31 2005-01-12 株式会社日立製作所 治療装置
ATE363235T1 (de) 1999-09-09 2007-06-15 Tuebingen Scient Medical Gmbh Chirurgisches instrument für minimal invasive eingriffe
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
JP2001087281A (ja) 1999-09-20 2001-04-03 Olympus Optical Co Ltd 多機能マニピュレータ
US6206903B1 (en) 1999-10-08 2001-03-27 Intuitive Surgical, Inc. Surgical tool with mechanical advantage
JP3188953B2 (ja) 1999-10-13 2001-07-16 経済産業省産業技術総合研究所長 パワーアシスト装置およびその制御方法
US6666876B2 (en) 2000-02-24 2003-12-23 Hitachi, Ltd. Forceps and manipulator with using thereof
JP2001309920A (ja) 2000-02-24 2001-11-06 Hitachi Ltd 鉗子及びそれを用いたマニピュレータ
JP3613551B2 (ja) 2000-03-31 2005-01-26 株式会社東芝 医療用マニピュレータ
US8888688B2 (en) 2000-04-03 2014-11-18 Intuitive Surgical Operations, Inc. Connector device for a controllable instrument
JP4716545B2 (ja) 2000-06-28 2011-07-06 オリンパス株式会社 手術用顕微鏡装置
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6645196B1 (en) 2000-06-16 2003-11-11 Intuitive Surgical, Inc. Guided tool change
US6746443B1 (en) 2000-07-27 2004-06-08 Intuitive Surgical Inc. Roll-pitch-roll surgical tool
JP2002059380A (ja) * 2000-08-22 2002-02-26 Olympus Optical Co Ltd マスタースレーブ装置
JP4014792B2 (ja) * 2000-09-29 2007-11-28 株式会社東芝 マニピュレータ
US6840938B1 (en) 2000-12-29 2005-01-11 Intuitive Surgical, Inc. Bipolar cauterizing instrument
US7699835B2 (en) 2001-02-15 2010-04-20 Hansen Medical, Inc. Robotically controlled surgical instruments
AU2002244016A1 (en) 2001-02-15 2002-10-03 Cunningham, Robert Flexible surgical instrument
US20030135204A1 (en) 2001-02-15 2003-07-17 Endo Via Medical, Inc. Robotically controlled medical instrument with a flexible section
JP3660887B2 (ja) 2001-03-19 2005-06-15 株式会社日立製作所 手術支援装置
US6994708B2 (en) 2001-04-19 2006-02-07 Intuitive Surgical Robotic tool with monopolar electro-surgical scissors
US6783524B2 (en) 2001-04-19 2004-08-31 Intuitive Surgical, Inc. Robotic surgical tool with ultrasound cauterizing and cutting instrument
US20040243147A1 (en) 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
JP2003024336A (ja) 2001-07-16 2003-01-28 Hitachi Ltd 術具装置
JP3926119B2 (ja) 2001-08-10 2007-06-06 株式会社東芝 医療用マニピュレータ
US6676684B1 (en) 2001-09-04 2004-01-13 Intuitive Surgical, Inc. Roll-pitch-roll-yaw surgical tool
JP4832679B2 (ja) 2001-09-11 2011-12-07 オリンパス株式会社 顕微鏡システム
US6587750B2 (en) 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery
US6839612B2 (en) 2001-12-07 2005-01-04 Institute Surgical, Inc. Microwrist system for surgical procedures
JP4098535B2 (ja) 2002-02-28 2008-06-11 オリンパス株式会社 医療用立体表示装置
JP3766805B2 (ja) 2002-03-15 2006-04-19 株式会社日立製作所 手術支援装置
JP4073249B2 (ja) 2002-05-17 2008-04-09 オリンパス株式会社 手術システム
JP3712693B2 (ja) 2002-05-21 2005-11-02 株式会社東芝 医療用マニピュレータ
US7331967B2 (en) 2002-09-09 2008-02-19 Hansen Medical, Inc. Surgical instrument coupling mechanism
JP3680050B2 (ja) 2002-09-18 2005-08-10 株式会社東芝 医療用マニピュレータ及びその制御方法
JP4118114B2 (ja) 2002-09-25 2008-07-16 アルプス電気株式会社 力覚付与入力装置
JP3912251B2 (ja) 2002-10-02 2007-05-09 株式会社日立製作所 マニピュレータ
US7443115B2 (en) 2002-10-29 2008-10-28 Matsushita Electric Industrial Co., Ltd. Apparatus and method for robot handling control
JP3686947B2 (ja) 2002-12-09 2005-08-24 国立大学法人 東京大学 能動鉗子用高剛性鉗子先端部構体およびそれを具える能動鉗子
JP3805310B2 (ja) 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
US7476237B2 (en) 2003-02-27 2009-01-13 Olympus Corporation Surgical instrument
US7295893B2 (en) 2003-03-31 2007-11-13 Kabushiki Kaisha Toshiba Manipulator and its control apparatus and method
DE10324844A1 (de) 2003-04-01 2004-12-23 Tuebingen Scientific Surgical Products Gmbh Chirurgisches Instrument mit Instrumentengriff und Nullpunkteinstellung
JPWO2004106009A1 (ja) 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
US20050033117A1 (en) 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
JP2005013715A (ja) 2003-06-05 2005-01-20 Olympus Corp 観察システム
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
DE10357105B3 (de) 2003-12-06 2005-04-07 Richard Wolf Gmbh Medizinisches Instrument
JP4472361B2 (ja) 2004-01-06 2010-06-02 オリンパス株式会社 医療器具保持装置及び医療器具保持システム。
JP2005261827A (ja) 2004-03-22 2005-09-29 Olympus Corp 内視鏡用処置具
US7862579B2 (en) 2004-07-28 2011-01-04 Ethicon Endo-Surgery, Inc. Electroactive polymer-based articulation mechanism for grasper
JP2006061272A (ja) 2004-08-25 2006-03-09 Olympus Corp 医療器具保持装置
US9261172B2 (en) 2004-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Multi-ply strap drive trains for surgical robotic arms
US20060087746A1 (en) 2004-10-22 2006-04-27 Kenneth Lipow Remote augmented motor-sensory interface for surgery
US8795195B2 (en) 2004-11-29 2014-08-05 Senorx, Inc. Graphical user interface for tissue biopsy system
JP2006167867A (ja) 2004-12-16 2006-06-29 Fuji Heavy Ind Ltd 遠隔操作装置
JP4528136B2 (ja) 2005-01-11 2010-08-18 株式会社日立製作所 手術装置
US7837674B2 (en) 2005-01-24 2010-11-23 Intuitive Surgical Operations, Inc. Compact counter balance for robotic surgical systems
US7654431B2 (en) 2005-02-18 2010-02-02 Ethicon Endo-Surgery, Inc. Surgical instrument with guided laterally moving articulation member
US7559450B2 (en) 2005-02-18 2009-07-14 Ethicon Endo-Surgery, Inc. Surgical instrument incorporating a fluid transfer controlled articulation mechanism
US8496647B2 (en) 2007-12-18 2013-07-30 Intuitive Surgical Operations, Inc. Ribbed force sensor
JP5160025B2 (ja) 2005-04-14 2013-03-13 オリンパスメディカルシステムズ株式会社 手術システム
EP2181645B1 (en) 2005-04-18 2014-09-03 M.S.T. Medical Surgery Technologies Ltd Device of improving laparoscopic surgery
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
JP2006321027A (ja) 2005-05-20 2006-11-30 Hitachi Ltd マスタ・スレーブ式マニピュレータシステム及びその操作入力装置
US7717312B2 (en) 2005-06-03 2010-05-18 Tyco Healthcare Group Lp Surgical instruments employing sensors
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
JP4015161B2 (ja) 2005-06-13 2007-11-28 川崎重工業株式会社 産業用ロボットの制御装置
JP4488312B2 (ja) 2005-07-08 2010-06-23 オリンパス株式会社 医療用マニピュレータシステム
JP2007029274A (ja) 2005-07-25 2007-02-08 Hitachi Ltd 術具装置
US7959050B2 (en) 2005-07-26 2011-06-14 Ethicon Endo-Surgery, Inc Electrically self-powered surgical instrument with manual release
JP2007038315A (ja) 2005-08-01 2007-02-15 Toyota Motor Corp 操作装置と操作子の動作調節方法とそのためのプログラム
JP2007098507A (ja) 2005-10-04 2007-04-19 Nagoya Institute Of Technology 作業補助装置
WO2007047782A2 (en) 2005-10-20 2007-04-26 Intuitive Surgical, Inc Auxiliary image display and manipulation on a computer display in a medical robotic system
US8190238B2 (en) 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US9241767B2 (en) 2005-12-20 2016-01-26 Intuitive Surgical Operations, Inc. Method for handling an operator command exceeding a medical device state limitation in a medical robotic system
US7453227B2 (en) 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
CN101340852B (zh) 2005-12-20 2011-12-28 直观外科手术操作公司 机器人外科系统的器械对接装置
WO2007075844A1 (en) 2005-12-20 2007-07-05 Intuitive Surgical, Inc. Telescoping insertion axis of a robotic surgical system
JP5043414B2 (ja) 2005-12-20 2012-10-10 インテュイティブ サージカル インコーポレイテッド 無菌外科手術アダプタ
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
US8628518B2 (en) 2005-12-30 2014-01-14 Intuitive Surgical Operations, Inc. Wireless force sensor on a distal portion of a surgical instrument and method
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US9173550B2 (en) 2006-01-13 2015-11-03 Olympus Corporation Medical apparatus
US9289112B2 (en) 2006-01-13 2016-03-22 Olympus Corporation Medical treatment endoscope having an operation stick formed to allow a procedure instrument to pass
US8617054B2 (en) 2006-01-13 2013-12-31 Olympus Medical Systems Corp. Medical treatment endoscope
US8092371B2 (en) 2006-01-13 2012-01-10 Olympus Medical Systems Corp. Medical treatment endoscope
US8021293B2 (en) 2006-01-13 2011-09-20 Olympus Medical Systems Corp. Medical treatment endoscope
US8439828B2 (en) 2006-01-13 2013-05-14 Olympus Medical Systems Corp. Treatment endoscope
US20070208375A1 (en) 2006-02-23 2007-09-06 Kouji Nishizawa Surgical device
JP4908020B2 (ja) 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
US9636188B2 (en) 2006-03-24 2017-05-02 Stryker Corporation System and method for 3-D tracking of surgical instrument in relation to patient body
WO2007138674A1 (ja) 2006-05-30 2007-12-06 Olympus Medical Systems Corp. 内視鏡処置システム
JP2008000282A (ja) 2006-06-21 2008-01-10 Olympus Medical Systems Corp 手技画像記録制御システム及び手術システム
JP4755047B2 (ja) 2006-08-08 2011-08-24 テルモ株式会社 作業機構及びマニピュレータ
US7920124B2 (en) 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US7313464B1 (en) 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
RU2009115691A (ru) * 2006-09-25 2010-11-10 Конинклейке Филипс Электроникс Н.В. (Nl) Способы и системы медицинского сканирования с тактильной обратной связью
JP4680164B2 (ja) 2006-10-13 2011-05-11 テルモ株式会社 マニピュレータ
JP5085996B2 (ja) 2006-10-25 2012-11-28 テルモ株式会社 マニピュレータシステム
JP2008104854A (ja) 2006-10-25 2008-05-08 Terumo Corp 医療用マニピュレータ
US8834170B2 (en) 2006-11-06 2014-09-16 University Of Florida Research Foundation, Inc. Devices and methods for utilizing mechanical surgical devices in a virtual environment
JP4911701B2 (ja) * 2007-01-19 2012-04-04 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
JP4960112B2 (ja) 2007-02-01 2012-06-27 オリンパスメディカルシステムズ株式会社 内視鏡手術装置
WO2008103383A1 (en) 2007-02-20 2008-08-28 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
JP4930100B2 (ja) 2007-02-27 2012-05-09 ソニー株式会社 力触覚ディスプレイ、力触覚ディスプレイの制御方法、並びにコンピュータ・プログラム
WO2008108289A1 (ja) 2007-03-01 2008-09-12 Tokyo Institute Of Technology 力覚提示機能を有する操縦システム
JP4916011B2 (ja) 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
WO2009034477A2 (en) 2007-04-16 2009-03-19 The Governors Of The University Of Calgary Frame mapping and force feedback methods, devices and systems
US20090132088A1 (en) 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
JP5335201B2 (ja) 2007-05-08 2013-11-06 キヤノン株式会社 画像診断装置
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
JP5319188B2 (ja) 2007-07-18 2013-10-16 株式会社東芝 Ｘ線診断装置
JP2009028157A (ja) 2007-07-25 2009-02-12 Terumo Corp 医療用マニピュレータシステム
US20090046146A1 (en) 2007-08-13 2009-02-19 Jonathan Hoyt Surgical communication and control system
JP2009056164A (ja) 2007-08-31 2009-03-19 Terumo Corp 医療用マニピュレータシステム
JP5017076B2 (ja) 2007-12-21 2012-09-05 テルモ株式会社 マニピュレータシステム及びマニピュレータの制御方法
US20090171147A1 (en) 2007-12-31 2009-07-02 Woojin Lee Surgical instrument
US8771169B2 (en) 2008-01-10 2014-07-08 Covidien Lp Imaging system for a surgical device
US20110046637A1 (en) 2008-01-14 2011-02-24 The University Of Western Ontario Sensorized medical instrument
US20090193299A1 (en) 2008-01-29 2009-07-30 Kiyoshi Sekiguchi Medical support control system
US20090204911A1 (en) 2008-02-12 2009-08-13 Kiyoshi Sekiguchi Medical support control system
JP2009178541A (ja) 2008-01-29 2009-08-13 Olympus Medical Systems Corp 医療支援制御システム
JP5154961B2 (ja) 2008-01-29 2013-02-27 テルモ株式会社 手術システム
KR100975047B1 (ko) 2008-02-15 2010-08-11 (주)미래컴퍼니 수술용 인스트루먼트의 커플링 구조
JP5210014B2 (ja) 2008-03-24 2013-06-12 テルモ株式会社 マニピュレータ
JP5148335B2 (ja) 2008-03-25 2013-02-20 テルモ株式会社 動作治具
JP5198118B2 (ja) 2008-03-28 2013-05-15 富士フイルム株式会社 アダプタ装置及び超音波検査システム
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
JP2009269127A (ja) 2008-05-08 2009-11-19 Sony Corp 把持装置及びその制御方法
US20090281378A1 (en) 2008-05-09 2009-11-12 Kazuo Banju Medical system
EP2127604A1 (en) 2008-05-30 2009-12-02 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO An instrument for minimally invasive surgery
WO2009151205A1 (ko) 2008-06-11 2009-12-17 (주)미래컴퍼니 수술용 로봇 암의 인스트루먼트
US8540748B2 (en) 2008-07-07 2013-09-24 Intuitive Surgical Operations, Inc. Surgical instrument wrist
CA2730240A1 (en) 2008-07-08 2010-01-14 Tyco Healthcare Group Lp Surgical attachment for use with a robotic surgical system
CN101959653B (zh) 2008-07-09 2012-10-24 松下电器产业株式会社 路径危险性评价装置
US9842192B2 (en) 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US20100013767A1 (en) 2008-07-18 2010-01-21 Wei Gu Methods for Controlling Computers and Devices
JP5139194B2 (ja) 2008-08-06 2013-02-06 オリンパスメディカルシステムズ株式会社 能動医療機器システム
DE102008041867B4 (de) 2008-09-08 2015-09-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Medizinischer Arbeitsplatz und Bedienvorrichtung zum manuellen Bewegen eines Roboterarms
JP2010076012A (ja) 2008-09-24 2010-04-08 Toshiba Corp マニピュレータシステムおよびその制御方法
US20110230894A1 (en) 2008-10-07 2011-09-22 The Trustees Of Columbia University In The City Of New York Systems, devices, and methods for providing insertable robotic sensory and manipulation platforms for single port surgery
CN102281831B (zh) 2008-12-23 2014-08-13 马科外科公司 一种用于机器人臂的传动装置
KR101038417B1 (ko) 2009-02-11 2011-06-01 주식회사 이턴 수술 로봇 시스템 및 그 제어 방법
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8918207B2 (en) 2009-03-09 2014-12-23 Intuitive Surgical Operations, Inc. Operator input device for a robotic surgical system
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
EP2305144B1 (en) 2009-03-24 2012-10-31 Olympus Medical Systems Corp. Robot system for endoscope treatment
JP5624536B2 (ja) 2009-04-30 2014-11-12 カール シュトルツ ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 医療用マニピュレータ
US9155592B2 (en) 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8423186B2 (en) 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
JP4759660B2 (ja) 2009-08-21 2011-08-31 パナソニック株式会社 ロボットアーム制御用の装置、方法、プログラム及び集積電子回路、並びに、組立ロボット
WO2011025786A1 (en) 2009-08-24 2011-03-03 Board Of Regents Automated needle insertion mechanism
US8888789B2 (en) 2009-09-23 2014-11-18 Intuitive Surgical Operations, Inc. Curved cannula surgical system control
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8543240B2 (en) 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
US20110118708A1 (en) 2009-11-13 2011-05-19 Intuitive Surgical Operations, Inc. Double universal joint
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
EP2642371A1 (en) * 2010-01-14 2013-09-25 BrainLAB AG Controlling a surgical navigation system
US20110238079A1 (en) 2010-03-18 2011-09-29 SPI Surgical, Inc. Surgical Cockpit Comprising Multisensory and Multimodal Interfaces for Robotic Surgery and Methods Related Thereto
JP2011206213A (ja) 2010-03-29 2011-10-20 Terumo Corp 医療用マニピュレータ
EP2377477B1 (en) 2010-04-14 2012-05-30 Tuebingen Scientific Medical GmbH Surgical instrument with elastically moveable instrument head
KR101661728B1 (ko) 2010-05-11 2016-10-04 삼성전자주식회사 사용자 입력 장치 및 이를 구비한 전자 기기
JP5726441B2 (ja) 2010-05-18 2015-06-03 オリンパス株式会社 マニピュレータ
US8956341B2 (en) 2010-06-10 2015-02-17 Carefusion 2200, Inc. Surgical device with reusable handle
JP5590983B2 (ja) 2010-06-15 2014-09-17 オリンパスメディカルシステムズ株式会社 医療器具保持装置
WO2012029227A1 (ja) 2010-08-31 2012-03-08 パナソニック株式会社 マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、制御プログラム、並びに、集積電子回路
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US20120071894A1 (en) 2010-09-17 2012-03-22 Tanner Neal A Robotic medical systems and methods
JP5835906B2 (ja) 2010-09-30 2015-12-24 オリンパス株式会社 屈曲関節機構並びにその屈曲関節機構を有する術具及びその屈曲関節機構を有するマニピュレータ
US9510895B2 (en) 2010-11-05 2016-12-06 Ethicon Endo-Surgery, Llc Surgical instrument with modular shaft and end effector
US9283675B2 (en) * 2010-11-11 2016-03-15 The Johns Hopkins University Human-machine collaborative robotic systems
US9241766B2 (en) 2010-12-22 2016-01-26 Intuitive Surgical Operations, Inc. Alternate instrument removal
KR101800189B1 (ko) 2012-04-30 2017-11-23 삼성전자주식회사 수술 로봇의 힘 제어 장치 및 방법

Also Published As

Publication number Publication date
EP2739231B1 (en) 2019-09-04
CN103717171A (zh) 2014-04-09
WO2013018912A1 (en) 2013-02-07
JP2013034835A (ja) 2013-02-21
EP2739231A1 (en) 2014-06-11
US9632577B2 (en) 2017-04-25
US20140148820A1 (en) 2014-05-29
EP2739231A4 (en) 2015-03-18
CN103717171B (zh) 2016-10-19

Similar Documents

Publication Publication Date Title
JP6005950B2 (ja) 手術支援装置及びその制御方法
US11806101B2 (en) Hand controller for robotic surgery system
US20250009441A1 (en) Systems And Methods For Surgical Navigation
US11534246B2 (en) User input device for use in robotic surgery
US9186796B2 (en) Master input device and master-slave manipulator
JP7376569B2 (ja) ロボット操作手術器具の位置を追跡システムおよび方法
JP5904676B2 (ja) マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法
WO2019146201A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN105188590A (zh) 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
KR20130027006A (ko) 최소 침습 수술 시스템에서 손 제스처 제어를 위한 방법 및 장치
US11576736B2 (en) Hand controller for robotic surgery system
KR20120102647A (ko) 주 손가락 추적 장치 및 최소 침습 수술 시스템에서의 사용 방법
JP2024175057A (ja) 医療用３次元映像測定装置及び医療映像整合システム
US20230092980A1 (en) Surgical robotic system setup
PL223072B1 (pl) System sterowania robotem chirurgicznym do operacji małoinwazyjnych

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160908

R151 Written notification of patent or utility model registration

Ref document number: 6005950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250