JP5444209B2 - The method of frame mapping and force feedback, devices and systems - Google Patents

The method of frame mapping and force feedback, devices and systems Download PDF

Info

Publication number
JP5444209B2
JP5444209B2 JP2010503625A JP2010503625A JP5444209B2 JP 5444209 B2 JP5444209 B2 JP 5444209B2 JP 2010503625 A JP2010503625 A JP 2010503625A JP 2010503625 A JP2010503625 A JP 2010503625A JP 5444209 B2 JP5444209 B2 JP 5444209B2
Authority
JP
Japan
Prior art keywords
tool
axis
coordinate system
force
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010503625A
Other languages
Japanese (ja)
Other versions
JP2010524548A (en
Inventor
フィールディング,ティム
ニューフック,ペリー
Original Assignee
ニューロアーム サージカル リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US91214407P priority Critical
Priority to US60/912,144 priority
Application filed by ニューロアーム サージカル リミテッド filed Critical ニューロアーム サージカル リミテッド
Priority to PCT/IB2008/003363 priority patent/WO2009034477A2/en
Publication of JP2010524548A publication Critical patent/JP2010524548A/en
Application granted granted Critical
Publication of JP5444209B2 publication Critical patent/JP5444209B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40137Force sensation feedback from simulated tool
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40182Master has different configuration than slave manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40401Convert workspace of master to workspace of slave
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45117Medical, radio surgery manipulator

Description

関係出願の相互参照 本出願は、参照により本明細書に組み入れてある、2007年4月16日出願の米国特許仮出願整理番号60/912144号の優先権を主張するものである。 CROSS-REFERENCE This application of the relationship application, by reference are incorporated herein, which claims the priority of US Provisional Patent Application Serial No. 60/912144, filed April 16, 2007.
本発明の方法、装置およびシステムがそれに関係する処理手順において使用することのできる手術ロボットの一例が、参照により本明細書に組み入れてある、米国特許第7155316号に開示されている。 The method of the present invention, an example of a surgical robot that apparatus and systems used in the processing procedure related to it, are incorporated herein by reference, are disclosed in U.S. Patent No. 7,155,316.

本発明の方法、装置およびシステムは、全体的には手術ロボット技術の分野に関係し、より具体的には、スレーブマニピュレータの実際の位置および方位に関係なく、スレーブマニピュレータの表示位置がオペレータに対して直感的にわかるように、スレーブマニピュレータの動きをディスプレイを介してオペレータに提示することのできるやり方で、オペレータがマスターマニピュレータを制御することによって、スレーブマニピュレータの動きを制御するための技法に関係する。 The method of the present invention, apparatus and system is related to the field of surgical robot technology as a whole, more specifically, regardless of the actual position and orientation of the slave manipulator, the display position of the slave manipulator to the operator intuitively Te, in a manner capable of presenting the motion of the slave manipulator operator via a display, by an operator to control the master manipulator, relate to techniques for controlling the movement of the slave manipulator . 本発明の方法、装置およびシステムは、また、フォースフィードバックシステムに関する。 The method of the present invention, apparatus and system also relates to force feedback system.

広義においては、本発明の技法は、オペレータによってマスターマニピュレータまたは制御装置を介して指令されるときに、スレーブマニピュレータ(例えば、特許文献1(316特許)に開示されているロボットアームなどの多自由度を有するロボットアーム)の動きを、以下のように制御することに関係する。 In a broad sense, the techniques of the present invention, when it is commanded through the master manipulator or controller by an operator, a slave manipulator (e.g., multiple degrees of freedom such as a robot arm disclosed in Patent Document 1 (316 patent) the movement of the robotic arm) with, related to controlled as follows.

オペレータが、ディスプレイを介してスレーブマニピュレータの実際の動きを目視しながら、マスターマニピュレータを操作することによって、スレーブマニピュレータに動くように指令する場合には、マスターマニピュレータの実際の位置および方位に対するスレーブマニピュレータの実際の位置および方位に関係なく、オペレータに対するその動きの表示が直感的にわかるように、スレーブマニピュレータが動き、スレーブマニピュレータの位置および方位は、任意の時間においてマスターマニピュレータの位置および方位と独立であり、ディスプレイは、表示される情報のある実際の場所に対応しない場所にある(例えば、オペレータは、(他の部屋にある)スレーブマニピュレータの隣の別の部屋に設置されたステレオカメラシステ Operator, while viewing the actual motion of the slave manipulator via the display, by operating the master manipulator, when commanded to move to the slave manipulator, a slave manipulator to the actual position and orientation of the master manipulator regardless of the actual position and orientation, as can be seen in the display of the movement intuitive to the operator, the slave manipulator motion, position and orientation of the slave manipulator are independently a position and orientation of the master manipulator at any time , the display is in a location that does not correspond to the actual location of the information to be displayed (e.g., the operator (in other room) stereo camera system installed in another room next to the slave manipulator を使用して撮られた、スレーブマニピュレータのステレオ表示を介して、スレーブマニピュレータを目視する)。 Use was taken via the stereo display of the slave manipulator, viewing the slave manipulator).

スレーブマニピュレータの動きをこのような方法で制御すると、オペレータおよび/またはオペレータが操作しているマスターマニピュレータに対するスレーブマニピュレータの実際の位置および方位に関係なく、スレーブマニピュレータの動きに対する直感的な感覚を、オペレータに与える。 Controlling the movement of the slave manipulator in this manner, regardless of the actual position and orientation of the slave manipulator to the master manipulator operator and / or operator is operating, an intuitive sense of motion of the slave manipulator, operator give in. 例えば、器具(例えば、手術用ツール)を保持するスレーブマニピュレータ(または、複数のマスターマニピュレータがある場合には、複数のスレーブマニピュレータ)が、表示される画像(複数を含む)を撮る実際の顕微鏡の下でオペレータがツールを保持しているかのごとく、同じ相対位置および方位において、オペレータに見える。 For example, the instrument (e.g., surgical tools) slave manipulator for holding (or, if there are multiple master manipulator, a plurality of slave manipulator) is an actual microscope taking an image (s) displayed operator underlying as if holding the tool, in the same relative position and orientation, visible to the operator.

すなわち、本発明の技法の一部の態様は、少なくとも1つの医療用ロボットアームに使用するように構成された制御システムに具現化され、この制御システムは、少なくとも次のことを実行するように構成される。 That is, some aspects of the present technique is embodied in a control system configured for use in at least one medical robotic arm, the control system is configured to perform at least the following possible It is. すなわち、医療用ロボットアームのツールの計算による動きを決定し、この場合に、計算による動きの決定は、ユーザからの入力を提供する制御装置から受け取る入力値に基づくとともに、計算による動きはツールの方位と、観測者基準構造の方位とに基づく観測者座標系で表わされること;および計算による動きに応じて医療用ロボットアームを動かす操作信号を出力することである。 That is, the medical robotic arm movements determined by tool calculations, in this case, the determination of the movement by calculations, together based on the input value received from the control device to provide input from a user, the movement by calculations tool and orientation, it is represented by the observer coordinate system based on the orientation of the observer reference structure; and in response to movement by the calculation is to output an operation signal to move the medical robotic arm. 操作信号は、医療用ロボットアームを適切に動かすのに十分な情報を含む、任意好適な形式のデータであればよい。 Operation signal, medical contains sufficient information to the robot arm properly moved, it may be any data in any suitable format. 例えば、操作信号は、制御システムによって医療ロボットアームの局所コントローラに出力されるか、または直接、個々の関節アクチュエータに出力される、一組の関節変位および/または関節速度を表わしてもよい。 For example, the operation signal may be output to the local controller of the medical robot arm by the control system, or directly, is output to the individual joint actuators may represent a set of joint displacement and / or joint velocities.

本発明の技法は、直感的にわかる方法で、オペレータにフォースフィードバック(force feedback)を提供することにも関する。 Technique of the present invention is a method intuitive, also it relates to providing a force feedback (force? Feedback) to the operator. フォースフィードバックは、スレーブマニピュレータにおいて測定される実際の力(ツール先端の力など)から、またはオペレータがプログラムすることができるか、またはスレーブマニピュレータの関節における(速度制限および関節角度制限を含む)制限の結果として存在する、仮想の力から、または実際の力と仮想の力の組合せから導出してもよい。 Force feedback is actually measured in the slave manipulator force from (such as the force of the tool tip), or the operator (including the speed limit and joint angle limit) in the joint of the can or the slave manipulator, be programmed limits present as a result, from the force of the virtual or actual force and may be derived from a combination of virtual force. 実際の力は、手術用ツールを力センサとフレキシブル連結器を介してエンドエフェクタに結合することによってツール先端の力を測定するように構成されたスレーブマニピュレータによって測定してもよい。 Actual force may be measured by configured slave manipulator to measure the force of the tool tip by the surgical tool through the force sensor and the flexible coupling is coupled to the end effector.

フレキシブル連結器は、ツール先端力に、力センサを迂回する荷重経路を与えることなく、手術用ツールの操作を容易にすることができる。 Flexible coupler, the tool tip force, without giving a load path that bypasses the force sensor, it is possible to facilitate the operation of the surgical tool. 例えば、フレキシブル連結器は、その中心軸まわりの回転以外のすべての方向において順応性(compliant)をもたせて、それによって、ツール先端の力のいずれの成分をも(例えば、ロボットアームのエンドエフェクタを介して)ロボットアームに伝達しないように構成してもよい。 For example, a flexible coupling is imparted conformable (compliant) in all directions except rotation about its central axis, thereby, any of the component of the force of the tool tip (for example, an end effector of the robot arm through it) may be configured not to transmit to the robot arm. 結果的に、所与のツール先端力の全部が、力センサを介して作用する力によってバランスさせることができ、力センサにより測定される値から、そのツール先端力の計算を達成することができる。 Consequently, all of the given tool tip force, can be balanced by forces acting through the force sensor, the value measured by the force sensor, it is possible to achieve a calculation of the tool tip force .

本発明の方法、装置(例えば、コンピュータ可読媒体)、およびシステム(例えば、制御システムなどのコンピュータシステム)のいずれの態様も、前記の機能、ステップ、および/または特徴を備える(comprise/include/contain/have)のではなく、それらからなる(consist of)か、または本質的にそれらからなる(consist essentially of)としてもよい。 The method of the present invention, apparatus (e.g., computer-readable media), and system (e.g., a computer system, such as control systems) either embodiment also includes the functions, steps, and / or features (comprise / include / contain / Have) instead of, consisting (cONSIST of) or essentially may be made of those (it consists essentially of). すなわち、いずれの請求項においても、「consist of」または「consist essentially of」という語句を、所与の請求項の範囲を、オープンエンド形連結動詞を使用してそうしない場合の範囲から変更するために、上記のオープンエンド形連結動詞のいずれによって代用してもよい。 That is, both in the claims, the phrase "CONSIST of" or "CONSIST Essentially of" the scope of a given claim, for changing from the scope of Otherwise using the open-ended linking verbs to, may be substituted by any of the open-ended linking verbs above.

以下の図面は、限定としてではなく、例として示される。 The following drawings, and not limitation, is shown as an example. 同一の参照数字は、必ずしも同一の構造、システム、または表示を示すものではない。 The same reference numerals do not necessarily indicate identical structures, systems or display. むしろ、同一の参照数字は、類似の特徴または類似の機能を備える特徴を示すのに使用される。 Rather, the same reference numerals are used to indicate features with similar features or a similar function. 図を分かり易くするために、各態様のすべての特徴が、その態様が表われるすべての図に常に示されるわけではない。 For clarity of illustration, all of the features of each aspect is, that aspect is not shown at all times in all figures appearing. 図に示されるコントーラ装置、マニピュレータ、およびツールは、縮尺通りに描かれており、記述された要素の寸法が、互いに相対的に正確であることを意味している。 Kontora apparatus shown in Figure, a manipulator, and tools are drawn to scale, the dimensions of the described elements, which means that the mutually relatively accurate.

図1は、本発明の態様での使用に好適な医療用ロボットシステムの斜視図である。 Figure 1 is a perspective view of a preferred medical robotic system for use with the present embodiments. 図2は、図1のロボットシステムの概略図である。 Figure 2 is a schematic diagram of a robot system of FIG. 本発明の態様に関係するいくつかの座標系。 Some of the coordinate system related to the embodiment of the present invention. 図3は、図1のロボットシステムを制御するために、リモートオペレータが使用することのできる、ワークステーションを示す斜視図である。 3, in order to control the robotic system of FIG. 1, may be remote operator uses a perspective view showing the work stations. コントローラ装置座標系も図示されている。 The controller device coordinate system is also shown. 図4は、図1のロボットシステムを制御するのに使用することのできる、(ハンドコントローラとして示されている)コントローラ装置ならびに関連する座標系の斜視図である。 4, can be used to control the robotic system of FIG. 1 is a perspective view of a coordinate system in which the controller device and associated (shown as a hand controller). 図5は、観測者基準構造に対する場所を図示する概略図である。 Figure 5 is a schematic diagram illustrating the locations for observer reference structure. 図6は、本発明の態様に関係する、いくつかの座標系を示す概略図である。 Figure 6 relates to embodiments of the present invention, it is a schematic diagram showing some of the coordinate system. 図7は、観測者座標系の位置合せを図示する、本発明の態様での使用に好適な医療用ロボットアームの透視図である。 Figure 7 illustrates the alignment of the observer coordinate system is a perspective view of a preferred medical robotic arm for use with the present embodiments.

図8は、対応する観測者座標系の位置合せを示す、本発明の態様での使用に好適な、2本腕医療用ロボットシステムの上面図である。 Figure 8 shows the alignment of the corresponding observer coordinate system, suitable for use in the embodiment of the present invention, a top view of a two-arm medical robotic system. 図9は、観測者座標系の位置合せを示す、本発明の態様での使用に好適な医療用ロボットアームの上面図である。 Figure 9 shows the alignment of the observer coordinate system is a top view of a preferred medical robotic arm for use with the present embodiments. 図10は、観測者座標系の位置合せを示す、本発明の態様での使用に好適な医療用ロボットアームの上面図である。 Figure 10 shows the alignment of the observer coordinate system is a top view of a preferred medical robotic arm for use with the present embodiments. 図11は、本発明の態様での使用に好適な医療用ロボットアームのエンドエフェクタの側面図、上面図および端面図である。 Figure 11 is a side view of the end effector of the preferred medical robotic arm for use in the embodiment of the present invention, a top view and an end view. エンドエフェクタは、ツールを保持している。 The end effector, holds the tool. 図12は、エンドエフェクタに結合されているセンサによって測定される、ツール先端の力を示す、図11のエンドエフェクタの側面図である。 Figure 12 is measured by a sensor coupled to the end effector, illustrating the power of the tool tip is a side view of the end effector of FIG. 11. 図13は、図11のエンドエフェクタの分解組立図である。 Figure 13 is an exploded view of the end effector of FIG. 11. 図14は、本発明の方法、装置、およびシステムでの使用に好適な、オーバヘッドカメラおよび医療用ロボットアームの典型的な配置を示す図である。 Figure 14 is a method of the present invention, apparatus, and suitable for use in the system, it is a diagram illustrating a typical arrangement of overhead cameras and medical robotic arm.

用語「comprise」(および、「comprises」や「comprising」などのcompriseのすべての形態)、「have」(および「has」や「having」などのhaveのすべての形態)、「include」(および「includes」や「including」などのincludeのすべての形態)および「contain」(および「contains」や「containing」などのcontainのすべての形態)は、オープンエンド形連結動詞である。 The term "comprise" (and, all forms of comprise, such as "comprises" and "comprising"), (all forms of have, such as and "has" and "having"), "have", "include" (and " includes "and" including "all forms of include, such as) and" contain "(all forms of contain, such as and" contains "and" containing ") is an open-ended linking verbs. すなわち、あるステップを含む方法は、少なくとも記載のステップを含むが、その記載のステップだけを有することに限定はされない。 That is, the method comprising certain steps including steps at least according, limited to having only the steps of the described are not.

同様に、あるステップを実行するためのマシン可読命令を含む(comprising)コンピュータ可読媒体は、少なくとも記載のステップを実施するためのマシン可読命令を有するが、追加の不記載のステップを実施するためのマシン可読命令を有する媒体をも範囲に含む、コンピュータ可読媒体である。 Similarly, (comprising,) computer readable medium comprising machine readable instructions for performing certain steps has the machine-readable instructions for performing the steps of at least described, for implementing the steps of the additional non wherein also included within the scope of the medium having machine-readable instructions, a computer-readable medium. さらに、少なくともある機能を実行するように構成されたコンピュータシステムは、記載の機能だけを実行することに限定されるものではなく、システムが記載の機能を実行するように構成されている限り、明記されていない方法、または複数の方法で構成されてもよい。 Furthermore, the computer system configured to perform at least some functions, is not limited to performing only the functions described, as long as the system is configured to perform the functions described, clearly it may be constituted by by a method not or more methods.

用語「a」および「an」は、本明細書では、そうではないと明白に断らない限りは、1つまたは2つ以上と定義される。 The term "a" and "an" as used herein, unless otherwise apparent unless the case is defined as one or more than one. 用語「another」は、少なくとも第2の、または2つ以上と定義される。 The term "another" is defined as at least a second, or more than one.
一部の態様においては、特許文献1(316特許)に開示されるもののような手術ロボットは、顕微鏡から見た手術シーンの画像を示す仮想顕微鏡ディスプレイを使用するオペレータによって、制御が可能である。 In some embodiments, the surgical robot such as those disclosed in Patent Document 1 (316 patent), by an operator using a virtual microscope display showing an image of a surgical scene viewed from the microscope, it is possible to control. オペレータは、そのシーンにおいて、仮想顕微鏡視界と整合して位置している、2つのハンドコントローラを使用して、マニピュレータ(ロボットのロボットアーム)を制御する。 The operator, in the scene, is positioned in alignment with the virtual microscope view, with two hand controllers, to control the manipulator (robot arm of the robot). その効果は、仮想顕微鏡視界において手術用ツールを保持するマニピュレータが、外科医が実際の顕微鏡下で手術用ツールを保持しているかのような同じ相対位置と方位において、オペレータに見えることである。 The effect is a manipulator that holds a surgical tool in a virtual microscope field of view, in the same relative position and orientation as if the surgeon is holding the surgical tool under actual microscope is that visible to the operator.

そのような態様においては、外科医による、所与のマニピュレータの直感的な制御を達成するために、マニピュレータは、オペレータ入力に対して、外科医(オペレータ)がその手で行う動きを模倣する方向に応答しなくてはならない。 In such embodiments, by the surgeon, in order to achieve the intuitive control of a given manipulator, the manipulator, to the operator input, in response to the direction that mimics the motion of a surgeon (operator) performs at their hands It must be. 外科医が、その手を自分の体から遠ざかる方向に押した場合には、その外科医は、顕微鏡視界におけるマニピュレータも、同じ視覚的方向に離れて行くことを期待するであろう。 Surgeon, when pressed away the hand from his body, the surgeon, also a manipulator in the microscope field of view, would expect to go away in the same visual direction. 視覚的観点は、マニピュレータ上のいかなる物理基準フレームに対しても直接はマッピングされないので、仮想観測者基準フレームを作成して、オペレータが期待するものを、マニピュレータが実行するものの中にマッピングする。 Visual point of view, since the direct for any physical reference frame on the manipulator not mapped, by creating a virtual observer reference frame, what the operator expects, mapping in what manipulator performs. この基準フレームマッピングによって、ツールの動きをオペレータに対して直感的にわかるように維持しながら、ハンドコントローラスタイラスおよび手術用ツールを、独立して配向させることができる。 This reference frame mapping, while maintaining the movement of the tool as intuitive to the operator, hand controller stylus and the surgical tool can be oriented independently.

直感的マッピングを作成する目標には次のものがある:(a)ユーザに、まっすぐ近づくか、または遠ざかるスタイラスの動きから、処置を行う間、ロボットアームがそれに結合されている基台(ロボットベースとも呼ばれる)にまっすぐ近づくか、またはそれから遠ざかるツールの動きを発生させること、および(b)スタイラスの軸に沿った方向のスタイラスの動きから、ツールの軸に沿ったツールの動きを発生させることである。 The goal of creating an intuitive mapping are the following: (a) to the user, from the straight approach or away stylus motion, while performing the procedure, the base (robot base of the robot arm is coupled thereto in even or straight approaches referred to), or because it generates a movement of the tool away, and (b) that the direction of stylus movement along the axis of the stylus, to generate a movement of the tool along the axis of the tool and is there. 本発明のフレームマッピングを達成するのに使用することのできる、変換方式の決定は、参照により組み入れてある同時係属の国際出願PCT/US08/60538に開示されている位置決め方法によることを含め、任意好適な方法によって行うことができる。 Can be used to achieve frame mapping of the present invention, the determination of the conversion method, including by International Application PCT / US08 / 60538 positioning method disclosed in copending are incorporated by reference, any it can be carried out by any suitable method.

そのような態様においては、ロボットベースから遠ざかる方向を常に指すとともに、仮想顕微鏡フレームにおいてオペレータに対して、オペレータからまっすぐに遠ざかる方向を指すように見える正方向X軸を、仮想観測者フレームは有する。 In such embodiments, together with the always refer to the direction away from the robot base, the operator in the virtual microscope frame, the positive X axis that appear to refer to the direction away straight from the operator, the virtual observer frame has. ハンドコントローラ基準フレームの正方向Z軸は、スタイラスの後端から先端へと、ハンドコントローラスタイラス軸に沿った方向にある。 Positive Z-axis of the hand controller reference frame, to the tip from the rear end of the stylus, in a direction along the hand controller stylus axis. ツールの正方向Z軸は、ツールホルダから先端に向かうツール軸に沿っており、したがって、スタイラスのZ軸にだけ沿う動きは、ツールのZ軸にだけ沿った動きを生成する。 Positive Z-axis of the tool is along the tool axis directed from the tool holder to the tip, therefore, the motion along only the Z-axis of the stylus produces a movement along the Z axis of the tool only.

そのような態様においては、仮想観測者フレーム基準軸「X」は、オペレータから遠ざかる方向を常に指すように定義され、この軸は、オペレータに示される顕微鏡画像の下部から上部へ向かう方向として、位置づけられる。 In such embodiments, the virtual observer frame reference axis "X" is defined to always refer to the direction away from the operator, this axis as the direction from bottom to top of the microscope image shown to the operator, positioned It is. 実際上は、観測者フレームは、マニピュレータエンドエフェクタ上のツール軸と整列された仮想フレームであり、次の特徴を有する:「Z」は、ハンドコントローラ上のスタイラス軸にマッピングされて、ツールの長さ方向に沿って定義され;「X」は、上述のようにマッピングされて、ツール先端において、上から見たときのその軸の投影が、顕微鏡視界のX軸と常に整列するように定義され;「Y」軸は、座標フレームの右手の法則から決まる。 In practice, the observer frame is a virtual frame that is aligned with the tool axis on the manipulator end-effector, with the following characteristics: "Z" is mapped to the stylus axis of the hand controller, the tool length is along the direction defined; "X" is mapped as described above, in the tool tip, the projection of its axis when viewed from above, is defined to always align with the X axis of the microscope field of view ; "Y" axis is determined from the right-hand rule of the coordinate frame.

したがって、この仮想観測者フレームは、ツール先端フレームであるが、ツールX軸のロボットベースX−Y平面上への投影が、ロボットベースX軸と整列するように、ツールZ軸の回りに回転されている。 Therefore, the virtual observer frame is the tool tip frame, projected onto a tool X-axis robot base the X-Y plane is, to align with the robot base X-axis, is rotated about the tool Z axis ing. マニピュレータの動きに伴って、この仮想観測者フレームは、X軸を顕微鏡カメラX軸と整列させたままに維持するために、常時ではないとしても、頻繁に更新される。 With the movement of the manipulator, the virtual observer frame in order to maintain the X-axis remains aligned with the microscope camera X-axis, if not always, are frequently updated. このフレームは、ツールおよびマニピュレータの方位、またはツールフレームの方位とは独立である。 The frame of the tool and the manipulator orientation or the orientation of the tool frame, are independent. その結果、カメラ観測者フレームにおけるXおよびYのハンドコントローラ指令は、顕微鏡カメラ画像内で見られるときに、常に意図するXおよびYの動きを生じ、スタイラスのZ移動は、常にツール軸に沿っていることになる。 As a result, the hand controller commands X and Y in the camera observer frame, when viewed in the microscope camera image, always results in movement of the intended X and Y, Z movement of the stylus, always along the tool axis It will be there.

1.0 観測者フレームマッピング 1.0 observer frame mapping
以下の説明は、特許文献1(316特許)に開示されているタイプの手術ロボットでの使用に好適な、本発明のフレームマッピング技法の態様を実施する方法の一例に関する。 The following description is suitable for use in the type of surgical robot disclosed in Patent Document 1 (316 patent) relates to one example of a method of implementing aspects of the frame mapping techniques of the present invention.
図1は、本発明のフレームマッピング技法での使用に好適なロボットシステムを示す。 Figure 1 illustrates a preferred robot system for use in a frame mapping technique of the present invention. 医療用ロボットアーム100および第2の医療用ロボットアーム101が共通ベースである、システムべース10に装着されている。 Is a medical robotic arm 100 and second medical robotic arm 101 is a common base is attached to the system base over scan 10. 各ロボットアームは、医療(例えば、外科)処置に好適な(計器としても特徴づけることもできる)ツールを有してもよい。 Each robot arm, medical (e.g., surgery) (can also be characterized as a meter) suitable for treatment may have a tool.

図2は、本発明の態様に関係するいくつかの座標系を示している。 Figure 2 shows some of the coordinate system related to the embodiment of the present invention. 観測者基準構造200は、(例えば医療処置の持続期間の間、)リモートオペレータに提示される画像の方位に固定されたままとなる、任意の構造とすることができる。 Observer reference structure 200 may be a (e.g. the duration of the medical procedure,) remains fixed in orientation of the image presented to the remote operator, any structure. すなわち、オペレータに医療処置の間に使用される画像を提供するオーバヘッドカメラに対して固定されている任意の構造が、観測者基準構造200としての役割を果たすことができる。 That is, any structure that is fixed relative to the overhead camera that provides an image to be used during the medical procedure to an operator, can serve as the observer reference structure 200. 図1および図2に示された態様においては、システムベース10は、カメラ21の方位に対して固定されたままとなり、したがって観測者基準構造200として好適である。 In the embodiment shown in FIGS. 1 and 2, the system base 10, remains fixed relative to the orientation of the camera 21, therefore it is suitable as the observer reference structure 200. 図14は、医療用ロボットアーム100によって実施される処置を受ける患者の上方に設置されたオーバヘッドカメラ21を示しており、これはステレオ視カメラであってもよい。 Figure 14 shows the overhead camera 21 installed above the patient receiving treatment performed by medical robotic arm 100, which may be a stereoscopic camera. その他の好適な観測者基準構造200としては、オーバヘッドカメラ21およびオーバヘッドカメラ21に取り付けられた構造があげられる。 Other suitable observer reference structure 200, attached structure overhead camera 21 and an overhead camera 21 and the like.

基準構造座標系210の方位は、観測者基準構造200の方位に固定されるとともに、その座標系が概して水平であって、外科処置が行われる患者の領域を指す方向に向いているX軸を有するように、選択される。 Orientation of reference structure coordinate system 210 is fixed to the azimuth of the observer reference structure 200, a the coordinate system generally horizontally, the X-axis is oriented in a direction pointing to the region of the patient where the surgical procedure is performed as it has chosen. この対象領域は、外科処置の間、観測者基準構造200に対して場所が概して固定されたままとなる。 The region of interest during the surgical procedure, and remains location is generally fixed relative to the observer reference structure 200. そのような方位によって、基準構造座標系210のX軸と、オーバヘッドカメラによってオペレータに提示される画像との間の相関が得られる。 Such orientation, the X-axis of the reference structure coordinate system 210, the overhead camera correlation between the image presented to the operator is obtained. この方位の選択は、基準構造座標系210が画像の垂直軸と対応して、+X方向が画像の上部を指すようにされる。 Selection of this orientation, the reference structure coordinate system 210 corresponds to the vertical axis of the image, + X direction is to point to the top of the image. Z軸は、上方を指すように選択され、結果として得られるY軸方向は、右手座標系の慣用規則に従う。 Z-axis is selected to point upward, resulting Y-axis direction, follow conventional rules of right-handed coordinate system.

観測者座標系250の方位は、ツール400の方位および観測者基準構造200の方位から決定される。 Orientation of observer coordinate system 250 is determined from the orientation of the orientation and the observer reference structure 200 of the tool 400. 一部の態様においては、観測者座標系250のZ軸は、ツール400のツール軸460に整列し、観測者座標系250のX軸は、基準構造座標系210のX−Y平面におけるその投影が、基準構造座標系210のX軸に平行であり、かつ同一方向を指すように整列される。 In some embodiments, Z axis of observer coordinate system 250 is aligned with the tool axis 460 of the tool 400, X-axis of observer coordinate system 250, the projection in the X-Y plane of reference structure coordinate system 210 There is parallel to the X axis of the reference structure coordinate system 210, and are aligned to point in the same direction. 図6は観測者座標系250を示しており、この座標系は、(1)ツール軸460と整列されたZ軸、および(2)基準構造座標系210のX軸に対して平行であるとともに、同一方向を指す基準構造座標系210のX−Y平面における投影269を有するX軸、を有するように方位を決められている。 Figure 6 shows the observer coordinate system 250, the coordinate system, (1) Z-axis, which is aligned with the tool axis 460, and (2) as well as a parallel to the X axis of the reference structure coordinate system 210 It is determined the orientation so as to have the X-axis, having a projection 269 in the X-Y plane of reference structure coordinate system 210 that points to the same direction. 結果として得られる観測者座標系250のY軸方向は、右手座標系の慣用規則に従う。 Y-axis direction of the observer coordinate system 250 as a result obtained, according to conventional rules of right-handed coordinate system. 図7〜図11は、観測者座標系250の整列をさらに示す。 7 to 11 further illustrates the alignment of observer coordinate system 250. 図11は、医療用ロボットアームのエンドエフェクタ110、ツール400、ツール軸460、およびツール軸460に整列された軸260を有する座標系250の、側面図、上面図および端面図を示す。 Figure 11 shows the coordinate system 250 having a medical robotic arm of the end effector 110, the tool 400, the tool axis 460 axis 260 aligned and the tool axis 460, a side view, a top view and an end view.

顕微鏡外科処置においての使用に好適なロボットアームのような、同時に作動する複数のロボットアームを含むシステムにおいては、各ロボットアームは固有の観測者座標系を有し、各観測者座標系の方位は、観測者基準構造の方位およびそれぞれのロボットアームのツールの方位に依存する。 Such as a suitable robotic arm for use in a microscope surgery, in a system including a plurality of robot arms that operate simultaneously, each robot arm has a unique observer coordinate system, the orientation of the observer coordinate system depends on the orientation and the orientation of each robot arm tool observer reference structure. 一部の態様においては、複数の観測者座標系は方位が変わることがあるが、そのすべてのものが、基準構造座標系のX−Y平面におけるその投影が、基準構造座標系のX軸と平行であり、かつそれと同一方向を指すように整列された、それぞれの観測者座標系のX軸を有することになる。 In some embodiments, a plurality of observer coordinate system is sometimes orientation changes, that is everything, its projection in the X-Y plane of reference structure coordinate system, the X-axis of the reference structure coordinate system They are parallel, and aligned therewith to point in the same direction will have a X-axis of the respective observer coordinate system.

図8は2本腕構成(医療用ロボットアーム100および第2の医療用ロボットアーム101)を示しており、この構成は以下を有する:(1)ツール400のツール軸460に整列された観測者座標系250であって、この観測者座標系250のX軸は、基準構造座標系210のX−Y平面におけるそのX軸の投影が、基準構造座標系210のX軸と平行であって、かつそれと同一方向を指すように整列されている、および(2)ツール401のツール軸461に整列された観測者座標系251であって、この観測者座標系そのX軸は、基準構造座標系210のX−Y平面におけるそのX軸の投影が、基準構造座標系210のX軸と平行であって、かつそれと同一方向を指すように整列されている。 Figure 8 shows the two arms constituting (medical robotic arm 100 and second medical robotic arm 101), the arrangement has the following: (1) aligned with the tool axis 460 of the tool 400 the observer a coordinate system 250, X-axis of the observer coordinate system 250, the projection of the X axis in the X-Y plane of reference structure coordinate system 210, a parallel to the X axis of the reference structure coordinate system 210, and is aligned therewith to point in the same direction, and (2) a observer coordinate system 251 aligned in the tool axis 461 of the tool 401, the observer coordinate system that X-axis, the reference structure coordinate system the projection of the X-axis, a parallel to the X axis of the reference structure coordinate system 210, and is aligned therewith to point in the same direction in the X-Y plane of 210.

図3は、リモートオペレータが、医療用ロボットアーム100および第2の医療用ロボットアーム101の一部の態様を制御する上で好適な、ワークステーションを示す。 Figure 3 is a remote operator, suitable in controlling certain aspects of the medical robotic arm 100 and second medical robotic arm 101, shows a workstation. ビデオカメラ、磁気共鳴撮像システム、またはその他のデータ提示システムからの情報を目視するために、複数のビデオモニタがオペレータに対して利用可能である。 Video camera, for viewing the information from the magnetic resonance imaging system or other data presentation system, a plurality of video monitor is available to the operator. 視界装置(viewing instrument)22は、オーバヘッドステレオカメラからの高解像度画像を提供してもよい。 Vision device (viewing instrument) 22 may provide a high resolution image from the overhead stereo camera. 一部の態様においては、視界装置22は、双眼顕微鏡である。 In some embodiments, visibility device 22 is binocular microscope. コントローラ装置300および第2のコントローラ装置301は、医療用ロボットアーム100および第2の医療用ロボットアーム101のそれぞれに対して、所望する挙動のユーザ入力を与える。 Controller device 300 and the second controller unit 301, for each of the medical robotic arm 100 and second medical robotic arm 101 provides for user input of a desired behavior. 各コントローラ装置は、コントローラ装置座標系(350、351)と対応している。 Each controller device then corresponds to the controller device coordinate system (350, 351).

図4は、コントローラ装置300および第2のコントローラ装置301の一態様の別の視野を示す。 Figure 4 shows another field of view of one embodiment of the controller device 300 and a second controller device 301. コントローラ装置座標系350のZ軸は、観測者座標系250のZ軸がツール400のツール軸460と整列されていたのと同様に、コントローラ装置300の垂直軸と整列されている。 Z-axis of the controller device coordinate system 350, the Z axis of the observer coordinate system 250 in the same manner as has been aligned with the tool axis 460 of the tool 400 is aligned with the vertical axis of the controller device 300. +X軸は、オペレータから遠ざかる方向を指すように整列されており、Y軸の方位は、右手座標系の慣用規則に従う。 + X axis is aligned to point away from the operator, the orientation of the Y-axis follows the conventional rules of right-handed coordinate system. このコントローラ装置座標系350の整列によって、ワークステーションにおけるオペレータの視点から見た、コントローラ装置座標系350のX軸、Y軸およびZ軸が、観測者基準構造から見た観測者座標系250のX軸、Y軸およびZ軸に対して同一の方位となる(図6を参照)。 The alignment of the controller device coordinate system 350, as viewed from the operator's point of view in a workstation, X-axis of the controller device coordinate system 350, Y-axis and Z-axis, the observer observer coordinate system 250 as viewed from the reference structure X axis, the same orientation with respect to the Y-axis and Z-axis (see Figure 6). 観測者座標系250は、視界装置22に表示される対象領域の画像を提供するオーバヘッドカメラの方位に固定されているので、コントローラ装置座標系350のX軸、Y軸およびZ軸は、オペレータが対象領域を目視するときにオペレータに見える方向と直感的に関係している。 Observer coordinate system 250, are fixed to the orientation of the overhead camera that provides an image of the region of interest to be displayed on the viewing device 22, X-axis of the controller device coordinate system 350, Y-axis and Z-axis, the operator It is intuitively related to the direction which is visible to the operator when viewing the target area.

したがって、コントローラ装置座標系350において表わされたコントローラ装置300への入力信号は、観測者座標系250において表わされたツールの計算による動きに直接、マッピングすることができ、生成された動きは、オペレータに対して直感的にわかるものとなる。 Thus, the input signal to the controller device 300 that is represented in the controller device coordinate system 350, directly to the movement by calculations represented in observer coordinate system 250 tools, can be mapped, the generated motion , and that intuitive to the operator. 例えば、オペレータがコントローラ装置300をオペレータの体から遠ざかる方向に動かすことによって生成される、コントローラ装置座標系350のX軸における(任意単位の)+2の動きは、観測者座標系250のX方向における(同一単位での)+2の、ツール400の計算による動きに直接、マッピングすることができる。 For example, the operator is generated by moving away the controller device 300 from the operator's body, (in arbitrary units) in the X-axis of the controller device coordinate system 350 +2 movements, in the X direction of observer coordinate system 250 (in the same units) +2, directly to the movement by the calculation tool 400 can be mapped.

逆キネマティクス問題を解いた後に、適当な制御信号を出力して、ロボットアーム100を作動させて、観測者基準構造200からまっすぐに遠ざかる方向のツール400の動きを得ることができる。 After solving the inverse kinematics problem, and outputs an appropriate control signal, to operate the robot arm 100, it is possible to obtain the movement direction of the tool 400 away straight from the observer reference structure 200. この動きは、視界装置22上では、オペレータに対して、スクリーンの上部に向かうツール400の動きとして現れ、コントローラ装置のオペレータの動きとよく一致することになる。 This movement on the field of view device 22, the operator, appear as movements of the tool 400 toward the top of the screen, will be in good agreement with the operator of the motion of the controller device. 一部の態様では、同じ方向を維持しながら、計算による動きの絶対値を拡大縮小してもよい(例えば、上記の例において、観測者座標系250のX方向における+2の代わりに+1の、ツール400の計算による動きにマッピングする)。 In some embodiments, while maintaining the same direction, calculated may be scaled absolute value of the motion by (e.g., in the above example, +2 in the X-direction of the observer coordinate system 250 instead of +1, mapped to the movement by the calculation of the tool 400).

図5は、本発明の技法の態様の観測者座標系およびコントローラ装置座標系の使用により得られる直感的な関係を説明している。 Figure 5 illustrates an intuitive relationship obtained by the use of the observer coordinate system and the controller device coordinate system aspects of the present technique. 一部の態様においては、観測者基準構造は、それが主外科医であるかのように、患者の近くに配置される。 In some embodiments, the observer reference structure, it as if the main surgeon, is placed near the patient. 補助外科医の配置は、人間の主外科医がいる場合に行われるのと同様にすることができる。 Arrangement of the auxiliary surgeon may be similar to that carried out when there are human primary surgeon. リモートワークステーションからロボットシステムを制御するオペレータは、手でツールを操作して、双眼鏡を通して対象領域を目視している、人間の外科医と同じ眺望が提示され、この双眼鏡は、顕微鏡ヘッドによって撮像された画像の左右の視界を外科医に提示する。 Operator to control the robotic system from a remote workstation can operate the tool by hand, which views the target area through binoculars, the same views as the human surgeon is presented, the binoculars, imaged by the microscope head the left and right of the field of view of the image presented to the surgeon. ロボットシステムオペレータは、コントローラ装置を通して、ロボットのツールを、あたかもそれがオペレータのすぐ前にあるツールであるかのように操作し、(人間の外科医の顕微鏡によって撮像される視界に対応する、)ステレオカメラによって撮像される左右の視界を提示する双眼顕微鏡を通して対象領域を目視する。 Robot system operator, through the controller unit, the robot tool, though it operates as if it were a tool in front immediately operator (corresponding to field of view to be imaged by a human surgeon's microscope) Stereo viewing the target area through a binocular microscope for presenting the left and right field of view to be imaged by the camera.

2.0 フォースフィードバックに使用される観測者フレームマッピング 2.0 observer frame mapping to be used for force feedback
前述した座標系の決定は、直感的にわかる方法でオペレータに対してフォースフィードバックを提供する上でも有用である。 Determination of the aforementioned coordinate system is useful in methods for intuitive even on offer force feedback to the operator. 一部の態様においては、典型的にはセンサの装着方位と関連するセンサ座標系において測定される、測定による力を、観測者座標系の数式に変換して、次いでそれをコントローラ装置座標系にマッピングしてもよい。 In some embodiments, is typically measured in the sensor coordinate system associated with the mounting direction of the sensor, the force by the measurement, and converts the formula observer coordinate system, then it to the controller device coordinate system it may be mapped. 測定による力を、仮想の力と組み合わせてもよく、この仮想の力は、オペレータに追加の情報を提供し、例えば、仮想衝突、関節制限(joint limits)および動きの逸脱源(motion divergence sources)に基づいてもよい。 The force by measuring, may be combined with virtual force, the force of the virtual provides additional information to the operator, for example, virtual collision, joint limits (joint limits) and motion deviations source (motion divergence sources) it may be based on.

この制御システムは、ロボットアーム、ツール、およびオペレータフォースフィードバックに関係するその他の構造の3次元モデルを含むように構成してもよい。 The control system, a robot arm, the tool, and may be configured to include a 3-dimensional model of the other structures relating to the operator force feedback. 一部の態様においては、ツール同士の衝突は許容するが、その他の衝突を禁止してもよい。 In some embodiments, the collision tools each other but allows, may prohibit other collisions. 意図する動きが、モデル同士の衝突を引き起こすことになる場合には、マニピュレータの動きが一時停止されて、コントローラ装置に対して、指令による動きの反対の方向にフィードバックの力がフィードバックされる。 It intended motion, if that would cause a collision model between the motion of the manipulator is paused, the controller unit, the force feedback in the opposite direction of movement due to the command is fed back. 衝突検出アルゴリズムについては、当該技術においてよく知られており、衝突回避限界を決定するために、これらのアルゴリズムを使用することは、当業者には理解されるであろう。 The collision detection algorithms are well known in the art, to determine the collision avoidance limit, the use of these algorithms to those skilled in the art will appreciate. コントローラ装置にかけられるフィードバック力は、衝突回避限界により指令される距離に比例させてもよい。 Feedback force applied to the controller device may be proportional to a distance dictated by the collision avoidance limit. 物理的な構造とは関連しない、追加の除外限界をモデル化して、オペレータが入力してもよい。 Not associated with the physical structure, to model the additional exclusion limit may be input by the operator.

一部の態様においては、関節制限が衝突と同様な方法で取り扱われる。 In some embodiments, joint limits are handled by the collision and similar methods. 関節が、関節制限に対して指定された近傍の範囲に入ると、マニピュレータの動きが一時停止されて、コントローラ装置に対して指令による動きと反対の方向に力がフィードバックされる。 Joints, being within the scope of the vicinity specified for joint limits the movement of the manipulator is suspended, a force is fed back in the opposite direction to the motion commanded by the controller device. コントローラ装置にかけられるこのフィードバックの力は、指令された関節角度が限界を超えた分の角度に比例させてもよい。 Force feedback applied to the controller device, the commanded joint angle may be proportional to the extent of angle exceeding the limit.

実際のマニピュレータ位置が、指令された位置から逸脱するか、または遅れるときに、動きの逸脱(motion divergence)が発生する。 Actual manipulator position, when either departing from commanded position, or behind, motion divergence (motion divergence) occurs. このことは、指令による動きがマニピュレータのアクチュエータが処理するのに速すぎる場合、または何かがマニピュレータに押し当てられている場合に発生する可能性がある。 This means that if the motion due to the command is too fast for the actuator of the manipulator handles, or may something occurs if pressed against the manipulator. 一部の態様においては、指令された軌道と実際の軌道との間に逸脱が発生するときに、コントローラ装置に対して指令による動きに対して反対の方向に力がフィードバックされる。 In some embodiments, when the deviation between the actual trajectory and the commanded trajectory is generated, a force in the direction opposite to the movement due to the command to the controller device is fed back. コントローラ装置にかけられるフィードバック力は、逸脱誤差に比例させてもよい。 Feedback force applied to the controller device may be proportional to deviation error.
一部の態様においては、コントローラ装置に対してかけられるフォースフィードバックは、仮想衝突、関節制限、および動き逸脱源に基づく。 In some embodiments, force feedback exerted to the controller device, a virtual collision, joint limits, and based on motion departing source. それぞれの仮想フォースフィードバック源は、スケーリングして、次いで合計するか、または合計した力をスケーリングしてもよい。 Each virtual force feedback source is scaled, may then be scaled sum to or total force. 制御システムは、非ゼロ値だけを監視し、合計するように構成してもよい。 The control system monitors only non-zero value, may be configured so that the total for.

図12は、測定によるツール先端力を提供することのできる医療用ロボットアームの一部を示す図である。 Figure 12 is a diagram showing a part of a medical robotic arm capable of providing a tool tip force by the measurement. ツール先端力901がツール400に作用し、その結果として、第1のセンサ120および第2のセンサ122によって測定可能な力が生じる。 Tool tip force 901 acts on the tool 400, as a result, measurable force caused by the first sensor 120 and second sensor 122. ツール400は、第1のツール保持具150および第2のツール保持具152によって保持されおり、これらの保持具は、第1のセンサ120および第2のセンサ122にそれぞれ結合されている。 Tool 400 is held by the first tool holder 150 and the second tool holder 152, these holders are respectively coupled to the first sensor 120 and second sensor 122. 第1のセンサ120および第2のセンサ122は、エンドエフェクタ110に装着されている。 The first sensor 120 and second sensor 122 is mounted to the end effector 110. また、フレキシブル連結器130がエンドエフェクタ110に結合されて、エンドエフェクタツール作動歯車140を介してツール400の作動が可能になる。 The flexible coupling 130 is coupled to the end effector 110, allowing actuation of the tool 400 through the end effector tool operating wheel 140. しかしながら、フレキシブル連結器130は、その中心軸の回りの回転を除いて、すべての方向に順応するように設計されており、したがって、ツール先端力901のいかなる成分をも、エンドエフェクタ110に伝達しない。 However, the flexible coupling 130, with the exception of the rotation about the center axis thereof, all are designed to adapt the direction, therefore, the any component of the tool tip force 901 does not transmit to the end effector 110 . したがって、ツール先端力901の全体が、第1のセンサ120および第2のセンサ122を介して作用する力によってバランスされ、ツール先端力901の計算は、第1のセンサ120および第2のセンサ122により測定される値から行うことができる。 Therefore, the entire tool tip force 901 is balanced by forces acting through the first sensor 120 and second sensor 122, the calculation of the tool tip force 901, the first sensor 120 and second sensor 122 it can be carried out from the value measured by.

図13は、分解組立図で示された、図2に示す構成要素を表わす。 13 is shown in exploded view, it represents the components shown in FIG. ある態様においては、第1のセンサ120および第2のセンサ122は、それぞれが円筒状センサ内部に複数のシリコン歪ゲージを使用する、6軸センサである。 In some embodiments, the first sensor 120 and second sensor 122, each of which uses a plurality of silicon strain gauges inside the cylindrical sensor, a 6-axis sensor. 第1のセンサ120および第2のセンサ122は市販の力センサとしてもよいが、磁気共鳴映像法(MRI)環境との整合性のために、利用可能な候補が制限されたり、修正を必要とすることがある。 The first sensor 120 and second sensor 122 may be a commercially available force sensors, but for consistency with the magnetic resonance imaging (MRI) environment, or is limited candidates available, require modification sometimes. 測定による力のフィードバックを組み込んだ医療用ロボットアームの一部の態様においては、第1のセンサ120および第2のセンサ122は、強磁性体をチタンで置き換えることによってMR対応にした、ATIインダストリアルオートメーション(ATI Industrial Automation)社の、Nano17力/トルクセンサの修正版である。 In some embodiments of the medical robotic arm incorporating force feedback by measuring, the first sensor 120 and second sensor 122, and the ferromagnetic body in the MR response by replacing titanium, ATI Industrial Automation of (ATI Industrial Automation) Ltd., which is a modified version of Nano17 force / torque sensor.

一部の態様における測定による力の測定と処理は以下のとおりである。 Measurement and processing of force by measurement of some aspects are as follows.
各力センサは電気信号を出力し、この電気信号は各センサに固有の較正マトリックスを通され、最終出力は、各センサに対する6軸の力およびトルクである。 Each force sensor outputs an electrical signal, the electrical signal is passed through a specific calibration matrix to each sensor, the final output is a force and torque six-axis for each sensor. 次いで、2つの力センサ出力の座標方位が、X/Y/Z軸の力が各センサに対して同じ方向を表わすように整列される。 Then, coordinates the orientation of the two force sensor output, the power of X / Y / Z-axis is aligned to represent the same direction with respect to each sensor. コントローラ装置がユーザに対してトルクをフィードバックしない場合には、トルクは無視される。 Controller device when no feedback torque to the user, the torque is ignored. 次いで、2つのセンサからの力が、合計実際力を計算するために合計され、この合計実際力はバイアス力、ツールおよび保持具の重力、ツール作動力、およびツール先端力の組合せである。 Then, the force from the two sensors are summed to calculate the total actual power, the total actual force biasing force, gravity tool and retainer, tool actuation force, and a combination of tool tip forces. これらの力は、以下のように取り扱われる。 These forces are handled as follows.

センサにおける(時間経過に対する)ドリフトが原因で、バイアス力が存在することがあり、新規のツールを走査した後に消去してもよい。 Causes drift (over time) in the sensor, there is a bias force is present, it may be deleted after scanning the new tool. (ツール交換後に)スタイラスが使用可能にされると、力センサからの力が読み取られて、ゼロに設定される。 When (after tool replacement) stylus is enabled, the force from the force sensor is read and set to zero. ツールが方位を変えない場合には、これによって、重力による力も消去されるが、方位の変化にともなって、ツール/保持具にかかる重力による力の成分(X/Y/Z)が変化して、有害なフォースフィードバックを生じさせることになる。 If the tool does not change the orientation, thereby, the force due to gravity is also erased, with the change in orientation component of the force due to gravity, according to the tool / holder (X / Y / Z) are changed , it will cause a harmful force feedback. これを避けるために、重力補償が用いられる。 To avoid this, gravity compensation is used. 初期位置においては、重力による力は、(例えば初期化ファイルからの)ツールの質量と、(ロボットキネマティクスからの)ツールの方位とから既知である。 In the initial position, the force due to gravity is known from (for example, from the initialization file) and the mass of the tool, the orientation (from the robot kinematics) tool. 方位が変化するにつれて、計算された重力ベクトルにおける変化を、検知された力に単純に加えて、重力による力が消去される。 As the orientation changes, the change in the calculated gravity vector, simply added to the force sensed, the force due to gravity is erased.

(初期化ファイルからの)質量と、(ロボットキネマティクスから)ツールおよび保持具の方位を知ることによって、それらの重力の力が数学的に計算されて消去され、ユーザがツール/保持具の重量を感じないようになり、それによって疲労が最小化されるとともにツール先端力の知覚が最大化される。 And mass (from the initialization file), by knowing the orientation of the (robots kinematics) tool and holder, the force of their gravity erased is calculated mathematically, the weight of the user tool / holder now I do not feel, that by the perception of the tool tip force with fatigue is minimized is maximized.

本発明の方法の態様は、任意好適なコンピュータ可読媒体(例えば、実体的なコンピュータ可読媒体(tangible computer readable media))に記憶されるソフトウエアとしてコーディングしてもよく、それらの媒体としては、それに限定はされないが、ハードドライブ媒体、光学媒体、RAM、SRAM、DRAM、SDRAM、ROM、EPROM、EEPROM、テープ媒体、カートリッジ媒体、フラッシュメモリ、メモリスティック、および/またはその他を含む、任意好適な形態のメモリまたはデータ記憶装置がある。 Embodiment of the process of the present invention, any suitable computer-readable media (e.g., tangible computer-readable medium (tangible computer readable media)) to may be coded as software that is stored, as their medium, it but it is not limited to, a hard drive media, optical media, RAM, SRAM, DRAM, SDRAM, ROM, EPROM, EEPROM, tape media, cartridge media, flash memory, memory sticks, and / or other, any suitable form of there is a memory or data storage device. 実体的なコンピュータ可読媒体としては、情報を記憶または転送することのできる、任意の物理的媒体があげられる。 The tangible computer-readable media capable of storing or transferring information, any physical medium can be mentioned. そのような態様は、あるステップ(複数を含む)を実行するためのコンピュータ実行可能な(例えばマシン可読の)命令を有する(または命令がコーディングされている)、実体的なコンピュータ可読媒体として特徴づけられる。 Such embodiments are characterized as in steps (a plurality of containing) available computer executable for executing (e.g. machine-readable) having instructions (or instruction is coded), tangible computer readable medium It is.

「実体的なコンピュータ可読媒体」という用語は、搬送波などの無線伝送媒体を含まない。 The term "tangible computer-readable medium" does not include wireless transmission media such as carrier waves. しかしながら、「コンピュータ可読媒体」の用語は、無線伝送媒体をその範囲に含み、本発明の方法の一部の態様には、上述のコンピュータ可読命令を搬送する無線伝送媒体を含めてもよい。 However, the term "computer-readable medium" includes a wireless transmission medium to the range, to some aspects of the method of the present invention may include a wireless transmission medium carrying computer readable instructions above. ソフトウエアは、当該技術において知られている任意の技法によって書き込むことができる。 Software may be written by any technique known in the art. 例えば、ソフトウエアは、いずれか1つまたは2つ以上のコンピュータ言語(例えば、アッセンブリ(ASSEMBLY)、パスカル(PASCAL)、フォートラン(FORTRAN)、ベーシック(BASIC)、C、C++、C#、JAVA(登録商標)、Perl、Python)によるか、またはそれに限定はされないが、Matlab(登録商標)、R、S−plus(登録商標)、およびSAS(登録商標)などの科学パッケージを使用して書き込むことができる。 For example, the software, any one or more computer languages ​​(e.g., assembly (ASSEMBLY), Pascal (PASCAL), Fortran (FORTRAN), Basic (BASIC), C, C ++, C #, JAVA (registered trademark), Perl, either by Python), or but is not limited to, Matlab (R), R, be written using S-plus (registered trademark), and scientific packages such as SAS (R) it can. コードは、それを共通プラットフォーム(例えば、Microsoft(登録商標)、Linux(登録商標)、Apple Macintosh(登録商標)OS X、Unix(登録商標))にコンパイルさせるためのものであってもよい。 Code, it a common platform (e.g., Microsoft (R), Linux (registered trademark), Apple Macintosh (registered trademark) OS X, Unix (registered trademark)) may be for to compile.

OpenGL(登録商標)などのよく確立されたプラットフォーム間ライブラリを利用して、本発明の方法、装置およびシステムを実行してもよい。 OpenGL using the (R) well-established cross-platform libraries such, the method of the present invention may perform the devices and systems. 現代のシングルプロセッサおよびマルチプロセッサベースのハードウエアプラットフォーム上で、計算時間を低減するために、適用可能な場合にはいつでも、マルチスレッディングを使用してもよい。 On modern single-processor and multi-processor-based hardware platform, in order to reduce the computation time, any time if applicable, may be used multithreading. 上記で考察し、図に示したように、ソフトウエアには、ソフトウエアを実行するときにユーザにより直感的な感覚を提供することのできる、GUIを含めてもよい。 Discussed above, as shown in FIG., The software is able to provide an intuitive feeling by the user when performing the software may be included GUI. スクリーンタッチ、マウスおよび/またはキーボードによって異なるフィールドにアクセスしてもよい。 Screen touch, may access different fields with a mouse and / or keyboard. ポップアップウィンドウ、音響アラート、または当該技術において知れられている任意その他の技法を介して、アラーム、キュー、その他を行ってもよい。 Pop-up window, through any other technique which is know in the acoustic alert or the art, alarm, queues, others may be performed.

上記の章で説明したステップの一部(全部までを含む)を、ファームウエアおよび/または実行ソフトウエアでプログラミングされた、プロセッサ(例えば、1つまたは2つ以上の集積回路)を有するコンピュータを使用して実施してもよい。 Some of the steps described in the above chapter (including up to all), programmed with firmware and / or executing software using a computer having a processor (e.g., one or more integrated circuits) it may also be carried out. 上記の章で説明したステップの一部(全部までを含む)を、コンピュータシステムの一例(例えば制御システム)である、分散コンピューティング環境を使用して実施してもよい。 Some of the steps described in the above chapter (including up to all), which is an example of a computer system (e.g., control system), may be implemented using a distributed computing environment. 分散コンピューティング環境においては、任意好適な数の接続媒体(例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、またはそれには限定されないが、Ethernet(登録商標)、企業内コンピュータネットワーク、イントラネットおよびインターネットを含むその他コンピュータネットワーク)によって接続されたものなど、複数のコンピュータを使用してもよく、コンピュータ間の接続は有線または無線とすることができる。 In a distributed computing environment, any suitable number of connection media (e.g., a local area network (LAN), a wide area network (WAN), or it is not limited to, Ethernet (registered trademark), enterprise-wide computer networks, intranets and such as those connected by other computer network) including the Internet, may use multiple computers, connections between computers may be wired or wireless.

サーバーおよびユーザ端末は、任意のコンピュータシステムの一部とすることができる。 Server and the user terminal may be part of any computer system. さらに、好適なコンピュータシステムの態様は、特定用途向け集積回路(ASIC)または大規模集積(VLSI)回路上に実装してもよく、またさらに(あるいは代替的に)、リソースの仮想化、仮想コンピューティング、および/またはクラウドコンピューティング(cloud computing)を使用して指定された機能を達成するように構成してもよい。 Moreover, a preferred aspect of the computer system may be implemented on an application specific integrated circuit (ASIC) or large scale integrated (VLSI) circuits, or even (or alternatively), resource virtualization, virtual computing Ingu, and / or it may be configured to achieve a specified function using the cloud computing (cloud computing). 実際に、当業者であれば、本開示と整合性のあるコンピュータシステムにおいて上述した機能を達成するために、論理演算を実行することのできる任意の数の好適な構造を利用することができる。 Indeed, those skilled in the art to achieve the functionality described above in this disclosure with Consistent computer system can utilize a structure suitable for any number capable of performing logical operations.

よく知られた処理技法、構成要素および機器の説明は、不必要な詳細さにおいて、本発明の方法、装置およびシステムを不必要に曖昧にしないように、省略されている。 Well-known processing techniques, the description of the components and equipment, in unnecessary detail, the method of the present invention, not to an apparatus and system to unnecessarily obscure are omitted. 本発明の方法、装置およびシステムの説明は、例示的であり、限定的ではない。 The method of the present invention, apparatus and system description is illustrative, not limiting. 請求の範囲に含まれるが、本明細書に明白に記載されていない、ある種の置換、修正、追加および/または再配設が、この開示に基づいて、当業者には明白になる。 Are included in the scope of the claims, it is not explicitly described herein, certain substitutions, modifications, additions and / or re-arrangement, based on this disclosure, become apparent to those skilled in the art. さらに、実動する態様の開発においては、開発者の特定の目的を達成するために、実装毎に変わる、システム関連またはビジネス関連の制約への準拠などの、多数の実装固有の決定を行わなければならないことが、理解されるであろう。 Further, in the development of aspects of production, in order to achieve the developers' specific goals, vary from implementation, such as compliance with system-related and business-related constraints, be made a number of implementation specific decisions that there is no Banara is, it will be understood. そのような開発努力は複雑で時間がかかるが、それでも、本開示の利益を有する当業者には、定型的な業務であろう。 Such a development effort is complicated and time consuming, but still, to those skilled in the art having the benefit of this disclosure will routine operations.

添付の特許請求の範囲は、所与の請求項に「means for」および/または「step for」の語句(複数を含む)を用いて、ミーンズ・プラス・ファンクション(means-plus- function)の限定が明示的に記載されない限り、そのような限定を含むものとは解釈すべきではない。 The appended claims, with reference to the phrase "means clustering for" and / or "step for" is given claim (s), limiting means-plus-function (means clustering-plus- function) unless but not explicitly described, it should not be construed as including such limitation.

Claims (19)

  1. 医療用ロボットシステムのロボットアーム(100)の動きを制御するための方法であって、該ロボットアームはツール(400)に動作可能に関連しており、前記医療用ロボットシステムは: A method for controlling the movement of the robot arm (100) of the medical robotic system, the robotic arm is operatively associated to the tool (400), the medical robotic system:
    少なくとも1つのロボットアームを有するオペレータ制御下の医療用ロボット、 At least one operator control of a medical robot having a robot arm,
    前記ツールの画像を提供するように構成されるカメラ(21)、および、 Camera configured to provide an image of said tool (21), and,
    前記カメラに対して固定された方位を有する基準構造(200)を含み、 Includes a reference structure (200) having a fixed orientation relative to the camera,
    前記方法は: Said method comprising the steps of:
    a. a. ツールの所望の動きを表わす、コントローラ装置(300)からの入力値を受け取ること、但し、前記入力値はコントローラ装置座標系(350)で表わされる; Representing the desired movement of the tool, to receive the input values from the controller device (300), however, the input value is represented in the controller device coordinate system (350);
    b. b. 前記入力値に基づいて、前記ツールの計算による動きを決定すること、但し、前記計算による動きは、ツール(400)の軸(460)と固定関係に配向された第1軸(260)、および、前記第1軸に直角に配向された第2軸を含む、観測者座標系で表わされ、前記基準構造に関連して決定される直角座標系(210)のXおよびY軸で決定される平面への前記第2軸の投影が、X軸と平行であり、かつそれと同一方向を指すように整列され; Based on the input values, determining the movement by calculations of the tool, however, the movement by the calculation first axis (260) oriented with a fixed relationship axis (460) of the tool (400), and includes a second axis which is oriented perpendicular to the first axis, represented by observer coordinate system, is determined by the X and Y axes of the reference structure in the associated rectangular coordinate system that is determined (210) that the projection of the second axis to the plane is parallel to the X axis, and aligned therewith to point in the same direction;
    c. c. 前記計算による動きおよびロボットアームの位置に基づいて、ロボットアームの指令による動きを決定すること;および Based on the position of the motion and the robot arm by the calculation, it determines the movement by command of the robot arm; and
    d. d. 前記指令による動きに応じて、前記ロボットアームを動かす操作信号を出力すること、 In response to movement by said command, it outputs an operation signal for moving the robot arm,
    を含む。 including.
  2. 入力値を、入力絶対値と入力方向を有する入力ベクトルとしてコントローラ装置座標系で表わすことが可能であり; An input value, it is possible to represent in the controller device coordinate system as an input vector having the input direction and the input absolute value;
    計算による動きを、計算による動きの絶対値と計算による動きの方向とを有する、計算による動きのベクトルとして観測者座標系で表わすことが可能であり;かつ The movement by calculations, and a movement magnitude of the motion by calculation and by calculation, it is possible to represent by observer coordinate system as the motion vector by calculating; and
    前記計算による動きの方向は前記入力方向に等しい、請求項1に記載の方法。 The movement by calculations is equal to the input direction, the method according to claim 1.
  3. 観測者座標系で表わされ、仮想力値に基づく、計算による観測者力値を決定すること;および Represented by observer coordinate system, it is determined based on the virtual force value, the the calculated observer force value; and
    前記計算による観測者力値に応じて、コントローラ装置にフィードバック信号を出力すること Depending on the observer force value by the computation, to output a feedback signal to the controller device
    をさらに含む、 Further including,
    請求項1または2に記載の方法。 The method according to claim 1 or 2.
  4. 観測者座標系で表わされ、ロボット用アームからの測定による力値に基づく、計算による観測者力値を決定すること;および Represented by observer coordinate system, it is based on the force levels of the measurement from the arm robot, to determine the calculated observer force value; and
    前記計算による観測者力値に応じて、コントローラ装置にフィードバック信号を出力すること Depending on the observer force value by the computation, to output a feedback signal to the controller device
    をさらに含む、請求項1または2に記載の方法。 Further comprising the method of claim 1 or 2.
  5. 前記測定による力値は、前記ロボットアーム上の場所において測定された力を表わし、センサ座標系で表わされており、計算による観測者力値の決定は、前記測定による力値と前記ロボットアームの位置とに基づく、請求項4に記載の方法。 Force value by the measurement represents the measured force at the location on the robot arm, are represented by the sensor coordinate system, the determination of the calculated observer force value, the robot arm and the force value by the measurement based on the position, the method of claim 4.
  6. 計算による観測者力値も仮想力値に基づいている、請求項4または5に記載の方法。 The calculated observer force value is also based on the virtual force value, the method according to claim 4 or 5.
  7. 仮想力値の計算が、1つまたは2つ以上の計算による仮想衝突、1つまたは2つ以上の関節制限、動きの逸脱、またはこれらの組み合わせを使用することを含む、請求項3または6に記載の方法。 Calculation of the virtual force value virtual collisions one or more calculations, one or more joint limits comprises using motion divergence, or combinations thereof, to claim 3 or 6 the method described.
  8. 医療用ロボットが2つのロボットアーム(100、101)を含み、それぞれがツール(400、401)に動作可能に関連しており、前記方法が、 Medical robot includes two robot arms (100, 101), and operatively associated respectively to the tool (400, 401), the method comprising:
    第2のツールの第2の所望の動きを表わす第2のコントローラ装置(301)からの第2の入力値を受け取ること、但し、前記第2の入力値は第2のコントローラ装置座標系(351)で表わされる; Receiving a second input value from the second controller (301) representing the second desired movement of the second tool, however, the second input value and the second controller device coordinate system (351 represented by);
    前記第2の入力値に基づいて、第2のツール(401)の第2の計算による動きを決定すること、但し、前記第2の計算による動きは、第2の観測者座標系(251)で表され、前記第2の観測者座標系は、前記第2のツール(401)の軸(460)と固定関係に配向された第1軸(260)、および、前記第1軸に直角に配向された第2軸を含む、観測者座標系で表わされ、前記基準構造に関連して決定される直角座標系(210)のXおよびY軸で決定される平面への前記第2軸の投影が、X軸と平行であり、かつそれと同一方向を指すように整列され; 前記第2の計算による動きおよび前記第2のロボットアームの位置に基づいて、前記第2のロボットアームの第2の指令による動きを決定すること;および Based on the second input values, determining a second motion by calculating the second tool (401), however, the second motion by calculation, the second observer coordinate system (251) in is represented, the second observer coordinate system, said second tool (401) of the shaft (460) and the first axis aligned at a fixed relationship (260), and, at right angles to the first axis It comprises a second shaft which is oriented, represented by observer coordinate system, the second axis to the plane determined by the X and Y axes of the rectangular coordinate system which is determined in relation to the reference structure (210) projection is a parallel to the X axis, and therewith aligned to point in the same direction; based on the position of the second movement by calculation and the second robot arm, the first of the second robot arm it determines the movement by the second instruction; and
    前記第2の指令による動きに応じて、前記第2のロボットアームを動かす第2の操作信号を出力すること、 In response to movement by said second command, outputting a second operation signal for moving the second robot arm,
    をさらに含む、請求項1〜7のいずれか一項に記載の方法。 Further comprising the method of any one of claims 1 to 7.
  9. 第2の観測者座標系で表わされ、第2の仮想力値に基づく、第2の計算による観測者力値を決定すること;および Represented by the second observer coordinate system, based on the second virtual force value, it determines the observer force value by the second calculation; and
    前記第2の計算による観測者力値に応じて、コントローラ装置に第2のフィードバック信号を出力すること Depending on the observer force value by the second calculation, outputting a second feedback signal to the controller device
    をさらに含む、請求項8に記載の方法。 Further comprising the method of claim 8.
  10. 第2の観測者座標系で表わされ、第2の医療用ロボットアームからの第2の測定による力値に基づく、第2の計算による観測者力値を決定すること;および Represented by the second observer coordinate system, based on the force value by the second measurement from the second medical robotic arm, it determines the observer force value by the second calculation; and
    前記第2の計算による観測者力値に応じて、コントローラ装置に第2のフィードバック信号を出力すること Depending on the observer force value by the second calculation, outputting a second feedback signal to the controller device
    をさらに含む、請求項8に記載の方法。 Further comprising the method of claim 8.
  11. 前記第2の測定による力値は、前記第2のロボットアーム上の場所において測定された力を表わし、センサ座標系で表わされて、前記第2の計算による観測者力値の決定は、前記第2の測定による力値と前記第2のロボットアームの位置とに基づく、請求項10に記載の方法。 It said second force levels of the measurement represents the measured force at the location on the second robot arm, represented by the sensor coordinate system, determined observer force value by the second calculation, based on the position of the second robot arm a force value by the second measuring method according to claim 10.
  12. 第2の計算による観測者力値も第2の仮想力値に基づいている、請求項10または11に記載の方法。 Also observer force value by the second calculation is based on the second virtual force value, The method of claim 10 or 11.
  13. 第2の仮想力値の計算が、1つまたは2つ以上の計算による仮想衝突、1つまたは2つ以上の関節制限、動きの逸脱、または、これらの組み合わせを使用することを含む、請求項9または12に記載の方法。 The calculation of the second virtual force value, virtual collisions one or more calculations, one or more joint limits, motion divergence, or involves the use of these combinations, claims the method according to 9 or 12.
  14. 観測者座標系が、第1の軸および第2の軸の両方に直角な第3の軸をさらに含む、請求項1に記載の方法。 Observer coordinate system further includes a third axis perpendicular to both the first and second axes, the method according to claim 1.
  15. コントローラ装置座標系が3つの直角な軸を含み、コントローラ装置から受け取る入力値がツールの計算による動きに直接マッピングされる、請求項14に記載の方法。 Controller device coordinate system includes three orthogonal axes, the input values received from the controller device is directly mapped to movement by calculations of tools, The method of claim 14.
  16. コントローラ装置座標系が3つの直角な軸を含み、観測者の視点から見たコントローラ装置座標系(350)のそれぞれの軸が、基準構造(200)の視点から見た観測者座標系(250)の対応する軸に同一に配向される、請求項14に記載の方法。 Controller device coordinate system includes three orthogonal axes, observer viewpoint from seeing controller device coordinate system (350) respective axes of observer coordinate system as viewed from the perspective of the reference structures (200) (250) corresponding are oriented in the same axially, the method of claim 14.
  17. 請求項1〜16のいずれか一項に記載の方法を実行するための機械可読命令を含む、コンピュータ可読媒体。 Any of claims 1 to 16 comprising machine readable instructions for performing a method according to one item, a computer-readable medium.
  18. 医療用ロボットシステムの少なくとも1つのロボットアーム(100、101)の動きを制御するように構成された制御システムであって、該ロボットアームはツール(400、401)に動作可能に関連しており、前記医療用ロボットシステムは: A control system configured to control at least one of movement of the robotic arm (100, 101) of the medical robotic system, the robotic arm is operatively associated to the tool (400, 401), the medical robot system:
    少なくとも1つのロボットアームを有するオペレータ制御下の医療用ロボット、 At least one operator control of a medical robot having a robot arm,
    前記ツールの画像を提供するように構成されるカメラ(21)、および、 Camera configured to provide an image of said tool (21), and,
    前記カメラに対して固定された方位を有する基準構造(200)を含み、 Includes a reference structure (200) having a fixed orientation relative to the camera,
    前記制御システムは: The control system:
    前記医療用ロボットに動作可能に関連するコンピュータ機器であって、前記コンピュータ機器は、請求項1〜16のいずれか一項に記載の方法を実装するように構成され、および、 A computer device operatively associated with the medical robot, the computing device is configured to implement a method according to any one of claims 1 to 16, and,
    前記コンピュータ機器に動作可能に関連し、ロボットアームの所望の動きの入力を受け取るように構成された、少なくとも1つのコントローラ装置(300、301)、 Operatively associated with said computer device, which is configured to receive input of a desired motion of the robot arm, at least one controller device (300, 301),
    を含む。 including.
  19. ツールの画像を表示するように構成された視界装置(22)をさらに含む、請求項18に記載の制御システム。 Further comprising configured sight device to display an image of the tool (22), the control system according to claim 18.
JP2010503625A 2007-04-16 2008-04-16 The method of frame mapping and force feedback, devices and systems Active JP5444209B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US91214407P true 2007-04-16 2007-04-16
US60/912,144 2007-04-16
PCT/IB2008/003363 WO2009034477A2 (en) 2007-04-16 2008-04-16 Frame mapping and force feedback methods, devices and systems

Publications (2)

Publication Number Publication Date
JP2010524548A JP2010524548A (en) 2010-07-22
JP5444209B2 true JP5444209B2 (en) 2014-03-19

Family

ID=40452631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010503625A Active JP5444209B2 (en) 2007-04-16 2008-04-16 The method of frame mapping and force feedback, devices and systems

Country Status (6)

Country Link
US (2) US8554368B2 (en)
EP (1) EP2148629B1 (en)
JP (1) JP5444209B2 (en)
CA (1) CA2684475C (en)
IL (1) IL201558D0 (en)
WO (1) WO2009034477A2 (en)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
CN104688349B (en) 2006-06-13 2017-05-10 直观外科手术操作公司 Minimally invasive surgery system
US9469034B2 (en) * 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
DE102008047575B4 (en) * 2008-09-17 2012-09-27 Leica Biosystems Nussloch Gmbh Device for handling at least one slide
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US8465476B2 (en) 2009-09-23 2013-06-18 Intuitive Surgical Operations, Inc. Cannula mounting fixture
US8888789B2 (en) 2009-09-23 2014-11-18 Intuitive Surgical Operations, Inc. Curved cannula surgical system control
KR101948703B1 (en) * 2009-11-13 2019-02-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Curved cannula and robotic manipulator
US20110071541A1 (en) 2009-09-23 2011-03-24 Intuitive Surgical, Inc. Curved cannula
US8623028B2 (en) 2009-09-23 2014-01-07 Intuitive Surgical Operations, Inc. Surgical port feature
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
JP5032716B2 (en) * 2010-08-31 2012-09-26 パナソニック株式会社 Control apparatus and a control method of a master slave robot, and a control program
US9921712B2 (en) 2010-12-29 2018-03-20 Mako Surgical Corp. System and method for providing substantially stable control of a surgical tool
US8918214B2 (en) * 2011-01-19 2014-12-23 Harris Corporation Telematic interface with directional translation
JP2012171088A (en) * 2011-02-24 2012-09-10 Olympus Corp Master operation input device, and master-slave manipulator
WO2013018861A1 (en) 2011-08-04 2013-02-07 オリンパス株式会社 Medical manipulator and method for controlling same
JP6021484B2 (en) 2011-08-04 2016-11-09 オリンパス株式会社 Medical manipulator
JP5841451B2 (en) 2011-08-04 2016-01-13 オリンパス株式会社 Surgical instruments and a method of controlling the same
EP2740435B8 (en) 2011-08-04 2018-12-19 Olympus Corporation Surgical support apparatus
JP6081061B2 (en) 2011-08-04 2017-02-15 オリンパス株式会社 Surgery support apparatus
JP6005950B2 (en) * 2011-08-04 2016-10-12 オリンパス株式会社 Surgery support apparatus and a method of controlling the same
JP5936914B2 (en) 2011-08-04 2016-06-22 オリンパス株式会社 An operation input device and a manipulator system including the same
JP6000641B2 (en) 2011-08-04 2016-10-05 オリンパス株式会社 Manipulator system
JP5953058B2 (en) 2011-08-04 2016-07-13 オリンパス株式会社 Surgery support device and its attachment and detachment method
EP2740433B1 (en) 2011-08-04 2016-04-27 Olympus Corporation Surgical implement and medical treatment manipulator
JP6009840B2 (en) 2011-08-04 2016-10-19 オリンパス株式会社 Medical equipment
JP5931497B2 (en) 2011-08-04 2016-06-08 オリンパス株式会社 Surgery support apparatus and method of assembly
JP6021353B2 (en) 2011-08-04 2016-11-09 オリンパス株式会社 Surgery support apparatus
JP5893330B2 (en) * 2011-10-18 2016-03-23 オリンパス株式会社 Initialization method of the operation input device and the operation input device
EP2810018A4 (en) * 2012-01-30 2015-12-30 Google Inc Apparatus and method for acquiring underwater images
WO2013150599A1 (en) * 2012-04-02 2013-10-10 株式会社安川電機 Robot system and work facility
US9226796B2 (en) 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
CN107198567A (en) 2012-08-03 2017-09-26 史赛克公司 Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9119655B2 (en) * 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9884426B2 (en) * 2013-06-27 2018-02-06 De-Sta-Co Europe Gmbh Boom utilized in a geometric end effector system
US9289265B2 (en) * 2013-07-10 2016-03-22 The Johns Hopkins University MRI-compatible, integrated force and torque sensors and systems that incorporate the sensors
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
EP3120979A4 (en) * 2014-03-14 2017-11-08 Sony Corporation Robot arm device, robot arm control method and program
CN104546144B (en) * 2015-01-22 2016-09-14 中国科学院重庆绿色智能技术研究院 A switchable feedback seven DOF remote manipulators
US9962833B2 (en) * 2015-04-07 2018-05-08 Mtm Robotics, Llc System and method for adjusting end-effector actuation based on relative position with respect to gravitational force
US20180132956A1 (en) * 2015-05-01 2018-05-17 Titan Medical Inc. Instrument collision detection and feedback
DE102015109371A1 (en) * 2015-06-12 2016-12-15 avateramedical GmBH Apparatus and method for robotic surgery
US9833907B1 (en) * 2015-06-22 2017-12-05 X Development Llc Proximity-based binding
US10220516B2 (en) 2015-10-06 2019-03-05 Mtm Robotics, Llc System and method for self-contained independently controlled modular manufacturing tools
US10252421B2 (en) 2015-10-06 2019-04-09 Mtm Robotics Llc Self-contained modular manufacturing tool
CN105476713B (en) * 2015-12-28 2017-12-26 苏州点合医疗科技有限公司 Based on the relief shoe telescopic anti-wrap minimally invasive orthopedic surgical robotic manipulator decompression
KR20180109855A (en) * 2016-02-26 2018-10-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 Collision avoidance system and method using virtual boundary
KR20190018616A (en) * 2016-07-14 2019-02-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 System and method for controlling a surgical instrument
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US10299870B2 (en) 2017-06-28 2019-05-28 Auris Health, Inc. Instrument insertion compensation
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4725965A (en) * 1986-07-23 1988-02-16 American Telephone And Telegraph Company Method for calibrating a SCARA robot
US4831549A (en) * 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
US4843287A (en) * 1987-12-31 1989-06-27 Westinghouse Electric Corp. Path contriving system for look-ahead sensor in a robotic control system
US4833381A (en) * 1987-12-31 1989-05-23 Westinghouse Electric Corp. Optical automatic seam tracker and real time control system for an industrial robot
JP2770982B2 (en) * 1989-05-25 1998-07-02 株式会社豊田中央研究所 Cooperative control system of the position and force of Manipiyureta
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
US6364888B1 (en) 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
JPH05282029A (en) * 1992-04-02 1993-10-29 Fanuc Ltd Tool coordinate definition system
US5524180A (en) * 1992-08-10 1996-06-04 Computer Motion, Inc. Automated endoscope system for optimal positioning
FR2709656B1 (en) 1993-09-07 1995-12-01 Deemed Int Sa Installation for microsurgical operation desktop and processes involved Óoeuvre by said installation.
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5542180A (en) * 1994-02-03 1996-08-06 Npk Construction Equipment, Inc. Heavy duty shear with anti-jam feature
JP3540362B2 (en) * 1994-06-14 2004-07-07 オリンパス株式会社 Control system and control method thereof of the surgical manipulator
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US6810281B2 (en) * 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US6053808A (en) 1999-07-26 2000-04-25 3Com Corporation Exhaust vent for an electronic chassis
AU4323701A (en) 2000-02-25 2001-09-03 Univ Leland Stanford Junior Methods and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
US6898484B2 (en) * 2002-05-01 2005-05-24 Dorothy Lemelson Robotic manufacturing and assembly with relative radio positioning using radio based location determination
EP2070487B1 (en) 2002-08-13 2014-03-05 NeuroArm Surgical, Ltd. Microsurgical robot system
EP1633534B1 (en) * 2003-04-28 2018-09-12 Nikon Metrology NV Cmm arm with exoskeleton
US6822412B1 (en) * 2003-06-11 2004-11-23 Zhongxue Gan Method for calibrating and programming of a robot application
US20060258938A1 (en) * 2005-05-16 2006-11-16 Intuitive Surgical Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
JP4999012B2 (en) * 2005-06-06 2012-08-15 インチュイティブ サージカル,インコーポレイテッド Laparoscopic ultrasound robotic surgical system
GB2428110A (en) * 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
US20070106307A1 (en) * 2005-09-30 2007-05-10 Restoration Robotics, Inc. Methods for implanting follicular units using an automated system
US7962192B2 (en) * 2005-09-30 2011-06-14 Restoration Robotics, Inc. Systems and methods for aligning a tool with a desired location or object
KR101320379B1 (en) * 2005-10-20 2013-10-22 인튜어티브 서지컬 인코포레이티드 Auxiliary image display and manipulation on a computer display in a medical robotic system
US20070129626A1 (en) 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20080027580A1 (en) * 2006-07-28 2008-01-31 Hui Zhang Robot programming method and apparatus with both vision and force
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8473031B2 (en) * 2007-12-26 2013-06-25 Intuitive Surgical Operations, Inc. Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
US20100331856A1 (en) * 2008-12-12 2010-12-30 Hansen Medical Inc. Multiple flexible and steerable elongate instruments for minimally invasive operations

Also Published As

Publication number Publication date
US9044257B2 (en) 2015-06-02
US20140142593A1 (en) 2014-05-22
IL201558D0 (en) 2010-05-31
EP2148629A4 (en) 2011-03-09
CA2684475C (en) 2016-01-12
EP2148629A2 (en) 2010-02-03
WO2009034477A3 (en) 2010-02-04
WO2009034477A2 (en) 2009-03-19
CA2684475A1 (en) 2009-03-19
US8554368B2 (en) 2013-10-08
JP2010524548A (en) 2010-07-22
EP2148629B1 (en) 2012-06-06
US20110160745A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
Çavuşoğlu et al. A critical study of the mechanical and electrical properties of the phantom haptic interface and improvements for highperformance control
JP4898836B2 (en) Haptic apparatus and method for rendering
US8792963B2 (en) Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information
US7683565B2 (en) Method and apparatus for controlling a haptic device
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9579164B2 (en) Ratcheting for master alignment of a teleoperated minimally invasive surgical instrument
Casadio et al. Braccio di Ferro: a new haptic workstation for neuromotor rehabilitation
US7242818B2 (en) Position and orientation sensing with a projector
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8706301B2 (en) Obtaining force information in a minimally invasive surgical procedure
Azuma et al. Improving static and dynamic registration in an optical see-through HMD
US20070142968A1 (en) Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
Asfour et al. The karlsruhe humanoid head
US9176584B2 (en) Method, apparatus, and article for force feedback based on tension control and tracking through cables
JP5904676B2 (en) The apparatus and method of the robust calibration between a machine vision system and robot
US7859540B2 (en) Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
US20070162164A1 (en) Reconstruction, Retargetting, Tracking, And Estimation Of Pose Of Articulated Systems
Gielen et al. Arm position constraints during pointing and reaching in 3-D space
JP3944019B2 (en) Information processing apparatus and method
Yip et al. Model-less feedback control of continuum manipulators in constrained environments
EP2687184B1 (en) Computer implemented method and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US9727963B2 (en) Navigation of tubular networks
Borst et al. Realistic virtual grasping
Rucker et al. A geometrically exact model for externally loaded concentric-tube continuum robots
JP6293777B2 (en) Collision avoidance between the controlled motion of the image capture device and a steerable device movable arm

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130311

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250