JP5704833B2 - 操作入力装置およびマニピュレータシステム - Google Patents

操作入力装置およびマニピュレータシステム Download PDF

Info

Publication number
JP5704833B2
JP5704833B2 JP2010108344A JP2010108344A JP5704833B2 JP 5704833 B2 JP5704833 B2 JP 5704833B2 JP 2010108344 A JP2010108344 A JP 2010108344A JP 2010108344 A JP2010108344 A JP 2010108344A JP 5704833 B2 JP5704833 B2 JP 5704833B2
Authority
JP
Japan
Prior art keywords
unit
display
input device
operation input
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010108344A
Other languages
English (en)
Other versions
JP2011237987A (ja
Inventor
量平 小川
量平 小川
岸　宏亮
宏亮 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010108344A priority Critical patent/JP5704833B2/ja
Priority to CN201180021874.XA priority patent/CN102869310B/zh
Priority to EP11780422.9A priority patent/EP2570890A4/en
Priority to PCT/JP2011/055050 priority patent/WO2011142165A1/ja
Publication of JP2011237987A publication Critical patent/JP2011237987A/ja
Priority to US13/669,801 priority patent/US9361818B2/en
Application granted granted Critical
Publication of JP5704833B2 publication Critical patent/JP5704833B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、操作入力装置およびマニピュレータシステムに関するものである。
従来、ディスプレイおよび操作部の位置検出を行うセンサを天井に設けた仮想体験型ゲーム装置が知られている（例えば、特許文献１参照。）。
特開２０００−１２６４６２号公報
しかしながら、天井に設けた空間センサによりディスプレイや操作部の位置および姿勢検出を行う方法では、天井とディスプレイや操作部との間に障害物のない専用の部屋では適用できるが、照明装置や計器等の設備が存在して障害物となる手術室では適用することが困難であり、可動範囲が制限されてしまうという不都合がある。また、従来技術の方法では、それぞれの座標系を有するディスプレイや操作部の位置や姿勢情報を、天井に固定された空間センサによって取得することによりディスプレイと操作部それぞれの空間センサ座標系における位置・姿勢情報から、ディスプレイと操作部の相対位置関係を取得するので、座標変換の演算が複雑で時間がかかるという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、簡易な構成で操作部の可動範囲が制限されてしまうのを防止することができる操作入力装置およびマニピュレータシステムを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、観察装置によって取得されたマニピュレータの映像を表示するディスプレイと、該ディスプレイ上に表示された前記マニピュレータを操作する操作部と、操作者の頭部に装着される頭部装着部と、該頭部装着部または前記操作部の一方に設けられ、前記頭部装着部または前記操作部の一方に対する他方の相対位置および相対姿勢を検出する相対位置センサと、該相対位置センサにより検出された相対位置および相対姿勢の変化に基づいて、前記観察装置および前記ディスプレイ内に表示されている前記マニピュレータを作動させる制御部とを備える操作入力装置を提供する。
本発明によれば、頭部装着部を頭部に装着した操作者がディスプレイに表示されている標示物を見ながら、操作部を操作すると、相対位置センサにより頭部装着部または操作部の一方に対する他方の相対位置および相対姿勢が検出され、制御部により、検出された相対位置および相対姿勢の変化に基づいてディスプレイ内に表示されている表示物が作動される。操作者の頭部に装着した頭部装着部と、同一の操作者が操作する操作部との相対位置および相対姿勢を検出するので、天井や壁面にセンサを備える従来の方法とは異なり、操作部の可動範囲が他の障害物によって制限されてしまうのを防止することができる。
上記発明においては、前記ディスプレイは、前記頭部装着部が前記操作者の頭部に装着されたときに、前記操作者の眼前に配置されるように、前記頭部装着部に固定されていてもよい。
このようにすることで、頭部装着部を装着した操作者は、眼前に配置されたディスプレイに表示された表示物を見ながら操作することができる。ディスプレイが操作者の頭部に装着されることにより、操作者の移動を可能にすることができる。
また、上記発明においては、前記相対位置センサが、前記頭部装着部または前記操作部の一方に設けられた指標と、前記頭部装着部または前記操作部の他方に設けられ、前記指標を撮影する撮像部とを備えていてもよい。
このようにすることで、頭部装着部または操作部の一方に設けられた指標を、他方に設けられた撮像部によって撮影することにより、頭部装着部と操作部との相対位置を直接的に検出することができる。頭部装着部に固定したディスプレイを、操作者の眼前に置くことで、操作者の視野を基準とした視線座標系での操作部の相対位置・姿勢情報が取得できるため、ディスプレイ上に表示される表示物と、それを表示する視線座標系との変換が省略あるいは容易になる。これにより、演算量を低減して高速処理が可能となると共に直感的な操作が可能となる。
また、上記発明においては、前記撮像部を１つ備えていることにしてもよい。
この場合は、前記指標が同一平面上に配置されない少なくとも４箇所に設けられていればよい。
このようにすることで、４箇所の指標の全体的な位置の変化によって頭部装着部と操作部との相対姿勢の変化を検出し、４箇所の指標の指標間の位置の変化によって頭部装着部と操作部との相対位置の変化を検出することができる。
また、上記発明においては、前記撮像部を２以上備えていてもよい。
この場合は、前記指標が同一直線上に配置されない少なくとも３箇所に設けられていればよい。
このようにすることで、３箇所の指標の全体的な位置の変化によって頭部装着部と操作部との相対姿勢の変化を検出し、３箇所の指標の指標間の位置の変化によって頭部装着部と操作部との相対位置の変化を検出することができる。
また、上記発明においては、前記相対位置センサが、操作者の視線を取得可能な視線検出センサを備えていてもよい。このようにすることで、より正確な操作者の視線と操作部の相対位置が取得できる。
また、上記発明においては、前記頭部装着部または前記操作部の少なくとも一方に、その空間座標系における変位情報を検出する空間センサを備えていてもよい。
このようにすることで、空間センサが備えられた頭部装着部または操作部の空間座標系における変位情報と、頭部装着部と操作部との相対位置および相対姿勢とに基づいてディスプレイ内に表示されている表示物の動作の精度を向上することができる。
また、頭部装着部と操作部との間の相対位置あるいは相対姿勢の変化が、頭部装着部あるいは操作部のいずれを変位させたために発生したものであるのかを判別でき、制御部による表示物の作動をより正確に制御することが可能となる。
また、上記発明においては、前記ディスプレイが、空間座標系に固定されるとともに、前記頭部装着部または前記操作部の前記他方に設けられた前記撮像部により撮影されるディスプレイ用指標を備えていてもよい。
このようにすることで、空間座標系に固定されたディスプレイに備えられたディスプレイ用指標を撮像部によって撮影して、撮像部に対するディスプレイの角度や位置を検出することができる。これにより、操作者がディスプレイに対して移動しても、表示物の角度や方向を調節することができ、操作者の視線座標系に対して、表示物の座標を常に一定に保つことが可能となる。
また、本発明は、上記いずれかの操作入力装置と、前記マニピュレータと、前記ディスプレイに表示する前記マニピュレータの映像を取得する前記観察装置とを備えるマニピュレータシステムを提供する。
このようにすることで、観察装置により取得された表示物であるマニピュレータの映像がディスプレイに表示され、操作入力装置に備えられた操作部と頭部装着部との相対位置および相対姿勢の変化によって制御部がマニピュレータを作動させる。これにより、操作部の可動範囲が他の障害物によって制限されてしまうのを防止ししながら、マニピュレータによる処置を行うことができる。
本発明によれば、簡易な構成で操作部の可動範囲が制限されてしまうのを防止することができる、煩雑な座標変換による計算コストを低減できるという効果を奏する。
本発明の一実施形態に係るマニピュレータシステムを示す全体構成図である。 図１のマニピュレータシステムに備えられた本実施形態に係る操作入力装置を示すブロック図である。 図２の操作入力装置の変形例を示す全体構成図である。 図２の操作入力装置の他の変形例を示す全体構成図である。 図２の操作入力装置の他の変形例を示す全体構成図である。
本発明の一実施形態に係る操作入力装置およびマニピュレータシステムについて、図面を参照して以下に説明する。
本実施形態に係るマニピュレータシステム１は、図１に示されるように、患者Ａの体内に挿入されるマニピュレータ２と、該マニピュレータ２の映像を撮影する内視鏡（観察装置）３と、本実施形態に係る操作入力装置４とを備えている。
マニピュレータ２は、図１に示す例では、２つ設けられ、それぞれモータ２ａによって、その姿勢や位置や作動状態をそれぞれ変化させることができるようになっている。また、内視鏡３もモータ３ａによって、その姿勢や位置や作動状態を変化させることができるようになっている。
本実施形態に係る操作入力装置４は、内視鏡３により取得された患者Ａの体内におけるマニピュレータ２の映像を表示する表示部（ディスプレイ）５を備え、操作者Ｂの頭部Ｃに装着される頭部装着型ディスプレイ（頭部装着部：以下、ＨＭＤという。）６と、操作者Ｂによって操作される操作部７と、操作部７の操作によりマニピュレータ２を作動させる制御部８とを備えている。
ＨＭＤ６は、操作者Ｂの頭部Ｃに装着された状態で、表示部５を操作者Ｂの眼前に配置するように構成されている。また、ＨＭＤ６には、操作者Ｂの頭部Ｃに装着された状態で、操作者Ｂの頭部Ｃの前方を撮影可能な視野を有するＣＣＤのような撮像部（相対位置センサ）９と、ＨＭＤ６の空間座標系における加速度を検出する加速度センサ（空間センサ）１０とが備えられている。
また、ＨＭＤ６は、図２に示されるように、撮像部９により撮影した画像信号および加速度センサ１０により検出したＨＭＤ６の空間座標系における加速度信号を無線送信する送信部１１を備えている。
操作部７は操作者Ｂが手に保持して、操作することにより、マニピュレータ２および内視鏡３を操作することができるようになっている。操作部７には、同一平面上に配置されない位置に配置されて発光する４個のＬＥＤ（指標：相対位置センサ）１２が固定されている。また、操作部７は、マニピュレータ２および、内視鏡３の操作入力信号を無線送信する送信部１３を備えている。
制御部８は、内視鏡３により取得された画像信号が入力されることにより、これを処理してＨＭＤ６に送信する送受信部１４を備え、ＨＭＤ６に設けられた表示部５に撮影された画像を表示させるようになっている。
また、制御部８は、ＨＭＤ６から無線送信されてきた画像信号および加速度信号と、操作部７から無線送信されてきた操作入力信号を受信部１４により受信して、マニピュレータ２を動作させるための制御信号を生成し、生成した制御信号に基づいてマニピュレータ２のモータ２ａを作動させ、マニピュレータ２を移動させあるいは作動状態を変化させるようになっている。また、これらの制御信号に基づいて内視鏡３のモータ３ａを作動させ、内視鏡３を移動させあるいは作動状態を変化させることもできる。
具体的には、制御部８は、ＨＭＤ６に設けられた撮像部９により取得された画像を処理して、撮像部９により撮影された操作部７上のＬＥＤ１２の位置および間隔によって、ＨＭＤ６に対する操作部７の相対位置および相対姿勢を算出するようになっている。また、制御部８は、ＨＭＤ６に設けられた加速度センサ１０から出力される加速度信号に基づいて、空間座標系におけるＨＭＤ６の位置および姿勢を算出するようになっている。
そして、制御部８は、ＨＭＤ６に対する操作部７の相対位置および相対姿勢が変化したときには、加速度センサ１０からの加速度信号によって、それがＨＭＤ６の変位によるものであるのか、操作部７の変位によるものであるのかを判定し、ＨＭＤ６の変位による部分については内視鏡３を動かすための制御信号を発生させ、操作部７の変位による部分についてはマニピュレータの制御信号を発生させるようになっている。
すなわち、ＨＭＤ６を固定して操作部７を変位させた場合および操作部７を固定してＨＭＤ６を変位させた場合のいずれにおいても撮像部９により取得されたＬＥＤ１２の位置および間隔を変化させることができる。しかし、加速度センサ１０によって検出されたＨＭＤ６の変位量分については、操作者Ｂが頭部Ｃを移動させたために発生したものであるので、このＨＭＤ６の変位量に基づいた制御信号により内視鏡３を制御し、ＨＭＤ６の変位量を除いた操作部７の変位による部分を制御信号としてマニピュレータ２を作動させることができる。なお、内視鏡３の動作は、ＨＭＤ６の変位にフィルタや閾値を設けて、停止や動作などの制御モードが選択できる。
このように、本実施形態に係るマニピュレータシステム１および操作入力装置４によれば、操作者Ｂの頭部Ｃに装着するＨＭＤ６に、操作者Ｂが手に保持する操作部７のＨＭＤ６に対する相対位置および相対姿勢を検出する撮像部９を配置しているので、操作者Ｂが移動しても、照明や計器等の障害物によって両者間の空間が遮られず、操作部７の移動範囲が制限されることを防止することができる。すなわち、操作者Ｂは自由な位置で、自由な姿勢でマニピュレータ２を操作することができる。
また、ＨＭＤ６に固定された操作者Ｂの視線座標系に対する相対的な操作部７の３次元情報をＨＭＤ６に設けた撮像部９によって直接的に取得することができる。その結果、制御部８における座標変換を軽減して、演算を高速に行うことができるという利点がある。
また、ＨＭＤ６に操作者の視線を取得できる視線検出センサ１８を取り付けることで、より正確な操作者の視線と操作部の相対位置が取得できる。
なお、本実施形態においては、相対位置センサとしてＨＭＤ６に設けた撮像部９と操作部７に設けた４個のＬＥＤ１２とを備えるものを例示したが、これに代えて、撮像部９を操作部７に設け、ＨＭＤ６にＬＥＤ１２を設けることにしてもよい。
また、撮像部９を２つ設けることで、操作部７もしくはＨＭＤ６に取り付けるＬＥＤを３点として相対位置を取得してもよい。この場合、ＬＥＤつまり指標は同一直線上に配置されない位置に配置されて固定される。また、指標は、少なくとも３箇所あればよい。
また、加速度センサ１０からなる空間センサをＨＭＤ６に設けることにしたが、これに代えて、操作部７に設けることにしてもよい。
また、加速度センサ１０については、ＨＭＤ６および操作部７の両方に設けることにしてもよい。このようにすることで撮像部９が動作不良の場合においても操作可能とすることができ、また、一方の加速度センサ１０の検出値を用いて、相対位置および相対姿勢を補正することにより、検出精度を向上することができるという利点がある。
また、加速度センサ１０をＨＭＤ６および操作部７の両方に設けた場合、相対位置を撮像部９と少なくとも１つの指標とから検出し、相対姿勢を加速度センサ１０により取得してもよい。
また、操作部７およびＨＭＤ６からの信号を無線送信により制御部８に送ることとしたが、これに代えて、図３に示されるように、ＨＭＤ６と操作部７とを制御部８に配線１５によって接続して、有線にて送信することにしてもよい。また、図４に示されるように、制御部８を操作者Ｂに装着することにして、さらに操作者Ｂの自由な移動を可能にしてもよい。
また、本実施形態においては、頭部装着部として操作者Ｂの眼前に配置される表示部５を有するＨＭＤ６を例示したが、これに代えて、図５に示されるように、操作者Ｂの頭部Ｃには、撮像部９と加速度センサ１０のみを固定し、表示部５については、空間座標系に固定される別置き型のディスプレイ１６を採用してもよい。この場合に、操作者Ｂの移動により、操作者Ｂとディスプレイ１６との相対位置関係や相対角度が変化するため、表示を変更しなければ、操作者Ｂはディスプレイ１６に表示されているマニピュレータ２の動きを脳内で変換して理解しなければならない。
そこで、ディスプレイ１６に上記と同様のＬＥＤ（ディスプレイ用指標）１７を設け、操作者Ｂの頭部Ｃに設けた撮像部９と加速度センサ１０とにより、操作者Ｂの頭部Ｃとディスプレイ１６との相対位置関係をも検出して、表示を変更することにより、脳内で変換しなくても、操作者Ｂに対して常に同一の状態でマニピュレータ２の動作を表示することが可能となる。
また、本実施形態においては、指標として、同一平面上に配置されない４個のＬＥＤ１２を例示したが、これに代えて、蛍光マーカや他の任意の指標を採用してもよい。
また、指標は５個以上設けることにしてもよい。
また、本実施形態においては、空間センサとして加速度センサ１０を例示したが、これに代えてジャイロセンサや速度センサを採用してもよい。また、これらの組み合わせでもよい。
Ａ 患者
Ｂ 操作者
Ｃ 頭部
１ マニピュレータシステム
２ マニピュレータ（表示物）
３ 内視鏡（観察装置）
４ 操作入力装置
５ 表示部（ディスプレイ）
６ ＨＭＤ（頭部装着型ディスプレイ、頭部装着部）
７ 操作部
８ 制御部
９ 撮像部（相対位置センサ）
１０ 加速度センサ（空間センサ）
１２ ＬＥＤ（指標、相対位置センサ）
１５ 配線
１６ ディスプレイ
１７ 指標（ディスプレイ用指標）
１８ 視線検出センサ

Claims (11)

  1. 観察装置によって取得されたマニピュレータの映像を表示するディスプレイと、
    該ディスプレイ上に表示された前記マニピュレータを操作する操作部と、
    操作者の頭部に装着される頭部装着部と、
    該頭部装着部または前記操作部の一方に設けられ、前記頭部装着部または前記操作部の一方に対する他方の相対位置および相対姿勢を検出する相対位置センサと、
    該相対位置センサにより検出された相対位置および相対姿勢の変化に基づいて、前記観察装置および前記ディスプレイ内に表示されている前記マニピュレータを作動させる制御部とを備える操作入力装置。
  2. 前記ディスプレイは、前記頭部装着部が前記操作者の頭部に装着されたときに前記操作者の眼前に配置されるように、前記頭部装着部に固定されている請求項１に記載の操作入力装置。
  3. 前記相対位置センサが、前記頭部装着部または前記操作部の一方に設けられた指標と、前記頭部装着部または前記操作部の他方に設けられ、前記指標を撮影する撮像部とを備える請求項１に記載の操作入力装置。
  4. 前記撮像部を１つ備える請求項３に記載の操作入力装置。
  5. 前記指標が同一平面上に配置されない少なくとも４箇所に設けられている請求項４に記載の操作入力装置。
  6. 前記撮像部を２以上備える請求項３に記載の操作入力装置。
  7. 前記指標が同一直線上に配置されない少なくとも３箇所に設けられている請求項６に記載の操作入力装置。
  8. 前記相対位置センサが、操作者の視線を取得可能な視線検出センサを備える請求項１に記載の操作入力装置。
  9. 前記頭部装着部または前記操作部の少なくとも一方に、その空間座標系における変位情報を検出する空間センサを備える請求項１に記載の操作入力装置。
  10. 前記ディスプレイが、空間座標系に固定されるとともに、前記頭部装着部または前記操作部の前記他方に設けられた前記撮像部により撮影されるディスプレイ用指標を備える請求項３に記載の操作入力装置。
  11. 請求項１から請求項１０のいずれかに記載の操作入力装置と、
    前記マニピュレータと、
    前記ディスプレイに表示する前記マニピュレータの映像を取得する前記観察装置とを備えるマニピュレータシステム。
JP2010108344A 2010-05-10 2010-05-10 操作入力装置およびマニピュレータシステム Expired - Fee Related JP5704833B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010108344A JP5704833B2 (ja) 2010-05-10 2010-05-10 操作入力装置およびマニピュレータシステム
CN201180021874.XA CN102869310B (zh) 2010-05-10 2011-03-04 操作输入装置以及机械手系统
EP11780422.9A EP2570890A4 (en) 2010-05-10 2011-03-04 OPERATING ENTRY AND MANIPULATOR SYSTEM
PCT/JP2011/055050 WO2011142165A1 (ja) 2010-05-10 2011-03-04 操作入力装置およびマニピュレータシステム
US13/669,801 US9361818B2 (en) 2010-05-10 2012-11-06 Operation input device and manipulator system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010108344A JP5704833B2 (ja) 2010-05-10 2010-05-10 操作入力装置およびマニピュレータシステム

Publications (2)

Publication Number Publication Date
JP2011237987A JP2011237987A (ja) 2011-11-24
JP5704833B2 true JP5704833B2 (ja) 2015-04-22

Family

ID=44914223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010108344A Expired - Fee Related JP5704833B2 (ja) 2010-05-10 2010-05-10 操作入力装置およびマニピュレータシステム

Country Status (5)

Country Link
US (1) US9361818B2 (ja)
EP (1) EP2570890A4 (ja)
JP (1) JP5704833B2 (ja)
CN (1) CN102869310B (ja)
WO (1) WO2011142165A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9943372B2 (en) 2005-04-18 2018-04-17 M.S.T. Medical Surgery Technologies Ltd. Device having a wearable interface for improving laparoscopic surgery and methods for use thereof
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US9757206B2 (en) 2011-08-21 2017-09-12 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US9795282B2 (en) 2011-09-20 2017-10-24 M.S.T. Medical Surgery Technologies Ltd Device and method for maneuvering endoscope
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP6323974B2 (ja) * 2012-05-18 2018-05-16 オリンパス株式会社 手術支援装置
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
CN103699209A (zh) * 2012-09-27 2014-04-02 联想(北京)有限公司 一种输入设备
US9066323B2 (en) 2012-11-15 2015-06-23 Hewlett-Packard Development Company, L.P. Ad Hoc network connection
JP5549749B1 (ja) * 2013-01-16 2014-07-16 株式会社安川電機 ロボット教示システム、ロボット教示プログラムの生成方法および教示ツール
EP2967623B1 (en) 2013-03-14 2021-07-21 SRI International Compact robotic wrist
KR102257034B1 (ko) 2013-03-15 2021-05-28 에스알아이 인터내셔널 하이퍼덱스트러스 수술 시스템
US20150187198A1 (en) * 2013-12-27 2015-07-02 Aaron G. Silverberg Orientation Measurement And Guidance Of Manually Positioned Objects
WO2015163943A1 (en) 2014-04-24 2015-10-29 Covidien Lp Robotic interface positioning determination systems and methods
EP3166468A4 (en) * 2014-07-10 2018-03-07 M.S.T. Medical Surgery Technologies Ltd. Improved interface for laparoscopic surgeries - movement gestures
KR101645392B1 (ko) * 2014-08-13 2016-08-02 주식회사 고영테크놀러지 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2016133644A1 (en) * 2015-02-20 2016-08-25 Covidien Lp Operating room and surgical site awareness
JP6788327B2 (ja) 2015-02-27 2020-11-25 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
BR112017022721A2 (pt) 2015-04-23 2018-07-17 Stanford Res Inst Int dispositivos de interface de usuário de sistema cirúrgico com hiperdestreza
WO2016190057A1 (ja) * 2015-05-22 2016-12-01 コニカミノルタ株式会社 ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法
EP3325233A1 (en) 2015-07-23 2018-05-30 SRI International Inc. Robotic arm and robotic surgical system
ITUB20153938A1 (it) * 2015-09-28 2017-03-28 Marco Raoul Marini Dispositivo per endoscopia
WO2017114834A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
EP3397184A1 (en) * 2015-12-29 2018-11-07 Koninklijke Philips N.V. System, control unit and method for control of a surgical robot
JP6205528B1 (ja) * 2016-02-25 2017-09-27 オリンパス株式会社 マニピュレータシステムとその作動方法
CN105868569A (zh) * 2016-04-15 2016-08-17 福建水立方三维数字科技有限公司 一种产科护理虚拟仿真平台及其操作方法
CN106175650A (zh) * 2016-06-29 2016-12-07 上海波鸿医疗器械科技有限公司 一种穿戴型腔镜虚拟显示系统
JP7015256B2 (ja) * 2016-07-14 2022-02-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド コンピュータ支援遠隔操作システムにおける補助器具制御
CN106137399B (zh) 2016-08-31 2018-09-04 北京术锐技术有限公司 一种基于嵌入式计算机的手术机器人集成控制系统
EP3531953A1 (en) * 2016-10-25 2019-09-04 Novartis AG Medical spatial orientation system
CN106781972A (zh) * 2016-12-27 2017-05-31 泉州医学高等专科学校 基于vr技术的胎儿平产接生模拟系统及方法
JPWO2018143360A1 (ja) * 2017-02-03 2019-12-26 良夫 川又 相対位置検出システム及び画像表示システム
JP6823018B2 (ja) * 2018-08-03 2021-01-27 ファナック株式会社 協調動作支援装置
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
US11409091B2 (en) * 2019-12-31 2022-08-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11607287B2 (en) 2019-12-31 2023-03-21 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11864841B2 (en) 2019-12-31 2024-01-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
CN112822480B (zh) 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
JP2024003621A (ja) * 2022-06-27 2024-01-15 川崎重工業株式会社 手術支援システムおよび手術支援システムの制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110735A (ja) 1993-10-14 1995-04-25 Nippon Telegr & Teleph Corp <Ntt> 装着型ペン入力装置
JP3482228B2 (ja) * 1993-11-02 2003-12-22 オリンパス株式会社 視線検出によるマニピュレータ制御システム
JP3610110B2 (ja) 1995-02-23 2005-01-12 オリンパス株式会社 医療用マニピュレータ
JP3816599B2 (ja) * 1996-10-29 2006-08-30 オリンパス株式会社 体腔内処置観察システム
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2000279425A (ja) * 1999-03-30 2000-10-10 Olympus Optical Co Ltd ナビゲーション装置
EP1197094B1 (en) * 1999-07-13 2004-02-11 Surgivision Ltd. Stereoscopic video observation and image magnification system
JP3273038B2 (ja) 1999-11-17 2002-04-08 株式会社ナムコ 仮想体験型ゲーム装置
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
JP2002269567A (ja) * 2001-03-13 2002-09-20 Canon Inc 動き検出方法
DE60130264T2 (de) 2001-06-13 2008-05-21 Volume Interactions Pte. Ltd. Führungssystem
CN1676286A (zh) * 2004-04-02 2005-10-05 李朝辉 生物信息随动即时示教控制机器人
HU0401034D0 (en) * 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
US7763015B2 (en) * 2005-01-24 2010-07-27 Intuitive Surgical Operations, Inc. Modular manipulator support for robotic surgery
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
GB2464092A (en) * 2008-09-25 2010-04-07 Prosurgics Ltd Surgical mechanism control system

Also Published As

Publication number Publication date
US9361818B2 (en) 2016-06-07
US20130063580A1 (en) 2013-03-14
WO2011142165A1 (ja) 2011-11-17
EP2570890A1 (en) 2013-03-20
EP2570890A4 (en) 2016-12-07
CN102869310B (zh) 2016-06-08
CN102869310A (zh) 2013-01-09
JP2011237987A (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
JP5704833B2 (ja) 操作入力装置およびマニピュレータシステム
JP5530234B2 (ja) 操作入力装置およびマニピュレータシステム
CN108366833B (zh) 手术信息处理设备和方法
US20240080433A1 (en) Systems and methods for mediated-reality surgical visualization
KR101705921B1 (ko) 수술 로봇의 통합적 표현
US20190380791A1 (en) User input device for use in robotic surgery
US11278369B2 (en) Control device, control method, and surgical system
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
US10134185B2 (en) Endoscopic surgery assisting system using head-mounted displays and associated methodology
JP2012223363A (ja) 手術用撮像システム及び手術用ロボット
JP2021194539A (ja) 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー
EP3376276B1 (en) Constant horizon 3d imaging system and related method
EP3163407A1 (en) Method and apparatus for alerting to head mounted display user
CN110177518A (zh) 用于在图像捕获装置的视场内检测物体的系统和方法
JP2017100206A (ja) ロボット安全システム
AU2019292458A1 (en) Display control system, display control device, and display control method
JP2016158911A5 (ja)
CN115666406A (zh) 在外科手术机器人系统中确定体内深度感知的系统和方法
US20190090728A1 (en) Visualization system comprising an observation apparatus and an endoscope
JP6657858B2 (ja) ロボット操作システム
He et al. Sensor-fusion based augmented-reality surgical navigation system
US12048493B2 (en) Camera tracking system identifying phantom markers during computer assisted surgery navigation
US20220079415A1 (en) Visualization system comprising an observation apparatus and an endoscope
JP6670681B2 (ja) 位置検出方法及び位置検出システム
CN116468757A (zh) 用于确定是否需要重新配准患者跟踪器的技术

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150224

R151 Written notification of patent or utility model registration

Ref document number: 5704833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees