KR20140048128A - 태스크 궤적 분석을 위한 방법 및 시스템 - Google Patents

태스크 궤적 분석을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20140048128A
KR20140048128A KR1020137032183A KR20137032183A KR20140048128A KR 20140048128 A KR20140048128 A KR 20140048128A KR 1020137032183 A KR1020137032183 A KR 1020137032183A KR 20137032183 A KR20137032183 A KR 20137032183A KR 20140048128 A KR20140048128 A KR 20140048128A
Authority
KR
South Korea
Prior art keywords
information
tool
trajectory
task
task trajectory
Prior art date
Application number
KR1020137032183A
Other languages
English (en)
Inventor
라제쉬 쿠마
그레고리 디. 헤이거
아모드 에스. 조그
이신 가오
메이 리우
시몬 페터 디마이오
브랜든 잇코위츠
미리암 쿠레트
Original Assignee
더 존스 홉킨스 유니버시티
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 존스 홉킨스 유니버시티, 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 더 존스 홉킨스 유니버시티
Publication of KR20140048128A publication Critical patent/KR20140048128A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

샘플 태스크 궤적 분석을 컴퓨터로 수행하는 방법은 하나 또는 그 이상의 컴퓨터들로 샘플 태스크 궤적에서 도구의 위치 정보를 획득하는 단계, 상기 하나 또는 그 이상의 컴퓨터들로 상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하는 단계, 상기 하나 또는 그 이상의 컴퓨터들로 상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하는 단계, 상기 하나 또는 그 이상의 컴퓨터들로 비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하는 단계 및 상기 하나 또는 그 이상의 컴퓨터들로, 상기 샘플 태스크 궤적에 대한 결정된 기술 평가 결과를 출력하는 단계를 포함한다.

Description

태스크 궤적 분석을 위한 방법 및 시스템{METHOD AND SYSTEM FOR ANALYZING A TASK TRAJECTORY}
관련 출원의 상호 참조
참조에 의해 그 전체 내용이 본 출원에 통합되는 2011년 5월 5일 출원된 미국 특허 가출원 제61/482,831호에 대해 우선권을 주장한다.
본 발명은 National Institute of Health에 의해 수여된 Grant No.1R21 EB009143-01A1 및 National Science Foundation에 의해 수여된 Grant Nos. 0941362, 및 0931805 하에서 정부 지원하에 만들어졌다. 미국 연방 정부는 본 발명에서 일정 권리를 가진다.
본 발명은 궤적 분석, 더 상세하게는 태스크 궤적 분석에 관한 것이다.
본 명세서에서 언급되는 기사, 공개된 특허 출원 및 등록 특허를 포함하는 모든 참조들은 참조로써 여기에 통합된다.
비뇨기과[Boggess, J.F. Robotic surgery in gynecologic oncology: evolution of a new surgical paradigm. Journal of Robotic Surgery, 1(1):31--37, 2007; Chang, L. and Satava, RM and Pellegrini, CA and Sinanan, MN. Robotic surgery: identifying the learning curve through objective measurement of skill. Surgical endoscopy, 17(11):1744--1748, 2003], 부인과[Chitwood Jr, W.R. Current status of endoscopic and robotic mitral valve surgery. The Annals of thoracic surgery, 79(6):2248--2253, 2005], 심장외과[Cohen, Jacob. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1):37--46, 1960; Simon DiMaio and Chris Hasser. The da Vinci Research Interface. 2008 MICCAI Workshop - Systems and Architectures for Computer Assisted Interventions , Midas Journal , http://hdl.handle.net/1926/1464, 2008] 및 그 밖의 전공들에서의 로봇 수술을 위한 거의 2천 개의 다빈치 수술 시스템의 폭넓은 사용[Badani, KK and Kaul, S. and Menon, M. Evolution of robotic radical prostatectomy: assessment after 2766 procedures. Cancer, 110(9):1951--1958, 2007]으로, 훈련에 기반한 시뮬레이션을 포함하여, 훈련에 대한 심각한 요구가 증가하여 왔다. 다빈치 원격 수술 시스템은 자동-입체 뷰어, 시스템 구성 패널들 및 환자 측 머니퓰레이터들의 분리된 세트에 장착된 사용 가능한 수술용 도구들의 세트를 조종하는 마스터 머니퓰레이터들을 포함하는 콘솔을 포함한다. 외과의는 도구 머니퓰레이터들 중 어느 하나에 장착된 내시경 카메라의 스테레오 출력을 보는 동시에 이러한 도구들을 원격 조종한다. 다빈치 수술 시스템은 복합적인 인간-기계 상호 작용 시스템이다. 그 어떤 복합 시스템과 마찬가지로, 이것은 숙련도을 달성하기 위해서 상당한 정도의 연습과 훈련을 요구한다.
선행 연구들은 로봇 수술의 훈련이 복강경 외과의들로 하여금 기준 복강경 수술과 비교하여 더 효과적으로 로봇 수술 태스크들을 수행하도록 하고[Duda, Richard O. and Hart, Peter E. and Stork, David G. Pattern Classification (2 nd Edition). Wiley-Interscience, 2000], 로봇 수술의 기술 습득은 연습 및 평가에 의존함[Grantcharov, TP and Kristiansen, VB and Bendix, J. and Bardram, L. and Rosenberg, J. and Funch-Jensen, P. Randomized clinical trial of virtual reality simulation for laparoscopic skills training. British Journal of Surgery, 91(2):146--150, 2004]을 밝혀왔다. 문헌들은 또한 침습 수술을 위한 표준화된 훈련 및 최소 평가 방법들에 대한 요구를 자주 지적한다[Hall,M and Frank,E and Holmes,G and Pfahringer,B and Reutemann, P and Witten, I.H. The WEKA Data Mining Software: An Update. SIGKDD Explorations, 11, 2009; Jog,A and Itkowitz, B and Liu,M and DiMaio,S and Hager,G and Curet, M and Kumar,R. Towards integrating task information in skills assessment for dexterous tasks in surgery and simulation. IEEE International Conference on Robotics and Automation, pages 5273-5278, 2011]. 실제 모델들로 이루어진 훈련에 대한 연구들[Judkins, T.N. and Oleynikov, D. and Stergiou, N. Objective evaluation of expert and novice performance during robotic surgical training tasks. Surgical Endoscopy, 23(3):590--597, 2009]은 로봇 수술이 복합적이지만, 초보 및 전문 복강경 외과의들에게 새로운 기술로서 등장한 때에는 동등하게 도전적인 것이라는 점을 또한 보여왔다.
시뮬레이션 및 가상 현실 훈련[Kaul, S. and Shah, N.L. and Menon, M. Learning curve using robotic surgery. Current Urology Reports, 7(2):125--129, 2006]은 로봇 수술에서 오랜 시간 동안 이용되어 왔다. 시뮬레이션을 바탕으로 하는 훈련 및 테스트 프로그램들은 몇몇의 전문 분야들에서의 비기교적인 기술들 및 수술 상의 기교적인 기술을 평가하기 위해 앞서 사용되어 왔다[Kaul, S. and Shah, N.L. and Menon, M. Learning curve using robotic surgery. Current Urology Reports, 7(2):125--129, 2006; Kenney, P.A. and Wszolek, M.F. and Gould, J.J. and Libertino, J.A. and Moinzadeh, A. Face, content, and construct validity of dV-trainer, a novel virtual reality simulator for robotic surgery. Urology, 73(6):1288--1292, 2009]. 전체적인 절차 태스크들에 대한 가상 현실 트레이너들은 실감나는 수술 단계 훈련을 시뮬레이션하고 현실 태스크에서의 수행을 관측함으로써 훈련의 효과를 측정하기 위해 이용되어 왔다[Kaul, S. and Shah, N.L. and Menon, M. Learning curve using robotic surgery. Current Urology Reports, 7(2):125--129, 2006; Kumar, R and Jog, A and Malpani, A and Vagvolgyi, B and Yuh, D and Nguyen, H and Hager, G and Chen, CCG. System operation skills in robotic surgery trainees. The International Journal of Medical Robotics and Computer Assisted Surgery, :accepted, 2011; Lendvay, T.S. and Casale, P. and Sweet, R. and Peters, C. Initial validation of a virtual-reality robotic simulator. Journal of Robotic Surgery, 2(3):145--149, 2008; Lerner, M.A. and Ayalew, M. and Peine, W.J. and Sundaram, CP. Does Training on a Virtual Reality Robotic Simulator Improve Performance on the da Vinci Surgical System?. Journal of Endourology, 24(3):467, 2010]. 시뮬레이션된 태스크들을 이용하는 훈련은 쉽게 복제 및 반복될 수 있다. 로봇 훈련에 기반하는 시뮬레이션은 또한 실질적인 도구들이나 훈련용 포드들을 요하지 않기 때문에 훈련하는데 있어 더욱 경제적인 방법이다. 벤치 탑 독립형 로봇 수술 트레이너들이 현재 평가에 있다[Lin, H.C. and Shafran, I. and Yuh, D. and Hager, G.D. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery, 11(5):220--230, 2006; Moorthy, K. and Munz, Y. and Dosis, A. and Hernandez, J. and Martin, S. and Bello, F. and Rockall, T. and Darzi, A. Dexterity enhancement with robotic surgery. Surgical Endoscopy, 18:790-795, 2004. 10.1007/s00464-003-8922-2]. Intuitive Surgical Inc.는 또한 몰입형 가상 환경에서 시뮬레이션된 태스크들에 대한 훈련이 가능하도록 다빈치 기술 시뮬레이터(Da Vinci Skills Simulator)를 개발하여 왔다.
도1은 본 발명의 실시 예에 따른 시뮬레이션의 디스플레이 및 대응하는 수행 리포트와 더불어 태스크를 시뮬레이션하기 위한 시뮬레이터를 도시한 도면이다. 시뮬레이터는 도구와 훈련 환경을 시뮬레이션하기 위해 소프트웨어 묶음으로 통합된 다빈치 시스템에서 외과의의 콘솔을 사용한다. 훈련은 난이도에 따른 복수의 단계들로 구성될 수 있다. 태스크의 완료 시에, 사용자는 성과 지표들을 나타내는 레포트를 받고 종합 점수가 이 지표들로 계산된다.
모든 손 동작과 도구 동작은 로봇 훈련을 바탕으로 하는 시뮬레이션으로, 그리고, 실제적으로 캡쳐될 수 있기 때문에, 태스크 완료 시간, 도구 및 손의 이동 거리 및 손 동작 또는 도구 동작의 용적과 같은 대응하는 기본적인 태스크 통계들은 일반적인 성과 지표들로 사용되어 왔다[Lin, H.C. and Shafran, I. and Yuh, D. and Hager, G.D. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery, 11(5):220--230, 2006]. 이러한 동작 데이터는 태스크를 완료하는 동안 도구의 궤적과 부합할 수 있다[Munz, Y. and Kumar, B. D. and Moorthy, K. and Bann, S. and Darzi, A. Laparoscopic virtual reality and box trainers: is one superior to the other?. Surgical Endoscopy, 18:485-494, 2004. 10.1007/s00464-003-9043-7]. API는 실시간으로 시스템 상의 모든 머니퓰레이터들의 관절, 데카르트 및 토크 데이터를 포함한 동작 변수들을 스트림 처리하는 이더넷 인터페이스이다. 데이터 스트리밍률은 설정가능하고 100Hz까지 상향될 수 있다. 다빈치 시스템은 또한 별도의 출력부로부터 입체 내시경 비디오 데이터의 획득을 제공한다.
선행 평가 연구들은 그러한 동작 데이터에 기반하는 시뮬레이터의 평가 시스템에 의해 보고된 이러한 단순한 통계들[Quinlan, J. Ross. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1993; Reiley, Carol and Lin, Henry and Yuh, David and Hager, Gregory. Review of methods for objective surgical skill evaluation. Surgical Endoscopy, :1-11 , 2010. 10.1007/s00464-010-l190-z]의 표면, 내용 및 구성 유효성에 주로 집중해왔다. 이러한 통계들이 태스크 수행에 조악하게나마 관련될 수 있을지라도, 그것들은 개개의 태스크 수행에 대한 그 어떤 통찰이나 두 개의 태스크 수행들 사이의 효과적인 비교를 위한 그 어떤 방법을 제공하지는 않는다. 그것들은 또한 구체적이거나 세부적인 사용자 피드백을 제공하는 것에도 유용하지 않다. 예를 들어, 태스크 완료 시간은 좋은 훈련 지표가 아니다. 태스크 결과나 퀄리티가 훈련 포커스여야 할 것이다.
그러므로, 태스크 궤적의 향상된 분석에 대한 요구가 존재한다.
본 발명의 실시 예는 태스크 궤적의 향상된 분석 방법을 제공하는데 있다.
샘플 태스크 궤적 분석을 컴퓨터로 수행하는 방법은 하나 또는 그 이상의 컴퓨터들로 샘플 태스크 궤적에서 도구의 위치 정보를 획득하는 단계, 상기 하나 또는 그 이상의 컴퓨터들로 상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하는 단계, 상기 하나 또는 그 이상의 컴퓨터들로 상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하는 단계, 상기 하나 또는 그 이상의 컴퓨터들로 비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하는 단계 및 상기 하나 또는 그 이상의 컴퓨터들로, 상기 샘플 태스크 궤적에 대한 결정된 기술 평가 결과를 출력하는 단계를 포함한다.
샘플 태스크 궤도 분석 시스템은 사용자로부터 샘플 태스크 궤도에 대한 도구에 대한 동작 입력을 전송받도록 구성된 컨트롤러와 전송된 동작 입력에 기반하여 화면을 출력하도록 구성된 디스플레이를 포함한다. 시스템은 상기 전송된 동작 입력에 기반하여 상기 샘플 태스크 궤적에서 상기 도구의 위치 정보를 획득하고, 상기 전송된 동작 입력에 기반하여 상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하고, 상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하고, 비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하고, 그리고, 상기 기술 평가 결과를 출력하도록 구성된 프로세서를 더 포함한다.
처리 로직에 의해 실행 가능한 컴퓨터로 실행 가능한 인스트럭션들을 저장하는 하나 또는 그 이상의 유형의 비일시적인 컴퓨터로 판독가능한 저장 미디어로서, 미디어는 하나 또는 그 이상의 인스트럭션들을 저장한다. 하나 또는 그 이상의 인스트럭션들은 샘플 태스크 궤적에서 도구의 위치 정보를 획득하고, 상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하고, 상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하고, 비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하고, 그리고, 상기 샘플 태스크 궤적에 대한 상기 기술 평가 결과를 출력하기 위한 것이다.
상세한 설명, 도면들 및 예시들로부터 본 발명의 복적 및 효과가 더욱 분명해질 것이다.
도1은 본 발명의 실시 예에 따른 시뮬레이션의 디스플레이 및 대응하는 수행 리포트와 더불어 태스크를 시뮬레이션하기 위한 시뮬레이터를 도시한 도면,
도2는 본 발명의 실시 예에 따른 시스템의 블록도,
도3은 본 발명의 실시 예에 따른 샘플 태스크 궤적을 분석하기 위한 예시적인 절차를 도시한 순서도,
도4는 본 발명의 실시 예에 따른 도구에 의해 정의된 표면적을 도시한 도면,
도5a 및 도5b는 각각, 본 발명의 실시 예에 따른 전문가의 태스크 궤적 및 초보자의 태스크 궤적을 도시한 도면,
도6은 본 발명의 실시 예에 따른 페그보드 태스크를 도시한 도면,
도7은 본 발명의 실시 예에 따른 링 워크 태스크를 도시한 도면,
도8은 본 발명의 실시 예에 따른 링 워크 태스크 동안 태스크 궤적들을 도시한 도면이다.
본 발명의 일부 실시 예는 다음에 상세하게 기술된다. 기술된 실시 예에서, 특정 용어는 명료성을 위하여 책택된다. 그러나, 본 발명은 이렇게 선택된 특정 용어에 한정되도록 의도되지 않는다. 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 다른 등가의 구성 요소가 채택되고 본 발명의 넓은 개념으로부터 벗어남이 없이 다른 방법이 개발된다는 것을 인식할 것이다. 배경기술, 상세한 설명 부분을 포함하는 본 명세서에서 인용된 모든 도면 부호는 각각이 개별적으로 통합된 것처럼 참조에 의해 통합된다.
도2는 본 발명의 실시 예에 따른 시스템(200)의 블록도를 도시한 도면이다. 시스템(200)은 컨트롤러(202), 디스플레이(204), 시뮬레이터(206) 및 프로세서(208)을 포함한다.
컨트롤러(202)는 사용자로부터 동작 입력을 전송받도록 구성될 수 있다. 동작 입력은 동작에 관한 입력을 포함할 수 있다. 동작은 도구에 대한 3차원의 동작을 포함할 수 있다. 도구는 태스크를 위해 사용되는 수단을 포함할 수 있다. 수단은 수술용 도구를 포함할 수 있고 태스크는 수술 작업을 포함할 수 있다. 예를 들어, 컨트롤러(202)는 사용자가 수술용 도구를 포함하는 시스템의 도구 머니퓰레이터를 위해 입력을 제공할 수 있는 다빈치 원격 수술 시스템의 마스터 머니퓰레이터일 수 있다. 동작 입력은 샘플 태스크 궤적을 위한 것일 수 있다. 샘플 태스크 궤적은, 궤적이 분석될 샘플로 되는 동작 입력에 기반하는 태스크 동안의 도구의 궤적일 수 있다.
디스플레이(204)는 전송된 동작 입력에 기반하여 화면을 출력하도록 구성될 수 있다. 예를 들어, 디스플레이(204)는 액정 표시 장치(LCD)일 수 있다. 디스플레이(204) 상에 출력된 화면은 전송된 동작 입력을 이용한 태스크의 시뮬레이션에 기반한 것일 수 있다.
시뮬레이터(206)는 동작 입력에 기반하여 샘플 태스크 궤적을 시뮬레이션하기 위해 컨트롤러(202)로부터 동작 입력을 전송받도록 구성될 수 있다. 시뮬레이터(206)는 또한 전송된 동작 입력에 기반하여 화면을 생성하도록 구성될 수 있다. 예를 들어, 시뮬레이터(206)는 전송된 동작 입력에 기반하여 수술 태스크 동안의 도구에 대한 화면을 생성할 수 있다. 시뮬레이터(206)는 화면을 출력하기 위해 디스플레이(204)로 화면을 제공할 수 있다.
프로세서(208)는 전송된 동작 입력에 기반하여 샘플 태스크 궤적에서 도구의 위치 정보를 획득하기에 적합한 처리부일 수 있다. 처리부는, 예를 들어, 컴퓨터와 같은 전산 장치일 수 있다. 위치 정보는 3차원 좌표계에서 도구의 위치에 대한 정보일 수 있다. 위치 정보는 도구가 해당 위치에 존재한 시간을 식별하는 타임 스탬프를 더 포함할 수 있다. 프로세서(208)는 동작 입력을 전송받을 수 있고 위치 정보를 계산할 수 있다. 또는 프로세서(208)는 시뮬레이터(206)로부터 위치 정보를 전송받을 수 있다.
프로세서(208)는 또한 전송된 동작 입력에 기반하여 샘플 태스크 궤적에서 도구의 포즈 정보를 획득하기에 적합할 수 있다. 포즈 정보는 3차원 좌표계에서 도구의 방향에 대한 정보를 포함할 수 있다. 포즈 정보는 도구의 롤(roll), 피치(pitch) 및 요(yaw) 정보에 대응할 수 있다. 롤(roll), 피치(pitch) 및 요(yaw) 정보는 도구의 최근의 자유도를 따라 라인에 대응할 수 있다. 포즈 정보는 통상적인 동차 변환 프레임워크에서 위치 벡터 및 회전 행렬, 표준 축-각도 표현에서 포즈의 3개의 각도들 및 위치 벡터의 3개의 요소들 또는 나선축 표현 중 적어도 하나를 사용하여 표현될 수 있다. 포즈 정보는 도구가 해당 포즈에서 존재한 시간을 식별하는 타임 스탬프를 더 포함할 수 있다. 프로세서(208)는 동작 입력을 전송받을 수 있고 포즈 정보를 계산할 수 있다. 또는 프로세서(208)는 시뮬레이터(206)로부터 포즈 정보를 전송받을 수 있다.
프로세서(208)는 또한 참조 태스크 궤적에 대한 도구의 참조 위치 정보 및 참조 포즈 정보와 샘플 태스크 궤적에 대한 위치 정보와 포즈 정보를 비교하도록 구성될 수 있다. 참조 태스크 궤적은 샘플 궤적과 비교되기 위한 참고가 되는 궤적으로서 태스크 동안의 도구의 궤적일 수 있다. 예를 들어, 참조 태스크 궤적은 전문가에 의해 생성된 궤적일 수 있다. 프로세서(208)는 비교 결과에 근거하여 샘플 태스크 궤적에 대한 기술 평가를 결정하도록 구성될 수 있고, 기술 평가를 출력하도록 구성될 수 있다. 기술 평가는 점수 및/또는 분류일 수 있다. 분류는 초보자와 전문가 사이의 이진 분류일 수 있다.
도3은 본 발명의 실시 예에 따른 샘플 태스크 궤적을 분석하기 위한 예시적인 절차를 도시한 순서도(300)이다. 우선, 프로세서(208)는 샘플 태스크 궤적에서 도구의 위치 정보를 획득할 수 있고(302), 샘플 태스크 궤적에서 도구의 포즈 정보를 획득할 수 있다(304). 상술한 바와 같이, 프로세서(208)은 동작 입력을 전송받을 수 있고 위치 및 포즈 정보를 계산할 수 있다. 또는 프로세서(208)는 시뮬레이터(206)으로부터 위치 및 포즈 정보를 전송받을 수 있다.
위치 정보 및 포즈 정보를 획득한 경우, 프로세서(208)는 또한 위치 정보 및 포즈 정보를 필터링할 수 있다. 예를 들어, 프로세서(208)는 비중요 동작에 해당하는 정보를 배제할 수 있다. 프로세서(208)는 사용자의 시야 영역 밖의 샘플 태스크 궤적의 일부를 감지한 결과 또는 태스크와 관계없는 샘플 태스크 궤적의 일부를 식별한 결과에 근거하여 위치 및 포즈 정보의 중요성 또는 태스크 관련성을 탐지할 수 있다. 예를 들어, 프로세서(208)는 도구를 디스플레이(204) 상에 보여지는 시야 영역으로 이동하기 위해 생성된 움직임은 태스크 수행의 퀄리티에 중요하지 않기 때문에 배제할 수 있다. 프로세서(208)는 도구가 관련된 조직에 접촉할 때에 해당하는 정보를 또한 고려할 수 있다.
프로세서(208)는 참조 위치 정보 및 참조 포즈 정보와 샘플 태스크 궤적에 대한 위치 정보 및 포즈 정보를 비교할 수 있다(306).
샘플 태스크 궤적에 대한 도구의 위치 정보 및 포즈 정보는 카메라의 대응하는 방향 및 위치에 기반할 수 있다. 예를 들어, 위치 정보 및 포즈 정보는 도구를 포함하는 로봇의 카메라의 방향 및 위치에 관련된 좌표계에 존재할 수 있다. 비교 시에, 프로세서(208)는 도구의 위치 정보 및 도구의 포즈 정보를 카메라에 기반하는 좌표계로부터 참조 태스크 궤적에 기반하는 좌표계로 변환할 수 있다. 예를 들어, 프로세서(208)는 샘플 태스크 궤적에서 도구의 위치 정보를 참조 태스크 궤적에 대한 참조 위치 정보와 관련지을 수 있고, 관련성에 기초하여 도구의 포즈 정보 및 참조 포즈 정보 사이의 차이점을 식별할 수 있다.
궤적 포인트들 사이의 관련성은 동적 시간 워핑과 같은 수단들을 사용함으로써 또한 구축될 수 있다.
프로세서(208)는 대안적으로 도구의 위치 정보 및 도구의 포즈 정보를 카메라에 기반하는 좌표계로부터 세계 공간에 기반하는 좌표계로 변환할 수 있다. 세계 공간은 영점으로서 고정된 위치를 설정하고 고정된 위치에 관련된 좌표들을 설정하는 것에 기반할 수 있다. 도구의 참조 위치 정보 및 도구의 참조 포즈 정보 또한 세계 공간에 기반하는 좌표계로 변환될 수 있다. 프로세서(208)는 세계 공간에 기반하는 좌표계의 도구의 위치 정보 및 도구의 포즈 정보와 세계 공간에 기반하는 좌표계의 도구의 참조 위치 정보 및 참조 포즈 정보를 비교할 수 있다. 다른 예로서, 프로세서(208)는 동적 포인트에 기반하는 좌표계로 정보를 변환할 수 있다. 예를 들어, 좌표계는 환자가 움직이는 대로 환자 위에서 움직이는 포인트에 기반할 수 있다.
비교 시에, 프로세서(208)는 태스크의 진행에 기초하여 샘플 태스크 궤적과 참조 태스크 궤적을 관련지을 수 있다. 예를 들어, 프로세서(208)는 샘플 태스크 궤적 중에 태스크의 50%가 완료된 시간 및 참조 태스크 궤적 중에 태스크의 50%가 완료된 시간을 식별할 수 있다. 진행에 기초한 관련성은 태스크 동안 궤적들의 차이점을 설명할 수 있다. 예를 들어, 프로세서(208)는 샘플 태스크 궤적이 참조 태스크 궤적이 수행된 속도의 50%로 수행된 것을 판별할 수 있다. 따라서, 프로세서(208)는 샘플 태스크 궤적 중 50% 태스크 완료에 해당하는 위치 및 포즈 정보를 참조 태스크 궤적 중 50% 태스크 완료에 해당하는 참조 위치 및 포즈 정보와 비교할 수 있다.
비교 시에, 프로세서(208)는 샘플 태스크 궤적 중 도구의 도구 축을 따른 선에 의해 걸쳐진 표면적에 기반한 비교를 또한 수행할 수 있다. 프로세서(208)는 계산된 표면적을 참조 태스크 궤적 중 걸쳐진 대응하는 표면적과 비교할 수 있다. 프로세서(208)는 시간 구간, 균등한 도구 팁 거리 또는 균등한 각도 또는 포즈 분리 중 하나 이상에 대해 샘플로 얻어진 라인에 의해 정의된 연속적인 사변형들의 면적의 합계를 산출한 것에 근거하여 표면적을 계산할 수 있다.
프로세서(208)는 비교 결과에 근거하여 샘플 태스크 궤적에 대한 기술 평가 결과를 결정할 수 있다(308). 기술 평가 결과 결정 시에, 프로세서(208)는 샘플 태스크 궤적을 비교 결과에 근거하여 수술 로봇의 사용자에 대해 이진 기술 분류로 분류할 수 있다. 예를 들어, 프로세서(208)는 샘플 태스크 궤적을 미숙한 사용자 또는 능숙한 사용자로 관련짓는 것을 결정할 수 있다. 이와 달리, 프로세서(208)는 기술 평가 결과는 90%의 점수로 결정할 수 있다.
기술 평가 결과 결정 시에, 프로세서(208)는 도구 축을 따라 선에 의해 걸쳐진 총 표면적, 총 시간, 사용된 초과 힘, 도구 충돌, 도구 동작 시야의 총 이탈, 동작 입력의 범위 및 치명적 오류 중 하나 이상에 근거하여 지표들을 계산하고 가중치를 부여할 수 있다. 이러한 지표들은 균등하게 또는 불균등하게 가중치가 부여될 수 있다. 적당한 임계값이 또한 분류를 위해 설정될 수 있다. 예를 들어, 프로세서(208)는 능숙한 사용자에 해당하는 것으로 식별된 태스크 궤적 및 미숙한 사용자에 해당하는 것으로 식별된 태스크 궤적을 제공받을 수 있다. 프로세서(208)는 임계값을 적당하게 설정할 수 있고, 궤적들의 알려진 식별에 근거하여 궤적들을 정확하게 분류할 지표들에 대한 가중치를 부여할 수 있다.
순서도(300)에서 속도 정보 및 그리퍼 각도 정보에 기반하여 샘플 태스크 궤적을 또한 분석할 수 있다. 프로세서(208)는 샘플 태스크 궤적에서 도구의 속도 정보를 획득할 수 있고 샘플 궤적에서 도구의 그리퍼 각도 정보를 획득할 수 있다. 프로세서(208)가 위치 정보 및 포즈 정보를 비교할 때, 프로세서(208)는 또한 속도 정보 및 그리퍼 각도 정보를 참조 태스크 궤적에 대한 도구의 참조 속도 정보 및 참조 그리퍼 각도 정보와 비교할 수 있다.
프로세서(208)는 샘플 태스크 궤적에 대해 결정된 기술 평가 결과를 출력할 수 있다(310). 프로세서(208)는 출력 장치를 통해서 결정된 기술 평가 결과를 출력할 수 있다. 출력 장치는 디스플레이(104), 프린터 및 스피커 등 중 적어도 하나를 포함할 수 있다.
태스크들은 또한 사용자에 의해 각각 제어될 수 있는 다수의 도구들의 사용을 수반할 수 있다. 따라서, 태스크는 태스크에서 사용된 도구에 각각 대응하는 다수의 궤적들을 포함할 수 있다. 프로세서(208)는 태스크 중 다수의 샘플 궤적들에 대한 위치 정보 및 포즈 정보를 획득할 수 있고, 비교하기 위해 태스크 중 다수의 참조 궤적들에 대한 참조 위치 정보 및 참조 포즈 정보를 획득할 수 있고, 태스크에 대한 기술 평가 결과를 결정할 수 있다.
도4는 본 발명의 실시 예에 따른 도구에 의해 정의된 표면적을 도시한 도면이다. 도시된 바와 같이, 선은 도구의 축을 따라 점 pi 및 qi에 의해 정의될 수 있다. 점 qi는 도구의 운동 단부와 대응할 수 있고 qi는 도구의 그리퍼 상의 포인트에 대응할 수 있다. 표면적은 샘플 태스크 궤적 중 제1 샘플 시간 및 샘플 태스크 궤적 중 제2 샘플 시간 사이에서 선에 의해 걸쳐진 면적에 근거하여 정의될 수 있다. 도4에 도시된 바와 같이, 표면적 Ai는 점 qi, pi,qi +1 및 pi +1에 의해 정의된 사변형이다.
도5a 및 도5b는 각각, 본 발명의 실시 예에 따른, 전문가의 태스크 궤적 및 초보자의 태스크 궤적을 도시한 도면이다. 도시된 태스크 궤적들은 태스크 궤적 중 도구의 도구 축을 따라 선에 의해 걸쳐진 표면적에 대응할 수 있다. 두 궤적들은 공유 참조 프레임(예를 들어, 로봇 기반 프레임 또는 "세계" 프레임)으로 변환되었고, 따라서 서로 비교될 수 있고 관련성이 구축되었다. 도구에 의해 걸쳐진 표면적(또는 "리본")은 태스크, 태스크 시간 또는 다양한 기술의 사용자를 구별하는 것에 겨냥된 사용자 선호에 의존하여 변경 가능할 수 있다.
예시들
I. 서론
선행된 연구들은 훈련용 포드 상에서 수행되는 훈련 태스크를 위해 다빈치 API로부터 운동 데이터를 이용하여 기술 평가를 탐구하여 왔다[Judkins, T.N. and Oleynikov, D. and Stergiou, N. Objective evaluation of expert and novice performance during robotic surgical training tasks. Surgical Endoscopy, 23(3):590--597, 2009; Lin, H.C. and Shafran, I. and Yuh, D. and Hager, G.D. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery, 11(5):220--230, 2006; Sarle, R. and Tewari, A. and Shrivastava, A. and Peabody, J. and Menon, M. Surgical robotics and laparoscopic training drills. Journal of Endourology, 18(1):63--67, 2004]. Judkins 등[Judkins, T.N. and Oleynikov, D. and Stergiou, N. Objective evaluation of expert and novice performance during robotic surgical training tasks. Surgical Endoscopy, 23(3):590--597, 2009]은 단순한 태스크에서 전문가와 초보자를 구별하기 위해 10면의 피험자들에 대한 태스크 완료 시간, 이동 거리, 속도 및 곡률을 사용하였다. 작은 횟수의 시도 후에 초보자들은 전문가만큼이나 수행할 수 있었다. Lin 등[Lin, H.C. and Shafran, I. and Yuh, D. and Hager, G.D. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery, 11(5):220--230, 2006]은 수술적 라벨들의 라벨이 붙여진 시퀀스로 분해된 4개의 쓰로우 봉합 태스크를 위해 72 개의 운동 변수 기술 분류를 사용하였다. 다른 분석은 은닉 마르코브 모델(HMM)과 같은 모델로 도출된 데이터 및 수술 기술을 평가하기 위해 라벨이 붙여진 수술 동작들로 구성된 동작 데이터를 사용하였다[Reiley, Carol and Lin, Henry and Yuh, David and Hager, Gregory. Review of methods for objective surgical skill evaluation. Surgical Endoscopy,:1-11 , 2010. 10.1007/s00464-010-1190-z; Varadarajan, Balakrishnan and Reiley, Carol and Lin, Henry and Khudanpur, Sanjeev and Hager, Gregory. Data-Derived Models for Segmentation with Application to Surgical Assessment and Training. In Yang, Guang-Zhong and Hawkes, David and Rueckert, Daniel and Noble, Alison and Taylor, Chris, editors, Medical Image Computing and Computer - Assisted Intervention a?" MICCAI 2009 in Lecture Notes in Computer Science, pages 426--434. Springer Berlin / Heidelberg, 2009].
로봇 수술 동작 데이터는 기술 분류, 학습 곡선의 구축 및 훈련 커리큘럼 개발을 위해 분석되어 왔다[Jog, A and Itkowitz, B and Liu,M and DiMaio,S and Hager,G and Curet,M and Kumar,R. Towards integrating task information in skills assessment for dexterous tasks in surgery and simulation. IEEE International Conference on Robotics and Automation , pages 5273-5278, 2011; Kumar, R and Jog, A and Malpani, A and Vagvolgyi, B and Yuh, D and Nguyen, H and Hager, G and Chen, CCG. System operation skills in robotic surgery trainees. The International Journal of Medical Robotics and Computer Assisted Surgery, :accepted, 2011; Yuh, DD and Jog, A and Kumar, R. Automated Skill Assessment for Robotic Surgical Training. 47 th Annual Meeting of the Society of Thoracic Surgeons , San Diego , CA, pages poster, 2011].
태스크 환경의 가변성과 다른 피험자들에 의한 수행, 그리고 훈련을 바탕으로 한 실제 태스크 포드에 대한 태스크 퀄리티 평가 또는 환경 모델의 부족은 선행 분석이 숙련된 태스크 수행의 낮은 가변성, 그리고 유클리드 공간에서의 궤적들에 근거한 사용자의 분류를 구축하는데 중점을 두어왔음을 의미한다. 이러한 제한들은 다수의 전문가들[Yuh, DD and Jog, A and Kumar, R. Automated Skill Assessment for Robotic Surgical Training. 47 th Annual Meeting of the Society of Thoracic Surgeons, San Diego , CA, pages poster, 2011]에 의해 조직적인 평가를 획득함으로써, 그리고 도구/환경 상호 작용을 자동적으로 캡쳐하도록 기점으로 환경을 구조화함으로써 어느 정도의 규모로 다뤄지고 있다.
이와 대조적으로, 시뮬레이션된 환경은 태스크/환경 상호 작용에 더하여, 태스크 환경 상태에 대한 완전한 정보를 제공한다. 시뮬레이션된 환경은 복제 가능성 때문에 대수의 사용자들의 수행을 비교하도록 구성된 맞춤형이다. 태스크들은 쉽게 반복될 수 있기 때문에, 훈련자는 많은 횟수의 자율적인 시도를 수행하기 쉽고, 그리고 성과 지표들은 승인 가능한 숙련도가 달성되는 경우 또는 특정한 훈련 태스크의 더 많은 반복들이 도움이 되는 경우를 식별하기 위해 요구된다. 상술한 측정 과정에서 언급된 지표들은 그러나, 숙련도를 평가하기 위한 충분한 정보를 포함하지 않는다.
이 실시 예에서 시뮬레이션된 로봇 수술 훈련 태스크를 위한 기술 숙련도 분류가 시도된다. 시뮬레이션된 환경에서의 동작 데이터를 고려하여, 특정 시도에서 성과를 묘사하기 위한 새로운 지표가 기술 분류 방법을 위한 다른 작업공간과 함께 서술된다. 마지막으로, 통계적인 분류 방법은 단순한, 그리고, 복잡한 로봇 수술 훈련 태스크 모두를 위한 유망한 숙련도 분류를 제시하기 위해 다른 작업공간에서 적용된다.
Ⅱ. 방법들
MIMIC dV-Trainer[Kenney, P.A. and Wszolek, M.F. and Gould, J.J. and Libertino, J.A. and Moinzadeh, A. Face, content, and construct validity of dV-trainer, a novel virtual reality simulator for robotic surgery. Urology, 73(6):1288--1292, 2009; Lendvay, T.S. and Casale, P. and Sweet, R. and Peters, C. Initial validation of a virtual-reality robotic simulator. Journal of Robotic Surgery, 2(3):145--149, 2008; Lerner, M.A. and Ayalew, M. and Peine, W.J. and Sundaram, CP. Does Training on a Virtual Reality Robotic Simulator Improve Performance on the da Vinci Surgical System?. Journal of Endourology, 24(3):467, 2010] 로봇 수술 시뮬레이터(MIMIC Technologies, Inc., Seattle, WA)는 저비용 테이블-탑 콘솔을 가진 다빈치 수술 시스템을 위한 가상 태스크 트레이너를 제공한다. 이 콘솔은 벤치-탑 훈련에 적합한 반면에, 실제 다빈치 콘솔에서 인간-기계 인터페이스는 부족하다. 다빈치 기술 시뮬레이터는 다빈치 Si 시스템의 마스터 콘솔로 시뮬레이션된 태스크 환경을 통합함으로써 이러한 제한을 제거한다. 가상 도구들은 마치 실제 시스템인 것처럼 마스터 머니퓰레이터를 사용하여 조종된다.
시뮬레이션 환경은 다빈치 수술 시스템에 의해 제공되는 API 스트림[Simon DiMaio and Chris Hasser. The da Vinci Research Interface. 2008 MICCAI Workshop - Systems and Architectures for Computer Assisted Interventions , Midas Journal , http://hdl.handle.net/1926/1464, 2008]과 유사한 동작 데이터를 제공한다. 동작 데이터는 가상의 도구들, 마스터 핸들 및 카메라의 동작을 묘사한다. 스트림된 동작 파라미터들은 데카르트 포즈, 선 및 각속도, 그리퍼 각도 및 관절 위치를 포함한다. API는 각각의 도구 머니퓰레이터들 및 내시경 카메라 머니퓰레이터에 대해 10 차원 속도에서 추출된 타임 스탬프(1차원), 도구 데카르트 위치(3차원), 방향(3차원), 속도(3차원), 그리고 그리퍼 위치(1차원)와 실험에 대해 20Hz에서 샘플로 얻어질 수 있다.
도구 포즈는 카메라 좌표 프레임에서 제공되고, 이 프레임은 내시경 카메라 프레임을 사용한 엄격한 변환에 의한 고정 "세계" 프레임으로 변환될 수 있다. 이 참조 프레임은 모든 시도들에 걸쳐서 그리고 조종되고 있는 가상 환경 모델을 위해 공유되기 때문에, 궤적들은 시스템 재구성 및 시도들을 가로질러 분석될 수 있다.
주어진 궤적에 대해, p t 및 p t +1 을 두 개의 연속한 3D 점들로 한다. 이동하는 선거리 p D 는 다음과 같이 계산될 수 있다.
Figure pct00001
(1)
여기에서, d(…)는 두 점 사이의 유클리드 거리이다. 대응하는 태스크 완료 시간 p T 는 또한 타임 스템프로부터 직접 측정될 수 있다. 시뮬레이터는 동작 효율에 대한 측정으로서 궤적 전반에 걸쳐 더해진 선거리를 포함하여, 시도의 마지막에 이러한 측정을 보고한다[Lendvay, T.S. and Casale, P. and Sweet, R. and Peters, C. Initial validation of a virtual-reality robotic simulator. Journal of Robotic Surgery, 2(3):145--149, 2008].
선거리는 전체 6 DOF 포즈가 아닌 도구 팁 위치만을 사용할 수 있다. 방향 전환(대부분의 보통 도구 동작들)을 수반하는 어떤 능숙한 동작에서는 단지 팁 궤적만을 이용하는 것은 기술의 차이점을 파악하는데 충분하지 않다. 시간 t에서 도구 클레비스 포인트를 포함하는 "브러쉬"에 의해 생성된 표면인 포즈를 캡쳐하기 위해, 도구 축을 따라 클레비스로부터 1 mm의 거리에서 p t 와 다른 점인 q t 가 추적된다. p t , q t , p t+1 및 q t +1 에 의해 생성된 사변형의 면적이 A t 인 경우, 전체 궤적에 대한 표면 영역 R A 은 다음과 같이 계산될 수 있다.
Figure pct00002
(2)
이 측정은 "리본" 영역 측정으로 일컬어 질 수 있고, 그리고 훈련 태스크 동안 효율적인 포즈 관리를 나타낸다. 위의 단순한 통계적 측정에 대해 조정 임계값을 사용하는 기술 분류는 베이스라인 숙련도 분류 성과를 제공할 수 있다.
조정 임계값은 두 개의 자식 노드들을 가진 단일 근 결정 트리 노드를 생성함으로써 C4.5 알고리즘[Quinlan, J. Ross. C4 .5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1993]을 사용하여 계산될 수 있다. n 개의 시도들에 대응하는 n 개의 지표 값들 (x)와 각각의 시도에 대해 주어진 숙련도 라벨에 대해, 결정 트리 분류기는 1차원 데이터 x1, x2,…, xn 및 관련된 이진 속성 라벨 데이터 m1, m2,…, mn(여기에서, 0-훈련자 또는 1-숙련자)로 동작한다. 입력 데이터는 정규화된 정보 획득을 극대화한 이 속성에 대해 임계값 xth에 근거하여 분리된다. 왼쪽 노드는 xi≤xth인 모든 샘플들을 포함하고 오른쪽 노드는 xi>xth인 모든 샘플들을 포함한다.
통계적 분류: 통계적 숙련도 분류를 위해, 좌측 및 우측 도구들(각각 10차원)에 대한 도구 궤적(L)은 규칙적인 거리 간격에서 샘플로 얻어질 수 있다. 결과로 얻어지는 20 차원의 백터들은 사용자들을 가로질러 상수 크기 특성 백터들을 획득하기 위해 모든 샘플 포인트들을 걸쳐 연결될 수 있다. 예를 들어, k 개의 샘플 포인트들로, 궤적 샘플들은 L/k 미터 간격으로 획득된다. 이 샘플들은 그 밖의 분석들을 위해 k*20의 크기의 특성 백터 f i 로 연결된다.
선행 기술[Chang, L. and Satava, RM and Pellegrini, CA and Sinanan, MN. Robotic surgery: identifying the learning curve through objective measurement of skill. Surgical endoscopy, 17(11):1744--1748, 2003; Kaul, S. and Shah, NX. and Menon, M. Learning curve using robotic surgery. Current Urology Reports, 7(2):125--129, 2006; Lin, H.C. and Shafran, I. and Yuh, D. and Hager, G.D. Towards automatic skill evaluation: Detection and segmentation of robot-assisted surgical motions. Computer Aided Surgery, 11(5):220--230, 2006; Roberts, K.E. and Bell, R.L. and Duffy, A.J. Evolution of surgical skills training. World Journal of Gastroenterology, 12(20):3219, 2006]은 대안적 방법의 부재로 인해 추가적 통계적 분석을 위해 카메라 참조 프레임에서 동작 데이터를 항상 사용하여 왔다. 동일 공간에서 대응하는 궤적들, 태스크 제한들 및 가상 모델들의 유효성은 그 어떤 다른 선택된 시도에서든지, 그 어떤 주어진 샘플 포인트에서든지 실험적 데이터를 참조 프레임으로 변환하도록 한다. 이 참조 프레임의 하나의 축은 궤적의 로컬 접선을 따라 나란히 되고, 다른 두 개는 고정된 직교 평면에 위치한다. 이것은 전체 시도 동안 고정 세계 프레임 또는 고정된 내시경 카메라 프레임에 대한 것 대신에, 샘플 포인트에서 선택된 시도로부터의 거리에 대한 태스크 수행과 관련한 “궤도 공간”을 생성한다.
후보 궤적 e={e 1, e 2,…,e k}은 참조 궤적으로 선택될 수 있다. 어떤 다른 궤적 u을 고려하면, 대응하는 한 쌍의 점들인 e i 및 u i에 대하여, 아래 식을 만족하도록 산출될 수 있는 동차 변환 T=<R i,p i>을 산출한다.
<R i,p i>e i=u i (3)
유사하게 샘플 i에서 속도는 다음의 식으로 획득되었다.
v ui=v ui-v ei (4)
마지막으로 그리퍼 각 g ui은 g ui-g ei으로 조정되었다. 궤도 공간에서, 각각의 도구에 대한 10 차원 특성 백터는 {p i, r i, v ui, g i}으로 이루어져 있다. 후보 궤적 e는 전문가 시도 또는 어떤 시뮬레이션된 태스크에 대해 이용할 수 있는 최적의 기저 참 궤적(ground truth trajectory)일 수 있고, 우리의 실험적 데이터를 위해 계산될 수 있다. 최적의 궤적은 현재 실행된 능숙한 기술과는 어떤한 관련성도 없기 때문에, 우리는 여기에서 언급된 실험에서 전문가 시도를 사용하였다. 시도들은 관리된 통계적 분류를 위한 피험자의 기술 레벨에 따라 주석이 붙여졌다.
다수의 이진 분류기들은 실험적 데이터에 대해 훈련될 수 있다. 균등하게 특성 백터들을 샘플로 얻은 고정된 크기는 관리된 분류 접근의 다양성을 허용한다. 서포트 벡터 머신(이하, SVM)[Duda, Richard O. and Hart, Peter E. and Stork, David G. Pattern Classification (2 nd Edition ). Wiley-Interscience, 2000]들이 사용될 수 있다. SVM들은 관측들을 두 개의 분류들(숙련자 대 훈련자)로 분류하기 위해 일반적으로 사용된다.
SVM 분류는 입력 데이터를 변환하기 위해 커넬 함수를 사용하고, 최적화 단계는 최대 분리로 분리한 표면을 측정한다. 특성 벡터들 (x)로 표시되는 시도들은 훈련 세트 및 테스트 세트로 나누어 진다. 훈련 세트를 사용하여 분류 에러를 최소화하고 기하학적 마진을 극대화하는 최적화 방법(시퀀셜 미니멀 최적화)가 서포트 벡터 s j , 가중치 α i 및 바이어스 b를 구하기 위해 사용된다. 분류는 테스트 세트에 속한 시도의 특성 벡터인 x에 대해 c를 계산함으로써 완료된다.
Figure pct00003
(5)
여기에서, k는 커넬이다. 일반적으로 가우스 방사형 기저 함수(Gaussian Radial Basis Function, 이하, RBF) 커널들이 사용될 수 있다.
훈련된 분류기를 고려하면, 성과가 헬드-아웃(held-out) 테스트 데이터로 평가될 수 있고 성과의 일반적인 측정은 다음과 같이 계산될 수 있다.
Figure pct00004
(6)
Figure pct00005
(7)
Figure pct00006
(8)
여기에서, tp는 참 긍정(능숙함으로 분류된), tn은 참 부정, fp는 거짓 긍정 그리고 fn는 거짓 부정 분류들이다.
시뮬레이터는 새로운 훈련 환경이기 때문에, 능숙한 사용자에 대한 적합한 정의는 아직 존재하지 않는다. 시도에 대한 기술 레벨을 부여하는 몇 가지의 서로 다른 방법들이 분석되었다. 이러한 서로 다른 평가 구조들 사이에서 어떠한 일치도 없는 경우를 이해하기 위해, 우리는 평가자 사이의 일치에 대한 통계적 측정인 Cohen의 κ[Cohen, Jacob. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1):37--46, 1960]를 계산하였다. κ는 다음과 같이 계산된다.
Figure pct00007
(9)
여기에서, Pr (a)는 평가자들 사이의 상대 관측 일치이고, Pr (e)는 기회 일치의 가상 확률이다. 평가자들이 완벽한 일치 상태에 있는 경우, κ는 1이다. 일치가 없는 경우 κ≤0이다. κ는 기저 참값인 것으로 가정된 자기 보고 기술 레벨들 및 상술한 방법들에 의해 생성된 분류 사이에서 계산된다.
C4.5 결정 트리 알고리즘과 Weka(Waikato Environment for Knowledge Analysis, University of Waikato, New Zealand) 오픈 소스 자바 툴박스[Hall,M and Frank,E and Holmes,G and Pfahringer,B and Reutemann, P and Witten, I.H. The WEKA Data Mining Software: An Update. SIGKDD Explorations, 11, 2009]에서 SVM 수행은 후술하는 실험들에 대해 사용될 수 있다. 모든 절차는 4GB 램을 가진 듀얼 코어 워크스테이션 상에서 수행되었다.
Ⅲ. 실험들
이러한 방법들은 성공적인 완료를 위한 상당한 포즈 변경들과 다수의 시스템 조정들을 요구하는, 그리고, 수술적인 탐구를 시뮬레이션하는 능수능란한 태스크들을 분석하기 위해 사용될 수 있다. 이것은, 태스크들은 숙련자 그리고 훈련자들 사이를 가장 잘 구별하기 때문이다. 이러한 시뮬레이션 묶음은 넓고 다양한 능수능란한 훈련 및 수술 유사 태스크들을 포함한다.
후술되는 실험들을 위해 시뮬레이션 묶음으로부터 보통의 집기 태스크와 배치 태스크인 "페그보드 링 조작" 태스크와 수술에서 혈관 탐색을 시뮬레이션하는 "링 워크" 태스크가 선택된다.
도6은 본 발명의 실시 예에 따른 페그보드 태스크를 도시한다. 다빈치 기술 시뮬레이터를 사용한 페그보드 태스크는 다수의 타겟들로 이동될 한 세트의 링들을 필요로 한다. 사용자는 한 세트의 링들을 시뮬레이션된 태스크 보드 상에서 한 세트의 세로의 페그들로부터 태스크 보드의 벽으로부터 확장한 가로의 페그들로 연속적으로 이동하는 것이 요구된다. 태스크는 각각의 태스크 단계에서 수행하게 된(그리고 타겟으로 제시된) 타겟 및 소스 페그들로 구체적인 시퀀스로 수행된다. 두 번째 단계의 난이도(레벨2)가 이용될 수 있다.
도7은 본 발명의 실시 예에 따른 링 워크 태스크를 도시한다. 다빈치 기술 시뮬레이터를 이용한 링워크 태스크는 시뮬레이션된 혈관을 따라 다수의 타겟들로 이동될 링을 필요로 한다. 사용자는 시뮬레이션된 혈관 주위에 위치한 링을 장애물들을 피하면서 시뮬레이션된 현관을 따라 타겟들로 이동하는 것이 요구된다. 장애물들은 성공적인 완료를 보장하도록 조종되는 것이 필요하다. 태스크는 사용자가 링을 마지막 타겟으로 이동할 때 종료한다. 이 태스크는 각각 점점 더 복잡한 길을 가지는 몇 단계의 난이도로 구성될 수 있다. 가능한 최고 난이도(레벨3)가 이용될 수 있다.
도8은 본 발명의 실시 예에 따른 링 워크 태스크 중의 태스크 궤적들을 도시한다. 회색은 시뮬레이션된 혈관이다. 다른 궤적들은 세가지 도구들의 동작을 나타낸다. 세번째 도구는 장애물을 이동하기 위해서만 사용될 수 있다. 그러므로, 좌측 및 우측의 도구들이 통계적 분석에서 고려될 수 있다.
실험적 데이터는 17 명의 피험자들로부터 이와 같은 태스크들의 다수의 시도들에 대해 수집되었다. 실험적 피험자들은 로봇 수술 시스템 및 시뮬레이션 환경에 다양하게 노출되는 생산 공장의 근로자들이었다. 각각의 피험자는 증가하는 난이도의 순서로 여섯 개의 훈련 태스크들을 수행하도록 요구되었다. 가장 어려운 링워크 태스크가 마지막으로 수행된 반면에, 페그보드 태스크는 시퀀스에서 두번째로 수행되었다. 각각의 시퀀스에 허용된 총 시간은 고정되었고, 그래서 모든 피험자들은 모든 여섯 개의 수행들을 완료할 수 없었다.
각각의 피험자들은 최초의 기술 평가에 근거하여 숙련도 레벨이 부여되었다. 결합된 시스템 노출이 40 시간 미만인 사용자들(17명 중 9명, 시뮬레이션 플랫폼과 로봇 수술 시스템)은 훈련생으로 라벨이 붙여졌다. 다양한 개발과 임상 경험을 가진 나머지 피험자들은 숙련자로 고려되었다. 이것이 여전히 유효한 새로운 시스템인 것을 고려하면, "능숙한" 사용자를 위한 기술 레벨은 논쟁의 소지가 있다. 관련된 작업에서, 실제 로봇 수술 데이터로 시뮬레이터에 대해 전문가로 사용자를 분류하는 것에 대한 대안적인 방법론들이 분석되었다. 예를 들어, 자기 보고 데이터 대신에 전문가에 의한 사용자 시도의 구조적인 평가를 사용하는 것이 여기에서 사용되었다.
결과에 대한 주안점은 분류기의 훈련에 대해서가 아니라 대안적 변환 공간들을 사용한 점과 기술을 분류한 점에 대한 것이다. 그러므로, 기저 참값의 확립은 제안된 방법의 약점이 아닐 수 있다. 우리의 분류기들의 훈련에서의, 그리고, 기술 레벨의 평가를 위한 어떤 방법이라도 사용될 수 있다. 선행 기술[Judkins, T.N. and Oleynikov, D. and Stergiou, N. Objective evaluation of expert and novice performance during robotic surgical training tasks. Surgical Endoscopy, 23(3):590--597, 2009]은 상대적으로 짧은 훈련 기간이 처음부터의 훈련 태스크들에서 능숙함을 위해 요구된다는 것을 개시한다. 그러나, 이것은 사용된 지표들에서 식별력의 부족 또는 실험적 태스크들에서 복잡성의 부족에 또한 기인할 수 있다.
두 개의 태스크들로부터 다수의 시도들로 구성된 실험적 데이터세트
태스크 능숙한 시도들 훈련생 시도들 총계
링워크 22 19 41
페그보드 24 27 51
첫 번째로 다빈치 기술 시뮬레이터에서 통합된 점수 시스템의 지표들이 조사된다. 지표들의 리스트는 다음을 포함한다.
*동작의 절약(도구로 이동된 총 거리)
*총 시간
*사용된 초과 힘
*도구 충돌
*총 시야 밖 도구 동작
*마스터 동작의 범위(마스터 머니퓰레이터 경계 영역의 직경)
*치명적 오류(링을 떨어뜨리는 것 등)
상술된 각각의 지표들에 근거하여 허용가능한 정확도(태스크들에 걸쳐 >85%)로 전문가와 초보자를 분류할 수 있는 조정 임계값은 존재하지 않는다. M개의 지표들 m 1 , m 2 ,…, m M 에 대해 값들 s 1 , s 2 ,…, s M 이 주어진다. 시뮬레이터는 먼저 각각의 지표들에 대한 조정 점수 f j 를 계산한다.
Figure pct00008
(10)
여기에서, 상한과 하한은 u j 과 l j 이 되는 개발자의 최선의 추측에 근거하고, 그리고 최종 가중치 점수 f는 다음과 같다.
Figure pct00009
(11)
현재의 점수 시스템에서, 모든 가중치들은 동일하고
Figure pct00010
이다. 한가지 목표는 전문가와 초보자를 보다 잘 구분할 수 있는 방향으로 점수 시스템을 개선하는 것이었다.
다른 가중치들이 초보자 및 전문가 평균들의 구분으로 계산된 우선도에 근거하여 각각의 지표들에 부과될 수 있다. 특정 지표 m j 에 대해,
Figure pct00011
및
Figure pct00012
는 데이터로부터 계산된 전문가 및 초보자 평균 값이라고 하자.
Figure pct00013
는 전문가 표준 편차라고 하자.새로운 가중치
Figure pct00014
는 아래와 같이 부여될 수 있다.
Figure pct00015
(12)
Figure pct00016
는
Figure pct00017
이도록 노멀라이즈되었다. 성과에 대한 상한은
Figure pct00018
으로 수정되었다.
Figure pct00019
(13)
전문가가 그 지표에 대해 높은 값을 가질 것으로 기대되는 경우이고, 그리고 그 밖에는
Figure pct00020
(14)
유사하게, 하한은 아래와 같이 수정되었다.
Figure pct00021
(15)
전문가가 그 지표에 대해 높은 값을 가질 것으로 기대되는 경우이고, 그리고 그 밖에는
Figure pct00022
(16)
현재의 시스템으로 가중치 적용된 점수 시스템의 성과는 숙련자와 훈련자 사이를 얼마나 잘 구분하는지를 비교함으로써 비교될 수 있다. 현재의 구조에 기반한 분류의 성과는 새로운 점수 시스템의 것과 함께 표2에서 보여진다. 개선된 점수 시스템이 단순한 태스크(페그보드)에 대해서는 용인되도록 수행된 반면에, 정확도(77%)는 링워크와 같은 복잡한 태스크들에 대해서는 여전히 적절하지 않았다.
태스크 점수에 대응하는 임계값들 및 분류 정확도
태스크
 Th curr (%) Th curr (%) Th new Acc new
링워크
 56.77 73.17 75.54 77.27
페그보드
 95.44 78.43 65.20 87.03
조정 임계값 계산은 몇몇의 기본 지표들에 또한 유용할 수 있었다. 숙련자와 훈련자의 평균들이 잘 구분되었기 때문에, 지표들은 동작의 절약 및 총 시간을 포함하였다. 그러나, 표3 및 표4는 거리와 시간이 기술 레벨들을 구별하는데 좋지 않은 지표들이라는 것을 보여준다.
도구 팁 거리에 대한 대응하는 임계값들 및 분류 정확도
태스크 P D 임계값(cm) 정확도(%)
링워크 40.26 52.5
페그보드 23.14 72
태스크를 성공적으로 완료하기 위해 요구되는 총 시간에 대한 대응하는 임계값들 및 분류 정확도
태스크 P T 임계값(seconds) 정확도(%)
링워크 969 52.5
페그보드 595 68
리본 측정 R A 이 또한 계산된다. 이 포즈 지표에 대한 조정 임계값은 기술 분류를 위한 위의 단순한 지표들에 대한 조정 임계값들을 능가한다. 표5, 6은 베이스라인 수행을 보여준다.
링워크 태스크에 대한 R A 측정에 대한 대응하는 임계값 및 분류 정확도
머니퓰레이터 R A 임계값 (cm2) 정확도(%)
좌측 128.8 80
우측 132.8 77.5
페그보드 태스크에 대한 좌측 및 우측 도구들에 대한 R A 측정에 대한 대응하는 임계값 및 분류 정확도
머니퓰레이터 R A 임계값 (cm2) 정확도(%)
좌측 132.9 80
우측 107.6 78
Cohen의 κ[Cohen, Jacob. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1):37--46, 1960]는 또한 기저 참값 라벨들로 일치를 식별하기 위해 기술 분류에 대해 또한 계산되었다. 결과는 기저 참값 라벨링(표6)으로 높은 일치에 도달한 것을 보여준다. 링워크에 대한 p1D-time 및 p2D-time은 분류가 두 기준에 동일한 라벨이기 때문에 불확실하다.
서로 다른 지표 대 기저 참값(GT)에 근거한 분류를 위한 Cohen의 κ. P1/2는 좌측/우측 도구, D는 이동 거리, T는 태스크 시간, R은 리본 지표.
태스크 측정 페어 κ
5*페그보드 p1D-GT 0.40
p2D-GT 0.41
time-GT 0.34
p1R-GT 0.60
p2R-GT 0.55
p1D-time 0.21
p2D-time 0.10
5*링워크 p1D-GT 0.0
p2D-GT 0.0
time-GT 0.0
p1R-GT 0.59
p2R-GT 0.53
p1D-time 불확실
p2D-time 불확실
링워크 태스크에 대한 "궤도" 공간에서의 동작 분류의 이진 분류 수행
태스크 k 정밀도(%) 리콜(%) 정확도(%)
3*페그보드 32 81 65.4 74
64 92.0 88.5 90.0
128 83.9 100.0 90.0
3*링워크 32 88.9 84.2
87.5
64 86.7 68.4 80.0
128 87.5 73.7 82.5
통계적 분류: 각각의 API 동작 궤적(고정된 세계 프레임에서)은 640,1280,2560 크기에서의 f i 의 특성 벡터들을 제공한 k={32,64,128} 점들에서 샘플로 얻어졌다. 17명의 피험자들로부터 링워크 태스크에 대한 41회의 시도들과 페그보드 태스크에 대한 51회의 시도들이 수행되었다.
이진 SVM 분류기는 가우스 방사형 기저 함수 커널을 사용하여 훈련되었고 정밀도, 리콜, 정확도를 계산하기 위해 훈련된 분류기로 k-묶음 교차 검증법(k-fold cross-validation)을 수행하였다. 표9는 통계 세계 프레임에서 분류 결과들이 베이스라인 리본 지표 계산을 능가하지 않은 것을 보여준다.
모든 태스크들에 대해 세계 프레임에서 이진 SVM 분류기(전문가 대 초보자)의 수행
태스크 k 정밀도(%) 리콜(%) 정확도(%)
3*페그보드 32 69.0 76.9 70.0
64 75.8 96.2 82.0
128 73.5 96.2 80.0
3*링워크 32 66.7 63.2 67.5
64 63.2 63.2 65
128 64.7 57.9 65
궤적 공간 특성 벡터들을 사용한 이진 SVM 분류기는 모든 다른 지표들을 능가하였다. 표8은 이러한 분류 결과들을 포함한다. 궤도 공간은 32개의 샘플들로 87.5%의 정확도(그리고 높은 84.2%의 리콜)로 숙련자와 훈련자들을 구별하고, 이것은 실제 로봇 수술 시스템 동작 데이터에 대해 선행 기술[Rosen, J. and Hannaford, B. and Richards, C.G. and Sinanan, M.N. Markov modeling of minimally invasive surgery based on tool/tissue interaction and force/torque signatures for evaluating surgical skills. IEEE Transactions on Biomedical Engineering, 48(5):579--591, 2001]에 필적한다. 샘플들의 더 많은 개수는 추가적인 가변성에 기인하여 이러한 성과를 축소시킨다. 유사한 작은 성과 변화들이 후보 궤적들의 대안적인 선택에 따라 보여진다.
Ⅳ. 결론 및 향후 연구
로봇 수술 훈련을 바탕으로 한 시뮬레이션은 몇몇의 훈련 플렛폼의 유용성을 가지고 빠르게 채택되고 있다. 숙련도 분류(숙련자 대 훈련자)를 위한 새로운 지표들과 방법들은 시뮬레이션 환경에서 로봇 수술 훈련으로부터 얻어진 동작 데이터에 근거하여 보고된다. 테스트는 피험자가 충분한 기술을 습득할 수 있을 때 보고하는 것이 필요하고, 시도 횟수 훈련 페러다임 또는 현재의 고정된 시간 대신에 훈련을 바탕으로 한 더 효율적인, 사용자 정의 숙련도를 위한 길을 조성할 것이다.
가공하지 않은 도구 동작 데이터를 이용한 67.5%의 분류 정확도와 비교하여, 포즈 "리본 영역" 지표의 임계화를 바탕으로 한 결정 트리는 80%의 베이스라인 정확도를 제공한다. 전문가의 궤도 공간에서의 작업은 이러한 결과를 87.5%로 더욱 향상시킨다. 이러한 결과는 다른 동작 데이터를 사용한 선행 기술(예를 들어, [Rosen, J. and Hannaford, B. and Richards, C.G. and Sinanan, M.N. Markov modeling of minimally invasive surgery based on tool/tissue interaction and force/torque signatures for evaluating surgical skills. IEEE Transactions on Biomedical Engineering, 48(5):579--591, 2001])에서 보고된 기술 분류의 정확성과 비교할 만한 하다.
실제 환경과는 달리, 환경에 대한 기저 참값은 시뮬레이터에 정확하게 알려져 있다. 작업은 여기에서 언급된 전문가 궤도 공간 결과와 함께 시뮬레이션된 혈관의 기저 참 위치를 사용하는 것으로 확장될 수 있다. 서술된 작업은 생산 공장의 근로자들로부터 획득된 실험적 데이터의 일부를 또한 사용하였다.
다양한 기술들의 사용자들 사이의 구별은 높은 곡률/민첩성의 업무 부분에 강조된 점을 주목하는 동안, 전체 태스크 궤적들에 대해 이진 분류기가 사용된다. 높은 기술을 요구하는 부분을 강조하는 다른 궤적 분할과 대안적인 분류 방법들이 또한 사용될 수 있다. 데이터는 또한 분류 정확도를 향상시키기 위해 바람직하게 분할될 수 있다.
마지막으로, 실제 다빈치 수술 시스템 모션 데이터에서의 관련된 작업에서, 인간-기계 상호 작용이 다른 관련 연구를 통해 평가될 수 있다[Kumar, R and Jog, A and Malpani, A and Vagvolgyi, B and Yuh, D and Nguyen, H and Hager, G and Chen, CCG. System operation skills in robotic surgery trainees. The International Journal of Medical Robotics and Computer Assisted Surgery, : accepted, 2011; Yuh, DD and Jog, A and Kumar, R. Automated Skill Assessment for Robotic Surgical Training. 47 th Annual Meeting of the Society of Thoracic Surgeons, San Diego , CA, pages poster, 2011]. 시뮬레이션된 데이터에 대한 데이터 분할, 분석 및 분류의 추가적인 유사한 방법들이 또한 현재 개발 중에 있다.

Claims (20)

  1. 하나 또는 그 이상의 컴퓨터들로, 샘플 태스크 궤적에서 도구의 위치 정보를 획득하는 단계;
    상기 하나 또는 그 이상의 컴퓨터들로, 상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하는 단계;
    상기 하나 또는 그 이상의 컴퓨터들로, 상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하는 단계;
    상기 하나 또는 그 이상의 컴퓨터들로, 비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하는 단계; 및
    상기 하나 또는 그 이상의 컴퓨터들로, 상기 샘플 태스크 궤적에 대한 결정된 기술 평가 결과를 출력하는 단계를 포함하는 샘플 태스크 궤적 분석을 컴퓨터로 수행하는 방법.
  2. 제1항에 있어서,
    상기 샘플 태스크 궤적은 수술 태스크 동안 상기 도구의 궤적을 포함하고, 상기 도구는 수술 로봇의 시뮬레이션된 수술용 도구를 포함하는 컴퓨터로 수행하는 방법.
  3. 제1항에 있어서,
    포즈 정보는 상기 도구의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 나타내는 컴퓨터로 수행하는 방법.
  4. 제3항에 있어서,
    상기 도구의 상기 포즈 정보는,
    통상적인 동차 변환 프레임워크에서 위치 벡터 및 회전 행렬;
    표준 축-각도 표현에서 포즈의 3개의 각도들 및 위치 벡터의 3개의 요소들; 또는
    나선 축 표현 중 적어도 하나를 이용하여 표현되는 컴퓨터로 수행하는 방법.
  5. 제1항에 있어서,
    상기 위치 정보를 비교하는 단계는,
    상기 도구의 상기 위치 정보 및 상기 도구의 상기 포즈 정보를 상기 도구를 포함하는 로봇의 카메라의 상기 샘플 태스크 궤적에서 카메라 시야에 기반하는 좌표계로부터 상기 참조 태스크 궤적에 기반하는 좌표계 또는 세계 공간에 기반하는 좌표계 중 적어도 하나로 변환하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  6. 제1항에 있어서,
    상기 비교하는 단계는,
    상기 샘플 태스크 궤적 동안 상기 도구의 도구 축을 따라 라인에 의해 걸쳐진 표면적을 계산하는 단계; 및
    계산된 표면적을 상기 참조 태스크 궤적 동안 걸쳐진 대응하는 표면적과 비교하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  7. 제6항에 있어서,
    상기 표면적을 계산하는 단계는,
    시간 구간; 균등한 도구 팁 거리; 또는 균등한 각도 또는 포즈 분리 중 하나 또는 그 이상에 대해 샘플로 얻어진 라인에 의해 정의된 연속적인 사변형들의 면적의 합계를 산출하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  8. 제1항에 있어서,
    상기 위치 정보 및 상기 포즈 정보를 획득하는 단계는 상기 위치 정보 및 상기 포즈 정보의 중요성 또는 태스크 관련성을 탐지한 결과에 근거하여 상기 위치 정보 및 상기 포즈 정보를 필터링하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  9. 제8항에 있어서,
    상기 중요성 또는 태스크 관련성을 탐지한 결과는,
    시야 영역 밖의 상기 샘플 태스크 궤적의 일부를 감지한 결과; 또는
    태스크와 관계없는 상기 샘플 태스크 궤적의 일부를 식별한 결과 중 적어도 하나에 근거하는 컴퓨터로 수행하는 방법.
  10. 제1항에 있어서,
    상기 기술 평가 결과를 결정하는 단계는 상기 샘플 태스크 궤적을 상기 비교 결과에 근거하여 수술 로봇의 사용자에 대해 이진 기술 분류로 분류하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  11. 제1항에 있어서,
    상기 샘플 태스크 궤적에서 상기 도구의 속도 정보를 획득하는 단계; 및
    상기 샘플 궤적에서 상기 도구의 그리퍼 각도 정보를 획득하는 단계를 더 포함하되,
    상기 위치 정보 및 상기 포즈 정보를 비교하는 단계는,
    상기 속도 정보 및 그리퍼 각도 정보를 상기 참조 태스크 궤도에 대한 상기 도구의 참조 속도 정보 및 참조 그리퍼 각도 정보와 비교하는 단계를 더 포함하는 컴퓨터로 수행하는 방법.
  12. 사용자로부터 샘플 태스크 궤도에 대한 도구에 대한 동작 입력을 전송받도록 구성된 컨트롤러;
    전송된 동작 입력에 기반하여 화면을 출력하도록 구성된 디스플레이;
    상기 전송된 동작 입력에 기반하여 상기 샘플 태스크 궤적에서 상기 도구의 위치 정보를 획득하고,
    상기 전송된 동작 입력에 기반하여 상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하고,
    상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하고,
    비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하고, 그리고,
    상기 기술 평가 결과를 출력하도록 구성된 프로세서를 포함하는 샘플 태스크 궤도 분석 시스템.
  13. 상기 전송된 동작 입력에 기반하여 수술 태스크 동안 상기 샘플 태스크 궤적을 시뮬레이션하고 상기 샘플 태스크 궤적에 기반하여 상기 화면을 시뮬레이션하도록 구성된 시뮬레이터를 더 포함하는 샘플 태스크 궤도 분석 시스템.
  14. 제1항에 있어서,
    상기 포즈 정보는 상기 도구의 롤(roll), 피치(pitch) 및 요(yaw) 정보를 나타내는 컴퓨터로 수행하는 방법.
  15. 제12항에 있어서,
    상기 위치 정보를 비교하는 단계는,
    상기 도구의 상기 위치 정보 및 상기 도구의 상기 포즈 정보를 상기 도구를 포함하는 로봇의 카메라의 상기 샘플 태스크 궤적에서 카메라 시야에 기반하는 좌표계로부터 상기 참조 태스크 궤적에 기반하는 좌표계 또는 세계 공간에 기반하는 좌표계 중 적어도 하나로 변환하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  16. 제12항에 있어서,
    상기 비교하는 단계는,
    상기 샘플 태스크 궤적 동안 상기 도구의 도구 축을 따라 라인에 의해 걸쳐진 표면적을 계산하는 단계; 및
    계산된 일부 표면적을 상기 참조 태스크 궤적 동안 걸쳐진 대응하는 표면적과 비교하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  17. 제12항에 있어서,
    상기 위치 정보 및 상기 포즈 정보를 획득하는 단계는 상기 위치 정보 및 상기 포즈 정보의 중요성 또는 태스크 관련성을 탐지한 결과에 근거하여 상기 위치 정보 및 상기 포즈 정보를 필터링하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  18. 제12항에 있어서,
    상기 기술 평가 결과를 결정하는 단계는 상기 샘플 태스크 궤적을 상기 비교 결과에 근거하여 수술 로봇의 사용자에 대해 이진 기술 분류로 분류하는 단계를 포함하는 컴퓨터로 수행하는 방법.
  19. 제12항에 있어서,
    상기 샘플 태스크 궤적에서 상기 도구의 속도 정보를 획득하는 단계; 및
    상기 샘플 궤적에서 상기 도구의 그리퍼 각도 정보를 획득하는 단계를 더 포함하되,
    상기 위치 정보 및 상기 포즈 정보를 비교하는 단계는
    상기 속도 정보 및 그리퍼 각도 정보를 상기 참조 태스크 궤도에 대한 상기 도구의 참조 속도 정보 및 참조 그리퍼 각도 정보와 비교하는 단계를 더 포함하는 컴퓨터로 수행하는 방법.
  20. 처리 로직에 의해 실행 가능한 컴퓨터로 실행 가능한 인스트럭션들을 저장하는 하나 또는 그 이상의 유형의 비일시적인 컴퓨터로 판독가능한 저장 미디어로서,
    샘플 태스크 궤적에서 도구의 위치 정보를 획득하고,
    상기 샘플 태스크 궤적에서 상기 도구의 포즈 정보를 획득하고,
    상기 샘플 태스크 궤적에 대한 상기 위치 정보 및 상기 포즈 정보를 참조 태스크 궤적에 대한 상기 도구의 참조 위치 정보 및 참조 포즈 정보와 비교하고,
    비교 결과에 근거하여 상기 샘플 태스크 궤적에 대한 기술 평가 결과를 결정하고, 그리고,
    상기 샘플 태스크 궤적에 대한 상기 기술 평가 결과를 출력하기 위한 하나 또는 그 이상의 인스트럭션들을 저장하는 저장 미디어.
KR1020137032183A 2011-05-05 2012-05-07 태스크 궤적 분석을 위한 방법 및 시스템 KR20140048128A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161482831P 2011-05-05 2011-05-05
US61/482,831 2011-05-05
PCT/US2012/036822 WO2012151585A2 (en) 2011-05-05 2012-05-07 Method and system for analyzing a task trajectory

Publications (1)

Publication Number Publication Date
KR20140048128A true KR20140048128A (ko) 2014-04-23

Family

ID=47108276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032183A KR20140048128A (ko) 2011-05-05 2012-05-07 태스크 궤적 분석을 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US20140378995A1 (ko)
EP (1) EP2704658A4 (ko)
JP (1) JP6169562B2 (ko)
KR (1) KR20140048128A (ko)
CN (1) CN103702631A (ko)
WO (1) WO2012151585A2 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
CA3157649A1 (en) 2010-10-01 2012-04-05 Applied Medical Resources Corporation Portable laparoscopic trainer
US9990856B2 (en) * 2011-02-08 2018-06-05 The Trustees Of The University Of Pennsylvania Systems and methods for providing vibration feedback in robotic systems
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US9280386B1 (en) 2011-07-14 2016-03-08 Google Inc. Identifying task instance outliers based on metric data in a large scale parallel processing system
US9218753B2 (en) 2011-10-21 2015-12-22 Applied Medical Resources Corporation Simulated tissue structure for surgical training
KR101953187B1 (ko) 2011-12-20 2019-02-28 어플라이드 메디컬 리소시스 코포레이션 어드밴스드 수술 시뮬레이션
EP2880647A1 (en) 2012-08-03 2015-06-10 Applied Medical Resources Corporation Simulated stapling and energy based ligation for surgical training
CN109846553B (zh) 2012-09-17 2022-03-08 直观外科手术操作公司 针对远程操作的手术器械功能分配输入设备的方法和系统
US10535281B2 (en) 2012-09-26 2020-01-14 Applied Medical Resources Corporation Surgical training model for laparoscopic procedures
US10121391B2 (en) 2012-09-27 2018-11-06 Applied Medical Resources Corporation Surgical training model for laparoscopic procedures
US10679520B2 (en) 2012-09-27 2020-06-09 Applied Medical Resources Corporation Surgical training model for laparoscopic procedures
ES2871473T3 (es) 2012-09-27 2021-10-29 Applied Med Resources Modelo de entrenamiento quirúrgico para procedimientos laparoscópicos
JP2015532454A (ja) 2012-09-28 2015-11-09 アプライド メディカル リソーシーズ コーポレイション 腹腔鏡下手技用の外科用訓練モデル
EP3467805B1 (en) 2012-09-28 2020-07-08 Applied Medical Resources Corporation Surgical training model for transluminal laparoscopic procedures
US10631939B2 (en) 2012-11-02 2020-04-28 Intuitive Surgical Operations, Inc. Systems and methods for mapping flux supply paths
JP6066052B2 (ja) * 2012-11-30 2017-01-25 公立大学法人首都大学東京 ユーザビリティ評価システム、ユーザビリティ評価方法、及びユーザビリティ評価システム用のプログラム
EP2962291A1 (en) 2013-03-01 2016-01-06 Applied Medical Resources Corporation Advanced surgical simulation constructions and methods
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
EP2997562B1 (en) 2013-05-15 2019-10-30 Applied Medical Resources Corporation Hernia model
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
WO2014201422A2 (en) * 2013-06-14 2014-12-18 Brain Corporation Apparatus and methods for hierarchical robotic control and robotic training
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
CA2914952C (en) 2013-06-18 2022-07-26 Applied Medical Resources Corporation Gallbladder model
JP6517201B2 (ja) 2013-07-24 2019-05-22 アプライド メディカル リソーシーズ コーポレイション ファーストエントリーモデル
US10198966B2 (en) 2013-07-24 2019-02-05 Applied Medical Resources Corporation Advanced first entry model for surgical simulation
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
FR3016512B1 (fr) * 2014-01-23 2018-03-02 Universite De Strasbourg Dispositif d'interface maitre pour systeme endoscopique motorise et installation comprenant un tel dispositif
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
CN106028930B (zh) * 2014-02-21 2021-10-22 3D集成公司 包括手术器械的套件
KR102438168B1 (ko) 2014-03-26 2022-08-31 어플라이드 메디컬 리소시스 코포레이션 시뮬레이션된 절개가능 조직
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
ES2765731T3 (es) 2014-11-13 2020-06-10 Applied Med Resources Modelos y métodos de simulación de tejido
EP3508319A1 (en) 2015-02-19 2019-07-10 Applied Medical Resources Corporation Simulated tissue structures
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
EP3476343B1 (en) 2015-05-14 2022-12-07 Applied Medical Resources Corporation Synthetic tissue structures for electrosurgical training and simulation
US9918798B2 (en) 2015-06-04 2018-03-20 Paul Beck Accurate three-dimensional instrument positioning
JP6820281B2 (ja) 2015-06-09 2021-01-27 アプライド メディカル リソーシーズ コーポレイション 子宮摘出術モデル
EP3323122B1 (en) 2015-07-16 2020-09-02 Applied Medical Resources Corporation Simulated dissectable tissue
EP3326168B1 (en) 2015-07-22 2021-07-21 Applied Medical Resources Corporation Appendectomy model
EP4300467A3 (en) 2015-10-02 2024-04-03 Applied Medical Resources Corporation Hysterectomy model
AU2016358076A1 (en) 2015-11-20 2018-04-12 Applied Medical Resources Corporation Simulated dissectible tissue
WO2017098507A1 (en) * 2015-12-07 2017-06-15 M.S.T. Medical Surgery Technologies Ltd. Fully autonomic artificial intelligence robotic system
WO2017126313A1 (ja) * 2016-01-19 2017-07-27 株式会社ファソテック 生体質感臓器を用いる手術トレーニング及びシミュレーションシステム
WO2017173518A1 (en) * 2016-04-05 2017-10-12 Synaptive Medical (Barbados) Inc. Multi-metric surgery simulator and methods
CA3028980A1 (en) 2016-06-27 2018-01-04 Applied Medical Resources Corporaton Simulated abdominal wall
EP3538012A4 (en) * 2016-11-11 2020-07-15 Intuitive Surgical Operations Inc. TELE-OPERATED SURGICAL SYSTEM WITH INSTRUMENT CONTROL BASED ON THE COMPETENCE LEVEL OF SURGERY
AU2018220845B2 (en) 2017-02-14 2023-11-23 Applied Medical Resources Corporation Laparoscopic training system
US10847057B2 (en) 2017-02-23 2020-11-24 Applied Medical Resources Corporation Synthetic tissue structures for electrosurgical training and simulation
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
WO2019032582A1 (en) * 2017-08-10 2019-02-14 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR DISPLAYING INTERACTION POINTS IN A TELEOPERATIONAL SYSTEM
US10147052B1 (en) * 2018-01-29 2018-12-04 C-SATS, Inc. Automated assessment of operator performance
CN108447333B (zh) * 2018-03-15 2019-11-26 四川大学华西医院 一种腔镜手术剪裁操作考核方法
KR102571997B1 (ko) 2018-08-10 2023-08-29 카와사키 주코교 카부시키 카이샤 정보 처리 장치, 중개 장치, 시뮬레이트 시스템 및 정보 처리 방법
JP7281349B2 (ja) * 2018-08-10 2023-05-25 川崎重工業株式会社 遠隔操作システム
WO2020163263A1 (en) 2019-02-06 2020-08-13 Covidien Lp Hand eye coordination system for robotic surgical system
JP6982324B2 (ja) * 2019-02-27 2021-12-17 公立大学法人埼玉県立大学 手指操作支援装置及び支援方法
CN113840577A (zh) 2019-03-12 2021-12-24 直观外科手术操作公司 计算机辅助外科系统中用于用户输入机构的分层功能
US11497564B2 (en) * 2019-06-07 2022-11-15 Verb Surgical Inc. Supervised robot-human collaboration in surgical robotics
EP4014224A1 (en) * 2019-08-16 2022-06-22 Intuitive Surgical Operations, Inc. Auto-configurable simulation system and method
US11529737B2 (en) 2020-01-30 2022-12-20 Raytheon Company System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
JP7554909B2 (ja) * 2020-08-06 2024-09-20 キヤノン ユーエスエイ，インコーポレイテッド 医用連続体ロボットの作動方法
IT202000029786A1 (it) 2020-12-03 2022-06-03 Eng Your Endeavour Ltd Apparato per la valutazione dell’esecuzione di tecniche chirurgiche e relativo metodo
US20240261038A1 (en) * 2023-02-02 2024-08-08 Edda Technology, Inc. System and method for automated simultaneous trocar and robot base location determination

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5558091A (en) * 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US5882206A (en) * 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6459926B1 (en) * 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US8600551B2 (en) * 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
JP3660521B2 (ja) * 1999-04-02 2005-06-15 株式会社モリタ製作所 医療実習装置及び医療用実習評価方法
CA2556082A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US20110020779A1 (en) * 2005-04-25 2011-01-27 University Of Washington Skill evaluation using spherical motion mechanism
KR101258912B1 (ko) * 2005-06-06 2013-04-30 인튜어티브 서지컬 인코포레이티드 복강경의 초음파 로보트 수술 시스템
JP2007183332A (ja) * 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International 操作訓練装置
US20070207448A1 (en) * 2006-03-03 2007-09-06 The National Retina Institute Method and system for using simulation techniques in ophthalmic surgery training
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US8792688B2 (en) * 2007-03-01 2014-07-29 Titan Medical Inc. Methods, systems and devices for three dimensional input and control methods and systems based thereon
JP5543331B2 (ja) * 2007-04-16 2014-07-09 ニューロアーム サージカル リミテッド マニピュレータのツールの一軸に沿った移動を非機械的に制限および／またはプログラミングする方法、装置、およびシステム
US20130165945A9 (en) * 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
WO2009089614A1 (en) * 2008-01-14 2009-07-23 The University Of Western Ontario Sensorized medical instrument
US8386401B2 (en) * 2008-09-10 2013-02-26 Digital Infuzion, Inc. Machine learning methods and systems for identifying patterns in data using a plurality of learning machines wherein the learning machine that optimizes a performance function is selected
KR20110136847A (ko) * 2009-03-12 2011-12-21 헬스 리서치 인코포레이티드 최소 침습 수술 트레이닝 방법 및 시스템
CN105342705A (zh) * 2009-03-24 2016-02-24 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
WO2011108994A1 (en) * 2010-03-05 2011-09-09 Agency For Science, Technology And Research Robot assisted surgical training
US8460236B2 (en) * 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US8672837B2 (en) * 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US8764448B2 (en) * 2010-09-01 2014-07-01 Agency For Science, Technology And Research Robotic device for use in image-guided robot assisted surgical training
AU2012217654B2 (en) * 2011-02-15 2016-09-22 Conformis, Inc. Patient-adapted and improved articular implants, procedures and tools to address, assess, correct, modify and/or accommodate anatomical variation and/or asymmetry
WO2013020026A1 (en) * 2011-08-03 2013-02-07 Conformis, Inc. Automated design, selection, manufacturing and implantation of patient-adapted and improved articular implants, designs and related guide tools

Also Published As

Publication number Publication date
EP2704658A4 (en) 2014-12-03
WO2012151585A2 (en) 2012-11-08
EP2704658A2 (en) 2014-03-12
JP2014520279A (ja) 2014-08-21
CN103702631A (zh) 2014-04-02
JP6169562B2 (ja) 2017-07-26
US20140378995A1 (en) 2014-12-25
WO2012151585A3 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
KR20140048128A (ko) 태스크 궤적 분석을 위한 방법 및 시스템
KR101975808B1 (ko) 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
Zhang et al. Automatic microsurgical skill assessment based on cross-domain transfer learning
Guo et al. Machine learning–based operation skills assessment with vascular difficulty index for vascular intervention surgery
Davids et al. Automated vision-based microsurgical skill analysis in neurosurgery using deep learning: development and preclinical validation
Jog et al. Towards integrating task information in skills assessment for dexterous tasks in surgery and simulation
Menegozzo et al. Surgical gesture recognition with time delay neural network based on kinematic data
Long et al. Integrating artificial intelligence and augmented reality in robotic surgery: An initial dvrk study using a surgical education scenario
Nema et al. Surgical instrument detection and tracking technologies: Automating dataset labeling for surgical skill assessment
Stenmark et al. Vision-based tracking of surgical motion during live open-heart surgery
Mohaidat et al. Multi-Class Detection and Tracking of Intracorporeal Suturing Instruments in an FLS Laparoscopic Box Trainer Using Scaled-YOLOv4
Peng et al. Single shot state detection in simulation-based laparoscopy training
Fathabadi et al. Surgical skill training and evaluation for a peg transfer task of a three camera-based laparoscopic box-trainer system
Wang et al. Robot programming by demonstration with a monocular RGB camera
Fathabadi et al. Autonomous sequential surgical skills assessment for the peg transfer task in a laparoscopic box-trainer system with three cameras
Agrawal Automating endoscopic camera motion for teleoperated minimally invasive surgery using inverse reinforcement learning
Oropesa et al. Virtual reality simulators for objective evaluation on laparoscopic surgery: current trends and benefits
Nunes et al. The use of Triangulation as a tool for validation of data in qualitative research in Education
Mohaidat et al. A Hybrid YOLOv8 and Instance Segmentation to Distinguish Sealed Tissue and Detect Tools' Tips in FLS Laparoscopic Box Trainer
Sonsilphong et al. A development of object detection system based on deep learning approach to support the laparoscope manipulating robot (LMR)
Greene et al. dVPose: Automated Data Collection and Dataset for 6D Pose Estimation of Robotic Surgical Instruments
Speidel et al. Recognition of surgical skills using hidden Markov models
Hong et al. Laparoscopic instrument tip position estimation for visual and haptic guidance in the computer assisted surgical trainer
Weede et al. Movement analysis for surgical skill assessment and measurement of ergonomic conditions
Nagy et al. Autonomous Peg Transfer—a Gateway to Surgery 4.0

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid