KR20140012771A - 카메라 시스템 좌표계의 측정 및 변환 - Google Patents

카메라 시스템 좌표계의 측정 및 변환 Download PDF

Info

Publication number
KR20140012771A
KR20140012771A KR1020147000496A KR20147000496A KR20140012771A KR 20140012771 A KR20140012771 A KR 20140012771A KR 1020147000496 A KR1020147000496 A KR 1020147000496A KR 20147000496 A KR20147000496 A KR 20147000496A KR 20140012771 A KR20140012771 A KR 20140012771A
Authority
KR
South Korea
Prior art keywords
coordinate system
camera
camera system
determining
robot
Prior art date
Application number
KR1020147000496A
Other languages
English (en)
Other versions
KR101495011B1 (ko
Inventor
존 에이 테니
에릭 알 버드
후이 장
로버트 에프 바이로
Original Assignee
레스토레이션 로보틱스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레스토레이션 로보틱스, 인코포레이티드 filed Critical 레스토레이션 로보틱스, 인코포레이티드
Publication of KR20140012771A publication Critical patent/KR20140012771A/ko
Application granted granted Critical
Publication of KR101495011B1 publication Critical patent/KR101495011B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/10—Hair or skin implants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
    • G05B19/4086—Coordinate conversions; Other special calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Transplantation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑을 결정하거나, 로봇 좌표계 및 로봇 시스템 좌표계 사이의 변환을 결정 및/또는 카메라 좌표계 안의 도구 장소에 기반하여 로봇 팔로부터 연장되는 도구를 로봇 좌표계 안에 배치하는 시스템 및 방법이 개시된다. 개시된 시스템 및 방법은 하나 이상의 이미지에서 발견된 형상의 좌표로부터 유도된 변환을 사용할 수 있다. 변환은 모발 채취 및/또는 모발 이식을 위한 이미지 유도 로봇 시스템과 같은 로봇 시스템을 포함하는 카메라 시스템의 측정을 용이하게 하는 다양한 좌표계를 상호연결하기 위해 사용될 수 있다.

Description

카메라 시스템 좌표계의 측정 및 변환{CALIBRATION AND TRANSFORMATION OF A CAMERA SYSTEM'S COORDINATE SYSTEM}
본 발명은 로봇 시스템과 같은 일반적으로 자동화된 시스템에 관한 것으로, 특히 이미지 추적 로봇 시스템의 카메라 시스템을 측정하기 위한 시스템 및 방법에 관한 것이다.
로봇 팔 위에 탑재된 도구, 검사 유닛, 또는 다른 디바이스를 갖는 이동식 로봇 팔을 포함하는 로봇 시스템과 같은, 로봇 시스템은 한 자세에서 다른 자세로 로봇 팔을 배치하기 위한 추적 시스템을 일반적으로 포함한다. 일반적으로 이미지 유도 로봇 시스템은 특정 애플리케이션에서 하나 이상의 카메라에 의해 얻을 수 있는 처리된 이미지에 적어도 부분적으로 기반하여 로봇 팔을 배치한다. 이미지 추적 로봇 시스템을 정확하게 배치하는 것을 돕기 위해서는, 측정을 수행하는 것이 바람직하다. 이러한 측정 절차의 예가, 예를 들어, Bodduluri 등의 미국특허공개번호 2007/0106306의 도4를 참고로 기재된다.
본 발명의 목적은 이미지 추적 시스템의 정확한 배치를 위한 측정을 수행하는 시스템 및 방법을 제공하는 것이다.
일 실시예에서, 제 1 카메라 시스템의 좌표계 및 제 2 카메라의 좌표계 사이의 매핑을 결정하기 위한 방법이 제공되는데, 여기에서 제 1 및 제 2 카메라 시스템은 적어도 부분적으로 오버랩하는 시계(field of view)를 갖고, 제 1 및 제 2 카메라 시스템은 고정된 공간적 연관성을 갖는다. 이 방법은 하나 이상의 프로세서를 사용하여, 좌표를 제 1 및 제 2 카메라 시스템으로부터의 대응하는 이미지 쌍에서 발견된 한 세트의 형상의 제 1 및 제 2 카메라 시스템 좌표계 모두에서 결정하여, 제 1 카메라 시스템 좌표계의 제 1 세트의 형상 좌표 및 제 2 카메라 시스템 좌표계의 대응하는 제 2 세트의 좌표를 얻어내는 단계와, 제 1 및 제 2 세트의 형상 좌표에 기반하여, 동일한 하나 이상의 프로세서 중 하나 또는 다른 프로세서를 사용하여, 제 1 및 제 2 카메라 시스템 좌표계 사이의 매핑을 결정하는 단계를 포함한다. 이 방법은 제 1 및 제 2 카메라 시스템 좌표계 사이의 좌표를 변환하기 위해 나중에 사용하도록 메모리 안에 이 매핑을 저장할 수 있다. 일부 실시예에서 이 방법은 각각의 제 1 및 제 2 카메라 시스템으로부터 대응하는 다수의 이미지를 선택적으로 포착, 수신, 또는 인정할 수 있다.
다른 실시예에서, 제 1 세트의 이미지 안의 한 세트의 형상에 대한 제 1 카메라 시스템의 좌표계에서 좌표를 결정하도록 구성된 하나 이상의 프로세서를 포함하여, 제 1 카메라 시스템의 좌표계 안의 제 1 세트의 형상 좌표를 얻어내고, 제 2 세트의 이미지 안의 한 세트의 형상에 대한 제 2 카메라 시스템의 좌표계에서 좌표를 결정하고, 제 2 세트의 이미지 안의 형상은 제 1 세트의 이미지 안의 한 세트의 형상과 대응하여, 제 2 카메라 시스템의 좌표계에서 제 2 세트의 형상 좌표를 얻어내고, 제 1 및 제 2 세트의 형상 좌표에 기반하여 제 1 및 제 2 카메라 시스템의 좌표계 사이의 변환을 계산하는 시스템이 제공된다. 이 시스템은 제 1 및 제 2 카메라 시스템 좌표계 사이의 좌표를 변환하기 위해 나중에 사용하도록 메모리 안에 매핑을 저장할 수 있다. 단일 프로세서가 열거된 모든 동작을 수행할 수 있다. 일부 실시예에서, 이 시스템은, 제 1 시계를 갖고 제 1 세트의 이미지를 포착하도록 구성된 제 1 카메라 시스템과, 제 2 시계를 갖고 제 1 세트의 이미지에 대응하는 제 2 새트의 이미지를 포착하도록 구성된 제 2 카메라 시스템을 포함하고, 여기에서 제 1 및 제 2 카메라 시스템은 서로에 대해 고정된 자세에 배치되고, 제 1 및 제 2 시계는 적어도 부분적으로 오버랩된다.
또 다른 실시예에서, 각각의 제 1 및 제 2 카메라 시스템은 스테레오 카메라쌍을 포함한다. 또 다른 실시예에서, 제 1 및 제 2 카메라 시스템은 그들의 시계의 사이즈가 다르다. 또 다른 실시예에서, 제 1 및 제 2 카메라 시스템은 로봇 시스템, 예를 들어 모발 채취 및/또는 이식용 로봇 시스템의 일부일 수 있는 로봇 팔에 탑재된다. 또 다른 실시예에서, 이미지들은 거의 동시에 포착(capture), 수신 또는 인정될 수 있다. 또 다른 실시예에서, 이 형상은 측정 형상이며, 장기판 모서리, 도트 패턴, 또는 무게중심(centroid)으로 구성되는 하나 이상의 그룹으로부터 선택될 수 있다.
또 다른 실시예에서, 각각의 제 1 및 제 2 카메라 시스템으로부터의 대응하는 이미지의 수는 m이고, 제 1 카메라 시스템으로부터의 j번째 이미지와 제 2 카메라 시스템으로부터의 j번째 이미지는 j=1,...m.에 대해 서로에 대응하고, 그 좌표가 각각의 이미지에서 결정되는 형상의 수는 n이고, 제 1 카메라 시스템의 좌표 시스템에서 결정된 제 1 세트의 좌표는 {v1jk}이고, 제 2 카메라 시스템의 좌표 시스템에서 결정된 제 2 세트의 좌표는 {v2jk}이며, j는 이미지 1...m 중에서 j번째 이미지에 대한 색인이며, k는 j번째 이미지안의 형상 1...n 중에서 k번째 형상에 대한 색인이다. 일부 실시예에서, m≥1이고 n≥2이며, mn≥6이다. 일실시예에 따르면, m=48이고 n=6이다.
또 다른 실시예에서, 매핑은 제 2 좌표계로부터 제 1 좌표계로 좌표를 변환하는 변환행렬 Ｑ이고, 매핑을 발견하는 단계는 양
Figure pct00001
을 적어도 거의 최소화하여
Figure pct00002
가 되도록 하는 행렬 Ｑ를 발견하는 단계를 포함하는데, 여기에서 d는 거리 함수이고,
Figure pct00003
및
Figure pct00004
는 제 1 및 제 2 카메라 시스템 좌표계안의 좌표의 벡터이다. 추가적으로, 일부 실시예에서 Ｑ는 4x4 행렬이고, 좌표의 벡터는 다음과 같은 형태:
Figure pct00005
이다. 게다가, 일부 실시예에서, 거리 함수 d는
Figure pct00006
이다. 또한, 변환 행렬 Ｑ를 발견하는 것은 최적화 기술을 사용하는 것을 포함한다.
또 다른 실시예에서, 제 1 카메라 시스템 좌표계 및 제 2 카메라 좌표계 사이의 매핑을 결정하기 위한 장치가 제공된다. 제 1 및 제 2 카메라 시스템은 적어도 부분적으로 오버랩되는 시계를 갖고 제 1 및 제 2 카메라 시스템이 고정된 공간적 연관성을 갖는다. 이 장치는 제 1 및 제 2 카메라 시스템으로부터의 대응 이미지 쌍에서 발견된 한 세트의 형상의 제 1 및 제 2 카메라 시스템 좌표계 모두에서 좌표를 결정하여, 제 1 카메라 시스템 좌표계의 제 1 셋의 형상 좌표 및 제 2 카메라 시스템 좌표계의 대응하는 제 2 셋의 좌표를 얻어내기 위한 수단과, 제 1 및 제 2 셋의 형상 좌표에 기반하여 제 1 및 제 2 카메라 시스템 좌표계 사이의 매핑을 결정하기 위한 수단을 포함한다. 일부 실시예에서, 이 장치는 각각의 제 1 및 제 2 카메라 시스템으로부터 다수의 대응 이미지를 포착하기(capturing) 위한 수단을 추가로 포함한다.
다른 실시예에서, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 방법이 제공되는데, 여기에서 로봇은 그 위에 탑재된 카메라 시스템을 갖는 이동식 팔을 포함하고, 로봇 좌표계는 이동식 팔의 자세를 규정하고, 카메라 시스템 좌표계는 카메라 시스템의 시계 내의 목표물의 자세를 규정한다. 이 방법은 이동식 팔을 목표물에 대해 다수의 이미지 포착 자세에 배치하여, 목표물이 개별적인 이미지 포착 자세에서 카메라 시스템의 시계 내에 존재하고, 이동식 팔이 목표물에 대해 회전하고, 하나의 이미지 포착 자세로부터 다른 이미지 포착 자세로 목표물에 대해 옮겨지도록 하는 단계, 개별적인 이미지 포착 자세에서, 카메라 시스템을 사용하여 목표물의 이미지 셋을 포착하는 단계 및 로봇 좌표계에서 이동식 팔의 자세를 기록하는 단계, 카메라 시스템 좌표계에서 이미지 셋에서 식별된 목표물의 한 세트의 측정 형상의 좌표를 결정하는 단계, 및 개별적인 이미지 포착 자세에서 측정 형상 셋의 좌표 및 이동식 팔의 자세에 기반하여 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하는 단계를 포함한다.
로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 방법의 일부 실시예에서, 목표물에 대해 이동식 팔을 배치하는 단계, 목표물의 이미지 셋을 포착하는 단계, 이동식 팔의 자세를 기록하는 단계, 측정 형상 셋의 좌표를 결정하는 단계 및 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하는 단계는 자동으로 수행된다. 또 다른 실시예에서, 이동식 팔은 모낭 유닛 채취 도구, 모낭 유닛 이식 도구, 또는 둘 모두의 위에 탑재되고, 이 로봇은 모낭 유닛, 이식 모낭 유닛, 또는 둘 모두를 채취하도록 구성된다.
이 방법의 또 다른 실시예는 신체 표면의 이미지 안의 모낭 유닛 자세를, 카메라 시스템 좌표계에서, 식별하는 단계, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 및 카메라 시스템 좌표계 안의 모낭 유닛 자세에 기반하여 모낭 유닛의 자세를, 로봇 좌표계안에서, 결정하는 단계, 로봇 좌표계 안의 모낭 유닛의 자세에 기반하여 모낭 유닛에 인접하게 이동식 팔을 배치하여 모낭 유닛이 모낭 유닛 채취 또는 이식 도구를 사용하여 채취 또는 이식되도록 하는 단계를 추가로 포함한다.
다른 실시예에서, 시스템이 제공된다. 이 시스템은 이동식 팔의 자세를 규정하는 좌표계를 갖는 이동식 팔, 이동식 팔 위에 탑재된 카메라 시스템, 한 세트의 이미지와 같은 하나 이상의 이미지를 포착하도록 구성되고, 카메라 시스템의 시계 내에 목표물의 자세를 규정하는 좌표계를 갖는 카메라 시스템, 이동식 팔에 작동가능하게 결합된 컨트롤러를 포함하고, 이 컨트롤러는 목표물에 대해 다수의 이미지 포착 자세에 이동식 팔을 배치하도록 구성되어 개별적인 이미지 포착 자세에서 목표물이 카메라 시스템의 시계 내에 존재하고 이동식 팔이 목표물에 대해 회전하고 하나의 이미지 포착 자세에서 다른 이미지 포착 자세로 목표물에 대해 옮겨진다. 이 시스템은 메모리, 카메라 시스템, 컨트롤러 및 메모리에 작동가능하게 결합된 프로세서를 추가로 포함한다. 이 프로세서는, 개별적인 이미지 포착 자세에서, 카메라 시스템을 사용하여 목표물의 한 세트의 이미지를 카메라 시스템이 포착하도록 하고, 개별적인 이미지 포착 자세에서, 이미지 셋에서 식별된 목표물의 측정 형상 셋의 좌표를, 카메라 시스템 좌표계에서, 결정하도록 구성된다. 이 프로세서는 이동식 팔의 좌표계 안의 이동식 팔의 자세를 메모리에 저장하고, 이동식 팔의 좌표계 및 카메라 시스템 좌표계 사이의 변환을, 개별적인 이미지 포착 자세에서 측정 형상 셋의 좌표와 이동식 팔의 자세에 기반하여, 결정하도록 추가로 구성된다. 특정 실시예에서, 이 프로세서는 이동식 팔 좌표계 안의 이동식 팔의 자세를 결정하기 위해 개별적인 이미지 포착 자세에서 컨트롤러를 조사(interrogate)할 수 있고, 이미지 셋안에서 식별된 목표물의 측정 형상 셋의 좌표를, 카메라 시스템 좌표계 안에서, 결정하기 위해 개별적인 이미지 포착 자세에서 카메라 시스템에 대해 문의(query)할 수 있다. 게다가, 이 컨트롤러는 이동식 팔을 목표물에 대해 배치할 수 있고 프로세서는 카메라 시스템이 목표물의 이미지 셋을 포착하고 측정 형상 셋의 좌표를 결정하고 이동식 팔의 자세를 저장하고, 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 변환을 사용자의 간섭없이 자동으로 결정하도록 한다.
이 시스템의 또 다른 실시예에서, 이동식 팔은 모낭 유닛 채취 도구, 모낭 유닛 이식 도구, 또는 둘 모두 위에 탑재되고, 시스템은 모낭 유닛 채취, 모낭 유닛 이식, 또는 둘 모두를 하도록 구성된 로봇 시스템을 포함한다. 일부 실시예에서, 프로세서는 카메라 시스템이 신체 표면의 이미지를 포착하고, 신체 표면 이미지 안의 모낭 유닛의 자세를 카메라 시스템 좌표계에서 식별하고, 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 변환 및 카메라 시스템 좌표계 안의 모낭 유닛의 자세에 기반하여 모낭 유닛의 자세를 이동식 팔 좌표계에서 결정하게 하고, 이동식 팔 좌표계 안의 모낭 유닛 자세에 기반하여 모낭 유닛에 인접하게 컨트롤러가 이동식 팔을 배치하도록 추가로 구성되어 모낭 유닛이 모낭 유닛 채취 도구 또는 이식 도구를 사용하여 채취되거나 이식될 수 있다.
또 다른 실시예에서, 목표물의 자세는 고정되며, 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 변환을 위한 값을 반복적으로 선택하고, (A) 및 (B) 사이의 차이를 최소화하는 변환용 값을 결정하기 위해 (A) 변환을 위해 선택된 값의 곱, 이동식 팔의 자세, 하나의 이미지 포착 자세에서 측정 형상의 좌표 및(B) 변환을 위해 선택된 값의 곱, 이동식 팔의 자세, 다른 이미지 포착 자세에서 대응하는 측정 형상의 좌표를 비교함으로써 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 변환이 결정된다(예를 들어 프로세서에 의해).
또 다른 실시예에서, 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 변환은 변환 행렬(T)을 포함하고, 변환은 수량
Figure pct00007
을 적어도 대체로 최소화하는 변환 행렬(T)을 발견함으로써 결정되는데(예를 들어, 프로세서에 의해), 여기에서 i 및 j는 개별적인 이미지 포착 자세의 상이한 거리에 해당하고, i는 2에서 m까지의 값을 갖고, i는 1에서 (i-1)까지의 값을 갖고, k는 측정 형상 셋의 개별적인 측정 형상에 대응하고 1에서 n까지의 값을 갖고, Ri는 개별적인 이미지 포착 자세(i)에서 이동식 팔의 자세, vik는, 카메라 시스템 좌표계에서 결정된, i 번째 이미지 포착 자세에서 k 번째 측정 형상의 좌표이고, Rj는 개별적인 이미지 포착 자세 j 에서 이동식 팔의 자세이고, vjk는, 카메라 시스템 좌표계에서 결정된, j 번째 이미지 포착 자세에서 k 번째 측정 형상의 좌표이다.
특정 실시예에서, 이동식 팔의 자세는
Figure pct00008
형태의 이동식 팔 자세 변환 행렬(R)을 포함할 수 있는데, 여기에서 부분행렬
Figure pct00009
은 이동식 팔의 방향을 기준 방향으로 연관시키는 직각회전을 나타내고 부분행렬
Figure pct00010
은 이동식 팔의 자세와 기준 자세 사이의 오프셋(offset)을 나타내고, 개별적인 측정 형상의 좌표는
Figure pct00011
형태의 배열을 포함할 수 있고, 변환 행렬(T)은
Figure pct00012
형태의 행렬을 포함할 수 있으며, 여기에서 부분 행렬
Figure pct00013
은 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 회전 관계를 나타내고 3개의 회전 오프셋α,β 및 γ로부터 유도되고 부분행렬
Figure pct00014
은 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 이동 오프셋(x, y, z)을 나타낸다.
변환 행렬(T)는 6개의 독립값을 포함할 수 있는데, 그중 3개는 이동 오프셋( x, y, z)이고 다른 세 개는 회전 오프셋 α,β 및 γ이며, 6개의 독립 값은 최적화 알고리즘을 사용하여 결정된다. 또 다른 실시예에서. 로봇 좌표계와 카메라 시스템 좌표계 사이의 변환은 예를 들어 최급강하(steepest descent) 최적화 알고리즘, 및/또는 모의 어닐링(simulated annealing) 알고리즘 및/또는 최적합(best fit) 알고리즘을 포함하는 최적화 알고리즘을 사용하여 결정된다. 개별적인 이미지 포착 자세는 목표물과 거의 일치하는 중심점을 갖는 구상에 대체로 놓여있을 수 있고 이동식 팔은 하나의 이미지 포착 자세로부터 다른 이미지 포착 자세로 목표물에 대해 방사상으로 이동할 수 있다.
일 실시예에서 카메라 시스템은 이동식 팔에 탑재된 각각의 제 1 및 제 2 스테레오 카메라 쌍을 포함하는데, 제 1 스테레오 카메라 쌍은 제 1 시계의 이미지를 얻기 위해 초점을 맞추고 제 1 시계의 이미지를 얻도록 구성되고, 제 2 스테레오 카메라 쌍은 제 2 시계의 이미지를 얻기 위해 초점을 맞추고 제 1 시계보다 대체로 좁은 제 2 시계의 이미지를 얻도록 구성되고, 제 1 및 제 2 시계는 적어도 부분적으로 오버랩되고, 이동식 팔 좌표계 및 카메라 시스템 좌표계 사이의 변환은 최적화 알고리즘을 사용하여 제 1 스테레오 카메라 쌍에 대한 제 1 변환을 결정하고 최적화 알고리즘을 사용하여 제 2 스테레오 카메라 쌍에 대한 제 2 변환을 결정함으로써 결정된다(예를 들어 프로세서에 의해). 게다가, 제 1 스테레오 카메라 쌍의 좌표계안의 좌표를 제 2 스테레오 카메라 쌍의 좌표계로 매핑하는 변환 행렬(Q)이 결정된다(예를 들어 프로세서에 의해).
다른 실시예에서, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템이 제공되는데, 여기에서 로봇은 그 위에 탑재된 카메라를 갖는 이동식 팔을 포함하고, 로봇 좌표계는 이동식 팔의 자세를 규정하고, 카메라 시스템 좌표계는 카메라 시스템의 시계 내의 목표물의 자세를 규정한다. 이 시스템은 다수의 이미지 포착 자세로 목표물에 대하여 이동식 팔을 배치하기 위한 수단으로 목표물은 개별적인 이미지 포착 자세에서 카메라 시스템의 시계 내에 존재하고 이동식 팔은 목표물에 대하여 회전하고 하나의 이미지 포착 자세로부터 다른 이미지 포착 자세로 목표물에 대해 이동하도록 하는 수단, 카메라 시스템을 이용하여 함 세트의 목표물 이미지를, 개별적인 이미지 포착 자세에서, 포착하기 위한 수단, 이동식 팔의 자세를 로봇 좌표계 안에 기록하기 위한 수단, 이미지 셋에서 식별된 목표물의 한 세트의 측정 형상의 좌표를 카메라 시스템 좌표계에서 결정하기 위한 수단, 및 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을, 개별적인 이미지 포착 자세에서 측정 형상 셋의 좌표와 이동식 팔의 자세에 기반하여, 결정하기 위한 수단을 포함한다.
다른 실시예에서, 그 위에 저장된 명령을 갖는 컴퓨터 판독가능 매체가 제공된다. 명령은 로봇의 이동식 팔이 다수의 이미지 포착 자세에 목표물 가까이에 배치되도록 하는 명령으로, 목표물이 개별적인 이미지 포착 자세에서 이동식 팔에 탑재된 카메라 시스템의 시계 내에 존재하고 이동식 팔이 목표물에 대하여 회전하고 하나의 이미지 포착 자세로부터 다른 이미지 포착 자세로 목표물에 대해 이동하도록 하는 명령, 카메라 시스템이 개별적인 이미지 포착 자세에서 목표물의 한 세트의 이미지를 포착하도록 하는 명령, 이동식 팔의 자세를 로봇 좌표계에 기록하기 위함 명령, 이미지 셋에서 식별된 목표물의 한 세트의 측정 형상의 좌표를 카메라 시스템 좌표계 안에서 결정하기 위한 명령, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을, 개별적인 이미지 포착 자세에서 측정 형상 셋의 좌표 및 이동식 팔의 자세에 기반하여, 결정하기 위한 명령을 포함한다.
다른 실시예에서, 로봇의 팔로부터 연장되는 도구를 로봇 좌표계에 정하기 위한 방법이 제공된다. 이 방법은 도구의 카메라 시스템 좌표계 안의 자세를 이미지 데이터로부터 결정하는 단계, 및 사전 결정된 변환을 사용하여 카메라 시스템 좌표계로부터 로봇 좌표계로 도구의 자세를 이동시키는 단계를 포함한다.
일부 실시예에서, 이 방법은 이미지 데이터를 포착하는 단계를 포함한다. 또 다른 실시예에서, 이미지 데이터는 한 쌍의 이미지를 포함하고, 결정하는 단계는 카메라 시스템의 시계 내의 도구의 측면에 대응하는 제 1 및 제 2 주변 측벽 에지 세그먼트들을 이미지 데이터로부터 검출하는 단계, 검출된 제 1 및 제 2 주변 측벽 에지 세그먼트들 사이의 평균에 기반하여 중심선을 계산하는 단계, 및 중심선을 따라 도구의 말단부의 자세를 카메라 시스템 좌표계 안에 정하는 단계를 포함한다. 일부 실시예에서, 중심선은 제 1 및 제 2 주변 측벽 에지 세그먼트들 사이에 구성된 각을 이등분한다. 특정 실시예에서, 이 도구는 모낭 채취를 수행하기 위한 펀티 또는 바늘을 포함할 수 있다.
특정 실시예에서, 검출하는 단계는 제 1 및 제 2 데이터 천이 셋을 구축하기 위해 이미지 데이터의 개별적인 행에 제 1 및 제 2 데이터 천이를 정하는 단계, 각각의 제 1 및 제 2 데이터 천이 셋으로부터 회귀(regression)를 수행함으로써 제 1 및 제 2 주변 측벽 에지 세그먼트를 산출하는 단계를 포함하고, 정하는 단계는, 말단부 데이터 천이의 자세가 카메라 시스템 좌표계의 말단부의 공간적 자세를 나타내도록, 중심선을 따라 이미지 데이터 안에 말단부 데이터 천이를 정하는 단계를 포함한다.
단일의 바늘, 펀치 또는 캐뉼러(cannula)를 포함하는 다양한 도구. 또는 다양한 구조의 도구 어셈블리가 상이한 실시예에서 사용될 수 있다. 일부 실시예에서, 제 1 및 제 2 데이터 천이는 이미지 데이터의 하나 이상의 대비, 세기, 색상, 또는 휘도 천이를 포함할 수 있고, 결정하는 단계는 도구의 말단부가 이미지 데이터 내의 고유값, 예를 들어 이미지 데이터 내의 고유 색상으로 표시되도록 이미지 데이터를 처리하는 단계를 추가로 포함할 수 있다. 일부 실시예에서, 검출하는 단계는, 말단부가 제 1 고유 색상에 의해 표시되고 배경 형상이 제 1 고유 색상에 의해 표시되도록 이미지 데이터를 이진화하는 단계를 추가로 포함할 수 있다. 일부 실시예에서, 회귀는 각각의 제 1 및 제 2 데이터 천이 셋을 거의 연결하는 최적화 알고리즘 또는 최소제곱법(least-squares fit)을 포함한다.
다른 실시예에서, 로봇의 팔로부터 연장되는 도구를 로봇 좌표계에 정하도록 구성된 시스템이 제공된다. 이 시스템은 도구의 카메라 시스템 좌표계 안의 자세를 이미지 데이터로부터 결정하고, 사전결정된 변환을 사용하여 카메라 시스템 좌표계로부터 로봇 좌표계로 도구의 자세를 이동시키도록 구성된 하나 이상의 프로세서를 포함할 수 있다.
일부 실시예에서, 이 시스템은 좌표계를 갖는 카메라 시스템을 포함하고, 이 카메라 시스템은 이미지 데이터를 포착하도록 구성된다. 또 다른 실시예에서, 이미지 데이터는 한 쌍의 이미지를 포함하고, 하나 이상의 프로세서는 카메라 시스템의 시계 내의 도구의 측면에 대응하는 제 1 및 제 2 주변 측벽 에지 세그먼트를 이미지 데이터로부터 검출하고, 검출된 제 1 및 제 2 주변 측벽 에지 세그먼트들 사이의 평균에 기반하여 중심선을 계산하고, 중심선을 따라 도구의 말단부의 공간적 자세를 카메라 시스템 좌표계 안에 정함으로써 자세를 결정하도록 추가로 구성된다. 일부 실시예에서, 중심선은 제 1 및 제 2 주변 측벽 에지 세그먼트 사이에 구성된 각을 이등분한다.
일부 실시예에서, 하나 이상의 프로세서는 제 1 및 제 2의 데이터 천이 셋을 설정하기 위해 이미지 데이터의 개별적인 행 안에 제 1 및 제 2 데이터 천이를 정하고, 각각의 제 1 및 제 2의 데이터 천이 셋으로부터의 회귀를 수행함으로써 제 1 및 제 2 주변 측벽 에지 세그먼트를 산출함으로써 도구의 제 1 및 제 2 주변 측벽 에지 세그먼트를 검출하고, 말단부 데이터 천이의 자세가 카메라 시스템 좌표계의 말단부의 공간적 자세를 나타내도록 중심선을 따라 이미지 데이터 안에 말단부 데이터 천이를 정함으로써 도구의 말단부의 자세를 정하도록 추가로 구성된다.
일부 실시예에서 하나 이상의 프로세서는 사전결정된 임계값을 초과하는 각각의 제 1 및 제 2 초기 주변 측벽 에지 세그먼트로부터 거리를 갖는 제 1 및 제 2 데이터 천이를 제 1 및 제 2 데이터 천이 셋으로부터 제외함으로써 도구의 제 1 및 제 2 주변 측벽 에지 세그먼트를 검출하도록 추가로 구성될 수 있다. 특정 실시예에서, 하나 이상의 프로세서는 각각의 제 1 및 제 2 데이터 천이 셋으로부터의 회귀를 수행함으로써 제 1 및 제 2 주변 측벽 에지 세그먼트를 재산출하도록 추가로 구성될 수 있고, 말단부 데이터 천이는 상이한 지점까지 연장되거나 상이한 지점으로부터 후퇴하는 경우(예를 들어 대략적으로 사전결정된 피부면 거리만큼), 채취 도구와 같은 도구의 말단부에 대응한다.
다른 실시예에서, 로봇의 팔로부터 연장되는 도구를 로봇 좌표계 안에 정하기 위한 시스템이 제공된다. 시스템은 도구의 카메라 시스템 좌표계안의 자세를 이미지 데이터로부터 결정하기 위한 수단, 및 사전결정된 변환을 사용하여 카메라 시스템 좌표계로부터 로봇 좌표계로 도구의 자세를 이동시키기 위한 수단을 포함한다. 또한 시스템은 이미지 데이터를 포착하기 위한 수단을 포함한다.
다른 실시예에서, 카메라 시스템안의 카메라의 배율 또는 상대적 자세를 식별하기 위한 방법이 제공된다. 이 방법은 개별적인 카메라가 적어도 하나의 기준을 관찰할 수 있도록 카메라 시스템 시계안에 기준을 갖는 플래카드를 놓는 단계, 카메라 시스템안의 개별적인 카메라로부터 기준을 나타내는 이미지 데이터를 수신하는 단계, 및 이미지 데이터안의 기준 표시에 기반하여 개별적인 카메라를 특징짓는 단계를 포함한다.
본 발명에 따르는 시스템 및 방법은 하나 이상의 이미지에서 발견된 형상의 좌표로부터 유도된 변환을 사용할 수 있으며, 이 변환은 모발 채취 및/또는 모발 이식을 위한 이미지 유도 로봇 시스템과 같은 로봇 시스템을 포함하는 카메라 시스템의 측정을 용이하게 하는 다양한 좌표계를 상호연결하기 위해 사용될 수 있어, 로봇 팔로부터 연장되는 도구를 로봇 좌표계 안에 정확하게 배치할 수 있다.
도1은 일 실시예에 따라, 목표 위치에서 말단 장치(end effector) 도구 어셈블리를 배치 및 배향하기 위한 이동식 팔을 포함하는 이미지 유도 로봇 시스템의 도표이다.
도2는 도1의 이동식 팔에 고정되고, 팔과 부착된 말단 장치 도구 아셈블리의 움직임을 유도하기 위한 다수의 시계로부터 이미지 데이터를 포착하는데 사용되는 제 1 및 제 2 스테레오 카메라 쌍을 보여주는 확대도이다.
도3은 일 실시예에 따라, 모낭 유닛 채취, 수용부 절개, 및 이식편 삽입(graft placement)용 말단 장치 도구의 단면도이다.
도4a는 도구 프레임과 고정계 고유 프레임 사이의 관계 및 시스템의 동작 부품을 예시하는 이미지 유도 로봇 시스템의 도표이다.
도4b는 제 1 및 제 2 카메라 시스템 좌표계와 로봇 좌표계사이의 관계를 예시하는 블록도이다.
도5는 일 실시예에 따라, 로봇 모발 이식 기계의 일부로서 구현될 수도 있는, 기계 시각 서브시스템(machine vision subsystem)의 블록도이다.
도6은 다른 실시예에 따라, 로봇식 모발 이식 기계의 일부로서 구현될 수도 있는, 기계 시각 서브시스템의 블록도이다.
도7a-7c는 다양한 예의 측정 형상을 예시하는 도면이다.
도8은 일 실시예에 따라, 로봇 좌표계 및 카메라 좌표계 사이의 변환을 결정하기 위한 방법의 흐름도이다.
도9는 모발 적출/이식 수술동안 말단장치 도구 어셈블리를 배치하기 위해 도8에 예시된 방법에 의해 결정된 변환을 사용하기 위한 방법의 예를 나타내는 흐름도이다.
도10a는 일 실시예에 따라, 카메라 시스템 사이의 좌표 변환을 결정하기 위한 방법의 흐름도이다.
도10b는 제 1 및 제 2 카메라 시스템 사이의 좌표 변환, 제 1 카메라 시스템 및 로봇 좌표계 사이의 좌표 변환, 제 2 카메라 시스템 및 로봇 좌표계 사이의 좌표 변환을 예시하는 블록도이다.
도11은 일 실시예에 따라, 카메라 시스템 사이의 좌표를 변환하기 위한 방법의 흐름도이다.
도12는 예를 들어 다수의 카메라 시스템을 갖는 이미지 유도된 로봇 시스템을 사용하고 기계 시각 작용을 사용하여 정할 수 있는 형상을 예시하는 말단 장치 도구 어셈블리의 예이다.
도13은 기계 시각 작용을 사용하여 위치에 대해 연장되는, 말단 장치의 바늘 선단(tip)의 이미지이다.
도14는 일 실시예에 따라, 로봇 좌표계안에 말단 장치 도구를 정하기 위한 방법의 흐른도이다.
도15는 일 실시예에 따라, 도구, 예를 들어 도12에 보이는 도구의 형상을 정하고 검출함으로써 카메라 좌표계안에서 말단 장치 도구의 위치를 결정하기 위한 방법의 흐름도이다.
도16은 일 실시예에 따라, 데이터 천이를 정하고 회귀를 산출함으로써 카메라 좌표계안의 말단장치 도구의 측벽 에지 세그먼트를 겁출하기 위한 방법의 흐름도이다.
도17a 및 17b는 연장된 말단 장치 도구의 각각의 처리되지 않고 이진화된 이미지이다.
도18a 및 18b는 빠져나온 말단장치 도구의 각각의 처리되지 않고 이진화된 이미이다.
도19는 말단장치 도구의 측벽 에지 세그먼트를 검출하기 위한 다른 방법의 흐름도이다.
도20은 일 실시예에 따라, 연장되고 빠져나오는 조건에서 도구의 이미지 데이터를 사용함으로써 말단장치 도구의 말단부를 정하기 위한 방법의 블록도이다.
도21a 및 21b는 다수의 카메라의 배율 및 상대적 자세를 식별하기 위한 형상을 갖는 플래카드의 묘사이다.
도22는 다수의 카메라의 배율 및 상대적 자세를 식별하기 위한 카메라 시스템의 시계안에 배치된 플래카드의 투시도이다.
도23은 일 실시예에 따라, 카메라의 배율을 식별하기 위한 시스템의 도표이다.
도24는 일 실시예에 따라, 카메라의 상대적 자세를 식별하기 위한 시스템의 도표이다.
도25는 다른 실시예에 따라, 카메라의 상대적 자세를 식별하기 위한 시스템의 도표이다.
도26은 일 실시예에 따라, 카메라 시스템 안의 다수의 카메라의 배율 및 상대적 위치를 구성하고 식별하기 위한 소프트웨어 시스템의 스크린샷(screen shot)이다.
위에 열거한 도면을 참고로, 특정 실시예 및 그 상세한 구조와 동작을 설명한다. 여기에 기재된 실시예는 오직 예시를 위해 한정하지 않고 예시에 의해 설명한다. 당업자는 예를 들어, 다른 실시예가 가능하고 여기에 기재된 예시적인 실시예로 변형이 이뤄질 수 있고, 기재된 실시예를 구성하는 부품, 부분, 또는 단계와 등가인것이 존재할 수도 있다는 것을 여기의 교시에 의해 깨달을 것이다.
명확함과 간결성을 위해, 특정 실시예의 특정 양태의 부품 또는 단계가 지나치게 상세하지 않게 제공되는데, 이러한 세부사항은 여기의 교시를 고려하여 당업자에게 명백할 수 있고/또는 이러한 세부사항은 실시예의 더욱 적절한 양태의 이해를 어렵게 만들 수 있다.
여기에 기재된 방법 또는 과정의 하나 이상의 단계는 자동화되거나 수동 입력을 필요로 하는 일부를 사용하여 자율화될 수 있다. 자동화된 시스템은 ON 스위치를 활성화하거나 작동 일정을 계획하는 것처럼 몇몇 운전자 상호작용, 또는 휴대용 도구가 사용되지만 시스템의 일부 메커니즘은 예를 들어 인간의 입력 없이 기능을 수행하기 위해 자율적으로 작용하는 시스템을 포함할 수 있다. 또한 여기에 기재된 자동화된 시스템의 일부는 로봇 보조 또는 컴퓨터/소프트웨어/기계-명령 제어될 수 있다.
당업자는 이 명세서에 의해 다음의 것 중 일부 또는 모두를 포함하는 특정 실시예가 특정 장점을 달성할 수 있다는 것을 이해할 것이다: (1) 로봇 시스템상의 탑재 지점으로 로봇 시스템의 이동식 팔에 탑재된 다수의 카메라 쌍의 위치를 관련시키는 카메라 측정을 자동으로 계산하는 방법 및 시스템 제공; (2) 로봇 시스템이 하나 이상의 카메라 쌍을 목표물 위치 위에 정확하게 배치하도록 허용하는 방법 및 시스템 제공; (3) 로봇 팔에 대해 카메라 시스템의 측정을 산출 및/또는 확인하기 위해 로봇 팔의 자세를 자동으로 이동하는 방법 및 시스템 제공; (4) 중요한 사용자 상호작용없이(예를 들어, 로봇 도구가 합리적인 정도의 정확도로 제작/조립되는 경우, 3차원 다중 시계 시각 시스템은 사전규정된 조악한 로봇 위치에 기반하여 중요한 사용자 상호작용 없이 한 번의 버튼 누름을 사용하여 측정될 수 있음), 한 번의 버튼 누름을 사용하여 측정을 가능하게 하는 방법 및 시스템 제공; (5) 산업 로봇을 포함하는 다양한 애플리케이션에서 지점을 측정 및/또는 교시하기 위해 프로세스의 많은 시간을 절약하는 방법 및 시스템 제공; (6) 다수의 카메라 쌍에 대해 공통 좌표계를 사용하는 방법 및 시스템 제공; (7) 다수의 스테레오 카메라 쌍의 사용을 단순화하는 방법 및 시스템 제공; (8) 로봇 플랜지로부터, 주변 조직으로부터 모낭을 절개하기 위해 사용되는 펀치의 선단과 같은, 도구 선단까지의 오프셋을 자동으로 계산하는 방법 및 시스템 제공; (9) 로봇 시스템이 정확하게 배치되고 로봇 시스템의 도구 선단 주변으로 회전하도록 허용하는 방법 및 시스템 제공.
도1은 말단 장치 도구 어셈블리(120)가 신체 표면의 목표 위치를 향해 배치하기 위한 프로그램가능 이동식 팔(110)을 포함하는 예시적인 이미지 유도 로봇 시스템(100)을 묘사한다. 로봇 팔은 말단부 판, 또는 "로봇 플랜지(예를 들어 도4a의 플랜지(446) 참고)의 6개의 자유도(x, y, z, α, β, γ)로 정확하게 제어된 움직임을 용이하게 한다. 높은 정도의 반복성 및 정확성(예를 들어 20마이크론까지)을 갖는 말단부 판의 움직임은 이동식 팔(110)의 각각의 팔 조인트(112) 안에 있는 모터 및 인코더 쌍을 사용하여 가능해진다. 이동식 팔(110)의 기부 베이스(114)는 테이블 표면(160)에 탑재될 수 있다.
다른 종류의 말단 장치 도구 어셈블리가 인간 또는 동물 환자에게 다양한 수술을 수행하기 위한 말단부 판에 부착될 수 있다. 예를 들어, 일부 말단장치 실시예는 부착된 도구(예를 들어, 바늘) 또는 도구 어셈블리를 환자의 원하는 위치에 빠르고 정확하게 배치하는 로봇 팔의 성능의 장점을 갖는 진단상의 또는 치료적인 의료 수술을 수행할 수 있다. 덧붙여, 다양한 말단 장치 어셈블리 자체는 이동하는 제어가능한 부품을 포함할 수 있다. 일 예로(도시되지 않음), 말단장치 어셈블리는 더미를 통해 목표로 한 반복적인 주사를 가하기 위해 사용되는 왕복식 바늘을 포함한다. 도 1 및 도2에 보이는 예에서, 말단장치 어셈블리(120)는 안간의 두피 상의 모낭(또는 모낭 유닛)을 채취 및 이식하기 위해 설계된 세 부분의 도구를 포함한다. 말단장치 도구 어셈블리(120)의 예의 추가적인 세부사항은 도3에 관하여 기재된다.
팔(110)의 움직임은, 이동식 팔(110)의 말단부에 탑재될 수 있는 하나 이상의 카메라 시스템(140)에 의해 얻은 이미지 데이터로부터 유도된 제어 신호에 응답하여, 시스템 컨트롤러(예를 들어, 도4a의 로봇 컨트롤러(430) 참조)에 의해 지배된다. 하나 이상의 카메라 시스템(140)은 이동식 팔(220)에 직접적으로 부착 또는 결합될 수 있거나, 이동식 팔(110)에 직접 또는 간접적으로 부착되는 말단 장치 도구 어셈블리에 말단 장치 도구 어셈블리에 부착될 수 있다. 카메라 시스템(140)은 단일 카메라, 한 쌍의 스테레오 카메라(150), 또는 한 쌍 이상의 스테레오 카메라를 포함할 수 있다. 바람직한 실시예에 따르면, 두 쌍의 스테레오 카메라(210, 220, 도2)가 상이한(예를 들어 더 넓거나 더 좁은) 시계를 포착하는데 사용된다. 이하의 설명은 모발 이식 수술을 참고로 이뤄진다. 여기에 기재된 시스템 및 방법은 다양한 의료적 또는 산업적 애플리케이션을 포함하는, 다른 유형의 시스템 및 애플리케이션에 동일하게 적용될 수 있다는 것이 당업자들에게 이해될 것이다.
스테레오 카메라 쌍(210, 220)은 로봇 시스템(100)이 절개를 위해 모발을 식별하고 추적하도록 허용하는 위치 및 방향 정보를 제공한다. 예를 들어, 스테레오 카메라 쌍(210)은 모낭 유닛의 상세한 사진을 제공하는 상대적으로 높은 배율의 카메라를 포함할 수 있는 반면(예를 들어 상세한 사진은 절개를 위해 개별적인 모낭 유닛을 정하고 추적하도록 사용될 수 있다) 스테레오 카메라 쌍(220)은 기준(예를 들어 도26의 기준(2622) 참조)을 추적하고 채취 간격 및 방향을 계획하기 위해 사용되는 채취 영역의 개요를 제공하는 상대적으로 낮은 배율의 카메라를 포함한다. 일 실시예에 따르면, 스테레오 카메라 쌍(210)은 대략적으로 2.5cm 의 사선 시계를 갖는 좌측 및 우측 고배율 카메라를 포함하고 스테레오 카메라 쌍(220)은 대략 5cm 의 사선 시계를 갖는 좌측 및 우측 저배율 카메라를 포함한다. 각각의 스테레오 카메라 쌍(210, 220)은, 개별적인 모낭의 삼차원 위치 및 방향을 결정하는데 사용되는, 두피 영역의 좌측 및 우측 사진을 제공한다. 또 다른 실시예에서, 단일 카메라는 제 1(예를 들어 넓은) 시계를 포착하는데 사용되고 제 2 카메라는 제 2(예를 들어 좁은) 시계를 포착하는데 사용된다.
일반적으로 모발 이식은 세개의 단계: 모낭 유닛 채취, 수용부(recipient site) 절개, 및 이식편 삽입(graft placement)를 포함한다. 일부 경우, 수술의 효율은 이 작용들이 단일 도구를 사용하여 달성되는 경우 개선될 수 있다. 도3은 일부 실시예에 활용될 수 있는 세 작용을 달성하기 위한 세 부분의 도구(300)의 예를 보여준다. 도3의 예에 보이는 3개의 동축 소자는 수용부 절개를 만들기 위해 사용되는 날카로운 베벨 커트(bevel cut)를 갖는 외부 캐뉼러("천자 바늘(puncture needle)")(310), 외부 바늘 내부의 움직임을 위해 배치될 수 있고 기증자 이식편 주변을 절개하기 위해 사용되는 제 2 캐뉼러("코어링 바늘(coring neeedle)")(320), 및 제 2 캐뉼러(320) 내부의 움직임을 위해 배치될 수 있고 수용부에 적합한 깊이로 이식편을 배치하기 위해 사용되는 패쇄장치(330)이다. 채취를 위해, 제 2 캐뉼러(320)는 주변 조직으로부터 모낭 유닛을 분리하기 위해 원하는 깊이로 전진하여 있는 동안 조직을 절단(예들 들어, 회전 또는 빠른 찌르기(quick thrust)에 의해)할 수 있다. 다음으로 이 이식편은 이 캐뉼러(320) 내에서 포착되고 가끔 진공의 도움을 받아 뽑아진다. 수용부 절개를 위해, 외부 캐뉼러(310)는 조직안으로 전진하고 원하는 방향 및 깊이로 절개를 한다. 폐쇄장치(330)는 캐뉼러(310)가 오므려져 있는 동안 원하는 깊이로 이식편을 고정하는데 사용될 수 있다. 독립적인 채취 및 이식 바늘/펀치를 포함하는 다양한 상이한 도구가 다양한 실시예에 사용될 수 있으며 채취 및/또는 이식의 상이한 방법을 적용할 수 있음을 이해할 수 있을 것이다.
도4a는 두피와 같은 신체 표면 안으로 모낭 유닛을 채취 및 이식하기 위한 로봇 시스템(400)의 예를 예시한다. 시스템(400)은 채취 또는 이식 도구(410)가 결합된 이동식 팔(405)을 포함한다. 도구(410)는 도1-3을 참고로 기재된 말단 장치 도구 어셈블리(120)과 유사하거나 동일한 도구를 포함할 수 있다. 바람직하게는 도구(410)가 이동식 팔(405)의 말단부 판 또는 플랜지(446)에 탑재되지만, 로봇 프레임 또는 좌표계(448)의 상대적인 방향을 예시하기 위해, 도4a의 이동식 팔(405)로부터 분리되어 예시된다. 도구(410)의 수술용 팁(operaing tip)의 미세한 움직임을 여러 방향으로 가능하게 하도록 다양한 모터 및 다른 이동 디바이스가 포함될 수 있다. 로봇 시스템(400)은, 고정된 위치에 탑재되거나, 이동식 팔 또는 다른 제어가능한 운동 장치(motion device)에 결합될 수 있는, 카메라 시스템 또는 이미지 획득 디바이스(415)(예를 들어, 도1 및 2를 참고로 기재된 카메라 시스템(140, 210, 220)과 유사하거나 동일한 카메라 시스템)을 추가로 포함한다. 도구(410)의 수술용 팁은 신체 표면(420) 상에 배치되는 것으로 보이고, 이 경우 환자의 두피의 일부는 그 위에 모낭을 갖는다.
로봇 시스템(400)은 카메라 시스템(415), 로봇 컨트롤러(430), 및 메모리(435)에 작동가능하게 결합되도록 구성되는 프로세서(425)를 포함한다. 프로세서(425)는 카메라 시스템(415)으로부터 획득한 이미지를 처리하기 위한 이미지 프로세서(426)를 포함한다. 이미지 프로세서(426)는 개별적인 디바이스이거나 프로세서(425)의 일부분으로서 포함될 수 있다. 카메라 시스템(415)에 의해 획득한 이미지 데이터는 이미지 프로세서(426), 프로세서(425) 또는 둘 다를 통해 처리되고, 프로세서(425)는 팔(405)의 움직임을 지시하기 위해 로봇 컨트롤러(430)에 제어 신호를 제공한다. 특히, 이미지는 원하는 배율(예를 들어 일실시예에서 6x 내지 10x 범위) 및 듀티 싸이클(예를 들어 일시예에서 30헤르쯔)로 카메라 시스템(415)으로부터 얻어진다. 얻어진 이미지는 흥미있는 목표물의 위치(들) 및 방향(들)을 식별하기 위해 메모리(435)에 저장된 소프트웨어에서 구현되는 이미지 분할 기술을 사용하여 디지털화된다. 전체가 여기에 참고로 포함되어 있는 Bodduluri 등의 미국특허공개번호 제2007/0106306는 하나 이상의 카메라에 의해 획득한 철 이미지에 적어도 부분적으로 기반하여 이동식 팔을 배치하는 자동화된 시스템(예를 들어, 모낭 유닛 채취 또는 이식용)의 추가적인 세부사항을 기재한다.
프로세서(425)는 예를 들어 컨트롤러(430)을 통해 움직이는 이동식 팔(405) 및 도구(410)를 포함하는 로봇 시스템의 다양한 이동 디바이스에 명령한다. 컨트롤러(430)는 이동식 팔(405)에 작동가능하게 결합될 수 있고, 카메라 시스템에 의해 획득한 이미지 또는 데이터에 기반하는 운동을 포함하는, 팔(405)의 운동을 제어하도록 구성된다. 그렇지 않으면, 컨트롤러(430)는 프로세서(425)의 일부로서 포함되어, 카메라 시스템(415)에 의해 획득한 이미지 또는 데이터에 기반하는 것을 포함하는, 모든 다양한 도구, 이동식 팔(405) 및 어셈블리의 임의의 다른 이동할 수 있는 부품의 모든 움직임의 처리 및 제어는, 한 장소에 집중될 수 있다.
이동식 팔(405)은 회전축에서 결합된 하나 이상의 모터(예를 들어, 하나의 모터가 하나의 축에 대한 회전을 야기하거나 다수의 축 또는 다수의 모터는 단일 축에 대한 회전을 야기하기 위해 함께 동작힐 수 있다) 및 인코더를 갖는 6개의 회전 축(440-445)를 포함한다. 이동식 팔(405)은 6개보다 많거나 적은 회전축을 포함할 수 있다. 프로세서(425)로부터 수신한 명령에 응답하여, 컨트롤러(430)는 원하는 위치 및 방향으로 도구(410)를 하나 이상의 모터가 협력하여 이동시키도록 하는 하나 이상의 제어 신호를 생성한다. 바꾸어 말하면, 컨트롤러(430)는 거기에 탑재된 도구(410)를 갖는 말단부 판 또는 플랜지(446)를 임의의 세계 원점 프레임 또는 좌표계(447)에 대해 원하는 위치(x, y, z, α, β, γ)로 가져오기 위해 하나 이상의 그 회전축(440-445)에 대해 이동식 팔(405)의 회전을 조정한다.
요(yaw), 피치(pitch), 롤(roll)와 개념이 유사한 오일러 각(α, β, γ)은 세계 원점 프레임(447)에 대한 회전의 조합으로서 임의의 프레임의 공간적 방향 또는 좌표계를 표시하는 것을 가능하게 한다. 예를 들어, 도4a는 플랜지(446)에 수직인 z 축을 갖는 플랜지(446)의 중심점에 x, y, z 좌표 원점을 갖는 좌표계(448) 또는 로봇 프레임을 예시한다. 도4에 예시된 세계 원점 프레임(447)은 탑재 표면에 수직인 z 축을 갖는 이동식 팔(405)의 베이스의 중심점에 x, y, z 좌표 원점을 갖는다(예를 들어 세계 원점 프레임(447)의 축은 "똑바로 위"를 가리킨다). 세계 원점 프레임(447)이 도4a의 이동식 팔(405)의 베이스의 중심점에 예시되었지만, 세계 원점 프레임(447)은 어떤 임의의 고정된 장소에 정해질 수 있다. 세계 원점 프레임(447)에 관한 로봇 프레임(448)의 방향을 설명하기 위해, 노드의 선이 세계 원점 및 로봇 프레임(447, 448)의 x-y 좌표평면의 교차로 규정될 수 있다. 바꾸어 말하면, 노드의 선은 세계 원점 및 로봇 프레임(447, 448)의 z 축에 수직인 선이다. 다음으로, 각(α)은 세계 원점 프레임(447)의 x-축 및 노드의 선 사이의 각으로 규정되고, 각(β)은 세계 원점의 z-축 및 로봇 프레임(447, 448) 사이의 각으로 규정될 수 있고, 각(γ)은 노드의 선 및 로봇 프레임(448)의 x-축 사이의 각으로 규정될 수 있다.
일 실시예에 따라, 도4a에 예시된 로봇 프레임(448)과 같이, 세계 원점 프레임(447)에 관련된 이동식 팔(405)의 위치는 수학식 1에 예시된 형태의 로봇-위치 변환 행렬(R)에 의해 주어진다. 로봇-위치 변환 행렬(R)은 세계 원점 프레임(447)으로부터 로봇 프레임(448)까지 연장되는 화살표에 의해 도4a에 개념적으로 예시된다.
Figure pct00015
수학식 1에서, 왼쪽 위의 3x3 회전 부분 행렬(예를 들어 r00에서 r22까지의 부분행렬)은 세계 원점 프레임(447)처럼, 주어진 위치(예를 들어 도4a에 예시된 로봇 프레임(448))에서 기준 방향으로의 이동식 팔(405)의 방향을 연관시키는 직교 회전을 나타내고, 가장 우측 열의 처음 세 개의 원소(예를 들어 부분행렬 x, y, z)는 이동식 팔(405)의 위치 및 기준 위치 사이의 삼차원 오프셋을 나타낸다. 회전 부분 행렬의 각각의 원소(예를 들어 r00에서 r22까지의 원소)의 값은 x 축, y 축, z 축에 대해 각각 α, β, γ의 회전에 의해서처럼, 오일러 각(α, β, γ)으로부터 유도된다. 다시 말하면, 회전 부분 행렬의 오직 세 개의 원소가 독립적이고(예를 들어 각 α, β, γ) 회전 부분 행렬의 r00에서 r22까지의 원소는 각 α, β, γ의 다양한 사인 및 코사인으로부터 구성되는데, 이것은 당업자에게 알려져 있는 것이다. 오일러 각(α, β, γ)으로부터 회전 부분 행렬을 생성하는 것에 관한 추가적인 세부사항은 그 전체가 여기에 참고로 포함되어 있는 1981년 MIT Press의 Richard Paul에 의한 "Robot Manipulators: Mathematics, Programming and Control"의 1장 "Homogeneous Transformations"에서 찾아볼 수 있다. 컨트롤러(430)는 바람직하게는 메모리(435)와 같은, 컨트롤러 메모리 또는 다른 메모리에 이동식 팔(405)(예를 들어 도4a의 로봇 프레임(448))의 현재 위치를 저장한다. 따라서, 프로세서(425)는 로봇 위치 변환 행렬(R)에 의해 규정된 바와 같이 이동식 팔(405)의 현재 위치를 결정하기 위해 검색(look-up)(예를 들어 컨트롤러(430) 또는 메모리(435)에 질문 또는 조회)을 수행할 수 있다.
로봇 시스템(400)은 모니터(450), 키보드(455), 및 마우스(460)와 같은, 임의의 수의 입력 또는 출력 디바이스를 추가로 포함할 수 있다. 신체 표면(420)의 확대된 이미지(452)는 이미지화 디스플레이 또는 모니터(450) 상에 예시된다. 또한, 시스템(400)은 모낭 유닛의 채취 및/또는 이식, 또는 모발 치료 계획에 유용한 다른 도구, 디바이스 및 부품을 포함할 수 있다. 시스템의 다양한 부품은 운전자가 상태를 감시하고 필요한 지시를 제공하는 것을 허용한다. 예를 들어, 시스템(400)은 이미지 데이터를 수신하도록 개조된 인터페이스(도시되지 않음)를 추가로 포함할 수 있다. 프로세서(425)는 인터페이스를 통해 카메라 시스템(415)과 상호작용할 수 있다. 인터페이스는 하드웨어 포트, 케이블, 리드(leads) 및 다른 데이터 전송 수단을 포함할 수 있거나, 컴퓨터 프로그램을 포함할 수 있다.
도4a에 예시된 카메라 시스템(415)의 몇몇 비제한적 예는 임의의 상업적으로 사용가능한 카메라와 같은, 하나 이상의 카메라를 포함한다. 예를 들어 이미지 획득 또는 이미지화 디바이스는 예를 들어 이동식 팔(405) 또는 임의의 다른 메커니즘 또는 수단에 의해 유지될 수 있다. 물론, 다양한 이미지 획득 디바이스 또는 여러 디바이스의 조합이 여기에 기재된 임의의 예로 사용될 수 있다. 예를 들어, 3D 비젼은, 다수의 카메라를 사용하거나 레이저 거리 측정기(laser range finder)와 같은 외부 센서와 쌍을 이루는 단일 카메라를 사용하는 제한 없이 포함하는, 여러 방식으로 달성될 수 있다. 사용되는 카메라는 상이한 크기, 색상/그레이 스케일, 가시광/IR 또는 UV 등의 다양한 조합일 수 있다. 바람직하게는 카메라 시스템(415)이 정지 이미지를 찍는 디바이스를 포함하지만, 카메라 시스템(415)은 실시간 이미지화를 할 수 있는 디바이스(예를 들어, 연속적으로 실시간 또는 비디오 정보를 스트리밍할 수 있는 웹캠)도 포함할 수 있고, 또는 카메라 시스템(415)은 비디오 녹화 능력(예를 들어 캠코더)을 포함할 수도 있다. 스테레오 또는 다시점 이미지화 디바이스는 본 명세서에서 유용하지만, 이러한 기하학적 구조 또는 구성을 채택할 필요는 없으며, 본 게시물은 그렇게 한정되지는 않는다. 마찬가지로, 카메라 시스템(415)은 디지털 또는 아날로그일 수 있다. 예를 들어, 카메라 시스템(415)은, 본 게시물의 방법에서 추가로 사용하기 위해 디지털 이미지로 처리되는(예를 들어, 상용 기성품 프레임 그래버와 같은 아날로그 디지털 디바이스를 통해) 초기 이미지를 획득하는 아날로그 TV 카메라일 수 있다. 카메라 시스템(415)은 프로세서(425)에 결합되어 이미지화 동작을 제어하고 이미지 데이터를 처리할 수 있다.
프로세서(425)는 바람직하게는 데이터 처리 디바이스로서 동작하는데, 예를 들어 컴퓨터 안에 포함될 수 있다. 프로세서(425)는 중앙 처리 유닛 또는 병렬 프로세서, 입력/출력 인터페이스, 프로그램을 갖는 메모리를 포함할 수 있는데, 여기에서 모든 부품은 버스에 의해 연결될 수 있다. 더 나아가, 컴퓨터는 입력 디바이스, 디스플레이를 포함할 수 있고, 하나 이상의 2차 저장 디바이스도 포함할 수 있다. 버스는 컴퓨터의 내부에 있고 키보드 또는 입력 디바이스를 수신하기 위한 어댑터를 포함할 수 있거나 외부 연결부를 포함할 수 있다.
프로세서(425)는 도8, 9, 10a, 11, 14, 15, 16, 19 및 20의 하나 이상의 방법(800, 900, 1000, 1100, 1400, 1500, 1600, 1900 및 2000)과 같은 사전결정된 동작과 방법을 포함하도록 구성될 수 있는 프로그램을 실행할 수 있다. 프로세서(425)는 사전결정된 동작을 수행하기 위한 프로그램을 포함하는 하나 이상의 코드 명령 시퀀스가 저장되는 메모리(435)에 접속할 수 있다. 메모리(435) 및 프로그램은 컴퓨터 내에 배치될 수 있거나 그것의 외부에 배치될 수 있다. 예로서, 한정이 아니고, 적합한 이미지 프로세서(426)는 하나 이상의 프로세서 또는 다른 유형의 디바이스를 포함하는 디지털 프로세싱 시스템일 수 있다. 예를 들어, 프로세서 및/또는 이미지 프로세서는 컨트롤러 또는 임의의 유형의 개인용 컴퓨터(PC)일 수 있다. 대안으로서, 프로세서는 주문형 집적회로(application specific integrated circuit, ASIC) 또는 필드 프로그램가능 게이트 어레이(field programmable gate array, FPGA)를 포함할 수 있다. 본 게시물과 함께 사용하기 위한 프로세서 및/또는 이미지 프로세서는 다양한 이미지 처리 기술, 예를 들어 구획화, 에지 검출, 객체 확인, 및 선택을 수행하도록 프로그램되고 구성된다는 것을 당업자라면 이해할 것이다. 이 기술들은 일반적으로 알려져 있고 따라서 여기에 별도로 기재하지 않는다.
여기에 기재된 방법은 다양한 일반적 또는 특수 목적 컴퓨팅 시스템상에서 구현될 수 있다. 특정 실시예에서, 본 명세서의 방법은 특별하게 구성된 개인 컴퓨터 또는 워크스테이션 상에서 구현될 수 있다. 다른 실시예에서, 이 방법은 네트워크에 접속된 것을 포함하는, 범용 워크스테이션 상에서 구현될 수 있다. 대안으로서 또는 추가적으로, 이 게시물의 방법은 적어도 부분적으로, 네트워크 디바이스 또는 법용 컴퓨팅 디바이스용 카드상에 구현될 수도 있다. 또한 프로세서(425) 및/또는 이미지 프로세서(426)는 당업계에 일반적으로 알려진 메모리, 저장 디바이스, 및 다른 부품을 포함할 수 있기 때문에 여기에 상세하게 설명할 필요가 없다, 이미지 프로세서(426)는 다양한 수동인, 부분적으로 자동화된 그리고 완전히 자동화된(로봇 포함), 모발 채취, 주입 또는 이식용 시스템을 포함하지만 이에 한정되지는 않는, 모발 이식 시스템 및 디바이스와 결합하여 사용될 수 있다.
이미징 디스플레이 디바이스(450)는 선택적으로 터치 스크린일 수 있는 고해상도 컴퓨터 모니터를 포함할 수 있다. 이미징 디스플레이는 비디오 또는 정지 이미지와 같은 이미지를 판독할 수 있도록 허용하고 모낭 유닛에 대해 그 일부를 시각화하도록 허용할 수 있다. 대안으로서, 이미징 디스플레이 디바이스(450)는 태블릿, 포켓 PC, 및 다른 플라즈마 스크린을 포함하는 다른 접촉 감지형 디바이스일 수 있다. 터치 스크린은 이미지 디스플레이 디바이스를 통해, 직접적으로 모발 이식 수술의 파라미터를 수정하도록 사용될 수 있다.
이 게시물과 일치하는 방법, 장치 및 시스템은 컴퓨터 안으로 공급하기 위해 제공될 수 있는 인터페이스의 클릭가능한 아이콘, 메뉴의 선택 버튼, 대화 박스, 또는 롤-다운 윈도우를 포함하는, 수정 인터페이스, 또는 사용자 수정 인터페이스를 제공함으로써 실행될 수 있다. 다른 실시예에 따르면, 이미징 디스플레이 디바이스(450)는 예를 들어 디스플레이 자체에 직접 선택을 입력하기 위한 선택 윈도우 및 스타일러스 또는 키보드를 디스플레이할 수 있다. 일 실시예에 따르면, 프로그램가능 스타일러스, 키보드, 마우스, 음성 처리 시스템, 레이저 포인터, 터치 스크린, 원격 제어 디바이스, 또는 다른 입력 메커니즘을 통한 수정 인터페이스를 통해 명령이 입력될 수 있다. 대안으로서, 수정 인터페이스는 하드웨어의 전용 부분을 포함할 수 있다. 일부 실시예에서, 수정 인터페이스를 통한 이루어진 선택 또는 조정은 프로세서, 예를 들어 컴퓨터 프로세서상에서 실행될 수 있는 코드 명령에 의해 실행될 수 있다.
도4b는 제 1 및 제 2 시스템 좌표계 및 로봇 좌표계 사이의 관계를 예시하는 블록도이다. 도4b에서, 카메라 시스템(415)은 두 쌍의 스테레오 카메라(470, 480)를 포함하는데, 다른(예를 들어 더 넓거나 더 좁은) 시계를 포착하기 위해 사용될 수 있다. 예를 들어, 스테레오 카메라 쌍(470)은 상대적으로 높은 배율을 갖는 제 1 및 제 2 카메라(471, 472)를 포함할 수 있고 스테레오 카메라 쌍(480)은 상대적으로 낮은 배율을 갖는 제 1 및 제 2 카메라(481, 482)를 포함할 수 있다. 제 1 및 제 2 카메라(471, 472)의 광축(473, 474) 및 제 1 및 제 2 카메라(481, 482)의 광축(483, 484)은 바람직하게는 병렬로 설치되거나 유지되지 않지만, 서로를 향해 약간(예를 들어, 약 10도만큼) 기울어지거나 치우쳐진다. 제 1 및 제 2 카메라(471, 472)는 바람직하게는 공통 축(예를 들어, 수평축 또는 수직축)을 갖도록 정렬되어 스테레오 카메라 쌍(470)의 시계내의 삼차원 위치 결정을 용이하게 한다. 마찬가지로, 제 1 및 제 2 카메라(481, 482)는 바람직하게는 공통 x 축 또는 y 축을 갖도록 정렬된다.
스테레오 카메라 쌍의 시계 내의 목표물의 삼차원 위치는 예를 들어 각각의 카메라 프레임(예를 들어 좌측 및 우측 이미지)안의 목표물의 x, y 위치 오프셋 사이의 차이를 비교함으로써 결정된다. 예를 들어, 스테레오 카메라 쌍(예를 들어, 스테레오 카메라 쌍(470, 480) 중 하나)이 지점(490)의 사진을 찍은 후, 카메라 쌍의 좌표계의 지점(490)의 삼차원 위치는 카메라 쌍(예를 들어, 왼쪽 및 오른쪽 카메라) 안의 제 1 및 제 2 카메라에 의해 포착된 이미지 안의 지점(490)의 2차원 위치로부터 계산된다. 다시 말하면, 각각의 카메라 이미지가 수평(또는 수직)으로 정렬되기 때문에, 동일한 목표물은 두 이미지의 동일한 수평 스캔 라인(또는 수직 스캔 라인)에 나타나야 한다. 게다가, 카메라 렌즈에 대해 이미지화된 목표물의 깊이가 알려진 범위(예를 들어, 각각의 카메라의 초점 길이에 의해 수립된) 내에 있기 때문에, 제 1 이미지에서 선택된 목표물(예를 들어, 모낭)은 어떤 "쌍"이 가능한 범위에서 계산된 깊이를 갖는지를 결정하기 위해 제 2 이미지(예를 들어 동일한 스캔 라인에서)에서 가능한 후보 목표물과 결합하는 경우 목표물의 유효 깊이를 산출함으로써 제 2 이미지 자체와 일치(그리하여 이미지들을 서로 정렬하기 위해)할 수 있다. 스테레오 카메라 쌍에 의해 포착된 목표물의 삼차원 위치를 결정하는 것에 관한 부가적인 세부사항은, 전체적으로 여기에 참고로 포함되어 있는, O"Reilly 에 의해 2008년 간행된, Grary Bradski 및 Adrian Kachler의 "Learning OpenCV : Computer Vision with the OpenCV Library" 12장에서 찾아볼 수 있다.
스테레오 카메라 쌍(480 또는 480)은 바람직하게는 예를 들어 로봇 도구 플랜지(466)에 견고하게 탑재 또는 부착되어(물리적인 받침대(475, 476, 485, 486)에 의해 개념적으로 예시된 것처럼) 서로에 대한 그들의 관계가 고정된다. 다른 실시예에서, 카메라는 다른 위치, 예를 들어 로봇 팔의 어딘가 다른 곳에 부착될 수 있거나, 시스템 외부의 3차원 공간에 고정될 수 있다. 카메라 쌍(470)의 시계 내의 목표물의 좌표는 카메라 쌍(470)과 연관된 카메라 프레임 또는 좌표계(477)에서 결정되고(예를 들어 도4a의 하나 이상의 프로세서(425, 426) 또는 도5 및 6의 프로세서(550, 610, 620, 및 650)를 통해) 보고된다. 유사하게, 카메라 쌍(480)의 시계 내의 목표물의 좌표는 카메라 쌍(480)과 연관된 카메라 프레임 또는 좌표계(487)에서 결정되고 보고된다. 일 실시예에 따르면, 좌표계(477)의 z-축은 광축(473, 474) 사이의 각을 이등분하고, 좌표계(477)의 z-축은 카메라(471, 472)의 렌즈의 중심 사이로 연장된다. 마찬가지로, 좌표계(487)의 z-축은 광축(483, 484) 사이의 각을 이등분하고, 좌표계(487)의 y-축은 카메라(481, 482)의 렌즈의 중심 사이로 연장된다.
일 실시예에 따르면, 지점(490)의 좌표는 수학식 2에 예시된 형태의 어레이 v의 카메라 쌍에 의해 보고된다. 카메라 쌍 또는 카메라 쌍과 연관된 프로세서는 바람직하게는 메모리(435)와 같은 메모리 안에 지점(490)의 좌표를 저장한다. 따라서, 프로세서(425)는 지점(490)(또는 다른 목표물)의 좌표를 결정하기 위해 검색(예를 들어 카메라 쌍(470 또는 480) 또는 메모리(435)에 질문 또는 조회)을 수행할 수 있다. 지점(490)은 도7a-7c에 대해 예시된 측정 특성 중 하나와 같은 개별적인 측정 특성을 나타낼 수 있다.
Figure pct00016
환자의 피부 표면으로부터 연장되어 나오는 모낭과 같은, 다른 목표물에 대해 도구 플랜지(예를 들어, 바늘)에 고정된 목표물을 정확하게 배치하거나 방향을 잡도록 돕기 위해, 카메라 쌍(470)과 로봇 좌표계(448)의 카메라 좌표계(477) 및 카메라 쌍(480)과 로봇 좌표계(448)의 카메라 좌표계(487) 사이의 변환을 측정하거나 결정하는 것이 바람직할 수 있으며, 도8에 대해 더욱 상세하게 기재된다. 로봇 좌표계 및 카메라 시스템의 좌표계 사이의 변환을 결정하는 것은 주행 로봇, 의료용 로봇, 및 산업용 로봇을 포함하는, 다양한 응용에 유용할 수 있다. 게다가, 카메라 좌표계(487, 488) 사이의 매핑을 측정하거나 결정하는 것이 바람직할 수 있는데, 도10a에 대해 더욱 상세하게 설명된다. 다수의 카메라 시스템이 공통 좌표를 보고하도록 허용하는 매핑을 결정하는 것은 주행 로봇 및 감시와 같은, 다수의 카메라 시스템이 사용되는 임의의 환경에서 유용할 수 있다. 또한, 도구 플랜지(446) 및 도구 선단 사이의 오프셋을 측정 또는 결정하는 것이 바람직할 수 있는데, 도14-16 및 19-20에 대해 더욱 상세하게 설명된다. 도구 선단 위치를 삼차원으로 자동 계산하는 것은 도구 선단의 정확한 위치 및 회전이 필요한 임의의 환경에서 유용할 수 있다.
로봇 좌표계(448) 및 카메라 좌표계(477 및 487) 사이의 변환을 결정한 후, 카메라 좌표계(477 및 487)에서 결정된 것처럼 목표물의 좌표에 기반하여, 카메라 쌍(470, 480, 또는 둘 다)의 시계 내의 목표물에 대해 이동식 팔(405)을 정확하게 배치하는 것이 가능하다. 다시 말해서, 카메라 쌍(470 또는 480)을 사용하여 모낭의 이미지를 포착한 후, 프로세서(425)는 이동식 팔(405)에 대해 모낭의 위치를 결정할 수 있고 원하는 위치 및 방향으로 팔(405)을 컨트롤러(430)가 이동시키도록 (예를 들어, 바늘 선단을 회전시키고 바늘을 모낭과 정렬하여 바늘이 샤프트 아래로 이동하여 모낭을 채취)하는 명령을 발생시킬 수 있다.
카메라 좌표계(477 및 487) 사이의 매핑을 결정한 후, 카메라 쌍(480)의 시계 내의 제 2 목표물의 위치에 대해 카메라 쌍(470)의 시계 내의 제 1 목표물의 위치를 결정하는 것이 가능하다. 예를 들어, 스테레오 카메라 쌍(480)(상대적으로 낮은 배율을 갖는)은 작업 영역을 둘러싸는 기준 또는 다른 목표물의 이미지를 포착하고 스테레오 카메라 쌍(470)(상대적으로 높은 배율을 갖는)이 모낭 자체의 이미지를 포착하는 경우, 기준에 대해 모낭의 위치를 결정하는 것이 가능하다(예를 들어, 환자 두피를 가로지르는 경로를 기획하는 것을 돕기 위해). 환자 피부 상에 놓이는 피부 장력 장치(skin tensioner device)상에 기준이 정해지지만(예를 들어 도26의 기준 2622 참고), 기준은 다른 모낭, 흉터, 피부 위에 놓이는 인공적 표시(예를 들어, 점), 또는 다른 자연적 또는 인공적 표지(landmark)를 포함할 수 있다.
도5는 일 실시예에 따르는 기계 시각 서브시스템(machine vision subsystem, 500)의 블록도이다. 기계 시각 서브시스템(500)은 로봇 시스템(400, 도 4a 및 도4b)과 같은, 로봇 모발 이식 기계와 같은, 대형 시스템의 일부일 수 있다. 기계 시각 서브시스템(500)은 다수의 카메라 시스템을 포함한다. 이러한 두 개의 카메라 시스템(510, 520)은 도5에 예시된다. 이 경우일 필요는 없지만, 각각의 카메라 시스템(510, 520)은 바람직하게는 카메라의 스테레오 쌍일 수 있다. 카메라 시스템(510, 520)은 도1에 예시된 로봇 팔(110) 또는 도4a에 표시된 모발 이식용 이동식 팔(405)과 같은, 로봇 팔 상에 존재할 수 있다. 그러나, 기계 시각 서브시스템(500)은 다른 애플리케이션에 대해 사용되는 다른 시스템의 일부일 수 있다. 기계 시각 서브시스템(500)은 표시되지 않은 추가적인 카메라 시스템을 포함할 수 있다.
카메라 시스템(510, 520)은 서로에 대해 고정된 위치를 갖기 때문에, 하나의 카메라 시스템을 다른 것에 연관시키는 변환이 고정된다. 그것은 도1 및 4a에 예시된 로봇 팔(110, 405)의 경우이다. 그것은 모발 이식에 활용되는 로봇팔에 대한 일반적인 경우이다. 로봇 팔이 움직이면, 카메라 시스템(510, 520)은 함께 움직이고, 그들이 고정된 위치 관계를 반드시 유지한다. 카메라 시스템(510, 520)의 위치 관계를 수정하기 위해 여기에 사용되는 용어 "고정된"은 카메라 시스템의 무작위 진동 및 사소한 미끄러짐과 같은 몇몇 사소한 상대 운동을 허용한다. 사소한 상대적인 운동이 유용한 카메라 시스템 대 카메라 시스템 변환이 결정되고 활용될 정도로 충분히 작은 동안, 카메라 시스템은 충분하게 "고정된"다. 일반적으로 말하면, 변환이 결정되는 경우 평균화될 수 있는 더욱 큰 무작위 변화 때문에, 카메라의 픽셀 사이즈와 같은, 몇몇 작은 측정값보다 작은 변화는 의미가 없다,
카메라 시스템(510, 520)은 각각의 시계(530, 540)를 갖는다. 한 카메라는 도5에 예시된 것처럼, 다른 것보다 큰 시계를 가지는데, 카메라 시스템(510)의 시계(530)는 카메라 시스템(520)의 시계(540)보다 넓다. 시계(530, 540)는 완전히 또는 부분적으로 중첩되어, 두 카메라 시스템에 의해 "보이는(seen)" 장소가 존재한다. 카메라 시스템(510, 520)은 상이한 해상도를 가질 수 있다. 예를 들어, 카메라 시스템(510)은 카메라 시스템(520)보다 낮은 해상도를 가질 수 있다. 모발 이식 애플리케이션에서, 고해상도 및 좁은 시계를 갖는 카메라 시스템(520)이 모발 추출을 위한 특정 모낭으로 그리고 이식을 위한 정확한 위치로 로봇 도구를 안내하도록 사용될 수 있는 반면, 저해상도 및 넓은 시계를 갖는 카메라 시스템(510)은 두피의 일반 영역으로 로봇 도구를 안내하도록 사용될 수 있다.
또한 기계 시각 서브시스템(500)은 카메라 시스템(510, 520)으로부터 이미지 데이터를 수신하고 그 데이터를 처리하는 프로세서(550)를 포함한다. 프로세서(500)에 의해 수행된 프로세싱은 한 카메라 시스템의 좌표계의 좌표를 다른 것의 좌표로 변환하는 것과, 이 변환이 임의의 다른 이미지 프로세싱인지를 결정하는 것을 포함할 수 있다. 프로세서(550)는 예를 들어, 범용 마이크로프로세서 또는 디지털 신호 프로세서(DSP)와 같은, 임의의 형태의 프로세서일 수 있다. 또한 기계 시각 서브시스템(500)은 프로세서(550)에 의해 실행되는 프로그램 및/또는 프로세서(550)에 의해 처리 또는 생성되는 데이터를 저장하기 위한 하나 이상의 메모리(표시되지 않음)를 포함할 수 있다.
시계(530, 540)는 적어도 부분적으로 중첩되기 때문에, 중첩되는 부피에서 목표물 및 위치는 공통 형상(예를 들어, 비록 상이한 배경, 축척, 해상도, 등으로부터라도, 동일한 것을 보는)을 갖는 각각의 이미지를 생성하고 카메라 시스템(510, 520)은 각각의 이미지가 포착된 시간 사이의 형상에 대해 눈에 띄게 움직일 수 없기 때문에, 각각의 이미지는 "대응한다"라고 말한다. 이 문맥의 눈에 띄는 움직임은 픽셀 사이즈와 같은 몇몇 작은 측정값보다 크고 위치 차이는 계산에 사용되는 다수의 이미지 데이터에 의해 평균화되지 않을 만큼 크다. 제 1 및 제 2 카메라 시스템(510, 520)으로부터의 대응하는 이미지는 동시에 또는 거의 동시에 촬영되지만, 이 경우일 필요는 없다, 여기에 사용되는 것처럼, "대응하는 형상"은 대응하는 이미지의 동일한 형상을 말한다. 상이한 카메라 시스템으로부터의 대응하는 형상은 일반적으로 각각의 카메라 시스템이 고유 위치, 지시 방향, 축척, 줌 및/또는 해상도를 갖기 때문에 각각의 카메라의 상이한 국부 좌표를 가질 것이다.
도6은 다른 실시예에 따르는, 기계 시각 서브시스템(600)의 블록도이다. 기계 시각 서브시스템(600)은 로봇 시스템(400, 도 4a 및 도4b)과 같은, 로봇 모발 이식 기계와 같은, 대형 시스템의 일부일 수 있다. 도6의 기계 시각 서브시스템(600)은 기계 시각 시스템(600)이 카메라 시스템(510)과 연관된 프로세서(610) 및 카메라 시스템(520)과 연관된 프로세서(620)를 추가로 포함한다는 것만 제외하고 도5의 기계 시각 서브시스템(500)과 유사하다. 프로세서(610, 620)는 카메라 시스템(510, 520) 안으로 각각 통합되거나, 분리되어 있을 수 있다. 프로세서(610, 620)는 단일 프로세서(550)가 도5의 기계 시각 서브시스템(500)에서 수행하는 프로세싱의 일부를 수행할 수 있다. 프로세서(650)는 기계 시각 서브시스템(600)의 중앙 프로세서이고 카메라 지정 프로세서(610, 620)에 의해 수행되지 않는 다른 프로세싱을 처리할 수 있다. 예를 들어, 두 국부 좌표계 사이 또는 로봇 좌표계와 같은 다른 좌표계와 국부 카메라 시스템의 좌표계 사이에서 변환하는 동안, 각각의 프로세서(610, 620)는 그 연관된 카메라 시스템의 국부 좌표계 안의 형상의 국부 좌표를 생성할 수 있다.
도7a-7c는 로봇 좌표계에 카메라 좌표계를 측정하고 하나의 카메라 좌표계를 다른 카메라 좌표계로 측정하는 경우 사용될 수 있는 다양한 예의 측정 형상(feature)을 예시하는 도표이다. 도7a는 내부 코너(710)를 갖는 7x9 패턴을 포함하는 장기판 측정 표적(700)을 예시한다. 내부 코너(710)는 개별적인 측정 형상을 규정하고(예를 들어, 내부 코너(710) 중 하나는 도4b에 예시된 지점(490)을 표시할 수 있다) 바람직하게는 서로 사전결정된 거리로 이격된다. 일 실시예에 따르면, 장기판 측정 표적(700)은 유리 상 크롬 표적(chrome-on-glass target)을 포함할 수 있다. 다른 실시예에 따르는 장기판 측정 표적은 추가의 또는 더 적은 내부 코너를 포함할 수 있다. 도7b 및 7c는 도트-무게중심(dot-centroid) 측정 표적(720, 740)을 예시한다. 도트 무게중심 측정 표적(720)은 30개의 도트-무게중심(730)을 포함하는데, 개별적인 측정 형상을 규정하고 바람직하게는 서로 사전결정된 거리만큼 이격되어 있다. 마찬가지로, 도트 무게중심 측정 표적(740)은 6개의 도트-무게중심(750)을 포함하는데, 개별적인 측정 형상을 규정하고 바람직하게는 서로로부터 사전결정된 거리만큼 이격되어 있다. 다른 실시예에 따르는 도트 무게중심 측정 표적은 추가의 또는 더 적은 도트 무게중심을 포함할 수 있다.
도8은 일 실시예에 따라, 로봇 좌표계 및 카메라 좌표계 사이의 변환을 결정하기 위한 방법(800)의 흐름도이다. 환자의 피부 표면으로부터 연장되어 나오는 모낭과 같은, 다른 목표물에 대해 도구 플랜지(446)를 고정하기 위해 채취 및 이식 도구와 같은(410, 도4a), 목표물을 정확하게 배치하고 방향을 정하는 것을 돕기 위해, 로봇 시스템(448, 도4b)과 하나 이상의 카메라 좌표계(477, 487) 사이의 위치 및 회전 오프셋을 측정하여 보상하기 위한 정보를 생성하는 방법이 사용될 수 있다. 초기 문제로서, 측정 형상이 초점내에 존재하도록 측정 표적(700, 720, 740, 도7a-7c) 중 하나와 같은 표적은 카메라 시스템(415, 도4b)과 같은 카메라 시스템의 시계 내에 배치된다. 이것은 표적이 시계 내에 존재할 때까지 카메라 시스템의 이동에 의해 또는 시계 내에 표적을 배치함으로써 달성될 수 있다. 카메라 시스템은 단일 카메라, 한쌍의 스테레오 카메라, 또는 한쌍 이상의 스테레오 카메라(예를 들어, 도4b에 예시된 하나 이상의 카메라 쌍(470, 480))을 포함할 수 있다.
단계 810에서, 표적이 개별적인 이미지 포착 장소에서 카메라 시스템의 시계 내에(및 바람직하게는 초점 안에) 존재하도록 로봇의 이동식 팔(예를 들어 도1 또는 4a의 이동식 팔(110 또는 405))은 표적에 대해 다수의 이미지 포착 장소에 배치된다. 이동식 팔은 바람직하게는 하나의 이미지 포착 장소로부터 다른 이미지 포착 장소로 표적에 대해 회전하고 이동한다. 예를 들어, 개별적인 이미지 포착 장소는 표적과 거의 일치하는 중심점을 갖는 구의 표면상에 근접하게 있을 수 있다. 다시 말하면, 이동식 팔은 구의 중심에 배치되는 표적을 보는 동안 구의 표면을 따라 회전한다. 표적에 대해 이동식 팔을 이동시키는 것에 더해 표적 주변으로 이동식 팔을 회전시키는 것은 카메라 시스템 좌표계 안의 작은 움직임을 로봇 좌표계 안의 작은 움직임으로 바꾸는 변환을 시스템이 결정하도록 허용한다. 개별적인 이미지 포착 장소가 구 또는 반구의 무작위 지점에 놓일 수 있지만, 이미지 포착 장소는 구의 섹터에 국한될 수 있다. 예를 들어, 카메라 시스템의 축이 표적(예를 들어, 장기판 측정 표적(700))에 수직인 지점에서 시작된다고 가정하면, 이동식 팔은 각각의 방향으로 약 45도까지 회전할 수 있다. 특정 실시예에서, 이동식 팔은 하나의 이미지 포착장소로부터 다른 이미지 포착 장소(예를 들어, 표적으로 더 가깝거나 더 먼)로 표적에 대해 방사상으로 움직인다. 이동식 팔은 단계 810에서 임의의 수의 이미지 포착 장소에 배치될 수 있지만, 이 방법(800)은 바람직하게는 3 내지 6개의 이미지 포착 장소를 사용하여 구현된다. 일 실시예에 따르면, 이미지 포착 장소는 메모리에서 사전결정되고 저장된다(예를 들어 도4a의 메모리(435)).
개별적인 이미지 포착 장소에서, 이 방법(800)은 카메라 시스템을 사용하여 표적의 이미지 셋(예를 들어 하나 이상의 이미지)을 포착하고 이동식 팔의 위치를 로봇 좌표계 안에 기록한다(단계 820). 예를 들어, 개별적인 이미지 포착 장소에서, 프로세서(425, 도4a)와 같은 프로세서는 표적의 하나 이상의 이미지를 포착하고 이동식 팔(405)의 현재 위치를 결정하기 위해 검색(예를 들어, 컨트롤러(430) 또는 메모리(435)에 질문 또는 조회)을 수행하도록 카메라 시스템에 명령할 수 있다. 특정 실시예에서, 로봇 팔의 다수의 위치에서의 다수의 이미지, 로봇팔의 다수의 장소, 또는 로봇 팔의 다수의 위치 및 로봇 팔의 다수의 장소 모두가 기록된다. 예를 들어, 측정은 로봇의 이동식 팔을 움직이지 않게 유지하고 측정 판을 회전, 이동 및/또는 기울게 하고(tilting), 측정판을 움직이지 않게 유지하고 로못의 이동식 팔을 재배치/방향을 정하거나, 회전판을 회전, 이동, 및/또는 기울게 하고 로봇의 이동식 팔을 재배치/방향을 정하는 것에 의해 수행될 수 있다. 개별적인 이미지 포착 장소에서 이동식 팔의 위치(및/또는 측정판/표적의 위치)는 적합한 데이터 구조안의 이미지 포착 장소에서 포착된 이미지(들)와 연관되고 메모리(435)와 같은 메모리에 저장되어, 개별적인 이미지 포착 장소에서의 이미지(들) 및 이동식 팔 위치(및/또는 측정 판의 위치)는 나중에 액세스되고 처리된다.
단계 830에서, 표적의 측정 형상의 한 세트의 좌표는 카메라 시스템 좌표계(예를 들어 도4b의 좌표계(477 또는 487)에서 결정된다. 방법(800)에 의해 활용되는 측정 형상의 세트는 도7a 및 7b를 참고로 기재된 내부 장기판 코너(710) 또는 도트 무게중심(730, 750)과 같은 측정 형상일 수 있다. 일 실시예에 따르면, 단계 830은 이미지 셋 안의 표적의 측정 형상 셋을 식별하는 것과 셋 안의 측정 형상의 삼차원 장소를 산출하는 것을 포함한다. 측정 형상의 삼차원 장소는 도4b를 참고로 기재된 스테레오 카메라 쌍의 제 1 및 제 2 카메라에 의해 포착된 이미지 안의 측정 형상의 2차원 장소로부터 계산될 수 있다. 다른 실시예에 따르면, 측정 형상 셋의 좌표는 단계 830에서 검색 기능을 실행함으로써 결정된다. 예를 들어, 이미지를 포착한 후, 카메라 시스템 또는 카메라 시스템과 연관된 프로세서는 자동으로 산출되고 측정 형상의 좌표를 메모리(435)와 같은 메모리에 저장할 수 있다. 따라서, 프로세서(425)는 측정 형상의 좌표를 결정하기 위해 검색(예를 들어 카메라 시스템(415) 또는 메모리(435)에 질문 또는 조회)을 수행할 수 있다. 임의의 수의 측정 형상은 표적에 포함되지만, 제공된 예에서 방법(800)은 바람직하게는 2 내지 48의 측정 형상을 사용하여 구현될 수 있다.
측정 형상의 좌표가 단계 830에서 결정된 후, 로봇 좌표계(예를 들어, 도4a 및 4b의 좌표계)와 카메라 좌표계(도4b의 좌표계(477 또는 487) 사이의 관계 또는 변환은 단계 840에서 이동식 팔의 위치(및/또는 표적의 위치) 및 개별적인 이니비 포착 장소에서의 측정 향상 셋의 좌표에 기반하여 결정된다. 예를 들어, 변환은 아동식 팔의 위치 및 각각의 이미지 포착 장소에서의 측정 형상 셋의 좌표를 이동식 팔의 위치 및 다른 이미지 포착 장소 각각의 측정 형상 셋의 좌표에 비교함으로써 결정될 수 있다.
일 실시예에 따르면, 표적의 위치는 고정되고 단계 840은 로봇 좌표계와 카메라 시스템 좌표계 사이의 변환을 위한 값을 반복적으로 선택하는 것과. (A) 및 (B) 사이의 차이를 최소화하는 변환을 위한 값을 결정하기 위해 (A) 변환을 위패 선택된 값의 곱, 이동식 팔의 위치, 및 하나의 이미지 포착 장소에서의 측정 형상의 좌표 및 (B) 변환을 위패 선택된 값의 곱, 이동식 팔의 위치, 및 다른 이미지 포착 장소에서의 대응하는 측정 형상의 좌표를 비교하는 것을 포함한다.
로봇 좌표계 및 카메라 좌표계 사이의 변환은, T로 표시될 수 있고, 수학식 3에 따라 로봇 좌표계로부터 카메라 좌표계로 좌표를 변환하고, 반대로도 변환하는 변환 행렬의 형태를 가질 수 있다.
Figure pct00017
T를 발견하기 위한 기술은
Figure pct00018
양을 최소화하는 것으로, 여기에서 i 및 j는 개별적인 이미지 포착 장소의 상이한 경우에 대응하고, i는 2 내지 m 범위의 값을 가지고, j는 1 내지 (i-1) 범위의 값을 가지며, k는 측정 형상 셋 안의 개별적인 측정 형상에 대응하고 1 내지 n 범위의 값을 가지며, Ri는 개별적인 이미지 포착 장소 i에서 이동식 팔의 위치이고, vik는 i 번째 이미지 포착 장소에서 k 번째 측정 형상의, 카메라 시스템 좌표계 안에서 결정된, 좌표이고, Rj는 개별적인 이미지 포착 장소 j에서 이동식 팔의 위치이고, vjk는 j 번째 이미지 포착 장소에서 k 번째 측정 형상의, 카메라 시스템 좌표계에서 결정된, 좌표이다. 앞서 논의된 바와 같이, 방법(800)은 임의의 수(m)의 이미지 포착 장소 및 임의의 수(n)의 측정 형상을 사용하여 구현될 수 있다. 일 실시예에 따르면, 방법(800)은 3 내지 6의 이미지 포착장소 및 2 내지 48의 측정 형상을 이용하여 구현된다.
표적이 고정되어 있기 때문에(예를 들어, 표적은 하나의 이미지 포착 장소로부터 다른 이미지 포착 장소로 눈이 띄게 이동하지 않음), 측정 형상 장소가 하나의 이미지 포착 장소로부터 상이한 이미지 포착 장소로 비교되고 말이 이동하는 경우, 양
Figure pct00019
은 0이거나 가능한 한 0에 가까워야 한다. 다시 말하면, T는 양
Figure pct00020
를 최소화하기 위해 선택된다.
수학식 3은 또한
Figure pct00021
로 표시될 수 있는데, j≠1이다. 특정 실시예에서, j는 i와 같을 수 있고, 이 경우 동일한 이미지가 그 자체와 효과적으로 비교되고 양
Figure pct00022
은 0이어야 한다. 이미지를 그 자체와 비교하는 것은 아래에 기재된 최적화 알고리즘을 달성하는 것을 돕지 않을 것이며, 따라서 계산 자료 보존을 돕기 위해 j=1의 계산을 건너뛰는 것이 바람직할 수 있다. 또한, 함수
Figure pct00023
는 임의의 거리 함수 또는 측정을 포함할 수 있다.
일 실시예에 따르면, 이동식 팔의 위치는 수학식1에 표시된 형태의 로봇 위치 변환 행렬 R 을 포함하는데, 왼쪽 위의 3x3 회전 부분 행렬(예를 들어 r00 에서 r22까지의 부분행렬)은 기준 방향에 대한 개별적인 이미지 포착 장소에서 이동식 팔의 방향에 대한 직교 회전을 표시하고, 이러한 세계 원점 프레임(447, 도4a) 및 부분 행렬(x, y, z)은 이동식 팔의 위치와 기준 위치 사이의 삼차원 오프셋을 나타낸다. 개별적인 측정 형상의 좌표는 위의 수학식 2에 예시된 형태의 어레이 v를 포함할 수 있다.
변환 행렬(T)은 예를 들어, 수학식 4예 예시된 형태의 행렬과 같은, 4x4 행렬을 포함할 수 있는데, 왼쪽 위의 3x3 회전 부분 행렬(예를 들어 r00 에서 r22까지의 부분행렬)은 로봇 좌표계 및 카메라 시스템 좌표계 사이의 회전 관계를 나타내고 위의 수학식 1을 참고로 기재된 바와 같이 세 개의 회전 오프셋(α, β, γ)으로부터 유도되며, 부분 행렬(x, y, z)은 로봇 좌표계 및 카메라 시스템 좌표계 사이의 이동 오프셋(x, y, z)을 나타낸다. 다시 말하면, 변환 행렬(T)은 로봇 좌표계 및 카메라 시스템 좌표계 사이의 회전 및 이동 관계(예를 들어, 어떻게 카메라 시스템의 시계 안의 움직임이 로봇 좌표계 안의 움직임과 연관되는지)를 명시한다.
Figure pct00024
도4에 예시된 변환 행렬(T)은 6개의 독립값을 포함하는데, 그 중 3개는 이동 오프셋(x, y, z)이고 그 중 다른 3개는 회전 오프셋(α, β, γ)이다. 변환 행렬(T)의 회전 오프셋(α, β, γ) 및 이동 오프셋(x, y, z)은 바람직하게는 최급강하(steepest descent) 최적화 알고리즘, 및/또는 모의 어닐링(simulated annealing) 알고리즘 및/또는 최적합(best fit) 알고리즘과 같은 최적화 알고리즘 또는 적합한 최소화 과정을 사용하여 결정된다. 최적화 알고리즘은 사용가능한 대체품 셋으로부터 6개의 독립값 각각에 대해 적합한 값을 결정하는 것을 돕는다. 방법(800)의 단계 810-830는 변환 행렬(T)을 산출하도록 최적화 알고리즘을 구동하기 위해 데이터를 생성한다. 단계 810에서 표적에 대해 이동식 팔을 이동하기 위해 추가로 표적 주변으로 이동식 팔을 회전시키는 것은 수학식이 해결되도록 허용하는 다양한 데이터 셋 및 규정된 로봇 좌표계와 카메라 시스템 좌표계 사이의 관계를 제공하는 것을 돕는다.
방법(800)은 다수의 카메라 시스템 좌표계 및 로봇 좌표계 사이의 변환을 결정하기 위해 사용될 수 있다. 예를 들어, 방법(800)은 로봇 좌표계(448, 도4b) 및 카메라 쌍(470)의 카메라 좌표계(477) 사이의 회전 및 이동 관계를 지정하는 제 1 변환(T1) 및 로봇 좌표계(448, 도4b) 및 카메라 쌍(480)의 카메라 좌표계(487) 사이의 회전 및 이동 관계를 지정하는 제 2 변환(T2)을 결정할 수 있다. 변환 행렬(T1)은 로봇 좌표계(448)로부터 카메라 좌표계(477)로 연장되는 화살표에 의해 도10b에 개념적으로 예시된다. 마찬가지로, 변환 행렬(T2)은 로봇 좌표계(448)로부터 카메라 좌표계(487)로 연장되는 화살표에 의해 도10b에 개념적으로 예시된다. 하나 이상의 단계(810-840)가 제 1 및 제 2 변환(T1, T2)을 결정하도록 반복될 수 있다. 예를 들어, 단계 810, 820, 및 830은 동시에 수행되어 최적화 알고리즘을 구동하도록 데이터를 발생시키고 단계 840는 변환 행렬(T1, T2)을 산출하기 위해 두 번 반복될 수 있다. 또 다른 대체물처럼, 단계 840는 단계 810, 820으로 되돌아가서 반복 알고리즘을 사용함으로써 변환을 추가로 개선하기 위해 추가 데이터를 수집하고, 그 중 한번의 반복은 단계 840 각각 통과하는 동안 완료되어, 각각의 반복이 해결법에 더욱 가까이 성공적으로 접근한다. 이 방법에 사용될 수 있는 반복 알고리즘의 예는 재귀 최소 자승법(recursive least squares. RLS), 최소 평균 자승법(least mean squares, LMS), 및 기울기 강하법(gradient descent)을 포함한다.
단계 840에서 어떤 형태로든 변환이 결정된 후, 방법(800)은 이 변환을 나중에 사용하기 위해 메모리(435)와 같은 메모리에 선택적으로 저장할 수 있다. 대안적으로, 또는 추가로, 방법(800)은 이 변환을 원하는 장소로 전송하거나 디스플레이(450)와 같은 적합한 디스플레이 디바이스상에 디스플레이할 수 있다. 또한, 시스템이 다수의 카메라 시스템을 포함하는 경우, 방법(800)은 카메라 좌표계 사이의 매핑을 추가로 결정할 수 있는데, 도10a에 대해 더욱 상세하게 설명된다. 일 실시예에 따르면, 방법(800)은 측정 지점에 접촉하는 도구 또는 도구 선단을 가지고 독립적으로 수행된다(예를 들어, 도구 또는 도구 선단이 측정 지점에 접촉하는 홈 위치 및 방향으로부터 로봇 팔을 움직이지 않고).
하나 이상의 단계 810-840은 사용자 개입 없이 자동으로 수행될 수 있다. 게다가, 방법(800) 및 그 단계는 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 배치 단계(810)는 하나 이상의 프로세서(425, 도4a), 컨트롤러(430) 및 이동식 팔(405)의 각각의 팔 조인트에 설치된 모터 및 인코더를 사용하여 수행될 수 있다. 단계 820에서 이미지 셋을 포착하는 것은 카메라 시스템(415)과 같은 카메라 시스템을 사용하여 수행될 수 있고, 단계 820에서 이동식 팔의 위치를 기록하는 것은 하나 이상의 프로세서(425), 컨트롤러(430), 및 메모리(435)를 사용하여 수행될 수 있다. 좌표 결정 단계(830) 및 변환 결정 단계(840)는 프로세서(425) 또는 이미지 프로세서(426)와 같은 하나 이상의 프로세서를 사용하여 수행될 수 있다, 단계 810-840는 임의의 순서로 또는 병렬로(예를 들어 동시에) 수행될 수 있다. 게다가, 하나 이상의 단계 810-840는 생략되거나 다른 단계로 대체될 수 있다. 예를 들어, 단계 810 및 820은 방법(800)이 이미 존재하는 포착된 이미지 셋 및 기록된 장소로부터 "좌표 결정하는 것..."(예를 들어 단계 830)으로 시작될 수 있다. 일부 실시예에서, 개별적인 이미지 포착 장소에 있는 측정판/표적 위치 및 이미지 포착 장소에서 포착된 이미지(들)는 수신되고, 허용되고, 또는 액세스(예를 들어, 메모리(435)와 같은 메모리로부터 액세스)될 수 있다. 이동식 팔의 위치(및/또는 측정판/표적의 위치) 및 이미지 포착 장소에서 포착된 이미지(들)는 수신되고, 허용되고, 액세스되며, 방법(800)은 좌표 결정 단계(830) 및 변환 결정 단계(840)를 수행할 수 있다.
하나 이상의 변환(예를 들어 변환 행렬 T1, T2)가 방법(800) 또는 다른 적합한 방법에 의해 결정된 후, 변환은 로봇 좌표계 및 카메라 시스템 좌표계 사이의 좌표를 손쉽게 변환하기 위해 활용될 수 있다. 이와 같은 변환은, 모발 추출/이식 수술 도중에 말단 장치 도구 어셈블리를 배치하기 위해 도8에 예시된 방법에 의해 결정되는 변환을 사용하기 위한 방법(900)의 흐름도인 도9에 예시되어 있다. 선택적인 단계(910)에서, 방법(900)은 좌표계를 갖는 카메라 시스템을 사용하여 신체 표면의 하나 이상의 이미지를 포착할 수 있다. 특정 실시예에서, 방법(900)은 예를 들어, 카메라 시스템 좌표계의 하나 이상의 관심 형상의 신체 표면(카메라 시스템에 의해 이미 포착된) 좌표의 이미지를 식별함으로써 단계 920으로 시작할 수 있다. 이처럼 포착된 이미지는 예를 들어, 이전에 또는 현재 메모리로부터 수신, 또는 허용 또는 액세스될 수 있다. 관심 형상은 예을 들어, 모낭 또는 모발 이식편용 이식 장소일 수 있다. 일 실시예에 따르면, 단계 920는 이미지의 관심 형상을 식별하는 것과 관심 형상의 삼차원 장소를 결정하는 것을 포함한다. 관심 형상의 삼차원 형상은 도4b를 참고로 기재된 스테레오 카메라 쌍의 제 1 및 제 2 카메라에 의해 포착된 이미지 안의 관심 형상의 2차원 장소로부터 계산될 수 있다. 다른 실시예에 따르면, 관심 형상의 좌표는 관심 형상의 좌표를 결정하기 위해 검색 기능(예를 들어, 도4a의 카메라 시스템(415) 또는 메모리(435)에 질문 또는 조회)을 실행시킴으로써 단계 920에서 결정된다.
또한 방법(900)은 방법(800)에 의해 결정된 변환(예를 들어, 변환 행렬 T1 및 T2 중 하나)을 검색하고 카메라 좌표계로부터 로봇 좌표계로 단계 930에서 관심 형상의 좌표를 변환할 수 있다. 관심 형상의 좌표를 카메라 시스템 좌표계로부터 로봇 좌표계로 변환하는 것은 수학식 5에 의해 결정될 수 있는데, 여기에서 T는 변환 행렬(예를 들어, 방법(800)에 의해 결정된), vc는 카메라 시스템 좌표계에서 결정된 관심 형상의 좌표, VR은 로봇 플랜지(446)에 대해 로봇 좌표계안의 관심 형상의 좌표이다.
Figure pct00025
단계 940에서, 이동식 팔은 관심 형상에 인접하게 배치된다. 예를 들어, 로봇 좌표예 안의 관심 형상의 좌표에 기반하여, 프로세서(425)는 컨트롤러(430)가 관심 형상에 대해 원하는 위치 및 방향으로 팔(405)을 이동하도록 하는 명령을 생성할 수 있다. 관심 형상이 모낭인 경우, 프로세서(425)는 컨트롤러(430)가 모낭 유닛에 대해 이동식 팔에 탑재되는 채취 도구를 회전 및 배치하도록 하는 명령을 생성할 수 있어 채취 도구가 이러한 모낭 유닛을 채취할 수 있다. 방법(900)의 단계들이 보이는 것과 다른 순서 또는 연속적기보다는 동시에 수행될 수도 있다은 것에 주의해야 한다.
도10a는 일 실시예에 따라, 두 개의 카메라 시스템 사이의 좌표 변환 또는 매핑을 결정하기 위한 방법(1000)의 흐름도이다. 결과적으로 이루어진 좌표 변환은 도11을 참고로 이하 설명하는 바와 같이, 제 1 카메라 시스템의 좌표계의 좌표를 제 2 카메라 시스템의 좌표계로 변환하기 위해 사용될 수 있으며, 또는 반대로도 사용될 수 있다. 방법(1000)은 이 변환을 결정하기 위한 프로세스이다. 제 1 및 제 2 카메라 시스템은 예를 들어, 도5 또는 6에 예시된 카메라 시스템(510, 520)이다 제 1 및 제 2 카메라 시스템은 대응하는 형상의 대응하는 이미지를 생성하도록 적어도 부분적으로 중첩되는 시계를 갖는다. 제 1 및 제 2 카메라 시스템은 각각 카메라의 스테레오 쌍일 수 있는데, 시계 사이즈 면에서 차이가 있고; 모발 채취 및/또는 이식을 위해 사용되는 것과 같은, 로봇 팔에 탑재될 수 있다.
선택적인 단계 1010, 1020에서, 방법(1000)은 카메라 시스템 각각으로부터 이미지를 포착할 수 있다. 특정 실시예에서, 이미지는 예를 들어, 위에서 도8 및 9를 참고로 언금된 바와 같이, 수신, 액세스 또는 허용될 수 있다. 단계 10105, 1025에서, 방법(1000)은 이미지의 대응하는 형상의 국부 좌표를 결정한다. 대응하는 형상의 상이한 좌표를 사용하여, 방법(1000)은 카메라 시스템 좌표계 사이의 매매핑을 결정하고(단계 1030) 이 매핑을 메모리(1040)에 저장한다. 단계 1015, 1025, 및 1030은 도5 또는 6에 예시된 프로세서와 같은, 하나 이상의 프로세서에 의해 수행된다. 방법(1000)에 의해 활용된 형상은 도7a-7c를 참고로 위에서처럼, 이 문서의 여러곳에서 설명한 바와 같이, 장기판 코너 또는 도트 무게중심과 같은, 측정 형상일 수 있다.
방법(1000)의 각각의 단계가 이제 더욱 상세하게 설명된다. 선택적인 단계 1010에서, 방법(1000)은 제 1 카메라 시스템을 사용하여 하나 이상의 이미지를 포착할 수 있다. 특정 실시예에서, 하나 이상의 이미지는 전술된 바와 같이 수신, 액세스 또는 하용될 수 있어 방법(1000)이 제 1 카메라 시스템에 의해 포착된 이미지로부터 제 1 카메라 시스템의 좌표계안의 형상의 좌표를 결정(단계 1015)할 수 있다. 선택적인 단계 1020에서, 방법(1000)은 또한 제 2 카메라 시스템을 사용하여 하나 이상의 이미지를 포착할 수 있다. 특정 실시예에서, 방법(1000)이 제 2 카메라 시스템에 의해 포착된 이미지로부터 제 2 카메라 시스템의 좌표계안의 형상의 좌표를 결정하도록 하나 이상의 이미지가 수신되고 액세스되고 허용될 수 있다(단계 1025). 단계 1010, 1015, 1020 및 1025는 표시된 바와 같이, 병렬로 수행될 수 있다. 실제로, 단계 1010 및 1020는 동시에 또는 거의 동시에 수행되어 대응하는 이미지를 낳게된다. 대안적으로, 단계 1010, 1015, 1020 및 1025는 대응하는 형상을 갖는 대응하는 이미지를 낳게되는 임의의 실현가능한 순서로 순차적으로 수행될 수 있다. 이 단계의 목표는 제 1 및 제 2 카메라 시스템으로부터 대응하는 이미지 쌍에서 발견된 대응하는 형상의 좌표 셋을 생성하는 것이다. 다시 말해서, 이 단계는 제 1 카메라 좌표계 안의 제 1 형상 좌표 셋 및 제 2 카메라 시스템 좌표계 안의 대응하는 제 2 좌표 셋을 낳는다.
이미지, 이미지 안의 형상, 각각의 좌표계안의 이 형상들의 좌표를 언급하기 위해 수학 기호를 활용하는 것이 가능하고 통찰력이 있는 것이다. 기호 v 1 및 v 2 는 각각 제 1 및 제 2 카메라 시스템 좌표계를 나태내기 위해 사용될 수 있다. v 1 및 v 2 각각은 예를 들어, 카메라의 스테레오 쌍인 카메라 시스템에 의해 생성될 수 있는 것처럼, 삼차원 좌표를 나타내기 위해 유용한 형태인, 수학식 2에 명시된 것과 같은 형태의 좌표 벡터일 수 있다. v 1 및 v 2 에 대한,더 적은 차원을 형태를 포함하는, 좌표의 다른 형태도 사용될 수 있다.
이미지 및 형상을 명시하기 위해 추가적인 지수가 사용될 수 있다. 예를 들어, 다음 지수, j,는 이미지를 명시하기 위해 사용될 수 있는데, 제 1 및 제 2 카메라 시스템 각각으로부터 대응하는 이미지의 수는 m이고, 제 1 카메라 시스템으로부터의 j 번째 이미지 및 제 2 카메라 시스템으로부터의 j 번째 이미지는 서로 j=1,...m에 대응한다. 게다가, 다음 지수, k,는 이미지안의 형상을 명시하기 위해 사용될 수 있는데, 각각의 이미지안에서 좌표가 결정된 형상의 수는 n이다. 이 기호에 따르면, 제 1 카메라 시스템 좌표계안에서 결정된 형상 좌표의 제 1 셋은 {v 1jk }이고, 제 2 카메라 시스템 좌표계안에서 결정된 형상 좌표의 제 2 셋은 {v 2jk }이며, j는 이미지 1...m 중에서 j 번째 이미지의 지수이고, k는 j 번째 이미지안의 형상 1...n 중에서 k 번째 형상의 지수이다.
방법(1000)은 m ≥ 1 및 n ≥ 2, 그리고 mn ≥ 6 중 임의의 값에 대해 동작가능하다. 다시 말해서, 방법(1000)은 이미지당 이미지 곱하기 형상들의 곱이 적어도 6인 동안은 두 상이한 형상의 최소값 및 각각의 카메라 시스템으로부터의 단일 이미지처럼 적게 작용한다. 추가적인 형상 및/또는 이미지는 방법(1000)을 더욱 정확하게 만드는 추가 데이터를 생성한다. 일 실시예에서, m = 48 이고 n = 6이며, 288쌍의 형상 좌표를 낳는다.
방법(1000)의 단계 1030은 제 1 및 제 2 셋의 형상 좌표(예를 들어, {v 1jk } 및 {v 2jk })에 기반하여, 하나의 카메라 시스템 좌표계로부터 다른 것으로의 매핑 또는 변환을 결정한다. 매핑 또는 변환은 다음과 같이 제 2 좌표계(예를 들어, 도4b 및 10b에 예시된 좌표계(487))로부터 제 1 좌표계(예를 들어, 도4b 및 도10b에 예시된 돠표계(477))로 좌표를 변환하는, Q로 표시될 수 있는, 변환 행렬의 형태를 취할 수 있다.
Figure pct00026
Q를 발견하기 위한 기술은 양
Figure pct00027
을 최소화하는 것으로, 여기에서 d는 예를 들어, L2 표준 거리 함수 d =
Figure pct00028
또는
Figure pct00029
와 같은, 거리 함수이다. 임의의 최적화 기술이 Q를 발견하기 위해 대안적으로 사용될 수 있다. 또 다른 대안에서처럼, 단계 1030는 반복 알고리즘을 사용함으로써 매핑을 추가로 개선하기 위해 추가 데이터를 수집하도록 단계 1010, 1020으로 돌아갈 수 있는데, 그 중 한번의 반복은 단계 1030을 각각 관통하는 동안 완료되어, 이러한 각각의 반복이 해결법에 더욱 가까이 접근한다. 이 방식으로 사용될 수 있는 반복 알고리즘의 예는 재귀 최소 자승법(recursive least squares. RLS), 최소 평균 자승법(least mean squares, LMS), 및 기울기 강하법(gradient descent)을 포함한다.
단계 1030에 의해 어떤 형태로든, 매핑 또는 변환이 결정되면, 방법(1000)은 나중에 사용하기 위해 매핑을 메모리안에 선택적으로 저장할 수 있다. 추가로, 방법(1000)은, 예를 들어, 원하는 장소로 매핑을 대신 전송하거나, 적합한 디바이스 상에 디스플레이할 수 있다.
방법(1000) 및 그 단계들은 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 이미지 포착 단계(1010, 1020)는 도5 또는 6에 표시된 카메라 시스템(510, 520)과 같은 카메라 시스템을 사용하여 수행될 수 있고; 좌표 결정 단계(1015, 1025)는 도5의 프로세서(550) 또는 도6의 프로세서(610, 620)과 같은 하나 이상의 프로세서를 사용하여 수행될 수 있고; 매핑 결정 단계(1030)는 도5의 프로세서(550) 또는 도6의 프로세서(650)과 같은 프로세서를 사용하여 수행될 수 있다.
제 2 좌표계(예를 들어, 좌표계(487))로부터 제 1 좌표계(예를 들어, 좌표계(477)) 좌표를 매핑하는 좌표 변환 행렬(Q)은 좌표계(477)로부터 좌표계(487)로 연장되는 화살표에 의해 도10b에 개념적으로 예시된다. 도10b가 좌표 변환 행렬(Q, T 1 , T 2 )을 개념적으로 예시하는 것을 제외하고, 도10b는 대체로 도4b와 유사하다. 도 10b에서, 스테레오 카메라 쌍(470)은 도10a를 참고로 기재된 제 1 카메라 시스템의 예이다. 유사하게, 도10b에 예시된 스테레오 카메라 쌍(480)은 도10a를 참고로 기재된 제 2 카메라 시스템의 예이다. 도10b에서 로봇 좌표계(448)로부터 커메라 좌표계(477)로 연장되는 화살표는 카메라 쌍(470)의 카메라 좌표계(477)와 로봇 좌표계(448) 사이의 회전 및 변환 관계를 명시하는 변환 행렬(T 1 )을 개념적으로 예시한다. 유사하게, 도10b에서 로봇 좌표계(448)로부터 카메라 좌표계(487)로 연장되는 화살표는 카메라 쌍(480)의 카메라 좌표계(487)과 로봇 좌표계(448) 사이의 회전 및 변환 관계를 명시하는 변환 행렬(T 2 )을 개념적으로 예시한다.
카메라 좌표계(477, 487)가 일치하지 않기 때문에, 스테레오 카메라 쌍(470, 480)에 의해 보이고 보고되는 형상은 서로 다른 좌표(v 1 , v 2 )를 가질 것이다. 동작가능한 허용오차내로 일치하도록 카메라 쌍(470, 480) 모두에 의해 돌아온 좌표를 갖는 것이 바람직하다(예를 들어, 카메라 쌍(480)에 의해 돌아온 지점(490)의 좌표와 동일하거나 거의 동일해지는 카메라 쌍(470)에 의해 돌아온 지점(490)의 좌표를 갖도록). 이것은 시각 형상
Figure pct00030
의 장소에 대해 수학식을
Figure pct00031
으로 교체함으로써 달성될 수 있는데, 여기에서 Q는 스테레오 카메라 쌍(480)에 의해 돌아온 시각 좌표를 스테레오 카메라 쌍(470)에 의해 돌아온 동일한 좌표로 매핑하는 변환이다. 예를 들어, 어떤 모낭이 채취될지를 계획하는 자동 알고리즘은 글로벌 좌표계(예를 들어, 피부 장력 디바이스의 위치 및 방향에 대한 글로벌 좌표계)를 사용하여 그리드 안의 모낭 유닛 모두에 대해 파악할 수 있다. 각각의 모낭은 더욱 높은 배율의 카메라 좌표계를 사용하여 발견, 추적, 및 추가될 수 있다. 좌표 변환 행렬(Q)이 계산된 후(예를 들어, 방법(1000)을 사용하여), 카메라 쌍(480)의 카메라 좌표계(487)과 로봇 좌표계(448) 사이의 로봇-카메라 변환은
Figure pct00032
로서 계산되고 제 2 카메라 쌍에 의해 돌아온 좌표는
Figure pct00033
로서 보고된다. 카메라 쌍(480)에 의해 보고된 시각 형상 좌표를 조정하기 위해 변환 행렬(Q)을 사용함으로써, 카메라 쌍(470, 480)에 의해 보고된 관심 형상의 좌표는 동일하거나 거의 동일해야 한다. 예를 들어, 표적의 장소는 카메라 쌍(2)(예를 들어, 저배율 카메라 쌍)을 사용하여 발견될 수 있고
Figure pct00034
을 사용하여 카메라 쌍(1)(예를 들어, 고배율 카메라 쌍)의 좌표계로 변환될 수 있는데, 예를 들어, 채취용 모낭에 대해 로봇 팔이 행하게 하기 위해 모낭을 카메라 쌍(1)이 배치하도록 허용한다. 다른 예에 의해, 카메라 쌍(1)(예를 들어, 고배율 카메라 쌍)이 채취된 자리 위치를 보고할 경우, 카메라 쌍(2)(예를 들어, 저배율 카메라 쌍)은
Figure pct00035
을 사용하여 채취된 자리를 발견할 수 있다.
세 개의 좌표 변환 행렬(Q, T 1 , T 2 ) 중 두개가 알려져 있는 경우(예를 들어, 방법(800, 1000, 또는 둘 다를 사용하여), 두 개의 알려진 변환으로부터 세번째 변환을 결정할 수 있다. 예를 들어, 변환 행렬(Q)가 방법(1000)을 사용하여 계산되고 변환 행렬(T 2 )가 방법(800)을 사용하여 계산되면, 변환 행렬(T 1 )(또는 T 1 의 근사치)은
Figure pct00036
로서 계산될 수 있다. 두 개의 알려진 변환으로부터 세번째 변환을 결정하는 것은 계산자원을 아끼도록 도울수 있다. 예를 들어, Q -1 및 T 2 로부터 T 1 을 유도하는 것은 변환 행렬(T 1 )을 계산하기 위해 최적화 알고리즘을 사용해야만 하는 것을 피할 수 있도록 도울수 있다.
방법(1000) 또는 다른 적합한 방법에 의해 매핑(예를 들어, 변환 행렬(Q))이 결정된 후, 이 매핑은 제 1 및 제 2 카메라 시스템의 좌표계 사이에서 용이하게 변환되도록 활용될 수 있다. 이러한 변환은, 일 실시예에 따라, 두 개의 상이한 카메라 시스템 사이에서 좌표를 변환하기 위한 방법(1100)의 흐른도인, 도11에 예시되어 있다. 선택적인 단계(1100)에서, 방법(1100)은 하나의 좌표계를 갖는 카메라 시스템을 사용하여 하나 이상의 이미지를 포착할 수 있다. 특정 실시예에서, 하나 이상의 이미지는 도8, 9, 및 10을 참고로 기재된 것과 유사한 방식으로 수신, 액세스 또는 허용되어 방법(1100)이 이 좌표계(예를 들어, v 2 )안의 이미지로부터 관심 형상의 좌표에 액세스한다(단계1120). 관심 형상은 모낭 또는 모발 이식편용 이식 장소일 수 있다. 2차원 카메라 시스템의 경우, 좌표를 결정하는 것은 픽셀 수량에 기반하여 기준으로부터 X 및 Y 오프셋을 결정하는 것처럼 간단할 수 있다. 카메라 스테레오 쌍의 경우, 삼차원 좌표를 결정하기 위한 기술은 당업계에 잘 알려져 있다. 방법(1100)은 방법(1000)에 의해 결정된 바와 같이, 매핑(예를 들어, Q)을 검색하고, 좌표를 국부 카메라 시스템의 좌표계로부터 다른 카메라 시스템 좌표계로 변환한다(단계 1140)(예를 들어,
Figure pct00037
). 방법(1100)은 원하는 바와 같이 변환된 좌표(예를 들어, v 2 )를 활용하도록 진행된다. 방법(1100)의 단계는 표시된 것과 다른 순서로 또는 순차적이기보다는 동시에 수행될 수 있다는 것에 주의해야 한다. 예를 들어, 매핑 검색 단계(1130)는 도11에 표시된 것보다 이른 임의의 시간에 수행될 수 있다.
도12는 예를 들어, 모발 채취 수술에서 사용하기 위한 말단 장치 어셈블리(예를 들어, 도4a를 참고로 기재된 도구(410) 참고)의 일부로서 로봇 팔에 부착될 수 있는 예시적인 바늘 어셈블리(1200)의 도표이다. 도12에 표시되고 아래에 기재되는 바와 같이, 바늘 어셈블리(1200)상의 다양한 형상은 도구 위치 측정 루틴의 일부로서 기계 시각 동작으로 정해질 수 있다. 특정 구성에서, 바늘 어셈블리(1200)는 다른 외부 바늘(펀치, 1210), 및 동축 내부 바늘(1220)을 포함할 수 있다. 일반적으로 바늘(1220)은 상대적으로 날카로운 말단 팁(1280)을 갖는 원통형이다. 이 바늘은 펀치(1210)의 루멘에 맞게 크기가 정해진다. 펀치(1210)는 측면(1252, 1254)을 갖고, 곡선 숄더(1270)를 통해 측벽(1222, 1224)을 갖는 좁은 원통형 말단부로 변하는, 메인 원통부(1250)를 포함할 수 있다. 또한 펀치(1210)는 말단 팁(1240)을 포함한다. 대체로 평행인 측면을 갖는 것으로 예시되지만, 임의의 형상의 바늘 또는 펀치가 예를 들어, 말단부를 향해 경사진 바늘 또는 펀치를 활용할 수 있다. 바늘 어셈블리(1200)는 중심선(1290)에 의해 표시된, 운동의 병진축을 따라 연장되거나 움츠러들 수 있다. 추가로, 바늘(1220)은 중심선(1290)을 따라 펀치(1210) 내부로 연장되거나 움츠러들 수 있다. 예를 들어, 도13은 펀치(1210)가 커메라의 시계 내에 존재하지 않는 동안, 예를 들어 피부면에, 대응하는 위치로 연장되는 바늘(1220)을 묘사하는 카메라 시스템(예를 들어, 도4a에 참고로 기재된 카메라 시스템(415))으로부터의 예시적인 이미지를 표시한다.
도14는 도구 위치 측정 방법(1400)의 예를 묘사하는 흐름도를 나타낸다. 도8-11의 기재와 유사하게, 단계(1410)는 선택적이다. 방법(1400)은 카메라 시스템(415)과 같은 카메라 시스템을 사용하여 이미지 데이터를 포착하는 단계를 포함할 수 있거나, 예를 들어, 기존 이미지 데이터로부터 도구 팁 위치를 결정하는 것을 포함할 수 있다. 특정 실시예에서, 이미지 데이터는 전술된 바와 같이 수신, 액세스 또는 허용될 수 있다. 이미지 데이터는 말단 장치 도구를 표시할 수 있고 이 데이터는 스테레오 카메라 쌍(470 또는 480)으로부터의 이미지 쌍을 포함할 수 있다. 일 실시예에 따르면, 이미지 데이터는 바늘 어셈블리(1200), 또는 단일 바늘, 또는 도구 어셈블리의 단일 펀치 구조가 필요한 경우 펀치의 적어도 일부로 표시될 수 있다.
방법(1400)은 카메라 시스템 좌표계안의 도구 팁 위치를 결정하는 단계 1420으로 계속된다. 예시적인 스테레오 카메라 쌍(470)에서, 도구 팁(1280)(예를 들어, 바늘 (1220)의 팁(1280), 또는 펀치(1210)의 팁(1240))의 위치는 좌표계(477) 내에서 결정된다. 도12에 대해 위에서 기록된 것처럼, 카메라 시스템은 다른 시각 형상을 찾을 수 있으며 팁(1280)과 같은 도구 팁은 기계 시각 방법을 사용하여 찾을 수 있는 도구 형상의 단지 한 예이다. 결정된 위치는 스테레오 카메라 이미지 내에 위치설정된 지점(예를 들어, 지점(490))의 2차원 위치의 쌍으로부터 표준(전술된) 프로세스에 따라 얻어진 3차원 좌표를 포함할 수 있다.
도구 위치가 카메라 시스템 좌표계에서 일단 결정되면, 방법(1400)은 카메라 시스템 좌표계로부터 로봇 좌표계(예를 들어, 도4a 및 4b의 좌표계) 안으로 도구 위치를 이동하는 것을 포함하는 단계(1460)로 계속된다. 정확한 도구 위치 측정으로, 옮겨진 위치는 도구, 예를 들어 바늘 어셈블리가 채취 동작을 수행할 수 있도록 말단 장치 도구 어셈블리(410)를 이동하도록 로봇 팔(405)에 명령하기 위해 프로세서에 의해 사용되는 로봇 플랜지(446)로부터의 오프셋을 결정하기 위해 사용될 수 있다. 일 실시예에 따르면, 이동은 다음과 같이 산출된다.
Figure pct00038
여기에서 t cam 은 결정된 도구 위치, T는 카메라(예를 들어, 수학식 3에 따라 결정된 로봇 좌표계 및 카메라 좌표계 사이의 변환)용 변환 행렬, t rob 는 로봇 도구 플랜지(446) 측면에서의 도구 위치이다.
방법(1400) 및 그 단계들은 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 이미지 포착 단계(1410)는 카메라 시스템(415)과 같은 카메라 시스템을 사용하여 수행될 수 있고 위치 결정 및 이동 단계(1420, 1460)는 프로세서(425) 또는 이미지 프로세서(426)와 같은 하나 이상의 프로세서를 사용하여 수행될 수 있다. 단계(1410, 1420, 1460)는 임의의 순서 또는 병렬(예를 들어, 동시에)로 수행될 수 있다.
도15는 방법(1400, 도14)의 단계(1420)를 실행하기 위한 예시적인 방법(1500)을 묘사하는 흐름도이다. 단계(1521)는 카메라 시스템의 시계내의 도구의 측면에 대응하는 제 1 및 제 2 주변 측벽 에지 세그먼트를 이미지 데이터로부터 검출하는 것을 포함한다. 예시적인 바늘 어셈블리(1200, 도12)에서, 예를 들어, 측면(1252, 1254)은 선분에 의해 검출 및 표시 및/또는 측면(1222, 1224)은 선분으로서 검출 및 표시될 수 있다.
다음으로, 단계(1526)는 검출된 제 1 및 제 2 주변 측벽 에지 세그먼트 사이의 평균에 기반하여 중심선을 계산하는 것을 포함한다. 예시적인 바늘 어셈블리(1200)에서, 중심선(1290)은 측면(1252, 1254) 사이의 평균 거리로서 계산된다.
단계(1528)는 카메라 시스템 좌표계안에 중심선을 따르는 도구 말단부의 공간 위치를 찾는 것을 포함한다. 예시적인 바늘 어셈블리(1200)에서, 바늘(1220) 및 펀치(1210)는 일반적으로 곧다. 따라서, 중심선(1290)이 정확하게 계산되는 경우, 바늘(1220)의 팁(1280) 또는 펀치(1210)의 팁(1240)은 예를 들어 측면(1222, 1224 또는 1252, 1254) 사이의 중심선(1290)을 따라 일반적으로 위치설정될 수 있다.예를 들어, 팁(1240)과 같은 도구 팁은 도16에 대해 이하 논의되는 바와 같이 중심선(1290), 예를 들어 데이터 전이점을 따라 이미지 데이터의 변화에 따라 위치 설정될 수 있다. 대안적인 방법(도시되지 않음)에서, 질량의 중심 또는 무게중심(centroid)은 바늘 어셈블리(1200)를 표시하는 데이터에 대해 결정될 수 있고, 질량의 중심으로부터 가장 멀게 위치하는 지점은 도구 팁에 대응할 수 있다.
방법(1500) 및 그 단계들은 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 단계(1521, 1526, 및 1528)는 프로세서(425) 또는 이미지 프로세서(426)와 같은 하나 이상의 프로세서를 사용하여 구현될 수 있다. 단계(1521, 1526, 및 1528)는 임의의 순서 또는 병렬(예를 들어, 동시에)로 구현될 수 있다.
도16은 방법(1500, 도15)의 단계(1521)를 실행하기 위한 예시적인 방법(1600)을 묘사하는 흐름도를 나타낸다. 단계(1622)는 제 1 및 제 2 셋의 데이터 전이를 구축하기 위해 이미지 데이터의 개별적인 행에 제 1 및 제 2 데이터 전이를 위치설정하는 것을 포함한다. 예를 들어, 도17a 및 17b는 그레이스케일(1710) 및 이진화된(1720) 포맷으로 펀치(1210)의 이미지(1700)를 각각 나타낸다. 도17a에 표시된 일 실시예에 따르면, 데이터 전이는 디지털 이미지(1700)의 픽셀-행들을 따라 밝은 색상에서 어두운 색상으로의 전이로서 식별될 수 있다. 디지털 이미지(1700)는 픽셀 세기의 행렬로서 표시될 수 있는데, 이 경우 데이터 전이는 행렬의 행을 따라 데이터 값의 변화에 의해 식별될 수 있다. 방법(1600) 및 그 단계는 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 단계(1622, 1623)는 프로세서(425) 또는 이미지 프로세서(426)와 같은 하나 이상의 프로세서를 사용하여 구현될 수 있다. 단계(1622, 1623)는 임의의 순서 또는 병렬(예를 들어, 동시에)로 구현될 수 있다.
데이터 전이를 위치 설정하기 위해, 이미지(1700)의 픽셀의 행은 도구의 마주보는 면에 대응하는 제 1 및 제 2 검출된 전이를 정하기 위해 횡단될 수 있다. 제 1 및 제 2 전이는 제 1 및 제 2 전이 셋에 각각 기록될 수 있다. 이미지 데이터의 해상도에 따라, 전체 이미지에 대한 모든 행은 횡단될 수 있지만, 몇몇 행을 건너뛰는 것은 일부 실시예에서 이 방법의 정확성을 증가시킬 수 있다. 예를 들어, 굴곡진 쇼울더(1270)를 나타내는 데이터 전이는 대체로 측면(1252, 1254)과 평행하지 않기 때문에, 이 데이터 전이를 기록하는 것은 계산된 중심선(1290)을 따라 도구 팁(1240)의 위치를 결정할 때 오류를 잠재적으로 증가시킨다. 따라서, 행의 부분집합은 중간 열을 건너뜀으로써 횡단될 수 있고, 또는 측면(1252, 1254, 또는 측면 1222, 1224)을 나타내는 전이를 갖기 위해 알려진 이미지의 부분영역은 예를 들어 이미지의 아래쪽 절반을 횡단될 수 있다.
도17b의 예에 표시된 바와 같이, 데이터 전이는 이미지 데이터를 처리함으로써 더욱 분명해질 수 있다. 일 예에서, 도구의 이미지는 이진화, 예를 들어 흑색 및 백색으로 변환되거나, 두 개의 색상으로 변환될 수 있는데, 첫번째 색상은 임계값 이하(또는 동일한)의 모든 픽셀 값을 나타내고 두번째 색상은 임계값을 초과하는 모든 픽셀 값을 나타낸다. 적합한 임계값을 결정하는 것은 그림자 효과, 명암, 및 원근 왜곡(도18a 및 18b에 대해 이하 논의되는). 따라서, 이미지 처리는 선택적이고 그레이스케일 에지 검출은 데이터 전이를 설정하기 위해 사용될 수 있다. 다른 예에서, 데이터 전이 위치는 분할(segmentation)에 의해 초기에 결정되고, 그 다음에 에지 검출 기술이 채택될 수 있다. 검색은 각각의 행, 예를 들어 작은 범위에 대해 초기 분할된 데이터 전이 주변에서 수행되어 에지가 발견되는 위치를 설정할 수 있다. 따라서, 에지 검출 연산자는 경사 기반 검출기, 소벨 연산자(Sobel operator), 등과 같이 적용될 수 있다.
스텝(1623)은 제 1 데이터 전이 셋으로부터의 제 1 회귀 및 제 2 데이터 전이 셋으로부터의 제 2 회귀를 수행함으로써 제 1 및 제 2 주변 측벽 에지 세그먼트를 산출하는 것을 포함한다. 예를 들어, 보통 최소 자승법과 같이, 다양한 측정 방법이 회귀를 산출하기 위해 사용될 수 있다.
회귀 계산은 다양한 이유로 다른 것과 정확하게 정령되지 않거나 실제 주변 측벽과 정렬되는 개별적인 검출 데이터 전이에 기반하여 고정된 선분을 제공하도록 돕는다. 예를 들어, 카메라(470)가 말단 장치 도구 어셈블리(410)에 고정된 경우, 카메라의 광학 경로는 바늘 어셈블리(1200)의 움직임의 이동 축과 정확하게 동일직선일 수 없다. 따라서, 카메라(470)의 시계 안에 바늘 어셈블리(1200)의 상당한 양의 원근 왜곡 또는 블러링이 존재할 수 있다. 다시 말해서, 바늘 어셈블리(1200)의 중심선(1290)은 도구(예를 들어, 펀치(1240))의 팁이 바늘 어셈블리(1200)의 마주보는 단부보다 카메라 축에서 더욱 멀리 있도록 하는 카메라 광 경로에 정확하게 평행하지는 않을 수 있다. 사실은, 팁(1240 또는 1280)의 z-축 거리는 몇몇 고배율 카메라 렌즈의 초점 깊이를 초과할 수 있다. 따라서, 예를 들어, 메인 원통부(1250)의 상대적으로 작은 부분만이 임의의 주어진 순간에 선명한 초점안에 존재할 수 있다. 이것은 도18a에 표시된 바와 같이 흐려진, 검출하기 더욱 어려운,밝음에서 어두움으로의 전이를 야기할 수 있다. 추가로, 펀치(1210)는 날카로운 검출가능한 코너를 갖는 편평한 표면이 아니다. 도17b에 표시된 바와 같이, 예를 들어, 말단 장치의 가시 부분 또는 곡선 쇼울더(1270)를 나타내는 임의의 데이터 전이는 대체로 종축과 평행이 아니고 도구 팁(1240)을 위치설정하기 위한 중심선(1290) 계산에 오류를 잠재적으로 가져올 수 있다. 따라서, 회귀 계산은 펀치(1210)의 에지(1252 및 1254, 또는 1222 및 1224)를 근사화하는데 사용될 수 있다.
일부 실시예에서, 펀치(1210)와 같은 도구는 카메라 축으로부터 비스듬하여, 펀치(1210)의 길이를 따라 균일하지 않은 메인 원통부(1250)의 원근 왜곡을 야기한다. 예를 들어, 도18a 및 18b에서, 원근 왜곡 때문에, 이미지(1810) 및 대응하는 처리 이미지(1820)의 아래쪽 근처의 펀치의 관찰가능한 직경은 곡선 쇼울더(1270)에 의해 관찰가능한 직경보다 몇 픽셀 더 넓다. 따라서, 방법(1500, 도15)의 단계(1521)로부터 검출된 측벽 에지 세그먼트는 집중되고 비균일 왜곡 또는 선명한 초점의 결여로 인해 결국 교차한다. 따라서, 중심선을 계산하는 단계(1526)는, 일부 실시예에서, 두 개의 집중되는 측벽 라인 세그먼트에 이해 구성된 각의 이등분을 식별하는 것을 포함할 수 있다.
도19는 방법(1500, 도15)의 단계(1521)를 실행하기 위한 다른 예시적인 방법을 묘사하는 흐름도이다. 일반적으로, 방법(1900)은 아웃라이어(outlier) 데이터 전이를 식별한 다음 걸러내기 위해 두 단계의 프로세스를 사용한다. 단계(1922) 및 단계(1923)는 각각, 측벽(1222, 1224 또는 1252, 1254)의 초기 근사치로서 작용하는 계산된 회귀를 갖는, 방법(1600, 도16)의 단계(1622) 및 단계(1623)에 대응한다.
측벽 에지 세그먼트에 대한 초기 회귀 계산을 사용하여, 단계(1924)는 예를 들어, 데이터 전이 셋으로부터 아웃라이어를 식별하고 걸러내는 사전결정된 임계값을 초과하는 각각의 제 1 및 제 2 초기 주변 측벽 에지 세그먼트로부터의 거리를 갖는 제 1 또는 제 2 데이터 전이를 제 1 및 제 2 데이터 전이 셋으로부터 제외한다. 단계(1925)는 각각의 제 1 및 제 2 데이터 전이 셋으로부터 회귀를 수행함으로써 제 1 및 제 2 주변 측벽 에지 세그먼트를 재-계산하는 것을 포함한다. 재-계산은 재-계산된 회귀가 도구 팁(1280)에 표시하는 계산 중심선을 따르는 데이터 전이 지점 및 중심선(1290)의 계산을 잠재적으로 왜곡하는 아웃라이어 데이터 전이를 제외하기 때문에 도구 위치 측정의 정확성을 게선할 수 있다. 방법(1900) 및 그 단계들은 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 단계(1922, 1923, 1924 및 1925)는 프로세서(425) 또는 이미지 프로세서(426)과 같은, 하나 이상의 프로세서를 사용하여 수행될 수 있다. 단계(1922, 1923, 1924 및 1925)는 임의의 순서 또는 병렬로(예를 들어, 동시에) 구현될 수 있다.
그 움직임의 축을 따라 바늘 어셈블리를 연장함으로써, 아주 많은 수의 정초점(in-focus) 데이터 전이가 메인 원통(1250)의 측면(1252, 1254)을 따라 얻어져서, 주변 측벽 에지 세그먼트의 근사치를 개선할 수 있다. 그 다음에 바늘 어셈블리는 오무라들고 팁(1240)의 위치를 결정하기 위해 선명한 초점내로 옮겨질 수 있다. 다른 실시예에서, 카메라의 초점은 도구가 연장되게 유지되도록 변경될 수 있지만, 도구의 팁 상의 초점은 개선된다. 도20은 연장되거나 후퇴한 조건에서 도구의 이미지 데이터를 사용하여 말단 장치의 말단부를 위치설정하기 위한 예시적인 방법(2000)을 표시한다. 이전의 예에 참고된 바와 같이, 선택적인 단계(2010)에서, 방법(2000)은 연장되는 도구, 예를 들어 피부면, 예를 들어 채취 또는 이식 수술 도중에 환자 피부에 의해 구성되는 면,을 지나 2mm 연장되는 채취 펀치,를 나타내는 이미지 데이터를 포착할 수 있다. 특정 실시예에서, 이미지 데이터는 수신, 액세스, 또는 허용될 수 있다. 단계(2021)는 방법(1500, 도15)의 단계(1521)과 유사하게, 측벽 에지 세그먼트를 검출하는 것을 포함한다. 마찬가지로, 단계(2026)는 단계(1526)에 대응한다. 단계(2027)는 후퇴한 조건에서 도구를 나타내는 이미지 데이터를 포착하는 것을 포함하는데, 예를 들어, 채취 펀치(1210)가 피부면 위로 또는 피부면의 지점으로 연장된다. 단계(2028)는 도구 팁을 위치설정하는 것을 포함하고 단계(1528)에 대응한다. 단계(2060)는 단계(1460)에 대해 전술한 바와 같이, 도구 팁 위치를 이동하는 것을 포함한다.
방법(2000) 및 그 단계들은 다양한 구조를 사용하여 구현될 수 있다. 예를 들어, 이미지 포팍 단계(2010)는, 카메라 시스템(415)와 같은, 카메라 시스템을 사용하여 수행될 수 있고, 단계(2021, 2026, 2027, 2028 및 2060)는, 프로세서(425) 또는 이미지 프로세서(426)와 같은, 하나 이상의 프로세서를 사용하여 수행될 수 있다.
앞서 언급된 도구 위치 측정 방법(1400, 1500, 1600, 1900 또는 2000)중 어느 것이든 선택적인 이진화 또는 다른 적합한 프로세싱 기술, 각 이분기의 선택적 위치설정, 예를 들어 픽셀 행 또는 이미지 영역을 건너뜀으로써 검색 공간을 줄이는 데이터 전이 수 제한을 위한 선택적 기술, 다양한 초점 깊이에서 선택적인 다수의 이미지 포착의 장점을 가질 수 있다.
도21a 및 21b는 다수의 카메라의 배율 및 상대적 위치를 식별하기 위한 플래카드(2110, 2220) 베어링 형상을 묘사한 것이다. 사용자는 카메라 시스템 시계안에 플래카드를 배치하고, 플래카드를 나타내는 개별적인 카메라로부터 이미지 데이터를 관찰하고, 관찰된 이미지 데이터에 기반하여 시스템의 물리적 구조와 개별적인 카메라를 연관시킬 수 있다. 플래카드 및 얻어진 이미지 데이터는 수동으로 개별적인 카메라로부터 일련번호(또는 다른 식별 표시)를 기록하고 그 정보를 로봇 제어 시스템의 구성 소프트웨어 안으로 입력하기 위해 대안으로서 수행될 수 있는 카메라 제어 시스템을 구성하는 방법을 용이하게 한다. 카메라로부터 카메라 일련 번호을 수동으로 얻는 것은 일련 번호 라벨의 위치 및 크기때문에 어려울 수 있다. 게다가, 일부 카메라 블록은 어떤 카메라가 고배율 또는 저배율인지, 또는 어떤 카메라가 우측면 또는 좌측면상에 있는지를 표시하는 라벨을 갖지 않는다. 또한, 카메라 시스템의 좌측면 및 우측면의 정의(definition)는, 정의가 카메라 시스템에 대한, 사람의 위치에 의존하기 때문에, 혼란스러울 수 있다.
일실시예에 따르면, 도21a 및 21b에 표시된 바와 같이, 플래카드(2110, 2120)는 두 개의 기준으로 인쇄될 수 있는데, 카드의 각 측면상에 있다. 플래카드(2110)는 좌측에 사각 기준(2116) 및 우측에 원형 기준(2118)을 포함한다. 기준의 수 및 형태는 개별적인 기준의 일반적인 형태 및 방향이 기계 시각 동작에 의해 인식할 수 있도록 어느 정도 임의적으로 제공된다. 이하 논의되는 바와 같이, 기준 쌍(2116, 2118 또는 2126, 2128)은, 구성 시스템이 좌측 및 우측 카메라 사이에서처럼 저배율 및 고배율 카메라 사이에서 구분되도록, 다양한 광학 특성에 기반하여 식별될 수 있다. 장기판 측정 표적(700, 도7a) 또는 도트 무게중심 측정 표적(720 및 740, 도7b 및 7c)은 카메라 식별을 위해 사용될 수 있다. 다른 실시예에서, 기준(2116, 2118 또는 2126, 2128)은 단일 측정 유닛 또는 카트(표시되지 않음)의 일부로서 표적(700, 720, 740)으로 인쇄될 수 있다.
도22는 다수의 카메라의 상대적인 위치 및 배율을 식별하기 위해, 도4a에 대해 기재된 카메라 시스템(470)과 같은, 카메라 시스템의 시계안에 배치된, 도21a에 표시된 바와 같은 플래카드(2110)의 투시도이다. 플래카드(2110)는 일 실시예에 따라, 기준(2116 및 2118)이 카메라 시스템(470)의 시계안에 비스듬히 나타나도록 배치된다. 독립형 프로세스처럼, 이하 논의되는 카메라 식별 루틴은, 비록 자동 움직임이 사용될 수도 있지만, 로봇 팔의 움직임에 의존하지 않는다. 어셈블리 설치대 상의 말단 장치를 사용하여 제조하는 동안, 플래카드(2110)는 적합한 스탠드(2280)상에 배치되고 제자리로 이동한다. 스탠드(2280)는 자유 형으로 배치되거나, 플래카드(2110)의 더욱 일차하는 이미지 제공을 돕기 위해 도구 어셈블리 설치대(표시되지 않음)에 부착될 수 있다. 플래카드가 배치되면, 적당한 조명이 인가된다. 조명은 도구 위에서 빌트인 LED 등 및 역광을 사용하여 이뤄질 수 있거나 기준은 깨끗한 기판상에 인쇄될 수 있다. 사용자 또는 프로세서는 플래카드(2110)의 이미지 포착을 투리거(trigger)하고 프로세서상에서 실행되는 소프트웨어 또는 전용 기계시각 하드웨어는 후술되는 기술에 따라 카메라의 위치 및 배율을 식별한다.
도23은 카메라 시스템의 개별적인 카메라의 배율을 식별하기 위한 예시적인 시스템(2300)을 나타낸다. 예시적인 시스템(2300)은 프로세서(2310) 및 적어도 두 개의 카메라 시스템(2320, 2330)을 포함한다. 예시적인 시스템(2300)에서, 좌측 카메라 시스템(2320)은 저배율 카메라 시스템에 대응하고 우측 카메라 시스템(2330)은 고배율 카메라 시스템에 대응한다. 카메라 시스템(2320 및 2330)은 각각 단일 카메라를 가질 수 있거나, 각각은 스테레로 카메라 시스템을 포함할 수 있다. 카메라 시스템(2320, 2330)은 플래카드(2110)가 카메라 시스템(2320 및 2330)의 시계(2360 및 2370)안에 배치되는 경우 플래카드(2110)를 나타내는 각각의 이미지(2340 및 2350)를 얻도록 구성된다. 일 실시예에서, 기준(2116 및 2118)은 전체적으로 시계(2360 및 2370)내에 존재하고, 플래카드의 크기 및 간격, 및 각각의 기준(2118 및 2118)의 면적은 사전결정된다. 플래카드(2110) 상의 각각의 기준(2118 및 2118)의 면적이 사전결정되기 때문에, 획득한 이미지(2340 또는 2350) 안의 기준(2346, 2348 또는 2356, 2358)의 면적이 임계값 이상인 경우, 대응하는 카메라 시스템(2320 또는 2330)은 고배율 카메라로서 결정된다. 다른 실시예에서, 이미지(2340 및 2350)는 서로 비교된다. 예를 들어, 이미지(2340) 안의 기준(2346)의 면적은 이미지(2350)안의 기준(2356)의 면적보다 크다. 따라서, 카메라(2330)가 더욱 큰 면적을 갖는 기준(2356)을 만들기때문에, 프로세서(2310)는 카메라 시스템(2330)을 고배율 카메라로서 적절하게 식별할 수 있다.
도24 및 25는 시계의 차이 및 원근 왜곡을 개별적으로 사용하여 말단 장치의 각각의 측면상의 카메라를 식별하기 위한 시스템을 표시한다. 도24에 표시된 예시적인 시스템(2400)에서, 카메라 시스템(2420 및 2430)은 각각의 이미지(2440 및 2450)를 생성하기 위한 고배율 카메라이다. 플래카드(2110)는 기준(2116)이 시계(2460)에서 보이지만, 기준(2118)은 보이지 않도록 카메라 시스템(2420 및 2430) 전면에 배치된다. 따라서, 기준(2116 및 2118)은 관성 모멘트, 순환성, 둘레 길이, 또는 다른 특성과 같은 눈에 띄는 특성을 갖는 모양으로 만들어지고, 이미지(2440 및 2450)는 전체적으로 중첩되지는 않으며 카메라 시스템(2420 및 2430)의 물리적 배열을 프로세서(2310)가 결정할 수 있도록 충분히 상이하다. 예를 들어, 이미지(2440)는 기준(2116)을 나타내는 사각 기준(2458)을 포함하고 이미지(2450)는 기준(2118)을 나타내는 원형 기준(2458)을 포함한다. 다시 말해서, 안쪽으로 비스듬한 좌측 고배율 카메라(2420)는 오직 기준(2116)만을 볼 수 있는 반면, 안쪽으로 비스듬한 우측 고배율 카메라(2430)는 기준(2118)만을 볼 수 있다.
도25에 표시된 다를 예시적인 시스템(2500)에서, 카메라 시스템(2520 및 2530)은 서로 병렬이 아니지만, 안쪽으로 약간 비스듬하여, 원근 왜곡이 기준 형상의 기하학적 형상에 영향을 미친다. 도21b에 대해 기재된 바와 같이, 플래카드(2120)는 각각의 측면상에 사각 형태의 기준(2126 및 2128)을 포함한다. 카메라 시스템(2520 및 2530)의 초점 면이 플래카드(2120)에 수직이기 때문에, 각각의 이미지(2540 및 2550) 안의 하나의 기준은 다른 기준보다 초점에 약간 더 가까워 이미지(2540 및 2550)안의 기준 사이의 면적의 차이를 초래한다. 모낭 형상의 핀-홀(pin-hole) 카메라 왜곡은 두 측면의 형태 프로파일을 변경하는 것이 마찬가지로 다를수 있다. 예를 들어, 기준(2546)은 기준(2548)보다 약간 작게 나타나는 반면, 기준(2556)은 기준(2558)보다 약간 크게 나타난다. 추가로, 기준(2546 및 2548)은 왼쪽으로 기울어진 반면, 기준(2556 및 2558)은 핀-홀드 왜곡때문에 오른쪽으로 기울어진다. 또한 원근 왜곡은 사전 결정된 형상의 기준상의 왜곡량을 특징지음으로써, 개별적인 카메라에 대한 렌즈 초점을 결정하도록 사용될 수 있다. 게다가, 이미지(2546 및 2548)안의 기준(2546 및 2548) 위치는 시스템(2400)에 대해 기재된 바와 같이, 시계(2560 및 2570) 차이의 결과로서 다른 이미지(2550)과 비교되는 경우 천이(표시되지 않음)될 수 있다.
도26은 전술된 카메라 식별 루틴을 검증하고(validate) 시스템 구성 XML 파일(2610)에 식별 명령을 기재하기(write) 위한 소프트웨어 애플리케이션의 스크릿샷(2600)을 표시한다. XML 파일(2610)은 위치, 배율, 렌즈 초점 또는 기술자가 카메라의 다양한 양태를 추적하도록 허용하는 다른 구성 파라미터를 포함할 수 있다. 식별 파라미터는 시스템 초기화 도중에 기재될 수 있거나 카메라 제구성 도중에 중복기재될 수 있다. 자동화된 식별 루틴을 확인하는 것은 도26에 표시된 바와 같이 수행될 수 있다. 기준(2622)을 갖는 스트립(2620)(도4b를 참고로 기재된)은 저배율 카메라로 볼 수 있지만, 좁은 시계로 인해 고배율 카메라로는 볼 수 없고, 바늘 어셈블리(1200)의 각은 좌측 및 우측 카메라에 대해 상이한 방향으로 기울어져 있다.
실시예들은 다양한 프로그램 언어로 개발된 컴퓨터 소프트웨어를 사용하여 구현될 수 있다. 실시예들은 여기에 기재된 프로세스 또는 방법을 구현하기 위해 컴퓨터(또는 전자 디바이스)를 프로그래밍하도록 사용될 수 있는 명령(압축되거나 압축되지 않은 형태로)이 그 위에 저장된, 일시적이지 않은 기계 판독가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 기계 판독가능한 저장 매체는 하드 드라이브, 플로피 디스켓, 광 디스크, CD-ROM, DVD, 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 플래시 메모리, 자기 또는 광학 카드, 솔리드 스테이트 메모리 디바이스, 또는 전자적인 명령을 저장하기 적합한 다른 형태의 매체/기계 판독가능한 매체를 포함할 수 있지만, 이에 국한되는 것은 아니다. 또한, 실시예는 일시적인 기계 판독가능한 신호(압축되거나 압축되지 않은 형태로)를 포함하는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 반송자를 사용하여 변조되었든 그렇지 않든, 기계 판독가능한 신호의 예는 컴퓨터 시스템 또는 컴퓨터 프로그램을 호스팅 또는 운영하는 기계가 액세스할 수 있도록 구성되도록 하고, 인터넷 또는 다른 네트워크에 의해 다운로드된 신호를 포함하는 신호를 포함한다. 예를 들어, 소프트웨어의 분배는 CD-ROM을 통하거나 인터넷 다운로드를 통한 것일 수 있다.
여기에 기재된 방법 및 시스템을 실행하는 소프트웨어 프로그램은 원하는 동작을 수행하기 위한 명령 셋을 포함하는 별개의 프로그램을 코드를 포함할 수 있거나, 동작의 하부 동작을 수행하는 다수의 모듈을 포함할 수 있거나, 동작을 제공하는 더 큰 프로그램의 단일 모듈의 일부일 수 있다. 모듈형 구조는 그 안의 모듈 및/또는 모듈 내의 형상 추가, 삭제, 업데이트, 및/또는 보정을 용이하게 한다. 프로그램은 고유 식별자 정보 및/또는 추가 정보를 수신 및/또는 고유 식별자 정보 및/또는 추가 정보와 연관된 데이터를 갖는 예를 들어 저장 디바이스에 액세스할 수 있다.
위에 사용된 용어 및 설명은 오직 예시에 의해 규정되며 제한으로서의 의미가 아니다. 당업자들은 발명의 기본 원리를 벗어나지 않고 많은 변형이 전술한 실시예의 세부사항에 이뤄질 수 있음을 인식할 것이다. 본 발명의 범위는 따라서 다음의 청구범위 및 그 등가물에 의해 결정되어야 한다.
100, 400 : 로봇 시스템 110, 220 : 이동식 팔
112 : 팔 조인트 114 : 베이스
120 : 말단장치 도구 어셈블리
140, 415, 510, 520 : 카메라 시스템
150 : 스테레오 카메라쌍 160 : 테이블 표면
310 : 천자 바늘 320 : 코어링 바늘
330 : 폐쇄장치 410 : 도구
425, 550, 610, 620 : 프로세서 426 : 이미지 프로세서
430 : 컨트롤러 435 : 메모리
450 : 모니터 455 : 키보드
460 : 마우스
500, 600 : 기계 시각 서브시스템
510, 520 : 카메라 시스템 550 : 프로세서
700 : 장기판 측정 표적
720, 740 : 도트-무게중심 측정표적
730 : 도트 무게중심 1200 : 바늘 어셈블리
1210: 외부 바늘(펀치) 1220 : 내부 바늘
1222, 1224 : 측벽 1240, 1280 : 말단 팁
1250 : 메인 원통부 1252, 1254 : 측면
1270 : 곡선 숄더 2110, 2120 : 플래카드
2116 : 사각 기준 2118 : 원형 기준

Claims (36)

  1. 제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑을 결정하기 위한 방법에 있어서, 여기에서 제 1 및 제 2 카메라 시스템은 적어도 부분적으로 중첩되는 시계를 갖고, 여기에서 제 1 및 제 2 카메라 시스템은 고정된 공간 관계를 갖고, 상기 방법은,
    하나 이상의 프로세서를 사용하여, 제 1 및 제 2 카메라 시스템으로부터의 대응하는 이미지 쌍에서 발견된 형상 셋의 제 1 및 제 2 카메라 시스템 좌표계 모두에서 좌표를 결정하는 단계로서, 그로 인해 제 1 카메라 시스템 좌표계 안에 제 1 형상 좌표 셋을 야기하고 제 2 카메라 시스템 좌표계 안에 대응하는 제 2 좌표 셋을 야기하고,
    제 1 및 제 2 형상 좌표 셋에 기반하여, 하나 이상의 프로세서와 동일하거나 다른 프로세서의 사용에 의해 제 1 및 제 2 카메라 시스템 좌표계 사이의 매핑을 결정하는 단계를 포함하는
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  2. 제 1 항에 있어서,
    각각의 제 1 및 제 2 카메라 시스템으로부터 다수의 대응하는 이미지를 거의 동시에 포착하는 단계를 추가로 포함하는
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  3. 제 1 항에 있어서,
    각각의 제 1 및 제 2 카메라 시스템은 카메라의 스테레오 쌍인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  4. 제 1 항에 있어서,
    제 1 및 제 2 카메라 시스템은 시계 크기가 다른
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  5. 제 1 항에 있어서,
    제 1 및 제 2 카메라 시스템은 모발 채취 및/또는 이식용 로봇 시스템의 일부인 로봇 팔에 탑재되는
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  6. 제 1 항에 있어서,
    상기 형상은 장기판 코너 및 도트 무게중심을 구성하는 하나 이상의 그룹으로부터 선택된 측정 형상인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  7. 제 1 항에 있어서,
    각각의 제 1 및 제 2 카메라 시스템으로부터 대응하는 이미지의 수는 m이고, 제 1 카메라 시스템으로부터 j 번째 이미지 및 제 2 카메라로부터 j 번째 이미지는 j=1...m에 대해 서로 대응하고, 좌표가 각각의 이미지에서 결정된 형상의 수는 n이고, 제 1 카메라 시스템 좌표계에서 결정된 제 1 좌표 셋은 {v 1jk }이고, 제 2 카메라 시스템 좌표계에서 결정된 제 2 좌표 셋은 {v 2jk }이고, j는 이미지 1...m 중 j 번째 이미지에 대한 지수이고, k는 j 번째 이미지 안의 형상 1...n중에서 k 번째 형상에 대한 지수인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  8. 제 7 항에 있어서,
    m ≥ 1이고 n ≥ 1이고, mn ≥ 6인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  9. 제 8 항에 있어서,
    m=48이고 n = 6인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  10. 제 7 항에 있어서,
    여기에서 매핑은 재 2 좌표계로부터 제 1 좌표계로 좌표를 변환하는 변환 행렬(
    Figure pct00039
    )이고, 여기에서 매핑을 발견하는 단계는 양
    Figure pct00040
    을 적어도 거의 최소화하는 행렬(
    Figure pct00041
    )을 발견하는 단계를 포함하여,
    Figure pct00042
    이고, v 1 및 v 2 는 각각 제 1 및 제 2 카메라 시스템 좌표계 안의 좌표의 벡터이고, d는 거리 함수인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  11. 제 10 항에 있어서,
    여기에서
    Figure pct00043
    는 4x4 행렬이고, 좌표의 벡터는 다음과 같은 형태 :
    Figure pct00044
    인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  12. 제 10 항에 있어서,
    여기에서 거리 함수(d)는
    Figure pct00045
    인
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  13. 제 10 항에 있어서,
    여기에서 변환 행렬(
    Figure pct00046
    )을 발견하는 단계는 최적화 기술을 사용하는 단계를 포함하는
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 방법.
  14. 제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑을 결정하기 위한 시스템에 있어서, 상기 시스템은,
    제 2 카메라 시스템과 고정된 공간 관계를 갖는 제 1 카메라 시스템으로서, 제 1 및 제 2 카메라 시스템은 적어도 부분적으로 중첩되는 시계를 갖고,
    제 1 및 제 2 카메라 시스템으로부터의 대응하는 이미지 쌍에서, 제 1 카메라 시스템 좌표계 안의 제 1 형상 좌표 셋 및 제 2 카메라 시스템 좌표계 안의 제 2 형상 좌표 셋을 결정하기 위한 수단; 및
    제 1 및 제 2 형상 좌표 셋에 기반하여, 제 1 및 제 2 카메라 좌표계 사이의 매핑을 결정하기 위한 수단을 포함하는
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 시스템.
  15. 제 14 항에 있어서,
    각각의 제 1 및 제 2 카메라 시스템으로부터 다수의 대응하는 이미지를 포착하기 위한 수단을 추가로 포함하는
    제 1 카메라 시스템 좌표계 및 제 2 카메라 시스템 좌표계 사이의 매핑 결정 시스템.
  16. 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 방법에 있어서, 여기에서 로봇은 카메라 시스템을 위에 탑재한 이동식 팔을 포함하고, 로봇 좌표계는 이동식 팔의 위치를 규정하고, 카메라 시스템 좌표계는 카메라 시스템의 시계 내의 표적의 위치를 규정하고, 상기 방법은,
    표적이 개별적인 이미지 포착 장소에서 카메라 시스템의 시계 내에 존재하고 이동식 팔이 회전하고 하나의 이미지 포착 장소로부터 다른 이미지 포착 장소로 표적에 대해 이동하도록 다수의 이미지 포착 장소로 표적에 대해 이동식 팔을 배치하는 단계;
    카메라 시스템을 사용하여 표적의 이미지 셋을 개별적인 이미지 포착 장소에서 포착하고, 이동식 팔의 위치를 로봇 좌표계안에 기록하는 단계;
    이미지 셋의 식별된 표적의 측정 형상 셋의 좌표를 카메라 시스템 좌표계 안에서 결정하는 단계;
    이동식 팔의 위치 및 개별적인 이미지 포착 장소에서의 측정 형상 셋의 좌표에 기반하여, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  17. 제 16 항에 있어서,
    표적에 대해 이동식 팔을 배치하는 단계, 표적의 이미지 셋을 포착하는 단계, 이동식 팔의 위치를 기록하는 단계, 측정 형상 셋의 좌표를 결정하는 단계, 및 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하는 단계는 자동으로 수행되는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  18. 제 16 항에 있어서,
    이동식 팔은 이동식 팔 위에 탑재된 모낭 유닛 채취 도구, 모낭 유닛 이식 도구, 또는 둘 다를 갖고, 로봇은 모낭 유닛 채취, 모낭 유닛 이식, 또는 둘 다를 위해 구성되고,
    신체 표면의 이미지 안의 모낭 유닛의 장소를, 카메라 시스템 좌표계 안에서 식별하는 단계;
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환과 카메라 시스템 좌표계안의 모낭 유닛의 장소에 기반하여, 모낭 유닛의 장소를 로봇 좌표계 안에서 결정하는 단계,
    모낭 유닛이 모낭 유닛 채취 또는 이식 도구를 사용하여 채취 또는 이식될 수 있도록 로봇 좌표계 안의 모낭 유닛의 장소에 기반하여 모낭 유닛에 인접하게 이동식 팔을 배치하는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  19. 제 16 항에 있어서,
    표적의 위치는 고정되고, 로봇 좌표계와 카메라 시스템 좌표계 사이의 변환을 결정하는 단계는 로봇 좌표계와 카메라 시스템 좌표계 사이의 변환에 대한 값을 반복적으로 선택하는 단계와 (A) 변환, 이동식 팔의 위치, 및 하나의 이미지 포착 장소에서 측정 형상의 좌표에 대해 선택된 값의 곱 및 (B) 변환, 이동식 팔의 위치, 및 (A) 및 (B) 사이의 차이를 최소화하는 변환에 대한 값을 결정하기 위해 다른 이미지 포착 장소에서 대응하는 측정 형상의 좌표에 대해 선택된 값의 곱을 비교하는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  20. 제 16 항에 있어서,
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환은 변환 행렬(T)을 포함하고, 변환을 결정하는 단계는 양
    Figure pct00047
    을 적어도 거의 최소화하는 변환 행렬(T)을 발견하는 단계를 포함하고, 여기에서 i 및 j는 개별적인 이미지 포착 장소의 상이한 거리에 대응하고, i는 2 내지 m 범위의 값을 갖고, j는 1 내지 (i-1) 범위의 값을 갖고, k는 측정 형상 셋 안의 개별적인 측정 형상에 대응하고 1 내지 n 범위의 값을 갖고, Ri는 개별적인 이미지 포착 장소(i)에서 이동식 팔의 위치이고, vik는 i 번째 이미지 포착 장소에서 k 번째 측정 형상의 카메라 시스템 좌표계에서 결정된 좌표이고, Rj는 개별적인 이미지 포착 장소(j)에서 이동식 팔의 위치이고, vjk는 k 번째 이미지 포착 장소에서 k 번째 측정 형상의 카메라 시스템 좌표계에서 결정된 좌표인
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  21. 제 20 항에 있어서,
    이동식 팔의 위치는 로봇 좌표 변환 행렬
    Figure pct00048
    을 포함하고, 부분 행렬
    Figure pct00049
    은 기준 방향으로 이동식 팔의 방향에 대한 수직 회전을 나타내고, 부분 행렬
    Figure pct00050
    은 이동식 팔의 위치 및 가준 위치 사이의 오프셋을 나타내고,
    개별적인 측정 형상의 좌표는
    Figure pct00051
    형태의 배열을 포함하고,
    변환 행렬(T)은
    Figure pct00052
    형태의 행렬을 포함하고, 부분 행렬
    Figure pct00053
    는 로봇 좌표계 및 카메라 시스템 좌표계 사이의 회전 관계를 나타내고 세 개의 회전 오프셋(α, β, 및γ)으로부터 유도되고, 부분 행렬
    Figure pct00054
    은 로봇 좌표계 및 카메라 시스템 좌표계 사이의 이동 오프셋(x, y, 및 z)을 나타내는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  22. 제 16 항에 있어서,
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환은 최급강하(steepest descent) 최적화 알고리즘, 모의 어닐링(simulated annealing) 알고리즘, 또는 최적합(best fit) 알고리즘 중 하나 이상의 포함하는 같은 최적화 알고리즘을 사용하여 결정되는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  23. 제 16 항에 있어서,
    개별적인 이미지 포착 장소는 표적과 거의 일치하는 중심점을 갖는 구의 표면상에 거의 놓여 지는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  24. 제 16 항에 있어서,
    이동식 팔은 하나의 이미지 포착 장소로부터 다른 이미지 포착 장소로 표적에 대해 방사상으로 움직이는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  25. 제 16 항에 있어서, 카메라 시스템은 각각 이동식 팔 상에 탑재된 제 1 및 제 2 스테레오 카메라 쌍을 포함하고, 제 1 카메라 쌍은 제 1 시계의 이미지를 획득하도록 초점이 맞춰지고 구성되며, 제 2 스테레오 카메라 쌍은 제 1 시계보다 대체로 좁은 제 2 시계의 이미지를 획득하기 위해 초점이 맞춰지고 구성되며, 제 1 및 제 2 시계는 적어도 부분적으로 중첩되고, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하는 단계는 최적화 알고리즘을 사용하여 제 1 스테레오 카메라 쌍에 대한 제 1 변환을 결정하는 단계 및 최적화 알고리즘을 사용하여 제 2 스테레오 카메라 쌍에 대한 제 2 변환을 결정하는 단계를 포함하고,
    제 1 스테레오 카메라 쌍 좌표계에서 제 2 스테레오 카메라 쌍 좌표계로 좌표를 매핑하는 변환 행렬(Q)을 결정하는 단계를 추가로 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환 결정 방법.
  26. 로봇 좌표계 및 카메라 좌표계 사이의 변환을 결정하기 위한 시스템에 있어서, 상기 시스템은,
    이동식 팔 위에 탑재된 카메라 시스템을 갖는 이동식 팔을 포함하는 로봇으로, 여기에서 로봇 좌표계는 이동식 팔의 위치를 규정하고 카메라 시스템 좌표계는 카메라 시스템의 시계 내의 표적 위치를 규정하는, 로봇;
    a) 개별적인 이미지 포착 장소에서 카메라 시스템의 시계 내에 표적인 존재하도록 하나 이상의 개별적인 이미지 포착 장소에 표적에 대해 이동식 팔을 배치하기 위한 수단 및 b) 하나의 개별적인 이미지 포착 장소로부터 다른 개별적인 이미지 포착 장소로 이동식 팔을 이동하기 위한 수단;
    개별적인 이미지 포착 장소에서 표적의 이미지 셋을 포착하기 위한 수단;
    개별적인 이미지 포착 장소에서 이동식 팔의 위치를, 로봇 좌표계안에, 기록하기 위한 수단;
    표적의 측정 형상 셋의 좌표를, 카메라 시스템 좌표계안에서, 결정하기 위한 수단; 및
    개별적인 이미지 포착 장소에서 측정 형상 셋의 좌표 및 이동식 팔의 위치에 기반하여, 로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 수단을 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  27. 제 26 항에 있어서,
    모낭 유닛 채취 도구 또는 모낭 유닛 이식 도구, 또는 둘 다를 추가로 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  28. 로봇 팔로부터 연장되는 도구를, 로봇 좌표계 안에, 배치하는 방법에 있어서, 상기 방법은,
    카메라 시스템 좌표계안의 도구의 위치를 이미지 데이터로부터 결정하는 단계; 및
    사전결정된 변환을 사용하여 카메라 시스템 좌표계로부터 로봇 좌표계로 도구의 위치를 이동시키는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  29. 제 28 항에 있어서,
    한 쌍의 이미지를 포함하는 이미지 데이터를 포착하는 단계를 추가로 포함하고,
    상기 결정하는 단계는,
    카메라 시스템의 시계 내의 도구의 측면에 대응하는 제 1 및 제 2 주변 측벽 에지 세그먼트를 이미지 데이터로부터 검출하는 단계;
    검출된 제 1 및 제 2 주변 측벽 에지 세그먼트 사이의 평균에 기반하여 중심선을 계산하는 단계; 및
    중심선을 따라 도구의 말단부의 위치를 카메라 시스템 좌표계 안에 정하는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  30. 제 29 항에 있어서,
    상기 중심선은 제 1 및 제 2 주변 측벽 에지 세그먼트 사이에 구성된 각을 이등분하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  31. 제 29 항에 있어서,
    상기 검출하는 단계는,
    제 1 및 제 2 데이터 전이 셋을 구축하기 위해 이미지 데이터의 개별적인 행안에 제 1 및 제 2 데이터 전이를 정하는 단계
    각각의 제 1 및 제 2 데이터 전이 셋으로부터 회귀를 수행함으로써 제 1 및 제 2 주변 측벽 에지 세그먼트를 계산하는 단계를 포함하고,
    상기 정하는 단계는,
    말단부 데이터 전이의 위치가 카메라 시스템 좌표계안의 말단부의 공간적 위치를 나타내도록 중심선을 따라 이미지 데이터 안에 말단부 데이터 전이를 정하는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  32. 제 31 항에 있어서,
    제 1 및 제 2 데이터 전이는 이미지 데이터의 대비, 세기, 색상, 또는 휘도 천이 중 하나 이상을 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  33. 제 31 항에 있어서,
    상기 검출하는 단계는
    말단부가 이미지 데이터 내의 고유값으로서 표시되도록 이미지 데이터를 처리하는 단계를 추가로 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  34. 제 31 항에 있어서,
    상기 검출하는 단계는
    말단부가 제 1 고유 색상에 의해 표시되고 배경 형상이 제 2 고유 색상으로 표시되도록 이미지 데이터를 이진화하는 단계를 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  35. 제 31 항에 있어서,
    상기 데이터 전이는 그레이스케일 에지 지점을 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
  36. 제 31 항에 있어서,
    상기 회귀는 각각의 제 1 및 제 2 데이터 전이 셋을 거의 연결하는 최적합(best fit) 알고리즘 및/또는 각각의 제 1 및 제 2 데이터 전이 셋을 거의 연결하는 최소 자승 적합법(least squares fit)을 포함하는
    로봇 좌표계 및 카메라 시스템 좌표계 사이의 변환을 결정하기 위한 시스템.
KR1020147000496A 2011-07-08 2012-07-02 카메라 시스템 좌표계의 측정 및 변환 KR101495011B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/178,867 US9188973B2 (en) 2011-07-08 2011-07-08 Calibration and transformation of a camera system's coordinate system
US13/178,867 2011-07-08
PCT/US2012/045202 WO2013009510A2 (en) 2011-07-08 2012-07-02 Calibration and transformation of a camera system's coordinate system

Publications (2)

Publication Number Publication Date
KR20140012771A true KR20140012771A (ko) 2014-02-03
KR101495011B1 KR101495011B1 (ko) 2015-02-23

Family

ID=47438427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000496A KR101495011B1 (ko) 2011-07-08 2012-07-02 카메라 시스템 좌표계의 측정 및 변환

Country Status (6)

Country Link
US (2) US9188973B2 (ko)
EP (1) EP2729060A4 (ko)
JP (1) JP5688825B2 (ko)
KR (1) KR101495011B1 (ko)
CN (1) CN103702607B (ko)
WO (1) WO2013009510A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160069180A (ko) * 2014-12-08 2016-06-16 현대중공업 주식회사 중재시술 로봇용 공간정합 시스템
WO2019221340A1 (ko) * 2018-05-16 2019-11-21 주식회사 브이터치 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20200105381A (ko) * 2019-02-28 2020-09-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 공작 기계 설비의 회전 각도 결정 방법 및 장치
KR102598858B1 (ko) * 2022-09-16 2023-11-08 주식회사 오대 모발이식 영역의 좌표 데이터 생성 방법 및 장치
WO2024058499A1 (ko) * 2022-09-16 2024-03-21 주식회사 오대 모발이식 영역의 좌표 데이터 생성 방법 및 장치

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US9736368B2 (en) 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US8423186B2 (en) * 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
US9258975B2 (en) 2011-04-28 2016-02-16 Technologies Holdings Corp. Milking box with robotic attacher and vision system
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
JP6259757B2 (ja) 2011-06-27 2018-01-10 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ コンピュータ支援手術の搭載器具追跡システム
US9251562B1 (en) 2011-08-04 2016-02-02 Amazon Technologies, Inc. Registration of low contrast images
EP2729850A4 (en) * 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
EP3131238B1 (en) * 2011-11-25 2018-01-17 Bandwidthx Inc. System for providing intelligent network access selection for a mobile wireless device
US10175177B2 (en) * 2012-01-30 2019-01-08 SeeScan, Inc. Adjustable variable resolution inspection systems and methods
EP2821178A4 (en) * 2012-02-27 2016-01-13 Yaskawa Denki Seisakusho Kk ROBOT SYSTEM
JP5953842B2 (ja) * 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP6195333B2 (ja) * 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
US20140132729A1 (en) * 2012-11-15 2014-05-15 Cybernet Systems Corporation Method and apparatus for camera-based 3d flaw tracking system
TW201425871A (zh) * 2012-12-21 2014-07-01 Zong Jing Investment Inc 測距方法及電腦程式產品
US9272312B1 (en) * 2013-01-02 2016-03-01 The Boeing Company Methods and systems for removing lubricants from superplastic-forming or hot-forming dies
US20140229873A1 (en) * 2013-02-13 2014-08-14 Corel Corporation Dynamic tool control in a digital graphics system using a vision system
EP2996611B1 (en) 2013-03-13 2019-06-26 Stryker Corporation Systems and software for establishing virtual constraint boundaries
US9227323B1 (en) 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
JP6091977B2 (ja) * 2013-04-22 2017-03-08 日立建機株式会社 建設機械
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
EP2821024A1 (en) 2013-07-01 2015-01-07 Advanced Osteotomy Tools - AOT AG Computer assisted surgery apparatus and method of cutting tissue
US10203683B2 (en) * 2013-07-16 2019-02-12 Seagate Technology Llc Coordinating end effector and vision controls
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
US11551287B2 (en) 2013-10-17 2023-01-10 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US10366445B2 (en) 2013-10-17 2019-07-30 Mashgin Inc. Automated object recognition kiosk for retail checkouts
US9555549B2 (en) * 2013-10-31 2017-01-31 Seiko Epson Corporation Control device, robot, robot system, and control method
US20150134099A1 (en) * 2013-11-08 2015-05-14 Startechno Co., Ltd. Workpiece machining device with calibration function and workpiece machining device
US10341881B2 (en) * 2013-11-12 2019-07-02 Vasona Networks, Inc. Supervision of data in a wireless network
US9409297B2 (en) * 2013-12-24 2016-08-09 Tieman Vehicle Technologies LLC Remote control button actuation module, system, and method
US9576414B2 (en) * 2013-12-24 2017-02-21 Tieman Vehicle Technologies LLC Remote control button actuation module, system, and method
KR102381412B1 (ko) * 2014-01-17 2022-03-31 브룩스 오토메이션 인코퍼레이티드 기판 이송 장치
KR102164919B1 (ko) * 2014-02-26 2020-10-13 한국전자통신연구원 대규모 가상 데스크탑 제공 방법 및 시스템
WO2015130320A1 (en) 2014-02-28 2015-09-03 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
KR102364743B1 (ko) * 2014-03-17 2022-02-18 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 중간 과정 재시작 동안의 기기 제어 입력 위치/배향의 복구
DE102014005030A1 (de) * 2014-04-05 2015-10-08 Airbus Defence and Space GmbH Testvorrichtung für Sichtsysteme
EP2946740B1 (en) 2014-05-23 2017-11-15 Olcay Yilmaz Damar Device for follicular unit transplantation
CN104048601B (zh) * 2014-06-19 2018-01-23 湖北汽车工业学院 基于坐标变换的完整成像映射方法
US10387021B2 (en) * 2014-07-31 2019-08-20 Restoration Robotics, Inc. Robotic hair transplantation system with touchscreen interface for controlling movement of tool
GB201413991D0 (en) 2014-08-07 2014-09-24 Ubisense Ltd Tool tracking
US9327406B1 (en) 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
GB2530790B (en) * 2014-10-02 2016-10-19 Vision Rt Ltd Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
CN105588525B (zh) * 2014-11-14 2019-09-20 北京配天技术有限公司 一种工具在机器人法兰坐标系上的标定方法及装置
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
WO2016079967A1 (en) * 2014-11-21 2016-05-26 Seiko Epson Corporation Robot and robot system
JP6486679B2 (ja) * 2014-12-25 2019-03-20 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
CN104739514A (zh) * 2015-03-13 2015-07-01 华南理工大学 大视场下手术器械的自动跟踪定位方法
JP6540155B2 (ja) * 2015-03-27 2019-07-10 沖電気工業株式会社 画像処理装置、方法及びプログラム、並びに画像処理システム
JP2016185572A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6345627B2 (ja) * 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6812095B2 (ja) * 2015-10-22 2021-01-13 キヤノン株式会社 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
GB2559090B (en) * 2015-11-03 2020-10-07 Synaptive Medical Barbados Inc Dual zoom and dual field-of-view microscope
JP6616170B2 (ja) * 2015-12-07 2019-12-04 ファナック株式会社 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
AU2016380277B2 (en) 2015-12-31 2021-12-16 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
US10445898B2 (en) * 2016-02-05 2019-10-15 Sony Corporation System and method for camera calibration by use of rotatable three-dimensional calibration object
US10827930B2 (en) * 2016-02-26 2020-11-10 Niramai Health Analytix Pvt Ltd Privacy booth for breast cancer screening
CN107309884B (zh) * 2016-04-27 2023-03-21 上海捷勃特机器人有限公司 机器人标定系统及方法
AU2017269937B2 (en) * 2016-05-23 2022-06-16 Mako Surgical Corp. Systems and methods for identifying and tracking physical objects during a robotic surgical procedure
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
EP3510562A1 (en) * 2016-09-07 2019-07-17 Starship Technologies OÜ Method and system for calibrating multiple cameras
US20190290371A1 (en) * 2016-09-29 2019-09-26 Medrobotics Corporation Optical systems for surgical probes, systems and methods incorporating the same, and methods for performing surgical procedures
US20210147150A1 (en) * 2016-10-08 2021-05-20 Zhejiang Guozi Robot Technology Co., Ltd. Position and orientation deviation detection method and system for shelf based on graphic with feature information
CN106524906B (zh) * 2016-10-13 2019-03-26 深圳市速腾聚创科技有限公司 激光扫描仪归位方法及激光扫描仪
US11006733B2 (en) * 2016-11-16 2021-05-18 Wink Robotics Method and device for evaluation of eyelashes
CN106530357B (zh) * 2016-11-30 2023-10-03 深圳市泰沃德技术有限公司 视觉对位控制装置以及校准方法
JP7067017B2 (ja) * 2016-12-22 2022-05-16 セイコーエプソン株式会社 制御装置およびロボットシステム
CN108214486A (zh) * 2016-12-22 2018-06-29 精工爱普生株式会社 控制装置、机器人及机器人系统
CN109311155B (zh) * 2016-12-27 2022-04-15 深圳配天智能技术研究院有限公司 一种工业机器人的工具坐标系原点的标定方法及装置
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
JP7233841B2 (ja) * 2017-01-18 2023-03-07 ケービー メディカル エスアー ロボット外科手術システムのロボットナビゲーション
JP6858593B2 (ja) * 2017-03-02 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および制御方法
US11304644B2 (en) * 2017-03-07 2022-04-19 Biosense Webster (Israel) Ltd. 3-D electrophysiology heart simulation system and related methods
US11281888B2 (en) 2017-04-26 2022-03-22 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US10467454B2 (en) 2017-04-26 2019-11-05 Mashgin Inc. Synchronization of image data from multiple three-dimensional cameras for image recognition
US10628695B2 (en) 2017-04-26 2020-04-21 Mashgin Inc. Fast item identification for checkout counter
US10803292B2 (en) 2017-04-26 2020-10-13 Mashgin Inc. Separation of objects in images from three-dimensional cameras
CN107239748A (zh) * 2017-05-16 2017-10-10 南京邮电大学 基于棋盘格标定技术的机器人目标识别与定位方法
CN108828555B (zh) * 2017-05-18 2020-08-04 金钱猫科技股份有限公司 基于坐标变换的精确测量方法、系统及装置
CN109311151B (zh) * 2017-05-22 2021-07-09 深圳配天智能技术研究院有限公司 一种机器人的标定方法、系统及标定板
US10485615B2 (en) * 2017-06-30 2019-11-26 Synaptive Medical (Barbados) Inc. Medical electronic device with multi-tracking cameras
CN109215082B (zh) * 2017-06-30 2021-06-22 杭州海康威视数字技术股份有限公司 一种相机参数标定方法、装置、设备及系统
US11244468B2 (en) * 2017-07-28 2022-02-08 Qualcomm Incorporated Image output adjustment in a robotic vehicle
JP2019029820A (ja) * 2017-07-31 2019-02-21 セイコーエプソン株式会社 カメラの校正方法および校正用具
WO2019036006A1 (en) * 2017-08-16 2019-02-21 Covidien Lp SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY
TWI668541B (zh) * 2017-09-29 2019-08-11 財團法人工業技術研究院 機器人工具中心點校正系統及其方法
JP6448860B1 (ja) * 2017-11-15 2019-01-09 三菱電機株式会社 数値制御装置および表示方法
JP6815309B2 (ja) * 2017-11-16 2021-01-20 株式会社東芝 作動システムおよびプログラム
US10786311B2 (en) * 2017-12-22 2020-09-29 Acclarent, Inc. Apparatus and method for registering facial landmarks for surgical navigation system
KR102002785B1 (ko) * 2018-01-10 2019-07-23 한국과학기술연구원 영상 기반의 위치정보를 이용한 카메라간 좌표계 교정 장치 및 방법
CN108230401A (zh) * 2018-01-12 2018-06-29 上海鼎盛汽车检测设备有限公司 3d四轮定位仪相机自动标定方法及系统
GB201800534D0 (en) 2018-01-12 2018-02-28 Ubisense Ltd Tool tracking
US20190236360A1 (en) 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
US10786901B2 (en) * 2018-02-09 2020-09-29 Quanta Storage Inc. Method for programming robot in vision base coordinate
CN110349218A (zh) * 2018-04-03 2019-10-18 泰科电子(上海)有限公司 摄像机的标定方法和标定系统
JP6888580B2 (ja) * 2018-04-05 2021-06-16 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
TR201805930A2 (tr) * 2018-04-26 2018-08-27 Asmed Oezel Sac Ekimi Saglik Hizmetleri Ticaret Ltd Sirketi Görüntü i̇şleme ve roboti̇k teknoloji̇ler kullanilarak yapilan saç eki̇m süreci̇ değerlendi̇rme yöntemi̇ ve yönteme ai̇t si̇stem
US20190368865A1 (en) * 2018-05-30 2019-12-05 Carbon Robotics, Inc. Method for deriving varied-resolution 3d information from 2d images
JP7204346B2 (ja) * 2018-06-05 2023-01-16 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
US20210215811A1 (en) * 2018-07-06 2021-07-15 Brain Corporation Systems, methods and apparatuses for calibrating sensors mounted on a device
CN112739244B (zh) * 2018-07-13 2024-02-09 美国iRobot公司 移动机器人清洁系统
JP6740288B2 (ja) * 2018-07-13 2020-08-12 ファナック株式会社 物体検査装置、物体検査システム、及び検査位置を調整する方法
US11291507B2 (en) 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
EP3844432A4 (en) * 2018-08-30 2022-06-15 Veo Robotics, Inc. SYSTEMS AND METHODS FOR AUTOMATIC SENSOR ALIGNMENT AND CONFIGURATION
JP7154069B2 (ja) * 2018-08-31 2022-10-17 株式会社キーエンス 画像検査装置
CN111971529A (zh) * 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
DE102018215491A1 (de) * 2018-09-12 2020-03-12 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Erfassungssystems
US11291508B2 (en) * 2018-09-14 2022-04-05 Neuralink, Corp. Computer vision techniques
KR20210127912A (ko) 2018-09-14 2021-10-25 뉴럴링크 코포레이션 카트리지를 사용한 장치 이식
EP3629071A1 (en) * 2018-09-26 2020-04-01 Anton Paar TriTec SA Microscopy system
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN109144375B (zh) * 2018-10-09 2022-08-19 中天智领（北京）科技有限公司 一种屏幕控制方法及装置
CN109465822A (zh) * 2018-10-22 2019-03-15 江苏集萃微纳自动化系统与装备技术研究所有限公司 基于3d视觉手眼标定方法
JP7258516B2 (ja) * 2018-10-30 2023-04-17 Thk株式会社 キャリブレーション方法および把持システム
WO2020092775A1 (en) * 2018-10-31 2020-05-07 Intuitive Surgical Operations, Inc. System and method for assisting tool exchange
US11065768B2 (en) * 2018-11-01 2021-07-20 TE Connectivity Services Gmbh Automatic calibration for camera-robot system with tool offsets
JP6757391B2 (ja) * 2018-11-19 2020-09-16 Dmg森精機株式会社 測定方法
TWI677413B (zh) 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
SE1851590A1 (sv) 2018-12-14 2020-06-15 Brokk Ab Fjärrstyrd demoleringsrobot med förbättrat användningsområde och ett förfarande för att åstadkomma en sådan demoteringsrobot.
US11449021B2 (en) * 2018-12-17 2022-09-20 Divergent Technologies, Inc. Systems and methods for high accuracy fixtureless assembly
US11529741B2 (en) 2018-12-17 2022-12-20 Divergent Technologies, Inc. System and method for positioning one or more robotic apparatuses
CN111383283B (zh) * 2018-12-29 2023-03-10 上海铼钠克数控科技有限公司 机器人的工具坐标系的标定方法及系统
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
US11340649B2 (en) 2019-02-07 2022-05-24 Blue Eclipse, Llc Two button remote control actuator
US10899012B2 (en) * 2019-02-15 2021-01-26 GM Global Technology Operations LLC Coordinated robot to robot component assembly
CN109848994A (zh) * 2019-02-22 2019-06-07 浙江启成智能科技有限公司 一种机器人视觉引导定位算法
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
CN110009689B (zh) * 2019-03-21 2023-02-28 上海交通大学 一种用于协作机器人位姿估计的图像数据集快速构建方法
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10906184B2 (en) * 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11259687B2 (en) 2019-04-04 2022-03-01 Biosense Webster (Israel) Ltd. Medical instrument calibration
US20220120602A1 (en) * 2019-04-05 2022-04-21 Daedalus Technology Group, Inc. Calibration System and Method
CN110022393A (zh) * 2019-04-10 2019-07-16 北京易诚高科科技发展有限公司 一种自适应评估手机防抖功能的方法
WO2020252632A1 (zh) * 2019-06-17 2020-12-24 西门子（中国）有限公司 一种坐标系校准方法、装置和计算机可读介质
US10565737B1 (en) 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system
TWI758626B (zh) * 2019-08-01 2022-03-21 達明機器人股份有限公司 機器手臂的視覺系統定位方法
WO2021087433A1 (en) * 2019-11-01 2021-05-06 True Digital Surgery Robotic surgical navigation using a proprioceptive digital surgical stereoscopic camera system
CN110640747B (zh) * 2019-11-07 2023-03-24 上海电气集团股份有限公司 机器人的手眼标定方法、系统、电子设备和存储介质
CN110640746B (zh) * 2019-11-07 2023-03-24 上海电气集团股份有限公司 机器人的坐标系标定及定位方法、系统、设备、介质
CN110977950B (zh) * 2019-11-12 2021-05-25 长沙长泰机器人有限公司 一种机器人抓取定位方法
CN110772651A (zh) * 2019-11-19 2020-02-11 武汉纺织大学 基于机器视觉的鞋内紫外定向杀菌的方法和装置
CN111089569B (zh) * 2019-12-26 2021-11-30 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法
CN111791227B (zh) * 2019-12-31 2022-03-11 深圳市豪恩声学股份有限公司 机器人手眼标定方法、装置及机器人
CN111098306A (zh) * 2019-12-31 2020-05-05 广东利元亨智能装备股份有限公司 机器人的标定方法、装置、机器人和存储介质
RU2721461C1 (ru) * 2020-02-25 2020-05-19 Ассистирующие Хирургические Технологии (Аст), Лтд Способ управления камерой в роботохирургическом комплексе
EP3871842A1 (en) 2020-02-28 2021-09-01 Hamilton Sundstrand Corporation System and method for member articulation
CN111445528B (zh) * 2020-03-16 2021-05-11 天目爱视（北京）科技有限公司 一种在3d建模中多相机共同标定方法
CN111522305B (zh) * 2020-04-15 2021-03-30 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 面向3c装配的双模块协作机器人协调装配系统及规划方法
CN111759463B (zh) * 2020-07-31 2022-03-15 南京普爱医疗设备股份有限公司 一种提高手术机械臂定位精度的方法
CN111991038A (zh) * 2020-08-18 2020-11-27 重庆大学 一种用于毛囊提取的机械结构
US20220067968A1 (en) * 2020-08-28 2022-03-03 Weta Digital Limited Motion capture calibration using drones with multiple cameras
US11600022B2 (en) 2020-08-28 2023-03-07 Unity Technologies Sf Motion capture calibration using drones
US11636621B2 (en) 2020-08-28 2023-04-25 Unity Technologies Sf Motion capture calibration using cameras and drones
TWI748626B (zh) * 2020-08-31 2021-12-01 財團法人工業技術研究院 工具中心點的校正方法、機械手臂的教導方法及應用其之機械手臂系統
CN112264996B (zh) * 2020-10-16 2022-06-14 中冶赛迪上海工程技术有限公司 一种抓钢机定位控制方法及系统
CN116635894A (zh) * 2020-12-29 2023-08-22 Abb瑞士股份有限公司 用于管理摄像头系统的方法和装置
CN112967343B (zh) * 2021-01-20 2023-01-06 深圳视觉龙智能传感器有限公司 一种实现2d相机引导2.5d贴装的算法
EP4062818A1 (en) * 2021-03-22 2022-09-28 BHS Technologies GmbH Medical imaging system, deflection unit and method for calibrating a medical imaging system
CN113203412A (zh) * 2021-05-07 2021-08-03 江苏俱为科技有限公司 一种多模态传感的定位引导方法
US20220392012A1 (en) * 2021-06-07 2022-12-08 Alcon Inc. Optical axis calibration of robotic camera system
CN113499137B (zh) * 2021-07-07 2022-07-12 南开大学 一种手术机器人导航定位系统及测量视角多目标优化方法
US11684799B2 (en) 2021-08-28 2023-06-27 Cutera, Inc. Image guided laser therapy
CN113820070B (zh) * 2021-09-23 2024-04-30 浙江理工大学 基于机器视觉和扭摆法的刚体转动惯量测量方法及系统
CN114095657B (zh) * 2021-11-22 2024-02-27 成都天翼空间科技有限公司 一种基于新增摄像头的自动校准的方法与系统
WO2023100234A1 (ja) * 2021-11-30 2023-06-08 オリンパス株式会社 内視鏡システムおよび座標系補正方法
CN114359394B (zh) * 2022-03-17 2022-06-17 季华实验室 一种双目视觉的定位方法、装置、电子设备及存储介质
CN114750151B (zh) * 2022-03-31 2023-09-12 歌尔科技有限公司 标定方法、装置、电子设备及计算机可读存储介质
CN114920000A (zh) * 2022-04-22 2022-08-19 歌尔科技有限公司 搬运装置、机械设备以及搬运装置的控制方法
WO2023238038A1 (en) * 2022-06-07 2023-12-14 Venus Concept Inc. Method and device for treating cellulite
CN115179294A (zh) * 2022-08-02 2022-10-14 深圳微美机器人有限公司 机器人控制方法、系统、计算机设备、存储介质
CN115589531B (zh) * 2022-09-13 2023-10-20 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质
CN115294217B (zh) * 2022-10-10 2022-12-09 季华实验室 一种视觉实验平台标定方法、定位方法及相关设备
FR3140979A1 (fr) * 2022-10-13 2024-04-19 Inbolt Procédé de détermination d’une position d’une zone d’un outil
CN115969418B (zh) * 2022-11-07 2023-08-15 珠海市人民医院 一种核酸检测口腔采集点识别方法
CN117901142A (zh) * 2024-03-15 2024-04-19 陇东学院 基于超声波机器人的特种加工方法及相关产品

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0814828A (ja) * 1994-06-29 1996-01-19 Kobe Steel Ltd ステレオ画像センサのキャリブレーション方法及びその装置
WO1997045064A1 (en) 1996-05-29 1997-12-04 Philips Electronics N.V. Image-guided surgery system
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US6228089B1 (en) * 1997-12-19 2001-05-08 Depuy International Limited Device for positioning and guiding a surgical instrument during orthopaedic interventions
US6083167A (en) * 1998-02-10 2000-07-04 Emory University Systems and methods for providing radiation therapy and catheter guides
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
CA2253085A1 (en) 1998-11-06 2000-05-06 Industrial Metrics Inc. Methods and system for measuring three dimensional spatial coordinates and for external camera calibration necessary for that measurement
US6720988B1 (en) 1998-12-08 2004-04-13 Intuitive Surgical, Inc. Stereo imaging system and method for use in telerobotic systems
US6585746B2 (en) * 2000-04-20 2003-07-01 Philip L. Gildenberg Hair transplantation method and apparatus
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
US7660623B2 (en) 2003-01-30 2010-02-09 Medtronic Navigation, Inc. Six degree of freedom alignment display for medical procedures
JP4167940B2 (ja) * 2003-05-29 2008-10-22 ファナック株式会社 ロボットシステム
US20050096515A1 (en) 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
JP4021413B2 (ja) * 2004-01-16 2007-12-12 ファナック株式会社 計測装置
US20050276377A1 (en) * 2004-06-10 2005-12-15 Carol Mark P Kilovoltage delivery system for radiation therapy
US7426318B2 (en) 2004-06-30 2008-09-16 Accuray, Inc. Motion field generation for non-rigid image registration
US7970171B2 (en) * 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
JP4726194B2 (ja) 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
US7962192B2 (en) * 2005-09-30 2011-06-14 Restoration Robotics, Inc. Systems and methods for aligning a tool with a desired location or object
US20070078466A1 (en) 2005-09-30 2007-04-05 Restoration Robotics, Inc. Methods for harvesting follicular units using an automated system
BRPI0616648A2 (pt) * 2005-09-30 2011-06-28 Restoration Robotics Inc sistemas automatizados e métodos para colheita e implantação de unidades foliculares
US7747050B2 (en) 2005-11-23 2010-06-29 General Electric Company System and method for linking current and previous images based on anatomy
JP4917351B2 (ja) * 2006-05-16 2012-04-18 ローランドディー．ジー．株式会社 ３次元形状測定装置におけるキャリブレーション方法
WO2007136769A2 (en) 2006-05-19 2007-11-29 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US7620144B2 (en) 2006-06-28 2009-11-17 Accuray Incorporated Parallel stereovision geometry in image-guided radiosurgery
US20080091373A1 (en) * 2006-07-31 2008-04-17 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
US8417318B2 (en) 2007-02-22 2013-04-09 Accuray Incorporated Calibrating tracking systems to remove position-dependent bias
US7623623B2 (en) 2007-06-29 2009-11-24 Accuray Incorporated Non-collocated imaging and treatment in image-guided radiation treatment systems
DE602007003849D1 (de) * 2007-10-11 2010-01-28 Mvtec Software Gmbh System und Verfahren zur 3D-Objekterkennung
EP2070664A1 (en) 2007-12-14 2009-06-17 Montanuniversität Leoben Object processing system
US8160345B2 (en) * 2008-04-30 2012-04-17 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
US8086004B2 (en) 2008-01-15 2011-12-27 Accuray Incorporated Use of a single X-ray image for quality assurance of tracking
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
TWI393072B (zh) * 2008-07-23 2013-04-11 Pixart Imaging Inc 廣角感測器陣列模組及其影像校正方法、運作方法與應用
US8848974B2 (en) 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US8048090B2 (en) 2009-03-11 2011-11-01 Restoration Robotics, Inc. System and method for harvesting and implanting hair using image-generated topological skin models
US8223193B2 (en) 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
JP4621789B2 (ja) * 2009-06-02 2011-01-26 ファナック株式会社 物品搬送ロボットシステム
CN101577002B (zh) * 2009-06-16 2011-12-28 天津理工大学 应用于目标检测的鱼眼镜头成像系统标定方法
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US8957948B2 (en) * 2010-08-24 2015-02-17 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160069180A (ko) * 2014-12-08 2016-06-16 현대중공업 주식회사 중재시술 로봇용 공간정합 시스템
WO2019221340A1 (ko) * 2018-05-16 2019-11-21 주식회사 브이터치 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20190131320A (ko) * 2018-05-16 2019-11-26 주식회사 브이터치 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11321867B2 (en) 2018-05-16 2022-05-03 VTouch Co., Ltd. Method and system for calculating spatial coordinates of region of interest, and non-transitory computer-readable recording medium
KR20200105381A (ko) * 2019-02-28 2020-09-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 공작 기계 설비의 회전 각도 결정 방법 및 장치
US11182928B2 (en) 2019-02-28 2021-11-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining rotation angle of engineering mechanical device
KR102598858B1 (ko) * 2022-09-16 2023-11-08 주식회사 오대 모발이식 영역의 좌표 데이터 생성 방법 및 장치
WO2024058499A1 (ko) * 2022-09-16 2024-03-21 주식회사 오대 모발이식 영역의 좌표 데이터 생성 방법 및 장치

Also Published As

Publication number Publication date
JP5688825B2 (ja) 2015-03-25
KR101495011B1 (ko) 2015-02-23
US9542743B2 (en) 2017-01-10
WO2013009510A2 (en) 2013-01-17
CN103702607B (zh) 2015-11-25
JP2014520351A (ja) 2014-08-21
WO2013009510A3 (en) 2013-05-02
US9188973B2 (en) 2015-11-17
US20160035079A1 (en) 2016-02-04
EP2729060A2 (en) 2014-05-14
CN103702607A (zh) 2014-04-02
EP2729060A4 (en) 2014-05-14
US20130010081A1 (en) 2013-01-10

Similar Documents

Publication Publication Date Title
KR101495011B1 (ko) 카메라 시스템 좌표계의 측정 및 변환
US10022191B2 (en) Object-Tracking systems and methods
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和系统
US11270465B2 (en) Multiple camera calibration
US20130162803A1 (en) Mosaic picture generation
US20230248467A1 (en) Method of medical navigation
Ly et al. A stereotaxic platform for small animals based on 3D computer vision and robotics
Al Durgham Photogrammetric Modelling for 3D Reconstruction from a Dual Fluoroscopic Imaging System
WO2022254058A1 (es) Sistema y procedimiento automatizado para la monitorización a nivel microescala de los c. elegans contenidos en una placa petri con medio transparente, registro de monitorizado obtenido y uso del mismo
Drouin et al. Monitoring Human Activities: Flexible Calibration of a Wide Area System of Synchronized Cameras

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 6