KR101825929B1

KR101825929B1 - 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR101825929B1
Application number: KR1020170157966A
Authority: KR
Inventors: 장익규
Original assignee: 재단법인 구미전자정보기술원
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2018-02-06

Abstract

본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템은 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템에 있어서, 사용자(101)의 손동작을 로봇에 전달하는 일련의 센싱제어전달 사용자 인터페이스 기술을 이용한 마스터 프로세서(100); 마스터 프로세서(100)에 의해 전달된 사용자(101)의 손동작을 로봇에 전달하여 구동하는 일련의 진동저감움직임 감속소형화 베어링 기술을 이용한 슬레이브 프로세서(200); 의학영상장비를 통해 환자환부의 3차원 영상정보를 얻고, 얻어진 상기 3차원 영상정보를 통해 환자환부와 도구의 위치를 추적하여 매칭하는 네비게이션(300); 및 사용자(101)의 손에 착용하고 손과 손목이 동작하는 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 구현하는 무구속 마스터 포셉(400);을 포함하여 구성된다.

Description

수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체{A SYSTEM OF NON - RESTRAINT THREE - DIMENSIONAL HAND MOVEMENT MOTION RECOGNITION FOR SURGICAL ROBOT MANEUVERING, METHOD, COMPUTER PROGRAM, AND COMPUTER - READABLE RECORDING MEDIA USING THE SAME}

본 발명은 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로서, 보다 상세하게는 전립선암, 갑상선암, 직장암, 위암, 신장암 등을 치료하기 위한 최소침습수술로봇 분야에서 보다 높은 정확도와 직관성을 가지고 로봇을 조종하기 위해 3차원 위치측정 장치를 이용하여 수술시에 손동작의 자연스러운 움직임을 도출하고 이를 통해 보다 정확한 수술을 가능하도록 하는 수술로봇 조종간의 센싱 방법과 알고리즘을 이용한 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

로봇분야에서 6　자유도(六自由度,　Six degrees of freedom, 6DOF)는 로봇의 여섯 개의 운동방향을 말한다. 흔히 로봇공학에서의 6자유도 중 3자유도는 Position(위치)이며 나머지 3자유도는 Orientation(자세)이라 한다. 로봇은 세 개의 축을 중심으로 운동하게 된다. 3개의 축은 중심(重心) 위치에서 다른 축과 상호 직각으로 교차하고 있다. 따라서 로봇의 세 개의 축을 중심으로 좌우상하 운동을 하는데 가로축과 수직축은 각각 우측방향과 상방향 운동을 양성(positive) 운동 이라 하고, 그 반대를 음성(negative)운동으로 할 때 로봇에는 여섯 개의 운동방향이 형성된다. 여기에 대상을 집는 동작(grasp) 추가 된 것이 수술로봇의 자유도인 7자유도가 된다.

컴퓨팅 환경이 향상되고, 다양한 단말 장치들의 전기적 연결이 가능해지면서, 사용자 친화적인 입출력 장치들에 대한 연구들이 증가하고 있다. 예를 들면, 통상적인 컴퓨터 모니터, TV 스크린과 달리, 최근에는 사용자의 손목, 안경 등에 착용되어 데이터를 표시하는 갤럭시 기어, 애플 워치, 구글 글래스 등과 같은 입출력 장치들이 개발되었다. 또한, 종래의 대표적인 입력 장치인 키보드, 마우스와 다르게, 표시 화면을 손가락으로 터치하여 직감적인 입력을 제공하는 터치스크린도 널리 보급되고 있다.

이러한 추세에서, 닌텐도 위(Wii), 마이크로소프트의 Xbox 키넥트(Kinect) 등과 같이 사용자의 신체 움직임에 기초하여 입력을 제공받는 입력 장치들이 개발 및 보급되고 있다. 이러한 입력 장치들은 사용자의 움직임을 감지하는 모션 트래커(motion tracker)를 포함할 수 있다.

종래의 모션 트래커의 경우, 사용자의 전신을 감지 대상으로 하여, 인체의 골반, 무릎 등 큰 관절의 움직임을 감지하거나, 팔 전체의 동작을 감지함으로써, 입력 신호를 제공받을 수 있다.

그러나 종래의 모션 트래커는 사용자의 손에 포함된 각각의 손가락들의 움직임을 감지하거나, 손가락들이 굽혀져서 사라지거나, 두 손가락이 겹쳐졌다가 떨어지는 등, 손에 의해 표현되는 정밀한 움직임들은 감지할 수 없는 한계가 있었다.

종래의 기술에 의하면, 도 1에 개시된 특허문헌 1은 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템에 관한 것으로서, 보다 구체적으로는 사용자의 손가락의 위치를 감지하는 핑거 팁 트래커(10); 상기 핑거 팁 트래커(10)가 배치된 손에 배치되어, 상기 사용자의 손의 자세 및 방위를 감지하는 자세방위기준장치(20); 및 상기 핑거 팁 트래커(10) 및 자세방위기준장치(20)에 전기적으로 연결되고, 상기 감지된 손가락의 움직임, 손의 자세 및 방위에 기초하여 상기 사용자의 손동작을 가상공간에서 시뮬레이션하는 시스템 제어부(30)를 포함하되, 상기 핑거 팁 트래커(10)는, 상기 사용자의 손가락에 배치되는 반사 타깃(11); 상기 반사 타깃(11)에 대해 적외광을 조사하여 반사되는 적외광을 감지하는 적외선 스테레오 카메라(12); 및 상기 감지된 적외 광을 이용하여 상기 사용자의 손가락의 위치를 추적하는 로컬 제어부(15)를 포함하는 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템이 제시되어 있다.

특허문헌 1에서 제안하고 있는 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템에 따르면, 사용자의 손가락 위치를 감지하는 핑거 팁 트래커와 함께 손의 자세 및 방위를 감지하는 자세방위기준장치(attitude heading reference system, AHRS)를 포함함으로써, 핑거 팁 트래커의 반사 타깃을 통해 손가락의 정밀한 동작을 감지할 수 있고, 자세방위기준장치를 통해 손의 전체적인 자세 및 방위를 감지할 수 있으며, 그에 따라 가상공간에서의 계기판 조작, 버튼 조작 등 다양한 손 움직임을 시뮬레이션할 수 있다.

그러나, 도 2에 개시된 다빈치 (50, Davinci Intuitive surgical Inc. CA. USA) 시스템은 수술동작의 손목 메커니즘을 포함한 7자유도로 구현되었다. 다빈치 시스템(50)의 수술도구가 작동되는 팔은 각각 7자유도(3 Translation, 4 Rotation)를 최소침습 수술에 맞게 구현함으로 수술에 필요한 수술자의 손동작을 전달할 수 있다. 하지만 다빈치도 마찬가지로 기계적인 메커니즘의 마스터 인터페이스를 사용하므로 각 관절의 움직임이 동시에 발생할 때 조작성에 한계가 있고 관절의 운동범위가 제한되어 있다.

기존의 최소침습수술로봇에 적용되어 있는 전통적 기계식 마스터 인터페이스의 조작성 향상이 제한되는 원인은 아래와 같다.

첫째, 손목동작과 마스터 인터페이스의 동작이 도 2에서 보는 바와 같이 정확히 같지 않다는 데에 있다. 롤, 피치, 요 관절이 손목에서처럼 한 점에 있지 않고 이 관절들이 떨어져 있으므로 한점에 모여 있는 손목 동작과는 다른 움직임이 발생하게 된다.

둘째, 롤(Roll), 피치(Pitch), 요(Yaw) 축을 한 점에 집중시키려면 관절들이 한 점에 있어야 하지만 기구적인 제약이 있다.

이러한 문제점을 해결하기 위해 무구속 방식의 마스터 인터페이스가 절실히 요청되고 있다.

대한민국 등록특허번호 제 10 - 1530340 호 (2015.06.15)

본 발명의 목적은 높은 정확도와 직관성을 가지고 최소침습수술로봇을 조종하기 위해 3차원 위치측정 장치를 이용하여 손동작의 자연스러운 움직임을 도출하고 보다 정확한 로봇수술이 가능한 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템은 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템에 있어서, 사용자의 손동작을 로봇에 전달하는 일련의 센싱제어전달 사용자 인터페이스 기술을 이용한 마스터 프로세서; 상기 마스터 프로세서에 의해 전달된 상기 사용자의 손동작을 로봇에 전달하여 구동하는 일련의 진동저감움직임 감속소형화 베어링 기술을 이용한 슬레이브 프로세서; 의학영상장비를 통해 환자환부의 3차원 영상정보를 얻고, 얻어진 상기 3차원 영상정보를 통해 상기 환자환부와 도구의 위치를 추적하여 매칭하는 네비게이션; 및 상기 사용자의 손에 착용하고 손과 손목이 동작하는 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 구현하는 무구속 마스터 포셉;을 포함하여 구성될 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법은 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법에 있어서, 마스터 손동작수행 단계; 무구속 마스터 알고리즘 단계; 및 로봇 슬레이브 동작수행 단계; 를 포함하여 구성될 수 있다.

또한, 상기 무구속 마스터 알고리즘 단계는, 무제한 마스터 인터페이스를 활성화 하는 단계; dot3 - dot1의 벡터를 구하는 단계; dot2 - dot1의 벡터를 얻는 단계; dot3 - dot1의 단위 벡터를 계산하는 단계; dot2 - dot1의 단위 벡터를 계산하는 단계; dot3 - dot1 단위 벡터, dot2 - dot1 단위벡터의 법선 벡터를 계산하는 단계; 법선 벡터를 로컬 "Z"축으로 설정하는 단계; dot3 - dot2의 중간점을 가져오는 단계; dot1 - 중간점의 벡터를 구하는 단계; dot1 - 중간점의 단위 벡터를 계산하는 단계; 단위벡터를 로컬 "X"로 설정하는 단계; x 축을 z 축과 외적하는 단계; 외적의 결과를 로컬 "Y"축으로 설정하는 단계; dot1 (x, y, z)를 Px, Py, Pz로 설정하는 단계; X, Y, Z 축과 Px, Py, Pz에서 로컬 트랜스 매트릭스를 가져오는 하는 단계; 롤 피치 롤, Px, Py, Pz를 트랜스 매트릭스에서 가져 오는 단계; dot3 - dot1 단위벡터와 dot2 - dot1 단위벡터의 내적으로부터 그래스프(Grasp)를 구하는 단계; 축 X, Y, Z의 디터미넌트 값을 체크하는 단계; 루프 카운트를 증가하는 단계; 루프 카운트 < 샘플 카운트 인지를 확인하는 단계; 만일 만일 루프 카운트 < 샘플 카운트가 아니면 상기 무제한 마스터 인터페이스를 활성화 하는 단계가 실행되는 단계; 및 만일 루프 카운트 < 샘플 카운트 이면 비활성화하는 단계;를 포함하여 구성될 수 있다.

또한, 상기 무구속 마스터 알고리즘 단계는 마스터 포셉을 손에 착용하여 손동작의 복잡한 자유도를 단순화하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출하는 단계일 수 있다.

또한, 상기 무구속 마스터 알고리즘 단계에서 마커의 위치는 dot1 - dot3의 길이 a와 dot1 - dot2의 길이 b, dot2 - dot3의 길이 c 를 상이하게 구성하며 항상 a > b > c 가 되도록 구성하여 x, y, z축을 구분할 수 있다.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의할 경우, 본 발명에서 제시하는 적외선 반사마커를 이용한 방법을 사용하여 한 개의 강체에 대한 7개의 자유도를 도출하고 롤(Roll),피치(Pitch), 요(Yaw)관절의 움직임을 한 점에 집중시켜 자연스러운 동작을 구현하는 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.

도 1은 종래의 기술에 의한 모션 트래커 시스템 및 자세방위 시스템을 통합하여 3차원 가상공간에서 손의 위치 및 자세 정보를 구현하는 움직임 감지 시스템을 도시하기 위한 구성도이다.
도 2는 종래의 기술에 의한 다빈치 수술로봇의 동작을 도시하기 위한 개념도이다.
도 3은 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템을 도시한 구성도이다.
도 4는 도 3의 슬레이브 수술로봇을 도시한 구성도이다.
도 5(a) 및 5(b)는 도 3의 슬레이브 수술도구와 손동작의 대응을 도시한 개념도이다.
도 6(a) 내지 도 6(d)는 도 3의 마스터 포셉을 손에 착용하여 손동작의 복잡한 자유도를 단순화하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출하기 위한 개념도이다.
도 7은 도 3의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법을 도시한 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

수술로봇은 신경척추정형외과전립선수술 등의 수술시 의사의 통제 하에 수술부위의 위치파악절개절골삽입물 삽입 및 고정 등에 사용되는 지능화 의료기기를 의미한다. 수술로봇은 크게 마스터, 슬레이브, 네비게이션 알고리즘, 시뮬레이션 기술 등으로 나누어지고 마스터와 슬레이브는 오퍼레이터의 자연스러운 움직임을 구현되도록 해야 하며 수술영상을 디스플레이, 실시간통신, 수술동작 구현하는 기술이 집약된 장치이다.

지능형수술설계 및 시뮬레이션 기술은 수술로봇을 위한 수술도구(수술도구 소형화 및 관련 수술도구의 통합화, 원격 수술시 기계를 통해 실제 수술과 유사한 시각촉각 환경조성, 기타 사용의 편의성 확대 등) 및 수술실 환경을 최적화(수술도구의 배치조명 구성 및 수술 중 발생할 수 있는 일들에 대해 예측대응 할 수 있는 체계등)하는 일련의 기술들을 말한다.

도 3은 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템을 도시한 구성도이다.

도 4는 도 3의 슬레이브 수술로봇을 도시한 구성도이다.

도 5(a) 및 5(b)는 도 3의 슬레이브 수술도구와 손동작의 대응을 도시한 개념도이다.

도 6(a) 내지 도 6(d)는 도 3의 마스터 포셉을 손에 착용하여 손동작의 복잡한 자유도를 단순화하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출하기 위한 개념도이다.

도 7은 도 3의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법을 도시한 흐름도이다.

본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템은 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템에 있어서, 사용자(101)의 손동작을 로봇에 전달하는 일련의 센싱제어전달 사용자 인터페이스 기술을 이용한 마스터 프로세서(100); 마스터 프로세서(100)에 의해 전달된 사용자(101)의 손동작을 로봇에 전달하여 구동하는 일련의 진동저감움직임 감속소형화 베어링 기술을 이용한 슬레이브 프로세서(200); 및 CT.MRI를 통해 환자환부의 3차원 영상정보를 얻고, 얻어진 3차원 영상정보를 통해 환자환부와 도구의 위치를 추적하여 매칭하는 네비게이션(300); 및 사용자(101)의 손에 착용하고 손과 손목이 동작하는 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 구현하는 무구속 마스터 포셉(400);을 포함하여 구성된다.

마스터 프로세서(100)는 사용자(101)의 손동작을 로봇에 전달하는 일련의 장치이다. 마스터 프로세서(100)는 센싱제어전달사용자인터페이스 기술이 포함된다.

본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템을 구성하기 위해 3차원 적외선 카메라(110, MX3+TM Model; Vicon Motion Systems, Oxford, UK) 6대를 손동작이 잘 검출될 수 있도록 먼저 상단에서 아래쪽을 바라보도록 배치하고 추가적으로 하단에서 위쪽으로 바라보도록 배치하여 동작 영역을 잡는다. 그 후 동작분석 소프트웨어(ViconNexusTM; Vicon Motion Systems, Oxford, UK)와 캘리브레이션 완드(14 mm L-frame 5 marker wand; Vicon Motion Systems, Oxford, UK)를 사용하여 3차원 좌표계를 설정한다. 마커(10 mm Model; Vicon Motion Systems, Oxford, UK)는 3차원 적외선 카메라(110)의 전면의 적외선을 받아 반사될 수 있도록 반사형 마커를 사용하며 마스터 포셉(400)에 좌우 3개씩 6개를 부착한다.

도 3을 참조하면, 3차원 적외선 카메라(110)를 사용하여 측정된 적외선 영상 데이터는 데이터 획득 허브(120, MXULTRANETTM; Vicon Motion Systems, Oxford, UK)에 연결되어 전달된다. 데이터 획득 허브(120)와 연결된 마스터 프로세서(100, xw4400 workstation; Hewlett-Packard, CA, US)에서는 손동작이 촬영되기 시작하면 전달받은 영상정보를 이용해 3차원 위치정보 및 동작정보를 구하고 이더넷 UDP 통신을 통해 슬레이브 프로세서(200)에 전달 후 연산 과정을 거친 다음 CAN(Control Area Network, CANPCI 4xHS; Kvaser; Sweden)통신을 따라 모터 제어기(250, EPOS 24/5; Maxon motor; Swiss)에 전달되고 모터 제어기(250)에 내장된 모터 드라이버를 통해 모터(EC motor; Maxon motor; Swiss)가 결합된 수술로봇을 동작하게 된다.

슬레이브 프로세서(200)는 마스터 프로세서(100)에 의해 전달된 사용자(101)의 손동작을 수술로봇에 전달하여 구동하는 일련의 장치이다. 슬레이브 프로세서(200)는 진동저감움직임의 감속소형화베어링 기술이 포함된다.

슬레이브 수술로봇(210, Laparobot; National cancer center; Korea)은 도 4에서 보는 바와 같이 6개의 모터를 하나의 팔로 구성한 6자유도 로봇이다. 각각의 동작은 θ₁ , θ₂ , roll, translation(d3), grasp으로 구성되며 엔드 이펙터 좌표가 주어지면 각도를 구하고 명령하여 원하는 위치로 이동할 수 있다. θ₁ , θ₂ , roll의 회전축은 한 점에 교차되도록 구성되어 있고 이 회전축은 동작시 복부의 피봇 점으로서 역할을 하게 된다. 이런 구조는 모터 제어의 축이 복부 밖에서 피봇 점과 멀리 떨어져 있는 다빈치 시스템(50)과 같은 기존의 수술로봇의 방식과 달리 제어의 중심 축이 피봇 점에 있음으로써 엔드이펙터의 포지션을 피봇 점에서 직접 제어해 주므로 복부 밖과 복부 안의 제어가 피봇 점에 의해 바뀌는 세차운동 현상을 해결해 준다.

슬레이브 수술로봇(210)에 부착된 모터는 각각 Grasp 모터(220), θ₁ 모터(230), θ₂ 모터(240), roll모터(250), Translation(d3)모터(260)로 구성되며, 모터는 각각 기어헤드, EC 모터(BLDC모터), 엔코더가 하나의 부품으로 결합된 모듈형태로 구성되어 있다.

모터 제어기(250)는 5개씩 한 묶음의 박스로 3개 박스의 전장을 구성하며 박스 내부의 모터 제어기(250)은 전원 케이블, CAN 케이블, 모터 제어 케이블, 엔코더 케이블로 연결되어 있으며 한 개의 박스에서 나오는 모터 제어 케이블과 엔코더 케이블을 한데 묶어서 수술로봇 팔 한 개에 연결되고, 다른 한편으로 모터 제어기(250)들과 모두 연결된 CAN 케이블을 CAN 인터페이스 보드(CANPCI 4xHS; Kvaser; Sweden)가 설치된 슬레이브 프로세서(200)에 연결한다. CAN 아이디는 한 개의 전장에 각각 5개의 16진수(0x0001, 0x0002, 0x0004, 0x0008, 0x0010 ; 십진수 1, 2, 4, 8, 16)에 해당하는 딥 스위치를 설정하여 마스터 프로세서(100)에서 명령이 전달되면 구별하여 동작할 수 있도록 설치한다.

네비게이션(300)은 의학영상장비를 통해 환자환부의 3차원 영상정보를 얻거나, 얻어진 3차원 영상을 통해 환부와 도구의 위치를 추적하여 매칭하는 장치이다.

네비게이션(300)의 의학영상장비는 CT.MRI 등을 포함한 장치이다.

무구속 마스터 포셉(400)은 손에 착용하면 손과 손목이 동작하는 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 구현할 수 있다. 무구속 마스터 포셉(400)은 손에 직접 부착했을 때 발생하는 불필요한 손가락의 많은 자유도를 고정 시켜준다.

무구속 마스터 포셉(400)은 dot1 - dot3의 길이 a와 dot1 - dot2의 길이 b, dot2 - dot3의 길이 c 를 상이하게 구성하며 항상 a ≠ b ≠ c, ∀ a > b > c 가 되도록 한다. 이런 방식은 손에 직접 마커를 붙이는 방식보다 최초 이름설정(포인트 라벨링)을 용이하게 하고 좌표계를 안정화 시킬 수 있다. 또한 도중에 기하학적인 특성을 이용하여 이름을 재설정 하기 용이하여 무구속 마스터 포셉(400)의 좌표계를 안정화 할 수 있다. 또한, 무구속 마스터 포셉(400)의 집게 동작의 범위를 최대로 했을 때와 최소로 했을때에도 항상 a ≠ b ≠ c, ∀ a > b > c 가 되는 기하학적 특징을 갖는다.

페달 시스템은 수술동작은 양손을 모두 사용하므로 간단한 제어는 손동작 대신에 발을 사용한다. 시작, 정지, 동작재개 등의 동작은 페달 시스템을 사용하여 손동작을 대신할 수 있다. 페달 시스템은 usb 연결단자를 이용하여 연결되어 있으며 직렬통신이 가능하다. 사용시에 각각의 페달 시스템에 키보드 매크로를 설정할 수 있다. 키보드 이벤트를 사용하여 1번 페달을 한번 누르면 시작, 두 번 이상 눌렀을 때 짝수 번은 정지, 홀수 번은 동작재개 기능을 수행하도록 구성한다. 페달 시스템의 나머지 2~4번 페달은 추후 사용하도록 할 수 있다.

복강경 카메라 시스템(1ccd endocam; wolf; German)은 복부 안에 카메라를 삽입하여 복부 내부를 볼 수 있도록 해주는 시스템이다. 복부 내부의 영상을 보는데 사용하는 광원(Auto LP; wolf; German)은 장시간 동작 시에도 복부 내부에서 신체조직에 손상이 없도록 되어 있다.

소작 시스템은 고주파의 전기적 에너지를 이용한 전기 수술기의 하나로 고주파 전력 500khz~2Mhz를 사용하여 생체를 절개, 소작(지혈, 조직의 응고)시키는 수술기계이다.

소작 시스템은 외과수술에서 자주 사용되고, 소작 시스템을 사용함으로써 수술할 때 출혈량을 감소시키면서 작업할 수 있다. 전기소작기(Force2 Electrosurgical generator; Valleylab; USA) 를 보비에 연결하여 소작 및 대상을 자르는 실험을 수행할 수 있다. 수술도구 및 보비는 수술도구( Kal storz; German) 끝에 포셉이 달린 집게동작용 수술도구이다. 보비( Kal storz; German )는 소작동작을 할 수 있도록 전기소작기와 연결하여 사용한다. 수술도구와 보비는 각각 왼손과 오른손 동작에 대응되도록 사용한다.

이외에도 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템에 부가적 장비들을 통합하고 수술기구를 소형화하여 로봇수술 장비에 초음파/적외선 측정장비를 포함한 첨단기술 및 소형 진단장비의 확대 적용이 가능하다.

본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법은 마스터 손동작수행 단계(S1000); 무구속 마스터 알고리즘 단계(S2000); 로봇 슬레이브 동작수행 단계(S3000); 를 포함하여 구성된다.

본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법은 다음과 같이 작동한다.

도 5(a) 및 5(b)는 슬레이브 수술도구와 손동작의 대응을 도시한 개념도이다.

도 5(a) 및 도 5(b)를 참조하면, 마스터 포셉(400)은 챕스틱 형태의 기구이다. 무구속 마스터 포셉(400)을 손에 착용하여 손동작의 복잡한 자유도를 단순화 하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출한다.

여기서, dot1 - dot3의 길이 a와 dot1 - dot2의 길이 b, dot2 - dot3의 길이 c 를 상이하게 구성하며 항상 a > b > c 가 되도록 구성하여 x, y, z축을 구분하여 마커의 위치를 설정한다.

도 6(a) 내지 도 6(d)는 챕스틱 형태의 기구인 무구속 마스터 포셉(400)을 손에 착용하여 손동작의 복잡한 자유도를 단순화 하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출하기 위한 개념도이다.

마스터 인터페이스(100)의 엄지 방향에 부착한 마커를 dot2, 검지 방향을 dot3, 두 점을 잇는 관절에 부착한 마커를 dot1으로 한다. dot1, dot2, dot3가 이루는 하나의 평면을 이용하여 슬레이브 수술도구의 7동작 roll, pitch, yaw, px, py, pz, grasp을 구한다.

dot2와 dot3의 이등분점과 dot1을 잇는 벡터를 평면의 움직이는 지역 좌표계의 x축으로 한다. dot1 - dot2 벡터와 dot1 - dot3의 공통으로 수직한 벡터를 구하고 이것을 평면의 움직이는 지역 좌표계의 z축으로 설정한다. 그 후 x, z축에 동시에 수직인 벡터를 구하고 y축으로 놓는다. 3차원점 3개를 이용하고 3개 축을 이용하여 7 자유도를 구현한다.

도 7은 도 3의 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법을 도시한 흐름도이다.

본 발명의 무구속 마스터 알고리즘 단계는 다음과 같은 단계를 포함하여 구성된다.

상기 무구속 마스터 알고리즘 단계(S2000)는,

무구속 마스터 인터페이스를 활성화 하는 단계(Non restraint Master Interface Activate)(S2010);

dot3 - dot1의 벡터를 구하는 단계(Get the vector of dot3 - dot1)(S2020);

dot2 - dot1의 벡터를 얻는 단계(Get the vector of dot2 - dot1)(S2030);

dot3 - dot1의 단위 벡터를 계산하는 단계(Calculate the unit vector of dot3 - dot1)(S2040);

dot2 - dot1의 단위 벡터를 계산하는 단계(Calculate the unit vector of dot2 - dot1)(S2050);

dot3 - dot1 단위 벡터, dot2 - dot1 단위벡터의 법선 벡터를 계산하는 단계(Calculate the normal vector of dot3 - dot1 unitvector, dot2 - dot1 unitvector) (S2060);

법선 벡터를 로컬 "Z"축으로 설정하는 단계 (Set the normal vector as the local "Z" axis) (S2070);

dot3 - dot2의 중간점(MidPoint)을 가져오는 단계(Get the middle point of the dot3 - dot2) (S2080);

dot1 - 중간점(MidPoint)의 벡터를 구하는 단계(Get the vector of dot1 - MidPoint) (S2090);

dot1 - 중간점(MidPoint)의 단위 벡터를 계산하는 단계(Calculate the unit vector of the dot1 - MidPoint) (S2100);

단위벡터를 로컬 "X"로 설정하는 단계(Set the unitvector as the local "X")(S2110);

x 축을 z 축과 외적하는 단계(Cross Product the x axis with z axis) (S2120);

외적의 결과를 로컬 "Y"축으로 설정하는 단계(Set the result of cross product as the local "Y" axis) (S2130);

dot1 (x, y, z)를 Px, Py, Pz로 설정하는 단계(Set dot1(x, y, z) as the Px, Py, Pz) (S2140);

X, Y, Z 축과 Px, Py, Pz에서 로컬 트랜스매트릭스를 가져오는 하는 단계(Get the local Transmatrix from the X, Y, Z axis and Px, Py, Pz) (S2150);

롤 피치 롤, Px, Py, Pz를 트랜스매트릭스에서 가져 오는 단계(Get Roll Pitch Roll, Px, Py, Pz from the Transmatrix) (S2160);

dot3 - dot1 단위벡터와 dot2 - dot1 단위벡터의 내적으로부터 그래스프(Grasp)를 구하는 단계(Get the Grasp from inner product of dot3 - dot1 unitvector and dot2 - dot1 unitvector) (S2170);

축 X, Y, Z의 디터미넌트 값을 체크하는 단계 (Check the determinent value of the axis X, Y, Z) (S2180);

루프 카운트를 증가하는 단계(Loopcount++)(S2190);

루프 카운트 < 샘플 카운트 인지를 확인하는 단계 (Loopcount < Sample count) (S2200);

만일 만일 루프 카운트 < 샘플 카운트 가 아니면 S2010이 실행되는 단계 (S2210);

만일 루프 카운트 < 샘플 카운트 이면 비활성화하는 단계 (Deactivate) (S2220);를 포함하여 구성된다.

도 7을 참조하면, 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법(S2010 내지 S2210)은 무구속 마스터 포셉(400)을 손에 착용하여 손동작의 복잡한 자유도를 단순화하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출하는 방법이다.

본 발명의 본 발명의 수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법(S2010 내지 S2210)은 마스터 인터페이스의 엄지 방향에 부착한 마커를 dot2, 검지 방향을 dot3, 두 점을 잇는 관절에 부착한 마커를 dot1으로 하는 단계, dot1, dot2, dot3가 이루는 하나의 평면을 이용하여 슬레이브 수술도구의 7동작 roll, pitch, yaw, px, py, pz, grasp을 구하는 단계, 3차원점 3개를 이용하여 7개 자유도를 도출하는 단계, dot2와 dot3의 이등분점과 dot1을 잇는 벡터를 평면의 움직이는 지역 좌표계의 x축으로 하는 단계, dot1 - dot2 벡터와 dot1 - dot3의 공통으로 수직한 벡터를 구하고 이것을 평면의 움직이는 지역 좌표계의 z축으로 설정하는 단계, 그 후 x, z축에 동시에 수직인 벡터를 구하고 y축으로 놓는 단계, 및 3개 축을 이용하여 7자유도를 구현하는 단계를 포함하여 구성된다.

여기서, 마커의 위치는 dot1 - dot3의 길이 a와 dot1 - dot2의 길이 b, dot2 - dot3의 길이 c 를 상이하게 구성하며 항상 a > b > c 가 되도록 구성하여 x, y, z축을 구분한다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

100 : 마스터 프로세서
200 : 슬레이브 프로세서
300 : 네비게이션
110 : 3차원 적외선 카메라
120: 데이터 획득 허브
200 : 슬레이브 프로세서
210: 슬레이브 수술로봇
250 : 모터 제어기
300 : 네비게이션
400 : 무구속 마스터 포셉

Claims

수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템에 있어서,
사용자(101)의 손동작을 로봇에 전달하는 일련의 센싱제어전달 사용자 인터페이스의 기술을 이용한 마스터 프로세서(100);
상기 마스터 프로세서(100)에 의해 전달된 상기 사용자(101)의 손동작을 로봇에 전달하여 구동하는 일련의 진동저감움직임 감속소형화 베어링 기술을 이용한 슬레이브 프로세서(200);
의학영상장비를 통해 환자환부의 3차원 영상정보를 얻고, 얻어진 상기 3차원 영상정보를 통해 상기 환자환부와 도구의 위치를 추적하여 매칭하는 네비게이션(300); 및
상기 사용자(101)의 손에 착용하고 손과 손목이 동작하는 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 구현하는 무구속 마스터 포셉(400);을 포함하여 구성되고,
상기 무구속 마스터 포셉(400)은 dot1 - dot3의 길이 a와 dot1 - dot2의 길이 b, dot2 - dot3의 길이 c 를 상이하게 구성하며 항상 a ≠ b ≠ c, ∀ a > b > c 가 되는 기하학적 구조를 갖는 것을 특징으로 하는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제1항에 있어서,
상기 마스터 프로세서(100)는 6대의 3차원 적외선 카메라(110)의 동작 영역정보를 수신하여 동작분석 소프트웨어와 캘리브레이션 완드를 사용하여 3차원 좌표계를 설정하는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제2항에 있어서,
상기 마스터 프로세서(100)의 마커는 상기 3차원 적외선 카메라(110)의 전면의 적외선을 받아 반사될 수 있도록 반사형 마커를 사용하며 마스터 포셉(400)에 좌우 3개씩 6개가 부착되는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제3항에 있어서,
상기 3차원 적외선 카메라(110)를 사용하여 측정된 적외선 영상 데이터는 데이터 획득 허브(120)에 연결되어 전달되고, 상기 데이터 획득 허브(120)와 연결된 상기 마스터 프로세서(100)는 손동작이 촬영되기 시작하면 전달받은 영상정보를 이용해 3차원 위치정보 및 동작정보를 구하고 이더넷 UDP 통신을 통해 상기 슬레이브 프로세서(200)에 전달 후 연산 과정을 거친 다음 CAN통신을 따라 모터 제어기(250)에 전달되고 상기 모터 제어기(250)에 내장된 모터 드라이버를 통해 모터가 결합된 슬레이브 수술로봇(210)을 동작하게 되는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제4항에 있어서,
상기 슬레이브 수술로봇(210)은 6개의 모터를 하나의 팔로 구성한 6자유도 로봇이고, 각각의 동작은 θ₁ , θ₂ , roll, translation(d3), grasp 로 구성되며 엔드 이펙터 좌표가 주어지면 각도를 구하고 명령하여 원하는 위치로 이동할 수 있고, θ₁ , θ₂ , roll의 회전축은 한 점에 교차되도록 구성되어 있고, 상기 회전축은 동작시 복부의 피봇 점으로서 역할을 하게 되어 제어의 중심 축이 피봇 점에 있음으로써 엔드이펙터의 포지션을 피봇 점에서 직접 제어하여 복부 밖과 복부 안의 제어가 피봇 점에 의해 바뀌는 세차운동 현상을 해결하는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제5항에 있어서,
상기 슬레이브 수술로봇(210)에 부착된 모터는 각각 Grasp 모터(220), θ₁ 모터(230), θ₂ 모터(240), roll모터(250), Translation(d3)모터(260)로 구성되며 모터는 각각 기어헤드, EC 모터(BLDC모터), 엔코더가 하나의 부품으로 결합된 모듈형태로 구성된,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제6항에 있어서,
상기 슬레이브 수술로봇(210)에 부착된 모터는 모터 제어기(250)에 의하여 제어되며, 상기 모터 제어기(250)는 5개씩 한 묶음의 박스로 3개 박스의 전장으로 구성되고 박스 내부의 모터 제어기(250)들은 전원 케이블, CAN 케이블, 모터 제어 케이블, 엔코더 케이블로 연결되며 한 개의 박스에서 나오는 모터 제어 케이블과 엔코더 케이블을 한데 묶어서 수술로봇 팔 한 개에 연결되고 다른 한편으로 제어기들과 모두 연결된 CAN 케이블을 CAN 인터페이스 보드가 설치된 슬레이브 프로세서(200)에 연결하고, CAN 아이디는 한 개의 전장에 각각 5개의 16진수(0x0001, 0x0002, 0x0004, 0x0008, 0x0010 ; 십진수 1, 2, 4, 8, 16)에 해당하는 딥 스위치를 설정하여 마스터에서 명령이 전달되면 구별하여 동작할 수 있도록 설치하는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
제1항에 있어서,
상기 네비게이션(300)의 의학영상장비는 CT.MRI를 포함하는 장치인,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
삭제
제1항에 있어서,
상기 무구속 마스터 포셉(400)은 상기 마스터 인터페이스(100)의 엄지 방향에 부착한 마커를 dot2, 검지 방향을 dot3, 두 점을 잇는 관절에 부착한 마커를 dot1으로 하고, dot1, dot2, dot3가 이루는 하나의 평면을 이용하여 상기 슬레이브 수술로봇(210)의 7동작 roll, pitch, yaw, px, py, pz, grasp을 구하고, 3차원점 3개를 이용하여 7개 자유도를 도출하고, dot2와 dot3의 이등분점과 dot1을 잇는 벡터를 평면의 움직이는 지역 좌표계의 x축으로 하고, dot1 - dot2 벡터와 dot1 - dot3의 공통으로 수직한 벡터를 구하고 이것을 평면의 움직이는 지역 좌표계의 z축으로 설정하고, 그 후 x, z축에 동시에 수직인 벡터를 구하고 y축으로 놓고, 3개 축을 이용하여 7자유도를 구현하는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 시스템.
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법에 있어서,
마스터 손동작수행 단계(S1000);
무구속 마스터 알고리즘 단계(S2000); 및
로봇 슬레이브 동작수행 단계(S3000); 를 포함하여 구성되고,
상기 무구속 마스터 알고리즘 단계(S2000)에서 마커의 위치는 dot1 - dot3의 길이 a와 dot1 - dot2의 길이 b, dot2 - dot3의 길이 c 를 상이하게 구성하며 항상 a > b > c 가 되도록 구성하여 x, y, z축을 구분하는 것을 특징으로 하는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법.
제11항에 있어서,
상기 무구속 마스터 알고리즘 단계(S2000)는,
무제한 마스터 인터페이스를 활성화 하는 단계(Non restraint Master Interface Activate)(S2010);
dot3 - dot1의 벡터를 구하는 단계(Get the vector of dot3 - dot1)(S2020);
dot2 - dot1의 벡터를 얻는 단계(Get the vector of dot2 - dot1)(S2030);
dot3 - dot1의 단위 벡터를 계산하는 단계(Calculate the unit vector of dot3 - dot1)(S2040);
dot2 - dot1의 단위 벡터를 계산하는 단계(Calculate the unit vector of dot2 - dot1)(S2050);
dot3 - dot1 단위 벡터, dot2 - dot1 단위벡터의 법선 벡터를 계산하는 단계(Calculate the normal vector of dot3 - dot1 unitvector, dot2 - dot1 unitvector) (S2060);
법선 벡터를 로컬 "Z"축으로 설정하는 단계 (Set the normal vector as the local "Z" axis) (S2070);
dot3 - dot2의 중간점(MidPoint)을 가져오는 단계(Get the middle point of the dot3 - dot2) (S2080);
dot1 - 중간점(MidPoint)의 벡터를 구하는 단계(Get the vector of dot1 - MidPoint) (S2090);
dot1 - 중간점(MidPoint)의 단위 벡터를 계산하는 단계(Calculate the unit vector of the dot1 - MidPoint) (S2100);
단위벡터를 로컬 "X"로 설정하는 단계(Set the unitvector as the local "X")(S2110);
x 축을 z 축과 외적하는 단계(Cross Product the x axis with z axis) (S2120);
외적의 결과를 로컬 "Y"축으로 설정하는 단계(Set the result of cross product as the local "Y" axis) (S2130);
dot1 (x, y, z)를 Px, Py, Pz로 설정하는 단계(Set dot1(x, y, z) as the Px, Py, Pz) (S2140);
X, Y, Z 축과 Px, Py, Pz에서 loacl Transmatrix를 가져오는 하는 단계(Get the local Transmatrix from the X, Y, Z axis and Px, Py, Pz) (S2150);
롤 피치 롤, Px, Py, Pz를 트랜스 매트릭스에서 가져 오는 단계(Get Roll Pitch Roll, Px, Py, Pz from the Transmatrix) (S2160);
dot3 - dot1 단위벡터와 dot2 - dot1 단위벡터의 내적으로부터 그래스프(Grasp)를 구하는 단계(Get the Grasp from inner product of dot3 - dot1 unitvector and dot2 - dot1 unitvector) (S2170);
축 X, Y, Z의 디터미넌트 값을 체크하는 단계 (Check the determinent value of the axis X, Y, Z) (S2180);
루프 카운트를 증가하는 단계(Loopcount++)(S2190);
루프 카운트 < 샘플 카운트 인지를 확인하는 단계 (Loopcount < Sample count) (S2200);
만일 만일 루프 카운트 < 샘플 카운트가 아니면 S2010이 실행되는 단계 (S2210); 및
만일 루프 카운트 < 샘플 카운트 이면 비활성화하는 단계 (Deactivate) (S2220);를 포함하여 구성되는,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법.
제 12항에 있어서,
상기 무구속 마스터 알고리즘 단계(S2000)는 마스터 포셉(400)을 손에 착용하여 손동작의 복잡한 자유도를 단순화하고 수술수행 동작에 필요한 7개의 자유도(px, py, pz, roll, pitch, yaw, grasp)를 도출하는 단계인,
수술로봇 조종을 위한 무구속의 3차원 손동작 모션 인식 방법.
삭제
제11항 내지 제13항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.
제11항 내지 제13항 중 어느 한 항에 기재된 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터프로그램.