KR102284639B1 - 펜 형태의 인터페이스를 이용한 수술 도구 제어 시스템 - Google Patents

Abstract

본 발명에 따른 수술 도구 제어 시스템은 사용자에 의해 움직이며, 회전운동 또는 병진운동에 의한 변화량을 감지하는 적어도 하나 이상의 센서를 포함하는 입력 장치, 상기 입력 장치와 원격으로 연결되고, 상기 입력 장치의 움직임을 따라 이동하며 수술을 수행하는 수술 장치, 그리고 상기 수술 장치의 움직임이 상기 입력 장치의 움직임과 매칭되도록 제어하되, 상기 입력 장치와 상기 수술 장치의 적어도 하나 이상의 축방향을 일치시켜 매칭되도록 제어하는 제어 장치를 포함한다.

Description

펜 형태의 인터페이스를 이용한 수술 도구 제어 시스템{SYSTEM FOR CONTROL OF SURGICAL TOOL USING PEN INTERFACE}

본 발명은 펜 형태의 인터페이스를 이용한 수술 도구 제어 시스템에 관한 것이다.

의료용 로봇인 수술 로봇은 외과를 포함한 다양한 의학 분야에 응용되고 있다. 그리고, 수술 로봇은 사용자에 의해 원격으로 제어되며, 사용자에 의한 움직임을 수술 도구로 전달한다. 이러한, 수술 로봇은 마스터 장치 및 마스터 장치에 의해 원격으로 제어되는 슬레이브 장치를 포함한다.

수술 로봇은 사용자에 의한 마스터 콘솔 (Master console)에서의 움직임과 수술 도구의 움직임을 매칭시키는 맵핑 작업이 필요하며, 현재 많이 사용되는 회전 맵핑 방법은 입력 장치의 각 회전축의 변화량(increment)을 수술도구 회전축의 변화량으로 일대일로 맵핑하는 방법이 대표적이다.

그리고, 이러한 맵핑 방법은 입력 장치의 회전을 스케일링(scaling)하지 않으면서 수술 도구의 회전으로 맵핑하고, 사용자가 마스터 장치의 각 조인트를 돌리는 만큼 수술 도구가 회전 되도록 직관성을 확보할 필요가 있다.
(특허문헌 1) KR10-2009-0019908 A
(특허문헌 2) KR10-2010-0122947 A

본 발명은 펜 형태의 인터페이스를 이용해 수술 도구를 제어할 수 있는 수술 도구 제어 시스템을 제안하고자 한다.

본 발명의 수술 도구 제어 시스템은 사용자에 의해 움직이며, 회전운동 또는 병진운동에 의한 변화량을 감지하는 적어도 하나 이상의 센서를 포함하는 입력 장치, 상기 입력 장치와 원격으로 연결되고, 상기 입력 장치의 움직임을 따라 이동하며 수술을 수행하는 수술 장치, 그리고 상기 수술 장치의 움직임이 상기 입력 장치의 움직임과 매칭되도록 제어하되, 상기 입력 장치와 상기 수술 장치의 적어도 하나 이상의 축방향을 일치시켜 매칭되도록 제어하는 제어 장치를 포함하며, 상기 입력 장치는, 상기 수술 장치에서 보정 행렬 Hq를 새롭게 결정하게 하는 명령어를 입력하는 입력 수단을 포함한다.

상기 입력 장치는, 펜 형태의 인터페이스로 사용자에 의해 조작될 수 있다.

상기 제어 장치는, 상기 입력 장치의 z축 방향과 상기 수술 장치의 z축 방향이 일치하도록 제어할 수 있다.

본 발명에 따르면, 펜 형태의 인터페이스를 통해 수술 도구를 제어하고, 펜과 수술 도구의 축 방향을 일치시키도록 제어함으로써, 보다 효과적으로 수술 도구를 제어할 수 있는 환경을 제공한다.

도 1은 본 발명의 한 실시예에 따른 수술 도구 제어 시스템을 간략히 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따라 펜 형태의 인터페이스를 이용한 입력 장치를 도시한 도면이다.
도 3은 본 발명의 한 실시예에 따라 수술 장치를 간략히 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따라 가상환경 상의 물체를 제어하는 예를 간략히 도시한 도면이다.
도 5는 본 발명의 한 실시예에 따라 입력 장치와 수술 장치의 축을 일치시키는 예를 도시한 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이제 도 1 내지 도 5를 참고하여 본 발명의 한 실시예에 따른 수술 도구 제어 시스템에 대하여 상세하게 설명한다.

도 1은 본 발명의 한 실시예에 따른 수술 도구 제어 시스템을 간략히 도시한 도면이다. 이때, 수술 도구 제어 시스템은 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.

도 1을 참조하면, 본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 입력장치로부터의 움직임을 감지하여 수술 장치의 움직임을 제어한다. 그리고, 수술 도구 제어 시스템은 펜 형태의 인터페이스를 이용한 입력 장치를 이용해 사용자로부터 움직임을 수신하고, 입력 장치의 움직임과 수술 장치의 움직임을 매칭시켜 수술 도구를 제어할 수 있다.

본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 입력 장치(100), 제어 장치(200) 및 수술 장치(300)을 포함한다.

입력 장치(100)는 사용자로부터 움직임을 입력 받고, 이를 수술 장치(300)에 전달한다. 입력 장치(100)는 회전운동 또는 병진운동에 의한 변화량을 감지하는 적어도 하나 이상의 센서부(110)를 포함한다.

그리고, 입력 장치(100)는 펜 형태의 인터페이스로 사용자에 의해 조작될 수 있다.

제어 장치(200)는 수술 장치(300)의 움직임이 입력 장치(100)의 움직임과 매칭되도록 제어한다. 그리고, 제어 장치(200)는 입력 장치(100)의 축방향과 수술 장치(300)의 축방향을 일치시켜 매칭되도록 제어한다. 이때, 제어 장치(200)는 본 발명의 한 실시예에 따라 입력 장치(100)의 z축 방향과 수술 장치(300)의 z축 방향이 일치하도록 제어할 수 있다.

그리고, 제어 장치(200)는 본 발명의 한 실시예에 따라 매칭부(210), 보정부(220) 및 계산부(230)를 포함한다.

매칭부(210)는 입력 장치(100)의 축방향과 수술 장치(300)의 축방향을 일치시켜 매칭시킨다.

보정부(220)는 입력 장치(100)의 움직임에 따라 수술 장치(300)가 움직일 수 있도록 입력 장치(100)에서 측정된 센서값을 보정한다. 보정부(220)는 입력 장치(100)의 회전 부분을 수술 장치(300)의 회전 부분과 매칭되도록 보정한다.

계산부(230)는 입력 장치(100)의 축방향과 수술 장치(300)를 매칭 시키기 위해 축방향의 변화량 또는 움직임 등을 계산한다. 그리고, 계산부(230)는 입력 장치(100)에서 측정된 센서값으로부터 보정값을 계산하는 등과 같이 각종 연산을 수행한다.

따라서, 수술 장치(300)는 입력 장치(100)와 원격으로 연결되고, 입력 장치(100)의 움직임을 따라 이동하며 수술을 수행한다.

수술 장치(300)는 본 발명의 한 실시예에 따라 구동부(310) 및 수술 도구(320)를 포함한다.

구동부(310)는 제어 장치(200)의 제어에 의해 수술 도구(320)를 구동시킨다. 그리고, 수술 도구(320)는 입력 장치(100)와 매칭되고, 구동부(310)에 구동에 의해 수술을 수행한다.

도 2는 본 발명의 한 실시예에 따라 펜 형태의 인터페이스를 이용한 입력 장치를 도시한 도면이다.

일반적으로 범용 입력 인터페이스는 주로 회전운동(rotation) 3자유도 및 병진운동(translation) 3자유도를 측정하는 장치로서 공간상에서의 사용자의 공간상의 움직임을 측정하는 역할을 한다.

도 2를 참조하면, 입력 장치(100)는 본 발명의 한 실시예에 따라 펜 형태로 구현된다. 일반적으로 사용자는 펜을 잡고 글을 쓸 때 손을 책상 평면에 댄 채 글을 쓰고 손을 책상에 지지함으로써, 안정적이고 편안하게 글을 쓰거나 그림을 그리게 된다. 그리고, 본 발명의 한 실시예는 펜에 마커 혹은 마그넷 센서 등을 부착하여 공간상에서의 펜의 6자유도 움직임을 트래킹(tracking)하게 되고, 편안하게 글 쓰듯 사용할 수 있는 6자유도 범용 인터페이스를 제공한다.

도 3은 본 발명의 한 실시예에 따라 수술 장치를 간략히 도시한 도면이다.

도 3을 참조하면, 수술 도구 제어 시스템은 본 발명의 한 실시예에 따라 수술 장치(300)가 구동부(310) 및 수술 도구(320)를 포함하며, 펜 형태 인터페이스를 통한 수술 도구(320)를 제어한다.

그리고, 수술 도구 제어 시스템은 편의상 펜의 트래킹 대상을 펜을 쥐고 있는 지점으로 한다면, 펜의 진행방향(예를 들어, z축으로 설정)은 책상을 바라보는 방향이 된다. 이는 가상공간이나 제어 대상인 수술 도구의 해당 축과는 다를 수 밖에 없다. 여기서, 막대형태의 링크(예를 들어, 수술 도구)의 중앙축 부분에 원점축이 위치하며, 편의상 z축을 링크의 진행방향으로 설정한다.

이러한 수술 도구(320)는 수술 목적에 따라 사용자(예를 들어, 의사)에 의해 6자유도 포지션이 결정된다. 수술 도구 제어 시스템은 본 발명의 한 실시예에 따라 3자유도 위치 좌표 정보를 제외한 3 자유도 회전 정보에 초점을 두어 제어한다.

도 4는 본 발명의 다른 실시예에 따라 가상환경 상의 물체를 제어하는 예를 간략히 도시한 도면이다.

도 4를 참조하면, 본 발명의 다른 실시예에서는 로봇이나 게임 등의 가상환경 물체를 제어한다. 예를 들어, 본 발명의 다른 실시예에서는 게임의 칼이나 총을 제어할 수 있다. 여기서, 사용자(10)는 3개의 마커를 붙인 막대 형태 인터페이스를 통해 가상환경(400)에서의 칼과 같은 가상 물체를 제어한다.

이하에서는 제어 장치가 입력 장치와 수술 장치의 움직임을 매칭시키는 과정을 상세히 설명한다.

우선, 절대적으로 1:1로 입력과 출력이 맵핑이 되지 않더라도 사용자가 입력 차원과 제어 대상의 인지적 차원이 매칭되면, 펜을 쓰는 각도를 유지한 채 펜과 다른 각도를 바라보고 있는 로봇을 제어하는데 인지적인 어려움은 없다고 볼 수 있다.

다만 수학적으로 두 방향을 보정해줘야 하는데, 사용자가 들고 있는 펜의 6자유도 정보(예를 들어, 센서를 이용해 측정하고 보정한 값)를 다음의 수학식 1과 같이 표현된다.

단, 위의 a, b, c로 기술되는 세 컬럼 벡터는 회전을 기술하는 조건을 만족한다. 도 5는 본 발명의 한 실시예에 따라 입력 장치와 수술 장치의 축을 일치시키는 예를 도시한 도면이다.

도 5에서, 입력 장치(100)인 펜이 바라보고 있는 z축은 다음의 수학식 2의 단위 벡터로 표현된다.

그리고, 공간상에서 수술 도구의 6자유도 정보를 다음의 수학식 3과 같이 표현된다.

또한, 수술 도구가 바라보는 방향은 다음의 수학식 4와 같이 표현 가능하다.

그리고, 수술 도구 제어 시스템은 z_pen을 z_tool로 변환 시키는 것 역시 4x4 행렬로 표현이 가능하고, 많은 변환 행렬 중 최소 회전 변환에 기반한 행렬(shortest rotation angle matrix)을 이용한다. 이는 두 벡터 사이의 불필요한 회전을 사용하지 않아 가상 공간에서 가상 카메라 제어 등에 많이 활용되는 기법이다.

수술 도구 제어 시스템은 두 벡터, z_pen과 z_tool 사이의 회전 관계식을 사원수(quaternion)를 이용하여 도 5에서의 최소 회전 관계식(q=<w, x, y, z>)을 구한다. 이는 일반적으로 사용되는 두 벡터를 이용한 최소 각도 사원수(shortest angle quaternion)을 구하는 방법을 이용한다. 그리고, 일단 q가 결정되면, 이를 행렬형태로 변환하는 3x3 회전 행렬인 R을 포함하는 4x4 동차 변환 행렬(homogeneous transformation matrix)인, H_q를 얻는다.

H_q가 얻어지면, H_pen의 회전 부분을 H_tool의 회전 부분으로 보정한다. H_q는 순수하게 회전만 보정하므로, H_pen에서 위치정보를 빼고 회전 보정 후 위치를 다시 적용하는 방법을 적용한다. 즉, 회전 보정시에만 피벗 포인트(pivot point)를 원점으로 하기 위함이다.

H_pen의 포지션(position)을 나타내는 4x4 동차 변환 행렬을 T_pen으로 본다면 다음의 수학식 5와 같이 정리된다.

그리고, 본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 수학식 5에서 보정된 H_pen' 를 H_Tool 로 사용한다. 단, 회전이 아닌 위치의 경우에는 스케일링(scaling)을 적용하는 것이 일반적이며, 수식적으로는 표현하지 않는다.

요약하면 H_tool(또는 H_pen') 은 초기에 결정된 H_q를 이용해 매 순간 센서로부터 결정되는 H_pen 을 변환하여 얻게 된다. 이를 통해 사용자는 펜을 쥐고 글을 쓰듯이 임의의 방향을 향하고 있는 수술 로봇을 제어할 수 있게 된다.

수학적으로 H_q 는 H_pen의 세번째 열 벡터(column vector)를 H_tool의 세번째 열 벡터와 일치시켜주는 역할을 한다.

본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 H_q의 초기화 과정을 포함한다. 본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 펜과 수술 도구의 z 방향을 일치시키는 것을 기반으로 한다. 그리고, H_q는 사용자가 원점으로 삼고 싶은 순간에 버튼, 키보드, 풋 스위치 또는 음성 명령 등의 소정의 수단을 이용해 입력하는 순간 계산되며, 추가 입력이 이루어지기 전까지 사용된다.

따라서, 본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 펜 형태의 짐벌(gimbal)을 가지고 있는 상용 입력 장치나 마커 등을 이용해 제작된 펜 형태의 트래킹 장치에 적용이 가능하다.

이러한 수술 도구 제어 시스템은 인체공학적인 장점을 가진다. 책상을 바라보는 방향은 사람의 특성상 펜을 잡을 때 마다 다를 수 밖에 없으며, 또한 사용자가 펜을 고쳐 쥐거나 할 때마다 바뀌게 된다. 이처럼 사용자에게 편리한 z축은 꾸준히 바뀔 수 밖에 없어(가상 공간 및 제어 대상의 x,y,z 축은 고정) 바닥에 데고 쓰는 펜의 인체공학적 장점이 사라지게 된다. 그러나, 본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 편안하게 임의의 각도를 바라보고 있는 수술 도구를 제어할 수 있는 장점을 가진다.

본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 수술 도구의 키네메틱스(kinematics)가 입력장치와 상이한 경우, 즉 수술 도구가 바라보고 있는 방향과 입력 장치가 상이하게 다른 경우에도 쉽게 장치 제어를 할 수가 있다.

이와 같이, 본 발명의 한 실시예에 따른 수술 도구 제어 시스템은 펜 형태의 인터페이스를 통해 수술 도구를 제어하고, 펜과 수술 도구의 축 방향을 일치시키도록 제어함으로써, 보다 효과적으로 수술 도구를 제어할 수 있는 환경을 제공한다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (3)

1. 사용자가 손으로 잡을 수 있는 펜 형태이고, 사용자에 의해 움직이며, 회전운동 또는 병진운동에 의한 변화량을 감지하는 적어도 하나 이상의 센서, 그리고 보정 행렬(H_q)을 초기화하는 명령을 입력받는 입력 수단을 포함하는 입력 장치,
   제어 장치의 제어 따라 상기 입력 장치의 움직임을 따라 이동하며 수술을 수행하는 수술 장치, 그리고
   상기 입력 장치 및 상기 수술 장치와 연결되고, 상기 입력 수단에서 상기 명령이 입력되면, 상기 입력 장치가 바라보는 z축 방향을 상기 수술 장치가 바라보는 z축 방향으로 변환하는 상기 보정 행렬을 계산하고, 상기 센서에서 감지한 상기 입력 장치의 움직임을 상기 보정 행렬을 이용하여 상기 수술 장치의 움직임으로 보정하여 상기 수술 장치를 제어하는 상기 제어 장치를 포함하는, 수술 도구 제어 시스템.
   
   
2. 삭제
3. 삭제

Images