KR102535861B1 - 복강경 장착 어뎁터와 rcm구조를 가지는 복강경 홀더 로봇 - Google Patents

Abstract

본 발명은 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇에 관한 것으로, 보다 상세하게는 일측 단부에 카메라가 구비되며 타측 단부에 렌즈가 구비된 복강경을 RCM(remote center of motion) 포인트를 중심으로 회전하도록 작동되는 복강경 홀더로봇에 있어서, 몸체; 후방 단부가 상기 몸체의 제1회전조인트 상에서 결합되고, 전방단부가 제2회전조인트 상에서 상기 복강경 측과 결합되는 RCM구조; 상기 몸체 내에 구비되어 상기 RCM구조를 상기 제1회전조인트 기준으로 회전구동하여, 상기 복강경이 상기 RCM 포인트를 중심으로 회전되도록 하는 제1회전구동부; 상기 몸체 일측에 설치되어 상기 RCM 포인트와 상기 제1회전조인트를 연결하는 가상선을 기준으로 상기 복강경이 회전되도록 구동하는 제2회전구동부; 상기 제2회전조인트 상에 연결되어 상기 복강경을 길이방향으로 이동시키는 선형이동장치; 및 상기 선형이동장치와 상기 복강경을 탈부착시키도록 구성된 복강경 어뎁터 장치;를 포함하는 것을 특징으로 하는 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇에 관한 것이다.

Description

복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇{Laparoscopic camera holder Robot having adapter and remote center of motion structure}

본 발명은 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇에 관한 것이다.

의학적으로 수술이란 피부나 점막, 기타 조직을 의료 기계를 사용하여 자르거나 째거나 조작을 가하여 병을 고치는 것을 말한다. 특히, 수술부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하 는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 로봇(robot)을 사용한 수술이 대안으로서 각광받고 있다.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다. 현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다

수술 로봇 장치는 일반적으로 마스터 콘솔과 슬레이브 로봇으로 구성된다. 오퍼레이터가 마스터 콘솔에 구비된 조종 레버(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 인스트루먼트가 조작되어 수술이 수행된다.

수술용 로봇에는 수술을 위한 조작을 위해 로봇 암을 구비하게 되며, 로봇 암의 선단부에는 인스트루먼트(instrument)가 장착된다. 이와 같이 로봇 암의 선단에 인스트루먼트를 장착하여 수술을 수행하게 되면 로봇 암 의 움직임에 따라 인스트루먼트도 같이 움직이며, 이는 환자의 피부를 일부 천공하고 여기에 인스트루먼트를 삽입하여 수술을 수행하는 과정에서 인체의 피부에 불필요한 손상을 입힐 우려가 있다. 또한, 수술 부위가 넓을 경우에는 인스트루먼트가 움직이는 경로만큼 피부를 절개하거나 각 수술 부위마다 피부를 천공해야 하는 등 로봇 수술의 잇점이 반감될 우려도 있다.

따라서, 로봇 암의 선단에 장착되는 인스트루먼트는 말단부의 소정 위치에 가상의 회전 중심점을 설정하고 이 점을 중심으로 인스트루먼트가 회전하도록 로봇 암을 제어하게 되는데, 이러한 가상의 중심점을 '원격중심' 또는 'RCM(remote center of motion)'이라 한다.

미국공개특허 US2019/0069965 A 대한민국 등록특허 10-2206647 대한민국 등록특허 10-1550451 일본 등록특허 6778769

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예에 따르면, RCM구조를 통해 복강경 상의 RCM 포인트를 기준으로 상하 틸팅(①), RCM 포인트과 제1회전조인트를 연결하는 가상축을 기준으로 회전구동(②), 선형이동장치를 통해 복강경을 길이방향으로 이동, 복강경을 길이방향 축기준으로 회전(④)시키는 4자유도를 갖는 복강경 카메라 홀더 로봇을 제공하는데 그 목적이 있다.

그리고 본 발명의 실시예에 따르면, 복강경과 복강경 홀더 로봇(복강경 홀더의 선형이동장치)과 탈부착이 용이하도록 복강경 장착 어뎁터를 갖는 복강경 카메라 홀더 로봇을 제공하는데 그 목적이 있다.

또한 본 발명의 실시예에 따른 어뎁터 장치는, 복강경 지름이 다른 문제를 해결하고 로봇에 모듈처럼 장착할 수 있으며, 복강경 축방향 회전 장치와 결합되어 있으며 복강경 자체만 탈착할 수 있고, 시술중, 시술을 중단하고 복강경을 빼내서 필요 작업 후, 사용자가 복강경을 기준위치에 위치시키는 경우, 시술 중단 지점에서의 복강경의 위치를 기준위치로부터 산출한 후, 구동을 제어 복강경을 시술 중단 지점에서의 복강경 위치로 자동으로 이동시킬 수 있는, 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇을 제공하는데 그 목적이 있다.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 목적은, 일측 단부에 카메라가 구비되며 타측 단부에 이미지센서가 구비된 복강경을 RCM(remote center of motion) 포인트를 중심으로 회전하도록 작동되는 복강경 홀더로봇에 있어서, 몸체; 후방 단부가 상기 몸체의 제1회전조인트 상에서 결합되고, 전방단부가 제2회전조인트 상에서 상기 복강경 측과 결합되는 RCM구조; 상기 몸체 내에 구비되어 상기 RCM구조를 상기 제1회전조인트 기준으로 회전구동하여, 상기 복강경이 상기 RCM 포인트를 중심으로 회전되도록 하는 제1회전구동부; 상기 몸체 일측에 설치되어 상기 RCM 포인트와 상기 제1회전조인트를 연결하는 가상선을 기준으로 상기 복강경이 회전되도록 구동하는 제2회전구동부; 상기 제2회전조인트 상에 연결되어 상기 복강경을 길이방향으로 이동시키는 선형이동장치; 및 상기 선형이동장치와 상기 복강경을 탈부착시키도록 구성된 복강경 어뎁터 장치;를 포함하는 것을 특징으로 하는 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇으로서 달성될 수 있다.

그리고 상기 RCM구조는 제1링크부와 제2링크부가 결합된 구조를 가지며, 상기 제1회전조인트는 제1-1회전조인트, 상기 제1-1회전조인트와 하방측으로 특정간격 이격되어 위치된 제1-2회전조인트를 포함하며, 상기 제2회전조인트는 제2-1회전조인트와 상기 제2-2회전조인트를 포함하고, 상기 제1링크부는, 일측끝단이 상기 제1-1회전조인트와 연결되는 제1-1링크와, 일측끝단이 상기 제1-1링크의 타측끝단과 제1힌지로 연결되며 타측끝단은 제2-1회전조인트를 통해 상기 선형이동장치와 연결되는 제1-2링크를 갖고, 상기 제2링크부는, 일측끝단이 상기 제1-2회전조인트와 연결되는 제2-1링크와, 일측끝단이 상기 제2-1링크의 타측끝단과 제2힌지로 연결되며 타측끝단은 제2-2회전조인트를 통해 상기 선형이동장치와 연결되는 제2-2링크를 가지며, 상기 제1링크부와 상기 제2링크부는 제1-2링크와 상기 제2-1링크가 교차되는 지점에 힌지결합되는 것을 특징으로 할 수 있다.

그리고 상기 RCM 포인트는 상기 제1-1회전조인트와 상기 제1-2회전조인트를 연결하는 가상선과 상기 복강경이 교차되는 지점인 것을 특징으로 할 수 있다.

또한 상기 복강경 어뎁터 장치는, 상부 일측에 구비되어 상기 선형이동장치와 탈부착되도록 구성된 체결수단과, 상기 복강경이 탈부착되도록 구성되는 탈부착유닛을 포함하고, 상기 탈부착유닛은 복강경의 직경 사이즈에 따라 교체가 가능하도록 구성되는 것을 특징으로 할 수 있다.

그리고 상기 복강경 어뎁터 장치는, 상기 선형이동장치와 상기 탈부착유닛 사이에 탈부착 가능하게 설치되어 상기 복강경을 길이방향 축 기준으로 회전시키는 복강경 축방향 회전장치를 더 포함하는 것을 특징으로 할 수 있다.

또한 상기 탈부착유닛은, 원통 내면을 갖고 내부로 상기 복강경이 삽입되며 길이방향으로 절개부가 형성된 장착부와, 조작에 의해 상기 장착부를 조여 상기 복강경을 고정시키는 캠 크램핑부재를 포함하는 것을 특징으로 할 수 있다.

그리고 상기 제1회전구동부, 상기 제2회전구동부, 상기 선형이동장치, 및 상기 복강경 축방향 회전장치의 구동을 제어하는 제어기를 포함하는 것을 특징으로 할 수 있다.

또한 각도기준과 길이기준에 기반한 기준위치로부터 상기 복강경의 길이방향 이동위치, 복강경 길이방향 축 기준 회전각도 위치를 인식하는 위치 인식부를 포함하는 것을 특징으로 할 수 있다.

그리고 시술중, 시술을 중단하고 상기 복강경을 빼내서 필요 작업 후, 사용자가 상기 복강경을 상기 기준위치에 위치시키는 경우, 상기 제어기는 상기 시술 중단 지점에서의 복강경의 위치를 상기 기준위치로부터 산출한 후, 상기 선형이동장치, 및 상기 복강경 축방향 회전장치의 구동을 제어하여 상기 복강경을 상기 시술 중단 지점에서의 복강경 위치로 이동시키는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇에 따르면, RCM구조를 통해 복강경 상의 RCM 포인트를 기준으로 상하 틸팅(①), RCM 포인트과 제1회전조인트를 연결하는 가상축을 기준으로 회전구동(②), 선형이동장치를 통해 복강경을 길이방향으로 이동, 복강경을 길이방향 축기준으로 회전(④)시키는 4자유도를 갖도록 구성될 수 있는 효과를 갖는다.

본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇에 따르면, 복강경과 복강경 홀더 로봇(복강경 홀더의 선형이동장치)과 탈부착이 용이할 수 있는 장점을 갖는다.

본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇에 따르면, 복강경 지름이 다른 문제를 해결하고 로봇에 모듈처럼 장착할 수 있으며, 복강경 축방향 회전 장치와 결합되어 있으며 복강경 자체만 탈착할 수 있고, 시술중, 시술을 중단하고 복강경을 빼내서 필요 작업 후, 사용자가 복강경을 기준위치에 위치시키는 경우, 시술 중단 지점에서의 복강경의 위치를 기준위치로부터 산출한 후, 구동을 제어 복강경을 시술 중단 지점에서의 복강경 위치로 자동으로 이동시킬 수 있는 효과를 갖는다.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 RCM구조를 갖는 구동 매커니즘을 나타낸 모식도,
도 2는 본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇의 측면도,
도 3은 본 발명의 실시예에 따른 복강경에 부착된 복강경 어뎁터 장치의 측단면도,
도 4a는 본 발명의 실시예에 따른 탈부착 유닛의 측단면도,
도 4b는 본 발명의 실시예에 따른 탈부착 유닛의 정면도,
도 5는 본 발명의 실시예에 따른 제어기의 제어흐름을 나타낸 블록도,
도 6은 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템의 구성도,
도 7은 본 발명의 실시예에 따른 외부인터페이스에 의해 통신연결되는 외부조정장치와 제어기의 블록도,
도 8은 본 발명의 실시예에 따른 4가지 모드의 복강경 카메라 홀더 로봇 제어시스템의 블록도,
도 9는 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어방법의 흐름도,
도 10은 본 발명의 실시예에 따른 음성명령모드에서 그리드 명령입력시 화면과, 4번을 음성명령한 경우 화면의 예,
도 11은 본 발명의 실시예에 따른 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템의 블록도,
도 12는 본 발명의 실시예에 따른 데이터수집부의 블록도,
도 13은 본 발명의 실시예에 따른 학습 DB의 블록도,
도 14는 본 발명의 실시예에 따른 가이드모니터링부의 블록도를 도시한 것이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서 도면에서 예시된 영역들은 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.

이하에서는 본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇 시스템에 대해 설명하도록 한다.

첫번째, 본 발명의 실시예에 에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇의 구성, 기능을 구동 매커니즘을 중심으로 설명하고, 두번째, 이러한 복강경 홀더 로봇에 대한 제어시스템, 제어방법에 대해 설명한 후, 세번째, 영상정보 기반 복강경 수술 과정 모니터링 방법, 시스템에 대해 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 RCM구조를 갖는 구동 매커니즘을 나타낸 모식도를 도시한 것이다. 그리고 도 2는 본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇의 측면도를 도시한 것이다.

본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇(100)은 기본적으로, 일측 단부에 카메라(2)가 구비되며 타측 단부에 렌즈(3)가 구비된 복강경(1)을 RCM(remote center of motion) 포인트(4)를 중심으로 회전하도록 작동된다.

본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇(100)은 전체적으로, 몸체(5), RCM 구조(10), 제1회전구동부(20), 제2회전구동부(30), 선형이동장치(40), 복강경 축방향 회전장치(60)를 가지는 복강경 어뎁터 장치(50) 등을 포함하여 구성된다.

본 발명의 실시예에 따른 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇(100)은 4자유도를 가지며, 복강경 어뎁터 장치(50)에 의해 복강경(1)을 홀더 로봇(100) 측에 탈착 가능하게 구성된다.

후에 설명되는 바와 같이, 제1회전구동부(20)에 의해 복강경(1)은, 복강경 상의 RCM 포인트(4)를 기준으로 상하 틸팅되고, 제2회전구동부(30)에 의해 RCM 포인트(4)과 제1회전조인트(11)를 연결하는 가상축을 기준으로 회전구동되며, 선형이동장치(40)를 통해 복강경(1)을 길이방향으로 이동시킬 수 있으며, 복강경 축방향 회전장치(60)에 의해 복강경을 길이방향 축기준으로 회전시키는 4자유도를 갖는다.

RCM 구조(10)는 후방 단부가 몸체의 제1회전조인트(11) 상에서 결합되고, 전방단부가 제2회전조인트(16) 상에서 복강경(1) 측과 결합된다. 제1회전구동부(20)는 몸체(5) 내에 구비되어 RCM구조(10)를 제1회전조인트(11) 기준으로 회전구동하여, 복강경(1)이 RCM 포인트(4)를 중심으로 회전되도록 한다.

보다 구체적으로 도 1에 도시된 바와 같이, RCM구조(10)는 제1링크부(12)와 제2링크부(14)가 결합된 구조를 가짐을 알 수 있다. 그리고 제1회전조인트(11)는 제1-1회전조인트(11-1), 제1-1회전조인트(11-1)와 하방측으로 특정간격 이격되어 위치된 제1-2회전조인트(11-2)를 포함하며, 제2회전조인트(16)는 제2-1회전조인트(16-1)와 제2-2회전조인트(16-2)를 포함하도록 구성된다.

제1링크부(12)는, 일측끝단이 제1-1회전조인트(11-1)와 연결되는 제1-1링크(12-1)와, 일측끝단이 제1-1링크(12-1)의 타측끝단과 제1힌지(13)로 연결되며 타측끝단은 제2-1회전조인트(16-1)를 통해 선형이동장치(40)와 연결되는 제1-2링크(12-1)를 포함하여 구성된다.

또한 제2링크부(14)는, 일측끝단이 제1-2회전조인트(11-2)와 연결되는 제2-1링크(14-1)와, 일측끝단이 제2-1링크(14-1)의 타측끝단과 제2힌지(15)로 연결되며 타측끝단은 제2-2회전조인트(16-2)를 통해 선형이동장치(40)와 연결되는 제2-2링크(140-2)를 갖는다.

그리고 제1링크부(12)와 제2링크부(14)는 제1-2링크(12-2)와 제2-1링크(14-1)가 교차되는 지점에서 힌지결합된다.

또한 제2회전구동부(30)는 몸체(5) 일측에 설치되어 RCM 포인트(4)와 제1회전조인트(11)를 연결하는 가상선을 기준으로 복강경(1)이 회전되도록 구동하게 된다.

그리고 RCM 포인트(4)는 도 1 및 도 2에 도시된 바와 같이, 제1-1회전조인트(11-1)와 제1-2회전조인트(11-2)를 연결하는 가상선과 복강경(1)이 교차되는 지점에 위치됨을 알 수 있다. 따라서 RCM 구조(10)를 통해 제1회전구동부의 구동에 의해 복강경(1)은 RCM 포인트(4)를 기준으로 회전될 수 있게 된다.

선형이동장치(40)는 제2회전조인트(16) 상에 연결되어 복강경(1)을 길이방향으로 이동시키도록 구성된다. 이러한 선형이동장치(40)의 구체적인 구성, 수단, 형태는 복강경(1)을 복강경(1)의 길이방향을 따라 이동시킬 수 있는 것이라면 제한되지 않는다.

또한 복강경 어뎁터 장치는, 선형이동장치와 복강경을 탈부착시키도록 구성된다.

또한 도 3은 본 발명의 실시예에 따른 복강경에 부착된 복강경 어뎁터 장치의 측단면도를 도시한 것이다. 그리고 도 4a는 본 발명의 실시예에 따른 탈부착 유닛의 측단면도, 도 4b는 본 발명의 실시예에 따른 탈부착 유닛의 정면도를 도시한 것이다. 그리고 도 5는 본 발명의 실시예에 따른 제어기의 제어흐름을 나타낸 블록도를 도시한 것이다.

본 발명의 실시예에 따른 복강경 어뎁터 장치(50)는, 상부 일측에 구비되어 선형이동장치(40)와 탈부착되도록 구성된 체결수단과, 복강경(1)이 탈부착되도록 구성되는 탈부착유닛(70)을 포함한다. 이러한 탈부착유닛(70)은 복강경의 직경 사이즈에 따라 교체가 가능하도록 구성된다.

또한 복강경 어뎁터 장치(50)는, 선형이동장치(40)와 탈부착유닛(70) 사이에 복강경 축방향 회전장치(60)가 탈부착 가능하게 설치될 수 있다. 이러한 복강경 축방향 회전장치(60)를 통해 복강경을 길이방향 축 기준으로 회전시킬 수 있게 된다.

즉 복 발명의 실시예에 따르면, 복강경(1) 지름이 다른 문제를 해결하고 로봇(100)에 모듈처럼 장착할 수 있게 된다. 복강경(1) 지름 크기가 다양하므로 2-3개로 구분해서 장착할 수 있으며, 어텝터(50) 외부 크기는 일정하게 해서 로봇(100)과 결합될 수 있도록 한다. 축방향 회전이 필요없는 경우도 있으므로 모듈형으로 복강경 축방향 회전장치가 장착이 가능하도록 구성된다. 경사각 있는 복강경(1)을 장착할 수 있으므로 중심축을 맞출 수 있도록 구성되며, 모터 드라이브(62)와 전기 모터(61)를 하나의 모듈로 함께 설치하게 된다.

본 발명의 실시예에 따른 탈부착유닛(70)은, 도 4a 및 도 4b에 도시된 바와 같이, 원통 내면을 갖고 내부로 상기 복강경(1)이 삽입되며 길이방향으로 절개부가 형성된 장착부(71)와, 조작에 의해 장착부(71)를 조여 복강경(1)을 고정시키는 캠 크램핑부재(72)를 포함하여 구성될 수 있다.

그리고 제어기(200)는 제1회전구동부(20), 제2회전구동부(30), 선형이동장치(40), 및 복강경 축방향 회전장치(60)의 구동을 제어하여, 복강경(10)의 끝단위치를 조절하여 후에 설명되는 바와 같이, 복강경 카메라(2)의 촬상위치를 조정하게 된다.

또한 수술 도중 복강경 렌즈 세척을 위해 자주 빼고 넣는 작업을 한다. 이를 위해 쉽게 장착할 수 있어야 한다. 어뎁터 장치(50)는 복강경 축방향 회전장치(60)와 결합되어 있으며 복강경(1) 자체만 탈착할 수 있도록 구성된다.

본 발명의 실시예에 따른 위치 인식부는, 각도기준과 길이기준에 기반한 기준위치로부터 상기 복강경의 길이방향 이동위치, 복강경 길이방향 축 기준 회전각도 위치를 인식하게 된다.

따라서, 시술중, 시술을 중단하고 복강경(1)을 빼내서 필요 작업 후, 사용자가 복강경(1)을 기준위치에 위치시키는 경우, 제어기(200)는 시술 중단 지점에서의 복강경의 위치를 기준위치로부터 산출한 후, 선형이동장치(40), 및 복강경 축방향 회전장치(60)의 구동을 제어하여, 복강경(1)을 시술 중단 지점에서의 복강경 위치로 이동시키도록 한다.

예를 들어, 복강경(1)을 빼내서 필요한 작업 후 재설치 했을때 복강경(1)의 길이 방향위치가 변화되지 않도록 해야 한다. 이를 위해 복강경(1)에 기 장착된 light source 기구부와 어뎁터 장치(50)가 일치하도록 기준선을 만들어줘서 각도 부분을 맞추고 복강경(1) 길이는 복강경에 있는 단차 부분과 일치하도록 해서 길이를 맞춘다. 즉 복강경 홀더로봇(100)은 복강경(1)과 결합 후 로봇 시스템에 장착된 후에 켈리브레이션 과정을 거쳐서 RCM 포인트(4)와 상태 위치를 확정한다. 그 이후 탈착이 됐을 때 이러한 켈리브레이션 과정이 필요 없도록 한다.

이하에서는 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템의 구성, 기능, 제어방법에 대해 설명하도록 한다.

먼저 도 6은 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템의 구성도를 도시한 것이다. 그리고 도 7은 본 발명의 실시예에 따른 외부인터페이스에 의해 통신연결되는 외부조정장치와 제어기의 블록도를 도시한 것이다. 또한 도 8은 본 발명의 실시예에 따른 4가지 모드의 복강경 카메라 홀더 로봇 제어시스템의 블록도를 도시한 것이다.

본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템은, 앞서 언급한 복강경 카메라 홀더로봇(100)의 구동을 제어하기 위한 시스템이다.

제어기(20)는 앞서 언급한 바와 같이, 기본적으로 제어명령 신호를 기반으로 홀더로봇(10)의 구동부, 즉 제1회전구동부(20), 제2회전구동부(30), 선형이동장치(40), 복강경 축방향 회전장치(60)의 구동을 제어한다.

또한 제어기(200)는 실시간 제어영역과 비실시간 제어영역으로 구분되어 내부 통신을 통해 상호 데이터를 교환하도록 구성된다. 제어기(200)의 실시간 제어기(202)는 실시간 영역에서 자세측정부와, 최우선 제어입력수단으로부터 제어신호를 전송받게 된다.

최우선 제어입력수단은 실시간 제어영역에서 사용자에 의해 제어기(200)에 최우선 제어명령 신호를 입력하기 위한 수단으로 본 발명의 실시예에서는 풋페달(110)로 구성될 수 있다. 사용자는 풋페달(110)이 조작을 통해 제어기(200)로 제어신호를 입력하게 된다.

자세측정부는 실시간 제어영역에서 홀더로봇(100)의 자세데이터를 측정하여 제어기(200)로 전송하도록 구성되며, 본 발명의 실시예에서 자세측정부는 IMU센서(120)로 구성될 수 있다.

디스플레이부(150)는 복강경 카메라(2)에서 촬상된 영상데이터를 실시간으로 디스플레이하도록 구성된다.

외부조정장치(210)는 제어기(200)에 구비된 외부인터페이스(201)와 통신 연결되어, 외부조정입력에 의해 복강경(1) 끝단 위치를 조정하여 디스플레이부(150)에서 디스플레이되는 영상의 위치를 조정하도록 구성된다.

외부 인터페이스(201)는 비실시간 제어영역에서 동작하며, 상기 제어기의 실시간 제어영역과 내부통신을 통해 데이터를 교환한다.

외부조정입력은 디스플레이 영상을 기준으로한 위치명령이고, 제어기(200)는 외부조정입력을 기반으로 영상의 위치가 변경되도록 홀더 로봇(100)의 구동을 제어하게 된다.

즉, 외부조종장치(210)는 수술자(사용자)가 수술도중 카메라 홀더 로봇(100)을 움직이기 위한 장치로 복강경 영상이 보여주는 위치를 조종해서 간접적으로 카메라 홀더 로봇(100)에 부착된 복강경(1) 끝단 위치를 조종해서 보여지는 영상을 조종하게 된다. 외부조종장치(210)와 연결은 카메라 홀더 로봇 제어기(200)에 있는 “외부 인터페이스(201)” 모듈을 통해 카메라 홀더 로봇 제어기(200)와 연결되며, 외부 인터페이스(201) 모듈은 여러가지 통신 방법을 지원한다(ADS, TCP/IP, Serial 등). 외부 인터페이스(201) 모듈은 비실시간 영역에서 동작하며 카메라 홀더 로봇 제어기(200)의 실시간 제어 영역과 내부 통신을 통해 데이터 교환한다.

또한 영상처리장치(130)는 카메라(2)에서 촬상된 영상데이터를 입력받아 제어기(200)와 비실시간 제어영역에서 통신을 통해 데이터를 교환하도록 구성된다.

그리고 영상처리장치(130)는 샘플 수술도구이미지를 학습하여 수술도구 종류별로 분류된 수술도구 학습DB를 포함하고, 영상데이터 내의 수술도구를 인식하여 위치와 종류를 파악하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하도록 구성된다.

그리고 음성명령처리장치(140)는 사용자로부터 음성데이터를 입력받는 마이크(6)와, 음성데이터를 입력받아 음성제어명령를 인식하고, 제어기와 비실시간 제어영역에서 통신을 통해 데이터를 교환하게 된다.

음성제어입력(은 디스플레이 영상을 기준으로한 위치명령이고, 제어기(200)는 음성제어입력을 기반으로 영상의 위치가 변경되도록 홀더 로봇(100)의 구동을 제어하게 된다.

그리고 음성명령처리장치(140)는, 사람 개인별로 특성을 학습하고 음성제어명령별로 분류된 음성명령 DB를 포함하고, 음성데이터에서 음성제어명령을 인식하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하도록 구성된다.

또한 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템은, 복강경(1)의 후방끝단에 경사각이 있는 경우, 이러한 경사각과, 영상데이터의 화면 좌표계와 복강경 끝단 좌표계 사이의 키네마틱 맵(kinematic map)을 기반으로 화면 좌표계 움직임에 따른 복강경 끝단 좌표계 움직임을 연산하는 복강경 경사각 보정부를 포함하여 구성된다.

즉, 경사각이 있는 복강경(1)일 경우 복강경(1)이 직선운동을 하더라도 화면이 비스듬하게 움직여서 보이게 된다. 이를 해결하기 위해 복강경 축방향 회전 운동과 RCM 기준 직선운동의 보완이 필요하다.

본 발명의 실시예에서는 장착된 복강경 경사각을 입력할 수 있는 장치(음성명령, 선택 버튼 등)를 갖고, 화면 좌표계와 복강경 끝단 좌표계 사이의 kinematic map을 기반으로 화면 좌표계 움직임에 따른 복강경 끝단 좌표계 움직임 계산하여, 복강경 끝단 좌표계 움직임 생성을 위한 로봇 움직임 생성하게 된다.

그리고 도 9는 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어방법의 흐름도를 도시한 것이다. 또한 도 10은 본 발명의 실시예에 따른 음성명령모드에서 그리드 명령입력시 화면과, 4번을 음성명령한 경우 화면의 예를 나타낸 것이다.

기존적으로 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템은 수동조작모드, 외부조작모드, 기본조작모드, 자동조작모드로 작동될 수 있으며, 기본조작모드는 풋페달과, 음성명령을 통해 조작되며 풋페달에 의한 제어는 앞서 언급한 바와같이, 실시간 제어영역으로서 다른 모드에 대해 최우선적으로 적용되게 된다.

먼저, 어뎁터 장치(50)를 통해 복강경(1)을 홀더 로봇(100)에 장착한 후(S1), 수동조작모드를 통해 사용자가 홀더 로봇(100)의 위치를 조정하고(S2, S3), 복강경 카메라(2)에 의해 영상데이터가 디스플레이부(150)에서 디스플레이되게 된다. 예를 들어, 사용자가 로봇(100)이나 제어기(200)에 있는 “수동 모드” 버튼을 누른 후 로봇(100)의 위치를 조종할 수 있으며, 이때 수동조작모드 버튼에 불이 들어와 있고 버튼을 다시 누르면 불이 꺼지면서 수동조작모드는 해제되게 된다.

수동조작모드가 해제되면 기본조작모드가 실행되며, 실시간 제어영역에서 IMU센서(120)를 통해 측정된 자세데이터가 입력되며, 사용자는 풋페달(110)을 통해 제어신호를 입력하고 제어기(200) 실시간 제어영역에서 풋페달(110) 입력신호에 기반하여 홀더로봇(100)의 구동을 제어하게 된다(S5).

그리고 마이크(6)를 통해 음성데이터가 입력되면(S6), 음성명령처리장치(140)가 음성데이터에서 특정 음성제어명령를 인식하고, 제어기(200)는 음성제어명령에 기반하여 홀더로봇(100)의 구동을 제어하게 된다(S8). 이러한 음성명령모드에서 풋페달(110)에 의한 제어입력이 있으면(S7), 음성명령에 우선하여 풋페달에 의한 제어입력을 우선하게 된다.

즉, 기본조작모드는, 카메라 홀더 로봇(100)의 전원이 켜질 때 기본적으로 작동하는 모드로 실시간 제어영역에 직접 연결된 풋페달(110) 장치와 비실시간 제어영역에 연결된 음성명령을 수행할 수 있다. 두가지 외부 입력 장치가 모두 연결되어 있을 때는 실시간 영역에 연결된 풋페달 명령이 우선권이 있다.

앞서 언급한 바와 같이, 음성명령처리장치(140)는 사용자로부터 음성데이터를 입력받는 마이크(6)와, 음성데이터를 입력받아 음성제어명령를 인식하고, 제어기와 비실시간 제어영역에서 통신을 통해 데이터를 교환하게 된다.

음성제어입력은 디스플레이 영상을 기준으로한 위치명령이고, 제어기(200)는 음성제어입력을 기반으로 영상의 위치가 변경되도록 홀더 로봇(100)의 구동을 제어하게 된다.

그리고 음성명령처리장치(140)는, 사람 개인별로 특성을 학습하고 음성제어명령별로 분류된 음성명령 DB를 포함하고, 음성데이터에서 음성제어명령을 인식하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하도록 구성된다.

또한 음성명령모드에서, 도 10에 도시된 바와 같이, 음성제어명령에는 그리드 음성명령을 포함하며, 그리드 음성명령시 영상데이터를 복수개로 분할시키고 각 분할영역에 인덱스가 디스플레이되고, 사용자가 특정 인덱스를 음성입력하는 경우 특정인덱스 분할영역이 전체 화면이 되도록 제어기(200)는 홀더 로봇(100)의 구동을 제어하게 된다.

즉, 음성명령모드에서, 무선으로 연결된 마이크(6)를 통해 사용자가 움직임 명령을 하게 되고, 사람 개인별로 특성을 학습할 수 있는 학습 알고리즘 제공하고 학습된 결과물을 음성명령처리장치(140)에 쉽게 업로드 할 수 있게 된다.

예를 들어, 음성명령은 보여지는 영상을 기준으로 하며 영상의 위/아래, 오른쪽/왼쪽, 가까이/멀리, 오른쪽 회전/왼쪽 회전 명령으로 움직임 수 있다. 그리고 복강경(1) 움직임의 자유도에 따른 미세 조정 움직임의 음성 명령 체계 정의(위, 아래, 왼쪽, 오른쪽, 가까이, 멀리 등) 및 복강경 수술에 최적화된 스케일 칼리브레이션 알고리즘 제공하게 된다. 또한 사용자 요구사항에 맞도록 화면 움직임 즉 로봇 움직임 속도 최적화할 수 있다.

또한 사용자가 외부조작모드를 지정하는 경우(S9), 외부조정장치(210)가 제어기(200)에 구비된 외부인터페이스(201)와 통신 연결되어 사용자에 의한 외부조정입력에 기반하여 제어기(200)가 복강경 로봇(100)의 구동을 제어하게 된다(S11).

이러한 외부조작모드는, 비실시간 제어영역에서 동작하며, 제어기(200)의 실시간 제어영역과 내부통신을 통해 데이터를 교환하고, 외부조정입력은 디스플레이 영상을 기준으로한 위치명령이고, 제어기(200)는 외부조정입력을 기반으로 영상의 위치가 변경되도록 홀더 로봇(100)의 구동을 제어하게 된다.

예를 들어, 사용자가 외부조종장치(210)에 있는 “외부 조작 모드”를 선택하면 외부조종장치(210)의 제어 입력(위치, 속도)을 받아서 카메라 홀더 로봇 제어기(200)를 통해 로봇(100)을 움직이게 된다. 이때 외부조종장치(210)는 정해진 프로토콜에 따라 데이터를 카메라 홀더 로봇 제어기(200)에 전달해야하며 관련 API 등은 제공한다.

또한 사용자가 자동조작모드를 지정하는 경우(S11), 샘플 수술도구이미지를 학습하여 수술도구 종류별로 분류된 수술도구 학습DB를 구비한 영상처리장치(130)가, 영상데이터 내의 수술도구를 인식하여 위치와 종류를 파악하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하며, 제어기(200)는 인식된 수술도구가 영상데이터 내의 특정 영역 내에 유지되도록 홀더 로봇의 구동(100)을 제어하게 된다(S14).

그리고 이러한 자동조작모드는, 사용자가 자동조작모드를 지정한 후, 영상데이터가 입력되고(S12), 영상처리장치(130)에 의해 수술도구가 인식된 경우(S13)에만 실행되게 된다.

이러한 본 발명의 실시예에 따른 복강경 카메라 홀더 로봇 제어시스템은 수동모드를 제외하고, 홀더 로봇(100)의 구동 우선순위는 풋페달(110) 입력, 음성제어명령, 외부조정입력, 자동조작모드 순이다.

이하에서는 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템, 및 가이드 방법에 대해 설명하도록 한다. 이러한 인공지능 수술 가이드는 앞서 언급한 제어방법에서 기본적으로 자동조작모드에서 동작되게 된다.

도 11은 본 발명의 실시예에 따른 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템의 블록도를 도시한 것이다. 그리고 도 12는 본 발명의 실시예에 따른 데이터수집부의 블록도, 도 13은 본 발명의 실시예에 따른 학습 DB의 블록도, 도 14는 본 발명의 실시예에 따른 가이드모니터링부의 블록도를 도시한 것이다.

본 발명의 실시예에 따른 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템은, 복강경 카메라 홀더 로봇(100)의 복강경 카메라(1)에서 촬상된 영상데이터를 기반으로 수술 과정을 모니터링하여 수술을 가이드할 수 있는 시스템이다.

본 발명의 실시예에 따른 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템은, 도 11에 도시된 바와 같이, 앞서 언급한 제어시스템에서, 데이터 수집부, 데이터 학습부, 학습 DB, 가이드 모니터링부, 알림수단 등을 더 포함하여 구성됨을 알 수 있다.

데이터 수집부는 도 12에 도시된 바와 같이, 수술영상데이터(311), 샘플수술도구이미지(312), 샘플제거대상도구이미지(313), 음성데이터(314)를 수집하도록 구성된다.

그리고 데이터학습부는 수집된 수술영상데이터(311), 샘플수술도구이미지(312), 샘플제거대상도구이미지(313), 음성데이터(314)를 학습하며, 학습된 데이터 각각은 학습DB(330)의 수술영상학습 DB(331), 수술도구학습 DB(332), 제거대상도구 학습DB(333), 음성명령DB(334)에 저장되게 된다.

영상처리장치(130)는 카메라에서 촬영되는 현재 수술영상데이터를 입력받아 홀더로봇(100)의 구동을 제어하는 제어기(200)와 비실시간 제어영역에서 통신을 통해 데이터를 교환하게 된다.

데이터 학습부는 수집된 수술영상데이터(311)를 학습하여 수술종류별, 수술자별로 분류하여 수술영상학습 DB에 수술학습데이터를 저장하도록 구성된다. 수술학습데이터는 수술종류 별, 수술자 별로 수술 시퀀스 특징이 학습되게 된다.

또한 데이터 학습부(320)는 샘플 수술도구이미지(312)를 학습하여 수술도구 종류별로 분류하여 수술도구 학습DB(332)에 저장하게 된다. 영상처리장치(130)는 현재 수술영상데이터 내의 수술도구를 인식하여 위치와 종류를 파악하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하도록 구성된다. 또한 수술학습데이터는 수술 시퀀스에 따른 수술도구의 위치, 방향의 특징이 학습될 수 있다.

그리고 데이터 학습부(320)는 샘플 제거대상도구이미지(313)를 학습하여 제거대상도구 종류별로 분류하여, 제거대상도구 학습DB(333)에 저장하게 된다. 영상처리장치(130)는 현재 수술영상데이터 내의 제거대상도구를 인식하여 위치와 종류를 파악하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하게 된다,

또한 데이터 학습부(320)는 음성데이터에서 사람 개인별로 특성을 학습하고 음성제어명령별로 분류하여 음성명령 DB(334)에 저장하게 된다. 음성명령처리장치(140)는 음성데이터에서 음성제어명령을 인식하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환하게 된다.

그리고 가이드모니터링부(350)는 기본적으로 학습 DB(330)에 저장된 수술학습데이터와, 카메라에서 촬영되는 현재 수술영상데이터를 대비하여, 수술가이드데이터를 생성하도록 구성되며, 알림수단(340)은 이러한 수술가이드데이터를 안내하도록 구성된다.

구체적으로 가이드모니터링부(350)는, 도 14에 도시된 바와 같이, 현재 수술영상데이터를 기반으로 비교분석의 대상이 되는 수술학습데이터를 검출하는 검색엔진(351)과, 현재 수술영상데이터와 수술학습데이터를 실시간으로 비교분석하는 비교분석부(352)와, 비교분석부의 비교분석에 따라 시퀀스가 누락되거나 현재 수술영상데이터가 수술학습데이터 대비 임계치 이상의 변화가 존재하는지에 대한 이벤트를 판단하는 이벤트 판단부(353)를 포함하여 구성됨을 알 수 있다.

또한 알림수단(340)은 이벤트 발생시 알림신호를 송출하도록 구성된다.

그리고 이벤트 발생시, 제어기(200)는 이벤트가 발생된 위치의 영상을 촬영하도록 홀더 로봇(200)의 구동을 제어하게 된다.

앞서 언급한 바와 같이, 수술학습데이터는 수술 시퀀스에 따른 수술도구의 위치, 방향의 특징이 학습될 수 있다. 따라서 비교판단부(352)는 수술학습데이터의 수술 시퀀스에 따른 수술도구의 위치, 방향의 특징과, 현재 수술영상데이터 내의 수술도구를 비교분석하고, 이벤트판단부(353)는 시퀀스에 따른 수술도구 위치, 방향의 특징이 임계치 이상의 변화가 존재하는지에 대한 이벤트를 판단할 수 있다.

또한 앞서 언급한 바와 같이, 샘플 제거대상도구이미지(313)를 학습하여 제거대상도구 종류별로 분류된 제거대상도구 학습DB(333)를 포함하여, 영상처리장치(130)는 현재 수술영상데이터 내의 제거대상도구를 인식하여 위치와 종류를 파악하여 제어기(200)와 비실시간 제어영역에서 데이터를 교환할 수 있다.

그리고 제어기(200)는, 제거대상도구가 인식된 경우, 수술완료 직전 제거대상도구의 위치를 촬상하도록 홀더 로봇(200)의 구동을 제어하게 된다.

또한 제거대상도구가 인식된 경우, 제거대상도구의 제거여부를 판단하는 제거여부판단부(356)를 포함하여, 제어기(200)는 수술완료 직전 제거대상도구가 제거되지 않았다고 판단된 경우 제거대상도구를 촬상하도록 홀더 로봇(100)의 구동을 제어하게 된다.

또한 음성명령처리장치(140)는 사용자로부터 음성데이터를 입력받는 마이크(6)로부터 음성데이터를 입력받아 음성제어명령를 인식하고, 제어기(200)와 비실시간 제어영역에서 통신을 통해 데이터를 교환하도록 구성된다.

음성제어입력은 디스플레이 영상을 기준으로한 위치명령이고, 제어기(200)는 음성제어입력을 기반으로 영상의 위치가 변경되도록 상기 홀더 로봇의 구동을 제어한다. 앞서 언급한 바와 같이, 음성명령 DB에는 사람 개인별로 특성을 학습하고 음성제어명령별로 분류되어 있으며, 음성데이터에서 음성제어명령을 인식하여 제어기와 비실시간 제어영역에서 데이터를 교환하게 된다.

또한 로봇자세 저장부(357)는 수술중, 해당 시점 또는 특정 시간 범위 동안 로봇의 자세를 저장하도록 명령하도록 구성된다. 즉, 음성명령 또는 풋페달(110) 등에 의해 저장명령이 입력되면, 그 시점에서의 로봇자세를 저장하게 된다. 따라서 제어기는 사용자의 요청에 따라 저장된 로봇 자세로 전환되도록 홀더 로봇의 구동을 제어할 수 있다.

즉, 음성명령이나 풋페달(110)을 통해 기억하기 위한 순간의 로봇 자세를 저장하고, 후에 사용자의 요청에 따라 기억하고 있는 순간 영상 모습을 보여줄 수 있도록 구동이 제어된다. 또한 이전 위치로 이동 명령시 현재 위치를 자동으로 저장 후 이전 위치 복귀 명령에 따라 이동이 가능하다.

또한 수술 도중 변화된 환경(장기의 이동) 및 현재 수술 도구 위치 등으로 목표 지점으로 이동할 수 없는 상황을 파악하고 및 화면에 이동시 장애물이 되는 물체 표시할 수 있다.

즉, 본 발명의 실시예에 따른 장애물 인식부는 수술도구 DB 및 상기 제거대상도구 DB에 매칭되지 않은 도구가 현재 수술영상데이터에 존재하는 경우, 장애물로 인식하여 수술영상데이터 내에 표시하도록 구성될 수 있다.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

1:복강경
2:카메라
3:렌즈
4:RCM 포인트
5:몸체
6:마이크
10:RCM구조
11:제1회전조인트
11-1:제1-1회전조인트
11-2:제1-2회전조인트
12:제1링크부
12-1:제1-1링크
12-2:제1-2링크
13:제1힌지
14:제2링크부
14-1:제2-1링크
14-2:제2-2링크
15:제2힌지
16:제2회전조인트
16-1:제2-1회전조인트
16-2:제2-2회전조인트
20:제1회전구동부
30:제2회전구동부
40:선형이동장치
50:복강경 어뎁터장치
60:복강경 축방향 회전장치
61:모터
62:모터 드라이버
63:감속기
70:탈부착 유닛
71:장착부
72:베어링
73:클램핑 부재
100:복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇
110:풋페달
120:IMU센서
130:영상처리장치
140:음성명령처리장치
150:디스플레이부
200:제어기
201:외부인터페이스
202:실시간제어기
210:외주조정장치
300:영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
310:데이터수집부
311:수술영상데이터
312:샘플수술도구이미지
313:샘플제거대상도구이미지
314:음성데이터
320:데이터학습부
330:학습DB
331:수술영상학습 DB
332:수술도구학습 DB
333:제거대상도구학습 DB
334:음성명령 DB
340:알림수단
350:가이드모니터링부
351:검색엔진
352:비교분석부
353:이벤트판단부
354:수술도구인식부
355:제거대상도구인식부
356:제거여부판단부
357:로봇자세 저장부

Claims (9)

1. 일측 단부에 카메라가 구비되며 타측 단부에 렌즈가 구비된 복강경을 RCM(remote center of motion) 포인트를 중심으로 회전하도록 작동되는 복강경 홀더로봇에 있어서,
   몸체;
   후방 단부가 상기 몸체의 제1회전조인트 상에서 결합되고, 전방단부가 제2회전조인트 상에서 상기 복강경 측과 결합되는 RCM구조;
   상기 몸체 내에 구비되어 상기 RCM구조를 상기 제1회전조인트 기준으로 회전구동하여, 상기 복강경이 상기 RCM 포인트를 중심으로 회전되도록 하는 제1회전구동부;
   상기 몸체 일측에 설치되어 상기 RCM 포인트와 상기 제1회전조인트를 연결하는 가상선을 기준으로 상기 복강경이 회전되도록 구동하는 제2회전구동부;
   상기 제2회전조인트 상에 연결되어 상기 복강경을 길이방향으로 이동시키는 선형이동장치; 및
   상기 선형이동장치와 상기 복강경을 탈부착시키도록 구성된 복강경 어뎁터 장치;를 포함하고,
   상기 복강경 어뎁터 장치는, 상부 일측에 구비되어 상기 선형이동장치와 탈부착되도록 구성된 체결수단과, 상기 복강경이 탈부착되도록 구성되는 탈부착유닛을 포함하고, 상기 탈부착유닛은 복강경의 직경 사이즈에 따라 교체가 가능하도록 구성되며,
   상기 복강경 어뎁터 장치는, 상기 선형이동장치와 상기 탈부착유닛 사이에 탈부착 가능하게 설치되어 상기 복강경을 길이방향 축 기준으로 회전시키는 복강경 축방향 회전장치를 포함하고,
   상기 탈부착유닛은, 원통 내면을 갖고 내부로 상기 복강경이 삽입되며 길이방향으로 절개부가 형성된 장착부와, 조작에 의해 상기 장착부를 조여 상기 복강경을 고정시키는 캠 크램핑부재를 포함하며,
   상기 제1회전구동부, 상기 제2회전구동부, 상기 선형이동장치, 및 상기 복강경 축방향 회전장치의 구동을 제어하는 제어기를 포함하고,
   각도기준과 길이기준에 기반한 기준위치로부터 상기 복강경의 길이방향 이동위치, 복강경 길이방향 축 기준 회전각도 위치를 인식하는 위치 인식부를 포함하여,
   시술중, 시술을 중단하고 상기 복강경을 빼내서 필요 작업 후, 사용자가 상기 복강경을 상기 기준위치에 위치시키는 경우, 상기 제어기는 상기 시술 중단 지점에서의 복강경의 위치를 상기 기준위치로부터 산출한 후, 상기 선형이동장치, 및 상기 복강경 축방향 회전장치의 구동을 제어하여 상기 복강경을 상기 시술 중단 지점에서의 복강경 위치로 이동시키는 것을 특징으로 하는 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇.
   
2. 제 1항에 있어서,
   상기 RCM구조는 제1링크부와 제2링크부가 결합된 구조를 가지며, 상기 제1회전조인트는 제1-1회전조인트, 상기 제1-1회전조인트와 하방측으로 특정간격 이격되어 위치된 제1-2회전조인트를 포함하며, 상기 제2회전조인트는 제2-1회전조인트와 상기 제2-2회전조인트를 포함하고,
   상기 제1링크부는, 일측끝단이 상기 제1-1회전조인트와 연결되는 제1-1링크와, 일측끝단이 상기 제1-1링크의 타측끝단과 제1힌지로 연결되며 타측끝단은 제2-1회전조인트를 통해 상기 선형이동장치와 연결되는 제1-2링크를 갖고,
   상기 제2링크부는, 일측끝단이 상기 제1-2회전조인트와 연결되는 제2-1링크와, 일측끝단이 상기 제2-1링크의 타측끝단과 제2힌지로 연결되며 타측끝단은 제2-2회전조인트를 통해 상기 선형이동장치와 연결되는 제2-2링크를 가지며,
   상기 제1링크부와 상기 제2링크부는 제1-2링크와 상기 제2-1링크가 교차되는 지점에 힌지결합되는 것을 특징으로 하는 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇.
   
3. 제 2항에 있어서,
   상기 RCM 포인트는 상기 제1-1회전조인트와 상기 제1-2회전조인트를 연결하는 가상선과 상기 복강경이 교차되는 지점인 것을 특징으로 하는 복강경 장착 어뎁터와 RCM구조를 가지는 복강경 홀더 로봇.
   
   
   
   
   
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images