KR101698961B1 - 수술 로봇 시스템 및 그 복강경 조작 방법 - Google Patents

Abstract

수술 로봇 시스템 및 그 복강경 조작 방법이 개시된다. 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동되는 접면부와, 접면부가 유동되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 움직임 감지부와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇에 의하여, 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 효과가 있다.

Description

수술 로봇 시스템 및 그 복강경 조작 방법{Surgical robot system and laparoscope handling method thereof}

본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 시스템 및 그 복강경 조작 방법에 관한 것이다.

수술 로봇은 의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보기 위한 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.

수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.

그러나 종래의 수술 로봇 시스템은 수술자가 수술 부위에 대한 영상을 얻기 위해서는 복강경을 원하는 위치로 이동하거나 영상 입력 각도를 조절하기 위한 별도의 사용자 조작을 요구한다. 즉, 수술자는 수술 과정 중에 손 또는 발을 이용하여 별도로 복강경의 제어를 위한 조작을 입력하여야 한다.

그러나 이는 고도한 수준의 집중력을 유지하여야 하는 수술 진행 과정에서 수술자의 집중력을 약화시키는 원인이 될 수 있으며, 집중력의 약화에 따른 불완전한 수술은 수술 환자에게 심각한 후유증을 야기할 수 있는 문제점도 있다.

본 발명은 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.

또한 본 발명은 복강경의 조작을 위한 수술자의 별도의 조작이 불필요하여 수술자는 수술 행위에만 집중할 수 있도록 하는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.

또한, 본 발명은 안면 인식을 이용한 기기 조작 방법에 관한 학습이 필요하지 않고 직관적으로 조작 방법이 이해될 수 있도록 하는 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.

또한, 본 발명은 팔을 사용하지 않고 3차원 공간상에서의 얼굴 움직임만으로 다양한 방식으로 내시경 장치의 제어가 가능한 수술 로봇 시스템 및 그 복강경 조작 방법을 제공하기 위한 것이다.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동(遊動)되는 접면부와, 접면부가 유동되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 움직임 감지부와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.

조작명령이 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작될 수 있다.

접면부는 수술용 로봇의 콘솔(console) 패널의 일부로서 형성될 수 있다.

수술자 얼굴의 위치를 고정하기 위해 지지부가 접면부의 하나 이상의 개소에 돌출되어 형성될 수 있다.

비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접안부가 접면부에 천공될 수 있다.

비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접면부는 빛이 투과되는 재질의 재료로 형성될 수 있다.

수술용 로봇은, 접면부 또는 지지부에 수술자 얼굴이 접촉되었는지 여부를 감지하는 접촉 감지부와, 접촉 감지부의 감지에 의해 접촉 해제가 인식되면, 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 복귀되도록 처리하는 원상태 복원부를 더 포함할 수 있다.

원상태 복원부는 센싱 정보에 따른 접면부 유동 방향 및 크기의 역 조작으로서 접면부가 기준 상태로 복귀되도록 처리할 수 있다.

수술용 로봇은, 순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부를 더 포함할 수 있다. 또한, 수술용 로봇의 내측에서 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라부와, 생성된 이미지 데이터를 저장하는 저장부가 더 포함될 수도 있다.

조작 명령 생성부는 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상응하는 조작명령을 출력할 수 있다.

비젼부는 현미경, 내시경 중 어느 하나일 수 있고, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.

접면부는 탄성체에 의해 지지되도록 콘솔 패널의 전면에 형성되고, 탄성체는 접면부의 움직임을 위한 외력이 제거되면 접면부가 원위치로 복귀되도록 복원력을 제공할 수 있다.

본 발명의 다른 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접안부와, 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.

아이트래커부는, 수술용 로봇의 내측에서 접안부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛과, 생성된 이미지 데이터를 저장하는 저장 유닛과, 순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커 유닛을 포함할 수 있다.

접안부는 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공될 수 있다.

본 발명의 또 다른 측면에 다르면, 조작신호를 이용하여 비젼부를 제어하는 수술용 로봇으로서, 피사체를 촬상하여 이미지 데이터를 생성하는 촬상부와, 이미지 데이터에 포함된 얼굴에서 양안(兩眼)의 중심점을 연장한 직선과 화면 중심선이 이루는 내각의 크기 및 회전 방향을 해석하고, 이전에 촬영된 이미지 데이터에 대해 해석된 내각의 크기 및 회전 방향을 비교하여 얼굴의 회전 방향 및 회전 각도에 관한 변위량 정보를 생성하는 각도 및 거리 산출부와, 변위량 정보에 상응하여 비젼부가 조작되도록 하기 위한 조작 명령을 생성하여 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.

각도 및 거리 산출부는 이전에 촬영된 이미지 데이터에서 해석된 상기 얼굴 내의 기준점과 이미지 데이터에서 해석된 얼굴 내의 기준점간의 거리 정보를 더 산출하되, 산출된 거리 정보는 비젼부의 평행 이동 조작을 위해 변위량 정보에 포함될 수 있다.

각도 및 거리 산출부는 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내 양안의 간격과 이미지 데이터에서 해석된 얼굴 내 양안의 간격 간의 변화량을 더 산출하되, 양안의 간격간의 변화량은 비젼부의 영상 배율 조절을 위해 변위량 정보에 포함될 수 있다.

비젼부는 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.

비젼부는 3차원 영상 획득을 위한 장치일 수 있으며, 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도가 조절될 수 있다.

수술용 로봇은 인증된 사용자의 사진 이미지를 저장하는 저장부와, 이미지 데이터에 포함된 얼굴의 특징 요소와 사진 이미지에 포함된 얼굴의 특징 요소간의 유사도를 산출하고, 산출된 유사도가 미리 지정된 값 이상인 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다. 여기서, 얼굴의 특징 요소는 구성 부위의 위치 및 모양, 눈동자 색상, 얼굴의 모양, 피부 색상, 피부 주름의 형태, 홍채 중 하나 이상일 수 있고, 구성 부위는 눈, 눈썹, 코 및 입 중 하나 이상일 수 있다.

수술용 로봇은, 얼굴 모습이 위치되어야 하는 영역 정보 및 이미지 데이터에 포함되는 얼굴 크기의 기준값 중 하나 이상인 유효 사용자 정보를 저장하는 저장부와, 이미지 데이터에 포함된 얼굴이 유효 사용자 정보를 만족하는지 여부를 판단하여 만족하는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.

수술용 로봇은 이미지 데이터에 포함된 얼굴 움직임 상태가 일정 시간 이상 유지되는지 여부를 판단하여, 일정 시간 이상 얼굴 움직임 상태가 유지되는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.

수술용 로봇은 이미지 데이터에 포함된 얼굴 움직임 정도가 미리 설정된 범위를 초과하는지 여부를 판단하여, 미리 설정된 범위를 초과하는 경우에만 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.

수술용 로봇은, 머리의 움직임 및 얼굴 표정 중 하나 이상의 변화에 대해 생성될 조작 명령 정보를 저장하는 저장부와, 복수의 이미지 데이터를 해석하여 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보를 생성하고 상응하는 조작 명령 정보에 따른 조작 명령을 생성하여 출력하도록 조작 명령 생성부를 제어하는 판단부를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서, 접면부가 유동(遊動)되는 방향 및 크기에 상응하는 센싱 정보를 출력하는 단계와, 센싱 정보를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하되, 접면부는 수술용 로봇의 콘솔 패널의 일부로서 형성되고, 접촉된 수술자 얼굴의 움직임 방향 및 크기에 상응하는 방향 및 크기로 유동되도록 형성되는 것을 특징으로 하는 비젼부 조작 방법이 제공된다.

비젼부 조작 방법은, 접면부에 수술자 얼굴이 접촉된 상태인지 여부를 판단하는 단계와, 접촉된 상태인 경우, 센싱 정보의 출력이 개시되도록 제어하는 단계를 더 포함할 수 있다.

비젼부 조작 방법은, 접촉이 해제된 상태인 경우, 접면부가 디폴트(default)로 지정된 위치 및 상태인 기준 상태로 존재하는지 여부를 판단하는 단계와, 기준 상태로 존재하지 않는 경우, 기준 상태로 복귀되도록 처리하는 단계를 더 포함할 수 있다.

기준 상태로의 복귀는, 센싱 정보에 따른 접면부 유동 방향 및 크기의 역 조작에 의해 수행될 수 있다.

비젼부 조작 방법은, 수술용 로봇의 내측에서 접면부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계와, 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 더 포함할 수 있다.

비젼부 조작 방법은, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계와, 만족하는 경우 상응하도록 미리 설정된 조작명령을 출력하는 단계를 더 포함할 수 있다.

접면부는 탄성체에 의해 지지되도록 콘솔 패널의 전면에 형성되고, 탄성체는 접면부의 움직임을 위한 외력이 제거되면 접면부가 원위치로 복귀되도록 복원력을 제공할 수 있다.

본 발명의 또 다른 측면에 따르면, 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서, 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접면부와, 접면부를 통해 보여지는 얼굴의 움직임을 해석한 해석 정보를 생성하는 분석 처리부와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하는 수술용 로봇이 제공된다.

분석 처리부는, 수술용 로봇의 내측에서 상기 접면부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛과, 생성된 이미지 데이터를 저장하는 저장 유닛과, 순차적으로 생성된 이미지 데이터에서 소정의 특징점의 위치 변화를 시간순으로 비교 판단하여 얼굴의 움직임에 대한 해석 정보를 생성하는 분석 유닛을 포함할 수 있다.

접면부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성될 수 있으며, 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 접면부는 빛이 투과되는 재질의 재료로 형성될 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서, 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계와, 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계와, 만족하는 경우, 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법이 제공된다.

해석 정보를 생성하는 단계는, 수술용 로봇의 내측에서 접안부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계와, 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 로봇이 비젼부를 조작하기 위한 방법으로서, 피사체를 촬상하여 이미지 데이터를 생성하는 단계와, 이미지 데이터에 포함된 얼굴에서 양안(兩眼)의 중심점을 연장한 직선과 화면 중심선이 이루는 내각의 크기 및 회전 방향을 해석하고, 이전에 촬영된 이미지 데이터에 대해 해석된 내각의 크기 및 회전 방향을 비교하여 얼굴의 회전 방향 및 회전 각도에 관한 변위량 정보를 생성하는 단계와, 변위량 정보에 상응하여 비젼부가 조작되도록 하기 위한 조작 명령을 생성하여 출력하는 단계를 포함하는 비젼부 조작 방법이 제공된다.

변위량 정보를 생성하는 단계는, 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내의 기준점과 이미지 데이터에서 해석된 얼굴 내의 기준점간의 거리 정보를 산출하는 단계와, 산출된 거리 정보를 비젼부의 평행 이동 조작을 위해 변위량 정보에 포함시키는 단계를 포함할 수 있다.

변위량 정보를 생성하는 단계는, 이전에 촬영된 이미지 데이터에서 해석된 얼굴 내 양안의 간격과 이미지 데이터에서 해석된 얼굴 내 양안의 간격 간의 변화량을 산출하는 단계와, 양안의 간격간의 변화량을 비젼부의 영상 배율 조절을 위해 변위량 정보에 포함시키는 단계를 포함할 수 있다.

비젼부는 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상일 수 있다.

비젼부는 3차원 영상 획득을 위한 장치일 수 있으며, 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도가 조절될 수 있다.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴의 특징 요소와 저장부에 미리 저장된 인증된 사용자의 사진 이미지간의 유사도를 산출하는 단계와, 산출된 유사도가 미리 지정된 값 이상인 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다. 여기서, 얼굴의 특징 요소는 구성 부위의 위치 및 모양, 눈동자 색상, 얼굴의 모양, 피부 색상, 피부 주름의 형태, 홍채 중 하나 이상일 수 있고, 구성 부위는 눈, 눈썹, 코 및 입 중 하나 이상일 수 있다.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴이 미리 저장된 유효 사용자 정보를 만족하는지 여부를 판단하는 단계와, 만족하는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다. 저장부에는 이미지 데이터 내에서 얼굴 모습이 위치되어야 하는 영역 정보 및 이미지 데이터에 포함되는 얼굴 크기의 기준값 중 하나 이상인 유효 사용자 정보가 미리 저장될 수 있다.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴 움직임 상태가 일정 시간 이상 유지되는지 여부를 판단하는 단계와, 일정 시간 이상 얼굴 움직임 상태가 유지되는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다.

비젼부 조작 방법은, 이미지 데이터에 포함된 얼굴 움직임 정도가 미리 설정된 범위를 초과하는지 여부를 판단하는 단계와, 미리 설정된 범위를 초과하는 경우에만 조작 명령을 생성하여 출력하는 단계가 수행되도록 제어하는 단계를 더 포함할 수 있다.

비젼부 조작 방법은, 복수의 이미지 데이터를 해석하여 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보를 생성하는 단계와, 얼굴 표정 및 머리 움직임 중 하나 이상의 변화 정보에 상응하는 조작 명령 정보에 따른 조작 명령을 생성하여 출력하는 단계를 더 포함할 수 있다. 저장부에는 머리의 움직임 및 얼굴 표정의 변화에 대해 생성될 조작 명령 정보가 미리 저장될 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 수술자가 원하는 수술 부위를 보고자 하는 행위만으로 복강경의 위치 및 영상 입력 각도가 제어되도록 할 수 있는 효과가 있다.

또한, 복강경의 조작을 위한 수술자의 별도의 조작이 불필요하여 수술자는 수술 행위에만 집중할 수 있도록 하는 효과도 있다.

또한, 안면 인식을 이용한 기기 조작 방법에 관한 학습이 필요하지 않고 직관적으로 조작 방법이 이해될 수 있도록 하는 효과도 있다.

또한, 팔을 사용하지 않고 3차원 공간상에서의 얼굴 움직임만으로 다양한 방식으로 내시경 장치의 제어가 가능한 효과도 있다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.
도 2a는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 2b 내지 도 2e는 본 발명의 일 실시예에 따른 접면부의 움직임 형태를 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 4는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 5는 본 발명의 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 6은 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 7은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도.
도 8은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 9는 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 10은 본 발명의 실시예에 따른 텔레스코픽 표시부에 의한 영상 표시 형태를 예시한 도면.
도 11은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도.
도 12는 본 발명의 또 다른 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 13a는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 구성을 개략적으로 나타낸 블록 구성도.
도 13b는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 개념을 나타낸 도면.
도 14 및 도 15는 각각 본 발명의 또 다른 실시예에 따른 복강경 조작을 위한 안면 움직임을 예시한 도면.
도 16은 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 과정을 나타낸 순서도.
도 17은 본 발명의 또 다른 실시예에 따른 도 16의 단계 1610을 구체화하여 나타낸 순서도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재될 수 있는 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명의 다양한 실시예들을 설명함에 있어, 각 실시예가 독립적으로 해석되거나 실시되어야 하는 것은 아니며, 각 실시예에서 설명되는 특징 요소 및/또는 기술적 사상들이 개별적으로 설명되는 다른 실시예에 조합되어 해석되거나 실시될 수 있는 것으로 이해되어야 한다.

또한, 이하의 설명을 통해 본 발명이 내시경, 현미경 등의 비젼부가 이용되는 수술이나 실험 등에 범용적으로 사용될 수 있는 기술적 사상임이 명확해질 것이다. 아울러, 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등으로 다양화될 수도 있다. 다만, 이하에서는 설명 및 이해의 편의를 도모하기 위해 비젼부가 일종의 내시경, 즉 복강경인 경우를 예로 들어 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2a는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이며, 도 2b 내지 도 2e는 본 발명의 일 실시예에 따른 접면부의 움직임 형태를 예시한 도면이다.

도 1 및 도 2a를 참조하면, 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함한다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.

마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6), 텔레스코픽 표시부(20) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.

마스터 인터페이스(4)의 모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 텔레스코픽 표시부(20)를 기준으로 양 측면에 하나씩 포함되는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.

모니터부(6)는 예를 들어 환자에 대한 하나 이상의 생체 정보를 출력할 수 있다. 이 경우, 모니터부(6)의 하나 이상의 모니터를 통해 환자의 상태를 나타내는 지표, 예를 들면, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보 중 하나 이상이 출력될 수 있으며, 복수의 정보가 출력되는 경우 각 정보는 영역별로 나뉘어져 출력될 수도 있다. 이러한 생체 정보를 마스터 로봇(1)으로 제공하기 위해, 슬레이브 로봇(2)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈, 심전도 측정 모듈 등 중 하나 이상을 포함하는 생체 정보 측정 유닛을 포함할 수 있다. 각 모듈에 의해 측정된 생체 정보는 아날로그 신호 또는 디지털 신호의 형태로 슬레이브 로봇(2)에서 마스터 로봇(1)으로 전송될 수도 있으며, 마스터 로봇(1)은 수신된 생체 정보를 모니터부(6)를 통해 디스플레이할 수 있다.

마스터 인터페이스(4)의 텔레스코픽 표시부(20)는 수술자에게 수술 부위로서 복강경(5)을 통해 입력되는 영상을 제공한다. 수술자는 텔레스코픽 표시부(20)의 접면부(210)에 형성된 접안부(220)를 통해 해당 영상을 보고, 마스터 조종기를 조종하여 로봇 암(3) 및 단부 이펙터(effector)를 조작함으로써 수술부위에 대한 수술을 진행한다. 도 2a에는 접면부(210)의 일예로서 패널(panel) 형태로 구현된 경우가 예시되었으나, 접면부(210)는 마스터 인터페이스(4)의 내측을 향하도록 함입되어 형성될 수도 있다. 또한, 도 2a에는 접면부(210)에 수술자가 복강경(5)에 의해 획득된 영상을 보기위한 접안부(220)가 형성된 경우가 예시되었으나, 접면부(210)가 그 뒷면의 영상이 투과되어 보여지는 재료로 형성되는 경우 접안부(220)의 형성은 생략될 수도 있다. 접면부(210) 뒷면의 영상이 투과되어 수술자에게 보여질 수 있도록 접면부(210)는 예를 들어 투명 재질의 재료로 형성되거나, 편광 필름으로 코팅되거나 3D IMAX 영화를 보기 위해 사용되는 색안경 등의 빛 투과성 재료에 의해 형성될 수도 있다.

텔레스코픽 표시부(20)는 수술자가 접안부(220)를 통해 복강경(5)에 의한 영상을 확인하기 위한 표시 장치로서의 기능뿐 아니라, 복강경(5)의 위치 및 영상 입력 각도 제어를 위한 제어 명령 입력부로서의 기능을 함께 구비하도록 구성된다.

텔레스코픽 표시부(20)의 접면부(210)에 수술자의 얼굴이 접촉 또는 근접되고, 수술자의 얼굴 움직임이 인식될 수 있도록 하기 위한 복수의 지지부(230, 240)가 돌출되어 형성된다. 예를 들어, 상부에 형성된 지지부(230)는 수술자의 이마에 접촉하여 이마 위치가 고정되도록 이용될 수 있고, 측부에 형성된 지지부(240)는 수술자의 눈 밑 부위(예를 들어, 광대뼈 부위)에 접촉되어 얼굴 위치가 고정되도록 이용될 수 있다. 도 2a에 예시된 지지부의 위치 및 수량은 예시적인 것으로서, 지지부의 위치나 형상은 예를 들어 턱 고정용 받침, 얼굴 좌우받침(290) 등으로 다양할 수 있으며, 지지부의 수량 역시 다양할 수 있다. 얼굴 좌우받침의 경우 얼굴 왼쪽이나 오른쪽을 움직일 때 접면부(210)가 상응하는 방향으로 움직이도록 지지하기 위해 예를 들어 막대나 벽 등의 형태로 형성될 수 있다.

이와 같이 형성된 지지부(230, 240)에 의해 수술자의 얼굴 위치가 고정되어지며, 수술자가 접안부(220)를 통해 복강경(5)에 의한 영상을 보는 중에 임의의 방향으로 얼굴을 돌리면 이에 따른 얼굴 움직임이 감지되어 이를 복강경(5)의 위치 및/또는 영상 입력 각도의 조절을 위한 입력 정보로서 이용할 수 있다. 예를 들어, 수술자가 현재 영상으로 표시되는 수술부위보다 왼쪽의 부위(즉, 표시화면상 왼쪽에 위치된 부위)를 확인하고자 하는 경우, 얼굴이 상대적으로 왼쪽을 향하도록 고개를 돌리는 것만으로 이에 상응하도록 복강경(5)이 조작되어 해당 부위의 영상이 출력되도록 제어될 수 있다.

즉, 텔레스코픽 표시부(20)의 접면부(210)는 수술자의 얼굴 움직임에 따라 연동되어 그 위치 및/또는 각도가 변형되도록 마스터 인터페이스(4)에 결합되어 구성된다. 이를 위해, 마스터 인터페이스(4)와 텔레스코픽 표시부(20)의 접면부(210)는 유동부(240)에 의해 상호 결합될 수 있다. 유동부(250)는 텔레스코픽 표시부(20)의 위치 및/또는 각도 변형이 용이하고, 수술자의 얼굴 움직임에 의한 외력이 제거된 경우 원상태로 복원할 수 있도록 예를 들어 탄성체로 형성될 수 있다. 또한, 유동부(250)가 비탄성체로 형성되는 경우에도 텔레스코픽 표시부(20)가 원상태 복원부(도 5 참조)를 제어함으로써 텔레스코픽 표시부(20)가 원상태로 복원되도록 할 수도 있다.

유동부(250)에 의해 접면부(210)는 XYZ축으로 형성된 3차원 공간상에서 가상의 중심점 및 좌표를 기준으로 직선방향 이동 조작되거나, 임의의 방향(예를 들어, 시계방향, 반시계 방향 등 중 하나 이상)으로 회전 이동 조작될 수 있다. 여기서, 가상의 중심점은 접면부(210) 내의 임의의 한 점 또는 축일 수 있으며, 예를 들어 접면부(210)의 중심점일 수 있다.

도 2b 내지 도 2e에 접면부(210)의 움직임 형태가 예시되어 있다.

수술자의 얼굴 움직임 방향이 X, Y 또는 Z축에 평행한 경우, 접면부(210)는 도 2b에 예시된 바와 같이 얼굴 움직임에 의한 힘이 가해지는 방향으로 평행이동되어진다.

수술자의 얼굴 움직임 방향이 X-Y 평면상에서 회전하는 경우, 접면부(210)는 도 2c에 예시된 바와 같이 얼굴 움직임에 의한 힘이 가해지는 방향으로 회전이동되어진다. 이때, 힘이 가해지는 방향에 따라 접면부(210)는 시계방향 또는 반시계방향으로 회전이동될 수 있다.

수술자의 얼굴 움직임 방향이 X, Y 또는 Z축을 중심으로 회전하는 경우, 접면부(210)는 도 2d에 예시된 바와 같이 기준되는 축을 중심으로 얼굴 움직임에 의한 힘이 가해지는 방향으로 회전이동되어진다. 이때, 힘이 가해지는 방향에 따라 접면부(210)는 시계방향 또는 반시계방향으로 회전 이동될 수 있다.

수술자의 얼굴 움직임에 따른 힘이 X, Y 및 Z축 중 두 개의 축에 대해 가해지는 경우, 접면부(210)는 도 2e에 예시된 바와 같이 가상의 중심점 및 힘이 가해지는 두 개의 축을 기준으로 회전이동되어진다.

이와 같이 접면부(210)의 수직/수평 방향의 이동 및 회전 이동은 얼굴 움직임에 의해 가해지는 힘의 방향에 의해 결정되며, 앞서 설명한 하나 이상의 움직임 형태가 조합적으로 나타날 수도 있음은 당연하다.

텔레스코픽 표시부(20)가 수술자의 얼굴 움직임을 감지하여 이에 따른 조작 명령을 생성하는 방법 및 구성은 이후 관련 도면을 참조하여 상세히 설명하기로 한다.

도 1 및 도 2a에 예시된 바와 같이, 마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 두 개의 핸들(10) 또는 그 이상의 수량의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.

예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)을 포함하여 구성될 수 있다. 수술자는 메인 핸들만으로 슬레이브 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.

마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.

마스터 로봇(1)과 슬레이브 로봇(2)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작신호, 복강경(5)을 통해 입력된 복강경 영상 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 복수의 핸들(10)에 의한 복수의 조작신호 및/또는 복강경(5) 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.

슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 접안부(220)를 통해 확인할 수 있는 영상(즉, 화상 이미지)로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.

도 3은 본 발명의 일 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.

도 3을 참조하면, 텔레스코픽 표시부(20)는 움직임 감지부(310), 조작 명령 생성부(320) 및 전송부(330)를 포함한다. 이외에, 텔레스코픽 표시부(20)는 복강경(5)을 통해 입력되는 수술 부위의 영상을 수술자가 접안부(220)를 통해 시각적으로 인식할 수 있도록 하는 구성 요소를 더 포함할 수 있으나, 이는 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략한다.

움직임 감지부(310)는 접면부(210)의 지지부(230 및/또는 240)에 수술자가 얼굴을 접촉한 상태에서 어느 방향으로 얼굴을 움직였는지를 감지하여 센싱 정보를 출력한다. 움직임 감지부(310)는 얼굴이 움직인 방향 및 크기(예를 들어 거리)를 감지하기 위한 센싱 수단을 포함할 수 있다. 센싱 수단은 접면부(210)가 어느 방향으로 어느 정도 움직였는지를 감지할 수 있는 센싱 수단이면 충분하며, 예를 들어 접면부(210)를 지지하는 탄성력을 가지는 유동부(250)가 어느 방향으로 어느 크기만큼 인장(引張)되었는지를 감지하는 센서이거나, 마스터 로봇(1)의 내측에 구비되어 접면부(210)의 내측 표면에 형성된 특징점이 어느 정도 근접 또는/및 회전하였는지 감지하는 센서 등일 수 있다.

조작 명령 생성부(320)는 움직임 감지부(310)로부터 수신되는 센싱 정보를 이용하여 수술자의 얼굴 움직임 방향 및 크기를 해석하고, 해석된 결과에 따라 복강경(5)의 위치 및 영상 입력 각도를 제어하기 위한 조작명령을 생성한다.

전송부(330)는 조작 명령 생성부(320)에 의해 생성된 조작명령을 슬레이브 로봇(2)으로 전송하여, 복강경(5)의 위치 및 영상 입력 각도가 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(330)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.

도 4에는 본 발명의 일 실시예에 따른 복강경 조작 명령 전송 방법이 도시되어 있다.

도 4를 참조하면, 텔레스코픽 표시부(20)는 단계 410에서 수술자의 얼굴 움직임을 감지하고, 단계 420으로 진행하여 얼굴 움직임의 감지에 의해 생성된 센싱 정보를 이용하여 복강경(5)의 조작을 위한 조작명령을 생성한다.

이어서, 단계 430에서 복강경(5)의 조작을 위해 단계 420에 의해 생성된 조작 명령이 슬레이브 로봇(2)으로 전송된다.

여기서, 복강경(5)의 조작을 위해 생성된 조작 명령은 마스터 로봇(1)에 대해서도 특정의 동작이 수행되도록 기능될 수 있다. 예를 들어, 얼굴 회전을 감지하여 복강경(5)을 회전시키고자 하는 경우, 회전에 대한 조작 명령이 슬레이브 로봇(2)으로 전달됨과 동시에 마스터 로봇(1)의 조작핸들의 방향도 이에 상응하여 변경되도록 함으로써 수술자의 직관성 및 수술 편의성이 유지되도록 할 수 있다. 예를 들어, 접면부(210)에 의한 회전신호가 감지되면 생성된 조작신호에 의해 복강경(5)이 회전을 하게 되고, 이때 화면에 표시되는 영상 및 그 영상에 보이는 수술용도구의 위치가 현재 조작핸들의 손의 위치와 일치하지 않을 수 있으므로, 조작핸들의 위치를 움직여 화면상에 표시되는 수술용 도구의 위치와 일치시키는 동작이 수행될 수 있다. 이러한 조작핸들 방향의 제어는 접면부(210)의 회전운동의 경우뿐 아니라 직선운동의 경우에도 화면상에 표시되는 수술용 도구의 위치/방향과 실제적인 조작핸들의 위치/방향이 불일치하는 경우라면 동일하게 적용될 수 있다.

도 5는 본 발명의 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이고, 도 6은 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.

도 5를 참조하면, 텔레스코픽 표시부(20)는 움직임 감지부(310), 조작 명령 생성부(320), 전송부(330), 접촉 감지부(510), 원상태 복원부(520)를 포함할 수 있다.

도시된 움직임 감지부(310), 조작 명령 생성부(320) 및 전송부(330)에 대해서는 앞서 도 3을 참조하여 설명하였으므로 이에 대한 설명은 생략한다. 다만, 움직임 감지부(310)는 접촉 감지부(510)에 의한 센싱 정보로서 수술자 얼굴이 지지부(230 또는/및 240)에 접촉되었음이 인식되는 동안 동작을 수행할 수 있을 것이다.

접촉 감지부(510)는 수술자의 얼굴이 지지부(230 또는/및 240)에 접촉되었는지 여부를 감지하여 센싱 정보를 출력한다. 이를 위해, 예를 들어 지지부의 단부에 접촉 감지 센서가 구비될 수 있으며, 이외에도 얼굴의 접촉 여부를 감지할 수 있는 다양한 센싱 방식이 적용될 수도 있음은 당연하다.

원상태 복원부(520)는 접촉 감지부(510)에 의한 센싱 정보로서 수술자의 얼굴이 지지부(230 또는/및 240)와의 접촉이 종료된 것으로 인식되면, 모터 구동부(530)를 제어하여 접면부(210)가 원상태로 복귀되도록 한다. 원상태 복원부(520)는 이하에서 설명될 모터 구동부(530)를 포함할 수 있다.

도 5에는 접면부(210)가 원상태로 복귀되도록 하는 동작 수단으로 모터를 이용하는 모터 구동부(530)가 예시되었으나, 동일한 목적 달성을 위한 동작 수단이 이에 제한되지 않음은 당연하다. 예를 들어, 공압이나 유압 등과 같은 다양한 방법에 의해 접면부(210)가 원상태로 복귀되도록 처리될 수도 있을 것이다.

원상태 복원부(520)는 예를 들어 접면부(210)의 기준 상태(즉, 위치 및/또는 각도)에 관한 정보를 이용하여 모터 구동부(530)를 제어하거나, 조작 명령 생성부(320)에 의해 해석된 얼굴 움직임 방향 및 크기를 이용하여 그 역의 방향 및 크기로 조작되도록 모터 구동부(530)를 제어하여 접면부(210)가 원위치로 복귀되도록 할 수 있다.

예를 들어, 수술자가 현재 영상으로 표시되는 수술부위와는 다른 부위를 확인하거나 해당 부위에 조치를 하기 위해 해당 방향으로 얼굴을 돌려(이에 의해 접면부(210)도 이동 또는 회전됨) 복강경(5)이 이에 상응하도록 조작된 상태에서 접면부(210)에 대한 얼굴 접촉이 종료되었음을 감지하면, 원상태 복원부(520)는 접면부(210)가 디폴트(default)로 지정된 기준 상태로 복귀되도록 모터 구동부(530)를 제어할 수 있다.

모터 구동부(530)는 원상태 복원부(520)의 제어에 의해 회전하는 모터를 포함할 수 있고, 모터의 회전에 의해 접면부(210)의 상태(즉, 위치 및/또는 각도)가 조정되도록 모터 구동부(530)와 접면부(210)는 상호 결합된다. 모터 구동부(530)는 마스터 인터페이스(4)의 내측에 수납되도록 형성될 수 있다. 모터 구동부(530)에 포함되는 모터는 예를 들어 다 자유도(degree of freedom) 운동이 가능하도록 하기 위한 구형 모터일 수 있으며, 기울어지는 각도의 한계를 없애기 위해 구형 모터의지지 구조는 구형 베어링과 원형의 회전자로 구성되거나, 원형의 회전자를 지지하기 위한 3 자유도를 가지는 프레임 구조로 구성될 수도 있다.

전술한 각 구성요소의 동작에 의해 접면부(210)가 원 상태로 복원될지라도 조작 명령 생성부(320)는 이에 대한 조작명령을 생성 및 전송하지 않으므로 복강경(5)에 의해 입력되어 출력되는 영상 이미지는 변경되지 않는다. 따라서 수술자가 이후 접안부(220)를 통해 복강경(5) 영상을 확인하며 수술을 진행함에 있어 일관성이 유지될 수 있다.

이제까지 도 5를 참조하여 텔레스코픽 표시부(20)의 접면부(210)의 원상태 복귀가 모터 구동부(350)의 조작에 의해 이루어지는 경우를 설명하였으나, 탄성력을 가지는 탄성체 재질의 유동부(250)에 의해 수술자의 얼굴 움직임에 의한 외력이 제거된 경우 원상태로 복귀되도록 할 수도 있음은 당연하다. 탄성력에 의해 접면부(210)가 원상태로 복귀되는 경우에도 복강경(5)의 조작을 위한 조작신호는 생성되지 않을 것이다.

도 6에는 본 발명의 다른 실시예에 따른 복강경 조작 명령 전송 방법이 도시되어 있다.

도 6을 참조하면, 텔레스코픽 표시부(20)는 단계 410에서 수술자의 얼굴 움직임을 감지하고, 단계 420으로 진행하여 얼굴 움직임의 감지에 의해 생성된 센싱 정보를 이용하여 복강경(5)의 조작을 위한 조작명령을 생성한다. 이후, 단계 430에서 복강경(5)의 조작을 위해 단계 420에 의해 생성된 조작 명령이 슬레이브 로봇(2)으로 전송된다.

이어서, 텔레스코픽 표시부(20)는 단계 610에서 수술자가 접면부(210)에 대한 접촉을 해제하였는지 여부를 판단한다. 만일 접촉이 유지되는 상태라면 단계 410으로 다시 진행하되, 접촉이 해제된 상태라면 단계 620으로 진행하여 접면부(210)가 원위치로 복귀되도록 제어한다.

도 7은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령을 생성하기 위한 텔레스코픽 표시부의 구성을 개략적으로 나타낸 블록 구성도이다.

도 7을 참조하면, 텔레스코픽 표시부(20)는 접촉 감지부(510), 카메라부(710), 저장부(720), 아이트래커부(730), 조작 명령 생성부(320), 전송부(330) 및 제어부(740)를 포함할 수 있다.

접촉 감지부(510)는 수술자의 얼굴이 접면부(210)에 돌출되도록 형성된 지지부(230 또는/및 240)에 접촉되었는지 여부를 감지하여 센싱 정보를 출력한다.

카메라부(710)는 접촉 감지부(510)의 센싱 정보에 의해 수술자의 얼굴이 접면부(210)에 접촉되었음이 감지되면 수술자의 눈에 대한 영상을 실시간 촬영한다. 카메라부(710)는 마스터 인터페이스(4)의 내측에서 접안부(220)를 통해 보이는 수술자의 눈을 촬영하도록 배치된다. 카메라부(710)에 의해 촬영된 수술자의 눈에 대한 이미지는 아이트래커부(730)의 아이트래킹(eye tracking) 처리를 위해 저장부(720)에 저장된다.

카메라부(710)에 의해 촬영되는 이미지는 아이트래커부(730)의 아이트래킹 처리가 가능한 형태이면 충분하며, 아이트래커부(730)의 처리를 위해 필요한 전처리가 수행된 후 저장부(720)에 저장될 수도 있다. 아이트래킹 처리를 위한 이미지 생성 방법 및 생성되는 이미지 유형은 당업자에게 자명하므로 이에 대한 설명은 생략한다.

아이트래커부(730)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 이미지를 시간 순서대로 비교 분석하여 수술자의 눈동자 위치 변화와 이에 의한 주시 방향을 해석하여 해석 정보를 출력한다. 또한, 아이트래커부(730)는 눈동자의 모양(예를 들어 눈 깜빡임 등)을 더 해석하여 이에 대한 해석 정보를 출력할 수도 있다.

조작 명령 생성부(320)는 아이트래커부(730)에 의한 해석 정보를 참조하여 수술자의 주시 방향이 변화된 경우 이에 상응하여 복강경(5)의 위치 및/또는 영상 입력 각도가 제어되도록 하기 위한 조작 명령을 생성한다. 또한, 조작 명령 생성부(320)는 눈동자의 모양 변화가 미리 지정된 명령을 입력하기 위한 것이라면 이를 위한 조작 명령을 생성할 수도 있다. 예를 들어, 눈동자의 모양 변화에 따른 지정 명령은 예를 들어, 오른쪽 눈의 연속 2회 깜빡임의 경우 수술부위로의 복강경(5) 접근, 왼쪽 눈의 연속 2회 깜빡임의 경우 시계방향으로 회전 등과 같이 미리 지정될 수 있다.

전송부(330)는 조작 명령 생성부(320)에 의해 생성된 조작명령을 슬레이브 로봇(2)으로 전송하여, 복강경(5)의 위치 및 영상 입력 각도가 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(330)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.

제어부(740)는 상술한 각 구성요소가 지정된 동작을 수행하도록 제어한다.

이제까지 도 7을 참조하여, 눈동자의 움직임을 아이트래킹 기술을 이용하여 인식 및 처리하는 텔레스코픽 표시부(20)를 설명하였다. 그러나, 이에 제한되지 않고, 텔레스코픽 표시부(20)는 수술자의 얼굴 자체의 움직임을 감지하여 인식 및 처리하는 방식으로 구현될 수도 있음은 당연하다. 일 예로, 카메라부(710)가 얼굴 이미지를 촬영하고, 아이트래커부(730)를 대체하는 분석 처리부가 촬영된 이미지 중 특징점(예를 들어, 두 눈의 위치, 코의 위치, 인중의 위치 등 중 하나 이상)의 위치 및 변화를 해석하면 조작 명령 생성부(320)가 이에 상응하는 조작명령을 생성할 수도 있다.

도 8은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.

도 8을 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.

단계 820에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 디지털 이미지 데이터를 비교 판단하여 수술자의 눈동자 위치 및 주시 방향의 변화에 대한 해석 정보를 생성한다. 비교 판단시 텔레스코픽 표시부(20)는 일정한 오차를 허용하여 일정한 범위의 위치 정보의 변화는 눈동자의 위치가 변동하지 않은 것으로 인식하도록 할 수도 있다.

단계 830에서 텔레스코픽 표시부(20)는 미리 설정된 임계 시간 이상 변경된 수술자의 주시 방향이 유지되는지 여부를 판단한다.

만일 임계 시간 이상 변경된 주시 방향이 유지되면, 단계 840에서 텔레스코픽 표시부(20)는 복강경(5)이 해당 위치의 영상을 입력받도록 조작(예를 들어, 이동 또는/및 영상 입력 각도의 변경)하기 위한 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. 여기서, 임계 시간은 수술자의 눈동자 흔들림이나 수술 부위의 전체적인 개괄적 확인 등을 위한 눈동자가 움직임에 의해 복강경(5)이 조작되지 않도록 하기 위한 시간으로 설정될 수 있으며, 그 시간값은 실험적, 통계적으로 설정되거나 수술자 등에 의해 설정될 수도 있다.

그러나 만일 임계 시간 이상 변경된 주시 방향이 유지되지 않는다면 단계 810으로 다시 진행한다.

도 9는 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이고, 도 10은 본 발명의 실시예에 따른 텔레스코픽 표시부에 의한 영상 표시 형태를 예시한 도면이다.

도 9를 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.

단계 820에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 디지털 이미지 데이터를 비교 판단하여 수술자의 눈동자 위치 및 주시 방향의 변화에 대한 해석 정보를 생성한다.

단계 910에서 텔레스코픽 표시부(20)는 수술자의 주시 위치가 미리 지정된 설정인지 여부를 판단한다.

도 10에는 텔레스코픽 표시부(20)에 의한 영상 표시 형태가 예시되어 있다.

도 10에 예시된 바와 같이, 접안부(220)를 통해 수술자는 복강경(5)을 통해 제공되는 영상 이미지(1010)를 확인할 수 있으며, 해당 영상 이미지는 수술 부위와 인스트루먼트(1020)를 포함할 수 있다. 또한, 텔레스코픽 표시부(20)에 의한 영상은 수술자의 주시 위치(1030)가 오버랩되어 표시될 수 있으며, 설정 위치들도 함께 표시될 수 있다.

설정 위치로는 외곽 테두리(1040), 제1 회전 지시 위치(1050) 및 제2 회전 지시 위치(1060) 등 중 하나 이상이 포함될 수 있다. 예를 들어, 수술자가 외곽 테두리(1040) 중 임의의 방향에 위치한 변을 임계 시간 이상 주시하고 있는 경우 복강경(5)이 해당 방향으로 이동되도록 제어될 수 있다. 즉, 외곽 테두리(1040) 중 왼쪽의 변을 임계 시간 이상 주시하면 복강경(5)은 현재 표시 위치보다 왼쪽의 부위를 촬영하기 위해 왼쪽으로 이동되도록 제어될 수 있다. 또한, 수술자가 제1 회전 지시 위치(1050)를 임계 시간 이상 주시하면 복강경이 반시계 방향으로 회전하도록 제어되고, 수술자가 제2 회전 지시 위치(1060)를 임계 시간 이상 주시하면 복강경이 시계 방향으로 회전하도록 제어될 수도 있다.

다시 도 9를 참조하여, 수술자가 주시 위치가 전술한 설정 위치가 아닌 경우에는 단계 810으로 다시 진행한다.

그러나 다시 도 9를 참조하여, 수술자가 주시 위치가 전술한 설정 위치인 경우에는 단계 920으로 진행하여 미리 설정된 임계 시간 이상 수술자의 주시가 유지되는지 여부를 판단한다.

만일 임계 시간 이상 설정 위치에 대한 수술자의 주시가 유지되면, 단계 930에서 텔레스코픽 표시부(20)는 해당 설정 위치에 대해 지정된 명령에 따라 복강경(5)이 조작되도록 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다.

그러나 만일 임계 시간 이상 해당 설정 위치에 대한 수술자의 주시가 유지되지 않으면 단계 810으로 다시 진행한다.

도 11은 본 발명의 또 다른 실시예에 따른 복강경 조작 명령 전송 방법을 나타낸 순서도이다.

도 11을 참조하면, 단계 810에서 텔레스코픽 표시부(20)는 접촉 감지부(510)에 의해 수술자 얼굴의 접촉이 감지되면, 카메라부(710)를 활성화하여 접안부(220)를 통해 보이는 수술자의 눈에 대한 디지털 이미지 데이터를 생성하여 저장부(720)에 저장되도록 한다.

단계 1110에서 텔레스코픽 표시부(20)는 실시간 또는 소정의 주기로 저장부(720)에 저장된 이미지 정보를 비교 판단하여 운전자의 눈 모양 변화에 대한 해석 정보를 생성한다. 예를 들어, 해석 정보는 일정한 시간 동안에 수술자의 눈이 몇 번 깜빡였는지, 깜빡였다면 어느 쪽 눈이 깜빡였는지 등에 대한 정보일 수 있다.

단계 1120에서 텔레스코픽 표시부(20)는 눈 모양 변화에 대한 해석 정보가 미리 지정된 지정 조건을 만족하는지 여부를 판단한다. 예를 들어 눈 모양 변화에 따른 지정 조건은 예를 들어, 소정 시간 내에 오른쪽 눈의 연속 2회 깜빡임인지 여부, 소정 시간 내에 왼쪽 눈의 연속 2회 깜빡임인지 여부 등으로 미리 설정될 수 있다.

만일 눈 모양 변화에 대한 해석 정보가 미리 지정된 조건을 만족하는 경우라면, 단계 1130으로 진행하여 해당 조건을 만족하는 경우의 지정 명령으로서 복강경(5) 조작을 위한 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송한다. 예를 들어, 눈 모양 변화에 따른 지정 명령은 예를 들어, 오른쪽 눈의 연속 2회 깜빡임의 경우 수술부위로의 복강경(5) 접근, 왼쪽 눈의 연속 2회 깜빡임의 경우 시계방향으로 회전 등과 같이 미리 지정될 수 있다.

그러나 만일 눈 모양 변화에 대한 해석 정보가 미리 지정된 조건을 만족하지 않는다면 단계 910으로 진행한다.

도 12는 본 발명의 또 다른 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.

도 12를 참조하면, 마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6), 마스터 조종기 및 촬상 수단(1210)을 포함한다. 도시되지는 않았으나, 앞서 설명한 바와 같이 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함할 수 있다.

마스터 인터페이스(4)의 모니터부(6)는 도시된 바와 같이 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보(예를 들어, 복강경(5)에 의해 촬영된 영상, 환자의 생태 정보 등)들이 개별적으로 표시되도록 할 수 있다. 물론, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.

모니터부(6)를 통해 표시되는 환자의 생태 정보(예를 들어, 맥박, 호흡, 혈압, 체온 등)는 영역별로 나뉘어져 출력될 수도 있으며, 이러한 생체 정보는 슬레이브 로봇(2)에 구비된 생체 정보 측정 유닛에 의해 측정되어 마스터 로봇(1)으로 제공될 수 있다.

촬상 수단(1210)은 비접촉식으로 수술자의 모습(예를 들어, 얼굴 영역)을 촬영하기 위한 수단이다. 촬상 수단(1210)은 예를 들어 이미지 센서를 포함하는 카메라 장치로 구현될 수 있다.

촬상 수단(1210)에 의해 촬영된 영상은 복강경 조작 유닛(1200, 도 13a 참조)으로 제공되고, 복강경 조작 유닛(1200)은 해당 영상의 해석을 통해 피사체에 대한 변화량 정보를 이용하여 복강경(5)의 회전, 이동 조작이 수행되도록 하거나 영상의 확대/축소 조작이 수행되도록 제어한다.

또한, 마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 두 개 이상의 핸들(10)로 구현될 수 있고, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3)의 위치 이동, 회전, 절단 작업 등의 수술 동작이 수행될 수 있다.

예를 들어, 핸들(10)은 메인 핸들과 서브 핸들을 포함하여 구성될 수 있고, 수술자는 메인 핸들만으로 다자유도를 가지어 구동되도록 구현된 슬레이브 로봇(2)의 로봇 암(3)이나 복강경(5) 등을 조작하거나, 서브 핸들을 조작하여 동시에 복수의 수술 장비가 실시간 조작되도록 할 수도 있다. 물론, 마스터 조종기는 핸들 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한 없이 적용될 수 있다.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 표시부(6)를 통해 확인할 수 있는 영상(즉, 화상 이미지)로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다. 또한, 앞서 설명된 바와 같이, 본 발명의 실시예들은 복강경 이외의 다양한 수술용 내시경(예를 들어, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있다.

도 13a는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 구성을 개략적으로 나타낸 블록 구성도이고, 도 13b는 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 개념을 나타낸 도면이며, 도 14 및 도 15는 각각 본 발명의 또 다른 실시예에 따른 복강경 조작을 위한 안면 움직임을 예시한 도면이다.

도 13을 참조하면, 복강경 조작 유닛(1200)은 저장부(1220), 각도 및 거리 산출부(1230), 조작 명령 생성부(1240) 및 전송부(1250)를 포함한다. 도시된 구성 요소들 중 하나 이상은 소프트웨어 프로그램으로 구현되거나 하드웨어 및 소프트웨어 프로그램의 조합으로 구성될 수 있다. 또한, 도시된 하나 이상의 구성 요소는 생략될 수 있다.

저장부(1220)에는 촬상 수단(1210)에 의해 촬영된 영상 이미지, 각도 및 거리 산출부(1230)에 의해 산출된 변위량 정보를 저장한다.

변위량 정보는 예를 들어, 산출 주기에서 연속된 두 장의 영상 이미지를 이용하여 산출된 두 눈의 연장선과 화면 중심선(즉, 영상 이미지의 가로 및 세로 중심점을 지나는 가로선)간의 내각 및 회전 방향에 관한 정보, 얼굴 내의 기준점간의 이동 거리 정보, 두 눈의 중심점간의 간격 변화량 정보 등이 포함될 수 있다.

물론 변위량 정보 등을 산출하기 위해 연속된 두 장의 영상 이미지가 이용되도록 제한되지는 않으며, 현재의 영상 이미지와 그 이전에 임의의 시점에서 촬영된 영상 이미지가 이용될 수도 있음은 당연하다. 예를 들어, n-3번째 촬영된 영상 이미지, n-2번째 촬영된 영상 이미지, n-1번째 촬영된 영상 이미지, 현재 시점인 n번째 촬영된 영상 이미지가 존재하는 경우, 해석시 이용되는 영상 이미지의 촬영 주기가 3인 경우 n-3번째 촬영된 영상 이미지와 n번째 촬영된 영상 이미지를 이용하여 변위량 정보 등이 산출될 수 있을 것이다. 이러한 원칙은 별도의 설명을 생략할지라도 변위량 정보뿐 아니라 각도 및 거리 산출 등의 경우에도 동일하게 적용될 수 있음은 당연하다. 다만, 본 명세서에서는 설명 및 이해의 편의를 위해 특정 정보의 생성을 위한 영상 이미지 해석시 현재 촬영된 영상 이미지와 직전에 촬영된 영상 이미지가 이용되는 경우를 예로 들어 설명한다.

각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지들 중 산출 주기에서 연속된 두 장의 영상 이미지(즉, 현재 촬영된 영상 이미지와 직전에 촬영된 영상 이미지)를 이용하여 영상 이미지들간의 변위량 정보를 생성하여 저장부(1220)에 저장한다.

여기서, 각도 및 거리 산출부(1230)는 연속된 두 장의 영상 이미지를 이용하여 산출된 두 눈의 연장선과 화면 중심선간의 내각 및 회전 방향에 관한 정보, 얼굴 내의 기준점간의 이동 거리 정보, 두 눈의 중심점간의 간격 변화량 정보 등을 생성할 수 있다.

이하, 각도 및 거리 산출부(1230)에서 변위량 정보를 생성하는 방법에 대해 설명한다. 다만, 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 인식하는 영상 해석 기법은 당업자에게 자명한 사항이므로, 이에 대한 구체적인 설명은 생략하기로 한다.

먼저, 얼굴의 회전과 관련한 정보를 생성하기 위하여, 도 14에 도시된 바와 같이 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 양안(兩眼, 두 눈)의 연장선과 화면 중심선과의 내각의 크기를 산출하고, 이전의 영상 이미지에 대해 해석된 내각의 크기와 대비함으로써 회전 방향 및 회전 각도에 대한 정보를 생성한다.

즉, 각도 및 거리 산출부(1230)는 도 14의 (b) 및 (c)에 예시된 바와 같이, 촬상 수단(1210)에 의해 촬영되어 생성된 영상 이미지에서 양안의 위치 및 형상을 예를 들어 엣지 검출 기법 등의 영상 처리 기법에 의해 인식함으로써 각 눈의 중심점을 획득한 후, 각 눈의 중심점을 연결하는 가상의 직선과 화면 중심선이 이루는 내각의 크기 및 안면의 회전 방향을 산출한다. 예를 들어, 직전에 생성된 영상 이미지가 (a)의 원시 영상 이미지이고, 현재 생성된 영상 이미지가 (b)와 같은 영상 이미지라면 각 영상 이미지에 대해 화면 중심선과 두 눈의 중심점을 연결한 직선이 이루는 교점이 얼굴의 어느 위치에 형성되었는지 및 이에 따른 내각의 크기를 상호 비교함으로써 얼굴이 어느 방향으로 어느 각도만큼 회전하였는지 인식할 수 있게 된다.

다음으로, 얼굴의 평행 이동에 관한 정보를 생성하기 위해, 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 얼굴 내의 미리 설정된 기준점(예를 들어, 코의 중심점)이 영상 이미지의 가로 및 세로 중심점으로부터 어느 정도 이동되었는지를 검출한다.

즉, 도 14의 (d)와 같은 경우, 점선으로 표시된 원시 영상 이미지에서는 기준점이 영상 이미지의 중심점과 일치한 상태이지만 현재의 영상 이미지에서는 기준점이 영상 이미지의 중심점에서 오른쪽으로 임의의 거리만큼 평행 이동한 것으로 인식할 수 있다. 물론, 평행 이동의 방향은 상하좌우 등으로 다양할 수 있음은 당연하다.

다음으로, 화면 확대 및 축소에 관련한 정보를 생성하기 위하여, 각도 및 거리 산출부(1230)는 촬상 수단(1210)에 의해 촬영되어 저장부(1220)에 저장된 영상 이미지에서 양안의 거리(도 15의 d1, d2 또는 d3)를 산출하고, 산출된 거리가 직전에 촬영되어 저장된 영상 이미지에서의 양안의 거리보다 증가하였는지(즉, 촬상 수단(1210)에 근접하는 방향으로 수술자의 얼굴이 이동) 아니면 감소하였는지(즉, 촬상 수단(1210)에 멀어지는 방향으로 수술자의 얼굴이 이동)를 연산한다. 양안의 거리는 예를 들어 각 눈의 중심점간의 거리이거나, 각 눈의 외곽선간의 최단 거리 등으로 다양하게 지정 및 적용될 수 있다.

조작 명령 생성부(1240)는 각도 및 거리 산출부(1230)에 의해 산출된 변위량 정보를 이용하여 복강경(5)의 위치(예를 들어, 이동, 회전 등) 및 영상 배율(예를 들어, 확대, 축소 등)을 제어하기 위한 조작명령을 생성한다.

만일, 수술자의 얼굴이 임의의 방향으로 회전된 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)의 회전을 위한 조작 명령을 생성할 것이고, 수술자의 얼굴이 임의의 방향으로 평행 이동된 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)을 상응하는 방향 및 거리만큼 이동시키기 위한 조작 명령을 생성할 것이며, 수술자의 얼굴이 촬상 수단(1210) 방향으로 가까워지거나 멀어진 것으로 인식되면 조작 명령 생성부(1240)는 복강경(5)에 의해 촬영되어 생성되는 영상 이미지의 배율을 확대하거나 축소하도록 하는 조작 명령을 생성할 것이다.

물론, 조작 명령 생성부(1240)에 의해 생성되는 조작 명령은 복강경의 회전, 이동 및 배율 조정 등 중 둘 이상에 대한 제어가 가능하도록 생성될 수도 있음은 당연하다.

전송부(1250)는 조작 명령 생성부(1240)에 의해 생성된 조작 명령을 슬레이브 로봇(2)으로 전송하여 복강경(5)의 위치 등에 대해 조작되도록 하고 이에 따른 영상이 제공되도록 한다. 전송부(1250)는 로봇 암(3)의 조작을 위한 조작명령을 전송하기 위해 마스터 로봇(1)에 이미 구비된 전송부일 수도 있다.

또한, 도 13a에는 도시되지 않았으나 촬상 수단(1210)을 통해 현재 촬영되는 영상 이미지 내의 사용자가 인증된 사용자인지를 판단하기 위한 판단부를 더 포함할 수도 있다.

즉, 판단부는 현재 촬영된 영상 이미지 내의 얼굴 모습과 인증된 사용자로서 저장부(1220)에 미리 저장된 영상 이미지 내의 얼굴 모습이 오차 범위 내에서 일치하는지 여부를 판단한 후, 일치하는 경우에만 전술한 방식에 따른 복강경 조작이 가능하도록 할 수 있다. 물론, 판단부가 인증된 사용자인지 여부를 판단함에 있어 얼굴의 모양이라는 특징 요소뿐 아니라 눈/눈썹/코/입의 위치 및 형상, 눈동자 색상, 피부 색상, 피부 주름, 홍채 등의 특징 요소 중 하나 이상을 이용할 수도 있음은 당연하다.

이와 같이, 판단부를 추가적으로 구비함으로써, 촬상 수단(1210)을 통해 촬상된 영상 이미지 내에 복수의 사람이 촬영되더라도 수술자의 얼굴 모습 변화에만 연동하여 복강경 조작이 가능하도록 하는 효과가 있다.

또한, 판단부는 영상 이미지 내의 얼굴 모습이 미리 지정된 영역에 위치하는지 또한 얼굴의 크기가 미리 지정된 크기 이상인지 여부를 판단하여 전술한 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 더 판단할 수 있다. 물론, 판단부는 얼굴의 크기가 미리 지정된 크기 이상인지를 판단하는 대신 얼굴의 크기가 미리 지정된 크기 조건에 해당되는지 여부를 판단할 수도 있다. 이는 수술자가 얼굴을 너무 가까이 들이대는 경우에도 오동작의 원인이 될 수 있기 때문이다.

예를 들어, 도 13b에 예시된 바와 같이, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지가 표시되는 표시 영역(1310) 내에서 미리 지정된 영역(1320) 내에 얼굴이 위치하는지 여부를 판단하여 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 결정할 수 있다. 물론, 얼굴이 미리 지정된 영역(1320) 전부를 포함하도록 위치되도록 제한되지는 않으며, 얼굴의 일부라도 미리 지정된 영역(1320)에 포함되기만 하면 충분한 것으로 미리 설정될 수도 있을 것이다.

만일, 얼굴이 미리 지정된 영역(1320) 내에 위치하는 경우라면 복강경 조작 유닛(1200)이 기능하도록 처리할 수 있고, 그렇지 않은 경우에는 복강경 조작 유닛(1200)이 기능하지 않도록 처리할 수 있을 것이다.

또한, 도 13b에 예시된 바와 같이, 판단부는 영상 이미지 내에 포함된 얼굴의 크기가 미리 지정된 영역(1320)의 크기보다 큰지 여부를 판단하여 복강경 조작 유닛(1200)이 기능하도록 할 것인지 여부를 결정할 수 있다. 얼굴의 크기가 미리 지정된 영역(1320)의 크기보다 큰지 여부는 예를 들어 얼굴 외곽선 검출에 의해 계산된 면적이 미리 지정된 영역(1320)의 크기와 어떤 관계를 가지는지 여부로서 판단될 수 있다. 이 경우, 전술한 바와 같이 얼굴의 크기가 지정된 임계값보다는 작은지 여부가 더 판단될 수 있다.

만일 (a)에 도시된 바와 같이 얼굴의 크기가 미리 지정된 영역의 크기보다 작은 경우라면 수술자가 아닌 마스터 인터페이스(4)에서 멀리 위치하는 제3의 인물이거나 수술자일지라도 마스터 인터페이스(4)에서 멀리 위치하여 수술 동작을 진행하지 않는 중이므로 복강경 조작 유닛(1200)이 기능하지 않도록 할 수 있을 것이다.

이와 같이, 판단부는 정해진 크기 이상의 얼굴이 미리 지정된 영역(1320)에 부합하도록 표시되는 경우에만 복강경 조작 유닛(1200)이 기능하도록 함으로써, 수술자가 아닌 제3의 인물의 얼굴 움직임이나 수술동작과 무관한 움직임에 의해 복강경(5)이 오조작(誤操作)됨을 방지할 수 있다.

또한, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지 내에서의 얼굴 움직임이 일정 시간 유지되는 경우에만 전술한 복강경 조작 유닛(1200)이 기능하도록 처리할 수도 있다. 예를 들어, 수술자가 전면을 주시하는 정상 상태에서 고개를 오른쪽으로 일정 각도 기울인 후 일정시간(예를 들어, 2초) 동안 유지함이 인식된 상태에서만 복강경 조작 유닛(1200)은 복강경이 오른쪽으로 해당 각도만큼 회전 또는/및 이동하도록 하는 조작명령을 생성하여 전송하도록 미리 설정될 수 있을 것이다. 물론, 판단부가 얼굴 움직임이 일정 시간 유지되는 경우뿐 아니라 얼굴 움직임이 미리 지정된 범위를 넘어설 때 전술한 복강경 조작 유닛(1200)이 기능하도록 처리할 수도 있음은 당연하다.

이를 통해, 수술자가 의식적 또는 무의식적으로 옆을 돌아보거나 움직이거나 하는 등의 행동을 취한 경우, 환자의 복부에 삽입된 복강경(5)이 수술자의 움직임에 따라 급격히 조작되는 위험을 방지할 수 있다. 이는, 예를 들어 앞서 설명한 접촉식 구조에서 얼굴을 떼었을 때 수술자의 움직임이 슬레이브 로봇(2)의 전달됨을 차단하여 환자의 안전을 확보하는 방법과 유사하게 처리될 수 있을 것이다.

또한, 판단부는 촬상 수단(1210)에 의해 촬영된 영상 이미지 내에서의 얼굴내의 특정 부위 변화(예를 들어, 눈 깜빡임)가 인식되는 경우, 조작 명령 생성부(1240)로 상응하는 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송하도록 요청하는 기능을 더 수행할 수도 있다. 특정 부위 변화의 경우 어떤 조작 명령이 생성되어야 하는지에 대한 정보는 저장부(1220)에 미리 저장될 수 있다.

예를 들어, 수술 도중 촬상 수단(1210)에 의해 촬영된 영상 이미지가 연기로 흐려져 피사체가 정확히 보이지 않는 경우 등에서 수술자가 왼쪽 눈만을 깜빡이면 조작 명령 생성부(1240)는 복강 내의 이산화탄소 배출을 위해 밸브를 열도록 하는 조작 명령을 생성하여 슬레이브 로봇(2)으로 전송할 수 있을 것이다. 다른 예로서, 수술 도중 수술자가 오른쪽 눈만을 깜빡이면 마스터 인터페이스(4)의 모니터(6)에 현재 수술중인 부위에 대한 수술 이전 영상이 증강현실로 표시되도록 하거나, 사라지도록 하기 위한 조작 명령을 생성하여 출력할 수도 있을 것이다.

물론, 판단부는 영상 이미지 내에서의 얼굴내의 특정 부위 변화를 인식하여 조작 명령을 생성하도록 지시하는 방법 외에, 고개를 상하로 끄덕이거나 가로젓는 동작을 영상 해석 기법을 이용하여 인식하고 상응하는 조작 명령이 생성되도록 지시할 수도 있음은 당연하다. 예를 들어, 수술자가 머리 끄덕이는 동작을 취한 것으로 인식되면 긍정 반응으로 인식되도록 하고, 수술자가 머리를 가로젓는 동작을 취한 것으로 인식되면 부정 반응으로 인식되도록 할 수 있을 것이다.

이를 이용하여, 특정 상황에서 수술용 로봇이 수술자에게 어떤 동작의 수행에 대한 예/아니오에 대한 선택을 요구하는 경우 수술자는 콘솔이나 조작 핸들에 구비된 버튼을 누를 필요없이 머리를 끄덕이거나 가로젓는 행위만으로도 수술용 로봇에게 응답을 제공할 수 있게 된다.

또한, 본 실시예에 따른 비접촉 방식의 복강경 제어 방법은 3차원 복강경이 적용되는 경우 얼굴, 눈의 위치에 따라 3차원 영상 처리를 위한 좌/우 영상이 겹치는 정도의 조절도 가능하다.

도 16은 본 발명의 또 다른 실시예에 따른 복강경 조작 유닛의 동작 과정을 나타낸 순서도이다.

도 16을 참조하면, 복강경 조작 유닛(1200)은 단계 1610에서 수술자의 얼굴이 촬영된 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출한다.

이어서, 단계 1620에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 두 눈의 연장선과 화면 중심선간의 내각 및 회전 방향을 산출하고, 직전에 촬영된 영상 이미지에 대해 산출된 내각 및 회전 방향과의 차이를 이용하여 현재 수술자의 얼굴 회전 방향 및 회전 각도를 산출한다.

또한, 단계 1630에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 얼굴 내의 기준점이 직전에 촬영된 영상 이미지에서의 얼굴 기준점간의 거리 변화량을 산출한다.

또한, 단계 1640에서 복강경 조작 유닛(1200)은 해당 영상 이미지에 대해 두 눈의 중심점간의 거리를 산출하고, 직전에 촬영된 영상 이미지에 대해 산출된 두 눈의 중심점간의 거리를 참조하여 두 눈간의 간격 변화량을 산출한다.

전술한 단계 1620 내지 단계 1640은 순차적 또는 비순차적으로 수행되거나, 동시에 수행될 수도 있다.

단계 1650에서 복강경 조작 유닛(1200)은 단계 1620 내지 단계 1640에 의해 산출된 변위량 정보에 상응하는 조작 명령을 생성하고, 복강경(5) 조작을 위해 슬레이브 로봇(2)으로 제공한다.

도 17은 본 발명의 또 다른 실시예에 따른 도 16의 단계 1610을 구체화하여 나타낸 순서도이다.

앞서 도 16의 단계 1610은 복강경 조작 유닛(1200)이 수술자의 얼굴이 촬영된 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출하는 단계에 관한 것이다.

단계 1610이 구체화되어 예시된 도 17을 참조하면, 복강경 조작 유닛(1200)은 단계 1710에서 수술자의 얼굴이 촬영된 영상 이미지를 제공받고, 단계 1720으로 진행하여 해당 영상 이미지를 해석하여 얼굴 영역, 눈의 위치 및 기준점(예를 들어, 코의 중심점)의 위치를 검출한다.

이어서, 복강경 조작 유닛(1200)은 단계 1730에서 수술자의 해당 움직임 상태가 일정 시간 유지되는지 여부를 판단한다.

만일 해당 움직임이 일정 시간 유지된다면 복강경(5) 조작을 위한 것으로 인식하여 단계 1620 내지 단계 1640으로 진행한다.

그러나 만일 해당 움직임이 일정 시간 유지되지 않는다면 복강경(5) 조작과 무관한 움직임인 것으로 인식하여 단계 1710으로 다시 진행한다.

이와 같이, 단계 1610은 복강경(5) 조작 여부의 정확성을 가지기 위해 복수의 단계의 구체화될 수 있다.

이외에도, 단계 1610은 다양한 방식으로 구체화될 수 있다.

일 예로, 제공받은 영상 이미지 내의 얼굴 모습이 인증된 사용자로서 저장부(1220)에 미리 지정된 얼굴 모습과 오차범위 내에서 일치하는지 여부를 판단하여, 오차범위 내에서 일치하는 경우에만 단계 1620 내지 단계 1640으로 진행하도록 구체화될 수 있다.

다른 예로, 제공받은 영상 이미지 내의 얼굴 모습이 미리 지정된 영역에 위치하는지 또한 얼굴의 크기가 미리 지정된 크기 이상이고 또한 미리 지정된 크기 이하인지 여부를 판단하여, 얼굴의 크기가 지정된 크기 이상이고 지정된 영역에 부합하도록 위치하는 경우에만 단계 1620 내지 단계 1640으로 진행하도록 구체화될 수 있다.

이외에도 다양한 방식으로 단계 1610은 구체화될 수 있으며, 하나 이상의 실시예들이 복합적으로 포함되어 구체화될 수도 있음은 당연하다.

상술한 복강경 조작 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 마스터 로봇 2: 슬레이브 로봇
3: 로봇 암 4: 마스터 인터페이스
5: 복강경 6: 모니터부
10: 핸들 20: 텔레스코픽 표시부
210: 접면부 220: 접안부
230, 240: 지지부 250: 유동부
310: 움직임 감지부 320, 1240 : 조작 명령 생성부
330, 1250 : 전송부 510: 접촉 감지부
520: 원상태 복원부 710: 카메라부
720, 1220: 저장부 730: 아이트래커부
740: 제어부 1200 : 복강경 조작 유닛
1230 : 각도 및 거리 산출부

Claims (13)

1. 조작신호를 이용하여 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하는 수술용 로봇으로서,
   상기 비젼부에 의해 획득된 영상을 시각(視覺) 정보로 제공하기 위한 접안부;
   상기 접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커부; 및
   상기 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하고, 만족하는 경우 상기 비젼부를 조작하기 위한 조작명령을 출력하는 조작 명령 생성부를 포함하되,
   상기 아이트래커부는,
   상기 수술용 로봇의 내측에서 상기 접안부를 향해 촬상하여 이미지 데이터를 생성하는 카메라 유닛;
   상기 생성된 이미지 데이터를 저장하는 저장 유닛; 및
   순차적으로 생성된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 아이트래커 유닛을 포함하는 것을 특징으로 하는 수술용 로봇.
   
2. 삭제
3. 제1항에 있어서,
   상기 접안부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공된 것을 특징으로 하는 수술용 로봇.
   
4. 제1항에 있어서,
   상기 조작명령이 상기 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 상기 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작되는 것을 특징으로 하는 수술용 로봇.
   
5. 제1항에 있어서,
   상기 비젼부는 현미경, 내시경 중 어느 하나인 것을 특징으로 하는 수술용 로봇.
   
6. 제5항에 있어서,
   상기 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 수술용 로봇.
   
7. 수술용 로봇이 비젼부의 위치 및 영상 입력 각도 중 하나 이상을 제어하기 위한 조작 방법으로서,
   접안부를 통해 보여지는 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계;
   상기 해석 정보가 임의의 조작명령으로서 미리 설정된 변화를 만족하는지 여부를 판단하는 단계; 및
   만족하는 경우, 상기 비젼부의 위치 및 영상 입력 각도 중 하나 이상에 대한 조작명령을 생성하여 출력하는 단계를 포함하되,
   상기 해석 정보를 생성하는 단계는,
   상기 수술용 로봇의 내측에서 상기 접안부를 향해 촬상한 이미지 데이터를 생성하여 저장하는 단계; 및
   상기 저장된 이미지 데이터를 시간순으로 비교 판단하여 눈동자의 위치 변화, 눈 모양의 변화 및 주시방향 중 하나 이상을 해석한 해석 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 비젼부 조작 방법.
   
8. 삭제
9. 제7항에 있어서,
   상기 접안부는 상기 수술용 로봇의 콘솔(console) 패널의 일부로서 형성된 접면부에 천공된 것을 특징으로 하는 비젼부 조작 방법.
   
10. 제7항에 있어서,
    상기 접안부는 상기 비젼부에 의해 획득된 영상이 시각(視覺) 정보로서 보여지도록 빛 투과성 재질의 재료로 형성된 접면부인 것을 특징으로 하는 비젼부 조작 방법.
    
11. 제7항에 있어서,
    상기 조작명령이 상기 비젼부의 직선 조작 및 회전 조작 중 하나 이상에 관한 것인 경우, 상기 수술용 로봇의 조작 핸들 방향이 그에 상응하도록 변경 조작되는 것을 특징으로 하는 비젼부 조작 방법.
    
12. 제7항에 있어서,
    상기 비젼부는 현미경, 내시경 중 어느 하나인 것을 특징으로 하는 비젼부 조작 방법.
    
13. 제12항에 있어서,
    상기 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 비젼부 조작 방법.

Images