KR100998182B1

KR100998182B1 - 수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법

Info

Publication number: KR100998182B1
Application number: KR1020080081671A
Authority: KR
Inventors: 원종석; 최승욱
Original assignee: (주)미래컴퍼니
Priority date: 2008-08-21
Filing date: 2008-08-21
Publication date: 2010-12-03
Also published as: CN102186434A; KR20100023086A; CN102186434B; WO2010021447A1

Abstract

수술용 로봇의 3D 디스플레이 시스템 및 그 제어방법이 개시된다. 수술 현장으로부터 획득된 3차원 영상 정보를 표시하는 3D 디스플레이와, 3D 디스플레이에 결합된 로봇 암과, 로봇 암이 연결되는 수술용 로봇과, 수술용 로봇에 포함된 컨트롤러를 포함하되, 컨트롤러는 3D 디스플레이가 소정의 위치로 이동하도록 로봇 암을 구동시키는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템은, 3D 디스플레이를 다관절 로봇 암에 장착하고 로봇 암을 수동 또는 자동으로 구동시켜 3D 디스플레이가 수술자의 눈의 위치를 추적하여 이동하도록 함으로써, 3차원 영상을 확인하기 위해 수술자가 자세를 바꿀 필요가 없고, 별도의 디스플레이 장치를 수술자의 신체에 착용할 필요가 없을 뿐만 아니라, 수술자별로 3D 디스플레이의 위치를 미리 세팅시켜 놓음으로써, 수술자 및 수술자의 자세에 상관없이 항상 정확한 3차원 영상 정보를 제공할 수 있다.

수술, 로봇, 3D 디스플레이

Description

수술용 로봇의 3차원 디스플레이 시스템 및 그 제어방법{3D display system of surgical robot and control method thereof}

본 발명은 수술용 로봇의 3D 디스플레이 시스템 및 그 제어방법에 관한 것이다.

의학적으로 수술이란 피부나 점막, 기타 조직을 의료 기계를 사용하여 자르거나 째거나 조작을 가하여 병을 고치는 말한다. 특히, 수술부위의 피부를 절개하여 열고 그 내부에 있는 기관 등을 치료, 성형하거나 제거하는 개복 수술 등은 출혈, 부작용, 환자의 고통, 흉터 등의 문제로 인하여 최근에는 로봇(robot)을 사용한 수술이 대안으로서 각광받고 있다.

이와 같이 수술용 로봇을 사용하는 로봇 수술의 경우, 의사는 환자의 체내를 3D(3-dimension) 디스플레이를 통해 3차원 영상으로 보면서 수술을 진행하게 된다. 수술용 로봇 시스템에서 3D 디스플레이를 구현하는 방식으로는, 첫째 현미경(binocular display) 방식을 들 수 있다.

현미경 방식은 수술용 로봇에 설치된 현미경을 통해 수술 부위를 3차원으로 보면서 로봇 수술을 수행하는 방식으로서, 장시간 수술시 의사의 어깨나 목이 아파 수술에 집중하지 못하거나 로봇의 오동작 등을 야기할 우려가 있다.

둘째, HMD(head mount display) 방식을 들 수 있는데, 이는 머리에 헬멧 형태의 디스플레이를 쓰고 이를 통해 3차원 영상을 확인하면서 수술을 수행하는 방식이나, HMD가 대체로 무겁고 불편하며, 수술 중 다른 것을 보기 위해서는 헬멧을 벗어야 하는 번거로움이 있다.

셋째, 안경 형태의 편광 디스플레이(polarizing display) 방식을 들 수 있는데, 이는 편광 방식으로 3차원 영상을 구현하기 때문에 영상이 전반적으로 어둡고, 수술 중 다른 것을 보기 위해서는 편광 안경을 벗어야 한다는 한계가 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은, 로봇 수술 과정에서 수술자의 위치에 따라 3D 디스플레이를 이동시킴으로써, 수술자가 자세를 바꿔 영상을 보거나 디스플레이 장치를 수술자의 신체에 착용하지 않아도, 필요에 따라 간편하게 3차원 영상을 확인하면서 로봇 수술을 진행할 수 있는 수술용 로봇의 3D 디스플레이 시스템 및 그 제어방법을 제공하는 것이다.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해 될 수 있을 것이다.

본 발명의 일 측면에 따르면, 수술 현장으로부터 획득된 3차원 영상 정보를 표시하는 3D 디스플레이와, 3D 디스플레이에 결합된 로봇 암과, 로봇 암이 연결되는 수술용 로봇과, 수술용 로봇에 포함된 컨트롤러를 포함하되, 컨트롤러는 3D 디스플레이가 소정의 위치로 이동하도록 로봇 암을 구동시키는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템이 제공된다.

영상 정보는 수술 환자 내에 삽입되는 비전 시스템에 의해 촬영되어 3D 디스플레이에 표시되도록 처리된 영상 정보일 수 있다. 로봇 암은 3D 디스플레이가 소정의 위치로 이동하도록 컨트롤러에 의해 구동되는 다관절 링크를 포함할 수 있다. 로봇 암의 일단부는 수술실의 구조체에 고정되며, 로봇 암은 수술용 로봇과 전기적으로 연결될 수 있다.

수술용 로봇에는 사용자의 조작을 위한 콘솔부가 설치되며, 컨트롤러는 사용자의 눈의 위치에 상응하여 3D 디스플레이를 이동시킬 수 있다. 이 경우, 콘솔부에는 조작 핸들이 설치되며, 조작 핸들에 대한 사용자 조작에 따라 컨트롤러는 3D 디스플레이를 이동시킬 수 있다.

컨트롤러에는 사용자의 눈의 위치를 감지하는 센싱부가 연결되며, 컨트롤러는 센싱부로부터 신호를 수신하여, 3D 디스플레이를 사용자의 눈의 위치에 따라 이동시킬 수 있다. 컨트롤러에는 각 사용자별 눈의 위치에 따라 3D 디스플레이가 이 동될 위치에 관한 데이터를 저장하는 저장부가 연결되며, 컨트롤러는 콘솔부를 조작하는 사용자에 상응하여 저장부에 저장된 데이터를 로딩하여, 3D 디스플레이를 미리 저장된 위치로 이동시킬 수 있다.

한편, 본 발명의 다른 측면에 따르면, 수술용 로봇에 전기적으로 연결된 로봇 암에 결합되는 3D 디스플레이를 제어하는 방법으로서, 수술용 로봇에 억세스한 사용자에 관한 정보를 획득하는 단계, 및 획득된 정보에 따라 로봇 암을 구동시켜 3D 디스플레이를 이동시키는 단계를 포함하는 수술용 로봇의 3D 디스플레이 시스템 제어방법이 제공된다.

3D 디스플레이는 수술 환자의 체내에 삽입되는 비전 시스템에 의해 촬영된 영상 정보를 표시할 수 있으며, 사용자에 관한 정보는 사용자의 눈의 위치에 관한 정보를 포함할 수 있다.

획득 단계는, 센서에 의해 사용자의 눈의 위치를 센싱하는 단계, 및 센서로부터 신호를 수신하여 사용자에 관한 정보를 도출하는 단계를 포함할 수 있다. 한편, 사용자에 관한 정보는, 사용자의 눈의 위치에 따라 3D 디스플레이가 이동될 위치에 관한 데이터의 형태로 미리 저장되어 있으며, 이 경우 획득 단계는, 데이터를 로딩하는 단계를 포함할 수 있다.

전술한 것 외의 다른 측면, 특징, 잇점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 바람직한 실시예에 따르면, 3D 디스플레이를 다관절 로봇 암에 장착하고 로봇 암을 수동 또는 자동으로 구동시켜 3D 디스플레이가 수술자의 눈의 위치를 추적하여 이동하도록 함으로써, 3차원 영상을 확인하기 위해 수술자가 자세를 바꿀 필요가 없고, 별도의 디스플레이 장치를 수술자의 신체에 착용할 필요가 없을 뿐만 아니라, 수술자별로 3D 디스플레이의 위치를 미리 세팅시켜 놓음으로써, 수술자 및 수술자의 자세에 상관없이 항상 정확한 3차원 영상 정보를 제공할 수 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 수술용 로봇의 3D 디스플레이 시스템을 도시한 사시도이다. 도 1을 참조하면, 수술용 로봇(1), 콘솔부(3), 조작 핸들(5), 3D 디스플레이(10), 로봇 암(12), 컨트롤러(20), 센싱부(22), 저장부(24)가 도시되어 있다.

본 실시예는 이른바, '로봇 암 3D 디스플레이(articulated 3D display)' 방식으로서, 현미경 방식이나 HMD 방식에서처럼 3차원 영상이 표시되는 부분을 콘솔에 고정하거나 사용자의 머리에 착용하는 것이 아니라, 3D 디스플레이(10)에 로봇 암(12)을 연결하여 3D 디스플레이(10)가 자유롭게 움직일 수 있도록 한 것을 특징 으로 한다.

3D 디스플레이란 3차원 영상을 재생시켜주는 시스템으로서, 3D로 보여질 수 있는 소프트웨어적인 기술과 그 소프트웨어로 만들어진 컨텐츠를 3D로 구현하는 하드웨어를 포함하는 개념이다. 사람의 눈이 약 65mm 정도 떨어져 있기 때문에, 좌우 정보에 대한 약간의 시차(양안시차; binocular disparity)를 가진 영상이 양 눈으로 들어오면, 이는 시신경을 통해 뇌로 전달되고 뇌에서 두 영상이 하나로 합쳐지면서 3차원의 공간감을 느낄 수 있게 되는 것이다.

이처럼, 3D 디스플레이는 평면적인 디스플레이 하드웨어에서 가상적인 입체감을 느낄 수 있도록 하는 시스템으로서, 2D 디스플레이 장치에서 좌우 화상 2개를 동시에 표시하여 좌우 각각의 눈으로 보냄으로써 가상적인 입체감을 만들어 낸다.

이러한, 3D 디스플레이에는, 직교한 편광소자의 조합에 의한 차광효과를 이용해서 좌우안의 화상을 분리하는 편광 방식, 하나의 화면에서 좌우 채널의 이미지가 빠른 속도로 번갈아 가면서 나타내는 화면을 셔터안경 등을 통해 빠르게 차단과 개폐를 반복하여 한쪽 눈에 한쪽 방향의 이미지만 들어갈 수 있도록 하는 시분할 방식, 헬멧 형태의 디스플레이 장치를 쓰고 눈 바로 앞에서 화면을 띄운 후 렌즈를 이용하여 초점을 맞춰 선명하게 볼 수 있게 하는 HMD 방식, 한쪽에는 붉은색 다른 한쪽에는 파란색으로 된 안경을 가지고 양 채널의 화상을 색상 차원에서 분리하여 입체를 구현하는 색차 방식 등이 있다.

본 실시예는 전술한 바와 같은 다양한 방식으로 좌, 우 각각의 디스플레이가 가능하도록 한 3D 디스플레이(10)를, 도 1에 도시된 것처럼 소형, 경량으로 모 듈화하고, 여기에 소정의 자유도를 갖는 로봇 암(12)을 결합시켜 사용자가 원하는 대로 3D 디스플레이(10)를 이동시킬 수 있도록 한 것이다.

예를 들어, 로봇 수술을 수행하는 의사가 앉거나 서서 수술을 하는 경우뿐만 아니라, 심지어는 누워서 수술을 할 경우에도 의사의 자세를 추적하여 3D 디스플레이(10)를 의사가 원하는 위치로 이동시킬 수 있다. 이러한 3D 디스플레이(10)의 이동은, 수동 또는 자동으로 로봇 암(12)을 구동함으로써 사용자가 3D 영상을 확인하기에 가장 편안한 위치가 되도록 할 수 있다.

이를 위해 본 실시예에 따른 수술용 로봇의 3D 디스플레이 시스템은 3D 디스플레이(10)에 로봇 암(12)을 결합하고, 로봇 암(12)을 수술용 로봇(1)에 연결하고, 수술용 로봇(1)에 포함된 컨트롤러(20)로 3D 디스플레이(10)의 이동을 제어하는 구성을 그 기본 구조로 한다.

3D 디스플레이(10)는 수술실 등 수술 현장으로부터 촬영된 3차원 영상 정보를 표시하는 장치로서, 그 상세한 구성은 편광 방식, 시분할 방식, 색차 방식 등 전술한 바와 같이 다양한 방식을 적용하여 구현될 수 있으며, 여기서는 3D 디스플레이(10) 자체의 구성에 대한 상세한 설명은 생략한다.

한편, 비전 시스템(vision system)은 수술 과정에서 촬영된 영상 정보를 제공하는 역할을 하며, 복강경(laparoscope), 내시경(endoscope), 현미경(microscope), 확대경, 반사경 등과 같은 기기를 포함하는 시스템이다. 이하에서는 비전 시스템의 일례로서 복강경이 사용되는 경우를 예로 들어 설명한다.

3D 디스플레이(10)를 통해 표시되는 영상은 수술 환자의 체내에 삽입되는 복 강경으로부터 촬영된 영상일 수 있으며, 필요에 따라서는 복강경 등으로부터 촬영된 영상 정보를 3D 디스플레이(10)에 3차원 영상으로 표시될 수 있도록 이미지 프로세싱한 데이터가 사용될 수 있다.

전술한 바와 같이 본 실시예에 따른 3D 디스플레이(10)에는 로봇 암(12)이 결합되어 사용자가 수동 또는 자동으로 3D 디스플레이(10)를 이동시킬 수 있도록 구성된다. 후술하는 것처럼 컨트롤러(20)에 의해 전기 신호를 받아 로봇 암(12)이 구동된다고 할 때, 본 실시예에 따른 로봇 암(12)은 다관절 링크로 이루어질 수 있다. 예를 들어, 3 자유도를 갖는 로봇 암(12)을 사용하여 3D 디스플레이(10)가 공간상의 특정 지점으로 이동하도록 한다고 할 때, 로봇 암(12)은 3개의 관절로 연결된 링크 형태로 구성될 수 있다.

다만, 본 실시예에 따른 로봇 암(12)이 반드시 다관절 링크 형태로 구성되어야 하는 것은 아니며, 컨트롤러(20)로부터 신호를 받아 3D 디스플레이(10)를 자유롭게 이동시킬 수 있는 다양한 메커니즘을 적용하여 로봇 암(12)을 구성할 수도 있음은 물론이다.

본 실시예에 따른 로봇 암(12)은 컨트롤러(20)에 의해 구동된다. 컨트롤러(20)는 수술용 로봇(1)에 내장된 마이크로프로세서나, 수술용 로봇(1)에 연결된 컨트롤 박스, 또는 수술용 로봇(1)과 유/무선 통신으로 연결된 퍼스널 컴퓨터 등 다양한 형태로 구현될 수 있다.

컨트롤러(20)는, 수동 방식의 경우에는 사용자의 입력, 자동 방식의 경우에는 미리 저장된 데이터 또는 센서로부터 센싱된 신호를 받아, 3D 디스플레이(10)가 이동할 최종 위치를 파악하고, 3D 디스플레이(10)가 현재 위치로부터 최종 위치로 이동하기 위해 로봇 암(12)이 구동되어야 할 정도를 연산한 후, 로봇 암(12)이 연산된 정도만큼 구동되도록 신호를 생성, 전송한다.

전술한 것처럼, 다관절 링크 형태로 로봇 암(12)을 구성한 경우, 컨트롤러(20)는 각 관절의 회전 정도를 연산한 후, 각 관절이 연산된 정도만큼 회전하도록 각 관절에 구동 신호를 전송한다.

본 실시예에 따른 로봇 암(12)은 수술용 로봇(1)에 연결된다. 즉, 도 1에 도시된 것처럼 일단부에 3D 디스플레이(10)가 결합된 로봇 암(12)의 타단부를 수술용 로봇(1)에 결합할 수 있다. 수술용 로봇(1)에 결합된 로봇 암(12)은 수술용 로봇(1)과 전기적으로도 연결됨으로써, 컨트롤러(20)로부터 생성된 구동 신호를 전송받을 수 있다.

수술용 로봇(1)은 마스터/슬레이브 시스템, 즉 사용자의 조작에 의해 필요한 신호를 생성하여 전송하는 마스터 로봇과, 마스터(master) 로봇으로부터 신호를 받아 직접 환자에 수술에 필요한 조작을 가하는 슬레이브(slave) 로봇이 각각 별도로 분리된 형태로 이루어지거나, 마스터-슬레이브 통합형, 즉 하나로 통합된 수술용 로봇(1)에 대한 사용자의 조작에 의해 수술용 로봇(1)에 장착된 인스트루먼트가 수술에 필요한 조작을 가하는 형태로 이루어질 수 있다.

다만, 본 실시예에 따른 로봇 암(12)이 반드시 수술용 로봇(1)에 결합되어야 하는 것은 아니다. 예를 들어, 로봇 암(12)은 수술실의 천정 등에 고정시키고, 수술용 로봇(1)과는 케이블이나 유/무선 통신에 의해 전기적으로 연결함으로써, 컨트 롤러(20)에 의해 로봇 암(12)이 구동되도록 구성할 수도 있다.

이처럼, 3D 디스플레이(10)를 로봇 암(12)에 결합하고, 로봇 암(12)을 수술용 로봇(1)에 전기적으로 연결함으로써, 의사가 어떤 자세를 취하든지 3D 디스플레이(10)를 의사가 원하는 위치로 이동시킬 수 있으며, 의사는 물론 필요에 따라서는 보조의나 간호사들도 3차원 영상을 볼 수 있도록 3D 디스플레이(10)를 자유롭게 위치시킬 수 있다.

수술용 로봇(1)에 사용자의 조작을 위한 콘솔부(3)가 설치된 경우, 사용자에 의한 수동 조작, 또는 미리 설정된 데이터나 센서에 의한 자동 조작에 의해 3D 디스플레이(10)를 이동시킬 수 있는데, 이 경우 컨트롤러(20)는 사용자의 눈앞에 3D 디스플레이(10)가 위치하도록 로봇 암(12)을 구동시킨다.

즉, 본 실시예에 따른 컨트롤러(20)는 사용자의 눈이 위치하는 지점으로 3D 디스플레이(10)가 이동하도록 로봇 암(12)에 구동 신호를 전송하게 되는데, 사용자의 눈이 위치하는 지점은 사용자에 의한 조작, 미리 설정된 데이터, 또는 센서에 의해 검출된 값 등에 의해 파악할 수 있다.

사용자에 의한 수동 조작에 의해 3D 디스플레이(10)를 이동시킬 경우, 콘솔부(3)에는 조작 핸들(5)이 설치되며, 3D 디스플레이(10)가 사용자의 눈에 위치하도록 사용자가 조작 핸들(5)을 조작하면, 컨트롤러(20)는 조작 핸들(5)로부터 입력된 값에 따라 로봇 암(12)을 구동시켜 3D 디스플레이(10)를 사용자의 눈앞에 위치시키게 된다.

본 실시예에 따른 조작 핸들(5)은 3D 디스플레이(10)의 이동을 위한 전용 핸 들일 수도 있고, 수술용 인스트루먼트(instrument)의 조작을 위한 메인(main) 핸들이 3D 디스플레이(10)의 이동을 위한 조작 핸들(5)로 사용되도록 할 수도 있다. 후자의 경우 메인 핸들에 선택 버튼 등을 추가로 설치하여, 평소에는 메인 핸들을 인스트루먼트의 조작을 위해 사용하다가, 3D 디스플레이(10)를 이동시킬 경우에는 선택 버튼을 누른 후 핸들을 조작함으로써, 메인 핸들이 본 실시예에 다른 조작 핸들(5)로도 사용되도록 할 수 있다.

또한, 본 실시예에 따른 조작 핸들(5)을 3D 디스플레이(10)에 설치하여, 사용자가 조작 핸들(5)을 잡고 3D 디스플레이(10)를 직접 움직일 수도 있다.

한편, 사용자의 눈이 위치하는 지점을 센싱하여 3D 디스플레이(10)가 자동으로 사용자의 눈앞으로 이동하도록 할 수도 있다. 이 경우에는 사용자의 눈을 감지하는 센싱부(22)를 컨트롤러(20)에 연결하고, 센싱부(22)가 사용자의 눈의 위치를 센싱하여 전송한 신호를 컨트롤러(20)가 수신하여 로봇 암(12)을 구동시키게 된다.

센싱부(22)는 사용자의 눈을 감지하는 센서와 신호 전송을 위한 케이블, 그리고 경우에 따라서는 신호를 처리하는 프로세서 등을 포함할 수 있다. 예를 들어, 사용자의 눈의 위치를 파악하기 위해 이미지 센서를 사용할 경우, 프로세서는 이미지 센서로부터 획득된 영상을 분석하여 사용자의 눈이 위치하는 지점의 좌표를 산출하고, 산출된 좌표값은 컨트롤러(20)에 전송됨으로써, 컨트롤러(20)가 사용자의 눈의 위치로 3D 디스플레이(10)를 이동시키도록 할 수 있다.

다만, 본 실시예에 따른 센싱부(22)가 반드시 사용자의 눈을 센싱해야만 하는 것은 아니며, 사용자의 얼굴이나 신체의 다른 부분, 또는 사용자가 특정 기구물 을 착용할 경우에는 해당 기구물을 감지하여, 그로부터 사용자의 눈의 위치를 파악하고 그에 따른 신호를 컨트롤러(20)로 전송하도록 할 수도 있다.

예를 들어, 본 실시예에 따른 센싱부(22)가 감지할 수 있는 전용 표식을 사용자가 신체의 특정 위치에 착용하고 로봇 수술을 수행하게 되면, 센싱부(22)는 해당 표식을 감지한 후, 그 표식의 위치로부터 사용자의 눈의 위치를 산출하고 그에 따라 센싱 신호를 생성, 전송할 수 있다.

이로써, 본 실시예에 따른 3D 디스플레이(10) 시스템은 사용자의 위치 또는 움직임을 감지하여, 일정 범위 내에서 3D 디스플레이(10)가 자동으로 사용자의 눈의 위치를 추적하여 이동하도록 할 수 있다.

한편, 본 실시예에 따른 수술용 로봇(1)을 조작하는 사용자별로 3D 디스플레이(10)가 위치해야할 지점을 미리 세팅해 놓고, 해당 사용자가 수술용 로봇(1)을 조작할 경우에는 그에 맞도록 3D 디스플레이(10)를 이동시키도록 구성할 수 있다.

이 경우에는 각 사용자별로 3D 디스플레이(10)가 위치할 지점, 예를 들면 눈의 위치에 관한 데이터를 미리 저장하고 있는 저장부(24)를 컨트롤러(20)에 연결하고, 해당 사용자가 수술용 로봇(1)에 억세스하게 되면, 컨트롤러(20)는 저장부(24)로부터 해당 사용자에 관한 데이터를 로딩하여 사용자의 눈앞에 3D 디스플레이(10)가 위치하도록 로봇 암(12)을 구동시키게 된다.

이를 위해 본 실시예에 따른 수술용 로봇(1)에는 사용자를 판단할 수 있는 ID 식별부를 추가로 구비하여, 수술용 로봇(1)에 억세스하는 사용자를 파악하도록 할 수 있다. ID 식별부는 사용자가 소지하고 있는 ID 카드 등을 수동으로 인식시키 는 방식, 또는 사용자의 몸에 착용된 ID 칩 등을 자동으로 인식하는 방식, 지문 인식 장치를 설치하여 사용자를 인식하는 방식 등 다양한 방식의 식별 장치가 사용될 수 있다.

이에 따라, 특정 사용자가 수술용 로봇(1)에 억세스하였음이 파악되면, 컨트롤러(20)는 해당 사용자에 관한 데이터를 저장부(24)로부터 불러와 3D 디스플레이(10)를 해당 사용자에게 맞도록 위치시키게 된다.

한편, 저장부(24)에 데이터가 저장되어 있지 않은 사용자의 경우에는, 전술한 수동 조작 또는 센싱 방식에 의해 3D 디스플레이(10)를 이동시키고, 이 때 사용된 데이터를 해당 사용자에 관한 데이터로서 저장부(24)에 추가로 저장할 수 있다.

또한, 이미 저장부(24)에 데이터가 저장되어 있는 사용자라 하더라도, 필요에 따라서는 3D 디스플레이(10)의 위치에 관한 데이터를 갱신하여 저장할 수도 있으며, 1명의 사용자에 대해서도 자세나 움직임 등에 따라 복수의 데이터를 저장할 수 있다. 이 경우에는 사용자의 ID 뿐만 아니라 자세나 움직임 등에 대한 정보도 같이 파악한 후, 컨트롤러(20)가 해당 사용자의 해당 자세 등에 관하여 미리 저장되어 있는 데이터를 로딩하여 3D 디스플레이(10)를 정확히 원하는 위치로 이동시킬 수 있다.

이로써, 본 실시예에 따른 3D 디스플레이 시스템은 신체조건 등이 상이한 각 사용자별로 3D 디스플레이(10)가 위치할 지점을 개별적으로 저장하여, 수술용 로봇(1)을 사용하는 각 사용자에 최적화되도록 3D 디스플레이(10)의 구동을 관리할 수 있다.

한편, 본 실시예에 따른 3D 디스플레이 시스템은 수술용 인스트루먼트의 조작을 위한 슬레이브 로봇의 유무에 관계없이 사용할 수 있으므로, 전술한 바와 같이 마스터-슬레이브 통합형 수술용 로봇(1)의 인스트루먼트, 즉 이른바 '인텔리전트 인스트루먼트(intelligent instrument)'의 경우에도 활용할 수 있다.

도 2는 본 발명의 실시예에 따른 수술용 로봇의 3D 디스플레이 시스템 제어방법을 나타낸 순서도이다. 이하, 전술한 3D 디스플레이 시스템을 제어하는 방법에 관하여 설명한다.

본 실시예에 따른 3D 디스플레이(10)는 수술용 로봇(1)에 전기적으로 연결되어 있으며, 수술용 로봇(1)에는 컨트롤러(20)가 장착되어 있어 수술용 로봇(1)에 연결된 3D 디스플레이(10)의 이동을 제어한다.

본 실시예는 수술용 로봇(1)을 사용하는 사용자에 맞도록 3D 디스플레이(10)를 이동시켜 사용자별, 그리고 각 사용자의 자세에 가장 적합하게 3D 디스플레이(10)를 위치시키는 제어방법을 특징으로 하며, 이를 위해 먼저 수술용 로봇(1)에 억세스한 사용자에 관한 정보를 획득한다(S10).

사용자에 관한 정보는 3D 디스플레이(10)를 이동시키기 위한 입력 정보에 해당하는 것으로, 예를 들어 사용자의 눈앞에 3D 디스플레이(10)가 위치하도록 할 경우 사용자에 관한 정보는 사용자의 눈의 위치에 관한 좌표가 될 수 있다.

3D 디스플레이(10)를 통해 표시되는 영상은 수술 환자의 체내에 삽입되는 복강으로부터 촬영된 영상일 수 있으며, 필요에 따라서는 복강경 등으로부터 촬영된 영상 정보를 3D 디스플레이(10)에 3차원 영상으로 표시될 수 있도록 이미지 프 로세싱한 데이터가 사용될 수 있음은 전술한 바와 같다.

사용자에 관한 정보를 획득하는 방법으로는, 센서에 의해 사용자의 눈의 위치를 센싱(S12)하는 방법과, 미리 저장된 사용자의 눈의 위치에 관한 데이터를 로딩(S16)하는 방법 등을 들 수 있다.

사용자의 눈의 위치를 센싱하기 위한 구체적인 수단에 관하여는 전술한바 있으므로 그에 대한 상세한 설명은 생략한다. 센서에 의해 사용자의 눈의 위치를 센싱한 경우, 센서는 센싱에 따른 소정의 신호를 생성, 전송하며, 본 실시예에 따른 컨트롤러(20)는 이를 수신하여 사용자에 관한 정보, 즉 사용자의 눈의 위치 좌표 등을 도출한다(S14).

사용자에 관한 정보를 미리 데이터 형태로 저장하고 필요에 따라 로딩하는 경우, 이 데이터는 전술한 바와 같이 사용자별로, 또한 각 사용자의 자세별로 사용자의 눈의 위치에 따라 3D 디스플레이(10)가 이동될 위치에 관한 좌표의 형태로 이루어질 수 있다. 사용자별, 각 사용자의 자세별 저장될 데이터의 형태, 데이터의 저장 및 로딩을 위한 구체적인 수단에 관하여는 전술한바 있으므로 그에 대한 상세한 설명은 생략한다.

상기와 같이, 사용자의 눈의 위치를 센싱(S12)하거나, 미리 저장된 데이터에 따라 상기 3D 디스플레이(10)가 이동될 위치를 로딩(S16)한 후에는, 획득된 정보에 따라 로봇 암(12)을 구동시켜 3D 디스플레이(10) 이동시킨다(S20).

이로써, 본 실시예에 따른 수술용 로봇(1)에 특정 사용자가 억세스할 경우, 해당 사용자에 맞도록 3D 디스플레이(10)가 자동으로 움직여 최적의 위치로 이동하 게 된다.

상기와 같이, 본 발명의 실시예에 따른 수술용 로봇의 3D 디스플레이 시스템 및 그 제어방법을 일 실시예에 따라 기술하였으나, 반드시 이에 한정될 필요는 없고, 상기 3D 디스플레이(10) 및 수술용 로봇(1)의 세부적인 구성, 로봇 암(12)과 수술용 로봇(1) 간의 연결 방식, 컨트롤러(20)의 구체적인 작동 양태 등이 달라지더라도 전체적인 작용 및 효과에는 차이가 없다면 이러한 다른 구성은 본 발명의 권리범위에 포함될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 수술용 로봇의 3D 디스플레이 시스템을 도시한 사시도.

도 2는 본 발명의 실시예에 따른 수술용 로봇의 3D 디스플레이 시스템 제어방법을 나타낸 순서도.

<도면의 주요부분에 대한 부호의 설명>

1 : 수술용 로봇 3 : 콘솔부

5 : 조작 핸들 10 : 3D 디스플레이

12 : 로봇 암 20 : 컨트롤러

22 : 센싱부 24 : 저장부

Claims

수술 현장으로부터 획득된 3차원 영상 정보를 표시하는 3D 디스플레이와;

상기 3D 디스플레이에 결합된 로봇 암과;

상기 로봇 암이 연결되며, 사용자의 조작을 위한 콘솔부가 설치되는 수술용 로봇과;

상기 수술용 로봇에 포함된 컨트롤러와;

상기 컨트롤러에 연결되며 사용자의 눈의 위치를 감지하는 센싱부를 포함하되,

상기 컨트롤러는 상기 센싱부로부터 신호를 수신하여, 상기 3D 디스플레이가 상기 사용자의 눈앞의 위치로 이동하도록 상기 로봇 암을 구동시키기 위한 구동 신호를 생성하는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 사용자의 눈의 위치는, 사용자를 촬영하여 획득된 영상을 분석함으로써 공간상의 좌표값으로 산출되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 센싱부는 사용자의 신체의 소정 위치에 착용된 표식을 감지하고, 상기 사용자의 눈의 위치는 감지된 상기 표식의 위치로부터 산출되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 콘솔부에는 조작 핸들이 설치되며,

상기 구동 신호는 상기 조작 핸들에 대한 사용자 조작에 따라 상기 로봇 암으로 전송되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 컨트롤러에는 각 사용자별 눈의 위치에 따라 상기 3D 디스플레이가 이동될 위치에 관한 데이터를 저장하는 저장부가 연결되고,

상기 컨트롤러는 상기 콘솔부를 조작하는 사용자에 상응하여 상기 저장부에 저장된 데이터를 로딩하며,

상기 구동 신호는 상기 데이터가 로딩된 후 상기 로봇 암으로 전송되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 영상 정보는 수술 환자 내에 삽입되는 비전 시스템에 의해 촬영되어 상기 3D 디스플레이에 표시되도록 처리된 영상 정보인 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 로봇 암은 상기 3D 디스플레이가 소정의 위치로 이동하도록 상기 컨트롤러에 의해 구동되는 다관절 링크를 포함하는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
제1항에 있어서,

상기 로봇 암의 일단부는 수술실의 구조체에 고정되며, 상기 로봇 암은 상기 수술용 로봇과 전기적으로 연결되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템.
수술용 로봇에 전기적으로 연결된 로봇 암에 결합되는 3D 디스플레이를 제어하는 방법으로서,

상기 수술용 로봇에 억세스한 사용자의 눈의 위치를 센싱하여, 상기 사용자의 눈의 위치에 관한 정보를 획득하는 단계; 및

상기 획득된 정보에 따라, 상기 3D 디스플레이가 상기 사용자의 눈앞의 위치로 이동하도록 상기 로봇 암을 구동시키기 위한 구동 신호를 생성하는 단계를 포함하는 수술용 로봇의 3D 디스플레이 시스템 제어방법.
제9항에 있어서,

상기 수술용 로봇에는 조작 핸들이 설치되며,

상기 구동 신호는 상기 조작 핸들에 대한 사용자 조작에 따라 상기 로봇 암으로 전송되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템 제어방법.
제9항에 있어서,

상기 수술용 로봇에는, 각 사용자별 눈의 위치에 따라 상기 3D 디스플레이가 이동될 위치에 관한 데이터가 미리 저장되어 있으며,

상기 구동 신호는 상기 데이터가 로딩된 후 상기 로봇 암으로 전송되는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템 제어방법.
제9항에 있어서,

상기 3D 디스플레이는 수술 환자의 체내에 삽입되는 비전 시스템에 의해 촬영된 영상 정보를 표시하는 것을 특징으로 하는 수술용 로봇의 3D 디스플레이 시스템 제어방법.
삭제