KR20150007517A

KR20150007517A - 실감형 시각정보를 이용한 수술동작 지시방법

Info

Publication number: KR20150007517A
Application number: KR1020130081551A
Authority: KR
Inventors: 김기현; 박준우
Original assignee: 현대중공업 주식회사
Priority date: 2013-07-11
Filing date: 2013-07-11
Publication date: 2015-01-21

Abstract

본 발명은 실감형 시각정보를 이용한 수술동작 지시방법에 관한 것으로서, 복강경으로 인체 내 장기 영상을 3차원으로 촬영하여 획득하는 단계; 상기 3차원 장기 영상을 3D 홀로그램 디스플레이로 외부의 3차원 공간상에 도시하는 단계; 상기 3D 홀로그램 디스플레이에 의해 3차원 공간상에 도시된 상기 3차원 장기 영상에 수술 행위를 하면 일련의 모션을 인식하는 단계; 상기 모션을 인식하여 수술 로봇의 동작을 지시하는 단계; 및 수술이 진행되면서 일어나는 장기형태의 변형을 실시간으로 반영하여 3차원 장기영상으로 도시하는 단계를 포함하고 있으며, 수술자가 복강 내 장기들의 형상을 개복 및 안경 등의 기타 장비 없이 3차원 장기영상으로 쉽게 파악할 수 있는 효과가 있다.

Description

실감형 시각정보를 이용한 수술동작 지시방법{Control method of surgical action using realistic visual information}

본 발명은 실감형 시각정보를 이용한 수술동작 지시방법에 관한 것으로서, 상세하게는 환자의 장기영상을 3차원으로 촬영하여 3D 홀로그램 디스플레이에 도시하고, 상기 3차원 장기영상 위에서 수술의가 모조 혹은 실물 수술도구를 잡고 실제 수술 행위와 동일한 모션을 하면 이를 인지하여, 수술 로봇과 연계되어 작동하는 홀로그램 영상 위에서 마치 실제 장기의 수술을 직접 실행하는 것처럼 수술동작을 지시하도록 한 실감형 시각정보를 이용한 수술동작 지시방법에 관한 것이다.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

이러한 수술로봇을 이용한 수술 중에서 복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보는 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.

수술로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 수술자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다.

이러한 수술로봇 시스템 중에서 대표적인 것으로 좌우 2개의 2차원 영상을 양안식 디스플레이로 좌우측 눈에 각각 도시하여 나타내는 다빈치 시스템이 있고, 좌우 2개의 2차원 영상을 필터링하여 안경을 착용한 상태에서 3차원으로 인식하도록 한 안경을 이용한 3차원 영상기법이 있다.

그런데 상기한 수술로봇 시스템들은 모두 실제 복강경 수술에 사용되고 있는 것으로서, 실제 환자에 적용하여 사용하고 있기 때문에 수술로봇을 조작하는 의사들의 상당한 숙련도를 요구하고 있어, 숙련도 향상을 위한 별도의 훈련시스템으로 컴퓨터 화면에 장기영상을 띄어놓고 연습하는 것이 보통이나, 이러한 방식은 실제 수술로봇을 조작하여 복강경 수술을 하는 것과 비교할 때 현실성이 많이 떨어져 제대로 된 훈련을 할 수 없다는 문제가 있다.

한국 공개특허공보 제10-2003-0083695호

본 발명은 상기한 바와 같은 제반 문제를 해결하기 위한 것으로, 환자의 복강 내의 장기를 복강경에 의해 3차원 장기영상으로 촬영하여 획득하고, 상기 3차원 장기영상을 3D 홀로그램 디스플레이로 3차원 공간상에 도시하며, 도시된 입체 장기영상 위에서 마치 실제 장기를 다루듯이 수술 행위를 하면 이를 인식하여, 이러한 수술 행위와 연계되어 작동하는 수술 로봇에 의해 실제 장기를 수술하는 것처럼 실감 있게 직접 눈으로 보면서 실제 수술 행위를 하는 것으로 수술 로봇의 동작을 지시하도록 한 실감형 시각정보를 이용한 수술동작 지시방법을 제공함에 있다.

즉 본 발명에서는 비록 가상이지만 실제 장기와 동일한 형태의 입체 장기 영상 위에서 수술 행위를 하고, 행위에 따라 실제 장기를 수술하는 것과 같은 영상이 그대로 눈 앞에서 입체적으로 실감 있게 진행되어, 복강 내 장기의 파악은 물론 복강경 수술을 위한 별도의 훈련 없이도 기존의 외과 수술법과 거의 동일하게 로봇 수술을 실행하는데 적합한 실감형 시각정보를 이용한 수술동작 지시방법을 제공함에 있다.

상기한 바와 같은 목적을 달성하기 위해 본 발명의 실감형 시각정보를 이용한 수술동작 지시방법은, 복강경으로 인체 내 장기 영상을 3차원으로 촬영하여 획득하는 단계; 상기 3차원 장기 영상을 3D 홀로그램 디스플레이로 외부의 3차원 공간상에 도시하는 단계; 상기 3D 홀로그램 디스플레이에 의해 3차원 공간상에 도시된 상기 3차원 장기 영상에 수술 행위를 하면 일련의 모션을 인식하는 단계; 상기 모션을 인식하여 수술 로봇의 동작을 지시하는 단계; 및 수술이 진행되면서 일어나는 장기형태의 변형을 실시간으로 반영하여 3차원 장기영상으로 도시하는 단계;를 포함하는 것을 특징으로 하고 있다.

또 상기 3차원 장기 영상을 촬영하여 획득하고 수술 로봇으로 실제 수술작업을 실행하는 단계는 부제어장치(Robot)에 의해 이루어지고, 상기 3차원 장기 영상을 3D 홀로그램 디스플레이로 도시하고, 도시된 입체 장기 영상 위에 수술 행위를 하면 일련의 모션을 인식하여 상기 부제어장치(Robot)의 수술 로봇에 동작 지시를 하며, 지시된 동작대로 상기 수술 로봇이 실제 수술을 하면서 변형되는 장기의 형태를 실시간으로 반영하여 3차원 홀로그램으로 도시된 3차원 장기영상에 도시하는 단계는 주제어장치(Console)에 의해 이루어지는 것이 바람직하다.

또 상기 주제어장치(Console)는 부제어장치(Robot)에서 복강경으로부터 획득한 3차원 장기영상을 실시간으로 제공받고, 상기 부제어장치(Robot)는 주제어장치(Console)로부터 실시간 또는 지연시간으로 가상의 수술동작의 오더를 받아 실제의 장기에 수술동작을 실행하는 것이 바람직하다.

본 발명의 실감형 시각정보를 이용한 수술동작 지시방법에 의하면, 수술자가 복강 내 장기들의 형상을 개복 및 안경 등의 기타 장비 없이 3차원 장기영상으로 쉽게 파악할 수 있는 효과가 있다.

또 수술의의 지시를 모조 또는 실물 수술도구를 잡고 3차원 장기영상 위에 직접 교시하면 수술 로봇이 실제 장기를 수술하고, 수술에 의해 변형되는 실제 장기가 3차원 장기영상에 그대로 도시됨으로써, 변형되어 도시되는 상기 3차원 장기영상에 의해 직관적인 수술도구의 조작이 가능한 효과가 있다.

도 1은 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법의 사용형태를 간략하게 나타낸 개념도
도 2는 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법을 장치의 관점에서 순서적으로 표현한 개념도

이하, 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법의 바람직한 실시예를 첨부한 도면을 참조로 하여 상세히 설명한다. 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다.

도 1은 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법의 사용형태를 간략하게 나타낸 개념도이고, 도 2는 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법을 장치의 관점에서 순서적으로 표현한 개념도를 도시한 것이다.

본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법은 실제로 복강 내 장기의 수술을 하는 것처럼 3차원 장기영상의 홀로그램 이미지를 이용하여, 수술의가 모조 또는 실물 수술도구로 잡고 실제 수술을 하는 것처럼 상기 3차원 장기영상에다 직접 수술을 실시하면, 수술로봇이 실제 장기를 수술을 하게 되며, 수술에 의해 변형되는 실제 장기는 상기 3차원 장기영상이 똑같이 실시간으로 변형되면서 도시되는 것이 특징이다.

이러한 실감형 시각정보를 이용한 수술동작 지시방법을 간략하게 설명하면 도 1에 도시한 바와 같이, 부제어장치(Robot)와 주제어장치(Console)에 의해 수술동작을 실행하고 수술로봇에 수술을 지시하는 것으로 구분하여 설명할 수 있다.

상기 부제어장치(Robot)는 복강경(Endoscopic camera)에 의해 환자의 복강 내의 장기를 3차원으로 촬영하여 3차원 장기영상을 이미지 데이터의 형식으로 주제어장치(Console)에 실시간으로 보내게 되며, 상기 복강경과 함께 실질적으로 수술도구라 할 수 있는 수술로봇을 포함하고 있어, 상기 수술로봇에 의해 상기 주제어장치(Console)의 3차원 장기영상에서 실행하는 수술동작의 모션을 인식하여 실제 장기의 수술을 실행하게 된다.

상기 주제어장치(Console)는 부제어장치(Robot)로부터 제공된 이미지 데이터인 3차원 장기영상을 도시하는 3D 홀로그램 디스플레이를 포함하고 있으며, 상기 주제어장치(Console)의 일부를 구성하는 인식 및 조정도구(Recognition and Tracking devices)에 의해 수술의가 모조 또는 실제 수술도구를 잡고 실제 수술을 하는 것처럼 수술동작을 상기 3차원 장기영상에다 실행하면 이러한 일련의 수술동작의 모션을 인식하고, 인식된 수술동작의 모션을 상기 부제어장치(Robot)로 실시간 또는 지연시간으로 전송하여, 수술로봇이 상기 모션을 인식하여 실제 장기에 같은 수술동작을 실행하게 된다.

이와 같이 부제어장치(Robot)는 수술에 필요한 동작의 지시를 위한 오더를 전송 받으면, 상기 수술동작의 모션과 연계된 수술로봇을 이용하여 실제 장기의 수술을 하는 것처럼 실행하게 되고, 수술로봇에 의한 수술에 의해 실제 장기의 형상이 변하면 변형된 장기의 형상은 홀로그램으로 도시된 장기영상에도 그대로 실시간으로 적용되어 변형되어 도시됨으로써, 수술의는 변형되는 3차원 장기영상을 통해 실제 장기가 어떻게 수술이 되고 있는지 확인할 수 있다.

그리고 상기한 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법을 장치의 관점에서 설명하면, 도 2에 도시한 바와 같이, 상기 부제어장치(Robot)는 복강경(Endoscopic camera)에 의해 복강 내의 장기를 촬영하는 스캔에 의해 이미지 데이터를 획득하고 이를 주제어장치(Console)로 전송하여 보내면, 상기 주제어장치(Console)에서는 이미지 데이터를 3차원 이미지의 장기영상으로 재구성하여 수술의인 외과의사가 모조 또는 실제 수술도구를 손으로 잡고 3차원 장기영상에다 수술동작을 실행하도록 한다.

이렇게 3차원 장기영상이 3D 홀로그램 디스플레이에 입력되면, 수술의인 외과의사가 잡고 있는 모조 또는 실제 수술도구로 3차원 장기영상에다 직접 특정 수술동작을 실행하고, 이러한 수술동작의 일련의 모션을 수술로봇이 하도록 인식 및 조정도구(Recognition and Tracking devices)에 의해 부제어장치(Robot)로 오더를 주면, 상기 부제어장치(Robot)에서는 수술로봇에 의해 3차원 장기영상에다 한 특정한 수술동작을 실제 장기에 똑같이 실행하게 된다.

이상과 같이 본 발명에 따른 실감형 시각정보를 이용한 수술동작 지시방법에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

Claims

복강경으로 인체 내 장기 영상을 3차원으로 촬영하여 획득하는 단계;
상기 3차원 장기 영상을 3D 홀로그램 디스플레이로 외부의 3차원 공간상에 도시하는 단계;
상기 3D 홀로그램 디스플레이에 의해 3차원 공간상에 도시된 상기 3차원 장기 영상에 수술 행위를 하면 일련의 모션을 인식하는 단계;
상기 모션을 인식하여 수술 로봇의 동작을 지시하는 단계; 및
수술이 진행되면서 일어나는 장기형태의 변형을 실시간으로 반영하여 3차원 장기영상으로 도시하는 단계;
를 포함하는 것을 특징으로 하는 실감형 시각정보를 이용한 수술동작 지시방법.
제1항에 있어서,
상기 3차원 장기 영상을 촬영하여 획득하고 수술 로봇으로 실제 수술작업을 실행하는 단계는 부제어장치(Robot)에 의해 이루어지고,
상기 3차원 장기 영상을 3D 홀로그램 디스플레이로 도시하고, 도시된 입체 장기 영상 위에 수술 행위를 하면 일련의 모션을 인식하여 상기 부제어장치(Robot)의 수술 로봇에 동작 지시를 하며, 지시된 동작대로 상기 수술 로봇이 실제 수술을 하면서 변형되는 장기의 형태를 실시간으로 반영하여 3차원 홀로그램으로 도시된 3차원 장기영상에 도시하는 단계는 주제어장치(Console)에 의해 이루어지는 것을 특징으로 하는 실감형 시각정보를 이용한 수술동작 지시방법.
제1항 또는 제2항 중 어느 한 항에 있어서,
상기 주제어장치(Console)는 부제어장치(Robot)에서 복강경으로부터 획득한 3차원 장기영상을 실시간으로 제공받고, 상기 부제어장치(Robot)는 주제어장치(Console)로부터 실시간 또는 지연시간으로 가상의 수술동작의 오더를 받아 실제의 장기에 수술동작을 실행하는 것을 특징으로 하는 실감형 시각정보를 이용한 수술동작 지시방법.