KR101713836B1 - 체감형 수술용 영상 처리 장치 및 방법 - Google Patents

Abstract

체감형 수술용 영상 처리 장치 및 방법이 개시된다. 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 영상 입력부와, 내시경 영상을 특정 영역에 출력하는 화면 표시부와, 수술용 내시경의 관점에 상응하여 내시경 영상을 출력하는 화면 표시부의 특정 영역을 변경하는 화면 표시 제어부를 포함하는 체감형 수술용 영상 처리 장치는 수술용 내시경의 움직임에 상응하여 사용자가 보는 모니터에 출력되는 내시경 영상의 출력 위치를 변화시킴으로써, 사용자가 실제 수술 상황을 보다 현실감 있게 느낄 수 있도록 하는 효과가 있다.

Description

체감형 수술용 영상 처리 장치 및 방법{Apparatus and Method for processing surgical image based on motion}

본 발명은 영상 처리 장치에 관한 것으로, 특히 체감형 수술용 영상 처리 장치 및 방법에 관한 것이다.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보는 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 수술이 점차 표준 수술로 인식되어 가는 추세이다.

수술 로봇 시스템은 일반적으로 마스터 로봇과 슬레이브 로봇으로 구성된다. 사용자가 마스터 로봇에 구비된 조종기(예를 들어 핸들)를 조작하면, 슬레이브 로봇의 로봇 암에 결합되거나 로봇 암이 파지하고 있는 수술도구가 조작되어 수술이 수행된다. 마스터 로봇과 슬레이브 로봇은 통신망을 통해 결합되어 네트워크 통신을 하게 된다.

현재 복강경 수술 시 복강경에 의해 촬영된 수술 영상이 사용자에게 출력되어 사용자가 이를 보며 수술하고 있으나 직접 개복하여 수행하는 수술보다는 실제감이 다소 떨어지는 문제점이 있다. 이러한 문제점은 복강경이 복강내에서 이동 및 회전하여 다른 부위를 비추는 경우에도 사용자가 보는 영상은 동일한 위치 및 크기의 모니터에서 출력되기 때문에 상술한 바와 같은 조종기와 영상과의 상대적인 거리감 및 움직임이 실제 복강내의 수술도구와 장기과의 상대적인 거리감 및 움직임과 다르게 되기 때문에 발생될 수 있다.

또한, 복강경에 의해 촬영된 수술 영상은 수술 도구의 일부 형상만을 포함하고 있으므로, 사용자는 이들이 서로 충돌하거나 중첩되는 경우 조작이 어렵거나 시야가 가려서 원활히 수술을 진행하지 못하는 경우가 발생할 수 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은 수술용 내시경의 움직임에 따라 변화하는 내시경의 관점에 상응하여, 사용자가 보는 모니터에 출력되는 내시경 영상의 출력 위치를 변화시킴으로써, 사용자가 실제 수술 상황을 보다 현실감 있게 느낄 수 있도록 하는 체감형 수술용 영상 처리 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명은 현재 시점에서, 이전에 입력되어 저장된 내시경 영상을 추출하여 현재의 내시경 영상과 함께 화면 표시부에 출력함으로써, 내시경 영상의 변화에 대한 정보를 사용자에게 알려 줄 수 있는 체감형 수술용 영상 처리 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명은 수술시 내시경을 이용하여 실제 촬영한 내시경 영상과 미리 수술 도구에 대해 생성하여 영상 저장부에 저장한 모델링 영상을 각각 또는 서로 정합하거나 그 크기를 조절하는 등 영상을 수정하여 사용자가 관찰가능한 모니터에 출력할 수 있는 체감형 수술용 영상 처리 장치 및 방법을 제공하기 위한 것이다.

또한, 본 발명은 다양하게 변화하는 내시경의 관점에 상응하여 모니터를 회전 및 이동시킴으로써, 사용자가 수술에 대한 현실감을 보다 생생하게 느끼게 할 수 있는 체감형 수술용 영상 처리 장치 및 방법을 제공하기 위한 것이다.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 영상 입력부와, 내시경 영상을 특정 영역에 출력하는 화면 표시부와, 수술용 내시경의 관점에 상응하여 내시경 영상을 출력하는 화면 표시부의 특정 영역을 변경하는 화면 표시 제어부를 포함하는 체감형 수술용 영상 처리 장치가 제공된다.

여기서, 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상이 될 수 있으며, 입체 내시경이 될 수도 있다.

여기서, 화면 표시 제어부는, 수술용 내시경의 이동 및 회전에 상응하여 수술용 내시경의 관점 정보를 추적하는 내시경 관점 추적부와, 수술용 내시경의 관점 정보를 이용하여 내시경 영상의 이동 정보를 추출하는 영상 이동 정보 추출부와, 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부의 특정 영역을 설정하는 영상 위치 설정부를 포함할 수 있다.

또한, 화면 표시 제어부는, 내시경 영상의 중심점을 수술용 내시경의 관점의 좌표 변화값에 상응하여 이동시킬 수 있다.

본 발명의 다른 측면에 따르면, 수술용 내시경으로부터 서로 다른 시점에 제공되는 제1 내시경 영상 및 제2 내시경 영상을 입력받는 영상 입력부와, 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하는 화면 표시부와, 제1 내시경 영상과 제2 내시경 영상을 저장하는 영상 저장부와, 수술용 내시경의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부를 제어하는 화면 표시 제어부를 포함하는 체감형 수술용 영상 처리 장치가 제공된다.

여기서, 영상 입력부는 제1 내시경 영상을 제2 내시경 영상보다 먼저 입력받을 수 있으며, 화면 표시부는 제1 내시경 영상과 제2 내시경 영상을 채도, 명도, 색상 및 화면 패턴 중 어느 하나 이상을 다르게 출력할 수 있다.

또한, 화면 표시 제어부는, 화면 표시부가 실시간으로 입력된 제2 내시경 영상을 출력하는 동안 영상 저장부에 저장된 제1 내시경 영상을 추출하여 화면 표시부에 출력하는 저장 영상 표시부를 더 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 영상 입력부와, 내시경 영상을 특정 영역에 출력하는 화면 표시부와, 수술용 내시경이 촬영하는 수술 대상을 수술하는 수술 도구에 관한 모델링 영상을 저장하는 영상 저장부와, 내시경 영상과 모델링 영상을 서로 정합하여 출력 영상을 생성하는 영상 정합부와, 수술용 내시경의 관점에 상응하여 내시경 영상을 출력하는 화면 표시부의 특정 영역을 변경하며, 정합된 내시경 영상과 모델링 영상을 화면 표시부에 출력하는 화면 표시 제어부를 포함하는 체감형 수술용 영상 처리 장치가 제공된다.

여기서, 영상 정합부는 내시경 영상에 포함되는 실제 수술 도구 영상과 모델링 영상에 포함되는 모델링 수술 도구 영상을 서로 정합하여 출력 영상을 생성할 수 있다.

또한, 영상 정합부는, 내시경 영상 및 하나 이상의 로봇 암에 결합된 실제 수술 도구의 위치 좌표정보 중 하나 이상을 이용하여 특성값을 연산하는 특성값 연산부와, 특성값 연산부에서 연산된 특성값에 상응하는 모델링 영상을 구현하는 모델링 영상 구현부를 더 포함할 수 있다.

여기서, 영상 정합부는, 모델링 수술 도구 영상으로부터 모델링 수술 도구 영상과 실제 수술 도구 영상의 중첩 영역을 제거하는 중첩 영상 처리부를 더 포함할 수 있으며, 또한, 모델링 영상에 출력되는 모델링 수술 도구 영상의 위치는 수술 도구의 조작정보를 이용하여 설정될 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 영상 입력부와, 내시경 영상을 출력하는 화면 표시부와, 화면 표시부를 회전 및 이동시키는 화면 구동부와, 수술용 내시경의 관점에 상응하여 화면 구동부가 화면 표시부를 회전 및 이동시키도록 화면 구동부를 제어하는 화면 구동 제어부를 포함하는 체감형 수술용 영상 처리 장치가 제공된다.

여기서, 화면 구동 제어부는, 수술용 내시경의 이동 및 회전에 상응하여 수술용 내시경의 관점 정보를 추적하는 내시경 관점 추적부와, 수술용 내시경의 관점 정보를 이용하여 내시경 영상의 이동 정보를 추출하는 영상 이동 정보 추출부와, 이동 정보를 이용하여 화면 표시부의 화면 구동 정보를 생성하는 구동 정보 생성부를 포함할 수 있다.

여기서, 화면 구동부는 일단이 상기 화면 표시부에 결합하여 소정의 이동 홈을 따라 상기 화면 표시부를 이동시키거나 또는 상기 화면 구동부는 일단이 상기 화면 표시부에 결합하여 상기 화면 표시부를 공간상에 이동 및 회전시키는 로봇 암 형태의 공간상 이동 구동부가 될 수 있다.

여기서, 화면 표시부는, 돔 형상의 스크린과, 돔 형상의 스크린에 내시경 영상을 투사하는 프로젝터를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 단계, 내시경 영상을 화면 표시부의 특정 영역에 출력하는 단계 및 수술용 내시경의 관점에 상응하여 내시경 영상을 출력하는 화면 표시부의 특정 영역을 변경하는 단계를 포함하는 체감형 수술용 영상 처리 방법이 제공된다.

여기서, 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상이 될 수 있으며, 입체 내시경이 될 수도 있다.

또한, 화면 표시부의 특정 영역을 변경하는 단계는, 수술용 내시경의 이동 및 회전에 상응하여 수술용 내시경의 관점 정보를 추적하는 단계, 수술용 내시경의 관점 정보를 이용하여 내시경 영상의 이동 정보를 추출하는 단계 및 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부의 특정 영역을 설정하는 단계를 포함할 수 있다.

여기서, 화면 표시부의 특정 영역을 변경하는 단계는, 내시경 영상의 중심점을 수술용 내시경의 관점의 좌표 변화값에 상응하여 이동시키는 단계를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서, 수술용 내시경으로부터 서로 다른 시점에 제공되는 제1 내시경 영상 및 제2 내시경 영상을 입력받는 단계, 제1 내시경 영상과 제2 내시경 영상을 화면 표시부의 서로 다른 영역에 출력하는 단계, 제1 내시경 영상과 제2 내시경 영상을 저장하는 단계 및 수술용 내시경의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부를 제어하는 단계를 포함하는 체감형 수술용 영상 처리 방법이 제공된다.

여기서, 내시경 영상을 입력받는 단계는, 제1 내시경 영상을 제2 내시경 영상보다 먼저 입력받을 수 있으며, 출력 단계는, 제1 내시경 영상과 제2 내시경 영상을 채도, 명도, 색상 및 화면 패턴 중 어느 하나 이상을 다르게 출력할 수 있다.

또한, 화면 표시부 제어 단계는, 화면 표시부가 실시간으로 입력된 제2 내시경 영상을 출력하는 동안 영상 저장부에 저장된 제1 내시경 영상을 추출하여 화면 표시부에 출력하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 단계, 내시경 영상을 화면 표시부의 특정 영역에 출력하는 단계, 수술용 내시경이 촬영하는 수술 대상을 수술하는 수술 도구에 관한 모델링 영상을 저장하는 단계, 내시경 영상과 모델링 영상을 서로 정합하여 출력 영상을 생성하는 단계 및 수술용 내시경의 관점에 상응하여 내시경 영상을 출력하는 화면 표시부의 특정 영역을 변경하며, 정합된 내시경 영상과 모델링 영상을 화면 표시부에 출력하는 단계를 포함하는 체감형 수술용 영상 처리 방법이 제공된다.

여기서, 출력 영상을 생성하는 단계는, 내시경 영상에 포함되는 실제 수술 도구 영상과 모델링 영상에 포함되는 모델링 수술 도구 영상을 서로 정합하여 출력 영상을 생성할 수 있다.

또한, 출력 영상을 생성하는 단계는, 내시경 영상 및 하나 이상의 로봇 암에 결합된 실제 수술 도구의 위치 좌표정보 중 하나 이상을 이용하여 특성값을 연산하는 단계 및 연산된 특성값에 상응하는 모델링 영상을 구현하는 단계를 더 포함할 수 있다.

여기서, 출력 영상을 생성하는 단계는, 모델링 수술 도구 영상으로부터 모델링 수술 도구 영상과 실제 수술 도구 영상의 중첩 영역을 제거하는 단계를 더 포함할 수 있다.

또한, 모델링 영상에 출력되는 모델링 수술 도구 영상의 위치는 수술 도구의 조작정보를 이용하여 설정될 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서, 수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 단계, 내시경 영상을 화면 표시부에 출력하는 단계 및 수술용 내시경의 관점에 상응하여 화면 표시부를 회전 및 이동시키는 단계를 포함하는 체감형 수술용 영상 처리 방법이 제공된다.

여기서, 화면 표시부를 회전 및 이동시키는 단계는, 수술용 내시경의 이동 및 회전에 상응하여 수술용 내시경의 관점 정보를 추적하는 단계, 수술용 내시경의 관점 정보를 이용하여 내시경 영상의 이동 정보를 추출하는 단계, 이동 정보를 이용하여 화면 표시부의 모션 정보를 생성하는 단계를 포함할 수 있다.

여기서, 화면 표시부는, 돔 형상의 스크린과, 돔 형상의 스크린에 내시경 영상을 투사하는 프로젝터를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 상술한 체감형 수술용 영상 처리 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 일단이 회전하는 수술용 내시경으로부터 서로 다른 시점에 제공되는 제1 내시경 영상 및 제2 내시경 영상을 입력받는 영상 입력부와, 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하는 화면 표시부와, 수술용 내시경의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부를 제어하는 화면 표시 제어부를 포함하는 체감형 수술용 영상 처리 장치가 제공된다.

여기서, 수술용 내시경은 주기적으로 회전할 수 있으며, 본 실시예는 수술용 내시경의 일단의 회전과 관련된 회전 방향, 회전 각속도, 가감속 형태, 회전 속력, 회전 시간 시점, 회전 시간 종점, 회전 시간 길이 및 회전 반경 중 어느 하나 이상의 회전 관련 정보를 설정하는 회전 조작부를 더 포함할 수 있다.

여기서, 수술용 내시경은 일단이 폐도형을 형성하도록 회전할 수 있고, 원뿔 또는 각뿔 형상으로 회전할 수 있으며, 수술용 내시경의 회전 궤적은 원, 타원, 삼각형 및 사각형 중 어느 하나가 될 수 있다.

또한, 화면 표시 제어부는, 제1 내시경 영상과 제2 내시경 영상의 중첩 영역을 추출하여 연속 영상을 생성하는 연속 영상 생성부와, 제1 내시경 영상과 제2 내시경 영상의 비중첩 영역을 추출하여 주변 영상을 생성하는 주변 영상 생성부를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 내시경으로부터 제1 내시경 영상을 입력받는 제1 영상 입력부와, 수술용 내시경의 일측에 결합하여 수술용 내시경을 중심으로 회전하는 보조 내시경으로부터 서로 다른 시점에 제공되는 복수의 제2 내시경 영상을 입력받는 제2 영상 입력부와, 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하는 화면 표시부와, 수술용 내시경과 보조 내시경의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부를 제어하는 화면 표시 제어부를 포함하는 체감형 수술용 영상 처리 장치가 제공된다.

여기서, 보조 내시경은 주기적으로 회전할 수 있으며, 본 실시예는 보조 내시경의 일단의 회전과 관련된 회전 방향, 회전 각속도, 가감속 형태, 회전 속력, 회전 시간 시점, 회전 시간 종점, 회전 시간 길이 및 회전 반경 중 어느 하나 이상의 회전 관련 정보를 설정하는 회전 조작부를 더 포함할 수 있다.

또한, 화면 표시 제어부는, 제1 내시경 영상과 제2 내시경 영상의 중첩 영역을 추출하여 연속 영상을 생성하는 연속 영상 생성부와, 제1 내시경 영상과 제2 내시경 영상의 비중첩 영역을 추출하여 주변 영상을 생성하는 주변 영상 생성부를 포함할 수 있다.

또한, 화면 표시 제어부는, 제1 내시경 영상으로부터 연속 영상을 생성하는 연속 영상 생성부와, 제2 내시경 영상을 추출하여 연속 영상의 주변 영상을 생성하는 주변 영상 생성부를 포함할 수 있다.

또한, 보조 내시경은 수술용 내시경에 탈부착 가능하도록 결합할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서, 일단이 회전하는 수술용 내시경으로부터 서로 다른 시점에 제공되는 제1 내시경 영상 및 제2 내시경 영상을 입력받는 단계, 제1 내시경 영상과 제2 내시경 영상을 화면 표시부의 서로 다른 영역에 출력하는 단계 및 수술용 내시경의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부를 제어하는 단계를 포함하는 체감형 수술용 영상 처리 방법이 제공된다.

여기서, 수술용 내시경은 주기적으로 회전할 수 있으며, 본 실시예는 수술용 내시경의 일단의 회전과 관련된 회전 방향, 회전 각속도, 가감속 형태, 회전 속력, 회전 시간 시점, 회전 시간 종점, 회전 시간 길이 및 회전 반경 중 어느 하나 이상의 회전 관련 정보를 설정하는 단계를 더 포함할 수 있다.

수술용 내시경은 일단이 폐도형을 형성하도록 회전할 수 있고, 원뿔 또는 각뿔 형상으로 회전할 수 있으며, 수술용 내시경의 회전 궤적은 원, 타원, 삼각형 및 사각형 중 어느 하나가 될 수 있다.

여기서, 화면 표시부 제어 단계는, 제1 내시경 영상과 제2 내시경 영상의 중첩 영역을 추출하여 연속 영상을 생성하는 단계 및 제1 내시경 영상과 제2 내시경 영상의 비중첩 영역을 추출하여 주변 영상을 생성하는 단계를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 수술용 내시경으로부터 제1 내시경 영상을 입력받는 단계, 수술용 내시경의 일측에 결합하여 수술용 내시경을 중심으로 회전하는 보조 내시경으로부터 서로 다른 시점에 제공되는 복수의 제2 내시경 영상을 입력받는 단계, 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하는 단계, 수술용 내시경과 보조 내시경의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부를 제어하는 단계를 포함하는 체감형 수술용 영상 처리 방법이 제공된다.

여기서, 보조 내시경은 주기적으로 회전할 수 있으며, 본 실시예는 보조 내시경의 일단의 회전과 관련된 회전 방향, 회전 각속도, 가감속 형태, 회전 속력, 회전 시간 시점, 회전 시간 종점, 회전 시간 길이 및 회전 반경 중 어느 하나 이상의 회전 관련 정보를 설정하는 단계를 더 포함할 수 있다.

또한, 화면 표시부 제어 단계는, 제1 내시경 영상과 제2 내시경 영상의 중첩 영역을 추출하여 연속 영상을 생성하는 단계, 제1 내시경 영상과 제2 내시경 영상의 비중첩 영역을 추출하여 주변 영상을 생성하는 단계를 포함할 수 있다.

또한, 화면 표시부 제어 단계는, 제1 내시경 영상으로부터 연속 영상을 생성하는 단계, 제2 내시경 영상을 추출하여 연속 영상의 주변 영상을 생성하는 단계를 포함할 수 있다.

또한, 본 실시예는 보조 내시경을 수술용 내시경에 탈부착 가능하도록 결합하는 단계를 더 포함할 수 있다.

여기서, 화면 표시부는, 돔 형상의 스크린과, 돔 형상의 스크린에 내시경 영상을 투사하는 프로젝터를 포함할 수 있다.

또한, 본 실시예의 또 다른 측면에 따르면, 상술한 체감형 수술용 영상 처리 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체가 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 따른 체감형 수술용 영상 처리 장치 및 방법은 수술용 내시경의 움직임에 따라 변화하는 내시경의 관점에 상응하여, 사용자가 보는 모니터에 출력되는 내시경 영상의 출력 위치를 변화시킴으로써, 사용자가 실제 수술 상황을 보다 현실감 있게 느낄 수 있도록 하는 효과가 있다.

또한, 본 발명에 따른 체감형 수술용 영상 처리 장치 및 방법은 현재 시점에서, 이전에 입력되어 저장된 내시경 영상을 추출하여 현재의 내시경 영상과 함께 화면 표시부에 출력함으로써, 내시경 영상의 변화에 대한 정보를 사용자에게 알려 줄 수 있는 효과가 있다.

또한, 본 발명에 따른 체감형 수술용 영상 처리 장치 및 방법은 수술시 내시경을 이용하여 실제 촬영한 내시경 영상과 미리 수술 도구에 대해 생성하여 영상 저장부에 저장한 모델링 영상을 각각 또는 서로 정합하거나 그 크기를 조절하는 등 영상을 수정하여 사용자가 관찰가능한 모니터에 출력할 수 있는 효과가 있다.

또한, 본 발명에 따른 체감형 수술용 영상 처리 장치 및 방법은 다양하게 변화하는 내시경의 관점에 상응하여 모니터를 회전 및 이동시킴으로써, 사용자가 수술에 대한 현실감을 보다 생생하게 느끼게 할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.
도 2는 본 발명의 제1 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 3은 본 발명의 제1 실시예에 따른 수술용 로봇의 블록 구성도.
도 4는 본 발명의 제1 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도.
도 5는 본 발명의 제1 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도.
도 6은 본 발명의 제1 실시예에 따른 체감형 수술용 영상 처리 방법에 따른 출력 영상의 구성도.
도 7은 본 발명의 제2 실시예에 따른 수술용 로봇의 블록 구성도.
도 8은 본 발명의 제2 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도.
도 9는 본 발명의 제2 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도.
도 10은 본 발명의 제2 실시예에 따른 체감형 수술용 영상 처리 방법에 따른 출력 영상의 구성도.
도 11은 본 발명의 제3 실시예에 따른 수술용 로봇의 블록 구성도.
도 12는 본 발명의 제3 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도.
도 13은 본 발명의 제3 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도.
도 14는 본 발명의 제3 실시예에 따른 체감형 수술용 영상 처리 방법에 따른 출력 영상의 구성도.
도 15는 본 발명의 제4 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 16은 본 발명의 제4 실시예에 따른 수술용 로봇의 블록 구성도.
도 17은 본 발명의 제4 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도.
도 18은 본 발명의 제4 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도.
도 19는 본 발명의 제5 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.
도 20은 본 발명의 제6 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도.
도 21은 본 발명의 제6 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도.
도 22a는 본 발명의 제6 실시예에 따른 수술용 내시경의 회전 동작을 도시한 도면.
도 22b는 본 발명의 제6 실시예에 따른 수술용 내시경의 회전 동작을 도시한 도면.
도 23a 및 도 23b는 본 발명의 제6 실시예에 따른 내시경 영상을 도시한 도면.
도 24는 본 발명의 제7 실시예에 따른 보조 내시경의 회전 동작을 도시한 도면.
도 25는 본 발명의 제8 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 제1 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.

본 실시예는 수술용 내시경의 움직임에 따라 변화하는 내시경의 관점에 상응하여, 사용자가 보는 모니터에 출력되는 내시경 영상(9)의 출력 위치를 변화시킴으로써, 사용자가 실제 수술 상황을 보다 현실감 있게 느낄 수 있도록 하는 특징이 있다. 즉, 내시경의 관점은 수술을 수행하는 사용자의 관점과 일치할 수 있으므로, 본 실시예는 복강 내의 내시경의 관점과 외부 수술 현장에서 내시경 영상(9)을 출력하는 모니터의 위치 및 출력 방향을 일치시킴으로써, 외부 수술 현장에 위치한 시스템의 모션이 실제 환자 내부에서 움직이는 내시경의 모션을 반영하여 보다 현실감을 줄 수 있는 특징이 있다.

본 실시예에 따른 수술용 내시경은 복강경뿐만 아니라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 등과 같이 수술시 촬영 도구로 사용되는 다양한 종류의 도구가 될 수 있다. 또한, 본 실시예에 따른 수술용 내시경은 입체 내시경이 될 수 있다. 즉, 본 실시예에 따른 수술용 내시경은 입체 영상 정보를 생성하는 입체 내시경이 될 수 있으며, 이러한 입체 영상 정보 생성 방식은 다양한 기술로 구현될 수 있다. 예를 들면, 본 실시예에 따른 수술용 내시경이 입체 정보를 가지는 복수의 영상을 획득하기 위해서 복수의 카메라를 구비하거나 또는 하나의 카메라를 이용하여 복수의 영상을 획득하는 등 다양한 방식을 이용하여 입체 영상을 획득할 수 있다. 이러한 방식 이외에도 본 실시예에 따른 수술용 내시경은 기타 다양한 방식에 의해 입체 영상을 생성할 수 있음은 물론이다.

또한, 본 실시예에 따른 체감형 수술용 영상 처리 장치는 반드시 도시된 바와 같은 수술용 로봇 시스템에 한정되어 구현되지 않으며, 수술시 내시경 영상(9)을 출력하며 수술 도구를 이용하여 수술하는 시스템이라면 적용가능하다. 이하에서는 수술용 로봇 시스템에 본 실시예에 따른 수술용 영상 처리 장치가 적용된 경우를 중심으로 설명한다.

도 1 및 도 2를 참조하면, 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조종하는 마스터 로봇(1)을 포함하여 구성된다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 예를 들어 일체형 로봇의 인터페이스 부분에 상응할 수 있다.

마스터 로봇(1)의 마스터 인터페이스(4)는 모니터부(6) 및 마스터 조종기를 포함하고, 슬레이브 로봇(2)은 로봇 암(3) 및 인스트루먼트(5)를 포함한다. 인스트루먼트(5)는 복강경 등과 같은 내시경, 환부에 직접 조작을 가하는 수술용 인스트루먼트 등과 같은 수술 도구이다.

마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 마스터 조종기를 구비한다. 마스터 조종기는 도 1 및 2에 예시된 바와 같이 두 개의 핸들(10)로 구현될 수 있으며, 수술자의 핸들(10) 조작에 따른 조작신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다. 수술자의 핸들(10) 조작에 의해 로봇 암(3) 및/또는 인스트루먼트(5)의 위치 이동, 회전, 절단 작업 등이 수행될 수 있다.

예를 들어, 핸들(10)은 메인 핸들(main handle)과 서브 핸들(sub handle)로 구성될 수 있다. 하나의 핸들만으로 슬레이브 로봇 암(3)이나 인스트루먼트(5) 등을 조작할 수도 있고, 서브 핸들을 추가하여 동시에 복수의 수술 장비를 실시간으로 조작할 수도 있다. 메인 핸들 및 서브 핸들은 그 조작방식에 따라 다양한 기구적 구성을 가질 수 있으며, 예를 들면, 조이스틱 형태, 키패드, 트랙볼, 터치스크린 등 슬레이브 로봇(2)의 로봇 암(3) 및/또는 기타 수술 장비를 작동시키기 위한 다양한 입력수단이 사용될 수 있다.

마스터 조종기는 핸들(10)의 형상으로 제한되지 않으며, 네트워크를 통해 로봇 암(3)의 동작을 제어할 수 있는 형태이면 아무런 제한없이 적용될 수 있다.

마스터 인터페이스(4)의 모니터부(6)에는 인스트루먼트(5)에 의해 입력되는 내시경 영상(9), 카메라 영상 및 모델링 영상이 화상 이미지로 표시된다. 또한, 모니터부(6)에 표시되는 정보는 선택된 영상의 종류에 의해 다양할 수 있을 것이다.

모니터부(6)는 하나 이상의 모니터들로 구성될 수 있으며, 각 모니터에 수술시 필요한 정보들이 개별적으로 표시되도록 할 수 있다. 도 1 및 2에는 모니터부(6)가 세 개의 모니터를 포함하는 경우가 예시되었으나, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다. 또한, 모니터부(6)가 복수의 모니터를 포함하는 경우 화면이 서로 연동되어 확장될 수 있다. 즉, 내시경 영상(9)은 하나의 모니터에 출력되는 윈도우(window)와 같이 각 모니터를 자유롭게 이동할 수 있으며, 각 모니터에 서로 연결되는 일부 영상이 출력됨으로써 전체 영상이 출력될 수도 있다.

슬레이브 로봇(2)과 마스터 로봇(1)은 유선 또는 무선을 통해 상호 결합되어, 마스터 로봇(1)이 슬레이브 로봇(2)에게 조작신호를 전송하고, 슬레이브 로봇(2)은 마스터 로봇(1)에게 인스트루먼트(5)를 통해 입력된 내시경 영상(9)을 전송할 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 인스트루먼트(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.

슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술 도구, 수술 도구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술 도구를 회전시키는 피치 구동부, 수술 도구를 길이 방향으로 이동시키는 이송 구동부와, 수술 도구를 회전시키는 회전 구동부, 수술 도구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술 도구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으며, 수술 부위가 모니터부(6)를 통해 화상 이미지로 표시되도록 하기 위한 인스트루먼트(5)는 독립된 슬레이브 로봇(2)으로 구현될 수도 있으며, 마스터 로봇(1)도 슬레이브 로봇(2)과 일체화되어 구현될 수도 있다.

도 3은 본 발명의 제1 실시예에 따른 수술용 로봇의 블록 구성도이다. 도 3을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 화면 표시 제어부(350), 제어부(370)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 내시경(8)을 포함하는 슬레이브 로봇(2)이 도시된다.

본 실시예에 따른 체감형 수술용 영상 처리 장치는 영상 입력부(310), 화면 표시부(320), 화면 표시 제어부(350)를 포함하는 모듈로 구현될 수 있으며, 물론, 이러한 모듈은 암 조작부(330), 조작신호 생성부(340), 제어부(370)를 포함할 수도 있다.

영상 입력부(310)는 슬레이브 로봇(2)의 내시경(8)을 통해 입력된 영상을 유선 또는 무선 전송을 통해 수신한다. 내시경(8)도 본 실시예에 따른 수술 도구의 한 종류가 될 수 있으며, 그 개수는 하나 이상이 될 수 있다.

화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 화면 표시부(320)는 내시경 영상을 크기 그대로 또는 줌인(Zoom In)/줌아웃(Zoom Out)하여 출력하거나 또는 내시경 영상과 후술할 모델링 영상을 서로 정합하거나 각각 별도의 영상으로 출력할 수 있다.

또한, 화면 표시부(320)는 내시경 영상과 전체 수술 상황을 비추는 영상, 예를 들면, 수술 대상의 외부를 카메라가 촬영하여 생성하는 카메라 영상을 동시 및/또는 서로 정합하여 출력하여 수술시 상황 파악을 용이하게 할 수도 있다.

또한, 화면 표시부(320)는 출력 영상의 일부분 또는 별도의 화면에 생성된 창(window)에 전체 영상(내시경 영상, 모델링 영상 및 카메라 영상 등)에 대한 축소된 영상을 출력하고, 수술자가 상술한 마스터 조종기를 이용하여 출력된 축소된 영상 중 특정 지점을 선택하거나 회전시키는 경우 출력 영상 전체가 이동 또는 회전하는 기능, 이른바, 캐드 프로그램의 조감뷰(bird's eye view) 기능을 수행할 수도 있다. 상술한 바와 같은 화면 표시부(320)에 출력되는 영상의 줌인/줌아웃, 이동, 회전 등과 같은 기능은 마스터 조종기의 조작에 상응하여 제어부(370)에서 제어할 수 있다.

화면 표시부(320)는 모니터부(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(320)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(370), 화면 표시 제어부(350) 또는 별도의 영상 처리부(도시되지 않음)에 의해 수행될 수 있다. 본 실시예에 따른 화면 표시부(320)는 다양한 기술로 구현되는 디스플레이어가 될 수 있으며, 예를 들면, 멀티비젼, UHDTV(7380x4320)와 같은 초고해상도 모니터가 될 수 있다. 또한, 본 실시예에 따른 화면 표시부(320)는 3D 디스플레이가 될 수 있다. 예를 들면, 본 실시예에 따른 화면 표시부(320)는 양안시차의 원리를 이용하여 사용자로 하여금 좌안용과 우안용 영상을 분리하여 인식하도록 할 수 있다. 이러한 3D 영상 구현 방식은 안경식(예를 들면, 적청안경방식(애너글리프), 편광안경방식(패시브 글라스), 셔터안경방식(액티브 글라스) 등), 렌티큘러 방식, 배리어 방식 등 다양한 방식으로 구현될 수 있다.

화면 표시부(320)는 입력된 내시경 영상을 특정 영역에 출력한다. 여기서 특정 영역은 소정의 크기 및 위치를 가지는 화면 상의 영역이 될 수 있다. 이러한 특정 영역은 상술한 바와 같이 내시경(8)의 관점의 변화에 상응하여 결정될 수 있다.

화면 표시 제어부(350)는 내시경(8)의 관점에 상응하여 이러한 특정 영역을 설정할 수 있다. 즉, 화면 표시 제어부(350)는 내시경(8)의 회전, 이동 등 모션에 상응하여 그 관점을 추적하고, 이를 반영하여 화면 표시부(320)에서 내시경 영상을 출력하는 특정 영역을 설정한다.

암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들(10)의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 다른 형상으로 형성될 수도 있으며, 수술 도구의 조작을 용이하도록 하기 위해 수술자의 손가락을 삽입 고정할 수 있도록 하는 손가락 삽입관 또는 삽입 고리가 더 형성될 수도 있다.

조작신호 생성부(340)는 로봇 암(3) 및/또는 내시경(8)의 위치 이동 또는 수술을 위한 조작을 위해 수술자가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있다.

조작신호 생성부(340)는 수술자의 암 조작부(340) 조작에 따른 조작 정보를 이용하여 조작신호를 생성하고, 생성한 조작신호를 슬레이브 로봇(2)으로 전송하여 결과적으로 실제 수술 도구가 조작 정보에 상응하도록 조작되도록 한다. 아울러, 조작신호에 의해 조작된 실제 수술 도구의 위치 및 조작 형상은 내시경(8)에 의해 입력된 영상에 의해 수술자의 확인이 가능하다.

도 4는 본 발명의 제1 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도이다. 도 4를 참조하면, 화면 표시 제어부(350)는 내시경 관점 추적부(351), 영상 이동 정보 추출부(353), 영상 위치 설정부(355)를 포함할 수 있다.

내시경 관점 추적부(351)는 내시경(8)의 이동 및 회전에 상응하여 내시경(8)의 관점 정보를 추적한다. 여기서, 관점 정보는 내시경(8)이 바라보는 관점(view point)을 의미하며, 이러한 관점 정보는 상술한 수술용 로봇 시스템에서 내시경(8)을 조작하는 신호로부터 추출될 수 있다. 즉, 관점 정보는 내시경(8)의 이동 및 회전 운동을 조작하는 신호에 의해 특정될 수 있다. 이러한 내시경(8) 조작 신호는 수술용 로봇 시스템에서 생성되어 내시경(8)을 조작하는 로봇 암(3)에 전달되기 때문에 이러한 신호를 이용하면 내시경(8)이 바라보는 방향을 추적할 수 있다.

영상 이동 정보 추출부(353)는 내시경(8)의 관점 정보를 이용하여 내시경 영상의 이동 정보를 추출한다. 즉, 내시경(8)의 관점 정보는 취득되는 내시경 영상의 촬영 대상의 위치 변화량에 대한 정보를 포함할 수 있으며, 이러한 정보로부터 내시경 영상의 이동 정보가 추출될 수 있다.

영상 위치 설정부(355)는 추출된 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부(320)의 특정 영역을 설정한다. 예를 들면, 내시경(8)의 관점 정보가 소정의 벡터(A)만큼 변화하였다면, 환자의 내부 장기에 대한 내시경 영상은 해당 벡터에 상응하여 그 이동 정보가 특정되며, 이러한 이동 정보를 이용하여 화면 표시부(320)의 특정 영역이 설정된다. 내시경 영상이 소정의 벡터(B) 만큼 변화하였다면, 이러한 정보와 화면 표시부(320)의 크기, 형상, 해상도를 이용하여 내시경 영상이 화면 표시부(320)에 실제 출력될 특정 영역이 설정될 수 있다.

도 5는 본 발명의 제1 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도이다. 이하에서 수행할 각 단계는 화면 표시 제어부(350)가 주체가 되어 실행할 수 있으며, 각 단계가 반드시 기술된 순서로 시계열적으로 실행될 필요가 없음은 물론이다.

단계 S511에서, 내시경(8)의 이동 및 회전에 상응하여 내시경(8)이 바라보는 관점에 대한 정보인 내시경(8)의 관점 정보를 추적한다. 관점 정보는 내시경(8)의 이동 및 회전 운동을 조작하는 신호에 의해 특정됨으로써 내시경(8)이 바라보는 방향은 추적될 수 있다.

단계 S513에서, 내시경(8)의 관점 정보를 이용하여 내시경 영상의 촬영 대상의 위치 변화량에 대응되는 내시경 영상의 이동 정보를 추출한다.

단계 S515에서, 추출된 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부(320)의 특정 영역을 설정한다. 즉, 내시경(8)의 관점 정보 및 내시경 영상의 이동 정보가 상술한 바와 같이 특정되면, 이러한 이동 정보를 이용하여 화면 표시부(320)에서 내시경 영상이 출력될 특정 영역이 설정된다.

단계 S517에서, 화면 표시부(320)에서 설정된 특정 영역에 내시경 영상을 출력한다.

도 6은 본 발명의 제1 실시예에 따른 체감형 수술용 영상 처리 방법에 따른 출력 영상의 구성도이다. 화면 표시부(320)는 전체 화면이 될 수 있으며, 내시경(8)에서 취득된 내시경 영상(620)이 화면 표시부(320)의 특정 위치, 예를 들면, 좌표(X,Y)에 내시경 영상(620)의 중심점을 둔 위치에 출력될 수 있다. 좌표(X,Y)는 내시경(8)의 관점의 변화량에 상응하여 설정될 수 있다. 예를 들면, 내시경(8)의 관점 정보 및 내시경 영상의 이동량이 좌로 +1, 세로로 -1만큼 변화하면, 내시경 영상(620)의 중심점은 좌표(X+1,Y-1)의 위치로 이동할 수 있다.

도 7은 본 발명의 제2 실시예에 따른 수술용 로봇의 블록 구성도이다. 도 7을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 화면 표시 제어부(350), 영상 저장부(360), 제어부(370)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 내시경(8)을 포함하는 슬레이브 로봇(2)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 현재 시점에서, 이전에 입력되어 저장된 내시경 영상을 추출하여 현재의 내시경 영상과 함께 화면 표시부(320)에 출력함으로써, 내시경 영상의 변화에 대한 정보를 사용자에게 알려 줄 수 있는 특징이 있다.

영상 입력부(310)는 수술용 내시경으로부터 서로 다른 시점에 제공되는 제1 내시경 영상 및 제2 내시경 영상을 입력받는다. 여기서, 제1, 제2 등과 같은 서수는 서로 다른 내시경 영상을 구분하기 위한 식별자가 될 수 있으며, 제1 내시경 영상 및 제2 내시경 영상은 내시경(8)이 서로 다른 시점 및 관점에서 촬영한 영상이 될 수 있다. 또한, 영상 입력부(310)는 제1 내시경 영상을 제2 내시경 영상보다 먼저 입력받을 수 있다.

영상 저장부(360)는 이러한 제1 내시경 영상과 제2 내시경 영상을 저장한다. 영상 저장부(360)는 제1 내시경 영상과 제2 내시경 영상의 실제 영상 내용인 영상 정보뿐만 아니라 화면 표시부(320)에 출력될 특정 영역에 대한 정보도 저장한다.

화면 표시부(320)는 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하며, 화면 표시 제어부(350)는 내시경(8)의 서로 다른 관점에 상응하여 제1 내시경 영상과 제2 내시경 영상을 서로 다른 영역에 출력하도록 화면 표시부(320)를 제어할 수 있다.

여기서, 화면 표시부(320)는 제1 내시경 영상과 제2 내시경 영상을 채도, 명도, 색상 및 화면 패턴 중 어느 하나 이상을 다르게 출력할 수 있다. 예를 들면, 화면 표시부(320)는 현재 입력되는 제2 내시경 영상은 컬러 영상으로 출력하고, 과거 영상인 제1 내시경 영상은 흑백 영상 등으로 출력함으로써, 사용자가 영상을 서로 구분하도록 할 수 있다. 도 10을 참조하면, 현재 입력된 영상인 제2 내시경 영상(622)은 컬러 영상으로 좌표(X1,Y1)에 출력되며, 과거 입력된 영상인 제1 내시경 영상(621)은 화면 패턴, 즉, 빗금 패턴이 형성되어 좌표(X2,Y2)에 출력되는 예가 도시된다.

또한, 이전 영상인 제1 내시경 영상은 계속 또는 미리 설정된 시간동안만 출력될 수 있다. 후자의 경우 과거 영상은 화면 표시부(320)에 소정 시간동안만 출력됨으로써, 화면 표시부(320)에는 새로운 내시경 영상이 지속적으로 업데이트될 수 있다.

도 8은 본 발명의 제2 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도이다. 도 8을 참조하면, 화면 표시 제어부(350)는 내시경 관점 추적부(351), 영상 이동 정보 추출부(353), 영상 위치 설정부(355), 저장 영상 표시부(357)를 포함할 수 있다.

내시경 관점 추적부(351)는 내시경(8)의 이동 및 회전에 상응하여 내시경(8)의 관점 정보를 추적하며, 영상 이동 정보 추출부(353)는 내시경(8)의 관점 정보를 이용하여 상술한 바와 같이 내시경 영상의 이동 정보를 추출한다.

영상 위치 설정부(355)는 추출된 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부(320)의 특정 영역을 설정한다.

저장 영상 표시부(357)는 화면 표시부(320)가 실시간으로 입력된 제2 내시경 영상을 출력하는 동안 영상 저장부(360)에 저장된 제1 내시경 영상을 추출하여 화면 표시부(320)에 출력한다. 제1 내시경 영상과 제2 내시경 영상은 그 출력되는 영역 및 영상 정보가 서로 다르므로, 저장 영상 표시부(357)는 이러한 정보를 영상 저장부(360)에서 추출하여 저장된 과거 영상인 제1 내시경 영상을 화면 표시부(320)에 출력하도록 한다.

도 9는 본 발명의 제2 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도이다. 이하에서 설명될 각 단계는 화면 표시 제어부(350)가 주체가 되어 실행할 수 있으며, 크게 제1 내시경 영상을 출력하는 단계와 제2 내시경 영상을 출력하는 단계로 구분될 수 있고, 상술한 바와 같이 제1 내시경 영상은 제2 내시경 영상과 함께 출력될 수 있다.

단계 S511에서는, 내시경(8)의 제1 이동 및 회전 정보에 상응하여 내시경(8)이 바라보는 관점에 대한 정보인 내시경(8)의 관점 정보를 추적한다.

단계 S513에서는, 제1 내시경 영상의 이동 정보가 추출되며, 단계 S515에서는, 추출된 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부(320)의 특정 영역을 설정하고, 단계 S517에서는, 설정된 위치에 제1 내시경 영상을 출력한다.

단계 S519에서는, 출력된 제1 내시경 영상에 대한 정보 및 제1 화면 위치를 영상 저장부(360)에 저장한다.

단계 S521에서는, 내시경(8)의 제2 이동 및 회전 정보에 상응하여 내시경(8)이 바라보는 관점에 대한 정보인 내시경(8)의 관점 정보를 추적한다.

단계 S522에서는, 제2 내시경 영상의 이동 정보가 추출되며, 단계 S523에서는, 추출된 이동 정보를 이용하여 내시경 영상이 출력되는 화면 표시부(320)의 특정 영역을 설정하고, 단계 S524에서는, 설정된 위치에 제2 내시경 영상을 출력한다.

단계 S525에서는, 출력된 제2 내시경 영상에 대한 정보 및 제2 화면 위치를 영상 저장부(360)에 저장한다. 단계 S526에서는, 제2 내시경 영상과 함께 영상 저장부(360)에 저장된 제1 내시경 영상을 제1 화면 위치에 출력한다. 여기서, 제1 내시경 영상은 제2 내시경 영상과 채도, 명도, 색상 및 화면 패턴 중 어느 하나 이상을 다르게 하여 출력할 수 있다.

도 11은 본 발명의 제3 실시예에 따른 수술용 로봇의 블록 구성도이다. 도 11을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 화면 표시 제어부(350), 제어부(370), 영상 정합부(450)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 내시경(8)을 포함하는 슬레이브 로봇(2)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 수술시 내시경을 이용하여 실제 촬영한 내시경 영상과 미리 수술 도구에 대해 생성하여 영상 저장부(360)에 저장한 모델링 영상을 각각 또는 서로 정합하거나 그 크기를 조절하는 등 영상을 수정하여 사용자가 관찰가능한 화면 표시부(320)에 출력할 수 있는 특징이 있다.

영상 정합부(450)는 영상 입력부(310)를 통해 수신된 내시경 영상과 상술한 영상 저장부(360)에 저장된 수술 도구에 대한 모델링 영상을 서로 정합하여 출력 영상을 생성하고 이를 화면 표시부(320)에 출력한다. 내시경 영상은 내시경을 이용하여 환자의 몸속 내부를 촬영한 영상으로서 제한된 영역만을 촬영하여 획득된 영상이므로, 수술 도구의 일부 모습에 대한 영상을 포함한다.

모델링 영상은 전체 수술 도구에 대한 형상을 2D 또는 3D 영상으로 구현하여 생성한 영상이다. 모델링 영상은 수술 개시 시점 전 특정 시점, 예를 들면, 초기 설정 상태에 촬영한 수술 도구에 관한 영상이 될 수 있다. 모델링 영상은 수술 도구를 컴퓨터 시뮬레이션 기법에 의해 생성된 영상이므로 영상 정합부(450)는 실제 내시경 영상에 도시된 수술 도구와 모델링 영상을 정합하여 출력할 수 있다. 실제 물체를 모델링하여 영상을 획득하는 기술은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다. 또한, 영상 정합부(450)의 구체적인 기능, 다양한 세부 구성 등은 이후 관련 도면을 참조하여 상세히 설명한다.

제어부(370)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(370)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(360)는 암 조작부(330)의 조작에 따른 조작 정보가 입력되면 이에 상응하여 모델링 영상이 화면 표시부(320)를 통해 출력되도록 영상 정합부(450)를 제어한다.

내시경 영상에 포함되는 실제 수술 도구는 내시경(8)에 의해 입력되어 마스터 로봇(1)으로 전송된 영상에 포함된 수술 도구로서 환자의 신체에 직접적인 수술 행위를 가하는 수술 도구이다. 이에 비해, 모델링 영상에 포함되는 모델링 수술 도구는 수술 도구 전체에 대해 미리 수학적으로 모델링되어 2D 또는 3D 영상으로 영상 저장부(360)에 저장된다. 내시경 영상의 수술 도구 및 모델링 영상의 모델링 수술 도구는 수술자가 암 조작부(330)를 조작함에 따라 마스터 로봇(1)이 인식하는 조작 정보(즉, 수술 도구의 이동, 회전 등에 관한 정보)에 의해 제어될 수 있다. 실제 수술 도구 및 모델링 수술 도구는 그 위치 및 조작 형상이 조작 정보에 의해 결정될 수 있다. 도 14를 참조하면, 내시경 영상(620)은 모델링 영상(610)과 서로 정합되어 화면 표시부(320)의 좌표(X,Y)에 출력된다.

또한, 모델링 영상은 수술 도구뿐만 아니라 환자의 장기(臟器)에 대해서도 모델링하여 재구성한 영상을 포함할 수 있다. 즉, 모델링 영상은 CT(Computer Tomography, 컴퓨터단층촬영검사), MR(Magnetic Resonance, 자기공명), PET(Positron Emission Tomography, 양전자방출단층촬영술), SPECT(Single Photon Emission Computed Tomography, 단광자방출단층검사), US(Ultrasonography, 초음파촬영술) 등의 영상 장비로부터 획득한 영상을 참조하여 재구성한 환자의 장기 표면의 2D 또는 3D 영상을 포함할 수 있으며, 이 경우 실제 내시경 영상과 컴퓨터적 모델링 영상을 정합하면 보다 수술자에게 수술 부위를 포함한 전체 영상을 제공할 수 있는 효과가 있다.

도 12는 본 발명의 제3 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도이다. 도 12를 참조하면, 영상 정합부(450)는 특성값 연산부(451), 모델링 영상 구현부(453), 중첩 영상 처리부(455)를 포함할 수 있다.

특성값 연산부(451)는 슬레이브 로봇(2)의 복강경(8)에 의해 입력되어 제공되는 영상 및/또는 로봇 암(3)에 결합된 실제 수술 도구의 위치에 대한 좌표정보 등을 이용하여 특성값을 연산한다. 실제 수술 도구의 위치는 슬레이브 로봇(2)의 로봇 암(3)의 위치값을 참조하여 인식할 수 있으며, 해당 위치에 대한 정보는 슬레이브 로봇(2)으로부터 마스터 로봇(1)으로 제공될 수도 있다.

특성값 연산부(451)는 예를 들어 복강경(8)에 의한 영상 등을 이용하여 복강경(8)의 화각(FOV, Field of View), 확대율, 관점(예를 들어, 보는 방향), 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등의 특성값을 연산할 수 있다. 복강경(8)에 의한 영상을 이용하여 특성값을 연산하는 경우, 해당 영상에 포함된 피사체의 외곽선 추출, 형상 인식, 기울어진 각도 등을 인식하기 위한 영상 인식 기술이 이용될 수도 있다. 또한, 실제 수술 도구의 종류 등은 로봇 암(3)에 해당 수술 도구를 결합하는 과정 등에서 미리 입력될 수도 있다.

모델링 영상 구현부(453)는 특성값 연산부(451)에서 연산된 특성값에 상응하는 모델링 영상을 구현한다. 모델링 영상과 관련된 데이터는 영상 저장부(360)로부터 추출될 수 있다. 즉, 모델링 영상 구현부(453)는 복강경(8)의 특성값(화각(FOV, Field of View), 확대율, 관점, 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등)에 상응하는 수술 도구 등에 대한 모델링 영상 데이터를 추출하여 내시경 영상의 수술 도구 등과 정합되도록 모델링 영상을 구현한다.

모델링 영상 구현부(453)가 특성값 연산부(451)에서 연산된 특성값에 상응하여 영상을 추출하는 방법은 다양하게 구현될 수 있다. 예를 들면, 모델링 영상 구현부(453)는 복강경(8)의 특성값을 직접 이용하여 이에 상응하는 모델링 영상을 추출할 수 있다. 즉, 모델링 영상 구현부(453)는 상술한 복강경(8)의 화각, 확대율 등의 데이터를 참조하여 이에 상응하는 2D 또는 3D 모델링 수술 도구 영상을 추출하고 이를 내시경 영상과 정합하도록 할 수 있다. 여기서, 화각, 확대율과 같은 특성값은 최초 설정값에 따른 기준 영상과의 비교를 통해서 산출되거나 순차적으로 생성되는 복강경(8)의 영상을 서로 비교 분석하여 연산될 수 있다.

또한, 다른 실시예에 따르면, 모델링 영상 구현부(453)는 복강경(8) 및 로봇 암(3)에 대한 위치 및 조작 형상을 결정하는 조작 정보를 이용하여 모델링 영상을 추출할 수 있다. 즉, 상술한 바와 같이 내시경 영상의 수술 도구는 수술자가 암 조작부(330)를 조작함에 따라 마스터 로봇(1)이 인식하는 조작 정보에 의해 제어될 수 있으므로, 내시경 영상의 특성값에 상응하는 모델링 수술 도구의 위치 및 조작 형상은 조작 정보에 의해 결정될 수 있다.

이러한 조작 정보는 시간적 순서에 따라 별도의 데이터베이스에 저장될 수 있으며, 모델링 영상 구현부(453)는 이러한 데이터베이스를 참조하여 실제 수술 도구의 특성값을 인식할 수 있으며, 이에 상응하여 모델링 영상에 대한 정보를 추출할 수 있다. 즉, 모델링 영상에 출력되는 수술 도구의 위치는 수술 도구의 위치 변경 신호의 누적 데이터를 이용하여 설정될 수 있다. 예를 들면, 수술 도구 중의 하나인 수술용 인스트루먼트에 대한 조작 정보가 시계방향으로 90도 회전 및 연장방향으로 1cm 이동이라는 정보를 포함하고 있으면, 모델링 영상 구현부(453)는 이러한 조작 정보에 상응하여 모델링 영상에 포함되는 수술용 인스트루먼트의 영상을 변환하여 추출할 수 있다.

여기서, 수술용 인스트루먼트는 액추에이터가 구비된 수술용 로봇 암의 선단부에 장착되고, 액추에이터로부터 구동력을 전달받아 구동부(미도시)에 구비되는 구동휠(미도시)이 작동하며, 구동휠과 연결되고 수술 환자의 체내로 삽입되는 조작자가 소정의 작동을 함으로써, 수술을 하게 된다. 구동휠은 원판형으로 형성되며, 액추에이터에 클러칭되어 구동력을 전달받을 수 있다. 또한, 구동휠의 개수는 제어 대상의 개수에 상응하여 결정될 수 있으며, 이러한 구동휠에 대한 기술은 수술용 인스트루먼트와 관련된 기술자에게 자명한 사항이므로 자세한 설명은 생략한다.

중첩 영상 처리부(455)는 실제 촬영된 내시경 영상과 모델링 영상이 중첩되지 않기 위해 모델링 영상의 일부 영상을 출력한다. 즉, 내시경 영상이 수술 도구의 일부 형상을 포함하고 모델링 영상 구현부(453)가 이에 상응하는 모델링 수술 도구를 출력하는 경우 중첩 영상 처리부(455)는 내시경 영상의 실제 수술 도구 영상과 모델링 수술 도구 영상의 중첩 영역을 확인하고, 모델링 수술 도구 영상에서 중첩 부분을 삭제함으로써 두 영상이 서로 매칭될 수 있도록 한다. 중첩 영상 처리부(455)는 모델링 수술 도구 영상과 실제 수술 도구 영상의 중첩 영역을 모델링 수술 도구 영상으로부터 제거함으로써 중첩 영역을 처리할 수 있다.

예를 들면, 실제 수술 도구의 전체 길이가 20cm이고, 특성값(화각(FOV, Field of View), 확대율, 관점, 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등)을 고려할 때 내시경 영상의 실제 수술 도구 영상의 길이가 3cm인 경우 중첩 영상 처리부(455)는 특성값을 이용하여 내시경 영상에 출력되지 않은 모델링 수술 도구 영상을 모델링 영상에 포함하여 출력하도록 한다.

도 13은 본 발명의 제3 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도이다. 상술한 바와의 차이점을 위주로 설명한다.

단계 S131에서, 수술 대상 및/또는 수술 도구에 관해 미리 모델링 영상을 생성하여 저장한다. 모델링 영상은 컴퓨터 시뮬레이션에 의해 모델링될 수 있으며, 본 실시예는 별도의 모델링 영상 생성 장치를 이용하여 모델링 영상을 생성할 수도 있다.

단계 S132에서, 특성값 연산부(351)는 내시경 영상의 특성값을 연산한다. 상술한 바와 같이 특성값 연산부(351)는 슬레이브 로봇(2)의 복강경(8)에 의해 입력되어 제공되는 영상 및/또는 로봇 암(3)에 결합된 실제 수술 도구의 위치에 대한 좌표정보 등을 이용하여 특성값을 연산하며, 특성값은 복강경(8)의 화각(FOV, Field of View), 확대율, 관점(예를 들어, 보는 방향), 보는 깊이 등과, 실제 수술 도구의 종류, 방향, 깊이, 꺽인 정도 등이 될 수 있다.

단계 S133에서, 영상 정합부(450)는 내시경 영상에 상응하여 모델링 영상을 추출하고, 중첩 영역을 처리하여 두 영상을 서로 정합하여 화면 표시부(320)에 출력되도록 한다. 여기서, 내시경 영상과 모델링 영상이 서로 동일한 시점에 최초 출력되거나 또는 내시경 영상이 출력된 후 모델링 영상이 함께 출력되는 등 그 출력 시점은 다양하게 설정될 수 있음은 물론이다.

도 15는 본 발명의 제4 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다. 도 15를 참조하면, 마스터 인터페이스(4)는 모니터부(6), 핸들(10), 모니터 구동 수단(12), 이동홈(13)을 포함할 수 있다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 상술한 바와 같이 다양하게 변화하는 내시경(8)의 관점에 상응하여 마스터 인터페이스(4)의 모니터부(6)를 회전 및 이동시킴으로써, 사용자가 수술에 대한 현실감을 보다 생생하게 느끼게 할 수 있는 특징이 있다.

모니터 구동 수단(12)은 일단이 모니터부(6)에 결합하고, 타단이 마스터 인터페이스(4)의 본체부에 결합하여, 모니터부(6)에 구동력을 가함으로써 모니터부(6)를 회전 및 이동시킨다. 여기서, 회전은 다양한 축(X,Y,Z) 중심의 회전, 즉, 피치(pitch), 롤(roll), 요(yaw) 축에 의한 회전을 포함할 수 있다. 도 15를 참조하면, 요 축에 의한 회전(A)이 도시된다.

또한, 모니터 구동 수단(12)은 모니터부(6)의 하단에 위치한 마스터 인터페이스(4)의 본체부에 형성된 이동홈(13)을 따라 이동(B방향)함으로써 모니터부(6)를 내시경(8)의 관점에 따라 이동시킬 수 있다. 이동홈(13)은 사용자를 향한 방향이 오목하게 형성되어 모니터부(6)가 이동홈(13)을 따라 이동시 모니터부(6)의 전면이 항상 사용자를 향하도록 할 수 있다.

도 16은 본 발명의 제4 실시예에 따른 수술용 로봇의 블록 구성도이다. 도 16을 참조하면, 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 제어부(370), 화면 구동 제어부(380), 화면 구동부(390)를 포함하는 마스터 로봇(1) 및 로봇 암(3), 내시경(8)을 포함하는 슬레이브 로봇(2)이 도시된다. 상술한 바와의 차이점을 위주로 설명한다.

화면 구동부(390)는 상술한 모니터부(6)와 같은 화면 표시부(320)를 회전 및 이동시키는 수단으로서, 예를 들면, 모터, 모니터부(6) 지지 수단 등을 포함할 수 있다. 화면 구동 제어부(380)는 내시경(8)의 관점에 상응하여 화면 구동부(390)가 화면 표시부(320)를 회전 및 이동시키도록 화면 구동부(390)를 제어할 수 있다. 화면 구동부(390)는 상술한 모니터 구동 수단(12)을 포함할 수 있으며, 이동홈(13)에 따라 모니터부(6)를 이동시킬 수 있다.

도 17을 참조하면, 화면 구동 제어부(380)는, 내시경(8)의 이동 및 회전에 상응하여 내시경(8)의 관점 정보를 추적하는 내시경 관점 추적부(381)와, 내시경(8)의 관점 정보를 이용하여 내시경 영상의 이동 정보를 추출하는 영상 이동 정보 추출부(383)와, 이동 정보를 이용하여 화면 표시부(320)의 모션 정보(화면 구동 정보)를 생성하는 구동 정보 생성부(385)를 포함할 수 있다. 화면 구동부(390)는 구동 정보 생성부(385)에서 생성된 화면 표시부(320)의 모션 정보를 이용하여 화면 표시부(320)를 상술한 바와 같이 구동할 수 있다.

또한, 다른 실시예에 따르면, 화면 구동부(390)는 사용자의 명령에 의해 구동될 수도 있다. 예를 들면, 화면 구동 제어부(380)는 사용자 인터페이스, 예를 들면, 사용자가 조작가능한 스위치(ex. 발판 스위치)로 대체 가능하며, 이 경우 사용자의 조작에 의해 화면 구동부(390)의 회전 및 이동이 제어될 수도 있다.

이러한 화면 구동부(390)의 모션은 터치 스크린에 의해서도 제어가능하다. 예를 들면, 화면 표시부(320)는 터치 스크린으로 구현되며, 사용자가 손가락 등을 이용하여 화면 표시부(320)를 터치한 상태에서 소정 방향으로 드래그하면, 화면 표시부(320)가 이에 상응하여 회전 및 이동할 수도 있다. 또한, 사용자의 눈동자를 추적하거나 안면접촉부의 이동 방향에 따라 생성한 회전/이동 신호 또는 음성명령에 따라 생성한 회전/이동 신호 등을 이용하여 화면 표시부(320)의 모션을 제어할 수도 있다.

도 18은 본 발명의 제4 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도이다. 이하에서 수행할 각 단계는 화면 구동 제어부(380)가 주체가 되어 실행할 수 있다.

단계 S181에서는, 내시경(8)의 이동 및 회전에 상응하여 내시경(8)이 바라보는 관점에 대한 정보인 내시경(8)의 관점 정보를 추적한다.

단계 S182에서, 내시경(8)의 관점 정보를 이용하여 내시경 영상의 촬영 대상의 위치 변화량에 대응되는 내시경 영상의 이동 정보를 추출한다.

단계 S183에서, 내시경(8)의 관점 정보 및/또는 추출된 이동 정보를 이용하여 상술한 화면 구동 정보를 생성한다. 즉, 내시경(8)의 관점 정보 및 내시경 영상의 이동 정보가 상술한 바와 같이 특정되면, 이러한 이동 정보를 이용하여 화면 표시부(320)를 이동 및 회전시키는 정보를 생성한다.

단계 S184에서, 화면 구동 정보에 상응하여 화면 표시부(320)를 이동 및 회전시킨다.

도 19는 본 발명의 제5 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다. 도 19를 참조하면, 돔 스크린(191), 프로젝터(192), 작업대(193), 제1 내시경 영상(621), 제2 내시경 영상(622)이 도시된다.

본 실시예는 상술한 바와 같이 화면 표시부(320)의 특정 영역에 내시경 영상을 출력하는 기능을 돔 스크린(191) 및 프로젝터(192)를 이용하여 구현함으로써, 사용자가 넓은 스크린에서 수술 상황을 보다 빠르고 편리하게 확인할 수 있는 특징이 있다.

프로젝터(520)는 내시경 영상을 돔 스크린(510)에 투사한다. 여기서, 내시경 영상은 투사되는 영상의 전단부의 형상이 구형인 구형의 영상이 될 수 있다. 여기서, 구형은 수학적으로 엄밀하게 구의 형태를 가지는 형상만을 의미하지 않으며, 타원형, 단면이 곡선인 형태, 일부 구형 등 다양한 형태를 포함할 수 있다.

돔 스크린(510)은 개방된 전면 단부와 프로젝터(520)에서 투사된 영상을 반사하는 반구 형상의 내부 돔면을 가진다. 돔 스크린(510)의 크기는 사용자가 보기 편한 정도의 크기, 예를 들면, 그 지름이 1m ~ 2m 정도가 될 수 있다. 돔 스크린(510)의 내부 돔면은 블록별로 면처리되거나 반구 형상을 가질 수 있다. 또한, 돔 스크린(510)은 그 중심축을 중심으로 축상 대칭으로 형성되고, 사용자의 시선은 돔 스크린(510)의 중심축에 위치할 수 있다.

프로젝터(520)는 수술을 수행하는 사용자와 돔 스크린(510) 사이에 위치하여 사용자에 의해 투사되는 영상이 가리지 않도록 할 수 있다. 또한, 사용자의 작업시 투사된 영상을 가리지 않고, 작업대의 공간 확보를 위해서 프로젝터(520)는 작업대(530)의 밑면에 부착될 수 있다. 내부 돔면은 반사율이 높은 물질로 형성되거나 이러한 물질로 도포될 수 있다.

이러한 돔 스크린(191) 및 프로젝터(192)를 이용하는 경우 상술한 바와 같이 내시경(8)의 다양한 관점에 상응하여 돔 스크린(191)의 특정 영역에 제1 내시경 영상(621) 및 제2 내시경 영상(622)을 투사할 수 있다.

도 20은 본 발명의 제6 실시예에 따른 체감형 수술용 영상 처리 장치의 블록 구성도이다. 도 20을 참조하면, 화면 표시 제어부(350)는 내시경 관점 추적부(351), 영상 이동 정보 추출부(353), 영상 위치 설정부(355), 저장 영상 표시부(357), 연속 영상 생성부(352) 및 주변 영상 생성부(354)를 포함할 수 있다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 수술용 내시경의 일단을 회전시킴으로써 복수의 영상을 획득하여 사용자의 시야를 넓게 확보할 수 있는 특징이 있다. 즉, 본 실시예는 수술용 내시경의 일단을 소정의 궤적을 형성하도록 회전시킴으로써 수술 부위뿐만 아니라 주변 영상까지 획득하여 사용자가 보다 넓은 부위를 볼 수 있도록 하는 특징이 있다.

연속 영상 생성부(352)는 수술용 내시경으로부터 획득된 제1 내시경 영상과 제2 내시경 영상의 중첩 영역을 추출하여 연속 영상을 생성한다. 제1 내시경 영상과 제2 내시경 영상은 회전하는 수술용 내시경으로부터 서로 다른 시점에 제공되는 영상이 될 수 있다. 도 22a를 참조하면, 수술용 내시경(221)은 회전축(A)을 중심으로 기울어져 회전함으로써 복수의 내시경 영상을 획득할 수 있다.

수술용 내시경(221)은 일단이 다양한 궤적을 형성하며 회전할 수 있으며, 예를 들면, 소정의 길이로 연장된 수술용 내시경(221)은 일단인 광 입사부(렌즈 부분)가 회전 궤적을 형성하고, 타단은 회전축 상에 위치함으로써 전체적으로 원뿔 형상 또는 각뿔 형상을 따라 회전하여, 일단의 회전 궤적은 원, 타원, 삼각형, 사각형, 기타 다각형, 폐곡선, 폐도형(closed figure) 등과 같이 다양한 형상이 될 수 있다. 여기서, 폐도형은 폐곡선을 포함하는 개념으로 이해될 수도 있다.

또한, 수술용 내시경(221)이 회전하는 속도 및 시간은 필요에 따라 결정될 수 있다. 예를 들면, 수술용 내시경(221)의 일단은 주기적으로 회전하거나 또는 사용자가 조작하는 임의적 방식에 상응하여 회전할 수 있다. 여기서, 주기적이라는 의미는, 수술용 내시경(221)이 같은 속력으로 원운동을 하는 경우를 포함할 수 있다. 또한, 주기적이라는 의미는, 회전을 하는 상태와 회전을 하지 않는 상태가 주기적으로 반복되는 경우도 포함할 수 있다.

또한, 도 22b에 도시된 실시예에 따르면, 수술용 내시경(221)은 굴곡된 형상으로 구현되어, 회전축(A)을 중심으로 회전하는 경우 수술용 내시경(221)의 일단이 소정의 궤적을 형성하며 회전할 수 있다. 이 경우, 수술용 내시경(221)은 회전축(A)과 겹쳐진 상태로 연장되는 제1 샤프트(222), 일단에 광 입사부가 결합하며 제1 샤프트(222)와 이격된 상태에서 회전축(A) 방향으로 연장된 제2 샤프트(223), 회전축(A) 방향과 평행하지 않게 연장되며 제1 샤프트(222)의 일단과 제2 샤프트(223)의 타단을 연결하는 샤프트 연결부(224)를 포함할 수 있다.

또한, 광 입사부의 회전 궤적은 원, 타원, 삼각형, 사각형, 기타 다각형, 폐곡선, 폐도형(closed figure) 등과 같이 다양한 형상이 될 수 있다.

여기서, 수술용 내시경(221)의 회전 방향, 회전 정도, 회전 궤적의 형상, 회전 궤적의 크기, 회전 속도 등과 같은 회전 관련 속성은 미리 프로그램되어 저장부(미도시)에 저장될 수 있다.

화면 표시 제어부(350)는 미리 저장된 회전 관련 속성을 참조하여, 복수의 영상의 중첩 영역을 추출하고, 이러한 영역을 연속 영상으로 생성할 수 있다. 예를 들면, 수술용 내시경(221)의 화각이 70도, 회전 궤적은 원형, 회전 궤적의 반경은 2cm인 경우 촬영되는 영상의 중첩 부분이 추출되며, 추출된 중첩 영상은 계속 보이는 연속 영상이 될 수 있다.

주변 영상 생성부(354)는 제1 내시경 영상과 제2 내시경 영상의 비중첩 영역을 추출하여 주변 영상을 생성한다. 비중첩 영역은 상술한 제1 내시경 영상과 제2 내시경 영상이 서로 중첩되지 않은 영역이 될 수 있다. 또한, 이러한 영역은 미리 설정된 영역이 될 수 있다. 예를 들면, 도 23a에서 미리 설정된 연속 영상(232) 이외의 영역의 영상은 비중첩 영역인 주변 영상(231)으로 설정될 수 있다.

도 23a를 참조하면, 중첩되어 연속으로 촬영됨으로써, 계속 보이는 연속 영상(232)과 중첩되지 않아서 주변 영상으로 처리되는 영상(231)이 도시된다. 각 원은 서로 다른 내시경 영상을 나타내며, 서로 구분하기 위해 제1 내시경 영상 또는 제2 내시경 영상으로 지칭될 수 있다. 연속 영상(232)은 화면상에 연속적으로 계속 보이는 영상이며, 주변 영상(231)은 비연속적으로 촬영될 때에만 보이는 영상이다. 이들을 구분하여 표시하기 위해 연속 영상(232)은 밝고 선명하게 표현하고, 주변 영상(231)은 이와 달리 표현할 수 있다. 즉, 연속 영상(232)과 주변 영상(231)은 명도, 채도 및 색상 등이 서로 다르게 표현될 수 있다.

도 23b를 참조하면, 연속 영상(232)은 미리 설정된 영역의 영상이 될 수 있다. 즉, 도 23a와 같이 모든 주변 영상(231)이 중첩되는 영역에 대한 영상만을 연속 영상(232)으로 설정하는 경우 주로 보이는 연속 영상(232)의 크기가 작아질 수 있으므로, 복수의 주변 영상(231), 예를 들면, 2~3개 정도의 주변 영상(231)이 겹치는 영역의 영상을 연속 영상(232)으로 설정할 수도 있다. 이 경우 연속 영상(232)은 주변 영상(231)에 비해 상대적으로 연속적인 영상에 대한 정보를 포함하게 되며, 촬영하는 영역의 크기는 모든 주변 영상(231)이 중첩되는 영역의 크기보다 커질 수 있는 장점이 있다.

도 21은 본 발명의 제6 실시예에 따른 체감형 수술용 영상 처리 방법의 흐름도이다. 이하에서 수행할 각 단계는 화면 표시 제어부(350)가 주로 주체가 되어 실행할 수 있다.

단계 S211에서는, 영상 입력부(310)는 회전하는 수술용 내시경(221)으로부터 서로 다른 시점에 제공되는 제1 내시경 영상 및 제2 내시경 영상을 입력받는다. 여기서, 화면 표시 제어부(350)는 상술한 바와 같이 수술용 내시경(221) 일단의 이동 및 회전에 상응하여 수술용 내시경(221)이 바라보는 관점에 대한 정보인 수술용 내시경(221)의 관점 정보를 추적한다.

단계 S212에서, 수술용 내시경(221)의 관점 정보를 이용하여 내시경 영상의 촬영 대상의 위치 변화량에 대응되는 내시경 영상의 이동 정보를 추출한다.

단계 S213에서, 수술용 내시경(221)의 관점 정보 및/또는 추출된 이동 정보를 이용하여 제1 내시경 영상 및 제2 내시경 영상이 출력될 화면 위치를 설정한다. 즉, 수술용 내시경(221)의 관점 정보 및 내시경 영상의 이동 정보가 상술한 바와 같이 특정되면, 이러한 이동 정보를 이용하여 화면 표시부(320)에 제1 내시경 영상 및 제2 내시경 영상이 출력될 화면 위치를 설정한다.

단계 S214에서, 제1 내시경 영상 및 제2 내시경 영상을 화면 표시부(320)의 설정된 위치인 서로 다른 영역에 출력한다.

도 24는 본 발명의 제7 실시예에 따른 보조 내시경의 회전 동작을 도시한 도면이다. 도 24를 참조하면, 수술용 내시경(241), 보조 내시경(242), 결합부(243)가 도시된다.

본 실시예는 수술용 내시경(241) 주위를 회전하는 보조 내시경(242)을 더 마련하여 복수의 내시경 영상을 획득함으로써, 상술한 바와 같은 연속 영상 및 주변 영상을 생성할 수 있다. 즉, 보조 내시경(242)은 수술용 내시경(241) 주위를 회전하면서 내시경 영상을 획득함으로써, 중첩 영상 및 비중첩 영상으로부터 연속 영상 및 주변 영상을 획득할 수 있다.

보조 내시경(242)은 수술용 내시경(241)의 일측, 예를 들면, 측면에 회동가능하도록 결합한다. 보조 내시경(242)에도 렌즈를 통해 수광하여 영상을 획득하는 일반적인 내시경 구조가 적용될 수 있다. 여기서, 수술용 내시경(241)이 획득하는 영상을 제1 내시경 영상, 보조 내시경(242)이 획득하는 영상을 제2 내시경 영상으로 지칭할 수 있다.

또한, 보조 내시경(242)은 중심축(A)을 중심으로 수술용 내시경(241)과 착탈가능한 형태로 결합되거나 수술용 내시경(241)과 일체로 결합될 수 있다. 전자의 경우 보조 내시경(242)은 환자의 몸밖에서 수술용 내시경(241)에 결합하거나 또는 수술용 내시경(241)과 별도로 환자의 몸안에 삽입된 후 그 안에서 수술용 내시경(241)에 결합하여 상술한 제1 내시경 영상 및 제2 내시경 영상을 획득할 수 있는 장점이 있다.

또한, 다른 실시예에 따르면, 수술용 내시경(241)의 제1 내시경 영상은 연속 영상으로 설정되고, 보조 내시경(242)의 제2 내시경 영상은 주변 영상으로 설정될 수 있다. 즉, 본 실시예는 중첩 영역을 추출하지 않고 연속 영상과 주변 영상을 생성하여 영성 처리 시간을 줄일 수 있는 장점이 있다.

도 25는 본 발명의 제8 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다. 도 25를 참조하면, 상술한 마스터 인터페이스(4)는 모니터부(6), 핸들(10), 공간상 이동 구동부(25)를 포함할 수 있다. 상술한 바와의 차이점을 위주로 설명한다.

본 실시예는 모니터부(6)를 공간상에서 자유롭게 회전 및 이동시킬 수 있도록 모니터부(6)를 공간상 자유롭게 움직일 수 있는 공간상 이동 구동부(25)에 결합하는 특징이 있다. 여기서, 모니터부(6)는 상술한 화면 표시부(320)가 될 수 있다.

공간상 이동 구동부(25)는 일단이 모니터부(6)에 결합하고, 타단이 마스터 인터페이스(4)의 본체부에 결합하여, 모니터부(6)에 구동력을 가함으로써 모니터부(6)를 공간상에서 회전 및 이동시킨다. 여기서, 회전은 공간상 이동 구동부(25)에 구비된 다수의 관절 수에 상응하여 다양한 축(X,Y,Z) 중심의 회전, 즉, 피치(pitch), 롤(roll), 요(yaw) 축에 의한 회전을 포함할 수 있다.

공간상 이동 구동부(25)는 로봇 암 형태로 구현될 수 있으며, 핸들(10)에 의해 조작되거나 또는 상술한 바와 같이 다양하게 변화하는 수술용 내시경의 관점에 상응하여 마스터 인터페이스(4)의 모니터부(6)를 회전 및 이동시킴으로써, 사용자가 수술에 대한 현실감을 보다 생생하게 느끼게 할 수 있는 특징이 있다.

또한, 본 발명의 다른 실시예는 상술한 수술용 내시경(221) 및/또는 보조 내시경(242)을 회전시키는 회전 조작부(미도시)를 더 포함할 수 있다. 회전 조작부는 사용자가 내시경의 회전에 대한 정보, 예를 들면, 회전 방향, 회전 각속도, 가감속 형태, 회전 속력, 회전 시간 시점, 회전 시간 종점, 회전 시간 길이, 회전 방향, 회전 반경 등과 같은 회전 관련 정보를 결정하는 조작부가 될 수 있다.

여기서, 회전 방향은 시계 방향 또는 반시계 방향과 같이 내시경이 회전하는 방향이며, 가감속 형태는 직선, S커브, 지수 함수 형태 등 다양한 형태로 내시경이 회전하는 형태를 의미한다. 또한, 회전 각속도 및 회전 속력은 수술용 내시경(221) 또는 보조 내시경(242)의 일단이 회전하는 속력이며, 회전 시간 시점은 회전을 시작하는 시간 정보이고, 회전 시간 종점은 회전을 종료하는 시간 정보이다. 또한, 회전 반경은 수술용 내시경(221)이 원뿔 형상으로 회전하는 경우 회전축과 수술용 내시경(221)의 일단과의 거리, 굴곡된 내시경인 경우 샤프트 연결부(224)의 길이, 보조 내시경(242)과 수술용 내시경(241)의 이격 거리가 될 수 있다.

회전 조작부는 사용자가 조작 가능한 인터페이스를 포함할 수 있으며, 예를 들면, 인터페이스는 조이스틱 형태, 버튼 형태, 키패드, 트랙볼, 터치스크린 등 로봇 암 및/또는 기타 수술 장비를 작동시키기 위한 다양한 형태로 구현될 수 있다. 사용자가 해당 인터페이스를 이용하여 회전 관련 정보를 설정하고 이를 입력하는 경우 수술용 내시경(221)은 원뿔 형상으로 회전하거나 제1 샤프트(222)를 중심으로 회전하면서 그 일단이 회전되도록 할 수 있으며, 또한, 보조 내시경(242)도 수술용 내시경(241)을 중심축으로 하여 회전할 수 있다.

그 외 본 발명의 실시예에 따른 체감형 수술용 영상 처리 장치에 대한 구체적인 규격, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 및 엑추에이터, 배터리, 카메라, 센서 등 부품 표준화 기술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진자에게 자명한 사항이므로 생략하기로 한다.

본 발명에 따른 체감형 수술용 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합한 형태로 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.

해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1 : 마스터 로봇 2 : 슬레이브 로봇
3 : 로봇 암 4 : 마스터 인터페이스
5 : 인스트루먼트 6 : 모니터부
8 : 내시경 9 : 내시경 영상
10 : 핸들 12 : 모니터 구동 수단
13 : 이동홈 25 : 공간상 이동 구동부
191 : 돔 스크린 192 : 프로젝터
193 : 작업대 221 : 수술용 내시경
222 : 제1 샤프트 223 : 제2 샤프트
224 : 샤프트 연결부 231 : 주변 영상
232 : 연속 영상 241 : 수술용 내시경
242 : 보조 내시경 243 : 결합부
310 : 영상 입력부 320 : 화면 표시부
330 : 암 조작부 340 : 조작신호 생성부
350 : 화면 표시 제어부 351 : 내시경 관점 추적부
352 : 연속 영상 생성부 353 : 영상 이동 정보 추출부
354 : 주변 영상 생성부 355 : 영상 위치 설정부
357 : 저장 영상 표시부 360 : 영상 저장부
380 : 화면 구동 제어부 381 : 내시경 관점 추적부
383 : 영상 이동 정보 추출부 385 : 구동 정보 생성부
390 : 화면 구동부 450 : 영상 정합부
451 : 특성값 연산부 453 : 모델링 영상 구현부
455 : 중첩 영상 처리부 610 : 모델링 영상
620 : 내시경 영상 621 : 제1 내시경 영상
622 : 제2 내시경 영상

Claims (14)

1. 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서,
   수술용 내시경으로부터 제공되는 상기 내시경 영상을 입력받는 단계;
   상기 내시경 영상을 화면 표시부의 특정 영역에 출력하는 단계; 및
   상기 수술용 내시경의 관점에 상응하여 상기 내시경 영상을 출력하는 상기 화면 표시부의 특정 영역을 변경하는 단계를 포함하되,
   상기 화면 표시부의 특정 영역을 변경하는 단계는,
   상기 수술용 내시경의 이동 및 회전에 상응하여 상기 수술용 내시경의 관점 정보를 추적하는 단계;
   상기 수술용 내시경의 관점 정보를 이용하여 상기 내시경 영상의 이동 정보를 추출하는 단계; 및
   상기 이동 정보를 이용하여 상기 내시경 영상이 출력되는 상기 화면 표시부의 특정 영역을 설정하는 단계를 포함하는 것을 특징으로 하는 체감형 수술용 영상 처리 방법.
   
2. 제1항에 있어서,
   상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 종격경, 심장경 중 하나 이상인 것을 특징으로 하는 체감형 수술용 영상 처리 방법.
   
3. 제1항에 있어서,
   상기 수술용 내시경은 입체 내시경인 것을 특징으로 하는 체감형 수술용 영상 처리 방법.
   
4. 삭제
5. 제1항에 있어서,
   상기 화면 표시부의 특정 영역을 변경하는 단계는,
   상기 내시경 영상의 중심점을 상기 수술용 내시경의 관점의 좌표 변화값에 상응하여 이동시키는 단계를 포함하는 것을 특징으로 하는 체감형 수술용 영상 처리 방법.
   
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 수술용 영상 처리 장치가 내시경 영상을 출력하는 방법에 있어서,
    수술용 내시경으로부터 제공되는 내시경 영상을 입력받는 단계;
    상기 내시경 영상을 화면 표시부에 출력하는 단계; 및
    상기 수술용 내시경의 관점에 상응하여 상기 화면 표시부를 회전 및 이동시키는 단계를 포함하되,
    상기 화면 표시부를 회전 및 이동시키는 단계는,
    상기 수술용 내시경의 이동 및 회전에 상응하여 상기 수술용 내시경의 관점 정보를 추적하는 단계;
    상기 수술용 내시경의 관점 정보를 이용하여 상기 내시경 영상의 이동 정보를 추출하는 단계; 및
    상기 이동 정보를 이용하여 상기 화면 표시부의 모션 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 체감형 수술용 영상 처리 방법.
    
12. 삭제
13. 제1항 또는 제11항에 있어서,
    상기 화면 표시부는,
    돔 형상의 스크린과;
    상기 돔 형상의 스크린에 상기 내시경 영상을 투사하는 프로젝터를 포함하는 체감형 수술용 영상 처리 방법.
14. 삭제

Images