KR100336804B1 - 텔레스코프 자동 제어 시스템 및 그 제어 방법 - Google Patents

Abstract

본 발명의 텔레스코프 자동 제어 시스템 및 그 제어 방법은 추적물의 영상을 이용하여 픽셀의 휘도량 변화가 소정치 이상으로 변한 블록 중에서 프레임의 중심 위치에 있는 중심 픽셀과 가장 가까운 블록을 찾는다. 그 다음, 이 블록을 중심으로 일정 범위 안에 있는 블럭을 검사하여 휘도량의 변화가 가장 작은 블럭을 찾아 영상 이동 벡터를 설정함으로써 텔레스코프가 달린 매니퓰레이터를 제어한다. 그럼으로써 추적물의 움직임에 맞추어 텔레스코프가 움직인다.

Description

텔레스코프 자동 제어 시스템 및 그 제어 방법{A TELESCOPE AUTO CONTROL SYSTEM AND THE CONTROL METHOD}

본 발명은 텔레스코프(telescope) 자동 제어 시스템 및 그 제어 방법에 관한 것으로, 특히 내시경 수술에 쓰이는 텔레스코프 자동 제어 시스템 및 그 제어 방법에 관한 것이다.

최근의 과학기술의 발전은 의학의 진단이나 수술에 많은 영향을 끼쳐 정확하고 빠를 뿐만 아니라 보다 안전한 진단이나 수술을 가능하게 하였다. 그 중에서도 내시경을 이용한 진단이나 수술은 환자에게 가해지는 충격, 통증 및 흉터를 최소화할 수 있을 뿐만 아니라 특정 부위에서 집도 의사에게 육안보다 좋은 영상을 제공한다.

그런데, 종래의 내시경을 이용한 수술에서는 환자의 몸 안에서 환부를 비추어 영상을 취득하는 텔레스코프, 수술도구 및 환부에 물이나 개스를 삽입하는 관이사용된다.

이 때, 집도 의사는 텔레스코프 끝단에 내장된 CCD 카메라에서 촬영된 영상을 컬러 모니터를 통하여 보고 수술 도구를 손으로 조정하면서 수술을 하게 되고, 보조 의사는 집도 의사의 명령에 따라 텔레스코프를 조정한다. 그러나, 수술이 장시간 진행되다 보면 보조 의사의 집중력 저하로 인해 수술의 능률이 떨어진다.

본 발명은 이와 같은 문제점을 해결하기 위한 것으로 보조 의사의 힘을 빌리지 않고 의사가 텔레스코프를 자동 제어할 수 있는 시스템 및 그 제어 방법을 제공하기 위한 것이다.

도1은 본 발명에 따른 텔레스코프 자동 제어 시스템의 블럭구성도이다.

도2는 본 발명에 따른 텔레스코프 자동 제어 방법의 순서도이다.

위와 같은 목적을 달성하기 위해 본 발명은 비젼 보드(vision board)를 구비한 컴퓨터를 이용하여 수술 도구를 디지털 영상 처리(digital visual tracking)에 의해 실시간으로 추적하고, 추적된 데이터를 바탕으로 컴퓨터가 텔레스코프(telescope)가 장착된 매니퓰레이터(manipulator)를 자동으로 제어하는 시스템 및 제어 방법이다.

본 발명의 특징에 따른 텔레스코프 자동 제어 시스템은 텔레스코프, CCD 카메라, 컴퓨터, 디스플레이장치 및 매니퓰레이터를 포함한다.

텔레스코프는 추적물의 광학적 영상 신호를 취득한다.

CCD 카메라는 텔레스코프에 연결되어 취득된 추적물의 광학적 영상 신호를 전기적 형태의 아날로그 영상 신호로 변환한다.

컴퓨터는 아날로그 영상 신호를 각 픽셀의 휘도량 정보가 포함된 디지털 영상 신호로 변환하고, 휘도량 정보로 다수 개의 픽셀로 이루어진 각 블록의 휘도량을 구하여 휘도량의 변화가 기준치보다 큰 제1 블록들을 구하고, 제1 블록들 중 프레임의 중심 픽셀과 가장 가까운 제2 블록을 구하고, 현재 프레임과 그 이전 프레임 상에서 제2 블록을 중심으로 일정 영역 안에 있는 각 블록의 휘도량의 차가 최소인 제3 블록을 찾아내어 제3 블록을 시점과 종점으로 하는 영상 이동 벡터를 추출한다.

디스플레이장치는 컴퓨터에 의하여 인식된 수술 도구의 영상을 시각적으로 제공한다.

매니퓰레이터는 컴퓨터에서 출력된 영상 이동 벡터를 입력받아 추적물이 이동된 쪽으로 움직인다.

본 발명의 특징에 따른 텔레스코프 자동 제어 방법은 텔레스코프, CCD 카메라, 비젼 보드를 포함하는 컴퓨터, 디스플레이 장치, 매니퓰레이터를 포함하는 텔레스코프 자동 제어 시스템에 있어서, 영상 입력 단계, 영상 취득 단계, 수술 도구의 윤곽을 찾는 단계, 영상 이동 벡터 추출 단계 및 텔레스코프 자동 제어 단계를 포함한다.

영상 입력 단계에서는 텔레스코프를 통하여 취득된 추적물의 영상을 CCD 카메라로 입력하여 전기적 형태의 아날로그 신호로 변환한다.

영상 취득 단계에서는 비젼 보드를 이용하여 매 프레임마다 입력되는 아날로그 신호를 각 픽셀의 휘도량 정보가 포함된 디지털 영상 신호로 변환한다.

수술 도구의 윤곽을 찾는 단계에서는 컴퓨터가 각 픽셀의 휘도량 정보를 이용하여 복수 개의 픽셀로 이루어진 각 블록의 휘도량을 구하여 휘도량의 변화가 기준치 이상인 제1 블록들을 찾는다.

영상 이동 벡터 추출 단계에서는 제1 블록들 중 현재 프레임의 중심 픽셀과 가장 가까운 제2 블록을 찾고, 제2 블록을 중심으로 소정 범위에 있는 각 블럭들의 휘도량과 그 이전 프레임의 상기 범위에 있는 각 블록들의 휘도량을 각각 비교하여 그 차이가 최소인 제3 블럭을 찾아내고, 제3 블록을 시점과 종점으로 하는 영상 이동 벡터를 추출한다.

텔레스코프 자동 제어 단계에서는 컴퓨터가 영상 이동 벡터를 이용하여 컴퓨터가 매니퓰레이터를 수술 도구가 이동한 곳으로 움직이게 한다.

이 때, 프레임의 해상도와 일정 비트의 디지털 영상 신호로 이루어지는 프레임 단위의 영상 취득 단계 이후에 해상도와 비트수를 보다 작게 하여 디지털 영상 신호를 변환하는 단계를 더 포함할 수도 있는 것을 특징으로 한다. 이렇게 함으로써 프레임 스캔의 시간을 줄일 수 있다.

이하, 본 발명의 실시예를 도면을 참조하여 상세하게 설명한다.

도1은 본 발명에 따른 텔레스코프 자동 제어 시스템의 블럭구성도이다.

도1에 도시한 바와 같이, 본 발명에 따른 텔레스코프 자동 제어 시스템은 수술 도구(100), 텔레스코프(110), CCD 카메라(120), 컴퓨터(130), 디스플레이 장치(display device)(140) 및 매니퓰레이터(150)를 포함한다.

수술 도구(100)는 집도 의사가 수술을 하기 위하여 사용하는 도구이다.

텔레스코프(110)는 집도 의사에 의하여 움직이는 수술 도구의 영상 신호를 취득한다.

CCD 카메라(120)는 텔레스코프(110)에 의하여 취득된 수술 도구(100)의 영상 신호를 결상하여 전기적 형태의 아날로그 영상 신호로 변환한다.

컴퓨터(130)는 비젼 보드(도시하지 않음)를 포함하여 CCD 카메라(120)에서 입력된 아날로그 영상 신호를 일정 해상도에 따른 매 픽셀(pixel)의 휘도량 정보가 포함된 일정 비트의 디지털 영상 신호로 변환하고, 매 프레임(frame)마다 각 픽셀의 휘도량 변화를 이용하여 수술 도구(100)의 이동을 인식하여 그에 대한 데이터를 출력한다.

디스플레이장치(140)는 컴퓨터(130)에 의하여 인식된 수술 도구(100)의 이동을 시각적으로 볼 수 있도록 영상을 사용자에게 제공한다.

매니퓰레이터(150)는 컴퓨터(130)에서 출력된 수술 도구(100) 이동에 대한 데이터를 입력받아 수술 도구(100)가 이동된 쪽으로 움직인다.

미설명 부호(160)는 인간의 몸과 같은 수술 부위를 나타낸다.

도2는 본 발명에 따른 텔레스코프 자동 제어 방법의 순서도이다.

도2에 도시된 바와 같이, 본 발명에 따른 텔레스코프 자동 제어 방법은 영상 입력 단계(S200), 프레임 단위 영상 취득 단계(S210), 도구의 윤곽을 찾는 단계(S220), 영상 이동 벡터를 추출하는 단계(S230) 및 매니퓰레이터에서 텔레스코프를 자동제어하는 단계(S240)를 포함한다.

영상 입력 단계(S200)는 수술 도구(100)의 영상을 전기적 형태의 아날로그신호로 변환하는 단계로, 집도 의사에 의하여 움직이는 수술 도구(100)에 대한 영상을 텔레스코프(110)가 취득하면, 텔레스코프(110)는 이 영상을 CCD 카메라(120)로 입력하여 전기적 형태의 아날로그 신호로 변환하고, CCD 카메라(120)는 이 아날로그 신호를 컴퓨터(130)로 입력한다.

프레임 단위의 영상 취득 단계(S210)는 상기 아날로그 신호를 디지털 영상 신호로 변환하는 단계로, 내부에 비젼 보드를 장착하고 있는 컴퓨터(130)가 이 비젼 보드를 이용하여 일정 해상도의 매 프레임마다 상기 아날로그 신호를 각 픽셀(pixel)의 휘도량 정보가 포함된 일정 비트의 디지털 영상 신호로 변환하는 단계이다.

도구의 윤곽을 찾는 단계(S220)는 각 픽셀의 휘도량을 비교하여 수술 도구(100)의 윤곽을 잡는 단계로, 컴퓨터(130)가 이전 프레임과 현재 프레임을 10×10의 블록으로 나누고, 그 블록을 구성하는 각 픽셀의 휘도량을 더한 후, 현재 프레임 블록의 휘도량과 이전 프레임 동일 위치 블록의 휘도량을 비교하여 기준치 이상인 블록을 수술 도구(100)의 윤곽을 잡는다. 이 때, 휘도량의 합 대신에 휘도량의 합을 블록을 구성하는 픽셀의 개수로 나눈 휘도량 평균값을 이용해도 상관없다.

영상 이동 벡터 추출 단계(S230)는 매니퓰레이터(150)를 제어하기 위하여 영상 이동 벡터(vector)를 구하기 위한 블록들을 추출하는 단계로, 컴퓨터(130)가 단계(S220)에서 찾은 블록 중 프레임의 중심 픽셀과 가장 가까운 블록을 찾은 다음, 그 블록을 중심으로 소정 범위 안에 있는 각 블록들의 휘도량과 그 이전 프레임의동일 영역에 있는 각 블록들의 휘도량을 각각 비교하여 그 차이가 가장 적은 블록을 찾아내어 두 블록 사이의 거리와 각으로써 영상 이동 벡터를 추출한다.

이 때, 중심이 되는 블록 대신에 상기 블록의 대표 픽셀을 선택하여 그 대표 픽셀을 중심으로 일정 영역에 있는 블록들의 휘도량을 비교하여도 된다. 또한, 각 블록들의 휘도량 대신에 휘도량 평균값을 이용하여도 무관하다.

매니퓰레이터에서 텔레스코프를 자동제어하는 단계(S240)는 단계(S230)에서 컴퓨터(130)가 추출한 영상 이동 벡터를 이용하여 컴퓨터가 매니퓰레이터(150)를 수술 도구(100)가 이동한 곳으로 움직이게 함으로써 텔레스코프(110)를 자동제어한다.

이하, 도면을 참조하여 본 발명에 따른 텔레스코프 자동 제어 시스템의 동작을 상세히 설명한다.

집도 의사가 수술 도구(100)를 이용하여 수술을 하면, 텔레스코프(110)는 수술 도구(100)의 영상을 취득하여, 이 영상을 텔레스코프(110)와 연결된 CCD 카메라(120)로 전송하여 집도 의사가 움직이는 수술 도구의 영상을 전기적인 형태의 아날로그 영상 신호로 변환하여 컴퓨터(130)로 출력한다(S200).

아날로그 영상 신호를 입력받은 컴퓨터(130)는 비젼 보드를 구비하여 이 아날로그 영상 신호를 일정 해상도에서 매 프레임마다 상기 아날로그 신호를 각 픽셀(pixel)의 휘도량 정보가 포함된 일정 비트의 디지털 영상 신호로 변환하는 단계이다(S210).

본 발명의 실시예에서는 640×480의 해상도에 24비트의 디지털 영상 신호로변환한다. 또한, 본 발명에서는 단계(S210) 다음에 각 픽셀의 검색 시간을 줄이기 위하여 640×480의 해상도에 24비트의 디지털 영상 신호를 320×240의 해상도에 8비트의 디지털 영상 신호로 변환하는 단계를 더 포함할 수 있다.

이와 같이, 아날로그 영상 신호를 320×240의 해상도에 8비트의 디지털 영상 신호로 바꾸면, 컴퓨터(130)는 이 디지털 영상 신호를 10×10의 블록으로 나눈 다음, 현재 프레임에서 각 블록을 구성하는 픽셀의 휘도량을 계산하여 각 블록의 휘도량 평균값을 구하고, 이전 프레임과 현재 프레임의 같은 위치의 블록에서의 휘도량 평균값을 비교하여 일정값 이상으로 변한 블록을 도구의 윤곽으로 인식한다. 왜냐하면, 이전 프레임의 어느 한 블록에 수술 도구(100)의 영상이 없었고, 현재 프레임 동일 위치의 블록에 수술 도구(100)의 영상이 있다면 당연히 그 블록에 해당하는 휘도량 평균값의 변화는 커지기 때문이다.

컴퓨터(130)는 단계(S220)에서 찾은 블록 중 프레임의 중심 픽셀 즉, 프레임의 중심점에 위치한 픽셀에서 가장 가까운 거리의 블록을 찾아낸다. 이런 과정을 거치는 이유는 수술 도구(100)의 영상은 프레임의 중앙 근처에 있을 확률이 매우 크므로 프레임의 중심에 위치한 픽셀에서 가까운 블록을 찾으면 그만큼 프레임을 분석하는 시간이 줄어든다.

컴퓨터(130)가 이와 같이 구한 블록의 대표 픽셀의 좌표를 (x, y)라 하면, 컴퓨터(130)는 현재 프레임 대표 픽셀의 좌표 (x, y)에서 시작하여 일정 영역 안에 있는 각 블록의 휘도량과 이전 프레임에서 현재 프레임과 동일한 영역 안에 있는 각 블록의 휘도량을 구한다. 그런 다음, 컴퓨터(130)는 각 블록의 휘도량의 차가최소가 되는 현재 프레임과 이전 프레임의 블록을 찾는다.

이 때, 대표 픽셀의 좌표는 프레임의 중심에 위치한 픽셀과 가장 가까운 블록을 구성하는 픽셀 중 임의의 픽셀 위치이다. 그리고 각 블록의 휘도량 대신에 각 블록의 휘도량의 평균을 구해도 무관하다.

이런 과정을 거치는 이유는 수술 도구(100)의 이동은 동일한 물체의 이동이므로 이동 전후에 수술 도구(100)에 해당하는 블록의 휘도량은 거의 차이가 없게 된다. 그러므로, 수술 도구(100)의 영상에 해당하는 블록의 휘도량은 수술 도구(100)가 이동한 영상에 해당하는 블록의 휘도량과 비교했을 때 그 차이가 최소가 된다.

따라서, 컴퓨터(130)는 휘도량의 변화가 가장 적은 현재 프레임의 블록과 그 이전 프레임의 블록을 찾아내어 두 블록 사이의 거리와 각도를 계산함으로써 영상 이동 벡터를 추출한다.

컴퓨터(130)가 영상 이동 벡터를 구하면, 컴퓨터(130)는 이 벡터 데이터를 매니퓰레이터(150)로 출력하여 매니퓰레이터(150)를 제어함으로써 집도 의사가 수술 도구(100)를 움직이면 매니퓰레이터(150)는 수술 도구(100)를 따라 움직이게 된다.

이와 같은 동작에 의하여 집도 의사는 수술을 보다 정확하고 안전하게 수행할 수 있다.

이상에서 설명한 본 발명의 실시예는 하나의 실시예일 뿐 본 발명이 상기한 실시예에 한정되는 것은 아니며, 또한 상기 실시예에 외에 많은 변경이나 변형이가능한 것은 물론이다.

예를 들어, 본 발명은 수술 뿐만이 아니라 물체의 이동을 정확하게 추적하는 여러 가지 응용에 쓰일 수 있다.

이상에서 설명한 바와 같이, 본 발명의 텔레스코프 자동 제어 시스템 및 그 제어 방법에 의하여 집도 의사는 보조 의사의 도움없이도 안전하고 정확한 수술을 할 수 있을 뿐만 아니라 장시간의 수술 또한 안전하게 수행할 수 있다.

Claims (6)

1. 사용자에 의하여 움직이는 추적물의 광학적 영상 신호를 취득하는 텔레스코프;

   상기 텔레스코프에 연결되어 취득된 상기 추적물의 광학적 영상 신호를 전기적 형태의 아날로그 영상 신호로 변환하는 CCD 카메라;

   상기 아날로그 영상 신호를 각 픽셀의 휘도량 정보가 포함된 디지털 영상 신호로 변환하고, 하나의 프레임의 디지털 영상 신호를 다수 개의 블록으로 나눈 다음 각 블록의 휘도량을 구하여 상기 휘도량의 변화가 기준치보다 큰 제1 블록들을 구하고, 상기 제1 블록들 중 프레임의 중심부와 가장 가까운 제2 블록을 구하고, 현재 프레임과 그 이전 프레임 상에 있는 상기 제2 블록의 위치를 중심으로 일정 영역 안에 있는 현재 프레임의 각 블록의 휘도량과 그 이전 프레임의 각 블록의 휘도량을 각각 비교하여 그 차가 최소인 제3 블록을 찾아내어 상기 제3 블록을 시점과 종점으로 하는 영상 이동 벡터를 추출하는 컴퓨터;

   상기 컴퓨터에 의하여 인식된 상기 수술 도구의 영상을 시각적으로 제공하는 디스플레이장치; 및

   상기 텔레스코프가 부착되어 있으며, 컴퓨터에서 출력된 상기 영상 이동 벡터를 입력받아 상기 추적물이 이동된 쪽으로 움직이는 매니퓰레이터를 포함하는 텔레스코프 자동 제어 시스템.
2. 제1항에 있어서,

   상기 중심부는 프레임의 중심 위치에 있는 블록인 것을 특징으로 하는 텔레스코프 자동 제어 시스템.
3. 제1항에 있어서,

   상기 컴퓨터는 비젼 보드를 포함하여 아날로그 영상 신호를 휘도량 정보가 포함된 디지털 영상 신호로 변환하는 것을 특징으로 하는 텔레스코프 자동 제어 시스템.
4. 제1항에 있어서,

   상기 휘도량 대신에 휘도량을 블록을 구성하는 픽셀의 개수로 나누는 휘도량 평균값을 이용하는 것을 특징으로 하는 텔레스코프 자동 제어 시스템.
5. 텔레스코프, CCD 카메라, 비젼 보드를 포함하는 컴퓨터, 디스플레이 장치, 매니퓰레이터를 포함하는 텔레스코프 자동 제어 시스템에 있어서,

   상기 텔레스코프를 통하여 취득된 추적물의 영상을 상기 CCD 카메라로 입력하여 전기적 형태의 아날로그 신호로 변환하는 단계;

   상기 비젼 보드를 이용하여 매 프레임마다 입력되는 상기 아날로그 신호를 각 픽셀의 휘도량 정보가 포함된 디지털 영상 신호로 변환하는 단계;

   상기 컴퓨터가 각 픽셀의 휘도량 정보를 이용하여 복수 개의 픽셀로 이루어진 각 블록의 휘도량을 구하여 상기 휘도량의 변화가 기준치 이상인 제1 블록들을 찾는 단계;

   상기 제1 블록들 중 현재 프레임의 중심부와 가장 가까운 제2 블록을 찾고, 상기 제2 블록을 중심으로 소정 범위에 있는 각 블럭들의 휘도량과 그 이전 프레임의 상기 범위에 있는 각 블록들의 휘도량을 각각 비교하여 그 차이가 최소인 제3 블럭을 찾아내고, 상기 제3 블록을 시점과 종점으로 하는 영상 이동 벡터를 추출하는 단계; 및

   상기 컴퓨터가 상기 영상 이동 벡터를 이용하여 상기 컴퓨터가 상기 매니퓰레이터를 수술 도구가 이동한 곳으로 움직이게 하는 단계를 포함하는 텔레스코프 자동 제어 방법.
6. 제5항에 있어서,

   상기 아날로그 신호를 상기 프레임의 해상도와 일정 비트의 디지털 영상 신호로 변환하는 단계 이후에 상기 해상도와 상기 일정 비트보다 작게 상기 디지털 영상 신호를 변환하는 단계를 더 포함하는 것을 특징으로 하는 텔레스코프 자동 제어 방법.