KR100726022B1

KR100726022B1 - 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템및 그 방법

Info

Publication number: KR100726022B1
Application number: KR1020050101442A
Authority: KR
Inventors: 김영수; 박종일; 이병주; 김성민
Original assignee: 한양대학교 산학협력단
Priority date: 2005-10-26
Filing date: 2005-10-26
Publication date: 2007-06-12
Also published as: KR20070045023A

Abstract

본 발명은 양측 방사선시스템을 실제 계측과 영상을 통한 계측을 통하여 모델링을 하고, 이 결과와 두 장의 방사선 영상과의 기하학적 관계를 이용하여 원하는 점의 3차원 좌표를 구함으로써, 방사선 영상을 이용한 인체의 3차원 좌표를 구할 수 있어 경피적 수술(Non-Invasive Surgery)을 위한 수술 계획 시스템에 적합하고, 수술 계획을 위해 어떠한 인공 구조물을 인체에 삽입하거나 부착하는 등의 추가적인 시술이 필요하지 않기 때문에 환자의 고통 경감과 의사의 수고를 덜 수 있는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템 및 그 방법에 관한 것으로, 그 구성은 대략 링 형상의 프레임과; 상기 프레임의 동일 수직면상에 90°간격으로 설치되어 X-ray 신호를 시술대상체의 상단면과 측면으로 각각 발사하는 복수의 방사선발생기와; 상기 방사선발생기와 대응되는 위치의 프레임상에 설치되어 시술대상체를 통해 전달된 평면 및 측면 방사선을 각각 수신하는 복수의 영상수신기와; 상기 영상수신기를 통해 출력된 시술대상체의 평면 및 측면 방향의 2차원 영상을 제공받아 상기 각 2차원 영상을 소정의 알고리즘에 의해 처리하여 시술부위의 3차원 위치정보를 생성하는 컴퓨터와; 상기 컴퓨터에 의해 처리된 양측 2차원 영상과 3차원 위치정보를 이미지로 출력하는 모니터; 및 상기 컴퓨터에서 얻은 데이터를 기준으로 시술부위의 위치를 따라 수술도구의 위치와 진입각도를 안내하는 수술로봇;으로 이루어져 있다.

Description

복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템 및 그 방법{System for 3D Localization and Non-Invasive Surgical Planning Using Bi-plane Fluoroscopic Images And Method therefor}

도 1은 본 발명에 적용된 미세 침습 수술을 위한 컴퓨터 통합 수술로봇 시스템의 개념도이다.

도 2는 본 발명의 실시예에 의한 도 1의 양측 방사선시스템을 도시한 도면이다.

도 3a 내지 도 3c는 본 발명에 의한 계측용 모형원판을 도시한 도면이다.

도 4는 본 발명에 의한 경피적 수술을 위한 수술 계획 시스템의 사용자 인터페이스 환경을 나타낸 도면이다.

도 5는 본 발명의 실시예에 의한 컴퓨터와 수술로봇을 이용한 수술계획 수립 방법을 나타낸 플로우챠트이다.

도 6은 본 발명에 적용된 양측 영상의 공간좌표상의 중점을 구하는 방법을 설명하기 위해 도시한 도면이다.

* 도면의 주요 부분에 대한 부호의 설명

1: 시술대상체 5: 수술침대

9: 계측용 모형원판 9-1: 전면판

9-2: 기준점 9-3: 격벽

9-4: 후면판 9-5: 기준점

10: 프레임 20: 방사선발생기

30: 영상수신기 40: 컴퓨터

50: 모니터 51-1: 평면영상

51-2: 측면영상 55: 기능버튼(사용자 인터페이스)

70: 수술로봇 75: 수술도구(끝점)

본 발명은 3차원 수술공간 계측 방법에 관한 것으로, 특히 척추경 나사못 시술, 척추 내시경 수술, 척추추체 성형술, 척추조직 검사, 척추측만 교정술 등의 척추 수술 등에 있어 양측 방사선 영상(Bi-plane Fluoroscopy)을 사용하여 수술할 때, 영상에 표시되는 공간에 대해 기하학적으로 모델링하고 이를 이용하여 2차원 영상 두장을 이용하여 3차원적으로 수술 계획을 정확하게 수립할 수 있는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템 및 그 방법에 관한 것이다.

기존의 척추 수술 방법은 C-Arm(단방향 X-ray)으로 측면의 2차원의 영상을 촬영해 가며 수술을 진행하는데, 환부가 완전히 드러나도록 절개하고 수술함으로 수술 시간 및 환자의 회복시간이 많이 걸리는 부담이 있었다.

수술 작업에 있어서는 척추경 나사못을 시술하고자 하는 곳에 구멍을 뚫고, 나사가 위치할 자리에 미리 길을 내고, 나사를 삽입하고 최종적으로 나사를 연결한 후 복수의 나사를 바에 의해 연결하여 수술을 마치는 작업이다.

현재 시술되고 있는 방법은 구멍을 뚫는 것에서부터 나사못을 삽입하는 전 부분에 걸친 모든 작업들이 집도의의 감각에 의존하여 방사선 영상은 참조만 되는 정도에 그치고 있다. 수술 과정 중 얻게 되는 영상이 참조하는 정도에 그치고 적극적으로 사용되고 있지 않으므로 인해 시술하는 의사의 경험과 숙련도에 의해 정확도가 결정되어 진다고 해도 과언이 아니다.

또한, 종래에는 수술 공간 좌표와 영상 좌표 간의 정합을 위해 인체 내에 인공 보조물(쇠구슬)을 삽입하거나 부착하는 과정을 거치게 된다.

이렇게 삽입 혹은 부착된 물체를 통해 공간 좌표와 영상좌표를 각각 얻어 좌표를 통일 시키는 과정을 거쳤는데, 이를 위해 시술 시 인공 구조물을 삽입하거나 부착하는 과정을 한 번 더 거쳐야 한다.

물론 현재 시술되고 있는 보편적인 방법과 같이 환부를 완전히 드러내고 수술을 하는 경우에는 절개 후 쇠구슬을 적절한 장소에 위치시키는 과정만 거치면 되지만, 앞으로 수술 분야에서 추구하고자 하는 경피적 수술(Non-Invasive Surgery)을 수행할 경우에는 사전에 인공 구조물을 삽입하거나 부착하는 시술을 추가로 해야 하는 문제가 있었다.

따라서, 본 발명의 목적은 척추경 나사못 시술, 척추 내시경 수술, 척추 추체 성형술, 척추조직 검사, 척추측만 교정술 등의 척추 수술 등에 있어 양측 방사선 영상(Bi-plane Fluoroscopy)을 사용하여 수술할 때, 영상에 표시되는 공간에 대해 기하학적으로 모델링하고, 이를 이용하여 2차원 영상 두장을 이용해 3차원적으로 수술 계획을 정확하게 수립할 수 있는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템 및 그 방법을 제공하는 데 있다.

본 발명의 다른 목적은, 양측 방사선시스템을 실제 계측과 영상을 통한 계측을 통하여 모델링을 하고, 이 결과와 두 장의 방사선 영상과의 기하학적 관계를 이용하여 원하는 점의 3차원 좌표를 구함으로써, 실시간으로 수술 계획을 정확하게 수립할 수 있는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템 및 그 방법을 제공하는 데 있다.

또한, 본 발명의 다른 목적은 방사선 영상을 이용한 인체의 3차원 좌표를 구할 수 있어 경피적 수술(Non-Invasive Surgery)을 위한 수술 계획 시스템에 적합함과 아울러 수술 계획을 위해 어떠한 인공 구조물을 인체에 삽입하거나 부착하는 등의 추가적인 시술이 필요하지 않기 때문에 환자의 고통 경감과 의사의 수고를 덜어 줄 수 있는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템 및 그 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 기술적 수단은, 컴퓨터와 수술로봇을 이용한 수술공간 계측 시스템에 있어서: 대략 링 형상의 프레임; 상기 프레임의 동일 수직면상에 90°간격으로 설치되어 X-ray 신호를 시술대상체의 상단면과 측면으로 각각 발사하는 복수의 방사선발생기; 상기 방사선발생기와 대응되는 위치의 프레임상에 설치되어 시술대상체를 통해 전달된 평면 및 측면 방사선을 각각 수신하는 복수의 영상수신기; 상기 영상수신기를 통해 출력된 시술대상체의 평면 및 측면 방향의 2차원 영상을 제공받아 상기 각 2차원 영상을 소정의 알고리즘에 의해 처리하여 시술부위의 3차원 위치정보를 생성하는 컴퓨터; 상기 컴퓨터에 의해 처리된 양측 2차원 영상과 3차원 위치정보를 이미지로 출력하는 모니터; 및 상기 컴퓨터에서 얻은 데이터를 기준으로 시술부위의 위치를 따라 수술도구의 위치와 진입각도를 안내하는 수술로봇;을 구비하는 특징으로 한다.

구체적으로, 상기 모니터의 하단에는 촬영한 영상의 파일 오픈, 각종 기능, 영상 보정, 3차원 개조, 리셋과 같은 사용자와의 인터페이스가 가능한 기능 버튼이 구비되어 디스플레이 영상의 조정이 가능하도록 구성된 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 기술적 방법은, 컴퓨터와 수술로봇을 이용한 수술공간 계측 방법에 있어서: 방사선 영상의 계측을 위해 평면, 측면 영상수신기에 계측용 모형원판을 고정 세팅하는 제 1 단계; 상기 계측용 모형원판이 설치된 상태에서 평면 및 측면으로 방사선을 각각 발사하여 양측에 대한 2차원 영상을 각각 획득하는 제 2 단계; 상기에서 획득한 두개의 2차원 영상을 제공받아 두 영상을 컴퓨터를 이용하여 실시간으로 디스플레이하는 제 3 단계; 상기 모형원판을 통해 측정된 영상의 회전각을 보상하기 위하여 그 각도만큼 역방향으로 회전시켜 화면에 디스플레이하는 제 4 단계; 상기 수술로봇을 정해진 경로를 따라 움직이면서 이를 촬영한 후 영상을 통해 얻어진 수술로봇 끝점의 좌표를 이용해 최소 스퀘어 피팅(Least Square Fitting)을 수행한 후 수술공간과 상기 제 2 단계에서 획득한 영상좌표 간의 정합을 수행하는 제 5 단계; 상기에서 획득한 수술로봇과 영상의 3차원 좌표 간의 정합을 통해 두 좌표계의 관계를 정의하는 제 6 단계; 및 상기와 같이 수행한 후 시술대상체를 수술침대에 위치시키고 시술대상체의 평면, 측면 영상을 획득한 후 환부에 해당하는 점을 찾아 3차원 좌표화함에 따라 수술 계획을 수립하는 제 7 단계;를 구비하는 것을 특징으로 한다.

구체적으로, 상기 제 5 단계에서 상기 수술로봇 끝점의 좌표와 평면, 측면 영상을 통해 획득한 수술로봇 끝점의 좌표를 이용하여 두 좌표간의 관계를 밝힐 경우, 수술로봇의 자동적인 움직임과 이 움직임이 표시된 영상을 통해 수술로봇의 끝점을 사용자가 직접 클릭하여 찾고, 이들 점을 이용하여 정해진 알고리즘을 수행하여 두 좌표간의 관계를 밝히는 것을 특징으로 하며, 또한 상기 제 6 단계에서 상기 평면 및 측면에 대한 2차원 영상 중, 한 개의 영상의 점을 클릭할 경우 나머지 영상에서는 선으로 표시되어 지고, 마우스를 움직였을 때 그 선상의 점이 표시되게 하여 두개의 영상에서 원하는 점을 선택할 수 있도록 하는 단계; 및 상기 단계를 통해 엔트리 포인트와 타깃 포인트를 지정하여 이 경로를 표시하는 단계;를 더 포함하는 것을 특징으로 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 살펴보고자 한다.

도 1은 본 발명에 적용된 미세 침습 수술을 위한 컴퓨터 통합 수술로봇 시스템의 개념도이고, 도 2는 도 1의 양측 방사선시스템을 도시한 도면으로, 프레임(10), 방사선발생기(20), 영상수신기(30), 컴퓨터(40), 및 수술로봇(70) 등으로 이루어져 있다.

상기 프레임(10)은 방사선발생기(20; 21, 25)와 영상수신기(30; 31, 35)가 동일 수직면상에 180°간격으로 상호 대응되도록 복수개가 설치되어 있고, 방사선발생기(20)는 상기 프레임(10)의 동일 수직면상에 90°간격으로 설치되어 X-ray 신호를 시술대상체(1)로 상단 및 측면으로 각각 발사하는 제 1 및 제 2 방사선발생기(21, 25)로 구성되어 있고, 영상수신기(30)는 상기 프레임(10)의 동일 수직면상에 90°간격으로 설치되되 상기 방사선발생기(20)에 대응되는 위치에 각각 설치되어 시술대상체(1)를 통해 전달된 2차원의 평면 및 측면 방사선 영상을 수신하는 제 1 및 제 2 영상수신기(31, 35)로 구성되어 있다.

상기 제 1 및 제 2 영상수신기(31, 35)의 전면에는 도 3a 내지 도 3c와 같은 투명재질의 계측용 모형원판(9)이 돌출되어 고정 설치되어 있는 데, 모형원판(9)은 전면판(9-1)과 후면판(9-4)으로 이루어져 있고, 상기 전면판(9-1)과 후면판(9-4)은 소정의 격벽(9-3)을 통해 일정 거리 이격되어 있으며, 상기 전면판(9-1)과 후면판(9-4)에는 측정 기준점들(9-2)(9-5)이 좌표화되어 각각 마킹되어 있다.

그리고, 컴퓨터(40)는 상기 제 1 및 제 2 영상수신기(31, 35)를 통해 출력된 시술대상체(1)의 평면 및 측면 방향의 2차원 영상을 제공받아 상기 각 2차원 영상 을 소정의 알고리즘에 의해 처리하여 시술부위의 3차원 위치정보를 생성하도록 구성되어 있고, 모니터(50)는 상기 컴퓨터(40)에 의해 처리된 양측의 2차원 영상과 3차원 위치정보를 이미지로 출력하도록 구성되어 있고, 수술로봇(70)은 상기 컴퓨터(40)에서 얻은 데이터를 기준으로 시술부위의 위치를 따라 수술도구(75)의 위치와 진입각도를 안내하도록 구성되어 있다.

아울러, 상기 모니터(50)의 하단에는 촬영한 영상의 파일 오픈, 각종 기능, 영상 보정, 3차원 개조, 리셋과 같은 사용자와의 인터페이스가 가능한 기능 버튼(55)이 구비되어 디스플레이 영상의 조정이 가능하도록 구성되어 있다.

즉, 시술대상체(1)는 수술침대(5)에 위치하게 되고, 복수의 방사선발생기(20) 및 영상수신기(30)가 수직, 수평방향으로 시술부위의 2차원 영상을 2장을 추출하게 된다.

이 영상을 바탕으로 시술부위의 3차원 위치 데이터를 얻어 소정의 5자유도 수술로봇(70)에 전송하고, 수술로봇(70)은 이 데이터를 기준으로 시술부위의 위치를 따라 수술도구(75)의 위치와 진입각도를 안내하게 된다.

도 2는 양측 방사선시스템(Bi-Plane Fluoroscopiy System)의 구조도로서, 프레임(10)의 하단에 설치된 바퀴(11)는 고정이 가능한 구조로 되어 있어서 필요에 따라 방사선장치를 원하는 장소로 이동시킬 수도 있고, 바닥에 고정시킬 수도 있다.

양측 방사선시스템의 프레임(10)에는 예컨대, 각각 2개의 X-ray 발생기(Generator; 21, 25)와 X-ray 수신기(Receiver; 31, 35)가 서로 90° 간격으로 부 착되어 있어 평면 영상과 측면 영상인 두 가지 영상을 얻어 3차원 위치 정보를 생성할 수 있도록 한다.

예컨대, 국내특허출원 제1998-7009294호와 같은 종래 기술은, 양방향의 방사선 검사 영상을 얻기 위해 C-Arm 장비를 움직이는 조작이 필요하고, 두 영상을 두 개의 컴퓨터를 이용해 디스플레이하여 사용하였으나, 본 발명에서는 두 개의 영상을 동시에 획득하여 한 개의 컴퓨터(40)를 이용해 디스플레이 하였음은 물론이고, 영상 장비의 영상이 획득되어지는 공간과 두 개의 방사선 영상과의 좌표 정합을 위해 어떠한 마커(fiducial Marker)도 사용하지 않았다.

이는 수술을 받는 환자의 입장에서, 그리고 수술을 행하는 의사의 입장에서 얻을 수 있는 가장 큰 이점이 되는데, 마커를 몸에 삽입하거나 부착하기 위해 추가적인 시술이 필요하지 않기 때문에 환자의 고통 경감과 함께, 의사는 마커를 적절한 위치에 삽입하거나 부착하기 위한 수고를 하지 않아도 된다.

이를 통해 볼 때, 본 발명은 현재 수술의 방향인 경피적 수술(Non-Invasive Surgery)의 기조와 잘 맞는 수술 계획 시스템이라 할 수 있다.

도 4는 도 2에 의해 획득한 양측 영상의 디스플레이와 사용자 인터페이스 환경을 나타낸 도면으로서, 모니터(50)에는 복수의 방사선발생기(20)와 영상수신기(30)에 의해서 획득한 영상이 디스플레이되어 있다.

상기 모니터(50)의 화면 상단에 위치한 두 영상(51; 51-1, 51-2)은 복수의 영상수신기(30)로부터 실시간으로 촬영된 영상을 각각 디스플레이하는 부분이고, 아래의 두 영상(53; 53-1, 53-2)은 상기 측정된 영상의 회전각을 보상하기 위하여 그 각도만큼 역방향으로 회전시켜 디스플레이한 영상이다.

그리고, 디스플레이 화면상에 기준점들이 마킹된 것이 보이는 데, 이것은 제 1 및 제 2 영상수신기(31, 35)의 전면에 고정 세팅된 계측용 모형원판(9)의 기준점이 디스플레이된 것이다.

이와 같이 디스플레이된 영상들 중에서 아래 두 영상(53)을 이용해 공간 좌표와 영상 좌표의 정합은 물론이고 수술 경로에 대한 계획에 이르는 모든 작업이 이루어지게 된다.

이러한 기능들은 화면의 하단에 위치한 사용자 인터페이스 환경의 기능버튼들(55)에 의해 선택 및 수행되어 진다.

상기에서 획득한 영상을 기준으로 컴퓨터(40)에 저장된 알고리즘을 통해 3차원 좌표를 계산하여 시술부위의 3차원 위치좌표를 설정한 후 상기 수술로봇(70)에 위치제어신호를 전송하게 되면, 상기 수술로봇(70)은 좌표제어신호를 기준으로 시술부위에 근접하도록 동작하게 된다.

이와 같이 구성된 컴퓨터(40)와 수술로봇(70)을 이용한 수술계획 수립 방법을 도 5의 플로우챠트를 이용하여 살펴보면 다음과 같다.

먼저, 제 1 및 제 2 영상수신기(31, 35)의 전면에 계측용 모형원판(9)을 각각 고정 설치한 상태에서 방사선 영상의 계측을 위해 방사선발생기(20)와 영상수신기(30), 컴퓨터(40) 및 수술로봇(70)을 초기화시키게 된다(S1).

이어, 컴퓨터(40)는 제 1 및 제 2 방사선발생기(21, 25)를 제어하여 시술대상체(1)가 없는 상태에서 평면 및 측면으로 방사선을 각각 발사시킴과 아울러 제 1 및 제 2 영상수신기(31, 35)를 통해 양측에 대한 2차원의 평면 및 측면 영상을 각각 획득하게 된다(S2, S3).

컴퓨터(40)는 상기 영상수신기(30)를 통해 획득한 두개의 2차원 영상을 제공받아 두 영상을 적절하게 영상처리한 후 모니터(50)의 화면 상단에 도 4와 같이 평면 및 측면 영상을 각각 디스플레이하게 된다(S4).

이어 컴퓨터(40)는 상기 계측용 모형원판(9)을 통해 측정된 영상의 회전각을 보상하기 위하여 그 소정의 각도, 예컨대 대략 90°정도 역방향으로 회전시켜 화면에 도 4와 같이 디스플레이시킨다(S5).

이와 같은 상태에서 컴퓨터(40)는 상기 수술로봇(70)을 제어하여 수술로봇(70)을 정해진 경로를 따라 움직이면서 이를 방사선발생기(20)와 영상수신기(30)를 통해 촬영하고, 촬영 영상을 통해 얻어진 수술로봇(70)의 끝점(75)의 좌표를 이용하여 최소 스퀘어 피팅(Least Square Fitting)을 수행하여 3차원 좌표화하여 수술경로를 얻는다(S6).

이어, 상기에서 얻은 수술경로 및 수술공간과 상기에서 획득한 평면 및 측면 영상좌표 간의 정합을 수행하고, 상기 수술공간과 영상좌표 간의 정합을 통해 두 영상에서 일치되는 점을 정의하게 된다(S7). 아울러, 상기에서 모니터(50)에 평면 영상, 측면 영상 및 2개의 보정 영상을 포함하여 총 4개의 화면이 디스플레이 되며, 상기 시술대상체(1)의 평면, 측면 영상과 수술로봇(70)의 끝점(75)의 좌표를 이용하여 두 좌표간의 관계를 밝힐 경우, 수술로봇(70)의 자동적인 움직임과 이 움직임이 표시된 영상을 통해 수술로봇(70)의 끝점(75)을 사용자가 직접 클릭하여 찾고, 이들 점을 이용하여 정해진 알고리즘을 수행하여 두 좌표간의 관계를 밝히게 된다.

이후에 시술대상체(1)를 수술침대에 세팅함과 아울러 환부에 해당하는 부분을 상기 제 1 및 제 2 방사선발생기(21, 25)와 제 1 및 제 2 영상수신기(31, 35)를 통해 시술대상체의 평면, 측면 영상을 획득한 후 이를 3차원 좌표화함에 따라 수술 계획을 수립하게 된다(S8).

이때, 상기 평면 및 측면에 대한 2차원 영상 중, 한 개의 영상의 점을 클릭할 경우 나머지 영상에서는 선으로 표시되어 지고, 마우스를 움직였을 때 그 선상의 점이 표시되게 하여 두개의 영상에서 원하는 점을 선택할 수 있도록 하는 과정과, 상기 단계를 통해 엔트리(entry) 포인트와 타깃(target) 포인트를 지정하여 이 경로를 표시하는 과정을 수행하게 된다.

상기 단계를 통해 결정된 엔트리(entry) 포인트와 타깃(target) 포인트는 로봇을 제어하기 위한 수술 경로의 정보로 사용되게 된다.

그럼, 상기 평면 및 측면 영상좌표 간의 정합(공간좌표에서의 중점 계산)을 수행하는 알고리즘을 도 6을 참조하여 살펴보면 아래와 같다.

먼저, 컴퓨터(40)는 공간상의 좌표를 구하기 위해서 다음과 같은 과정을 거치게 된다.

1) 두 평면(51-1, 51-2)의 법선벡터와 중점(MP1, MP11)을 계산한다. 이때 사용하는 두 선분은 직교한다고 가정하자.

2) 1)에서 구한 법선벡터와 중점으로 두 직선(h1, h11)을 구한다.

3) 두 직선(h1, h11)이 만나는 점(3D point; 3Dp)을 계산한다.

4) 만약 꼬인 상태라면 두 직선(h1, h11)이 가장 가까워질 때의 점(3Dp)을 찾는다.　

두 평면(51-1, 51-2)의 법선벡터와 중점에 대한 풀이를 평면(AP-VIEW) 영상부터 살펴본다.

먼저, 평면(51-1)의 원 위의 네 점, 즉 P1(x1, y1, z1), P2(x2, y2, z2), P3(x3, y3, z3), P4(x4, y4, z4)는 모두 같은 평면상의 점이므로 그 평면방정식은 아래 수학식 1과 같다.

상기 수학식 1에서 d를 1이라고 가정하면 수학식 2와 같이 표현된다.

여기에 각 포인트를 대입하여 보면 다음 수학식 3과 같이 된다.

상기 수학식 3을 행렬로 풀면 아래 수학식 4와 같이 된다.

상기 수학식 4에서

(i=1,2,3,4) 이다.

하지만, 이를 풀면 부정 방정식이 되므로 (3*3) 행렬 조합하여 아래 수학식 5와 같이 4개로 분리시켜서 푼다.

그리고, 편의를 위해 수학식 5의 행렬 4개를 각각 X1, X2, X3, X4라 한 후 수학식 4의 X * a = -1을 각각 대입하면 아래 수학식 6과 같이 표현할 수 있다.

이때 나온 값을 각각, (ai, bi, ci) (i=1,2,3,4)라 한다.

그러면 평면(AP-VIEW)상의 법선벡터 A1, B1, C1은 각각 수학식 7과 같이 나타낼 수 있다.

A1 = (a1+a2+a3+a4)/4

B1 = (b1+b2+b3+b4)/4

C1 = (c1+c2+c3+c4)/4

상기 수학식 7에서 ( a1 , a2 , a3 , a4 ), ( b1 + b2 + b3 + b4 ), ( c1 + c2 + c3 + c4 )의 값은 각각 거의 동일하다. 하지만 정확도를 위해 평균화를 한다.

아울러, 측면(Lateral VIEW) 영상도 평면과 동일하게 시행하여 법선벡터 A2, B2, C2를 각각 구한다.

각각의 직선(h1, h11)에 대한 풀이를 보면, 평면(AP-VIEW)의 중점(MP1)의 경 우 (X1, Y1, Z1)가 되고, AP-VIEW 직교 벡터(h1)는 (A1, B1, C1)가 된다.

그리고, 측면(Lateral VIEW)의 중점(MP11)의 경우 (X2, Y2, Z2)가 되고, 측면(Lateral VIEW) 직교 벡터(h11)는 (A2, B2, C2)가 된다.

따라서, 평면(AP-VIEW)과 측면(Lateral VIEW)의 법선은 각각 다음 수학식 8과 같이 나타내어질 수 있다.

상기 수학식 8의 X, Y, Z에 대해 정리해보면 (1), (2)는 수학식 9 및 10과 같이 각각 나타낼 수 있다.

그럼, 두 직선(h1, h11)의 교점(3Dp)에 대한 풀이를 보면, 아래 수학식 11과 같이 표현할 수 있다. 여기에서 위의 두 식이 같다고 가정한다.

상기 수학식 11에서 t와 s계산한 뒤 그 값을 수학식 8의 (1), (2)식에 대입하면 공간상의 교점(3Dp)인 x, y, z 가 구해진다.

이와 같이 본 발명을 구성함에 따라 경피적 수술을 위한 수술 계획이 가능하게 되었는 데, 그 과정을 간단히 정리하여 보면 다음과 같다.

소정의 계측 모형이나 인체와 같은 시술대상체(1)를 통해 양측 방사선 영상의 내부 파라미터를 계산하여 영상 장비(20, 30)를 모델링하고, 영상 장비가 임의의 각도로 회전하는 것에 대한 보상이 이루어져 2차원인 두 영상이 영상 장비상에서 3차원적으로 정확히 표현되게 된다.

이후, 어떠한 인공 구조물의 사용도 필요 없이 수술로봇(70)이 정해진 경로를 따라 움직이게 하고 이를 촬영하여 수술 공간과 영상 좌표 간의 정합을 수행하게 된다.

이 결과를 이용해 두 영상에서 일치되는 점을 찾아 3차원 좌표화하는 작업을 수행할 수 있는데, 이 작업을 통해 엔트리 포인트와 타깃 포인트를 지정해 줄 수 있고, 이 정보를 TCP/IP 방식의 네트워크를 통해 수술로봇(70) 시스템으로 전송하게 된다.

상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.

따라서, 본 발명에서는 척추경 나사못 시술, 척추 내시경 수술, 척추 추체 성형술, 척추조직 검사, 척추측만 교정술 등의 척추 수술 등에 있어 양측 방사선 영상(Bi-plane Fluoroscopy)을 사용하여 수술할 때, 영상에 표시되는 공간에 대해 기하학적으로 모델링하고, 이를 이용하여 2차원 영상 두장을 이용해 3차원적으로 수술 계획을 정확하게 수립할 수 있는 이점이 있다.

또한, 양측 방사선시스템을 실제 계측과 영상을 통한 계측을 통하여 모델링을 하고, 이 결과와 두 장의 방사선 영상과의 기하학적 관계를 이용하여 원하는 점의 3차원 좌표를 구함으로써, 실시간으로 수술 계획을 정확하게 수립할 수 있음과 아울러 방사선 영상을 이용한 인체의 3차원 좌표를 구할 수 있어 경피적 수술(Non-Invasive Surgery)을 위한 수술 계획 시스템에 적합하고, 수술 계획을 위해 어떠한 인공 구조물을 인체에 삽입하거나 부착하는 등의 추가적인 시술이 필요하지 않기 때문에 환자의 고통 경감과 의사의 수고를 덜어 줄 수 있는 등의 다양한 이점이 있다.

Claims

컴퓨터와 수술로봇을 이용한 수술공간 계측 시스템에 있어서:

링 형상의 프레임;

상기 프레임의 동일 수직면상에 90°간격으로 설치되어 X-ray 신호를 시술대상체의 상단면과 측면으로 각각 발사하는 복수의 방사선발생기;

상기 방사선발생기와 대응되는 위치의 프레임상에 설치되어 시술대상체를 통해 전달된 평면 및 측면 방사선을 각각 수신하는 복수의 영상수신기;

상기 영상수신기를 통해 출력된 시술대상체의 평면 및 측면 방향의 2차원 영상을 제공받아 상기 각 2차원 영상을 이용하여 시술부위의 3차원 위치정보를 생성하는 컴퓨터;

상기 컴퓨터에 의해 처리된 양측 2차원 영상과 3차원 위치정보를 이미지로 출력하는 모니터; 및

상기 컴퓨터에서 얻은 데이터를 기준으로 시술부위의 위치를 따라 수술도구의 위치와 진입각도를 안내하는 수술로봇;을 구비하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템.
청구항 1에 있어서,

상기 평면 방사선을 수신하는 영상수신기 및 측면 방사선을 수신하는 영상수신기의 전단에 기준점들이 마킹된 계측용 모형원판이 고정 설치된 것을 특징으로 하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템.
청구항 1에 있어서,

상기 모니터의 하단에는 촬영한 영상의 파일 오픈, 각종 기능, 영상 보정, 3차원 개조, 리셋과 같은 사용자와의 인터페이스가 가능한 기능 버튼이 구비되어 디스플레이 영상의 조정이 가능하도록 구성된 것을 특징으로 하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 시스템.
컴퓨터와 수술로봇을 이용한 수술공간 계측 방법에 있어서:

방사선 영상의 계측을 위해 평면, 측면 영상수신기에 계측용 모형원판을 고정 세팅하는 제 1 단계;

상기 계측용 모형원판이 설치된 상태에서 평면 및 측면으로 방사선을 각각 발사하여 양측에 대한 2차원 영상을 각각 획득하는 제 2 단계;

상기에서 획득한 두개의 2차원 영상을 제공받아 두 영상을 컴퓨터를 이용하여 실시간으로 디스플레이하는 제 3 단계;

상기 모형원판을 통해 측정된 영상의 회전각을 보상하기 위하여 상기 측정된 영상을 상기 회전각만큼 역방향으로 회전시켜 화면에 디스플레이하는 제 4 단계;

상기 수술로봇을 정해진 경로를 따라 움직이면서 이를 촬영한 후 영상을 통해 얻어진 수술로봇 끝점의 좌표를 이용해 최소 스퀘어 피팅(Least Square Fitting)을 수행한 후 수술공간과 상기 제 2 단계에서 획득한 영상좌표 간의 정합을 수행하는 제 5 단계;

상기에서 획득한 수술로봇과 영상의 3차원 좌표 간의 정합을 통해 두 좌표계의 관계를 정의하는 제 6 단계; 및

상기와 같이 수행한 후 시술대상체를 수술침대에 위치시키고 시술대상체의 평면, 측면 영상을 획득한 후 환부에 해당하는 점을 찾아 3차원 좌표화함에 따라 수술 계획을 수립하는 제 7 단계;를 구비하는 것을 특징으로 하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 방법.
청구항 4에 있어서,

상기 제 3 및 제 4 단계를 통해 모니터에 촬영된 평면 영상, 측면 영상 및 2개의 보정 영상을 포함하여 총 4개의 화면이 디스플레이 되는 것을 특징으로 하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 방법.
청구항 4에 있어서, 상기 제 5 단계에서,

상기 수술로봇 끝점의 좌표와 평면, 측면 영상을 통해 획득한 수술로봇 끝점의 좌표를 이용하여 두 좌표간의 관계를 밝힐 경우, 수술로봇의 자동적인 움직임과 이 움직임이 표시된 영상을 통해 수술로봇의 끝점을 사용자가 직접 클릭하여 찾고, 상기 수술로봇의 끝점좌표와 상기 수술로봇의 움직임이 표시된 영상을 통해 얻은 영상좌표를 이용하여 두 좌표간의 관계를 밝히는 것을 특징으로 하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 방법.
청구항 4에 있어서, 상기 제 6 단계에서,

상기 평면 및 측면에 대한 2차원 영상 중, 한 개의 영상의 점을 클릭할 경우 나머지 영상에서는 선으로 표시되어 지고, 마우스를 움직였을 때 그 선상의 점이 표시되게 하여 두개의 영상에서 원하는 점을 선택할 수 있도록 하는 단계; 및 상기 단계를 통해 엔트리 포인트와 타깃 포인트를 지정하여 이 경로를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 복수의 2차원 영상을 이용한 3차원 수술공간 계측 방법.