KR20080106282A

KR20080106282A - 의학 영상 시스템에 의해 제공된 이미지 상에서 수술 도구의 자동 탐지

Info

Publication number: KR20080106282A
Application number: KR1020087023139A
Authority: KR
Inventors: 필립 생뀐; 쌩드린느 보로
Original assignee: 유니베르시떼 조셉 푸리에
Priority date: 2006-02-20
Filing date: 2007-02-16
Publication date: 2008-12-04
Also published as: CA2642913A1; US8391571B2; EP1987473A2; EP1987473B1; CN101385036A; JP2009527267A; WO2007096557A3; FR2897703B1; US20090220131A1; FR2897703A1; ATE526646T1; ES2372705T3; WO2007096557A2

Abstract

본 발명은 이미지 상에서 수술 도구를 탐지하기 위한 장치에 관한 것으로서, 상기 수술 도구는 환자의 장기 또는 피부(14)의 절개부를 관통한다. 상기 장치는, 수술 도구의 형상 파라미터들을 저장하기 위한 수단(28)과, 이미지 평면에서 절개부의 투영부 위치를 결정하기 위한 수단(28)과, 절개부의 투영부 위치와 형상 파라미터들로부터 이미지 상에서 수술 도구의 특징적 투영부 위치들을 결정하기 위한 수단(28)들을 포함한다.

포착 시스템(20), 디스플레이 스크린(22), 포착 보드(24), 프로세싱 유닛(28), 제어 박스(30), 페달 보드(36), 엠.엠.아이.(38)

Description

의학 영상 시스템에 의해 제공된 이미지 상에서 수술 도구의 자동 탐지{AUTOMATIC DETECTION OF A SURGICAL TOOL ON AN IMAGE PROVIDED BY A MEDICAL IMAGING SYSTEM}

본 발명은 외과의가 의학 영상 시스템에 의해 제공된 이미지들의 도움으로 시술하는 컴퓨터 지원 외과 시술에 관한 것이다. 보다 구체적으로, 본 발명은 의학 영상 시스템에 의해 제공된 이미지에서 수술 도구들을 자동 탐지하는 것에 관한 것이다.

복강경을 이용한 외과적 시술에 있어서, 환자의 복강은 이산화탄소에 의해서 팽창된다. 작은 절개부가 복벽에 형성되고 투관침(trocart)이 각 절개부 내로 도입된다. 절개부의 수는 의도한 시술의 유형에 따라 다르며 일반적으로 2 내지 5개이다. 각 투관침은, 수술 도구가 활주하는 경향이 있는 타이트한 중공 튜브에 대응한다. 내시경과 수술 도구들은 투관침을 통해서 복강 내로 도입된다. 내시경에 의해 제공되는 이미지는 카메라에 의해 수신되며 디스플레이 스크린에 표시된다. 외과적 시술 중에, 보조자가 외과의가 내린 지시에 따라서 내시경을 움직인다. 내시경에 연결된 카메라가 제공하는 비디오 이미지에 의해서, 외과의는 수행될 시술에 따라서 복강 내에서 수술 도구를 조종한다.

복강경을 이용한 외과 시술의 장점은 절개 수행이 적기 때문에 환자의 외상이 아주 미비하다는 점이다. 그러나, 외과의는 복강에 위치한 수술 도구의 끝을 직접 보지 않으며 단지 시술을 수행하는 내시경에 연결된 카메라가 제공하는 비디오 이미지를 가지고 있을 뿐이다. 따라서 복강경을 이용한 외과 시술에 있어서는 외과의가 경험이 아주 풍부할 것이 요구된다.

위치결정 시스템들이 내시경을 움직이는 보조자 대신 사용될 수 있다. 그러한 시스템의 예로는 아이솝(Aesop)이란 상표명으로 컴퓨터 모션 컴퍼니(Computer Motion Company)에 의해 판매되는 위치결정 도구 또는 엔도어시스트(EndoAssist)란 상표명으로 암스트롱 헬쓰케어 컴퍼니(Armstrong Healthcare Company)에 의해 판매되는 위치결정 시스템이 있다. 그러한 위치결정 시스템들은 사람/기계간의 인터페이스, 예를 들면, 페달 보드(pedal board), 음성 제어 시스템, 또는 외과의의 머리 움직임의 탐지에 근간한 제어 시스템에 의하여 외과의에 의해 제어될 수 있다. 일례로서, "좌", "우", "상", "하"와 같은 음성 명령들에 이어서, 위치결정 시스템이 좌, 우, 상, 하에 대해 각각 복벽에서 내시경의 단부를 이동시킬 수 있다.

그러한 위치결정 시스템의 문제점은 내시경의 단순 이동에 대응한 초보적 제어만이 일반적으로 가능하다는 점이다. 외과의는 예를 들어 특정 수술 도구를 이동시키는 것과 같이, 내시경 위치결정 시스템에 빈번한 이동 명령을 제공해야만 하는 한편, 동시에 수술 도구를 제어하게 되는데, 이것은 큰 제약이 된다. 보다 복잡한 지시사항에 의해서 내시경 위치결정 시스템의 이동을 제어할 수 있다면 바람직할 것이다. 예를 들어서, 외과의가 특정 수술 도구를 지정할 수 있다면 바람직한데, 이것은 지정된 도구를 향한 내시경의 자동 이동을 야기하게 된다. 이 때 외과의는 더 이상 내시경 위치결정 시스템에 새로운 이동 명령을 정기적으로 제공할 필요가 없게 되며, 전적으로 시술에 자유롭게 집중할 수 있게 된다. 이와 같은 이동 명령을 실시하기 위해서, 내시경에 연결된 카메라가 제공하는 비디오 이미지 상에서 수술 도구의 위치를 자동으로 결정하는 것이 있을 수 있다. 내시경 위치결정 시스템은 이 때, 예를 들어서 외과의에 의해 주어진 초기 명령과 같은 수술 도구의 결정된 위치에 기초해서 자동으로 제어될 수 있다. 웨이(Wei) 등의 저서, 복강경을 이용한 수술용 실시간 시각 서보잉. 색채 이미지 분할에 의한 로봇 움직임 제어", 아이이이이 엔지니어링 인 메디슨 앤드 바이올러지 (IEEE Engineering in Medicine and Biology), p.40-45, 1997에서는 수술 도구가 트레이서 염료를 가지고 있는 비디오 이미지 상에서 수술 도구의 위치 결정에 기초한 내시경 위치결정 시스템의 이동 제어를 위한 방법이 기술되어 있다. 트레이서 염료의 탐지는 비디오 이미지 상에서 수술 도구의 위치를 결정할 수 있도록 한다. 그러한 방법의 문제점은 수술 도구에 트레이서 염료를 가하기 위하여 수술 도구를 변경해야 하고, 이것이 상당한 비용 추가를 가져온다는 점이다. 또한, 수술 도구 탐지는 연관된 트레이서 염료가 더 이상 비디오 이미지 상에서 식별되지 않자마자 불가능해진다.

본 발명은 상기한 문제점의 전부 또는 일부를 극복하는 것을 목적으로 한다.

보다 구체적으로는, 본 발명은 외과 시술에서 종래에 사용된 수술 도구를 수정할 필요가 없는 의학 영상 시스템이 제공한 이미지 상에서 수술 도구를 탐지하기 위한 방법 및 장치를 목적으로 한다.

본 발명의 다른 목적에 따르면, 수술 도구들을 탐지하는 것은 실시간으로 수행된다.

이러한 목적들을 달성하기 위하여, 본 발명은 이미지에서 수술 도구를 탐지하기 위한 장치를 제공하는데, 상기 수술 도구는 환자의 피부나 환자의 장기 중 하나에 형성된 절개부를 통과하고, 상기 장치는 수술 도구의 형상 파라미터들을 저장하기 위한 수단과, 이미지 평면에서 절개부의 투영부 위치를 결정하기 위한 수단과, 절개부의 투영부 위치와 형상 파라미터들에 기초해서 이미지 상에서 수술 도구의 투영에 특징적인 지점들 및/또는 직선들을 결정하기 위한 수단을 포함한다.

본 발명의 일 실시예에 따르면, 장치는 절개부의 제1 이미지와 제2 이미지를 포착하기 위한 수단과, 제1 이미지 상에서 절개부의 투영 지점의 제1 위치와 제2 이미지 상에서 상기 지점의 제2 위치를 결정하기 위한 수단과, 제1 지점과 제2 지점으로부터 환자에 대한 상기 지점의 위치를 결정하기 위한 수단을 포함한다.

본 발명의 실시예에 따르면, 수술 도구는 세장형 형상(elongate shape)을 가지고, 이미지 평면에서 수술 도구의 투영부의 측방향 가장자리들은 직선들에 대응하고, 특징적인 지점들 및/또는 직선들을 결정하기 위한 수단은 픽셀 조의 각 픽셀에 있어서 픽셀 색채에 따라 다른 함수의 그라디언트(gradient)는 임계치보다 크도록 일 조의 이미지 픽셀을 결정할 수 있고, 그리고 상기 수단은 픽셀에 교차하고 상기 그라디언트에 직교하는 직선이 이미지 평면의 절개부의 투영부 레벨에서 연장하는 각 픽셀을 선택할 수 있다.

본 발명의 실시예에 따르면, 특징적인 지점들 및/또는 직선들을 결정하기 위한 수단은 선택된 픽셀들로부터 이미지 상에서 수술 도구의 투영부의 대칭축을 결정할 수 있고, 이미지 상에서 수술 도구의 투영부에 속하는 대칭축의 픽섹들을 결정할 수 있으며 수술 도구의 단부에 대응하는 대칭축의 픽셀을 결정할 수 있다.

본 발명의 실시예에 따르면, 특징적인 지점들 및/또는 직선들을 결정하기 위한 수단은, 선택된 픽셀들로부터 픽셀 조를 결정해서는 상기 픽셀 조의 각 쌍의 픽셀들에 대해서 상기 쌍의 직교 바이섹터(bisector)가 이미지 평면의 절개부의 투영부 레벨에서 연장하도록 할 수 있으며, 인접한 직교 바이섹터들의 집합들에서 직교 바이섹터들을 분류할 수 있으며, 가장 큰 수의 직교 바이섹터를 포함하는 직교 바이섹터들의 집합으로부터 대칭축을 결정할 수 있다.

본 발명의 실시예에 따르면, 특징적인 지점들 및/또는 직선들을 결정하기 위한 수단은 대칭축의 각 픽셀에게 제1 또는 제2 색채 분류로부터 색채 분류를 할당할 수 있고, 가장 큰 수의 제1 색채 분류의 인접 픽셀들을 포함하는 인접 픽셀들의 제1 집합과 가장 큰 수의 제2 색채 분류의 인접 픽셀들을 포함하는 인접 픽셀들의 제2 집합을 선택할 수 있으며, 제1 또는 제2 픽셀 집합으로부터 이미지 평면에서 절개부의 투영부에 가장 근접한 픽셀 집합을 선택할 수 있다.

또한 본 발명은, 적어도 한 절개부가 도구를 관통시키기 위하여 형성된 환자의 이미지를 포착하기 위한 수단의 위치결정 시스템을 제어하기 위한 장치를 제공하는데, 그러한 제어 장치는 사용자에 의하여 전송된 지시사항을 제공하기 위한 수단과, 이전에 한정된 것과 같은 탐지 장치와, 지시사항을 제공하기 위한 수단이 제공한 지시사항과 탐지 장치가 제공한 수술 도구의 특징적인 지점들 및/또는 직선들에 기초하여 위치결정 시스템에 제어 신호들을 제공하기 위한 수단을 포함한다.

본 발명의 실시예에 따르면, 이미지 포착 수단은 내시경과 카메라를 포함한다.

또한 본 발명은 이미지에서 수술 도구를 탐지하기 위한 방법을 제공하는데, 상기 도구는 환자의 피부 내에 또는 환자의 장기 중 하나에 형성된 절개부를 관통하고, 상기 방법은, 수술 도구의 형상 파라미터를 저장하는 단계와, 이미지 평면에서 절개부의 투영부 위치를 결정하는 단계와, 절개부의 투영부 위치와 형상 파라미터에 기초하여 이미지 상에서 수술 도구의 투영부에 특징적인 지점들 및/또는 직선들을 결정하기 위한 단계를 포함한다.

본 발명의 실시예에 따르면, 수술 도구는 세장형 형상을 가지고, 이미지 평면에서 수술 도구의 투영부의 측방향 가장자리들은 직선들에 대응하고, 상기 방법은 픽셀 조의 각 픽셀에 있어서 픽셀 색채에 따라 다른 함수의 그라디언트(gradient)가 임계치보다 크도록 일 조의 이미지 픽셀을 결정할 수 있고, 픽셀에 교차하고 상기 그라디언트에 직교하는 직선이 이미지 평면의 절개부의 투영 레벨에서 연장하는 각 픽셀을 선택할 수 있다.

본 발명의 전술한 것을 포함한 여타 목적들, 특징들 및 장점들은 첨부한 도면들과 관련하여 특정 실시예의 이하의 비제한적인 기술을 통해서 상세히 논의된다.

도 1은 본 발명에 따른 수술 도구 탐지 방법을 실시하는 내시경 위치결정 시스템을 제어하기 위한 시스템의 예를 개략적으로 도시한 도면.

도 2는 도 1의 위치결정 시스템의 실시예를 개략적으로 도시한 도면.

도 3은 카메라의 이미지 평면 상에서 공간의 일 지점의 위치와 이 지점의 투영부 사이의 관계를 도시한 도면.

도 4는 본 발명에 따른 수술 도구 탐지를 위한 방법의 각 단계의 예를 도시한 도면.

도 5는 본 발명에 따른 수술 도구 탐지의 개념을 개략적으로 도시한 도면.

명확하게 나타내기 위해서, 동일한 요소들은 서로 다른 도면이라도 동일한 도면 부호로 표시되었다.

본 발명은, 특정의 외과적 시술, 예를 들어, 복강경 검사나, 척추뼈 등의 높이에 수술 재료를 도입하는 경우에 있어서, 작은 절개부를 통해서 수술 도구가 환자의 몸으로 도입된다는 사실에 기초하고 있다. 따라서 본 발명은 의학 영상 시스템이 제공한 이미지들 상에서 그러한 수술 도구를 탐지하는 것을 제공하는데, 이 때 수술 도구들이 필연적으로 절개부를 관통하고, 상기 도구는 사전에 결정될 수 있는 위치를 가진다는 점과, 도구의 형상이 알려져 있다는 것을 간주한다. 이것은 탐지가 자동적이고 실시간으로 수행될 수 있도록 이미지 상에서 수술 도구 탐지를 용이하게 한다.

도 1은 내시경(12)의 위치결정을 위한 본 발명에 따른 수술 도구 탐지 방법 을 실시하는 시스템(10)을 제어하기 위한 장치(5)의 실시예를 도시하고 있다. 복강경 검사(laparoscopy)를 위해서, 위치결정 시스템(10)은 복강이 가스로 채워져 있는 환자의 복부(14)에 배치된다. 위치결정 시스템(10)은, 내시경(12)을 포함하고 절개부(16)를 통해서 복강으로 관통하는 투관침(15)을 잡고 있다. 카메라(17)는 복강 내의 내시경(12)의 단부에 부착된다. 위치결정 시스템(10)은 다수의 자유도, 예를 들어 병진운동을 위한 일 자유도와 회전을 위한 이 자유도로 투관침(15)과 내시경(12)의 이동을 가능하게 하는 유형이다.

카메라(17)에 의해 획득된 이미지들은 디스플레이 스크린(22)에 비디오 이미지들을 표시할 수 있는 이미지 포착 시스템(20)에 전송된다. 포착 시스템(20)은 연결부(26), 예를 들어서 S-비디오 케이블을 통해서 포착 보드(24)로 연결된다. 포착 보드(24)는 연결부(29), 예를 들어서 파이어-와이어 케이블(Fire-Wire cable)(IEEE 1394 케이블)에 의해서 프로세싱 유닛(28), 예를 들어 컴퓨터로 연결된다. 포착 보드(24)는 프로세싱 유닛(28)으로 전송된 비디오 이미지들을 처리한다. 프로세싱 유닛(28)은 이하에서 보다 상세히 설명되는 바와 같이 이미지 상에서 수술 도구의 존재를 탐지하기 위하여 비디오 이미지를 분석할 수 있다.

또한 프로세싱 유닛(28)은 연결부(32)를 통해서 제어 박스(30)로 이동 명령들을 전송할 수 있다. 제어 박스(30)는 위치결정 시스템(10)을 위하여 연결부(32)를 넘어서 제어 신호들로 전송된 이동 명령을 해석할 수 있고, 연결부(34)를 통해서 위치결정 시스템(10)으로 제어 신호들을 전송할 수 있다. 외과의는 페달 보드(36)를 통해서 제어 박스(30)를 활성 또는 불활성화 할 수 있다. 또한, 외과의는 외과의의 머리의 움직임을 탐지하기 위한 시스템 및/또는 음성 제어 시스템을 포함할 수 있는 사람/기계 인터페이스(38)를 통해서 프로세싱 유닛(28)으로 지시사항을 제공할 수 있다.

도 2는 위치결정 시스템(10)의 보다 상세한 실시예를 보여준다. 이것은 예를 들어서 피알에이엑스아이엠(PRAXIM) 명의의 국제 특허 공개 제03/094759호에 개시된 위치결정 시스템이다. 내시경(12)은 약 40 cm 길이의 축(Ω)의 실린더형 튜브의 태양을 가지며, 수 센티미터의 직경을 가진다. 축(Ω)은 예를 들어서 내시경(12)과 카메라(17)의 광축에 대응한다. 카메라(17)는 도 2에 도시되지 않는다.

위치결정 시스템(10)은 고리형으로 평탄한 중심부(41)를 포함하고 절개부(16)를 둘러싸는 실질적으로 평탄한 기부(40)를 포함하며, 상기 기부로부터 4 개의 암(42)들이 연장된다. 위치결정 시스템(10)은 암(42)에 연결된 스트랩에 의해서 부착될 수 있다. 또한 기부는 환자의 복부(14)에 접착될 수도 있다. 고정 고리(43)는 고리형 기부(41)에 배열된다. 고정 고리(43)는 기부(41)와 일체화된다. 절개부(16)의 높이의 복부(14)에 접하는 평면에 실질적으로 수직인, 축(Oz)의 이동성 고리(44)는 축(Oz) 주위에서 고정 고리(43)에 회전 가능하게 조립된다. 고정 고리(43)는 외측 측방향 표면에 도시되지는 않았지만 외주 치형부를 포함한다.

스터럽(46)은 축(Oz)에 실질적으로 직교하는 축을 따라서 이동성 고리(44)에 선회되게 조립되고 절개부(16)의 높이의 복부(14)에 접하는 평면에 포함된다. 투관침(15)은 장착 클립(48)에 의해서 스터럽(46)에 유지되고, 예를 들어서 스터럽(46)에 나사 체결되며, 이것은 투관침(15)과 스터럽(16)의 단순하고 신속한 연결과 분 리를 가능하게 한다. 투관침(15)은 중심부(41) 반대편의 장착 클립(48) 부분에 위치한 돌출부(50)를 포함한다. 돌출부(50)는 핸들(handle)들, 밀봉 밸브들, 연결기들 등에 대응할 수 있다. 이동성 고리(44)와 중앙 고리형 부분(41)의 내측 직경은 투관침(15)의 이동 없이 시술 중에 시스템(10)의 회수를 가능하게 하도록, 또는 시스템(10)을 이동시키지 않고서 환자 복부로부터 투관침(15)의 회수하는 것이 가능하게 하도록 선택된다.

고정 고리(43)에 대해서 이동성 고리(44)를 회전시키기 위한 제1 전기 모터(56)는 플레이트(58)를 통해서 이동성 고리(44)에 고정되게 조립된다. 제1 모터(56)는 도 2에는 도시되지 않았지만 제어 박스(30)에 연결된다. 도 2에는 도시되지 않았지만 제1 모터(56)의 샤프트에 의해 구동되는 치형 바퀴(toothed wheel)는 고정 고리(43)의 치형부와 맞물린다. 제1 모터(56)에 의한 치형 바퀴의 회전은 축(Oz) 주위의 고정 고리(43)에 대한 이동성 고리(44)의 회전을 야기한다.

제2 전기 모터(60)는 플레이트(62)를 통해서 장착 클립(48) 반대편의 스터럽(46)의 부분 상에서 스터럽(46)에 부착된다. 도 2에 도시되지는 않았지만 제2 모터(60)의 샤프트는 스터럽(46)의 선회축(swivel axis)을 따라서 방향이 정해진다. 플레이트(62)는 도 2에 도시되지는 않았지만 제2 모터(60)의 샤프트를 관통시키는 개구를 포함한다. 제2 모터(60)는 제어 박스(30)에 연결된다. 구동 요소(64)는 이동성 고리(44)에 부착된 직선 부분(68)에 의해 연결된 단부를 가지는 원호(66)를 포함한다. 구동 요소(64)는 이동성 고리(44)를 포함하는 평면에 직교하는 평면에서 실질적으로 연장된다. 원호(66)의 축은 스터럽(46)의 선회축에 대응한다. 직선 부 분(68) 반대편의 원호(66)의 측방향 벽은 치형부(도시되지 않음)를 포함한다. 제2 모터(60)의 샤프트는 원호(66)의 치형부와 협동하는 치형 바퀴(도시되지 않음)를 지지해서, 치형 바퀴가 제2 모터(60)에 의해 회전될 때, 스터럽(46)이 이동성 고리(44)에 대해서 선회식으로 구동된다.

내시경(12)의 자유 단부는 실린더형 정지부(70)를 포함하는데, 이로부터 핀(72)이 돌출한다. 압축 고리(74)는 일 단부가 실린더형 정지부(70)에 지지되고 타 단부에서 투관침(15)의 돌출부(50)에 지지된다. 제3 전기 모터(76)는 플레이트(78)를 통해서 제2 모터(60) 옆에 스터럽(46)에 부착된다. 플레이트(78)는 도 2에 도시되지는 않았지만 샤프트를 관통시키는 제3 모터(76)의 개구(80)를 포함한다. 제3 모터(76)의 샤프트는 스터럽(46)의 선회축을 따라 향하게 된다. 제3 모터(76)는 제어 박스(30)에 연결된다. 와인딩 샤프트(winding shaft)(82)는 제3 모터(76)의 샤프트의 자유 단부에 배열된다. 나선형 나사산(threading)(도시되지 않음)은 와인딩 실린더(82)의 외측 표면에 형성된다. 케이블(84)은 그 단부에서 핀(72)과 실린더(82)에 연결되고 실린더(82) 주위에서 감긴다. 제3 모터(76)가 실린더(82)를 회전할 때, 케이블(84)은 실린더(82) 주위에서 감기고 실린더형 정지부(70)를 투관침(15)에 근접하게 한다. 그리고 내시경(12)은 축(Ω)을 따라서 투관침(15)에서 활주하고 스프링(74)을 압축한다. 제3 모터(76)가 더 이상 가동되지 않을 때, 스프링(74)이 팽창하고 내시경(12)을 정지 위치로 되돌린다. 작동 개시 전에 외과의에 의해 방향이 정해진 지지 암은 위치결정 시스템(10)을 지지하고 환자에 가해지는 위치결정 시스템(10)의 중량 모두를 제거하기 위하여 제공될 수 있다.

앞서 기술된 위치결정 시스템(10)은 전기 모터(56, 60, 76)들로 제어 박스(30)에 의해 제공된 제어 신호들에 기초해서 병진운동을 위한 일 자유도와 회전을 위한 이 자유도에 따라서 내시경(12)을 이동하는 것을 가능하게 한다.

추가의 투관침(90, 91)들은 환자의 복벽(14)에 형성된 작은 치수의 절개부(92, 93)들의 높이에 배열된다. 추가 투관침(90, 91)은 도 2에 부분적으로 도시된 바와 같이, 복강 내로 수술 도구(94, 95)들을 도입하는 것을 가능하게 한다.

이하의 설명에서는, Ro (O, X, Y, Z)를 예를 들어, 위치결정 시스템(10)의 "고정 지점", 즉 이동성 고리(44)와 회전축과 스터럽(46)의 회전축 사이의 교차 지점에 대응하는 것과 같은 원점 O를 가지는 직교하는 기준 프레임으로 호칭한다. 축(Ox, Oy)들은 두 직교 축들에 대응하고, 또한 앞서 기술한 바와 같이 절개부(16)의 높이의 복벽(14)에 직교하는 축(Oz)에 직교한다. 기준 프레임 Ro는 외과 시술 중에 환자에 대해서 고정된 것으로 간주된다. 카메라(17)와 내시경(12)은 작동 중에 서로에 대해서 고정된다. C를 점(O)으로부터 거리(r)만큼 떨어져 있는 축(Ω)에 위치된 카메라(17)에 대한 고정점이라 호칭한다. 각(θ)은 축(Ω)과 축(Oz) 사이의 각에 대응하며 각(φ)은 축(Ox)과 평면(Oxy)의 축(Ω)의 투영부 사이의 각에 대응한다. 기준 프레임(Ro)의 점(C)의 좌표는 (rsinθcosφ, rsinθsinφ, rcosθ)이다.

Rc (C,

,

)는 점(C)과 연관된 구형 기준 프레임이라 호칭한다. 기준 프레임 Rc는 카메라(17)에 대한 고정 기준 프레임이다. (X, Y, Z)는 기준 프 레임 Ro로 표현된 임의의 점(P)의 좌표이라는 점과 (l, m, n)는 기준 프레임 Rc로 표현된 점(P)의 좌표이라는 점을 유념한다. 외과 시술 전에, 위치결정 시스템(10)의 보정 단계는, 좌표(X, Y, Z)로부터의 점(P)의 좌표(l, m, n)를 제공하는 이동 배열(transfer array)과 프로세싱 유닛(28)에 의해서 제어 박스(30)에 제공되는 이동 명령들 사이의 관계와 파라미터(r, θ, φ)들의 변화를 결정하는 단계를 포함한다. 외과 시술 중에, 프로세싱 유닛(28)은 제어 박스(30)로 제공되는 이동 명령들에 기초해서 기준 프레임(Ro)에 대한 기준 프레임(Rc)의 위치를 어느 시점에서나 결정할 수 있다. 기준 프레임(Ro와 Rc)은 앞서 설명한 것과 다르게 정의될 수도 있음은 당연하다. 유일한 조건은 기준 프레임(Ro)을 시술 중에 환자에 대해서 고정된 것으로 간주할 수 있는 것과, 기준 프레임(Rc)을 시술 중에 카메라에 대해서 고정된 것으로 간주할 수 있는 것과, 어느 시점에서나 기준 프레임(Ro)에 대한 기준 프레임(Rc)의 위치를 결정할 수 있는 것이다.

도 3에서는, 기준 프레임(Ro와 Rc)들이 원점(O, C)이 내시경(12)의 광축(Ω)에 위치되어서 개략적으로 도시되어 있다. 카메라(17)는 핀홀 카메라 모델(pinhole camera model)에 따라서 작동하는 것으로 간주된다. 그러한 카메라 모델은 예를 들어서, 올리비에 포즈라의 연재물 "삼차원 컴퓨터 비젼-기하학적 뷰포인트(Three Dimensional Computer Vision - A Geometric Viewpoint)", 아티피셜 인텔리젼스(Artificial Intelligence), 엠아이티(MIT) 출판부, 캠브리지 매사츄세츠, ISBN 0-262-06158-9 (3장)에 기재되어 있다. 다음으로 카메라(17)는 투영 중심(F)과 이미지 평면(PI)에 의해서 표현될 수 있다. 이미지 평면(PI)은 카메라(17)에 의해 획 득되고 포착 시스템(20)으로 전송되는 이미지들이 형성되는 평면에 대응한다. 이미지 평면(PI)과 투영 중심(F)은 기준 프레임(Rc)에 대해서 고정된다. 공간 상 임의의 점(P)은 이미지 평면(PI)에서 투영해서는 점(I)을 형성한다. 이차원 기준 프레임 Ro'(O',

,

)는 이미지 평면(PI)과 연관되고, O'는 예를 들어서 이미지 평면(PI)의 광축(Ω) 상의 점에 대응하며, 기준 프레임(Ro')의 점(I)의 좌표는 (u, v)으로 호칭된다.

외과 시술 전에, 카메라(17)의 보정 단계가 제공된다. 이것은 기준 프레임(Rc)으로 표현된 점(P)의 좌표(l, m, n)에 기초해서 기준 프레임(Ro')으로 표현된 점(I)의 좌표(u, v)를 제공하는 이동 배열을 정의하는 단계를 포함한다. 핀홀 모델에 따르면, 점(I)은 이미지 평면(P)과 점(P)과 투영 중심(F)을 가로지르는 직선의 교차점에 대응한다. 이동 배열은 기준 프레임(Rc')로 표현된 이미지 평면(PI)의 등식과 점(F)의 좌표로부터 얻어지는데, 이들은 사용되는 카메라(17)의 사양에 따라 다르다. 다른 카메라 모델들이 사용될 수 있다.

위치결정 시스템(10)과 카메라(17)를 보정하는 단계 이후에, 프로세싱 유닛(28)은, 이전에 결정되어 프로세싱 유닛(28)에 저장된 고정 기준 프레임(Ro)의 좌표(X, Y, Z)를 가지는 점(P)을 위해서 점(I)의 좌표(u, v)를 결정할 수 있는데, 상기 좌표는 기준 프레임(Ro)에서 카메라(17)의 위치와 무관하게 이미지 평면(PI)의 점(P)의 투영이다.

도 4는 프로세싱 유닛(28)에 의해 실행되는 카메라(17)가 제공하는 이미지 상에서 수술 도구를 탐지하기 위한 본 발명에 따른 방법의 예의 단계들을 보여준다.

외과의는 환자의 복벽(14)에 절개부(16, 92, 93)를 만들어서 대응하는 절개부들에 투관침(15, 90, 91)들을 배치하고 투관침(15) 내로 내시경(12)을 도입하고 환자의 복벽(14)에 위치결정 시스템(10)을 배열하게 된다. 또한, 위치결정 시스템(10)과 카메라(17)를 보정하는 단계들이 완료된다. 더욱이, 각각의 절개부-도구 쌍을 위해서 식별자, 예를 들어 숫자가 프로세싱 유닛(28)에 저장된다. 최종적으로 실린더형이 되는 각 도구(94, 95)의 반경이 프로세싱 유닛(28)에 저장된다.

단계(100)에서, 기준 프레임(Ro)의 절개부(92, 93)들의 위치들이 결정된다. 각 절개부(92, 93)에 대해서, 절개부의 "중심"에 실질적으로 위치된 점 또는 절개 지점의 위치는 기준 프레임(Ro)에 결정된다. 절개 지점들을 결정하는 것은 임의의 방법으로 행해질 수 있다. 일 예로서, 각 절개부(92, 93)에 대해서, 외과의는 카메라(17)의 이동이 카메라(17)의 서로 다른 지점들에서 절개부(92, 93)의 두 개 이미지들을 획득하도록 지시할 수 있다. 획득된 각 이미지에 대해서, 외과의는 인터페이스(38)를 통해서 스크린(22)에 표시된 이미지 상에서 삽입 지점의 투영부 위치를 프로세싱 유닛(28)에 지시, 즉 기준 프레임(Ro')의 삽입 지점의 투영부 위치를 지시할 수 있다. 일 예로서, 외과의는 삽입 지점의 투영부 위치로 스크린(22)에 표시된 이미지 상의 태그(tag)를 이동시킬 수 있다. 두 상이한 이미지들의 삽입 지점의 투영부 위치들에 기초해서, 프로세싱 유닛(28)은 기준 프레임(Ro)의 삽입 지점의 위치를 결정할 수 있다. 이것은 릴르 과학 기술 대학의 생산, 자동 제어 공학 및 산업 데이터 처리 분야의 에릭 코스테(Eric Coste)의 박사 논문 "Reconstruction d'une arborescence spatiale a partir d'un nombre minimal de projections : application a l'angiographie numerisee des structures vasculaire"의 1장, III부, 부록 4(1996)에 특히 기술되어 있는 방법에 따라서 수행될 수 있다. 단계(100)는 각 절개부(92, 93)에 대해서 반복된다. 삽입 지점들을 결정하기 위한 전술한 방법은 특히 바람직한데, 그 이유는 외과 시술 중에 종래에 사용되던 것과 같은 추가적 장비가 필요하지 않기 때문이다. 또 다른 삽입 지점 결정 방법에 따르면, 기준 프레임(Ro)의 각 삽입 지점의 위치는 트랙킹 시스템에 의해 제공된 기준 프레임(Ro)에 위치를 가지는 필러(feeler)를 통해서 획득될 수 있다. 기준 프레임(Ro)의 각 삽입 지점의 위치는 프로세싱 유닛(28)에 저장된다. 이 때 실제 외과 시술이 시작되고, 단계(102)에서 방법이 계속된다.

단계(102)에서, 프로세싱 유닛(28)은 포착 시스템(24)을 통해서, 카메라(17)가 제공한 이미지를 수신한다.

도 5는 스크린(22)에 표시된 것과 같은 이미지(26)를 보여준다. 연속적인 선(106)은 카메라(17)가 제공하는 이미지의 물리적 한계에 대응한다. 따라서 이미지(106)는 카메라(17)의 이미지 평면(PI) 부분에 대응한다. 각 이미지는 픽셀 어레이(pixel array)로 형성된다. 일 예로서, 픽셀(pixel, Pix)이 이미지(106)의 정사각형 부분의 형태로 도시되어 있다. 단계(104)에서 방법이 계속된다.

단계(104)에서, 프로세싱 유닛(28)은 이미지 평면(PI)에서, 탐색된 도구의 삽입 지점의 투영부 위치 또는 탐색된 도구들의 삽입 지점들의 투영부들의 위치를 결정한다. 도 5에서 지점(O1, O2)들은 평면(PI)에서 절개부(92, 93)들과 연관된 삽입 지점들의 투영부들에 대응하고 이하에서는 투영된 삽입 지점들로 호칭된다. 본 예에서, 투영된 삽입 지점(O1, O2)들은 카메라(17)에 의해 제공된 이미지 외측에 있고, 절개부(92, 93)들은 이미지(106) 상에서 볼 수 없다. 각 투영된 삽입 지점(O1, O2)에 대해서, 프로세싱 유닛(28)은 원(C1, C2)을 결정하는데, 상기 원은 중심이 지점(O1, O2)에 대응하고 반경(R1, R2)은 고려되는 지점(O1, O2)에 따라 다르다. 일 예로서, 반경(R1, R2)은 도구가 이미지 평면(PI)에 평행하다면 고려되는 투영된 삽입 지점과 연관된 도구(94, 95)의 시반경(apparent radius)에 실질적으로 대응한다. 단계(108)에서 방법은 계속된다.

단계(108)에서, 프로세싱 유닛(28)은 이미지(106)의 각 픽셀에 대해서 픽셀이 수술 도구(94, 95)의 투영부의 윤곽(contour)에 포함될 것인지 여부를 결정한다. 이를 위해서, 본 발명은, 각 수술 도구(94, 95)가 필연적으로 절개부(92, 93)에 관련된다는 점과, 각 수술 도구(94, 95)의 형상이 알려져 있다는 점을 기초로 하고 있다. 본 실시예에서, 각 실린더형 도구(94, 95)는 세장형 실린더형 형상을 가지는 것으로 생각된다.

프로세싱 유닛(28)은 그라디언트 기법(gradient method)에 따라서 분할(segmentation)에 의해서 이미지에 존재하는 윤곽(contour)을 결정한다. 그레이 레벨(grey level)의 이미지에 대한 그라디언트 기법은 마손(Masson)에 의해 출판되고, 제이-피 콕쿠에레즈(J.-P. Cocquere)와 에스.필립(S. Phillip)이 공동 작업하고, 볼론(Bolon) 박사, 제이-엠 샤서리(J.-M. Chassery), 제이-피 콕쿠에레즈(J.- P. Cocquere), 디.데미그니(D. Demigny), 시.그라피그네(C. Graffigne), 에이.몬탄베르트(A. Montanvert), 에스.필립(S. Phillip), 알. 제부드(R. Zeboudj), 제이.제루비아(J. Zerubia)가 저술한 공저인 "Analyse d'images : filtrage et segmentation" (1995, ISBN: 2-225-84923-4)에 기술되어 있다. 그레이 레벨들의 이미지에 있어서, 위치(u, v)의 각 픽셀에 대응하여 픽셀의 그레이 레벨과, 위치(u, v)(픽셀 위치)의 윤곽에 수직이고 윤곽이 "날카로워"짐에 따라서 더욱 높아지는 놈(norm)을 가지며 각 이미지 픽셀에 대해서 얻어지는 그라디언트 벡터(

)를 입력하는 함수를 F라 호칭한다. 색채 이미지에 있어서는, 색채 이미지를 그레이 레벨들의 세 개 이미지(적색(red)에 대한 이미지 R, 녹색(green)에 대한 이미지 G, 청색(blue)에 대한 이미지 B)로 분할하는 것이 가능하다. 이 때 좌표(u,v)의 각 픽셀에 대해서, 각각 이미지 R, 이미지 G, 이미지 B에 연관된 세 개의 그라디언트 벡터(

,

)들은 정의될 수 있다. 그리고 픽셀 그라디언트(

)(또는

)는 세 개의 그라디언트 벡터(

,

)들의 최대값으로 정의된다. 프로세싱 유닛(28)만이 그라디언트(

)의 크기가 결정된 임계치보다 큰 이미지(106)의 픽셀들을 고려할 수 있다. 그러한 픽셀들은 이미지(106), 예를 들어 장기들, 도구들 등과 같은 두 물체들 사이의 병진운동에 대응되는 경향이 있다. 일 예로서, 픽셀(PIX)과 연관된 그라디언트 벡터(

)가 도 5에 도시되어 있다.

그러한 픽셀들에 있어서, 프로세싱 유닛(28)은 픽셀들을 교차하고 그라디언트(

)에 직교하는 직선이 원(C1, C2)들 중 하나를 절단하는지 여부를 결정한다. 이와 같은 조건이 충족된다면, 픽셀은 수술 도구(94, 95)들 중 하나의 투영부 가장자리에 속하는 경향이 있고 이하에서는 포텐셜 픽셀(potential pixel)로 호칭한다. 앞의 조건은 탐색된 수술 도구(94, 95)가 실린더형 형상을 가지는 것, 즉 이미지(106) 상의 도구의 투영부 가장자리가 직선에 대응해야만 된다는 사실과, 수술 도구(94, 95)가 절개부(92, 93)를 관통하는 것, 즉 수술 도구의 투영부 가장자리들이 투영된 삽입 지점(O1, O2)을 통해 연장되어야 한다는 사실을 의미한다. 도 5의 예에서, 픽셀(Pix)의 그라디언트(

)에 직교하는 직선(D)은 원(C2)을 절단한다. 픽셀(Pix)이 아마도 투영된 삽입 지점(O2)과 연관된 수술 도구의 투영부의 가장자리에 속하는 본 방법의 단계에서 프로세싱 유닛(28)은 이와 같은 것으로부터 유도한다. 한 조의 포텐셜 픽셀들이 최종적으로 획득된다. 다음으로 유닛(28)이 여러 프로세싱을 실행해서 포텐셜 픽셀의 수를 감소시킨다. 일 예로서, 다른 포텐셜 픽셀로부터 격리되고 분명하게 수술 도구의 투영부의 가장자리에 속하지 않는 포텐셜 픽셀들이 제거될 수 있다. 단계(108)의 끝에서, 후보 픽셀로 호칭되고, 각각이 대략적으로 직선 세장형 형태를 가지는 포텐셜 픽셀들의 상대적으로 밀도 있는 조들이 획득된다. 단계(110)에서 본 방법은 계속된다.

단계(110)에서, 프로세싱 유닛(28)은 이미지 상(106)의 각 도구(94, 95)의 투영부의 대칭 축(M1, M2)을 결정한다. 실제, 각 도구가 실린더형이기 때문에, 수 술 도구의 투영부의 가장자리들은 두 직선(D1, D1', D2, D2')들에 대응하는데, 이들은 따라서 대칭축을 가진다. 도구의 투영부의 대칭축(M1, M2)은 특정 경우들을 제외하고는 도구의 대칭축의 투영부에 대응되지 않는데, 그 이유는 중심 투영부가 간격들 사이의 비율이 유지되지 않기 때문이다. 따라서 도구의 투영부의 대칭축(M1, M2)은 도구와 연관된 투영된 삽입 지점(O1, O2)과 반드시 교차할 필요는 없다. 프로세싱 유닛(28)은, 후보 픽셀들 각 쌍에 대해서, 후보 픽셀들의 쌍과 연관된 직교 바이섹터가 원(C1, C2)들 중의 하나를 절단하는지 여부를 결정한다. 그렇다면, 이것이 의미하는 바는 후보 직교 바이섹터로 불리는 직교 바이섹터가 대칭축과 상응하는 경향이 있다는 점이다. 프로세싱 유닛(28)은 다음으로, 예를 들어 리처드 오. 두다(Richard O. Duda)와 피터 이.하트(Peter E. Hart)가 집필하고 커뮤니케이션 오브 더 에이시엠(Communications of the AC), 제15(1)권, pp.11-15, 1972에 기재된 "그림에서 선과 곡선을 탐지하기 위한 휴 변환의 사용(Use of the Hough Transformation To Detect Lines and Curves in Picture)"란 문헌에 기술된 휴 기법(Hough method)에 기초한 분류 기법(sorting method)을 실시한다. 투영된 삽입 지점, 예를 들어 지점(O1)에 연관된 각 후보 직교 바이섹터는 두 파라미터(ρ,α)에 의해서 정의되는데, 이 때 ρ는 후보 직교 바이섹터를 투영된 삽입 지점(O1)으로부터 분리하는 거리이며 α는 후보 직교 바이섹터와 우선 방향(privileged direction), 예를 들어 직선(O1,

) 사이의 각이다. 주어진 후보 직교 바이섹터의 경우, ρ는 인터벌[0, R1] 내에서 변경될 수 있고, α는 인터 벌[0, 2π] 내에서 변경될 수 있다. 인터벌[0, R1]은 인접 서브-인터벌[a_i,a_i+1]로 분할되는데, 이 때 i는 1과 N 사이에서 변하는 정수이며, a₁=0, a_N+1=R₁ 및 a_i<a_i+1이다. 비슷하게, 인터벌[0, 2π]는 인접 서브-인터벌[b_j,b_j+1]로 분할되는데, 이 때 j는 1과 M 사이에서 변하는 정수이며, b₁=0, b_M+1=2π 및 b_j<b_j+1이다. 다음으로 서브-인터벌 [a_i,a_i+1]과 연관된 인덱스 i의 N개의 라인과 서브-인터벌[b_j,b_j+1]과 연관된 인덱스 j의 M 개의 열을 가지는 어레이(T)가 정의된다. 어레이의 각 요소 T_i,j는 초기에 0으로 설정된 카운터(counter)에 대응한다. 각 후보 바이섹터에 대해서, 상기 후보 바이섹터와 연관된 파라미터(ρ,α)들을 포함하는 서브 인터벌 [a_i,a_i+1]과 [b_j,b_j+1]에 연관된 카운터 T_i,j는 증분된다. 모든 후보 직교 바이섹터들이 고려되는 경우, 프로세싱 유닛(28)은 최대 카운터(T_{iMAX, jMAX})의 인덱스 iMAX와 jMAX를 결정한다. 투영된 삽입 지점(O1)과 연관된 수술 도구의 대칭축은 이 때 ρ=(a_iMAX+a_iMAX+1)/2와 α=(b_jMAX+b_jMAX+1)/2에 의해서 정의되는 직선에 대응할 수 있다.

또한 프로세싱 유닛(28)은 각각의 카운터(T_i,j)의 증분에 참여하는 픽셀 쌍을 저장한다. 투영된 삽입 지점(O1)과 연관된 수술 도구의 투영부의 가장자리들에 대응하는 직선(D1, D1')들은 카운터(T_{iMAX, jMAX})에 연관된 픽셀 쌍에 기초하여 정의된다. 픽셀의 수를 증가시키기 위하여, 프로세싱 유닛(28)은 카운터(T_{iMAX, jMAX})에 연관 된 각 픽셀에 대해서, 대칭축에 대하여 픽셀의 대칭에 대응하는 새로운 픽셀을 추가할 수 있다. 도구 투영부의 제1 가장자리는 대칭축의 일 부분에 위치된 픽셀들로부터 선형 회귀(linear regression)에 의해 획득된 직선(D1)에 대응할 수 있고 도구 투영부의 제2 가장자리는 대칭축의 다른 부분에 위치된 픽셀로부터 선형 회귀에 의하여 얻어진 직선(D1')에 대응할 수 있다. 이와 같은 방법은 외과의에 의해 탐색된 모든 수술 도구들에 대하여 반복되고 나서 단계 (112)에서 계속된다.

단계(112)에서, 각각의 대칭축(M1, M2)에 대해서, 프로세싱 유닛(28)은 대칭축의 어느 픽셀이 도구에 속하는지를 결정한다. 이를 위해서, 두 색채 분류 중에서 각 픽셀에 색채 분류를 할당하는 것을 포함하는 오츠(Otsu)의 방법에 기초한 픽셀 선택 방법이 사용될 수 있다. 오츠의 방법은 예를 들어서, 엔.오츠(N.Otsu)가 기술한 "그레이 레벨 히스토그램으로부터 임계치 선택 방법(A threshold selection method from gray level histograms)", IEEE Trans. Systems, Man and Cybernetics, 제9권, pp.62-66, 1979에 기술되어 있다. 일 예로서, 프로세싱 유닛(28)은 함수 H의 코딩을 위해 사용되는 정확도에 따라서 다른 다수의 레벨들 또는 색채 분류들에 따라서 대칭축의 모든 픽셀에 대해서, 함수 H의 히스토그램, 픽셀 색채의 대표를 결정한다. 임계치는 오츠의 방법에 따라서 정의된다. 제1 색채 분류는 함수(H)가 임계치보다 작은, 예를 들어 히스토그램에서 최저의 색채 분류인 픽셀에 할당되고, 제2 색채 분류는 함수(H)가 임계치보다 큰, 예를 들어 히스토그램에서 최고 색채 분류인 픽셀에 할당된다. 대칭축의 픽셀들은 제1 또는 제2 색채 분류의 인접 픽셀들의 집합으로 분포된다. 각 색채 분류에 있어서, 가장 큰 수의 픽셀들을 가지는 픽셀 집합이 결정된다. 수술 도구에 대응하는 색채 분류와, 이미지 배경에 대응하는 색채 분류를 결정하기 위하여, 투영된 삽입 지점(O1)에 가장 근접한 대칭축(M1) 상의 이미지(106)의 픽셀 집합이 필연적으로 투영된 삽입 지점(O1)에 연관된 도구에 속하는 것으로 생각된다. 따라서 도구에 연관된 색채 분류가 얻어진다. 단계(112)가 단지 카메라(17)가 제공한 제1 이지미를 위해서만 실행되는 것이 가능하다. 카메라(17)가 차후에 제공한 이미지들에 대해서는, 도구가 최대 수의 픽셀을 가지고 이전에 결정된 도구의 색채 분류에 연관된 픽셀 집합에 대응한다고 생각할 수 있다. 본 방법은 단계(114)에서 계속된다.

단계(114)에서, 프로세싱 유닛(28)은 도구의 첨단(S1, S2) 또는 이미지(106) 상에서 수술 도구(94, 95)의 투영부의 단부의 위치를 결정한다. 첨단(S1, S2)은 투영된 삽입 지점(O1, O2) 반대편의 도구에 연결된 픽셀 집합의 단부에 대응한다. 그와 같이 결정된 첨단(S1, S2)이 이미지(106)의 가장자리에 있을 때, 이것이 실제로 의미하는 바는, 도구의 첨단이 이미지(106) 상에서 보이지 않는다는 점이다. 도구 첨단의 위치를 보다 정밀하게 결정하고, 도구 첨단 주위의 대칭축(M1, M2)의 픽셀을 보다 상세하게 고려하고, 픽셀들이 도구에 속하는지 여부를 효과적으로 결정하기 위하여 픽셀에 색채 제한(color constraint)을 가하는 것을 고려하는 것이 필요할 수 있다. 수술 도구 탐지 방법의 마지막에서, 따라서 프로세싱 유닛(28)은 각 수술 도구(94, 95)에 대해서 대칭축(M1, M2) 가장자리(D1, D1', D2, D2')와 첨단(S1, S2)들을 결정한다. 본 방법은 카메라(17)가 제공한 또 다른 이미지의 처리를 위하여 단계(102)에서 계속된다.

본 발명은 카메라(17)의 위치결정 시스템(10)의 이동을 위하여 프로세싱 유닛(28)에 의한 복잡한 이동 명령을 실행하는 것을 가능하게 한다. 일 예로서, 프로세싱 유닛(28)은 특정 수술 도구(94, 95)의 첨단(S1, S2)이 카메라(17)가 제공한 이미지(106)의 중심에 있을 때까지 내시경(12)을 이동시키기 위하여 위치결정 시스템(10)을 제어할 수 있다. 이를 위해서, 외과의는 음성 제어 시스템(38)을 통해서 프로세싱 유닛(28)으로 "식별자 중심(center on identifier)" 유형의 명령을 제공할 수 있다. 그리고 프로세싱 유닛(28)은 카메라(17)가 제공한 이미지 상에 존재하는 수술 도구들을 탐지할 수 있다. 외과의가 제공한 식별자에 대응하는 수술 도구의 첨단이 이미지에 존재한다면, 프로세싱 유닛(28)은 이 때 도구 첨단이 이미지의 사전 결정된 중심 영역 높이에 있도록 내시경(12)을 이동시키기 위하여 위치결정 시스템(10)을 제어한다. 외과의가 제공한 식별자에 대응하는 도구가 이미지 상에는 존재하나 도구 첨단이 이미지 밖에 있다면, 도구와 연관된 삽입 지점의 위치가 알려져 있기 때문에 프로세싱 유닛(28)은 내시경(12)을 도구 첨단 쪽으로 이동시키기 위하여 위치결정 시스템(10)을 제어할 수 있다. 외과의가 제공한 식별자에 대응하는 도구가 이미지 상에 존재하지 않는다면, 제어 유닛(28)은 탐색된 도구에 연관된 삽입 지점 쪽을 내시경(12)이 향하게 하도록 위치결정 시스템(10)을 제어할 수 있다. 이 때 도구는 카메라(17)가 제공한 이미지 상에 있어야만 하고 도구 첨단 상에서의 중심맞춤(centering)은 앞서 설명한 바와 같이 수행된다.

또 다른 제어 예는 수술 도구의 첨단이 카메라(17)가 제공한 이미지의 중심 영역 높이에 영구적으로 있도록 내시경(12)을 이동하는 것을 포함한다. 이를 위해 서, 외과의는 음성 제어 시스템(38)을 통해서 프로세싱 유닛(28)에 "식별자 따름(follow identifier)"과 같은 유형의 명령을 제공할 수 있다. 프로세싱 유닛(28)은 이 때 외과의가 제공한 식별자에 대응하는 도구 첨단 상에서 카메라(17)가 제공한 이미지를 중심맞추기 위하여 앞서 기술한 바와 같이 위치결정 시스템(10)을 제어한다. 이후, 프로세싱 유닛(28)에 의해 수신된 각각의 새로운 이미지에 대해서 유닛(28)이 위치결정 시스템(10)을 제어해서 필요하다면 도구 첨단 상에서 이미지를 다시 중심맞춤한다.

또 다른 제어 예는 특정 도구의 첨단 높이에 있는 이미지의 "배율(magnification)"을 제어하는 것을 포함한다. 이를 위해서, 외과의는 음성 제어 시스템(38)을 통해서 프로세싱 유닛(28)에 "식별자 확대(zoom on identifier)"와 같은 유형의 명령을 제공할 수 있다. 그리고 프로세싱 유닛(28)은 외과의가 제공한 식별자에 대응하는 도구의 첨단 상에서 카메라(17)가 제공한 이미지를 정렬하기 위하여 앞서 설명한 바와 같이 위치결정 시스템(10)을 제어한다. 그리고 프로세싱 유닛(28)은 도구 첨단의 관련 도구와 연관된 가장자리들의 직선(D1, D1' D2, D2') 사이의 거리를 결정할 수 있고 이로부터 이미지 배율을 나타내는 값을 유추할 수 있다. 그리고 프로세싱 유닛(28)은 외과의가 제공한 배율이나 사전 결정된 배율에 도달하기 위하여 그러한 배율을 증가 또는 감소시키도록 내시경(12)을 이동시키기 위하여 위치결정 시스템(10)을 제어할 수 있다. 변형례에 따르면, 카메라(17)는 줌 기능을 포함할 수 있다. 그리고 프로세싱 유닛(28)은 직선((D1, D1' D2, D2')들 사이의 거리의 탐지에 기초하여 카메라(17)의 줌 기능을 제어할 수 있다.

프로세싱 유닛(28)에 의한 이미지 처리 기간은 수십 밀리초부터 수백 밀리초 사이에서 변화될 수 있다. 따라서 프로세싱 유닛(28)은 고주파에서 처리되는 새로운 이미지를 수신할 수 있다. 따라서 본 발명에 따른 수술 도구 탐지 방법은 실시간으로 수행될 수 있다.

따라서 본 발명은, 외과 시술 중에, 내시경(12)의 각각의 이동을 조직적으로 제어할 필요가 없는 외과의의 수고를 덜 수 있다. 실제로, 앞서 설명한 것과 같은 제어에 의해서 프로세싱 유닛(28)이 외과의가 제공한 초기 명령에 따라서 내시경(12)의 이동을 동시에 자동적으로 제어하는 동안에, 외과의는 외과적 시술에만 집중할 수 있다.

또한 본 발명은, 수술 도구가 실린더형이 아닌 경우에도 실시될 수 있다. 상기의 실시예는 세장형 형상을 가지고, 그 투영부가 직선 가장자리를 가지는 평면에 있는 도구에 손쉽게 적용가능하다. 원뿔형, 각주형, 각추형 등이 그 예이다. 보다 일반적으로는, 보다 복잡한 형상을 가지는 도구에 있어서도, 도구들의 특징을 나타내는 기하학적 파라미터들이 프로세싱 유닛(28)에 저장될 수 있다. 그리고 전술한 도구 탐지 방법의 단계(108) 내지 단계(114)는 각 수술 도구의 특징을 나타내는 기하학적 파라미터들에 따라서 변경될 수 있다.

물론, 본 발명은 당업자에게 명백한 다수의 변경 및 수정이 가능하다. 특히, 본 발명이 비디오 이미지가 내시경에 연결된 카메라에 의해 제공되는 외과적 시술에 대해서만 기술되었지만, 본 발명은 의학적 영상 시스템에 의해 제공된 임의 유형의 이미지에 적용될 수 있다. 그러한 예로는, 예를 들어서, 초음파 이미지, 형광 투시경 이미지(fluoroscopic image) 또는 스캐너 이미지가 있다. 또한, 본 발명이 특정의 위치결정 시스템의 예에 대해서만 기술되었지만, 본 발명은 임의 유형의 위치결정 시스템에 적용될 수 있다.

Claims

이미지(106)에서 환자의 피부(14)나 환자의 장기 중 하나에 형성된 절개부(92, 93)를 통과하는 수술 도구(94, 95)를 탐지하기 위한 장치로서,

수술 도구의 형상 파라미터들을 저장하기 위한 수단(28)과,

이미지 평면(PI)에서 절개부의 투영부 위치를 결정하기 위한 수단(28)과,

절개부의 투영부 위치와 형상 파라미터들에 기초해서 이미지 상에서 수술 도구의 투영에 특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)을 결정하기 위한 수단을 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제1항에 있어서,

이미지를 포착하기 위한 수단(12, 17, 20, 24)과,

상기 포착 수단을 보정하기 위한 수단을 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제1항에 있어서,

환자에 대한 절개부(92, 93)의 위치를 결정하기 위한 수단(28)과,

환자에 대한 절개부(92, 93)의 위치를 기초해서 이미지 평면(PI) 상에서 절개부의 투영부(O1, O2) 위치를 결정하기 위한 수단(28)을 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제1항에 있어서,

절개부(94, 95)의 제1 이미지와 제2 이미지를 획득하기 위한 수단(12, 17, 20, 24)과,

제1 이미지 상의 절개부의 투영부의 지점의 제1 위치와 제2 이미지 상의 상기 지점의 제2 위치를 결정하기 위한 수단과,

제1 위치와 제2 위치에 기초해서 환자에 대한 상기 지점의 위치를 결정하기 위한 수단을 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제1항에 있어서,

수술 도구(94, 95)는 세장형 형상을 가지고,

이미지 평면(PI)에서 수술 도구의 투영부의 측방향 가장자리들은 직선(D1, D1', D2, D2')들에 대응하고,

특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)을 결정하기 위한 수단(28)은, 픽셀 조의 각 픽셀에 있어서 픽셀 색채에 따라 다른 함수의 그라디언트(
)가 임계치보다 크도록 일 조의 이미지(106) 픽셀(Pix)을 결정할 수 있고, 또한 픽셀에 교차하고 그라디언트에 직교하는 직선(D)이 이미지 평 면의 절개부(92, 93)의 투영부(O1, O2) 레벨에서 연장하는 각 픽셀을 선택할 수 있는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제5항에 따르면,

특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)을 결정하기 위한 수단(28)은, 선택된 픽셀들로부터 이미지(106) 상에서 수술 도구(94, 95)의 투영부의 대칭축(M1, M2)을 결정할 수 있고, 이미지 상에서 수술 도구의 투영부에 속하는 대칭축의 픽섹들을 결정할 수 있으며 수술 도구의 단부(S1, S2)에 대응하는 대칭축의 픽셀을 결정할 수 있는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제6항에 따르면,

특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)을 결정하기 위한 수단(28)은, 선택된 픽셀들로부터 픽셀 조를 결정해서는 픽셀 조의 각 쌍의 픽셀들에 대해서 상기 쌍의 직교 바이섹터(bisector)가 이미지 평면(PI)의 절개부(92, 93)의 투영부(O1, O2) 레벨에서 연장하도록 할 수 있으며, 인접한 직교 바이섹터들의 집합들에서 직교 바이섹터들을 분류할 수 있으며, 가장 큰 수의 직교 바이섹터들을 포함하는 직교 바이섹터들의 집합으로부터 대칭축(M1, M2)을 결정할 수 있는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
제6항에 있어서,

특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)을 결정하기 위한 수단(28)은, 대칭축(M1, M2)의 각 픽셀에게 제1 또는 제2 색채 분류로부터 색채 분류를 할당할 수 있고, 가장 큰 수의 제1 색채 분류의 인접 픽셀들을 포함하는 인접 픽셀들의 제1 집합과 가장 큰 수의 제2 색채 분류의 인접 픽셀들을 포함하는 인접 픽셀들의 제2 집합을 선택할 수 있으며, 제1 또는 제2 픽셀 집합으로부터 이미지 평면(PI)에서 절개부(92, 93)의 투영부(O1, O2)에 가장 근접한 픽셀 집합을 선택할 수 있는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 장치.
적어도 한 절개부(92, 93)가 도구(94, 95)를 관통시키기 위하여 형성된 환자의 이미지(106)를 포착하기 위한 수단(12, 17)의 위치결정 시스템(10)을 제어하기 위한 장치(5)로서,

사용자에 의하여 전송된 지시사항을 제공하기 위한 수단(36, 38)과,

제1항 내지 제8항 중 어느 한 항에 따른 탐지 장치(28)와,

지시사항을 제공하기 위한 수단이 제공한 지시사항과 탐지 장치가 제공한 수술 도구의 특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)에 기초하여 위치결정 시스템에 제어 신호들을 제공하기 위한 수단(28, 30)을 포함하는 것을 특징으로 위치결정 시스템을 제어하기 위한 장치.
제9항에 있어서,

이미지 포착 수단은 내시경(12)과 카메라(17)를 포함하는 것을 특징으로 위치결정 시스템을 제어하기 위한 장치.
이미지에서 환자의 피부(14) 내에 또는 환자의 장기 중 하나에 형성된 절개부(92, 93)를 관통하는 수술 도구(94, 95)를 탐지하기 위한 방법으로서,

수술 도구의 형상 파라미터를 저장하는 단계와,

이미지 평면(PI)에서 절개부의 투영부(O1, O2) 위치를 결정하는 단계와,

절개부의 투영부 위치와 형상 파라미터에 기초하여 이미지 상에서 수술 도구의 투영부에 특징적인 지점들 및/또는 직선들(D1, D1', D2, D2', M1, M2, S1, S2)을 결정하기 위한 단계를 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 방법.
제11항에 있어서,

이미지 평면(PI)에서 절개부의 투영부(O1, O2)의 위치를 결정하는 단계는,

환자에 대한 절개부(92, 93)의 위치를 결정하는 단계와,

환자에 대한 절개부(92, 93)의 위치로부터 이미지 평면(PI)의 절개부의 투영부(O1, O2)의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 방법.
제11항에 있어서,

이전 포착 수단 보정 단계를 포함하고,

이미지 평면(PI)에서 절개부의 투영부(O1, O2)의 위치를 결정하는 단계는 이미지 포착 수단(12, 17, 20, 24)을 통해서 수행되는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 방법.
제11항에 있어서,

수술 도구(94, 95)는 세장형 형상을 가지고, 이미지 평면(PI)에서 수술 도구의 투영부의 측방향 가장자리들은 직선(D1, D1', D2, D2')들에 대응하고,

픽셀 조의 각 픽셀에 있어서 픽셀 색채에 따라 다른 함수의 그라디언트(
)가 임계치보다 크도록 일 조의 이미지(106) 픽셀(Pix)을 결정하는 단계와,

픽셀에 교차하고 그라디언트에 직교하는 직선(D)이 이미지 평면의 절개부(92, 93)의 투영부(O1, O2) 레벨에서 연장하는 각 픽셀을 선택하는 단계를 포함하는 것을 특징으로 하는 이미지에서 수술 도구를 탐지하기 위한 방법.