KR20170106382A - 적어도 하나의 의료 기구가 관여하는 수술 절차 동안 외과의에게 이미징 지원을 제공하는 보조 디바이스 및 방법 - Google Patents

Abstract

보조 장치(10)는 적어도 하나의 의료 기구를 사용하는 수술 절차 동안 수술 외과의의 이미징 지원에 대해 설명한다. 보조 장치(10)는 카메라(12), 표시 장치(18), 카메라(12)에 결합된 조종기(14), 조종기 컨트롤러(26) 및 이미지 처리부(22)를 포함한다. 이미지 처리부(22)는 미리 결정된 식별 특징을 식별함으로써 각각의 프레임에서 사용되는 기구를 나타내는 적어도 하나의 타겟 구조를 검출하고, 프레임에서 타겟 구조의 위치를 나타내는 위치 정보를 추출하기 위한 기구 검출 모듈(50)을 포함한다. 기구 검출 모듈(50)은 미리 결정된 식별 특징으로 이미지 세그먼트를 식별하고, 상기 이미지 세그먼트는 미리 결정된 채도와 같거나 작은 채도와, 적어도 하나의 직선 부분을 갖는 이미지 세그먼트의 범위를 정하는 윤곽에 의해 특징지어진다.

Description

적어도 하나의 의료 기구가 관여하는 수술 절차 동안 외과의에게 이미징 지원을 제공하는 보조 디바이스 및 방법{ASSISTANCE DEVICE AND METHOD FOR PROVIDING IMAGING SUPPORT TO AN OPERATING SURGEON DURING A SURGICAL PROCEDURE INVOLVING AT LEAST ONE MEDICAL INSTRUMENT}

본 발명은 적어도 하나의 의료 기구가 관여하는 수술 절차 동안 외과의에게 이미징(imaging) 지원을 제공하는 보조 디바이스에 관한 것으로, 보조 디바이스는 이미지 프레임들의 시퀀스를 포함하는 비디오 신호를 생성하는 카메라, 비디오 신호를 기반으로 이미지 시퀀스를 표시하는 디스플레이부, 미리 결정된 구별 특징을 식별하고 프레임에서 타겟 구조의 위치를 나타내는 위치 정보를 추출하여 해당 프레임에서 사용되고 있는 기구를 나타내는 적어도 하나의 타겟 구조를 검출하는 기구 검출 모듈을 갖는 이미지 처리부, 카메라에 결합되고 카메라를 이동시키기 위한 제어 신호를 통해 작동될 수 있는 조종기(manipulator), 및 위치 정보로부터 제어 신호를 생성하고 제어 신호를 통해 조종기를 작동시키는 조종기 컨트롤러를 포함한다.

수술 절차 동안 외과의에게 효과적으로 지원하는 보조 디바이스는 종래 기술에 공지되어 있다. 예를 들어, 복강경 절차 동안, 외과의는 디스플레이부 - 예컨대 환자의 해부학적 구조를 조작하는 복강경 기구들을 볼 수 있는 모니터 -를 통해 간접적으로 수술 부위를 관찰한다. 실시간으로 모니터에 표시되는 비디오 이미지는 내시경의 일부이며 수술 부위를 향하는 카메라에 의해 기록된다.

상기 절차 동안, 카메라는 조작되는 해부학적 구조와 기구 팁(tip)과 함께 치료되는 타겟 영역이 디스플레이부에 표시되는 비디오 이미지의 대략 중심에 위치되는 것과 같은 방식으로 수술 부위를 겨냥해야 한다. 보고 있는 이미지 세그먼트를 변경하려면, 따라서 카메라가 환자의 몸에서 이동해야 한다. 그 다음에 타겟 영역이 비디오 이미지의 중심에 다시 표시되어야 한다.

내시경 카메라가 바람직한 방식으로 재배치될 수 있게 하기 위해, 내시경 카메라는 바람직한 카메라 움직임에 따라 조정되는 조종기 - 예컨대 로봇 암 -에 결합된다. 이러한 목적을 위해, 상기 조종기는 비디오 이미지에서 검출된 기구 팁의 위치로부터 획득된 제어 신호를 통해 조종기 컨트롤러에 의해 작동된다. 전술한 유형의 보조 디바이스는, 예를 들어, DE 199 61 971 B4에 기재되어 있다.

종래의 보조 디바이스는 전형적으로 기구 팁에 부착된 마킹들(markings)을 사용하여 수술함(operate)으로써, 기구 팁이 비디오 이미지에서 검출될 수 있게 하는 구별 특징(distinguishing feature)을 형성한다. 이러한 마킹을 대신하여, 사용되는 의료 기구의 고유한 특성들 - 그것의 특정 모양 또는 특정 색상과 같은 -이 구별 특징으로 사용될 수 있다. 그러나, 식별되는 구별 특징이 사용되는 기구에 대한 특유한 특성이 되는 것은 이러한 해결책들의 단점이다. 따라서, 모든 기구를 식별할 수는 없다.

본 발명의 목적은, 특히 그 목적을 위해 특별히 제공된 마킹들을 사용하지 않고, 대부분(largely) 자동화된 기구 식별을 허용하는 보조 디바이스를 제공하는 것이다.

이 목적은 처음에 기술된 유형의 보조 디바이스로 본 발명에 의해 달성되며, 기구 검출 모듈은 미리 정의된 구별 특징으로 이미지 세그먼트를 식별하고, 상기 이미지 세그먼트는 미리 정의된 채도(color saturation)와 같거나 작은 채도와, 이미지 세그먼트의 범위를 정하고(delimit) 적어도 하나의 직선 부분을 갖는 윤곽(outline)에 의해 특징지어진다.

본 발명에 따른 해결책은 첫째, 본 기술 분야에서 통상적으로 사용되는 의료 기구들이 대부분 무색(achromatic) 물질들로 만들어지며, 즉 그들은 치료되는 타겟 영역에 위치한 해부학적 구조의 채도보다 현저히 낮은 채도를 갖는 실현을 기반으로 한다. 두 번째로, 본 발명은 대부분 거의 모든 적합한 기구가 곧고 강한(rigid) 오브젝트인 실현을 기반으로 한다. 이러한 배경에 대해, 본 발명의 해결책은 비교적 낮은 채도를 가지며 윤곽을 포함하는 이미지 세그먼트로서 식별되는 기구 검출 모듈에 의해 식별되는 구별 특징을 제공하며, 적어도 일부는 직선으로 연장된다. 이 구별 특징을 기반으로, 타겟 영역에 존재하는 해부학적 구조로부터 비디오 이미지의 거의 모든 기구를 구분할 수 있다. 보다 구체적으로, 이는 기구에 제공된 마킹을 사용하지 않고도 달성될 수 있다.

구별 특징으로 정의되는 채도의 상한은 종래의 의료 기구들의 측정된 채도가 이 상한보다 신뢰성 있게 낮도록 선택된다. 전술한 바와 같이, 이는 종래의 기구들은 일반적으로 대부분 무색이고, 따라서 타겟 영역의 주변 해부학적 구조보다 훨씬 낮은 채도를 갖는 물질들로 만들어지기 때문에 가능하다.

이미지 처리부는 바람직하게는, 해당 프레임을 기반으로, 기구 검출 모듈이 이미지 세그먼트를 식별하는 적어도 하나의 이진 이미지를 생성하는 분할 모듈(segmentation module)을 포함한다. 이 이진 이미지의 픽셀들은 그들과 대응하는(correspond to) 프레임의 픽셀들이 미리 정의된 구별 특징과 대응하는 채도를 가지는지 아닌지에 따라 두 가지 가능한 이진 값들 중 하나를 가진다. 이러한 방식으로, 흑-백 이미지가 생성될 수 있고, 예를 들어, 백색 이미지 포인트들 또는 픽셀들이 하나 이상의 기구들을 나타내고 흑색 픽셀들이 해부학적 구조를 나타낸다.

바람직한 실시예에서, 이미지 처리부는 전처리 모듈을 포함하고, 이는 해당 프레임을 기반으로 그레이 스케일 이미지를 생성하며, 상기 이미지의 픽셀들은 각각 프레임의 대응하는 픽셀의 채도를 나타내는 그레이 스케일 값을 할당 받는다. 그레이 스케일 이미지를 기반으로, 분할 모듈은 그 다음 적어도 하나의 이진 이미지를 생성하고, 이것의 이진 픽셀들에는 연관된 그레이 스케일 값들이 미리 정의된 채도에 대응하는 임계 값보다 같거나 작은 경우 제1 이진 값이 할당되며, 이것의 이진 픽셀들에는 연관된 그레이 스케일 값들이 임계 값보다 큰 경우 제2 이진 값이 할당된다. 따라서, 이 실시예에서 생성된 그레이 스케일 이미지는 더 많은 이미지 처리를 위한 기반으로서 사용될 하나 이상의 이진 이미지가 큰 기술적 노력 없이 도출될 수 있는 채도 이미지이다.

기구 검출 모듈은 바람직하게는 윤곽의 다수의 선형으로 이격된 직선 부분들을 결합하여 연속적인 에지(edge) 라인을 형성하며, 이는 기구의 에지를 나타낸다. 이 실시예는 특히 다수의 교차하는 기구들이 해당 프레임에 할당된 이진 이미지에 도시될 때 유리하다. 주어진 기구가 직선 형상을 가지고 있다고 가정할 수 있기 때문에, 이 부분들과 연관된 기구는, 이를 테면, 동일 선상에 있는 윤곽 부분들의 구성을 기반으로, 교차하는 기구 배열에서 걸러질 수 있다. 이는 외과 수술 절차 동안 다수의 기구들이 사용될 때 기구 식별을 용이하게 한다.

타겟 구조를 검출하기 위해, 기구 검출 모듈은 바람직하게는 각각의 경우에 서로 평행하게 배열된 2 개의 에지 라인들을 쌍으로 한다. 이 에지 페어링(pairing)은 서로 평행하게 배열된 다수의 에지 라인들이 검출될 때, 이 에지 라인들이 하나의 동일한 기구에 속할 확률이 높다는 사실을 기반으로 한다. 이는 보다 신뢰성 있는 기구 식별을 가능하게 한다.

특히 바람직한 실시예에서, 분할 모듈은 해당 그레이 스케일 이미지를 기반으로 단지 하나가 아닌, 복수의 이진 이미지들을 생성하고, 이들을 생성하기 위해 상이한 임계 값을 사용한다. 따라서, 이들 이진 이미지들의 각각에 대해, 채도에 대한 별도의 상한이 구별 특징으로 명시된다. 이는 특히 하나의 동일한 기구가 상이한 채도를 갖는 다양한 물질로 만들어질 때 유리하다. 예를 들어, 이러한 기구의 팁은 금속으로 만들어질 수 있으며, 기구의 축은 플라스틱으로 만들어질 수 있다. 다수의 기구들이 서로 다른 물질들로 만들어져 프레임에서 서로 다른 채도들을 갖는 경우에도 동일하게 적용된다. 그러한 경우에, 이진 이미지의 생성을 위해 제공된 임계 값이, 플라스틱으로 만들어진 부분들이 이진 이미지에서 효과적으로 분할될 수 있도록 정의되면, 이는 동일한 임계 값을 사용함으로써 금속 부분들에 대해 동일한 품질로 이루어질 것을 반드시 의미하는 것은 아니다. 이 경우, 단일 임계 값을 기반으로 단일 이진 이미지를 생성하는 것이 아니라, 대응하는 복수의 임계 값들을 기반으로 하는 복수의 이진 이미지들을 생성하는 것이 유리하다. 이러한 이진 이미지들은 어려운 조건들에서도, 정밀한 기구 식별을 위한 신뢰할 수 있는 기반을 형성한다. 더욱이, 다수의 이진 이미지들의 생성은 쉽게 병렬화 될 수 있으며, 이는 처리 속도의 측면에서 이점을 제공한다.

또 다른 바람직한 실시예에서, 기구 검출 모듈은 해당 프레임을 기반으로 생성된 이진 이미지들에서 상호 대응하는 직선 부분들을 식별하고, 이들 부분들을 결합하여 기구의 에지를 나타내는 단일 에지 라인을 형성한다. 이 실시예에서, 복수의 이진 이미지는 상이한 임계 값을 사용하여 생성되기 때문에, 해부학적 구조를 나타내는 높은 채도의 이미지 세그먼트와, 축들, 기구를 나타내는 낮은 채도의 이미지 세그먼트 사이의 교차점을 형성하는 식별된 윤곽은, 이를 테면 이진 이미지로부터 이진 이미지로 이동한다. 이진 이미지들이 겹쳐서 보일 때, 이를 테면 거의 평행한 외곽(contour) 부분들의 공간적으로 가깝게 배치되어 결과적으로 기구의 에지를 확실하게 추론 할 수 있다.

바람직한 실시예에서, 이미지 처리부는 복수의 연속적인 프레임들에 걸쳐서 기구 검출 모듈에 의해 검출된 타겟 구조를 추적하는 추적 모듈을 포함한다. 조종기 컨트롤러는 타겟 구조에 대한 위치 정보를 사용하여 해당 프레임과 연관된 제어 신호를 생성하고, 추적 모듈이 다수의 연속적인 프레임에 걸쳐 상기 타겟 구조를 이미 추적한 경우에만 조종기를 작동시킨다. 따라서, 다수의 연속적인 프레임들에 걸쳐 추적될 수 있는 타겟 구조들만 재배치를 목적으로 조종기를 작동시키기 위해 사용된다. 따라서 단일 프레임에만 나타나는 가정된 식별된 기구는 조종기의 재배치에서 고려되지 않는다. 이는 오류가 없고 균일 한 조종기 재배치를 가능하게 한다.

추적 모듈은 바람직하게는 기구 검출 모듈에 의해 해당 프레임에서 처음으로 검출된 타겟 구조에 추적기를 할당하고, 추적기를 사용하여 다음의 프레임들에서 검출된 상기 타겟 구조를 추적한다. 이 문맥에서 추적기는 식별된 기구를 나타내는 데 사용되는 데이터 처리 요소로 이해된다.

특히 바람직한 실시예에서, 이미지 처리부는 플로우 모듈을 포함하고, 이는 이미지 시퀀스에 포함된 이동 정보를 나타내는 이미지 시퀀스의 광학적 흐름을 검출한다. 검출된 광학적 흐름을 기반으로, 식별된 기구와 연관된 추적기가 어느 방향 및 어떤 속도로 다음의 프레임들에서 이동할지를 예측하는 것이 가능하게 된다.

추적 모듈은 바람직하게는 이미지 처리 방향에서 기구 검출 모듈의 상류에 위치되는 제1 서브 모듈과, 이미지 처리 방향으로 기구 검출 모듈의 하류에 위치되는 제2 서브 모듈을 포함한다. 제1 서브 모듈은 플로우 모듈에서 검출된 광학적 흐름을 고려하여, 기구 검출 모듈에 의해 아직 처리되지 않은, 다음 프레임에 대한 추적기의 위치 정보에 관한 예측을 한다. 한편, 기구 검출 모듈에 의해 처리된 이 다음 프레임에 있어서, 제2 서브 모듈은 기구 검출 모듈에 의해 검출된 추적기에 대한 위치 정보를 기반으로 제1 서브 모듈에 의해 만들어진 예측을 검증한다. 이를 통해 특히 이미지 시퀀스에서 식별된 기구를 신뢰할 수 있게 추적할 수 있다.

전처리 모듈은 바람직하게는 해당 프레임의 화이트 밸런스 조정을 수행하도록 설계된다. 이러한 화이트 밸런스 조정은 기구의 색채 특성들, 특히 그것의 채도를 기반으로 기구 식별을 손상시킬 수 있는 잠재적인 오보정들을 상쇄한다.

바람직한 실시예에서, 이미지 처리부는 전처리 모듈과 비동기적으로 프레임을 처리하는 매개변수 최적화 모듈을 포함하고, 이로부터 화이트 밸런스 조정을 수행해야 하는지 여부를 전처리 모듈에 명시하는 작동 정보를 생성한다. 매개변수 최적화 모듈의 비동기적인 동작으로 인해, 화이트 밸런스 조정이 필요한지 여부를 결정하는 검사(check)는 나머지 이미지 처리와 병행하여 수행되는 프로세스로서 구현된다. 예를 들어, 검사는 샘플 기준으로 수행될 수 있으며, 이를 테면, 이미지 시퀀스 내에서, 예를 들어 n 번째 프레임마다 검사하고, 여기에서 n은 1 보다 큰 자연수이다.

매개변수 최적화 모듈은 또한 프레임들의 비동기적인 처리를 기반으로 분할 모듈에 대한 임계 값을 미리 정의할 수 있다. 이는, 예를 들어, 수술 진행 동안에 기구들이 변경되는 경우에 유리하며, 따라서 이미지 시퀀스 내에서 그것의 채도가 순간적으로 급격하게 변화한다. 그러한 경우에, 비동기적으로 동작하는 매개변수 최적화 모듈의 도움으로 채도들에 대응하는 임계 값들을 조정하는 것은 그러한 변화들에 대응하기 위한 적절한 조치가 된다.

본 발명은 또한 수술 진행 동안 수술 외과의에게 이미징(imaging) 지원을 제공하는 방법에 관한 것이다. 본 발명의 보조 장치와 관련하여 전술한 특징 및 이하에서 설명되는 특징들은 청구된 방법의 일부로 간주된다.

이하에서, 본 발명은 도면을 참조하여 보다 상세히 설명된다. 도면은 다음과 같다:
본 발명에 따른 보조 디바이스의 전반적인 구조(structure)를 나타내는 블록도;
보조 디바이스의 이미지 처리부의 구성을 나타내는 블록도;
본 발명의 방법에서 수행되는 이미지 전처리의 처리 흐름을 도시하는 도면;
본 발명의 방법에서 수행되는 기구 검출의 처리 흐름을 도시하는 도면;
본 발명의 방법에서 수행되는 기구 추적의 처리 흐름을 도시하는 도면;
본 발명의 방법에서 생성되는 이진 이미지; 및
도 6의 이진 이미지로부터 획득된 윤곽.

도 1은 본 발명에 따른 보조 디바이스(10)의 블록도이다.

보조 디바이스(10)는, 명시적으로 도시되지 않은, 내시경의 일부인 카메라(12)를 포함하고, 이는 예를 들어 로봇 암 같은 조종기(14)에 의해 유지된다(is held). 조종기(14)는 카메라(12)의 재배치를 가능하게 하는 기계적 자유도를 갖는다.

카메라(12)는 치료될 해부학적 구조에 위치하는 인체 내부의 타겟 영역의 비디오 이미지를 포착한다. 카메라(12)는 따라서 이미지 프레임들의 시퀀스를 포함하는 비디오 신호를 생성하고 데이터 스트림의 형태로 카메라 컨트롤러(16)에 출력된다. 카메라 컨트롤러(16)는 비디오 신호를 디스플레이부(18), 예를 들어 모니터로 전송하며, 거기에 비디오 신호에 대응하는 치료되는 해부학적 구조의 비디오 이미지가 표시된다.

카메라 컨트롤러(18)는 도 1에 도시되지 않은 이미지 획득 모듈, 예를 들어 "프레임 그래버(frame grabber)"를 통해 컨트롤러(20)에 비디오 신호를 공급한다. 컨트롤러(20)는 이미지 처리부(22)를 포함하고, 이는 그것에 공급된 비디오 신호를 후술되는 방법으로 기구 식별을 수행하기 위한 입력 신호로 사용한다. 이 기구 식별 중, 비디오 이미지에서 눈에 보이는 외과용 기구는 이미지 처리부(22)에 의해 식별되고 추적된다. 그 과정에서, 위치 정보가 획득되고 제어부(24)에 공급된다. 제어부(24)는 조종기 컨트롤러(26)를 포함한다. 상기 컨트롤러는 경로 컨트롤러로서 기능하고, 이는 조종기(14)를 작동시키는데 사용되는 제어 신호를 생성하기 위해 거기에 공급된 위치 정보를 사용한다. 이러한 작동에 의해, 예를 들어, 조종기(14)는 디스플레이부(18)에 표시되는 비디오 이미지에서 기구의 팁이 항상 이미지의 중앙에 위치하도록 유지된(is held) 카메라(12)를 재배치한다.

보조 디바이스(10)는 트리거 스위치(28)를 더 가지며, 그것은 제어부(24)에 포함된 인터페이스 제어부(30)에 연결된다. 트리거 스위치(28)를 작동시키면 인터페이스 제어부(30)가 카메라(12)를 재배치시키기 위해 조종기 컨트롤러(26)를 작동시킨다.

보조 디바이스(10)는 그래픽 사용자 인터페이스(32)를 더 가지며, 그것은 일측이 이미지 처리부(22) 및 인터페이스 제어부(30)에 연결되고, 타측이 디스플레이부(18)에 연결된다. 보조 디바이스(10)는 본 발명의 이해를 위해 중요하지 않은 부가적인 입력 장치들을 더 포함하며, 일반적으로 도 1에서 참조 부호(34)로 나타낸다.

도 2는 이미지 처리부(22)의 구조를 도시하는 블록도를 나타낸다.

이미지 처리부(22)는 전처리 모듈(36), 매개변수 최적화 모듈(38) 및 플로우 모듈(40)을 포함한다. 이미지 프레임들의 시퀀스를 포함하는 비디오 신호는 카메라 컨트롤러(16)에 의해 모듈들(36, 38 및 40) 각각에 공급된다. 매개변수 최적화 모듈(38)은 전처리 모듈(36)에 연결된다.

이미지 처리부(22)는 제1 서브 모듈(42)을 더 포함하고, 그것은 제2 서브 모듈(44)과 함께, 추적 모듈을 형성하고, 일반적으로 도 2에서 참조 부호(46)로 나타낸다. 제1 서브 모듈(42)은 입력 측에서 전처리 모듈(36) 및 플로우 모듈(40)에 연결된다. 출력 측에서, 그것은 분할 모듈(48)에 연결된다. 분할 모듈(48)은 차례로 출력 측에서 기구 검출 모듈(50)에 연결된다. 기구 모듈(50)의 출력은 추적 모듈(46)의 제2 서브 모듈(44)에 연결된다. 마지막으로, 제2 서브 모듈(44)은 이미지 처리부(22)의 출력을 형성하고, 따라서 이미지 처리부(22)에 의해 공급된 신호로부터 조종기(14)를 작동시키기 위한 제어 신호를 생성하는 조종기 컨트롤러(26)에 연결된다.

이미지 처리부(22)에 포함된 모듈들(36 내지 50)의 동작 원리는 도 3, 도 4 및 도 5에 나타난 흐름도들로부터 명백해질 것이며, 이는 예시로서 본 발명에 따른 이미지 처리를 도시한다. 도 3 내지 도 5에서, 직사각형 기호들은 각각의 모듈들에 의해 수행되는 처리 단계들을 나타내고, 다이아몬드-형상의 기호들은 저장 및 판독 동작들을 나타낸다.

도 3의 흐름도는 본 발명에 따라 수행되는 이미지 전처리를 도시하며, 특히 이미지 처리부(22)의 전처리 모듈(36), 매개변수 최적화 모듈(38) 및 플로우 모듈(40)이 사용된다.

단계 S1에서, 전처리 모듈(36), 매개변수 최적화 모듈(38) 및 플로우 모듈(40)은 비디오 신호에 포함된 이미지 시퀀스의 지연된 프레임을 수신한다. 본 예시적인 실시예에서, 상기 프레임은 통상적으로 생성되는 개별적인 RGB 이미지이고, 종종 자주 RGB 프레임으로 언급되는 것으로 가정된다.

단계 S2에서, 전처리 모듈(36)은, 예를 들어, 이미지 크기, 밝기 및 대비를 적절하게 조정하는 것을 목적으로 하는, RGB 프레임의 다양한 조정들 및 최적화들을 수행한다.

특히, 필요하다면, 전처리 모듈(36)은 또한 단계 S2에서 자동 화이트 밸런스 조정을 수행한다. S2에서 화이트 밸런스 조정이 수행되는지의 여부는 매개변수 최적화 모듈(38)이 전처리 모듈(36)에 공급하는 작동 신호 AWB Y/N을 통해 매개변수 최적화 모듈(38)에 의해 단계 S3에서 결정된다. 이러한 목적을 위해, 매개변수 최적화 모듈(38)은 그것에 공급된 이미지 시퀀스의 대응하는 검사(check)를 수행한다. 매개변수 최적화 모듈(38)은 반복적인 매개변수 최적화의 일부로서, 예를 들어 각 프레임에 대해 전술한 검사를 수행하지 않는다는 점에서, 전처리 모듈(36)과 비동기적으로 동작한다.

단계 S2에서, 전처리 모듈(36)은 또한 분석될 수 없는 이미지 영역을 나타내는 프레임 내의 카메라 마스크를 검출한다. 그 다음, 전처리 모듈(36)은 대응하는 마스크 정보를 저장하고, 이를 테면 프로세스가 계속됨에 따라, 마스크에 대응하는 사용-불가능한 이미지 영역이 프레임에서 필터링 될 수 있게 한다.

일단 프레임이 추가 처리를 위해 단계 S2에서 최적화되면, 그것은 이미지 메모리에 저장된다.

단계 S4에서, 전처리 모듈(36)은 RGB 프레임을 사용하여 RGB 프레임의 대응하는 픽셀의 채도를 나타내는 그레이 스케일 값이 픽셀에 각각 할당되는 그레이 스케일 이미지를 계산한다. 따라서, 단계 S4에서 생성된 그레이 스케일 이미지는 채도 이미지이다. S4에서, 채도 이미지는 후속 처리 단계들을 위해 저장된다.

단계 S5에서, 전처리 모듈(36)은 RGB 프레임의 품질 검사를 수행한다. 이 품질 검사 결과가 부정적으로(negative) 평가되는 경우, RGB 프레임은 폐기되고 처리가 다음 프레임으로 계속된다. 대조적으로, 단계 S5에서 RGB 프레임의 품질이 긍정적으로(positive) 평가되는 경우, 이때 전처리는 종료되고 프로세스 흐름은 도 4에 따른 처리 단계들로 계속된다.

도 3에 따른 단계 S6에서, 전술한 프로세스 단계들과 병행하여 실행되는 프로세스는 플로우 모듈(40)에 의해 실행된다. 플로우 모듈(40)은 비디오 신호에 포함된 이미지 시퀀스의 광학적 흐름을 검출하도록 설계된다. 광학적 흐름은 이미지 시퀀스에 포함된 이동 정보를 나타내며, 예를 들어 이미지 시퀀스에서 픽셀 속도의 크기와 방향을 나타내는 벡터 필드의 형태로 나타낸다. 광학적 흐름을 검출할 때, 현재의 RGB 프레임을 고려할 뿐 아니라, 플로우 모듈(40)은 또한 이전의 RGB 프레임을 고려한다. 검출된 광학적 흐름이 저장된다. 이전의 검출 결과들과의 비교 또한 단계 S6에서 수행된다.

단계 S7에서, 도 3에 따른 전처리가 종료된다.

도 4에 도시된 이미지 처리는 2 개의 서브 모듈들(42, 44)을 포함하는 추적 모듈(46)에 의해 주로 이미지 처리부(22), 분할 모듈(48) 및 기구 검출 모듈(50)에 의해서 수행된다. 단계 S11에서 이미지 처리가 시작된 후, 단계 S12에서 분할 모듈(48)은 도 3의 단계 S4에서 RGB 프레임을 기반으로, 전처리 모듈(36)에 의해 계산되고 저장된 그레이 스케일 이미지를 판독한다. 이 그레이 스케일 이미지를 기반으로, 분할 모듈(48)은 예를 들어 매개변수 최적화 모듈(38)에 의해 미리 정의된 상이한 임계 값들을 사용하여 N 개의 이진 이미지들을 생성한다. 이들 임계 값 각각은 그레이 스케일 이미지의 픽셀들의 그레이 스케일 값들이 비교되는, 미리 정의된 채도에 대응한다. 그레이 스케일 값들이 미리 정해진 채도에 대응하는 임계 값과 같거나 작은 그레이 스케일 이미지의 픽셀들은 각각의 이진 이미지에서 제1 이진 값(예를 들어, 1)을 갖는 이진 픽셀들로 할당된다. 그에 대응하여, 그레이 스케일 값들이 임계 값보다 큰 그레이 스케일 이미지의 픽셀들은 각각의 이진 이미지에서 제2 이진 값(예를 들어, 0)을 갖는 이진 픽셀들로 할당된다. 단계 S12에서 생성된 이러한 이진 이미지는 순전히 도 6에 도시되어 있으며, 여기서 이진 값 1을 갖는 이진 픽셀들은 백색으로 할당되고 이진 값 0을 갖는 이진 픽셀들은 흑색으로 할당된다. 도해의 목적을 위해, 도 6에서 흑색은 점들로 나타낸다. 따라서, 도 6의 이진 이미지에서, 백색 이미지 세그먼트들은 채도가 각각 미리 정의된 채도와 같거나 작은 이미지 영역을 나타낸다. 반대로, 흑색 이미지 세그먼트들은 채도가 미리 정의된 채도보다 큰 이미지 영역을 나타낸다. 본 발명에 따른 이미지 처리는 비디오 이미지에서 식별되는 기구들의 채도가 치료되는 해부학적 구조의 채도보다 낮은 것으로 가정하기 때문에, 도 6의 이진 이미지에서 화이트 이미지 세그먼트들은 식별되는 기구들을 나타내는 반면, 흑색 이미지 세그먼트들은 해부학적 구조를 나타낸다.

따라서, 단계 S12에서, 분할 모듈(48)은도 6에 도시된 유형의 N 개의 이진 이미지들을 생성하지만, 이들 이미지들은 N 개의 상이한 임계 값들을 기반으로 하기 때문에, 서로 다소 다르다. N 개의 임계 값들 사이의 차이가 클수록, 이 임계 값들을 사용하여 생성된 이진 이미지들이 서로 다를 것이다.

단계 S13에서, 기구 검출 모듈(50)은 N 개의 이진 이미지들 각각으로부터 윤곽들을 추출하고 이들을 N 개의 윤곽 데이터 세트들에 저장한다. 도 6의 예시적인 이진 이미지에서, 이들 윤곽들은 백색 및 흑색 이미지 세그먼트들 사이의 교차점(junction)들에서 연장된다.

단계 S14에서, 기구 검출 모듈(50)은 N 개의 윤곽 데이터 세트들을 사용하여 직선 부분들 - 이하, 라인 세그먼트들이라 함 -을 식별한다. 기구 검출 모듈(50)은 식별된 라인 세그먼트들을 N 개의 라인 데이터 세트들에 저장한다.

S14에 따른 프로세스 단계가 도 7의 도면에 도시되어 있다. 여기서, 라인 세그먼트들은 점선으로 도시되어 있다.

단계 S14에서, 기구 검출 모듈(50)은 윤곽들의 곡선 부분들을 또한 검출하여, 추가 가공되는 윤곽들로부터 제거한다. 이러한 곡선 부분들은 도 7에서 쇄선(dotted-dashed line)들로 도시된다.

카메라 마스크에 의한 임의의 오염을 피하기 위해, 단계 S14에서 기구 검출 모듈(50)은 도 2의 단계 S2에서 전처리 모듈(36)에 의해 확인되고 저장되는 마스크 정보를 고려한다.

단계 S14에서 생성된 N 개의 라인 세그먼트 데이터 세트들로부터 진행하여, 단계 S15에서 기구 검출 모듈(50)은 N 개의 이진 이미지들로부터 상호 대응하는 라인 세그먼트들이 결합되어 단일 라인 세그먼트를 형성하는 단일 데이터 세트를 생성한다. 다음의 콤팩트 라인 세그먼트(compact line segment)라고도 언급되는, 이 합성 라인 세그먼트는, 이를 테면, 모든 N 개의 이진 이미지들의 중첩으로부터 결과로 발생되는 기구의 에지 라인을 나타낸다. 단계 S15에서, 미리 결정된 기준을 기반으로, 기구 검출 모듈(50)은 N 개의 이진 이미지들에서 식별된 라인 세그먼트들이 전술한 바와 같은 의미로 서로 대응하는지 여부를 확인한다.

이러한 기준의 일례로 해당 라인 세그먼트들의 병렬(parallelism) 처리가 있다. 예를 들어, 각도는 임계 값으로서 특정될 수 있고, 해당 라인 세그먼트들이 이 임계 값 아래의 정렬에서 각도 편차를 갖는지 여부를 결정하기 위한 검사가 이루어질 수 있다. 해당한다면, 병렬의 기준이 충족되는 것으로 간주된다. 다른 기준은, 예를 들어 임계 값이 다시 미리 정의될 수 있는, 소위 중첩(overlap)일 수 있다. 해당 세그먼트들이 이 임계 값을 초과하여 서로 중첩되는 경우, 이 기준도 충족되는 것으로 간주된다. 또 다른 기준은, 예를 들어, 해당 선분들 사이의 거리 일 수 있다. 이 값이 미리 정의된 임계 값보다 낮은 경우, 이 기준이 충족되는 것으로 간주된다. 앞에서 언급한 세그먼트 간격과 결합된 그레이 스케일 값은 또한 적합한 기준을 나타낸다.

위의 기준은 본질적으로 해당 라인 세그먼트들이 N 개의 이진 이미지들에 대한 기반을 형성하는 그레이 스케일 이미지 내에서 하나의 동일한 기울기(gradient)를 따라 발생하는지 여부를 신뢰성 있게 결정하는 것을 목표로 한다.

따라서, 단계 S15에서 기구 검출 모듈은 전술한 기준을 기반으로 하여 단계 S14에서 생성된 결과 세트를 걸러낸다.

단계 S16에서, 기구 검출 모듈(50)은 상호 대응하는 라인 세그먼트들이 결합된 콤팩트 라인 세그먼트들로부터 에지 라인들을 생성한다. 상기 에지 라인들은 검출된 기구의 에지들을 나타낸다. 그렇게 할 때, 기구 검출 모듈(50)은 이전의 프레임으로부터 획득된 검출 결과를 고려한다.

단계 S17에서, 기구 검출 모듈(50)은 서로 평행하게 배열되고 단계 S16에서 확인된 2 개의 에지 라인들의 페어링(pairing)을 수행한다. 다시 한번, 이 에지 페어링은 미리 정의된 기준에 따라 수행된다. 이러한 기준의 일례는 해당 2 개의 에지 라인들의 각각에 수직으로 연장하는 2 개의 벡터의 방향이다.

프로세스 단계 S17에서, 이전의 프레임으로부터의 기구들의 위치들에 관한 정보가 사용된다. 또한 소위 추적기(tracker)들로부터의 위치 데이터가 고려되고, 그 각각은 프레임에서 감지된 기구의 표시(representation)로 간주된다.

일반적으로, 단계 S17에서 각 에지가 다른 에지와 쌍을 이루는 것은 가능하지 않다. 따라서, 단계 S18에서, 기구 검출 모듈(50)은 프레임의 에지 근처에 위치된 추정된 기구들에 잔여 에지들을 할당한다. 이를 위해, 기구 검출 모듈은 다시 도 3의 단계 S2에서 제공된 마스크 정보를 고려한다.

단계 S19에서, 기구 검출 모듈(50)은 각각의 에지 페어링을 기반으로 연결된 기구의 길이와 방향뿐 아니라 기구 축을 결정한다.

단계 S20에서, 기구 검출 모듈(50)은 기구 검출 모듈(50)이 주어진 바와 같이 처음부터 가정하는 기하학적 특성들을 고려하여 기구의 팁을 식별한다. 그러한 기하학적 특성 중 하나는, 예를 들어, 처음부터 가정된 기구의 원추형 일 수 있다. 단계 S20에서 획득된 검출 결과는 이후의 처리 단계들에서 추가로 사용하기 위해 저장된다.

단계 S21에서, 기구 검출 모듈(50)은 위양성(false-positively)으로 식별된 기구들을 걸러 낸다. 이 목적을 위해 적용될 수 있는 하나의 기준은 예를 들어 에지 페어링의 품질이다. 특정 색상 속성의 미리 가정된 규칙성도 기준으로 적용될 수 있다. 예를 들어, 특정 색상 속성은 기구 또는 해부학적 구조에 존재하지만, 기구 및 해부학적 구조에는 없는 것이다. 이러한 규칙성을 고려하여, 위양성으로 식별된 기구들을 걸러낼 수 있다.

도 4에 따른 이미지 처리는 단계 S22로 종료한다.

도 4에 따른 이미지 처리는 기구 팁의 길이, 방향 및 위치에 관한 저장된 정보를 결과로서 낳는다. 예를 들어, 에지 페어링의 품질에 관한 보충 정보 또한 제공된다.

도 5는 추적 모듈(46)의 기능을 도시하는 흐름도이고, 이는 이미지 처리부(22)에 포함되며 2 개의 서브 모듈들(42 및 44)을 포함한다.

단계 S30에서 시작한 후, 단계 S31에서 추적 모듈(46)의 제1 서브 모듈(42)은 도 3의 단계 S6에서 플로우 모듈(40)에 의해 검출된 광학적 흐름을 기반으로 최종 프레임에서 확인된 추적기들의 위치들을 정정한다. 이 프로세스에서, 제1 서브 모듈(42)은 추적기들이 현재 프레임에서 어디로 이동할 것인지에 대한 예측을 한다. 추적기 움직임의 이러한 예측은 갭들 및 점프들을 방지하는 역할을 한다.

단계 S32에서, 분할 모듈(48) 및 기구 검출 모듈(50)은 현재 프레임에 대해 도 4에 도시된 처리 단계들을 수행한다.

단계 S33에서, 추적 모듈(46)의 제2 서브 모듈(44)은 도 4의 단계 S20에서 획득된 검출 결과를 기반으로 추적기들의 위치들을 갱신하고, 새로운 기구가 프레임에서 검출되는 경우, 필요할 때 새로운 추적기들을 생성한다. 제2 서브 모듈(44)은 단계 S31에서 제1 서브 모듈(42)에 의해 만들어진 추적기 위치들의 예측을 검증한다. 특정 기준을 적용함으로써, 제2 서브 모듈(44)은 현재 사용중인 추적기들의 신뢰성을 결정한다.

단계 S33에서, 제2 서브 모듈(44)은 추적기들에 마커들(라벨들)을 할당하고, 이는 예를 들어 상이한 컬러들로 디스플레이부(18)에 표시된다. 이러한 상이한 추적기들의 마킹은 예를 들어, 특정 추적기(A)에 의해 처음으로 추적되는 기구가 추적을 중단하여, 추적기(A)가 삭제되고, 궁극적으로 동일한 기구의 추적이 다시 시작되며 따라서 이러한 목적을 위해 새로운 추적기(B)가 생성되는 경우에 유리하다. 이 경우, 2 개의 추적자 A와 B는 하나의 동일한 마커가 할당된다.

그 후, 제2 서브 모듈(44)은 단계 S33에서 다음 개요(run-through)에 대한 검출 결과를 저장한다.

도 5에 따른 프로세스는 단계 S34에서 종료된다.

도 3 내지 도 5를 참조하여 전술한 이미지 처리는 단지 예시로써 이해되어야 한다. 예를 들어, 상이한 임계 값들을 사용하는 각각의 그레이 스케일 이미지를 기반으로 다수의 이진 이미지들을 생성하는 것이 반드시 필요한 것은 아니다.

종종, 적절히 선택된 임계 값을 사용하여 단일 이진 이미지를 생성하는 것은, 해부학적 구조를 나타내는, 높은 채도의 이미지 세그먼트들로부터, 프레임에서 기구를 나타내는, 낮은 채도의 이미지 세그먼트들을 분리하기에 충분하다. 예를 들어, 동일한 물질로 만들어져 동일한 채도를 갖는 기구만 사용되는 경우에도 마찬가지이다.

10 보조 디바이스
12 카메라
14 조종기
16 카메라 컨트롤러
18 디스플레이부
20 컨트롤러
22 이미지 처리부
24 제어부
26 조종기 컨트롤러
28 트리거 스위치
30 인터페이스 제어부
32 그래픽 사용자 인터페이스
34 입력 디바이스들
36 전처리 모듈
38 매개변수 최적화 모듈
40 플로우(flow) 모듈
42 제1 서브 모듈
44 제2 서브 모듈
46 추적 모듈
48 분할 모듈
50 기구 검출 모듈

Claims (16)

1. 적어도 하나의 의료 기구가 관여하는 수술 절차 동안 외과의에게 이미징(imaging) 지원을 제공하는 보조 디바이스(10)에 있어서,
   이미지 프레임들의 시퀀스를 포함하는 비디오 신호를 생성하는 카메라(12);
   상기 비디오 신호를 기반으로 이미지 시퀀스를 표시하는 디스플레이부(18);
   미리 결정된 구별 특징을 식별하고 프레임에서 타겟 구조의 위치를 나타내는 위치 정보를 추출하여 해당 프레임에서 사용되고 있는 기구를 나타내는 적어도 하나의 타겟 구조를 검출하는 기구 검출 모듈(50)을 갖는 이미지 처리부(22);
   상기 카메라(12)에 결합되고 상기 카메라(12)를 이동시키기 위한 제어 신호를 통해 작동될 수 있는 조종기(manipulator)(14); 및
   상기 위치 정보로부터 상기 제어 신호를 생성하고 상기 제어 신호를 통해 상기 조종기(14)를 작동시키는 조종기 컨트롤러(26);
   를 포함하고,
   상기 기구 검출 모듈(50)은 상기 미리 결정된 구별 특징으로 이미지 세그먼트를 식별하고, 상기 이미지 세그먼트는 미리 정의된 채도 채도(color saturation)와 같거나 작은 채도와, 상기 이미지 세그먼트의 범위를 정하고 적어도 하나의 직선 부분을 갖는 윤곽(outline)에 의해 특징지어지는, 보조 디바이스.
2. 제1항에 있어서,
   상기 이미지 처리부(22)는, 해당 프레임을 기반으로 적어도 하나의 이진 이미지를 생성하는 분할(segmentation) 모듈(38)을 포함하고, 그 다음으로 상기 기구 검출 모듈(50)이 상기 이미지 세그먼트를 식별하는 것을 특징으로 하는, 보조 디바이스.
3. 제2항에 있어서,
   상기 이미지 처리부(22)는, 전처리 모듈(36) - 해당 프레임을 기반으로 그레이 스케일 이미지를 생성함 -을 포함하고, 그 픽셀들은 상기 프레임에 대응하는 픽셀의 채도를 나타내는 그레이 스케일 값이 각각 할당되고; 및
   상기 그레이 스케일 이미지를 기반으로, 상기 분할 모듈(48)은 상기 적어도 하나의 이진 이미지를 생성하며, 연관된 그레이 스케일 값들이 미리 정의된 채도에 대응하는 임계 값보다 작거나 같은 경우 이진 픽셀들에 제1 이진 값이 할당되고, 상기 연관된 그레이 스케일 값들이 상기 임계 값보다 큰 경우 상기 이진 픽셀들에 제2 이진 값이 할당되는 것을 특징으로 하는, 보조 디바이스.
4. 제2항 또는 제3항에 있어서,
   상기 기구 검출 모듈(50)은 상기 기구의 에지를 나타내는 연속적인 에지 라인을 형성하기 위해 상기 윤곽의 동일 선상에 이격된 복수의 직선 부분들을 결합하는 것을 특징으로 하는, 보조 디바이스.
5. 제4항에 있어서,
   상기 타겟 구조의 검출을 위해, 상기 기구 검출 모듈(50)은 각각의 경우에 서로 평행하게 배열된 2 개의 에지 라인들이 쌍이 되는 것을 특징으로 하는, 보조 디바이스.
6. 제5항에 있어서,
   상기 기구 검출 모듈(50)은 2 개의 쌍을 이룬 에지 라인들을 기반으로 기구 팁을 식별하는 것을 특징으로 하는, 보조 디바이스.
7. 제2항 내지 제6항 중 어느 한 항에 있어서,
   상기 분할 모듈(48)은 각각의 그레이 스케일 이미지를 기반으로 복수의 이진 이미지들을 생성하고, 상기 이미지들의 생성을 위해 상이한 임계 값들을 사용하는 것을 특징으로 하는, 보조 디바이스.
8. 제7항에 있어서,
   상기 기구 검출 모듈(50)은 해당 프레임을 기반으로 생성된 이진 이미지들에서 상호 대응하는 직선 부분들을 식별하고, 상기 기구의 에지를 나타내는 단일 에지 라인을 형성하기 위해 이들 부분들을 결합하는 것을 특징으로 하는, 보조 디바이스.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 이미지 처리부(22)는, 다수의 연속적인 프레임들에 걸쳐 상기 기구 검출 모듈(50)에 의해 검출된 타겟 구조를 추적하는 추적 모듈(46)을 포함하고, 상기 타겟 구조가 다수의 연속적인 프레임들에 걸쳐 상기 추적 모듈(46)에 의해 이미 추적된 경우에만 상기 조종기(14)를 작동시키기 위해, 상기 타겟 구조에 대한 위치 정보를 사용하여, 상기 조종기 컨트롤러(26)가 해당 프레임과 관련된 제어 신호를 생성하는 것을 특징으로 하는, 보조 디바이스.
10. 제9항에 있어서,
    상기 추적 모듈(46)은 상기 기구 검출 모듈(50)에 의해 해당 프레임에서 처음으로 검출된 타겟 구조에 추적기(tracker)를 할당하고, 시퀀스 프레임들에서 검출된 상기 타겟 구조를 추적하기 위해 상기 추적기를 사용하는 것을 특징으로 하는, 보조 디바이스.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 이미지 처리부(22)는, 플로우(flow) 모듈(40) - 이미지 시퀀스에 포함된 이동 정보를 나타내는 이미지 시퀀스의 광학적 흐름(optical flow)을 검출함 -을 포함하는 것을 특징으로 하는, 보조 디바이스.
12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 추적 모듈(46)은 상기 기구 검출 모듈(50)의 상류(upstream)에 위치된 제1 서브 모듈(42), 및 상기 기구 검출 모듈(50)의 하류(downstream)에 위치된 제2 서브 모듈(44)을 포함하며;
    상기 제1 서브 모듈(42)은, 상기 기구 검출 모듈(50)에 의해 아직 처리되지 않은, 다음 프레임을 위한 추적기에 대한 위치 정보에 관하여 예측을 하기 위해 플로우 모듈(40)에 의해 검출된 광학적 흐름을 고려하고(factor);
    상기 기구 검출 모듈(50)에 의해 처리된, 다음 프레임을 위해, 상기 제2 서브 모듈(40)은 상기 기구 검출 모듈(50)에 의해 검출된 상기 추적기에 대한 상기 위치 정보에 기반하여 상기 제1 서브 모듈(42)에 의해 형성된 예측을 검증하는 것을 특징으로 하는, 보조 디바이스.
13. 제3항 내지 제12항 중 어느 한 항에 있어서,
    상기 전처리 모듈(36)은 해당 프레임의 화이트 밸런스 조정을 수행하도록 설계되는 것을 특징으로 하는, 보조 디바이스.
14. 제13항에 있어서,
    상기 이미지 처리부(22)는 매개변수 최적화 모듈(38) - 상기 전처리 모듈(36)과 비동기적으로 상기 프레임들을 처리하고 이들로부터 상기 전처리 모듈(36)이 화이트 밸런스 조정을 수행해야 하는지의 여부를 지정하는 구동 정보를 생성함 -을 포함하는 것을 특징으로 하는, 보조 디바이스.
15. 제14항에 있어서,
    상기 매개변수 최적화 모듈(38)은 상기 프레임들의 비동기적인 처리를 기반으로 상기 분할 모듈(48)에 대한 상기 임계 값들을 미리 정의하는 것을 특징으로 하는, 보조 디바이스.
16. 카메라(12)는 이미지 프레임들의 시퀀스를 포함하는 비디오 신호를 생성하고;
    이미지 시퀀스는 상기 비디오 신호를 기반으로 디스플레이부(18)에 표시되고;
    해당 프레임에서 사용되는 기구를 나타내는 적어도 하나의 타겟 구조가 미리 정의된 구별 특징을 식별하는 것에 의해 검출되며, 프레임에서 상기 타겟 구조의 위치를 나타내는 위치 정보가 추출되고; 및
    제어 신호는 상기 위치 정보로부터 생성되며, 상기 카메라(12)로 결합된 조종기(manipulator)(14)는 상기 카메라(12)를 이동시키기 위해 상기 제어 신호를 통해 작동되고;
    이미지 세그먼트는 미리 정의된 구별 특징으로 식별되고, 상기 이미지 세그먼트는 미리 정의된 채도 채도(color saturation)와 같거나 작은 채도와, 상기 이미지 세그먼트의 범위를 정하고(delimit) 적어도 하나의 직선 부분을 갖는 윤곽(outline)에 의해 특징지어지는 것을 특징으로 하는,
    적어도 하나의 의료 기구가 관여하는 수술 절차 동안 외과의에게 이미징 지원을 제공하는 방법.

Images