KR20150037982A

KR20150037982A - 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템

Info

Publication number: KR20150037982A
Application number: KR1020157002912A
Authority: KR
Inventors: 웨이니 즈하오; 카테린 제이 모어; 조나단 엠 조르거
Original assignee: 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date: 2012-07-25
Filing date: 2013-07-22
Publication date: 2015-04-08
Also published as: EP3603510A1; US9877633B2; US20140031659A1; EP4186422A1; JP6307073B2; EP2877116A4; JP7444932B2; CN104487014A; KR20200091943A; US10772482B2; EP2877116B1; EP2877116A1; US20180125333A1; JP2018114303A; KR102163327B1; JP7124011B2; JP6720238B2; JP2020171716A; US20200367720A1; JP2022172134A

Abstract

수술 시스템의 출혈 검출 유닛은 포착된 화면이 수술실에 있는 디스플레이 유닛에 제공되기 전에 포착된 화면의 정보를 처리한다. 예를 들면, 출혈 검출 유닛은 포착된 화면의 화소 데이터를 분석하여 화면에 하나 이상의 혈액의 초기 부위가 있는지 여부를 결정한다. 혈액의 초기 부위의 검출시에, 이 구역이 디스플레이 유닛에 표시된 화면의 초기 부위 아이콘에 의해 식별된다. 한 실시형태에서는, 상기 처리가 실시간으로 행해지고, 이는 포착된 화면을 외과의사에게 제공하는데 있어서 실질적인 지연이 없다는 것을 의미한다.

Description

수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템{EFFICIENT AND INTERACTIVE BLEEDING DETECTION IN A SURGICAL SYSTEM}

본 발명의 여러 실시형태는 내시경 영상에 관한 것으로서, 보다 상세하게는 외과의사용 비디오 디스플레이에 실시간 출혈 움직임을 제공하기 위해 출혈을 검출하는 것에 관한 것이다.

미국 캘리포니아주, 써니베일의 인튜이티브 서지컬 인코포레이티드(Intuitive Surgical, Inc.)에 의해 상업화된 다빈치(da Vinci^®) 수술 시스템은 신체에 대한 외상의 감소, 보다 빠른 회복, 그리고 보다 단기간의 병원 체류와 같은 많은 장점을 환자에게 제공하는 최소 침습 원격조종식 수술 시스템이다. 다빈치(da Vinci^®) 수술 시스템의 한 가지 중요한 요소는 외과의사에게 입체 영상을 제공하기 위해 2-채널(다시 말해서, 왼쪽과 오른쪽) 비디오 캡처(video capture) 및 가시적인 영상의 표시를 제공하는 능력이다.

이러한 전자적 입체 영상 시스템(electronic stereoscopic imaging system)은 고해상도 비디오 영상을 외과의사에게 출력할 수 있고, 외과의사로 하여 향상된 정밀도로 작업을 할 수 있게 할 뿐만 아니라, 구체적인 조직 유형 및 특징을 식별할 수 있게 해주는 "확대된" 영상과 같은 기능을 허용할 수 있다. 출혈이 발생할 때 통상적인 수술 현장에서는, 주된 색상이 빨간색으로 되고, 흘러나오는 혈액이 출혈 발생원을 보기 어렵게 할 수 있기 때문에, 출혈 및/또는 출혈의 위치가 외과의사에게 즉각적으로 명확하지 않을 수 있다. 또한, 외과의사는 중요한 작업이나 화면 내의 다른 특정 구역에 집중할 수 있다. 이러한 요인들 중의 어느 하나가 출혈 발생원을 관찰하고 진단하는데 있어서 지연을 초래할 수 있다.

본 발명의 목적은 수술 시스템에 있어서 효율적인 쌍방향 출혈 검출 방법 및 시스템을 제공하는 것이다.

한 실시형태에서는, 수술 부위의 화면이 로봇 수술 시스템과 같은 수술 시스템의 영상 포착 유닛에 의해 화소 데이터의 프레임으로 포착된다. 상기 수술 시스템의 출혈 검출 유닛은 상기 화면이 수술실의 디스플레이 유닛에 제공되기 전에 획득한 화소 데이터의 프레임의 정보를 처리한다. 예를 들면, 상기 출혈 검출 유닛은 화소 데이터의 프레임을 분석하고 상기 화면에 하나 이상의 새로운 혈액의 사례가 있는지 여부를 결정한다. 하나 이상의 새로운 혈액의 사례가 검출되는 즉시, 한 실시형태에서는, 한 개의 초기 부위 아이콘 또는 복수의 초기 부위 아이콘이 디스플레이 유닛에 표시된 화면에 포함된다. 각각의 초기 부위 아이콘은 새로운 혈액의 사례의 위치를 식별한다.

각각의 후속 프레임에서 획득한 화소 데이터는 출혈 검출 유닛에 의해 분석된다. 하나의 혈액 구역 또는 복수의 혈액 구역이 식별되고 초기 부위 아이콘과 함께 디스플레이 유닛에 표시된다. 따라서, 관찰자는 초기 부위 아이콘을 보고 초기 부위로부터 혈액의 진행을 주시할 수 있다. 초기 부위가 혈액의 웅덩이에 의해 덮히는 경우에도, 초기 부위 아이콘은 출혈 부위의 표시를 제공한다. 따라서, 초기 부위 아이콘의 표시는 출혈 부위의 위치를 찾아내는데 도움을 준다.

한 실시형태에서는, 출혈 검출 유닛에 의해 실행된 프로세싱이 실시간으로 행해지고, 이는 포착된 화면을 외과의사에게 제공되는데 있어서 실질적인 지연이 없다는 것을 의미한다. 따라서, 외과의사는 혈액이 상기 화면에서 검출되는 즉시 초기 부위 아이콘에 의해 출혈을 알게 되고, 외과의사는 시간의 경과에 따른 출혈의 진행을 지켜볼 수 있다.

출혈 검출 유닛은, 예를 들면, 최소 침습 수술에서 영상 포착 유닛에 의해 포착된 화면을 통상적으로 이용한다. 검출 프로세스는 초음파 기술이나 도플러 기술(Doppler technique)에서와 같은 특수한 카메라나 다른 특수한 장비를 필요로 하지 않는다.

보다 상세하게 설명하면, 한 실시형태에서는, 수술 시스템의 출혈 검출 유닛이 수술 화면의 포착된 프레임을 수신한다. 화소 데이터의 프레임은 복수의 위치를 포함하고 있다. 각각의 위치는 복수의 색상 성분에 대한 화소를 포함하고 있다.

출혈 검출 유닛은 각각의 위치의 복수의 색상 성분 화소가 상기 위치에서 혈액을 나타내는 정보를 포함하는지 여부를 검출한다. 상기 화면에서 혈액 구역은 혈액을 나타내는 정보를 포함하는 것으로 검출된 위치에 기초하여 결정된다.

이것이 소정의 이벤트, 예를 들면, 초기화 이벤트 또는 석션처리 이벤트(suctioning event)후 상기 화면에서의 혈액의 초기 검출이라면, 출혈 검출 유닛은 상기 화면에 출혈 부위의 위치를 나타내기 위해서 적어도 하나의 초기 부위 아이콘을 발생시킨다. 초기 부위는 몇 가지 다른 방식으로, 예를 들면, 상기 화면에서 초기 부위를 하이라이트처리(highlighting)함으로써 표시될 수도 있다. 이것이 상기 화면에서의 혈액의 초기 검출이 아니었다면, 선택적으로 상기 화면에서 혈액 구역은 초기 부위 아이콘과 상이한 혈액 마커(blood marker), 예를 들면, 상이한 아이콘, 상이한 거짓 착색(false coloring), 상이한 경계선 등을 이용하여 표시된다.

결합된 영상을 얻기 위해 상기 초기 부위 아이콘과 선택적인 혈액 마커는 수술 화면과 결합된다. 그 다음에, 한 실시형태에서, 결합된 영상이 수술실의 디스플레이 유닛에 표시된다. 따라서, 초기에 초기 부위 아이콘이 제공되고 시간이 경과함에 따라 출혈의 진행이 혈액 마커에 의해 표시되는 동안 초기 부위 아이콘은 화면에 그대로 남아있다. 몇몇 실시형태에서는, 혈액 마커는 사용되지 않고 초기 부위 아이콘만 사용된다. 초기 부위 아이콘과 시간의 경과에 따른 출혈의 진행의 표시의 결합은 외과의사 및/또는 수술실의 다른 사람이 출혈 부위의 위치를 결정하는데 도움을 준다.

한 실시형태에서, 각각의 위치의 복수의 색상 성분 화소이 상기 위치의 혈액을 나타내는 정보를 포함하는지 여부의 결정은 비율의 제1 수량은 상기 위치에서의 제1 색상 성분 화소값을 포함하고 비율의 제2 수량은 상기 위치에서의 제2 색상 성분 화소값을 포함하는 상기 비율을 발생시키는 것을 포함한다. 상기 비율이 혈액 표시 임계값에 대해 미리 정해진 관계를 가지면, 예를 들어, 상기 비율이 혈액 표시 임계값보다 크면, 상기 위치는 혈액을 나타내는 정보를 포함하는 것으로 식별된다.

다른 실시형태에서는, 출혈 검출 유닛이 혈액 구역의 혈류를 추정한다. 혈류의 표시는 포착된 화면과 결합되어 임의의 혈액 마커 및 초기 부위 아이콘과 함께 디스플레이 유닛에 표시된다.

본 실시형태에서는, 출혈 검출 유닛이 복수의 프레임에 대한 광류 분석(optical flow analysis)을 이용하여 상기 구역의 각각의 위치에서의 총운동을 추정한다. 상기 위치에서의 혈류의 추정은 상기 위치에서의 평균 조직 운동을 보충하기 위해 상기 위치의 추정된 총운동을 수정하는 것에 의해 발생된다. 상기 화면의 모의 혈류는 복수의 위치의 혈류로부터 만들어진다.

다른 실시형태에서는, 쌍방향 방법이 수술하는 동안 디스플레이 유닛에 자동적으로 발생된 출혈의 경고를 수신하는 것을 포함하고 있다. 이 경고후, 디스플레이 유닛에 제공된 혈액 구역에 해당하는 신체 부분이 수술 기구의 조종에 의해 청소된다. 그 다음에, 국소적인 출혈 발생원의 위치가 디스플레이 유닛에 제공된 정보로부터 결정된다. 최소 침습 수술 시스템에 장착된 수술 기구의 조종에 의해 출혈을 완화시키도록 상기 출혈 발생원은 치료된다. 최종적으로, 상기 치료 프로세스가 디스플레이 유닛에 제공된 정보를 이용하여 출혈을 완화시켰는지 여부가 결정된다.

시스템이 수술 화면의 데이터 프레임을 얻도록 구성된 영상 포착 시스템을 포함하고 있다. 상기 데이터 프레임은 복수의 위치를 포함하고 있다. 각각의 위치는 복수의 색상 성분에 대한 화소를 포함하고 있다. 상기 시스템의 출혈 검출 유닛은 구역 분할 모듈 및 혈액 구역 식별 모듈을 포함하고 있다. 상기 시스템은 또한 결합된 화면을 수신하기 위해 출혈 검출 유닛에 결합되어 있으며 이 결합된 화면을 나타내도록 구성된 디스플레이 유닛을 포함하고 있다.

상기 구역 분할 모듈은 데이터 프레임을 수신하고; 각각의 위치의 복수의 색상 성분 화소가 상기 위치에서 혈액을 나타내는 정보를 포함하는지 여부를 검출하고; 그리고 혈액을 나타내는 정보를 포함하는 것으로 검출된 위치에 기초하여 상기 화면에서 혈액 구역을 결정하도록 구성되어 있다.

상기 혈액 구역 식별 모듈은 상기 구역 분할 모듈에 결합되어 있다. 상기 혈액 구역 식별 모듈은 상기 화면에 혈액 구역을 나타내기 위해 초기 부위 아이콘을 발생시키고, 결합된 화면을 발생시키기 위해 상기 초기 부위 아이콘과 상기 화면을 결합시키도록 구성되어 있다.

상기 출혈 검출 유닛은 또한 혈류 추정 모듈을 포함하고 있다. 상기 혈류 추정 모듈은 혈액 구역의 임의의 운동에 대해 혈액 구역에 혈류를 발생시킨다. 상기 혈류 추정 모듈은 상기 구역의 각각의 위치에서 총운동을 추정하는 운동 추정 모듈을 포함하고 있다. 상기 혈류 추정 모듈은 또한 상기 운동 추정 모듈에 결합된 운동 수정 모듈을 포함하고 있다. 상기 운동 수정 모듈은 상기 구역의 운동에 대해 각각의 위치에서 혈류를 발생시키기 위해 상기 구역의 각각의 위치에서 총운동을 수정한다.

도 1은 출혈 검출 유닛을 포함하는 수술 시스템의 조감도이다.
도 2는 출혈 검출 유닛을 포함하는 수술 시스템의 하드웨어 및 소프트웨어 양상을 나타내는 개략도이다.
도 3a는 도 1 및 도 2의 출혈 검출 유닛에 의해 수행된 프로세스의 흐름도이다.
도 3b는 출혈 검출 유닛에 의해 제공된 정보를 이용하는 쌍방향식 방법의 흐름도이다.
도 4a 내지 도 4f는 도 3a 및 도 3b의 프로세스에 기초한 화면의 예들이다.
도 5는 구역 분할 모듈에 의해 수행된 프로세스의 상세 흐름도이다.
도 6은 도 3a의 혈류 추정 프로세스의 상세 흐름도이다.
도 7은 도 1의 출혈 검출 모듈에 포함된 여러 모듈의 상세도이다.
도 8a는 사용자가 출혈 검출을 위한 구역을 특정할 수 있도록 하기 위해 화면에 중첩된 격자의 예이다.
도 8b는 출혈 검출이 되지 않는 수술 시스템에 의해 선택된 구역의 예이다.
도 9는 혈액 검출 및 혈류 추정을 위한 컨트롤을 가진 출혈 검출 시스템의 개략도이다.
상기 도면들에서, 참고 번호의 첫번째 숫자는 상기 참고 번호를 가진 요소가 처음으로 등장하는 도면을 나타낸다.

도 1은 수술 시스템(100), 예를 들면, 출혈 검출 유닛(135)을 포함하는 다빈치(da Vinci^®) 수술 시스템의 조감도이다(da Vinci^®는 미국 캘리포니아주, 써니베일의 인튜이티브 서지컬 인코포레이티드(Intuitive Surgical, Inc.)의 등록 상표이다). 이 예에서, 외과의사의 콘솔(114)에 있는 마스터 컨트롤을 이용하는 외과의사는 카트(110)에 장착되어 있는 로봇 매니퓰레이터 암(113)에 장착된 내시경(112)을 원격으로 조종한다. 상기 외과의사는 또한 카트(110)에 결합된 하나 이상의 수술 기구를 원격으로 조종한다. 다빈치(da Vinci^®) 수술 시스템과 결합된 다른 부분, 케이블 등이 있지만, 본 개시내용으로부터 주의를 다른 데로 돌리는 것을 피하기 위해서 이들은 도 1에 도시되어 있지 않다. 최소 침습 수술 시스템에 관한 추가적인 정보는, 예를 들면, 미국 특허출원 제11/762,165호(2007년 6월 23일자 출원; 최소 침습 수술 시스템(Minimally Invasive Surgical System)을 개시함), 미국 특허 제US 6,837,883B2호(2001년 10월 5일자 출원; 원격로봇 수술 시스템용 암 카트(Arm Cart for Telerobotic Surgical System)를 개시함), 그리고 미국 특허 제6,331,181호(2001년 12월 28일자 출원; 수술 로봇 공구, 데이터 아키텍처 및 사용법(Surgical Robotic Tools, Data Architecture, and Use)을 개시함)에서 알 수 있으며, 상기 문헌들 모두는 본 명세서에 참고로 포함되어 있다. 원격조종식 최소 침습 수술 시스템의 사용은 단지 예시적이며 본 발명이 이러한 특정 시스템으로 제한되는 것은 아니다. 이러한 개시내용을 고려하면, 본 명세서에 기술된 여러 실시형태는 본 명세서에 기술된 여러 실시형태를 실행하는데 필요한 요소들을 포함하는 로봇 수술 시스템이나 다른 수술 시스템에 편입될 수 있다.

내시경(112)이, 한 실시형태에서는, 조직으로부터 나오는 광, 예를 들면, 반사광 및/또는 형광(fluorescence)을 통과시키는 두 개의 광 채널을 포함하고 있다. 각각의 광 채널에서 환자(111)의 조직(103)으로부터 반사된 광은 각각의 시점에 왼쪽 화면과 오른쪽 화면으로 두 개의 화면이 포착되도록 화면으로 포착된다. 각각의 포착된 화면은 데이터 프레임(121)에 포함된다. 왼쪽 프레임과 오른쪽 프레임인, 두 개의 데이터 프레임은 특정 시점에 영상 포착 시스템(120)에 의해 포착된다. 두 개의 데이터 프레임은 프로세싱되어 그 결과물인 화면이, 종종 외과의사의 콘솔(114) 또는 단순히 콘솔(114)이하고 칭하는, 외과의사의 제어 콘솔(114)의 입체 디스플레이 유닛에 제공된다.

입체 내시경과 입체 디스플레이의 사용은 단지 예시적이며 제한적인 것은 아니다. 본 명세서에 기술된 여러 실시형태는 단안식 내시경(monoscopic endoscope) 및/또는 통상적인 디스플레이 유닛과 같은 입체 기능을 포함하지 않는 시스템에 적용될 수 있다.

한 실시형태에서는, 소정의 이벤트(event), 예를 들면, 외과의사가 출혈 검출 유닛(135)을 사용가능한 상태로 만드는 것, 출혈 검출 유닛(135)의 초기화 이벤트, 석션 이벤트(suction event)(도 3b 참고) 등의 이후에, 출혈 검출 유닛(135)은 포착된 화면이 입체 화면의 일부로서 외과의사의 콘솔(114)에 제공되기 전에 포착된 화면의 정보를 처리한다. 예를 들면, 출혈 검출 유닛(135)은 포착된 왼쪽 프레임과 오른쪽 프레임의 화소 데이터를 분석하여 포착된 화면에서 혈액의 하나 이상의 초기 사례(initial instance)가 있는지 여부를 결정한다. 상기와 같은 초기 사례의 검출시에, 출혈 검출 유닛(135)은 초기 부위 아이콘(initial site icon)에 의해서 혈액의 초기 부위가 식별되어 있는 한 쌍의 화면(140)(왼쪽 화면과 오른쪽 화면)을 생성하고, 이 한 쌍의 화면(140)을 외과의사의 콘솔(114)의 입체 디스플레이 시스템으로 전송한다. 초기 부위 아이콘을 가진 입체 화면(150)이 외과의사의 콘솔(114)에 표시된다.

한 실시형태에서는, 포착된 왼쪽 프레임과 오른쪽 프레임의 처리가 실시간으로 행해지고, 이는 포착된 화면을 외과의사에게 제공하는데 있어서 실질적인 지연이 없다는 것을 의미한다. 혈액의 초기 사례가 화면에 검출되는 즉시 외과의사가 출혈을 알게 된다. 따라서, 수술 부위에서 출혈이 발생하는 것과 실질적으로 동시에 일련의 프레임의 각 프레임이 처리되어 이들 프레임의 화면이 디스플레이로 외과의사에게 제공된다. 이것은 외과의사 표시된 화면의 출혈상황을 보지 않고 나중에 표시된 화면의 출혈 표시를 보는 것을 의미한다. 본 실시형태에서는, 외과의사가 관찰할 때 두 개의 이벤트가 동시에 발생한다. 본 실시형태에서는, 출혈 검출 능력이 후속 프레임이 포착될 때까지 프레임의 표시를 지연시킬 것을 요하지 않는다.

예를 들면, 외과의사의 출혈에 대한 의식을 높이기 위해서, 한 실시형태에서는, 발광 화살표(flashing arrow) 또는 몇 가지 다른 아이콘이 외과의사의 콘솔(114)의 디스플레이 유닛에 상기 초기 부위를 가리킨다. 추가적으로, 또는 대체 실시형태로서, 상기 아이콘이 초기 부위 둘레에 그려진 경계선이거나 상기 경계선을 포함할 수 있거나, 외과의사가 혈액이 맨 먼저 검출되었던 위치를 쉽게 가시화할 수 있도록 초기 부위가 거짓 색상(false color)으로 착색될 수 있다. 몇몇 실시형태에서는, 시각적인 경고에 추가하여, 청각적인 경고가 발생될 수 있다. 이러한 예는 외과의사 및/또는 수술에 관여하는 다른 사람에게 알려주는 가능한 알림 수단의 단지 몇 가지 예시일뿐이며 이러한 특정 방식으로 제한되는 것은 아니다.

한 프레임에서 혈액의 초기 부위를 검출한 후, 각각의 후속 프레임에서 얻은 화소 데이터가 출혈 검출 유닛(135)에 의해 분석되고 상기 프레임에서의 혈액의 부위 또는 혈액의 부위들이 초기 부위 아이콘과 함께 상기 프레임에 대해 콘솔(114)에 표시된 화면에서 식별될 수 있다. 예를 들면, 혈액 마커(blood marker)가 혈액 구역을 나타내기 위해서 사용된다. 혈액 마커는, 예를 들면, 몇 가지 방식으로, 예를 들면, 경계선(border), 거짓 착색(false coloring) 등으로 상기 혈액 구역을 강조하여 표시한다. 한 실시형태에서는, 초기 부위 아이콘을 둘러싸는 혈액의 부분이 아닌 후속 프레임에서 혈액의 사례가 검출되면, 초기 부위 아이콘은 상기 혈액의 사례와 관련된다.

따라서, 관찰자는 디스플레이 유닛에서 적어도 초기 부위 아이콘을 보고 초기 부위로부터 혈액이 증가하는 것을 주시할 수 있다. 한 실시형태에서는, 출혈로 인해 화면에서 혈액의 양이 증가할 때 각 세트의 프레임에 대해 행해진 프로세싱이 정적(static)이지만- 혈액이 있거나 없거나-, 포착된 화면의 시계열적인(time sequential) 표시는 출혈의 흐름과 양에 대한 정보를 제공한다. 추가적으로, 초기 부위가 혈액의 웅덩이에 의해 덮히더라도, 초기 부위 아이콘은 혈액이 검출되었던 초기 위치의 표시를 제공한다. 따라서, 초기 부위 아이콘은 출혈이 있는 실제 부위의 위치를 찾아내는데 도움을 준다. 예를 들면, 외과의사는 바이폴라 그래스퍼(bipolar grasper)로 혈액의 웅덩이속에 도달할 수 있고, 출혈이 있는 장소를 찾아낼 수 있고(외과의사가 상기 장소를 볼 수 없는 경우에도), 출혈을 멈추게 할 수 있다.

초기 부위 아이콘의 도움은 단안식 내시경으로부터의 2차원 영상 및 입체 내시경으로부터의 3차원 영상에 대해 사용된다. 당업자에게 알려져 있는 바와 같이, 왼쪽 화면과 오른쪽 화면이 입체 디스플레이 유닛에 제공될 때 3차원 영상이 외과의사에 의해 감지된다. 초기 부위 아이콘이 왼쪽 표시 화면과 오른쪽 표시 화면에 제공되면, 이로 인한 3차원 영상은 그래스퍼를 출혈 부위로 이동시키는 방법에 대해서 2차원 영상이 제공하는 것보다 양호한 안내를 외과의사에게 제공한다.

몇몇 실시형태에서는, 혈액이 검출되었던 초기 부위를 식별하는 것에 의해 출혈에 대해 외과의사에 신속하게 알려주면서, 화면에서의 운동에 대한 혈액의 추정 흐름(estimated flow)이 시각적 표시의 영상으로도 제공된다. 추정된 혈류는 출혈 부위의 위치를 알아내는 정보를 제공함으로써 외과의사가 출혈 부위의 위치를 찾아내는데 더욱 도움을 준다.

따라서, 출혈 검출 유닛(135)은 확실한 혈액 검출 및 운동 추정에 기초하여 자동적으로 출혈 부위를 검출하고 출혈 부위의 위치를 찾아낸다. 한 실시형태에서는, 수술하는 동안 출혈의 표시를 관찰하는 사람에게 알려주기 위해 자동적인 검출이 연속적으로 사용된다. 검출된 혈액 구역에 운동 검출을 적용하면 출혈 부위의 위치를 찾아내는 시간을 절약할 뿐만아니라 검출 프로세스를 보다 강력하게 만든다. 출혈의 검출 및 출혈의 위치 파악은 수술 기구의 운동을 검출하거나 모니터링하지 않고서 행해진다. 아래에서 보다 완벽하게 설명하겠지만, 출혈 검출 유닛(135)은 호흡 또는 다른 조직 운동이 있더라도 출혈 부위로부터의 혈액의 검출 및 혈액 운동의 확실한 검출을 제공한다.

도 2는 도 1의 수술 시스템(100)의 한 예의 여러 측면의 상세도이다. 도 3a는 출혈 검출 유닛(240R, 240L)의 작동의 여러 측면을 나타내는 프로세스 흐름도이다. 출혈 검출 유닛(240R, 240L)의 출혈 검출 유닛(135)의 한 실시형태의 예이다. 도 3b는 출혈 검출 유닛(240L, 240R)에 의해 제공된 정보의 사용의 한 측면을 나타내는 프로세스 흐름도이다. 도 4a 내지 도 4f는 도 3a 및 도 3b의 프로세스에 기초한 화면의 여러 예들이다. 도 2에서는, 출혈 검출 유닛(240R, 240L)이 두 개의 분리된 유닛으로 도시되어 있지만, 일부 실시형태에서는, 상기 두 개의 유닛이 단일 출혈 검출 유닛으로 결합되어 있다. 또한, 몇몇 실시형태에서는, 아래에 보다 상세하게 설명하겠지만, 출혈 검출 유닛(240R, 240L)이 완전히 독립적으로 작용하지는 않는다.

도 2에 도시된 최소 침습 수술 시스템(200)의 실시례에서는, 조명장치(210)가 입체 내시경(202)에 결합되어 있다. 조명장치(210)는 적어도 백색광원(white light source)을 포함하고 있고 선택적으로 하나 이상의 형광 여기원(fluorescence excitation source), 예를 들면 근적외선 조명(near infrared illumination)을 포함할 수 있다. 조직(203)을 비추기 위해서 조명장치(210)는 입체 내시경(202)의 적어도 하나의 조명 채널과 함께 사용된다. 대체 실시형태로서 그리고 일반성을 잃지 않고서, 조명장치(210)는 내시경(202)의 원위 끝부(distal tip) 또는 원위 끝부 근처에 있는 조명원으로 교체할 수 있다. 이러한 원위 끝부 조명은, 예를 들면, 발광 다이오드(LED) 또는 다른 조명원에 의해 제공될 수 있다.

한 가지 예에서는, 조명장치(210)가 조직(203)을 비추는 백생광 조명을 제공한다. 몇몇 실시형태에서는, 조명장치(210)가 다른 종류의 조명, 예를 들면, 백색광을 구성하는 가시적인 색상 성분의 부분집합뿐만 아니라 형광을 촉발시키는 비가시광선(non-visible light)을 제공할 수도 있다.

조명장치(210)로부터 나오는 빛은 조명장치(210)를 내시경(202)의 조명 채널에 결합시키는 조명 채널(226)로 향한다. 입체 내시경(202)의 조명 채널은 상기 빛을 조직(203)으로 향하게 한다. 상기 조명 채널들은, 예를 들면, 광섬유 다발, 한 개의 뻣뻣하거나 유연한 로드(rod), 또는 한 개의 광섬유로 구현될 수 있다.

한 실시형태에서는, 영상 포착 유닛(225R, 225L)의 각각이 조직(203)으로부터 반사된 빛을 포착한다, 다시 말해서, 데이터 프레임을 포착한다. 상기 데이터 프레임은 수술 화면을 나타낸다. 영상 포착 유닛(225R, 225L)의 영상 포착 센서(image capture sensor)는, 예를 들면, 상이한 가시적인 색상 성분을 각각 포착하는 다중 CCD; 특정의 가시적인 색상 성분 등을 포착하는 CCD의 상이한 구역을 가진 단일 CCD; 3-칩 CCD 센서(three-chip CCD senor), 컬러 필터 어레이를 가진 단일 CMOS 이미지 센서, 또는 3-CMOS 색상 이미지 센서 조립체로 될 수 있다.

영상 포착 유닛(225L)은 왼쪽 카메라 컨트롤 유닛(CCU)(230L)을 통하여 외과의사의 콘솔(250)의 입체 디스플레이 유닛(251)에 결합되어 있다. 영상 포착 유닛(225R)은 오른쪽 카메라 컨트롤 유닛(CCU)(230R)을 통하여 외과의사의 콘솔(250)의 입체 디스플레이 유닛(251)에 결합되어 있다. 카메라 컨트롤 유닛(230L, 230R)은 게인(gain)을 제어하고, 영상을 포착하는 것을 제어하고, 데이터 프레임을 출혈 검출 유닛(240R, 240L) 등으로 전달하는 것을 제어하는 시스템 프로세스 모듈(263)로부터의 신호를 수신한다. 시스템 프로세스 모듈(263)은 최소 침습 수술 시스템(200)의 시각 시스템 컨트롤러(vision system controller)를 포함하는 다양한 컨트롤러를 나타낸다. 카메라 컨트롤 유닛(230L, 230R)은 분리된 유닛으로 되거나 한 개의 듀얼 컨트롤러 유닛으로 결합될 수 있다.

디스플레이 모드 선택 스위치(display mode select switch)(252)는 신호를 사용자 인터페이스(262)에 제공하고, 사용자 인터페이스(262)는 선택된 디스플레이 모드를 시스템 프로세스 모듈(263)로 보낸다. 시스템 프로세스 모듈(263) 내의 다양한 시각 시스템 컨트롤러는 원하는 조명을 만들어내도록 조명장치(210)를 구성하고, 원하는 데이터를 획득하도록 왼쪽 카메라 컨트롤 유닛 및 오른쪽 카메라 컨트롤 유닛(230L, 23OR)을 구성하고, 외과의사가 입체 디스플레이 유닛(251)에 요청된 영상을 제공받도록 필요한 임의의 다른 요소들을 획득한 프레임을 처리하도록 구성한다. 본 실시형태에서는, 외과의사의 콘솔에 표시된 화면을 논의하였지만, 상기 화면은 수술실이나 다른 장소에 배치된 다른 모니터에 표시될 수도 있다.

도 2에 도시되어 있는 바와 같이, 사용자 인터페이스(262), 시스템 프로세스 모듈(263), 그리고 출혈 검출 유닛(240L, 240R)은 설명의 편의상 중앙 제어장치(260)로 분류되어 있다. 통상적으로 중앙 제어장치(260)는 화면의 색상를 시스템 프로세스 모듈(263)에 의해 결정된 것과 같은 새로운 원하는 색상 밸런스(color balance)로 변환시키는 색상 수정 모듈(color correction module)을 또한 포함하고 있다. 선택적인 영상 처리 모듈(264)은 중앙 제어장치(260)로부터 영상을 수신하고 외과의사의 콘솔(250)의 입체 디스플레이 유닛(251)에 표시하기 전에 색상 수정 모듈로부터 나온 화면을 처리한다. 상기 색상 수정 모듈과 선택적인 영상 처리 모듈(264)은 종래 기술의 최소 침습 수술 시스템의 영상 처리 모듈과 동등하므로 더 상세하게 고려하지는 않는다.

출혈 검출 유닛(240R, 240L)의 각각은 동일하게 기능하므로, 상기 출혈 검출 유닛 중 한 개만, 즉 출혈 검출 유닛(240R)만 상세하게 설명한다. 이 설명은 다른 출혈 검출 유닛인 출혈 검출 유닛(240L)에 직접 적용할 수 있으므로 반복하여 설명하지 않는다. 그러나, 아래에 보다 상세하게 설명하겠지만, 최소 침습 수술 시스템(200)의 왼쪽 채널과 오른쪽 채널에 포착된 화면에 대한 입체적인 제한은 잘못된 혈액 검출을 배제하는데 도움을 주기 위해서 사용된다.

또한, 한 개의 포착된 프레임과 관련된 프로세싱이 설명되어 있다. 그러나, 이러한 프로세싱은 화면의 연속적인 스트림(stream)이 외과의사의 콘솔(250)의 입체 디스플레이 유닛(251)으로 제공되도록 각각의 포착된 프레임 또는 포착된 프레임들의 일부 부분집합에 적용될 수 있다. 추가적으로, 혈류 추정이 수행될 때, 시간 t에서의 프레임에 대하여 혈류 추정이 논의되더라도 두 개의 상이한 시점, 예를 들면, 시간 (t-1)과 시간 t에서의 프레임의 데이터가 사용된다는 것을 알아야 한다. 또한, 출혈 검출 유닛(240R, 240L)에 의해 처리되고 생성된 화면에 대해 종래 기술의 입체 프로세싱과 동등한 입체 프로세싱(stereoscopic processing)이 행해진다. 입체 프로세싱은 알려져 있으므로, 출혈 검출에 적용가능한 때를 제외하고는 더 이상 상세하게 고려지 않는다.

한 실시형태에서는, 프로세서(131)의 출혈 검출 모듈(136)을 실행함으로써 출혈 검출 유닛(240R)이 프로세스 300을 수행한다(도 3a). 본 실시형태에서는, 출혈 검출 모듈(136)이 메모리(132)에 저장되어 있다. 그러나, 이것은 단지 예시적인 것이며 이에 제한되는 것은 아니다. 출혈 검출 모듈(136)은 하드웨어로, 펌웨어로, 소프트웨어를 실행하는 것으로, 또는 상기 세 가지의 임의의 조합형태로 구현될 수 있다.

혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)에서는, 포착된 프레임의 화소 데이터(330)가 처리된다. 포착된 프레임의 화소 데이터는 복수의 (i, j) 위치를 포함하고 있다. 예를 들면, 프레임은 1920 수평 위치 (i)와 1080 수직 위치 (j)를 가질 수 있다.

통상적으로, 프레임에서 각각의 위치 (i, j)는 한 세트의 화소를 가지고 있고, 화소의 값은 색 공간(color space)에서 색상 성분의 값이다. 전형적인 적-녹-청(red-green-blue) 성분 색 공간에서는, 각각의 위치 (i, j)에 대해 적색 화소, 녹색 화소, 그리고 청색 화소가 있다. 이 경우에, 포착된 프레임의 화소 데이터에서 각각의 위치 (i, j)는 복수의 색상 성분에 대한 화소 데이터를 가지는 것으로 한정된다. 대체형태의 한정은 위치 (i, j)에서 복수의 색상 성분을 포함하는 색상 화소 (i, j)가 있다는 것이다.

위치 (i, j)에 대해서, 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)는 위치 (i, j)에 대한 혈액 측정값 BM을 결정하기 위해서 위치 (i, j)를 포함하는 한 무리의 위치에 대해 화소 데이터를 분석한다. 예를 들면, 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)는 위치를 텍스처 패턴(texture pattern)에서의 위치를 나타내는 것으로 또는 텍스처 패턴에서의 위치를 나타내지 않는 것으로 특징짓기 위해서 텍스처 검출 프로세스(texture detection process)를 사용할 수 있다. 혈액은 일정 구역에 걸쳐서 색상의 완만한 차이(smooth variation)를 가지는 반면에, 텍스처 패턴은 일정 구역에 걸쳐서 색상의 통계상의 차이(statistical variation)를 가진다. 일부 기관(organ)은 명확한 텍스처 패턴, 예를 들면, 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)에 사용될 수 있는 일정 구역에 걸친 색상의 알려진 통계상의 차이를 가지고 있다. 예를 들어, 간에 대한 색상 차이는 크고 적색과 백색 사이에서 변하는 반면에, 혈액에 대한 색상 차이는 적색의 범위에서의 작은 차이로 국한된다.

대체 실시형태로서, 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)에서, 또는 텍스처 프로세싱에 추가하여, 위치 (i, j)에 대해 한 세트의 색상 성분을 이용하여 비율이 형성될 수 있고 이 비율의 값이 혈액 측정값 BM(i, j)이다. 위치 (i, j)에 대해 혈액 측정값 BM(i, j)이 발생된 후, 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)는 혈액 체크 프로세스(BLOOD check process)(302)로 넘어간다.

혈액 체크 프로세스(BLOOD check process)(302)는 혈액 측정값 BM(i, j)을 알려진 기준과 비교하여 혈액 측정값 BM(i, j)이 위치 (i, j)에서의 혈액을 나타내는지 여부를 결정한다. 예를 들어, 텍스처 검출 프로세스가 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)에서 사용되었다면, 혈액 체크 프로세스(BLOOD check process)(302)는 혈액 측정값이 조직 텍스처 패턴을 나타내는지 또는 혈액을 나타내는지를 결정한다. 혈액 측정값이 조직 텍스처 패턴을 나타내면, 혈액은 위치 (i, j)에 있는 것으로 생각되지 않고 혈액 체크 프로세스(BLOOD check process)(302)는 마지막 위치 체크 프로세스(LAST LOCATION check process)(304)로 넘어간다. 반대로, 혈액 측정값이 위치 (i, j)에서의 혈액을 나타내면, 혈액 체크 프로세스(BLOOD check process)(302)는 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303)로 넘어간다.

한 실시형태에서는, 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303)가 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)에서 위치 (i, j)에 대한 화소 데이터를 저장한 다음 마지막 위치 체크 프로세스(LAST LOCATION check process)(304)로 넘어간다. 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303)는 버퍼(buffer)에서 위치 (i, j)에 대한 화소 데이터를 저장하는 것을 필요로 하는 것으로 해석되어서는 안된다. 혈액을 나타내는 것으로서 위치 (i, j)를 식별하기 위해서 임의의 바람직한 기술이 사용될 수 있다. 예를 들면, 위치 (i, j)가 혈액을 나타내는 것을 표시하기 위해서 일 비트 또는 수 비트가 획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)에 구성될 수 있다. 혈액을 나타내는 획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)에서의 위치를 선택하도록 비트 마스크(bit mask)가 만들어질 수도 있다. 따라서, 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303)는 화소 데이터의 프레임에서 위치 (i, j)를 식별하는 정보를 혈액을 나타내는 것으로 저장한다.

마찬가지로, 혈액 측정값 BM(i, j)이 일정 비(비율)이고 텍스처 프로세싱이 사용되지 않은 경우, 혈액 체크 프로세스(BLOOD check process)(302)는 혈액 측정값 BM(i, j)을 혈액 표시 임계값(blood indication threshold)과 비교한다. 한 실시형태에서는, 혈액 측정값 BM(i, j)이 혈액 표시 임계값보다 크면, 혈액은 위치 (i, j)에 있는 것으로 여겨진다. 반대로, 혈액 측정값 BM(i, j)이 혈액 표시 임계값보다 작으면, 혈액은 위치 (i, j)에 있는 것으로 여겨지지 않는다.

혈액 측정값 BM(i, j)이 혈액을 나타내면, 혈액 체크 프로세스(BLOOD check process)(302)가 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303)로 넘어간다. 본 실시형태에서는, 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303)가 위치 (i, j)에서 포착된 프레임의 화소 데이터를 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)에 저장한 다음 마지막 위치 체크 프로세스(LAST LOCATION check process)(304)로 넘어간다. 혈액이 위치 (i, j)에 있는 것으로 여겨지지 않으면, 혈액 체크 프로세스(BLOOD check process)(302)는 마지막 위치 체크 프로세스(LAST LOCATION check process)(304)로 넘어간다.

다른 실시형태에서는, 혈액 체크 프로세스(BLOOD check process)(302)가 텍스처 패턴 체킹(texture pattern checking)과 비율 체킹(ratio checking)의 조합을 이용한다. 텍스처 패턴 체킹이 혈액을 나타내면, 위치 (i, j)에서의 화소 데이터를 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)에 저장할지 여부를 결정하기 위해서 위치 (i, j)에 대해 비율 체킹이 실행된다. 본 실시형태에서는, 텍스처 패턴 체킹 및 비율 체킹의 양자 모두가 위치 (i, j)에서 혈액을 나타낼 때에만 위치 (i, j)에서의 화소 데이터가 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)에 저장된다.

또 다른 실시형태에서는, 혈액 체크 프로세스(BLOOD check process)(302)에서 혈액의 허위 양성 표시(false positive indication)를 검출하는데 도움을 주기 위해서 왼쪽 채널과 오른쪽 채널에 포착된 화면들 사이의 입체 관계가 사용된다. 그러나, 영상 포착 센서에서 위치 (i, j)까지의 거리가 알려져 있지 않다. 왼쪽 채널과 오른쪽 채널의 양 채널에서 위치 (i, j)에서의 혈액에 대해 체크하는 것은 왼쪽 채널과 오른쪽 채널의 화면을 매칭(matching)시키는 것을 필요로 한다. 이러한 매칭을 자동적으로 수행하는 한 가지 기술은 본 명세서에 참고로 포함되어 있는 미국 특허 공개공보 제US 2010/0166323 Al호(로봇 수술 시스템에 대해 확실한 스파스 영상 매칭 기술(Robust Sparse Image Matching for Robotic Surgery)를 개시함)에 개시되어 있다. 이러한 매칭에 의해 왼쪽 화면과 오른쪽 화면 중의 한 쪽 화면의 한 위치에서는 혈액이 검출되고 왼쪽 화면과 오른쪽 화면 중의 다른 쪽 화면의 대응하는 위치에서는 혈액이 검출되지 않으면, 혈액 검출은 허위 양성(false positive)인 것으로 여겨지므로 혈액 체크 프로세스(BLOOD check process)(302)는 위치 (i, j)에서 혈액을 찾아내지 못한다.

마지막 위치 체크 프로세스(LAST LOCATION check process)(304)는 획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)의 관심있는 모든 위치가 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)에 의해 처리되었는지 여부를 결정한다. 모든 위치가 처리되었다면, 마지막 위치 체크 프로세스(LAST LOCATION check process)(304)는 구역 체크 프로세스(REGION check process)(305)로 넘어가고, 그렇지 않으면 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)로 되돌아간다.

몇몇 실시형태에서는, 혈액이 있는지 여부를 결정하기 위해서 프레임의 모든 위치가 체크되는 것은 아니다. 예를 들어, 포착된 화면의 가장자리 구역이 상당히 어두운 경우, 이 가장자리에 있는 위치에 대한 화소 데이터는 혈액의 검출을 촉진시키기에 충분한 정보를 전달하지 못할 수 있다. 따라서, 획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)의 각각의 위치에서의 화소 데이터는 필터링될 수 있고, 가장자리 임계값(perimeter threshold value)보다 작은 밝기를 가지고 있는 위치는 혈액의 존재를 위해서 처리되지 않는다.

마찬가지로, 수술 기구로부터 반사된 빛은 획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)의 화소 데이터를 포화시킬 수 있다. 한 실시형태에서는 포화된 화소 데이터(saturated pixel data)를 가지고 있는 위치는 혈액 검출에 관한 의미있는 정보를 전혀 전달하지 못하므로 처리되지 않는다. 한 실시형태에서는, 거울 반사(specular reflection) 효과를 최소화하기 위해서, 조직(203)으로부터 반사된 빛은 획득한 데이터에서 거울 반사 효과가 감소되도록 이러한 반사된 빛을 차단하는 편광기를 통과한다.

일부 임상 현장(clinical setting)에서는, 프레임에서 선택된 위치가, 예를 들면, 외과의사의 중심와(fovea) 내에 있는 구역에서, 조직이 절단되고 있는 구역에서, 또는 외과의사가 혈액 검출을 중단시킨 구역에서, 혈액을 검출하는 것에 대해 이익이 되지 않을 수 있다. 아래에서 보다 상세하게 설명하겠지만, 이러한 구역은 혈액 검출에서 면제될 수 있다. 그럼에도 불구하고, 본 명세서에서 설명한 자동적인 혈액 검출 프로세스 및 출혈 검출 프로세스는 외과의사의 소와(small foveae) 외측 구역에서 그리고 어둠(darkness), 포화(saturation), 또는 다른 기준으로 인해 혈액 검출에서 면제되지 않은 구역에서 혈액을 검출하는 강력한 도구이다.

획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)에서 관심이 있는 모든 위치가 프로세스(301, 302, 303, 304)에 의해 처리된 경우, 데이터(315)는 혈액을 나타내는 획득한 화소 데이터(ACQUIRED PIXEL DATA)(330)의 한 구역 또는 복수 구역에 대한 화소 데이터를 포함한다. 혈액 구역이 검출되지 않으면, 데이터(315)는 초기화된 상태로 있다. 따라서, 포착된 화면에 한 개의 혈액 구역 또는 복수의 혈액 구역이 있는지가 결정된다.

구역 체크 프로세스(REGION check process)(305)는 데이터(315)에 적어도 하나의 혈액 구역이 있는지 여부를 결정한다. 데이터(315)에 적어도 하나의 혈액 구역이 있으면, 구역 체크 프로세스(REGION check process)(305)는 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED check process)(306)로 넘어가고, 그렇지 않으면 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)로 되돌아간다.

한 실시형태에서는 방법 300을 초기화하는 동안, 수개의 플래그(flag)가 초기화된다. 예를 들면, 초기 부위 플래그(initial cite flag)가 미리 정해진 상태, 예를 들면, 트루(true) 상태로 세팅되고, 혈액 구역 표시 플래그(display blood region flag)가 디폴트 상태(default state), 예를 들면, 혈액 구역 표시 불능 상태(display blood region disabled state)로 세팅되고, 그리고 운동 추정 플래그(motion estimation flag)가 디폴트 상태, 예를 들면, 운동 검출 불능 상태(motion detection disabled state)로 세팅된다. 한 실시형태에서는, 사용자가 사용자 인터페이스(262)와 같은 사용자 인터페이스를 통하여 상기 플래그들 중의 하나 이상의 상태를 지정할 수 있다. 플래그의 사용은 단지 예시적인 것이며 이에 제한되는 것은 아니다. 이러한 개시내용을 고려하면, 설명한 여러 실시형태는 각각의 실시형태와 관련된 결과를 달성하기 위해서 다양한 방식으로 실시될 수 있다.

운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED check process)(306)는 운동 추정 플래그의 상태, 다시 말해서, 운동 검출이 가능한지를 결정한다. 혈액의 운동을 추정하기 하기 위해서, 시간 t에서의 한 프레임과 시간 (t-1)에서의 한 프레임의 두 개의 프레임의 화소 데이터가 필요하다. 제1 프레임에서는, 제2 프레임의 데이터를 이용할 수 없으므로 시간 t에 대한 운동 추정을 위한 데이터를 이용할 수 없다. 제2 프레임의 데이터를 이용할 수 있는 경우에도, 알려진 시점 후에, 예를 들면, 혈액 구역이 석션(suction)되거나 세정(irrigation)된 후에야 운동 추정이 필요할 수 있다. 따라서, 운동 추정 플래그는 석션이 완료될 때까지는 제1 상태인, 불능 상태(disabled)로 있고, 그 다음에 운동 추정 플래그가 제2 상태, 예를 들면, 사용가능한 상태(enabled)로 세팅된다.

운동 추정 플래그의 상대는 두 가지 방식으로 사용될 수 있다. 제1 형태에서는, 운동 추정 플래그가 제2 상태를 가진 후에야 혈류 추정 모듈(708)(도 7)이 작동된다. 제2 형태에서는, 상기 시스템의 초기화시에 혈류 추정 모듈(708)(도 7)이 작동되기 시작한다, 예를 들면, 운동 추정 플래그가 제2 상태로 바뀔 때, 혈류 추정값이 준비되고 사용할 수 있도록 후선(background)에서 작동된다. 제2 형태에서는, 디스플레이 유닛으로 전송된 정보를 제어하기 위해서 운동 추정 플래그가 사용된다, 예를 들면, 운동 추정 데이터를 포함하거나 운동 추정 데이터를 포함하지 않는다.

운동 추정 플래그가 제1 상태를 가지면, 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED check process)(306)는 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)로 넘어간다. 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)는, 한 실시형태에서, 초기 부위 플래그가 제1 상태인, 트루(true) 상태를 가지는지 여부를 먼저 결정한다. 초기 부위 플래그가 제1 상태를 가지면, 이것은 획득한 화소 데이터의 프레임이 부위 초기화 이벤트(site initialization event), 예를 들면, 출혈 검출 유닛 초기화 이벤트, 석션 이벤트, 세정 이벤트(irrigation event), 또는 사용자에 의해 정의된 다른 이벤트 후의 제1 프레임인 것을 의미한다. 따라서, 한 실시형태에서는, 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)가 초기 부위 플래그가 트루(true) 상태일 때의 초기 부위 데이터(INITIAL SITE data)(325)의 부위를 특징짓는 정보를 저장한 다음 초기 부위 플래그를 제2 상태, 예를 들면, 폴스(false) 상태로 세팅한다. 프레임에서 혈액의 초기 사례, 예를 들면, 프레임에서 혈액의 임의의 다른 부위와 연결되어 있지 않은 혈액의 부위를 검출하기 위해 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)에 다른 기술이 사용될 수 있다.

혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)는 초기 부위 데이터(INITIAL SITE data)(325)의 정보를 이용하여 수술 화면의 초기 부위 아이콘을 배치시키는 장소를 결정한다. 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)는 초기 부위 아이콘과 획득한 화소 데이터(ACQUIRED PIXEL DATA)를 결합하고 결합된 정보를 선택적인 영상 처리 모듈(264)을 통하여 디스플레이 유닛(251)으로 보낸다. 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)는 획득한 화소 데이터의 초기 프레임에서 혈액의 각각의 상이한 부위를 식별한다. 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)는 다른 부위 초기화 이벤트가 발생할 때까지 디스플레이 유닛으로 보내지는 각각의 후속 데이터 프레임에서 초기 부위 아이콘을 포함한다.

한 실시형태에서는, 상기 초기 부위 아이콘이 입체 디스플레이 유닛(251)에 표시된 화면에서 혈액 구역을 가리키는 화살표이다. 추가적으로, 또는 대체 실시형태로서, 상기 초기 부위 아이콘이 초기 혈액 구역 둘레로 그려진 경계선을 포함할 수 있거나, 외과의사가 혈액이 초기에 검출되었던 상기 화면상의 위치를 쉽게 식별할 수 있도록 각각의 초기 구역이 거짓 색상(false color)으로 착색될 수 있다. 몇몇 실시형태에서는, 시각적인 경고에 추가하여, 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)에 의해 청각적인 경고가 발생될 수 있다. 그리고, 이러한 예들은 여러가지 가능한 통지 수단과 여러가지 가능한 부위 아이콘의 예시일 뿐이다. 이러한 예들은 제한적인 것이 아니고, 오히려 외과의사 및/또는 출혈의 검출 작업에 관련된 다른 사람에게 통지하는 방법의 예시일 뿐이다.

혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)도 구역 갱신 프로세스(UPDATE REGION process)(309)로 넘어간다. 한 실시형태에서는, 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)가 시간 (t-1)에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME (t-1) data)(320)로 되도록 구역 갱신 프로세스(UPDATE REGION process)(309)가 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)에 주소를 지정하는 현재 구역 지시자(current region pointer)를 이전 구역 지시자(previous region pointer)로 변경시킨다. 구역 갱신 프로세스(UPDATE REGION process)(309)가 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)를 시간 (t-1)에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME (t-1) data)(320)로 저장한 후; 구역 갱신 프로세스(UPDATE REGION process)(309)가 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)로 되돌아간다.

시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)의 데이터를 시간 (t-1)에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME (t-1) data)(320)로 저장하기 위해서 구역 갱신 프로세스(UPDATE REGION process)(309)에 의해 사용된 특정 방법이 중요한 것은 아니다. 선택된 방법은, 예를 들면, 가용 메모리, 처리 능력 등에 의해 결정된다.

도 4a는 입체 디스플레이 유닛(251)에 표시되어 있는 수술 화면 400A이다. 이 화면 400A은 두 개의 원격조종식 최소 침습 수술 기구(420, 421)를 포함하고 있다. 이 화면 400A에는, 크로스해치 구역(450)으로 표시된 출혈이 있다. 종래 기술에서는, 외과의사나 보조자가 크로스해치 구역(crosshatched region)(450)을 혈액으로 의식하고 이를 식별하였어야 했다. 그러나, 외과의사의 관심이 상기 수술 기구들 중 하나의 근처에 있는 구역에 집중되어 있었다면, 외과의사가 출혈이 있다는 것을 알아차리는데 약간의 시간이 걸릴 수 있고, 이 때에는 출혈의 기점이 혈액에 의해 잘 보이지 않을 수 있다.

그러나, 화면 400A에 대해 획득한 화소 데이터가 프로세스 301, 프로세스 302, 프로세스 303, 프로세스 304, 프로세스 306 및 프로세스 307에 의해 처리되면, 출혈 검출 유닛(135)에 의해 혈액이 검출된다. 따라서, 프로세스 307은 초기 부위 아이콘(460B), 예를 들면, 화살표(460B)(도 4b)를 화면 400B의 혈액 구역(451)에 중첩시킨다. 또한, 이 예에서는, 초기 혈액 구역(451)을 표시된 화면의 나머지 부분과 잘 구별되게 하기 위해서 이 거짓 색상(false color)으로 착색, 예를 들면, 녹색으로 표시되어 있다. 도 4b에서는, 거짓 착색(false coloring)을 나타내기 위해서 스티플링(stippling)이 사용되어 있다. 혈액 구역(451)의 화살표(460B) 및 거짓 착색(false coloring)은 적어도 외과의사의 주변 시야에서 검출될 수 있으므로 화면 400A에 비하여 훨씬 더 빨리 출혈이 검출될 수 있다.

방법 300(도 3a)으로 되돌아 가서, 다음 프레임의 획득한 화소 데이터의 프로세싱을 개시하기 위해서 구역 갱신 프로세스(UPDATE REGION process)(309)가 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)로 넘어간다. 프로세스 301, 프로세스 302, 프로세스 303, 프로세스 304가 다음 프레임의 획득한 화소 데이터의 프로세싱을 완료하면, 하나의 혈액 구역 또는 다수의 혈액 구역이 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)에 이용될 수 있다.

운동 추정 플래그가 여전히 제1 상태를 가지고 있으면, 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED check process)(306)는 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)로 넘어가고, 이 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)는 상기한 것과 같이 작용하여, 혈액 구역이 도 4c에 도시된 것과 같이 갱신된다. 출혈이 기점 부위(451)(도 4b)를 잘 보이지 않게 하는 혈액의 웅덩이(452)를 만들었다. 따라서, 외과의사가 화면 400B를 놓쳤으면, 혈액의 웅덩이(452)가 출혈이 발생하고 있다는 정보만 제공한다. 그러나, 외과의사가 출혈이 원래 검출되었던 부위의 표시를 알 수 있도록 초기 부위 아이콘(460B)이 화면 400C에 중첩되어 있다. 이것은 외과의사가 출혈 부위의 위치를 결정하는 것을 도와준다.

외과의사가 출혈 부위의 위치를 찾아내는 것을 더 도와주기 위해서, 운동 추정이 가능하게 될 수 있는데, 예를 들면, 운동 추정 플래그가 제2 상태로 세팅된다. 운동 추정 플래그가 제2 상태를 가지면, 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED check process)(306)(도 3)가 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)로 넘어간다.

한 실시형태에서는, 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)가 전체 화면이 아니라 검출된 혈액 구역에 대한 운동 검출을 수행하므로 운동 검출을 하는 시간을 절약하고 운동 검출을 보다 확실하게 한다. 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)는 각각의 혈액 구역에 모의 혈류(simulated blood flow)를 발생시킨다. 그러나, 혈액 구역에 대한 운동 검출은 단지 예시적이며 이에 제한되는 것은 아니다. 몇몇 실시형태에서는, 전체 화면에 대한 운동 검출이 사용될 수 있다.

또한, 한 실시형태에서는, 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)가 시간 (t-1)에서의 혈액 구역의 정보를 이용하여 제1 부위 아이콘의 위치를 결정하는 능력과 초기 부위(325)의 정보에 접근하는 능력도 포함하고 있다. 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)는 운동을 이용하여 출혈 부위의 위치를 알아낸다.

한 실시형태에서는, 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)의 위치에 대한 정보와 시간 (t-1)에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME (t-1) data)(320)의 위치에 대한 정보를 이용하여, 각 위치에서의 운동이 추정된다. 이러한 추정은 위치 (i, j)에서의 시간 (t-1)에서 시간 t까지의 총운동을 제공한다. 상기 총운동은, 예를 들면, 호흡이나 석션처리(suctioning)으로 인한 임의의 조직 운동을 포함한다. 한 실시형태에서는, 운동 추정에 사용된 실제 구역이 혈액을 나타내는 것으로 표시된 위치들로 이루어진 구역보다 약간 더 크다. 상기 실제 구역의 크기는 혈액을 나타내는 위치에 대한 운동 추정이 특히 경계선을 따라서 확실하게 행해질 수 있도록 선택된다. 추가적으로, 혈액 구역의 약간 외측에서 추정된 운동은, 아래에서 보다 상세하게 설명하겠지만, 혈류를 추정하는 것을 도와주는데 사용될 수 있다.

혈액 구역에 대한 출혈 부위의의 위치를 알아내기 위해서, 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)의 한 실시형태에서 혈액 구역의 운동의 통계자료가 사용된다. 한 구역에 대한 운동은 상기 구역의 평균 운동을 생성하기 위해서 상기 구역의 모든 위치에 대한 운동을 그루핑(grouping)하고 평균을 냄으로써 추정된다. 각각의 위치에서, 그 위치에서의 상대 혈액 운동을 얻기 위해서 상기 위치에서의 운동으로부터 구역의 평균 운동을 뺀다. 한 실시형태에서는, 모든 상대 운동이 출혈 발생원으로부터, 다시 말해서, 국소적인 출혈 부위로부터 나온다. 혈액 운동, 다시 말해서, 혈액 구역의 모의 혈류(simulated blood flow)를 얻는 즉시, 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)가 프로세싱을 혈류와 화면 결합 프로세스(COMBINE BLOOD FLOW AND SCENE process)(310)로 넘긴다.

혈류와 화면 결합 프로세스(COMBINE BLOOD FLOW AND SCENE process)(310)는, 한 실시형태에서, 각각의 혈액 구역의 표시와 결합된 획득한 화소 데이터, 혈류의 운동 표시, 예를 들면, 혈류의 방향을 가리키는 화살표, 그리고 초기 부위 아이콘을 포함하는 화면을 생성한다. 한 실시형태에서는, 상기 운동 표시기 혈액의 상대 유동만 나타낸다. 다른 실시형태에서는, 평균 조직 운동이 제1 색상과 제1 유형의 표시로 표시되고, 혈액의 상대 유동은 제2 색상과 제2 유형의 표시로 표시된다. 생성된 화면은 디스플레이 유닛으로 보내진다. 추가적으로, 몇몇 실시형태에서 각각의 혈액 구역의 표시(marking)는 선택적이다.

혈류와 화면 결합 프로세스(COMBINE BLOOD FLOW AND SCENE process)(310)는 구역 갱신 프로세스(UPDATE REGION process)(309)로 넘어간다. 구역 갱신 프로세스(UPDATE REGION process)(309)는 시간 t에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME t data)(315)를 시간 (t-1)에서의 혈액 구역 데이터(REGION OF BLOOD AT TIME (t-1) data)(320)로 저장하기 위해 상기한 것과 동일한 프로세스를 수행한다. 구역 갱신 프로세스(UPDATE REGION process)(309)는 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)로 되돌아간다.

프로세스 300에 있어서 선형적인 진행(linear progression)은 단지 예시적이며 이에 제한되는 것은 아니다. 프로세스에 의해 필요한 정보를 이용할 수 있기 전에 프로세스가 수행되지 않는 한 기술된 프로세스는 상이한 시퀀스로 및/또는 유사하게 수행될 수 있다.

상기 프로세스 300에 대하여 기술한 예들은 단지 예시적이며 이에 제한되는 것은 아니다. 몇몇 상황에서는, 혈액 구역 및 혈액 운동을 가진 구역의 양자 모두가 표시될 수 있다. 예를 들면, 정적인 혈액 구역은 제1 색상으로 표시될 수 있고, 혈액 운동의 구역은 상이한 제2 색상으로 표시될 수 있다. 대체 실시형태로서, 임의의 혈액 구역이 거짓 색상, 예를 들면, 녹색으로 표시된 다음, 혈액 운동의 구역의 거짓 색상에 화살표가 중첩되어 표시될 수 있다. 이 화살표는 상기 구역에서 혈액의 운동을 나타낸다. 이 경우에, 거짓 착색(false coloring), 화살표, 또는 상기의 양자 모두가 외과의사에 의해 디스플레이에서 점멸될 수 있다. 국소적인 출혈 부위는 디스플레이에서 섬광점(flashing point)으로 표시될 수 있다. 한 실시형태에서는, 혈액이 검출되었던 초기 부위는 각각의 혈액 구역에서 초기 부위 아이콘에 의해 표시된다. 본 명세서에 제공된 예들은 단지 예시적인 것이며 기술된 특정 실시례로 제한되는 것은 아니다.

추가적으로, 프로세스 300은 복수의 상이한 출혈 부위에 대해 사용될 수 있다. 복수의 출혈 부위가 검출되면, 각각의 부위는 본 명세서에 기술된 것과 같이 별개로 모니터되고 추적된다. 출혈 부위들이 모두 미리 정해진 거리 내에 있으면, 상기 출혈 부위들은 한 개의 부위로 결합되고 처리될 수 있다. 상기 미리 정해진 거리는, 예를 들면, 프로세스 300의 위치 분해능(position resolution)에 의해 결정된다.

한 실시형태에서는, 관찰자가 비디오 스트림(video stream)을 보도록 프로세스 300이 일련의 프레임으로 실행된다. 운동 표시가 프레임마다 바뀌면, 이 운동 표시는 관찰자에게 움직이는 것으로 보인다.

다른 실시형태에서, 프로세스 300은 쌍방향 프로세스(interactive process) 350(도 3b)과 결합하여 사용된다. 프로세스 350에서는, 한 사람이 수술실의 디스플레이 유닛에 표시된 화면을 관찰하고 있다. 이 디스플레이 유닛은 외과의사의 콘솔(250)의 입체 디스플레이 유닛(251), 보조자의 디스플레이 유닛, 또는 수술실의 몇몇 다른 디스플레이 유닛이 될 수 있다. 다른 수술 작용이 진행중인 동안, 출혈의 경고가 디스플레이 유닛에 생성될 수 있다. 도 4b에서는, 혈액 구역의 경고가 초기 부위 아이콘(460B)이다. 수술실의 누군가에 의해 초기 부위 아이콘(460B)이 검출되면, 출혈 표시 체크 프로세스(BLEEDING INDICATOR check process)(351)가 완료되고, 석션 프로세스(SUCTION process)(352)에서 작용을 계속한다.

출혈 표시 체크 프로세스(BLEEDING INDICATOR check process)(351)가 일정한 폴링(constant polling)을 요하는 것으로 해석되어서는 안된다. 출혈 표시 체크 프로세스(BLEEDING INDICATOR check process)(351)는 출혈을 경고하는 이벤트가 발생할 때까지는 출혈의 알려지지 않은 근원지의 위치를 알아내는 것에 대하여 어떠한 작용도 취해지지 않는 것을 의미한다.

석션 프로세스(SUCTION process)(352)에서는, 표시된 화면에서 혈액 구역(451)에 해당하는 신체 부분이 수술실에 있는 사람, 예를 들면, 외과의사나 외과의사의 보조자에 의한 수술 기구의 조종에 의해 석션된다. 화면 400D(도 4d)는 석션 프로세스(SUCTION process)(352)의 마지막에 디스플레이 유닛에 제공된다. 디스플레이를 관찰하는 사람인 관찰자는 입체 비디오 시퀀스(stereoscopic video sequence)를 보고, 화면 400D는 몇몇 지점에서 프로세스 300이 혈액을 검출하지 않았던 혈액을 충분히 석션할 수 있었다는 것을 나타낸다는 것을 주의해야 한다.

프로세스 300이 화면에서 혈액을 검출하지 않을 때, 구역 체크 프로세스(REGION check process)(305)가 초기 부위 플래그를 트루(true) 상태로 세팅한다. 대체 실시형태로서, 또는 추가적으로, 최소 침습 수술 시스템(100)의 한 시스템이 석션처리(suctioning) 및/또는 세정처리(irrigation)를 검출할 수 있고 초기 부위 플래그를 트루(true) 상태로 세팅할 수 있다. 또한, 최소 침습 수술 시스템(100)의 사용자는 최소 침습 수술 시스템(100)의 사용자 인터페이스를 통하여 초기 부위 플래그를 특정 상태로 세팅할 수 있다.

석션 프로세스(SUCTION process)(352)는 두 가지 목적에 기여한다. 석션 프로세스(SUCTION process)(352)는 외과의사가 수술 부위를 볼 수 있도록 혈액을 제거한다. 석션 프로세스(SUCTION process)(352)는 또한 혈액 웅덩이 아래의 출혈 부위가 노출되어 혈액 발생원의 위치를 보다 쉽게 찾아낼 수 있도록 표면에 고인 혈액을 제거할 수도 있다. 이것은 혈액의 양이 증가할 때 혈액을 관찰할 수 있게 해준다.

다음에, 혈류 관찰 프로세스(OBSERVE BLOOD FLOW process)(353)에서, 수술실에 있는 한 명 이상의 사람이 방법 300에 의해 생성된 디스플레이 유닛의 화면을 관찰한다. 표시된 화면은 실제 혈액 운동(true blood motion)의 운동 표시와 결합된 수술 부위의 포착 화면과 적어도 하나의 초기 부위 아이콘을 포함하고 있다. 화면 400E(도 4e)는 운동 표시(453)와 초기 부위 아이콘(460E)을 가진 화면의 한 예이다. 한 실시형태에서는, 운동 표시(453)가 표시되어 있을 때 초기 부위 아이콘(460E)은 꺼져 있다. 본 예에서, 운동 표시(453)는 초기 부위 아이콘(460E)이 가리키고 있는 혈액 구역의 중심 근처의 위치로부터 방사되는 것으로 보인다. 화면 400E를 관찰함으로써, 관찰자는 국소적인 출혈 부위의 위치를 결정한다.

화면에 제공된 정보를 이용하여 관찰자에 의해 출혈 부위의 위치가 식별되면, 수술실의 작용이 치료 프로세스(REPAIR process)(355)로 넘어가고 그렇지 않으면 석션 프로세스(SUCTION process)(352)로 되돌아간다. 치료 프로세스(REPAIR process)(355)에서는, 관찰자 또는 다른 사람이 다른 수술 기구를 조종하여 출혈 부위를 치료하여 출혈을 완화시킨다.

치료 프로세스(REPAIR process)(355)가 완료되면, 치료가 성공적이었는지 여부를 결정하기 위해 디스플레이를 관찰한다. 화면 400F(도 4f)에서, 한 개의 출혈 부위의 치료는 성공적이었지만, 화면 400F는 치료 부위로부터 나온 혈액에 의해 가려져 있던 제2 혈액 구역이 있다는 것을 보여준다. 따라서, 화면 400F가 출혈의 위치를 결정하기에 충분한 정보를 제공하는지 여부에 따라, 프로세스 350에서, 작용이 석션 프로세스(SUCTION process)(352)로 되돌아갈 수 있거나 치료 프로세스(REPAIR process)(355)로 되돌아갈 수 있다. 본 예에서, 화면 400F는 하이라이트처리된(highlighted), 예를 들면, 거짓 색상(false color)으로 착색된 혈액 구역을 가지고 있고, 운동 표시(454)와 초기 부위 아이콘(460F)을 포함하고 있다. 출혈 검출 모듈(136)이 프로세스 350의 전체에 걸쳐서 작동을 계속하여 추가적인 혈액 및/또는 혈액 운동을 검출할 수 있다는 것을 주의해야 한다. 방법 350에서의 프로세스들은 치료가 성공적일 때까지 반복되므로 수술을 계속할 수 있다. 이것은 방법 350의 성공적인지 여부 체크 프로세스(SUCCESSFUL check process)(357)에 의해 표시된다.

쌍방향 프로세스 350은 복수의 출혈 부위가 검출될 때에도 사용된다. 이러한 상황에서는, 석션 프로세스(SUCTION process)(352)가 한 개의 부위에서 실행될 때, 떨어져 있는 다른 부위들은 재초기화(re-initialization)되지 않는데, 그 이유는 석션 프로세스(SUCTION process)(352)가 이들 부위에 영향을 미치지 않기 때문이다.

로봇 수술 시스템에서, 수술 기구의 위치는 알려져 있다. 석션되는 출혈 부위의 위치도 알려져 있다. 이 거리 정보와 다른 출혈 부위의 위치를 이용하여, 만약에 있다면, 어떤 부위가 석션 기구(suction instrument)의 범위 외측에 있는지를 프로세스가 결정할 수 있고, 이 부위는 재초기화되지 않는다.

한 실시형태에서는, 도 4a 내지 도 4f에 제공된 화면은 3차원 화면이다. 따라서, 방법 300은 외과의사가 3차원으로 출혈을 추적할 수 있게 해준다. 외과의사가 혈액의 존재를 인식하는 것과 국소적인 출혈 부위 또는 여러 출혈 부위를 결정하는 것에 도움을 주기 위해서 아이콘이 3차원 실시간 비디오의 3차원 화면 위에 놓여 있다. 입체 영상에 사용된 두 개의 화면 중의 한 화면에만 출혈 부위가 검출되는 거짓 검출 시나리오(false detection scenario)를 배제시키기 위해서 정확한 입체 아이콘을 가진 입체 화면을 생성하는 미국 특허공보 제US 2010/0166323 Al호(로봇 수술용 로버스트 스파스 이미지 매칭기술(Robust Sparse Image Matching for Robotic Surgery)을 개시함)에 기술된 프로세싱이 사용된다.

출혈 검출 프로세스 자체가 수술 기구 또는 공구의 위치 추적 능력을 필요로 하지는 않지만, 수술 기구와 공구의 위치 추적 능력은 로봇 수술 시스템에 의해 제공되고 출혈 검출 프로세스를 증대시키기 위해서 사용될 수 있다. 예를 들면, 로봇 수술 시스템에 의해 제공된 내시경의 운동과 위치에 관한 정보를 이용하여 외과의사가 내시경을 이동시킬 때 초기 부위 아이콘은 화면에 적절하게 위치될 수 있다.

한 실시형태에서는, 프로세스 301 내지 프로세스 304가 구역 분할 프로세스(REGION SEGMENTATION process)(501)(도 5)에 포함되어 있다. 본 실시형태에서는, 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)(도 3a)가 위치 데이터 입수 프로세스(GET LOCATION DATA process)(510)와 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)를 포함한다

위치 (i, j)에 대해서, 위치 데이터 입수 프로세스(GET LOCATION DATA process)(510)는 제1 색상 성분의 제1 블록-종종 윈도우(window)라 칭함-의 화소와 제2 색상 성분의 제2 블록의 화소를 검색한다. 제1 색상 성분과 제2 색상 성분은 서로 다른 색상 성분인데, 예를 들면, 제1 색상 성분은 적색 성분이고 제2 색상 성분은 녹색 성분이다.

제1 블록과 제2 블록의 양자 모두가 위치 (i, j)를 포함하고 있다. 예를 들면, 화소의 각 블록은 위치 (i, j)가 블록의 중심에 있는 5 곱하기 5 화소 블록(five pexel by five pexel block)이다. 이 경우에, i는 0 내지 수평 방향의 위치의 숫자에서 1을 뺀 숫자의 범위에 있고, j는 0 내지 수직 방향의 위치의 숫자에서 1을 뺀 숫자의 범위에 있다.

위치 데이터 입수 프로세스(GET LOCATION DATA process)(510)가 실제로 임의의 데이터를 이동시킬 필요는 없다. 위치 데이터 입수 프로세스(GET LOCATION DATA process)(510)는 위치 (i, j)를 각각 포함하는 2세트의 화소에 대한 정보를 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)에 제공한다. 각 세트의 화소는 상이한 색상 성분에 대한 것이다. 상기 예에서는, 각 세트의 화소를 각 블록의 화소라고 칭하였다.

혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)는 제1 블록의 화소를 처리하여 위치 (i, j)에서 제1 색상 성분의 화소에 대해 필터링된 값 R을 생성한다. 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)는 제2 블록의 화소를 처리하여 위치 (i, j)에서 제2 색상 성분의 화소에 대해 필터링된 값 G를 생성한다. 한 실시형태에서는, 필터링된 값 R을 생성하고 필터링된 값 G를 생성하기 위해서 5 곱하기 5 가우스 필터(five by five Gaussian filter)가 사용된다.

본 실시형태에서는 혈액 측정값 BM(i, j)을 생성하기 위해, 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)가 비율 (R/G)를 생성한다. 다른 실시형태에서는 혈액 측정값 BM(i, j)을 생성하기 위해, 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)가 비율 ((R + 0.5)/(G + 0.5))를 생성한다. 한 실시형태에서는, 필터링된 값 R과 필터링된 값 G가 0 내지 255의 범위에 있다. 양 실시형태에서, 혈액 측정값 BM(i, j)은 상기 비율의 값과 동일하게 세팅된다. 일반적으로, 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)는 비율을 생성하는데, 상기 비율에서의 제1 수량은 위치 (i, j)에서의 제1 색상 성분 화소값을 이용하여 결정된 값을 포함하고 상기 비율에서의 제2 수량은 위치 (i, j)에서의 제2 색상 성분 화소값을 이용하여 결정된 값을 포함한다.

혈액 측정값 BM(i, j)이 혈액 표시 임계값보다 큰 값을 가지면, 혈액이 위치 (i, j)에 존재할 가능성이 매우 높다는 사실이 경험적으로 밝혀졌다. 반대로, 혈액 측정값 BM(i, j)이 혈액 표시 임계값보다 작은 값을 가지면, 위치 (i, j)에 혈액이 없다. 따라서, 혈액 체크 프로세스(BLOOD check process)(302)는, 본 실시형태에서, 혈액 측정값 BM(i, j)을 혈액 표시 임계값과 비교하여 혈액 측정값 BM(i, j)이 위치 (i, j)에서 혈액을 나타내는지 여부를 결정한다. 신중하게, 혈액 표시 임계값은 혈액의 검출을 놓칠 가능성을 최소화하도록 선택된다.

한 실시형태에서는, 수술 화면과 적색 색상 성분 및 녹색 색상 성분을 포함하는 색상 모델에 대해, 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)는 혈액 측정값 BM(i, j)으로서 비율 (R/G)를 생성한다. 본 실시형태에 대해서는, 3개의 혈액 표시 임계값이 사용되었다. 또한, 본 실시형태에서는, 적색 색상 성분의 값과 녹색 색상 성분의 값이 0 내지 255의 범위에 있었다.

구역 분할 프로세스(REGION SEGMENTATION process)(501)의 다른 프로세스들은 도 3a에서의 동일한 참고 번호를 가진 프로세스에 대하여 기술한 것과 동일하다. 따라서, 이들 프로세스의 설명은 반복하지 않는다.

도 6은 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)의 한 실시형태의 상세도이다. 구역 데이터 수집 프로세스(GET REGION DATA process)(601)는 시간 t와 시간 (t-1)에서의 혈액 구역에 대한 화소 데이터에 접근하여 프로세싱을 운동 추정 프로세스(ESTIMATE MOTION process)(602)로 넘긴다.

한 실시형태에서는, 운동 추정 프로세스(ESTIMATE MOTION process)(602)가 계층적 운동 추정(hierarchical motion estimation)을 이용하는 광류 모델(optical flow model)을 실행하여 시간 (t-1)에서 시간 t까지의 영역의 운동을 발생시킨다. 운동 추정 프레임워크(motion estimation framework)는 (i) 피라미드 구조, (ii) 운동 추정, (iii) 이미지 와핑(image warping), 그리고 (iv) 조악에서 미세로의 개선(coarse-to-fine refinement)을 포함한다. 상기 광류 모델은 프레임마다의 색상 일관성(color consistency)과 프레임마다의 밝기 일관성(brightness consistency)을 가지는 화면에 대해서 최상으로 작용한다.

한 구역에서의 운동을 추정하기 위한 광류 모델의 사용은 알려져 있으므로 더 상세하게 고려하지는 않는다. 예를 들면, 본 명세서에 참고로 포함되어 있는, 컴퓨터 비전에 관한 유럽 회의(European Conference on Computer Vision)의 1992년판 237 내지 252 페이지에 수록된 제이 알 버겐(J.R. Bergen), 피 아난단(P. Anandan), 케이 제이 한나(K. J. Hanna) 및 알 힝오라니(R. Hingorani)의 "운동 추정에 기초한 계층 모델(Hierarchical Model-Based Motion Estimation)"을 참고하면 된다. 한 실시형태에서는, 운동 추정 프로세스(ESTIMATE MOTION process)(602)가, 예를 들면, 위치 (i, j)를 중심으로 하고 5 위치 곱하기 5 위치(five locations by five locations)인 윈도우(window)를 이용하여 영역내의 각각의 위치 (i, j)에 대해서 시간 t에서의 운동을 제공한다.

운동 추정 프로세스(ESTIMATE MOTION process)(602)에 의해 제공된 운동은 조직의 모든 운동과 혈액의 모든 운동을 포함하는 구역의 총운동이다. 운동 수정 프로세스(CORRECT MOTION process)(603)는 운동 추정 프로세스(ESTIMATE MOTION process)(602)로부터 총운동을 수용하여 혈액 운동을 얻기 위해 조직 운동을 제거한다. 상기한 바와 같이, 한 실시형태에서는, 조직 운동을 제거하기 위해 통계적인 평가(statistical evaluation)가 사용된다. 위치 (i, j)에서의 운동은 아래와 같이 정의된다:

M(i, j) = M_Tissue(i, j) + M_Blood(i, j)

상기 식에서

M(i, j)는 프로세스 602로부터의 위치 (i, j)에서의 총운동이고,

M_Tissue(i, j)는 위치 (i, j)에서의 조직 운동이고

M_Blood(i, j)는 위치 (i, j)에서의 혈액 운동이다.

위치 (i, j)에서의 조직 운동 M_Tissue(i, j)은 구역에 걸친 평균 운동으로 추정된다. 마찬가지로, 혈류 M_Blood(i, j)는 구역에 걸친 평균 운동으로 추정된다.

상기 식에서 n은 구역 내의 위치의 갯수이다.

그러나, 내뿜는 출혈 발생원을 중심으로 하여, 혈액의 운동은 모든 방향에 있어서 동일한 것으로 가정되므로 혈액의 평균 운동은 0(zero)이다. 이러한 가정에 의해, 위치 (i, j)에서의 평균 운동은 바로 조직의 평균 운동이다. 따라서, 위치 (i, j)에서의 혈액의 운동은,

M_Blood(i, j) = M(i, j) - M_avg

이다.

이러한 수정 프로세스는 중력 효과를 포함하지 않고 등방성 혈류(isotropic blood flow)를 가정하지만, 이 프로세스는 외과의사가 출혈 부위의 위치를 찾아내는 것을 도와주는데 충분한 세부사항을 제공한다. 외과의사가 출혈 부위를 확신하고 출혈 발생원의 위치를 알아내는 것을 도와주는데 있어서 완벽한 정확성을 요하지는 않는다.

일반적으로, 단지 출혈 부위의 위치를 알아내는 것이 목적이 아니라면, 운동 수정 프로세스는 평균 조직 운동이 혈액 구역 바로 외측의 경계 부분으로 결정될 수 있다는 것을 가정할 수 있다. 이러한 가정에 의하면, 총운동으로부터 평균 조직 운동을 뺌으로써 혈류를 얻을 수 있다.

도 7은 출혈 검출 모듈(136)의 한 실시형태의 상세도이다. 출혈 검출 모듈(136)은 구역 분할 모듈(760)을 포함하고 있고, 구역 분할 모듈(760)은 혈액에 대한 모니터 모듈(701), 혈액 체크 모듈(702), 위치 데이터 저장 모듈(703), 그리고 마지막 위치 체크 모듈(704)을 포함하고 있다.

혈액에 대한 모니터 모듈(701)은 위치 데이터 입수 모듈(761)과 혈액 측정값 생성 모듈(762)을 포함하고 있다. 혈액에 대한 모니터 모듈(701)은 혈액에 대한 모니터 프로세스(MONITOR FOR BLOOD process)(301)(도 3a)를 실행한다. 위치 데이터 입수 모듈(761)(도 7)은 위치 데이터 입수 프로세스(GET LOCATION DATA process)(510)(도 5)를 실행하고, 혈액 측정값 생성 모듈(762)은 혈액 측정값 생성 프로세스(GENERATE BLOOD MEASUREMENT process)(511)를 실행한다. 혈액 체크 모듈(702), 위치 데이터 저장 모듈(703) 및 마지막 위치 체크 모듈(704)은 혈액 체크 프로세스(BLOOD check process)(302), 위치 데이터 저장 프로세스(SAVE LOCATION DATA process)(303) 및 마지막 위치 체크 프로세스(LAST LOCATION check process)(304)를 각각 실행한다.

출혈 검출 모듈(136)은 또한 구역 검출 모듈(705), 운동 검출 가능 모듈(706), 혈액 구역 식별 모듈(707), 그리고 구역 갱신 모듈(709)을 포함하고 있다. 구역 검출 모듈(705)은 구역 체크 프로세스(REGION check process)(305)를 실행한다. 운동 검출 가능 모듈(706)과 혈액 구역 식별 모듈(707)은 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED check process)(306)와 혈액 구역 식별 프로세스(IDENTIFY REGION OF BLOOD process)(307)를 각각 실행한다. 구역 갱신 모듈(709)은 구역 갱신 프로세스(UPDATE REGION process)(309)를 실행한다.

출혈 검출 모듈(136)은 또한 혈류 추정 모듈(708), 그리고 혈류와 화면 결합 모듈(710)을 포함하고 있다. 혈류 추정 모듈(708)은 혈류 추정 프로세스(BLOOD FLOW ESTIMATOR process)(308)를 실행한다. 혈류와 화면 결합 모듈(710)은 혈류와 화면 결합 프로세스(COMBINE BLOOD FLOW AND SCENE process)(310)를 실행한다.

혈류 추정 모듈(708)은 구역 데이터 입수 모듈(761), 운동 추정 모듈(762), 그리고 운동 수정 모듈(763)을 포함하고 있다. 구역 데이터 입수 모듈(761), 운동 추정 모듈(762) 및 운동 수정 모듈(763)은 구역 데이터 수집 프로세스(GET REGION DATA process)(601), 운동 추정 프로세스(ESTIMATE MOTION process)(602) 및 운동 수정 프로세스(CORRECT MOTION process)(603)를 각각 실행한다.

상기한 바와 같이, 도 7의 모듈 각각은 프로세서, 펌웨어, 하드웨어, 또는 상기 세 가지의 임의의 조합형태에서 실행되는 컴퓨터 프로그램 명령에 의해 실행될 수 있다. 컴퓨터 프로그램 명령이 사용될 때, 컴퓨터 프로그램 명령은 메모리에 저장되어 있으며 프로세서에서 실행된다. 따라서, 한 모듈이 일정 작용을 수행하고 상기 모듈이 컴퓨터 명령을 포함한다고 할 때, 당해 기술 분야의 전문가는 이를 컴퓨터 명령이 프로세서에서 실행되는 것을 의미한다고 이해한다.

도 7에 제공되어 있는 모듈은 단지 예시적인 것이며 도시된 특정 세트의 모듈로 제한되는 것은 아니다. 예를 들어, 상기 모듈이 컴퓨터 명령을 이용하여 실행되면, 모든 모듈이 한 개의 컴퓨터 프로그램의 일부분일 수 있고 이 프로그램의 하나 이상의 명령의 실행이 모듈의 기능을 수행한다.

상기 실시형태들에 있어서, 출혈 검출 유닛(135)은 수술 부위의 화면에 하나 이상의 혈액 구역이 있는지 여부를 결정하기 위해서 그리고 하나 이상의 혈액 구역의 각각에서 혈액의 상대 운동을 결정하기 위해서 사용된다. 이러한 자동적인 검출은 외과의사가 임의의 새로운 혈액 발생원에 대해 즉각적으로 반응할 수 있게 함으로써 외과의사에게 새로운 능력을 제공한다.

그러나, 수술하는 동안 항상 혈액이 존재하고 있고 몇몇 실시형태에서는, 출혈 검출 유닛(135)의 작동이 최소 침습 수술 시스템의 다양한 구성요소의 상태, 외과의사의 시야, 그리고 외과의사가 선호하는 것과 같은 하나 이상의 요인에 기초하고 있다. 이것은 쓸모없는 정보로 외과의사에게 지나친 부담을 주지 않음으로써 출혈 검출 유닛(135)에 의해 제공된 정보를 더욱 유의미하게 한다. 예를 들면, 외과의사가 절개할 구역에 집중하고 있고 절개를 시작할 때, 상기 구역의 출혈 경고는 외과의사에게 특별한 소용이 없을 것이다. 외과의사는 상기 구역에 집중하고 있으며 출혈을 예상하고 있다. 그러나, 집중하고 있는 구역의 외측 부분, 다시 말해서, 중심와(fovea) 또는 시야의 중심의 외측 부분에서의 출혈의 검출은 외과의사에게 소용이 있을 것이다.

한 실시형태에서, 출혈 검출 유닛(135)에 의해 혈액이 검출되는 구역의 표시는 혈류 추정이 실행되는 구역의 표시와 같이 제어될 수 있다. 예를 들면, 수술 화면의 한 부분이 혈액 검출이 필요하지 않다고 특정되어 있다. 혈액 구역이 상기 부분 내에 해당되면, 혈액 구역은 표시된 화면에서 식별되지 않는다. 반대로, 혈액 구역이 상기 부분의 외측에 있으면, 혈액 구역은 표시된 화면에서 식별된다. 상기 부분은 사용자 입력에 기초하여 결정되거나, 수술 시스템으로부터의 입력에 기초하여 자동적으로 결정되거나, 상기 두 경우의 조합형태에 기초하여 결정된다.

한 실시형태에서는, 사용자가 사용자 인터페이스(262)에서 출혈 검출 모드 선택 입력 인터페이스(253)를 작동시킨다. 이에 대응하여, 사용자에게 출혈 검출 프로세스를 제어할 옵션이 제공된다. 예를 들면, 도 8a에 도시되어 있는 바와 같이, 격자선(800)이 수술 부위의 표시된 화면에 중첩되고, 사용자 출혈 검출이 필요한 부분을 선택한다. 이것은 사용자로 하여 출혈 검출이 중요하지 않은 부분 뿐만 아니라 출혈 검출이 특히 중요한 부분을 특정할 수 있게 해준다. 상이한 부분들을 특정하기 위해 격자선(800)을 사용하는 것은 단지 예시적인 것이며 이에 제한되는 것은 아니라는 점을 주의해야 한다.

또한, 출혈 검출이 자동적으로 전체 화면에 대해서 작동될 수 있고 외과의사는 수술하는 동안 언제라도 출혈 검출이 완전히 또는 부분적으로 작동 중단되는 부분을 표시하기 위해서 출혈 검출 모드 선택 입력 인터페이스(253)를 사용할 수 있다. 출혈 검출이 부분적으로 작동 중단된다는 것은, 예를 들면, 혈류 추정(308)은 중단되어 있지만, 혈액의 검출 및 표시는 정상적으로 작용을 계속하는 것을 의미한다. 또한, 출혈 검출이 부분적으로 작동 중단되어 있으면 혈류 추정(308)은 후선(background)에서 작동을 계속할 수 있지만, 혈류 추정(308)의 출력은 사용되지 않는다.

다른 실시형태에서는, 수술 시스템(100)이 혈액에 대해 모니터되지 않는 수술 화면의 한 부분 또는 여러 부분을 자동적으로 결정한다. 예를 들어, 내시경(112)이 초점을 유지하는데 필요한 양만큼만 이동하고 사용중인 수술 기구 또는 다른 기구가 출혈을 유발하는 것으로 알려지면, 출혈 검출은 수술 시스템(100)에 의해 외과의사의 중심와(fovea)의 외측 부분, 예를 들면, 도 8b에서 원 803으로 표시된 시야의 중심의 외측 부분으로 제한된다. 당연히, 혈액 검출 및/또는 혈류 추정을 위한 부분을 특정하기 위해서 사용자 입력과 시스템 입력의 결합이 사용될 수 있다.

도 9는 출혈 검출 모듈(135)에 대한 제어를 가능하게 하는 방법 900의 프로세스 흐름도이다. 도 9의 실시형태에서는, 구역 분할 모듈(760A)과 혈류 추정 모듈(708A)의 작동이 출혈 검출 가능 모듈(911)에 의해서 제어된다. 출혈 검출 가능 신호(bleeding detection enable signal)가 출혈 검출 가능 모듈(911)로 제공된다.

한 실시형태에서는, 출혈 검출 가능 신호의 상태가 사용자 인터페이스(262)를 통하여 출혈 검출 모드 선택 입력 인터페이스(253)로부터의 입력에 의해 결정된다. 대체 실시형태로서, 출혈 검출 가능 신호의 상태가 수술 시스템의 컨트롤 시스템으로부터의 하나의 입력 또는 복수의 입력에 의해서 결정된다. 출혈 검출 가능 신호가 제1 상태를 가지면, 출혈 검출 가능 체크 프로세스(BLEEDING DETECTION ENABLED check process)(901)는 가능 신호를 구역 분할 모듈(760A)와 혈류 추정 모듈(708A)로 전달하지 않는다. 그러나, 출혈 검출 가능 신호가 제2 상태를 가지면, 출혈 검출 가능 체크 프로세스(BLEEDING DETECTION ENABLED check process)(901)는 구역 분할 모듈(760A)과 혈류 추정 모듈(708A)를 사용가능하게 한다. 따라서, 본 실시형태에서, 사용가능한 구역 분할 모듈(760A)과 혈류 추정 모듈(708A)은 항상 작동하고 있다.

도 9에서의, 모듈(760A, 705A, 707A, 708A, 709A, 71OA)은 모듈(760, 705, 707, 708, 709, 710)과 각각 동등하므로, 이들 모듈에 의해서 수행된 프로세스는 상기한 프로세스와 동등하다. 따라서, 상기 프로세스는 여기서 반복하지 않는다.

본 실시형태에서는, 운동 검출 가능 모듈(706)이, 디스플레이에서 혈액이 식별되어 있는 구역 및 혈류 추정이 표시되어 있는 구역의 제어를 가능하게 하는 모듈(706A)에 의해 대체되어 있다. 프로세싱이 모듈(706A)로 넘어할 때, 적어도 하나의 혈액 구역이 수술 부위의 포착된 화면에 검출되었다. 모듈(706A)은 검출되었던 각각의 혈액 구역에 대해 혈액 검출이 가능한지 여부를 먼저 결정한다.

상세하게 설명하면, 구역 분할 모듈(760A)에 의해 확인된 각각의 혈액 구역에 대해, 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)가 혈액 검출 구역 선택 모듈(902)로부터 수신된 입력이 상기 구역에 대해 혈액 검출을 허용하는지 여부를 결정한다. 본 실시형태에서는, 혈액 검출 구역 선택 모듈(902)이 사용자 입력(920)과 시스템 입력(921)의 양측 입력을 수신한다.

상기한 바와 같이, 사용자 입력(920)은 화면에서 혈액 검출을 필요로 하는 부분과 혈액 검출을 필요로 하지 않은 다른 구역을 특정한다. 시스템 입력(921)은 수술 시스템의 상태, 예를 들면, 외과의사에 의해 현재 제어되고 있는 내시경(112), 수술 기구 또는 다른 기구의 속도 그리고 제어된 수술 기구들의 각각의 운동을 특징짓는 데이터를 식별하는 수술 시스템 내의 여러 시스템으로부터의 신호이다. 혈액 검출 구역 선택 모듈(902)은 포착된 수술 화면에서 혈액 검출을 필요로 하는 부분을 나타내기 위해서 입력 정보를 분석하고 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)로 하나의 신호 또는 복수의 신호를 송신한다.

예를 들어, 사용자 입력은 한 부분에서 혈액 검출을 필요로 하지 않는 것을 나타내지만, 내시경(112)에 대한 데이터는 카메라가 초점을 맞출 수 없도록 내시경(112)이 이동하고 있는 것을 나타내면, 혈액 검출 구역 선택 모듈(902)은 카메라가 초점을 맞출 때까지 전체 화면에 대해 혈액 검출을 가능하게 하고 그 다음에 사용자 선택으로 복귀시킨다. 상기 절차는 내시경(112)의 이동에 의해 필요로 하는 임시적인 것이기 때문에, 가능한 한 빠른 시점에 임의의 혈액이 검출되도록 혈액 검출이 가능한 상태로 된다. 반대로, 내시경(112)은 신속하게 이동하고 있지 않고, 수술 기구가 출혈을 초래하도록 사용되고 있으면, 사용자 입력에 의해 표시된 부분에 대해서 혈액 검출이 중단된다. 추가적으로, 시스템 입력(921)은 외과의사의 중심와 내의 부분에 대해서 혈액 검출을 중단시킬 수 있다. 따라서, 사용자 입력(920)과 시스템 입력(921)에 기초하여, 혈액 검출 구역 선택 모듈(902)이 정보를 혈액 검출이 가능하지 않은 특정 부분을 식별하는 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)에 제공한다. 반대로, 혈액 검출 구역 선택 모듈(902)이 정보를 혈액 검출이 가능한 부분을 식별하는 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)에 제공할 수 있다.

따라서, 구역 분할 모듈(760A)로부터의 각각의 혈액 구역에 대해, 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)는 상기 구역을 혈액 검출 구역 선택 모듈(902)에 의해 특정된 혈액 검출이 가능하지 않은 부분과 비교한다. 각각의 혈액 구역에 대해, 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)는 상기 구역에 대해 혈액 검출이 가능한지 여부를 나타낸다. 어떠한 혈액 구역에 대해서도 혈액 검출이 가능하지 않으면, 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)는 구역 분할 모듈(760A)로 복귀한다. 하나 이상의 혈액 구역에 대해서 혈액 검출이 가능하면, 구역에 대한 검출 가능 체크 프로세스(DETECTION ENABLED FOR REGION check process)(903)는 상기 구역을 구역에 대한 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED FOR REGION check process)(904)로 통과시킨다.

어떤 구역이 통과된다고 할 때, 상기 구역이 물리적으로 통과되는 것으로 해석되어서는 안된다. 차라리, 상기 구역에 대해서 혈액 검출이 가능한지 여부를 나타내는 하나의 표시 또는 복수의 표시가 제공되는데, 예를 들면, 혈액 검출 가능 비트(blood detection enabled bit)는 상기 구역에 대해 트루(true) 상태로 세팅된다.

상기 설명과 유사하게, 운동 추정 플래그의 상태는 구역에 대한 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED FOR REGION check process)(904)에 의해 결정되는 작용을 결정한다. 본 실시형태에서는, 혈류 구역 선택 모듈(905)이 혈액 검출이 가능한 각각의 구역에 대해 운동 추정 플래그의 상태를 결정한다. 본 실시형태에서는, 혈류 구역 선택 모듈(905)이 사용자 입력(923) 및 시스템 입력(922)의 양측 입력을 수신한다.

예를 들면, 사용자가 출혈 검출 모듈 선택 입력 인터페이스(253)를 통하여 일부 부분에 대해 혈액 검출은 필요로 하였지만, 혈류 추정은 불필요하였던 것을 나타낼 수 있다. 시스템 입력(922)으로서 제공된 상태 정보는, 수술이 막 시작되고 있으므로 혈류 구역 선택 모듈(905)이 사용자 입력에 관계없이 모든 구역에 대해 혈류 추정을 중단시키는 것을 나타낼 수 있다. 혈류 구역 선택 모듈(905)은 임의의 출혈이 가능한 한 신속하게 검출될 수 있도록 출혈을 유발시킬 수 있는 수술 기구가 맨 먼저 작동될 때 혈류 추정을 작동시킬 수 있다.

출혈 검출이 가능한 구역 분할 모듈(760A)로부터의 각각의 혈액 구역에 대해서, 구역에 대한 운동 검출 가능 체크 프로세스(MOTION DETECTION ENABLED FOR REGION check process)(904)는 상기 구역에 대한 운동 추정 플래그의 상태를 이용하여 상기 구역을 혈액 구역 식별 모듈(707A)로 통과시키거나 상기 구역을 혈류와 화면 결합 모듈(71OA)로 통과시키는 것을 결정한다. 따라서, 혈류가 동일한 포착 화면의 일부 혈액 구역에 대해서는 추정될 수 있고 다른 혈액 구역에 대해서는 추정될 수 없다. 이 경우에, 표시된 화면을 만들어내기 위해 혈액 구역 식별 모듈(707A)과 혈류와 화면 결합 모듈(71OA)의 작동이 조정된다.

도 9에 대해서 사용된 예는 단지 예시적인 것이며 이에 제한되는 것은 아니다. 본 예에서는, 혈액 구역 분할 및 혈류 추정이 가능하고 연속적으로 작동할 수 있게 되었고 디스플레이 유닛에 대한 출력이 제어되었다. 대체 실시형태로서, 혈액 구역 분할 및 혈류 추정은 개시(start-up)시에 시작될 수 있고, 획득한 화소 데이터는 출혈 검출 능력을 가지기 위해 필요로 할 때에만 제공하였다. 마찬가지로, 출혈 검출과 혈액 구역 분할과 혈류 추정 프로세스의 제어는 외과의사가 선호하는 것(surgeon preference), 수행되는 수술, 또는 상기 상기 두 가지의 조합에 기초하여 구성될 수 있다. 한 실시형태에서는, 혈액 구역 분할과 혈류 추정이 사용자 인터페이스를 통하여 작동 중단되었을 때에도, 혈액 구역 분할과 혈류 추정이 후선(background)에서 연속적으로 작동하기 때문에, 혈액 구역 분할 및/또는 혈류 추정이 사용자 인터페이스를 통하여 작동될 때 즉각적인 정보를 이용할 수 있다.

본 명세서에서 사용되어 있는 것과 같이, "제1", "제2", 그리고 "제3" 이라는 표현은 상이한 구성요소들을 구별하기 위해서 사용된 형용사이다. 따라서, "제1", "제2", 그리고 "제3" 이라는 표현은 결코 구성요소들의 순서를 의미하는 것은 아니다.

본 발명의 여러 실시형태와 실시례를 나타내는 상기 설명과 첨부된 도면은 제한적인 것으로 받아들여져서 안되며, 청구범위가 발명의 보호범위를 한정한다. 본 설명과 청구범위의 기술사상과 범위를 벗어나지 않고서 다양한 기계적인 변화, 구성적인 변화, 구조적인 변화, 전기적인 변화, 그리고 작동상의 변화가 만들어질 수 있다. 몇 가지 예에서는, 본 발명을 모호하게 하지 않기 위해서 잘 알려진 회로, 구조 및 기술은 상세하게 도시하거나 설명하지 않았다.

또한, 본 설명의 용어는 본 발명을 제한하기 위한 것은 아니다. 예를 들면, "밑에", "아래에", "하부", "위에", "상부", "근위", "원위" 등과 같은 공간적으로 상대적인 표현은 도면에 도시된 것과 같이 하나의 요소나 특징부의 다른 요소나 특징부에 대한 관계를 기술하기 위해서 사용될 수 있다. 이러한 공간적으로 상대적인 표현은 도면에 도시된 위치와 방향뿐만 아니라 사용중이거나 작동중인 장치의 상이한 위치(다시 말해서, 장소)와 방향(다시 말해서, 회전 배치)도 포함하는 것이다. 예를 들어, 도면에 도시된 장치가 뒤집어지면, 다른 요소나 특징부의 "아래에" 또는 "밑에" 있는 것으로 기술된 요소가 다른 요소나 특징부의 "상부에" 또는 "위에" 있게 된다. 따라서, 예시적인 용어 "아래에"는 위와 아래의 위치 및 방향을 포함할 수 있다. 상기 장치는 다르게 배향될 수 있고(90도 회전되거나 다른 방향으로 향할 수 있고), 본 명세서에 사용된 공간적으로 상대적인 표현은 이에 상응하게 해석된다. 마찬가지로, 다양한 축을 따르는 운동의 표현과 다양한 축 둘레로의 운동의 표현은 다양한 특수한 장치의 위치와 방향을 포함한다.

"하나의", "한 개의" 와 같은 단수 형태는 문맥상 다르게 명시되어 있지 않으면, 복수 형태도 포함하는 것이다. "포함한다", "포함하는" 과 같은 표현은 언급한 특징, 단계, 작동, 요소 및/또는 구성요소의 존재를 명시하는 것이지만, 하나 이상의 다른 특징, 단계, 작동, 요소, 구성요소 및/또는 단체의 존재나 추가를 배제하는 것은 아니다. 결합된 것으로 기술된 구성요소들은 전기적으로 또는 기계적으로 직접 결합되거나, 하나 이상의 중간 구성요소를 통하여 간접적으로 결합될 수 있다.

메모리는 휘발성 메모리, 비휘발성 메모리, 또는 이 두 가지 메모리의 임의의 조합형태를 지칭한다. 프로세서는 이 프로세서에 의해 실행되는 명령을 담고있는 메모리에 결합되어 있다. 이것은 컴퓨터 시스템내에서 이루어지거나, 대체 실시형태로서 모뎀 및 아날로그 라인(analog line), 또는 디지털 인더페이스 및 디지털 캐리어 라인(digital carrier line)을 통하여 다른 컴퓨터로의 접속을 통해서 이루어질 수 있다.

본 명세서에서, 컴퓨터 프로그램 제품은 출혈 검출 시스템과 관련하여 기술된 여러가지 작동들 중의 임의의 하나의 작동 또는 임의의 조합형태의 작동을 위해서 필요한 컴퓨터 판독가능 코드(computer readable code)를 저장하도록 구성되거나 출혈 검출 시스템과 관련하여 기술된 여러가지 작동들 중의 임의의 하나의 작동 또는 임의의 조합형태의 작동을 위한 컴퓨터 판독가능 코드가 저장되어 있는 비-일시적 매체(non-transitory medium)를 포함한다. 컴퓨터 프로그램 제품의 몇 가지 예는 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브, 네트워크 상의 서버 및 컴퓨터 판독가능 프로그램 코드를 나타내는 네트워크를 통하여 전송되는 신호이다. 비-일시적인 유형의 컴퓨터 프로그램 제품(non-transitory tangible computer program product)은 출혈 검출 시스템과 관련하여 기술된 여러가지 작동들 중의 임의의 하나의 작동 또는 임의의 조합형태의 작동을 위한 컴퓨터 판독가능 명령을 저장하도록 구성되거나 출혈 검출 시스템과 관련하여 기술된 여러가지 작동들 중의 임의의 하나의 작동 또는 임의의 조합형태의 작동을 위한 컴퓨터 판독가능 명령이 저장되어 있는 비-일시적인 유형의 매체(non-transitory tangible medium)를 포함한다. 비-일시적인 유형의 컴퓨터 프로그램 제품은 CD-ROM 디스크, DVD 디스크, 플래시 메모리, ROM 카드, 플로피 디스크, 자기 테이프, 컴퓨터 하드 드라이브 및 다른 비-일시적인 물리적인 저장 매체이다.

본 개시내용을 고려하면, 출혈 검출 시스템과 관련하여 기술된 여러가지 작동들 중의 임의의 하나의 작동 또는 임의의 조합형태의 작동에 사용된 명령은 사용자에게 관심의 대상인 오퍼레이팅 시스템과 컴퓨터 프로그래밍 언어를 이용하여 매우 다양한 컴퓨터 시스템 구성으로 실시될 수 있다.

모든 예와 예시적인 참고문헌은 비제한적이므로 청구범위를 본 명세서에 기술된 특정 실시형태와 실시례 및 그것의 등가물로 제한하도록 사용되어서는 안된다. 하나의 제목(heading)하의 내용이 하나 이상의 제목하의 내용을 상호 참고할 수 있거나 하나 이상의 제목하의 내용에 적용될 수 있기 때문에, 여러 주제는 단지 구성(format)을 위한 것이며 본 발명의 주된 대상을 결코 제한하도록 사용되어서는 안된다. 최종적으로, 본 개시내용을 고려하면, 하나의 실시형태나 실시례와 관련하여 기술된 특징은, 비록 도면에 구체적으로 도시되어 있지 않거나 본 명세서에 기술되어 있지 않더라도, 본 발명의 다른 개시된 실시형태나 실시례에 적용될 수 있다.

Claims

수술 부위의 화면을 포함하는 프레임을 시스템에 의해 수신하는 프로세스를 포함하고 있고, 상기 프레임은 복수의 위치를 포함하고 있고, 각각의 위치는 복수의 색상 성분에 대한 화소를 포함하고 있고;
각각의 위치의 복수의 색상 성분 화소가 그 위치에서의 혈액을 나타내는 정보를 포함하는지 여부를 상기 시스템에 의해 검출하는 프로세스를 포함하고 있고;
혈액을 나타내는 정보를 포함하는 것으로 검출된 위치에 기초하여 상기 화면의 혈액 구역을 상기 시스템에 의해 결정하는 프로세스를 포함하고 있고; 그리고
상기 혈액 구역이 초기 혈액 구역이면 상기 시스템에 의해 초기 부위 아이콘으로 상기 혈액 구역을 식별하는 프로세스를 포함하고 있고, 상기 초기 부위 아이콘은 상기 화면에서 혈액의 초기 위치를 식별하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 식별하는 프로세스는,
결합된 영상을 얻기 위해 상기 시스템에 의해 상기 초기 부위 아이콘과 상기 화면을 결합시키는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 결합된 영상을 디스플레이 유닛에 나타내는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제3항에 있어서,
사용자 입력에 기초하여 상기 나타내는 프로세스를 실행할지 여부를 결정하는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제3항에 있어서,
수술 시스템의 정보에 기초하여 상기 나타내는 프로세스를 실행할지 여부를 결정하는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 초기 부위 아이콘은 화살표를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
혈액 마커로 혈액 구역을 식별하는 프로세스를 더 포함하고 있고, 상기 혈액 마커는 상기 초기 부위 아이콘과 상이한 것을 특징으로 하는 방법.
제1항에 있어서, 상기 검출하는 프로세스는,
비율의 제1 수량은 한 위치에서의 제1 색상 성분 화소값을 이용하여 결정된 값을 포함하고 비율의 제2 수량은 상기 위치에서의 제2 색상 성분 화소값을 이용하여 결정된 값을 포함하는 상기 비율을 발생시키는 프로세스; 그리고
상기 비율이 혈액 표시 임계값에 대해 미리 정해진 관계를 가지면 혈액을 나타내는 정보를 포함하는 것으로 상기 위치를 식별하는 프로세스;
를 더 포함하는 것을 특징으로 하는 방법.
제8항에 있어서, 상기 미리 정해진 관계는 상기 비율이 상기 혈액 표시 임계값보다 큰 것인 것을 특징으로 하는 방법.
제8항에 있어서, 상기 검출하는 프로세스는,
상기 프레임의 복수의 위치에 대해 상기 비율을 발생시키는 프로세스와 상기 위치를 식별하는 프로세스를 반복하는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 시스템에 의해 상기 구역에 모의 혈류(simulated flow of blood)를 발생시키는 프로세스; 그리고
상기 모의 혈류를 디스플레이 유닛에 나타내는 프로세스;
를 더 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
사용자 입력에 기초하여 상기 나타내는 프로세스를 실행할지 여부를 결정하는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제11항에 있어서,
상기 시스템으로부터의 정보에 기초하여 상기 나타내는 프로세스를 실행할지 여부를 결정하는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
복수의 프레임을 이용하여 광류 분석(optical flow analysis)에 기초하여, 상기 출혈 검출 유닛에 의해, 상기 구역의 각각의 위치의 총운동을 추정하는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제14항에 있어서,
한 위치에서의 평균 조직 운동을 보충하기 위해 상기 위치의 추정된 총운동을 수정하는 것에 의해서 상기 위치에서의 혈류의 추정을 발생시키는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제15항에 있어서,
복수의 위치의 추정된 혈류로부터 상기 화면에 모의 혈류를 발생시키는 것을 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
수술 부위에서 출혈이 발생하는 것과 실질적으로 동시에 디스플레이로 외과의사에 제공된 화면이 보이도록 일련의 프레임의 각 프레임에 대해, 상기 수신하는 프로세스, 상기 검출하는 프로세서, 상기 결정하는 프로세스 및 상기 식별하는 프로세스를 실행시키는 프로세스를 더 포함하는 것을 특징으로 하는 방법.
제17항에 있어서:
상기 수신하는 프로세스, 상기 검출하는 프로세서, 상기 결정하는 프로세스 및 상기 식별하는 프로세스를 실행시키는 프로세스가 영상 포착 유닛에 의해 포착된 모든 프레임보다 적게 실행되는 것을 특징으로 하는 방법.
수술하는 동안 디스플레이 유닛에 출혈의 경고를 수신하는 프로세스;
수술 기구의 조종에 의해 상기 디스플레이 유닛에 제공된 혈액 구역에 해당하는 신체 부분을 청소하는 프로세스;
상기 디스플레이 유닛에 제공된 적어도 하나의 초기 부위 아이콘으로부터 출혈 발생원의 위치를 결정하는 프로세스;
수술 시스템에 장착된 수술 기구의 조종에 의해 출혈을 완화시키도록 상기 출혈 발생원을 치료하는 프로세스; 그리고
상기 디스플레이 유닛에 제공된 정보로부터 상기 치료하는 프로세스가 출혈을 완화시켰는지 여부를 결정하는 프로세스;
를 포함하는 것을 특징으로 하는 방법.
수술 부위의 화면의 데이터 프레임을 얻도록 구성된 영상 포착 시스템을 포함하고 있고, 상기 프레임은 복수의 위치를 포함하고 있고, 각각의 위치는 복수의 색상 성분에 대한 화소를 포함하고 있고;
상기 데이터 프레임을 수신하고;
각각의 위치의 복수의 색상 성분 화소가 상기 위치에서의 혈액을 나타내는 정보를 포함하는지 여부를 검출하고; 그리고
혈액을 나타내는 정보를 포함하는 것으로 검출된 위치에 기초하여 상기 화면에 혈액 구역을 결정하도록 구성된,
구역 분할 모듈; 및
상기 구역 분할 모듈에 결합되어 있으며,
상기 화면에 초기 혈액 구역을 나타내기 위해서 초기 부위 아이콘을 생성하고; 그리고
결합된 화면을 생성하기 위해서 상기 초기 부위 아이콘과 상기 화면을 결합시키도록 구성된,
혈액 구역 식별 모듈;
을 포함하는 출혈 검출 유닛; 그리고
상기 출혈 검출 유닛에 결합되어 있고, 상기 결합된 화면을 수신하도록 구성되어 있으며 상기 결합된 화면을 나타내도록 구성되어 있는 디스플레이 유닛;
을 포함하는 것을 특징으로 하는 시스템.
제20항에 있어서, 상기 출혈 검출 유닛은,
상기 혈액 구역에서 혈류를 시뮬레이션하는 혈류 추정 모듈을 더 포함하는 것을 특징으로 하는 시스템.
제20항에 있어서, 상기 혈류 추정 모듈은,
상기 구역의 각각의 위치에서 총운동을 추정하는 운동 추정 모듈을 포함하는 것을 특징으로 하는 시스템.
제22항에 있어서, 상기 혈류 추정 모듈은,
상기 운동 추정 모듈에 결합되어 있으며, 각각의 위치에서 총운동을 수정하여 상기 위치에서 혈액의 운동을 발생시키는 운동 수정 모듈을 포함하는 것을 특징으로 하는 시스템.