KR20100051798A - 증강현실의 비사실적 렌더링 방법과 장치 - Google Patents

Abstract

한 장면의 캡처한 영상을 렌더링하는 방법과 장치가, 캡처 영상 픽셀에 따라 픽셀 투명도 값을 할당함으로써 예를 들어 장면 뒤로 렌더링 된 증강현실 객체의 렌더링 영상을 통해 시스루 상을 제공한다. 이 방법과 장치는 장면의 모델 없이도 렌더링 영상에서 장면의 일부 구조를 보존한다.

Description

증강현실의 비사실적 렌더링 방법과 장치{Non-photorealistic Rendering of Augmented Reality}

본 발명은 영상의 렌더링 방법, 특히 의료용 증강현실 디스플레이 등에서 겹침 단서(occlusion cues)를 제공하는 데 관한 것이다.

AR (Augumented reality)로 표시하는 증강현실은 의료수술 도구로서 가치를 높이고 있다. 수술에 임했을 때 실시간으로 실제장면과 정합시킨 수술 전 데이터를 제공하면 시선 바깥 영상을 참조할 필요도 없어지고 관련 영상을 실제 조직에 정합시키는 데 도움이 된다. 주제의 대상물을 시각화하는 과정에서 AR이 제공하는 "시스루(see through)"를 통하는 것이 가능하다.

근년 들어서 의료로봇이 최소침습 수술(Minimally Invasive Surgery: MIS)에 점점 더 이용되고 있다. 로봇보조 MIS를 이용하면 마이크로프로세서 제어 기계손에 의해 섬세 조작술이 증강되면서 수술 손 총 동작을 비율축소 재현하는 모션 스케일링(motion scaling)과, 달리 가능하지 않던 마이크로 스케일 임무가 가능해진다.

수술로봇의 독특한 작동설정에 따라서 수술 전/수술 중 영상 또는 컴퓨터 출력 그래픽으로 시야를 강화시키는 데 이상적인 플랫폼이 제공된다. AR의 유효성과 임상적 혜택은 신경 및 정형 외과 수술에서 잘 인식되었다. 그러나 심장-흉부 수술이나 위장관 수술에 AR의 응용은 제한적인데, 조직 변형의 복잡성이 AR 디스플레이에 커다란 도전의 부담을 주기 때문이다.

AR의 매끄러운 합성은 가상 객체들이 어떻게 보이는지 또한 실장면과 시각적으로 상호작용하는 방식에 관계된 많은 요소에 좌우된다. AR에서 주요문제 가운데 하나는 겹침 또는 폐색(occlusion)의 정확한 처리이다. 가상 및 실환경의 부분 겹침의 처리가, 특히 실시간 3D 조직변형 복구 관련 신기술의 도래와 함께 수술장면의 정확한 3D 재구성에 의해 성취될 수는 있지만 대부분의 AR 적용 수술은 노출된 조직면 이면의 해부학적 구조를 중첩하는 과정을 갖는다. 이것은, 예를 들어서, 관상동맥 바이패스를 할 때 해부학적, 기능적 시각화 개선이 있으면 수술 중 네비게이션과 관(vessel) 절개를 더 정확하게 할 수 있기 때문에 중요하다. 전립선 절제술에서는, 주변 해부학적 구조의 시각화가 신경-혈관 다발 보존 개선과 요 자제능 및 발기능의 향상을 가져올 수 있다.

입체 영상 환경에서 유용한 내평면 기준(in plane reference)을 제공하기는 하지만 기존의 중첩식 AR은 깊이지각에 있어서 부정확하다는 문제에 시달리고 있다. 비록 객체가 정확한 깊이로 렌더링이 되어 있어도, 사용자의 뇌는 그것이 표면 위로 떠있는 것으로 인식한다(참고문헌 예: Johnson LG, et al, 표면 투명성이 입체 중첩의 불안정 초래: 증강현실과의 관련성 Surface transparency makes stereo overlays unpredictable: the implications for augmented reality, Studies in Health Technology and Informatics 2003, 94:131-6; 및 Swan JE, et al, 광학적 시스루 증강현실에서 자기 중심적 깊이 판단 Egocentric Depth Judgments in Optical, See-Through Augmented Reality, IEEE Transactions on Visualization and Computer Graphics 2007, 13(3):429-42).

객체들이 조직 안에 매립된 것으로 인식하기 위해서 우리 뇌가 기대하는 것은 일정한 겹침 정도이다. AR에서 깊이지각의 문제를 해결하기 위해 많은 렌더링 기술과 디스플레이 전략이 개발되어 노출된 조직표면에 대해 가상 구조물들의 3D 깊이를 정확히 지각하려는 시도가 있었다. 문헌 Sielhorst T, et al, 깊이지각 - 의료 AR에서의 주요문제: 외과의사 20인의 평가 연구 Depth Perception - A Major Issue in Medical AR: Evaluation Study by Twenty Surgeons, Medical Image Computing and Computer-Assisted Intervention - MICCA1 2006 2006:364-72.에서 의료 AR에서의 깊이지각 문제가 논의되고 있다. 위에 인용한 두 자료와 합치되는 발견으로서, AR 렌더링이 환자 체외면의 뒤쪽으로 정확한 깊이를 갖도록 이루어졌더라도 불투명하게 체외면 위로 뜬 것처럼 묘사되어 있다면 깊이지각은 불량하게 된다는 점이 있다. 깊이지각을 개선하는 두 가지 방법이 밝혀졌는데, 체표면과 AR 객체 양자를 투명하게 렌더링하거나 체표면을 렌더링하되 내부 창(window)을 만들어 AR 객체가 창으로 보이게 하지만 그 외에는 체표면에 의해 폐색(occlusion)되게 해주는 겹침 단서(occlusion clue)를 창이 제공하는 방법이 그것이다. 이전의 방식(투명 렌더링)에 관해서는, 일부 표면에 개선된 깊이지각을 가져다 주기는 하였지만 일반적으로 두 개의 중첩된 투명표면을 렌더링하는 것은 겹침이 있을 때 그로부터 상충되는 시각적 단서가 초래되어 깊이지각이 불량하게 될 수 있다(예를 들어 위 문헌 Johnson LG, et al 참고). 후자의 방법(창 렌더링)은 창 안의 체표면에 관한 모든 데이터가 상실되는 단점을 갖는다.

문헌, 의료 AR에서 향상된 깊이지각을 위한 가상 창 Virtual Window for Improved Depth Perception in Medical AR: C. Bichimeir, N. Navab, International Workshop on Augmented Reality environments for Medical Imaging and Computer-aided Surgery (AMI-ARCS 2006), Copenhagen, Denmark, October 2006(온라인 자료주소 http://ar.in.tum.de/pub/bichlmeier2006window/bichlmeier2006window.pdf)에서 창의 방법을 사용할 때 창 안의 체표면에 관한 정보를 유지하면서 구해진 깊이지각을 개선하는 다양한 접근법을 연구해 놓았다. 접근법으로 고려했던 것은: 창 모양을 체표면의 모양에 적응시키기, 가상광원으로 인한 하이라이트효과를 이용하여 창 표면을 유리처럼 렌더링하기, 창 면을 단순구조의 바탕(texture)으로 맵핑(mapping)하기, 창의 틀을 유한 크기로 하여 모사하기(simulating) 그리고 AR 객체들의 배경을 투명 또는 불투명으로 설정하기이다. 마지막 것을 제외한 이 모든 방안의 단점은 체표면의 3D 모델을 알아야 그에 따라 창 형상 또는 창 표면을 렌더링할 수 있다는 점이다. 그러한 3D 모델은, 특히 체표면이 이미징(imaging) 중에 변형 또는 다른 식으로 변하는 경우 신뢰성 있게 구하기 어렵다.

본 발명의 일 양상에 따르면, 청구범위 1항에 정의한 것과 같이 캡처된(captured) 디지털 영상을 렌더링하는 방법이 제공된다.

유리하게도, 캡쳐된 영상 자체에 근거하여 대응하는 비사실적 렌더링(non-photorealistically rendered: NPR) 영상의 투명도 값을 설정함으로써 그 영상의 구조 일부를 보전하는 부분투명 창을 형성하여 깊이지각이 가능(영상의 2차원 렌더링 경우) 또는 지원(영상의 3차원 렌더링 경우)되도록 겹침 단서를 제공할 수 있다. 이 방안에서는 영상 뒤에 있는 장면의 모델은 영상 데이터 자체에 근거하고 있으므로 필요 없다.

상술한 바와 같이, NPR 영상이 2차원 광경(view)으로 렌더링될 수 있고 아니면 제 2의 영상을 캡쳐하여 입체 광경을 형성할 수 있다. 어떤 경우이든 가상(예를 들어 AR) 객체가 캡쳐 영상의 뒤에 렌더링될 수 있다.

투명도 값들의 할당을 창 안에서 하되 NPR 캡쳐 영상은 창 밖에서 불투명하게 유지되어 창을 통해 보지 않을 때에는 객체를 폐색하는 것으로 한다. 장면의 보다 자연스러운 모습 또는 두 창의 입체상 융합을 지원하기 위해서, 투명도 값들은 창의 내부로부터 바깥으로 점차 혼합될 수 있다. 창 위치는 관찰자의 응시에 따라 정의하는데, 계속 관찰자의 응시를 트래킹하거나 관찰자로부터 갱신요청이 수신될 때에만 위치 갱신을 할 수 있다. 물론, 입체 관람의 경우 NPR 영상 두 개(좌 및 우)에서의 창들은 변위(offset)를 갖게 되고 그 변위량은 카메라 위치들과 입체 광경에 따른 변수에 의해 결정된다.

투명도 값들은 캡쳐 영상의 대응위치에서의 정규화 영상 강도 그래디언트(normalized image intensity gradient)의 함수로 결정된다. 영상 강도 그래디언트의 계산에는 대응 위치들에서의 영상 강도로 나눈 영상좌표에 대하여 편도함수를 결정하기가 포함된다.

NPR 영상 투명도 값 결정을 위와 같이 한다는 것은 NPR 영상의 한 지역에 대한 돌출맵(saliency map)을 형성하고 같은 돌출맵에서의 각각의 대응위치들의 값의 함수로 투명도 값들을 할당함으로써 이루어지는 투명도 값 설정방법의 예로 볼 수 있다. 돌출맵은 영상의 돌출 특징을 포착하도록 배열될 수 있는데, 돌출 특징의 예를 들면 특징이 뒤에 있는 장면의 배경으로부터 돌출하기 때문이거나 컬러 및/또는 강도 대비 때문에 현저한 특징을 말한다. 특히, 돌출맵은 영상 뒤에 있는 장면에서의 국지적 경사도를 예를 들어 영상의 음영에 근거하여 추정한 경사도 값의 함수로 정의할 수 있다. 국지적 경사도들은 영상에서의 각각의 정규화 강도 그래디언트들의 함수로 추정될 수 있다.

투명도 값들의 할당에 있어서 돌출특징들을 다소 불투명한 상태로 보존하고 한 지역 또는 창 안의 배경은 다소 투명하게 하는 데 더하여 돌출맵은 다시 예를 들어 컬러 스케일을 이용하여 NPR 영상의 픽셀에 컬러값을 할당하는 데 이용될 수 있다. 특히, 투명도 값과 컬러값의 할당은, NPR 영상 뒤에 렌더링된 객체를 볼 때 투명지역(창)을 통하는 것으로 지각되는 동시에 돌출맵에서 높은 값을 갖는 지역 안의 픽셀들에 의해 폐색되는 감각이 있도록 이루어질 수 있다.

하나의 응용예에서, 가상객체는 종양의 CT 또는 MRI 영상 같은 의료영상 데이터에서 유도해 낼 수 있다. 특히, 예를 들어 흉부 키홀 수술 중 입체 내시경을 이용하여 캡쳐한 영상을 의미할 수 있다. 그러나, 위에 설명한 렌더링 방법은 의료 AR 응용으로만 제한되는 것이 아니라 범용으로서 가상객체가 관찰자의 정상 시선을 벗어나 캡쳐된 장면 뒤로 가게 렌더링되는 AR 응용분야에 이용될 수 있다.

본 발명의 다른 양상에서는 청구범위 제 21 항에 정의한 디지털 영상 렌더링 시스템을 제공한다.

본 발명의 또 다른 양상에서는 청구범위 제 41 항에 정의한 로봇수술 콘솔을 제공한다.

본 발명의 또 다른 양상은 청구범위 제 42 항에 정의한 컴퓨터 프로그램으로 확장한다.

도 1은 일례로 영상 안에 캡쳐된 장면 뒤에 렌더링된 객체를 드러내기 위하여 영상의 적어도 일부에 대한 비사실적 렌더링을 하는 방법의 흐름도,
도 2는 대응 NPR 영상과 AR 객체의 2D 또는 3D 렌더링을 하는 알고리즘의 흐름도,
도 3은 대응하는 시스템을 나타내는 도면,
도 4는 처리에 이용하는 마스크 기능을 묘사하는 도면, 및
도 5는 상술한 방법을 이용하여 렌더링한 AR 광경의 예를 묘사하는 도면.

혼동을 피하기 위해 설명하면, 용어 NPR 영상(비사실적 렌더링 영상의 약어)은 여기서 AR 객체도 들어있을 수 있는 3D 컴퓨터 그래픽 모델에서 어떤 영상 면에 대응하는 면에 예를 들어 바탕으로 붙이는 캡쳐 및 처리된 디지털 영상을 가리킨다. 물론, 이 모델은 2D 또는 입체 3D 영상으로 렌더링될 수 있다.

이제 본 발명의 실시예를 다만 예시를 위해 첨부도면을 참조로 설명한다.

의료 AR 디스플레이에 적용해본 본 발명의 영상 렌더링 방법의 기본생각은 노출된 해부학적 표면을 투명층으로 묘사하되 네비게이션과 깊이 단서 제시를 돕는데 충분한 세부를 유지한다는 것이다. 일 실시예는, 매립된 가상객체의 시스루 모습을 제공하되 노출된 해부학적 표면의 현저한 해부학적 세부를 유지하기 위하여 pq-공간 기반의 비사실적 렌더링(NPR)에 기초를 둔다. 이를 위해 pq-공간 프레젠테이션에 기반한 표면형상(surface geometry)을 먼저 유도해내는데, 여기서 p와 q는 각각 x, y축을 따른 영상화한 표면의 경사를 나타낸다. 예를 들어, 표면형상의 유도는 다수의 조명조건을 도입함으로써 포토메트릭 스테레오(photometric stereo)를 통해 성취될 수 있다. 그러나, 형태가 변하는 인체조직에 대해서는 그 문제가 딱히 해결책을 가질 수 없는 문제여서 내시경 설비에 복수 광선을 도입하는 것은 적합하지 않다. 그렇지만, 기관지경과 내시경에서와 같이 카메라와 광원 둘 다 영상화되는 표면 근처에 있는 경우 간단해질 수 있다(참고문헌 Rashid HU, Burger P. "Differential algorithm for the determination of shape from shading using a point light source". Image and Vision Computing 1992; 10(2)119 - 27, 여기 참고로 포함). 이러한 경우에 근접 점광원에 대한 영상 강도의 좌표 x,y상 값은

으로 주어지고, 여기서 s ₀은 광원 강도 상수, ρ(x,y)는 알베도(albedo) 또는 반사계수, r은 광원과 표면점 (x,y,z) 사이 거리, 그리고 θ는 입사 광선과 표면

의 법선 사이 각도이다. 그래디언트 공간에서, 표면으로의 법선 벡터는

와 같고 여기서 p와 q는 각각 x와 y 방향의 표면경사를 나타낸다. 장면에서 연성의(smooth) 램버시안(Lambertian) 표면을 위하여, 수학식 1로 주어지는 영상 강도를 감소시켜 표면 법선(p ₀,q ₀,-1)과 함께 점(x,y)에서의 영상 강도 E(x,y)와 대응 표면점(x ₀ Z ₀,y ₀ Z ₀,Z ₀)에서의 장면 래디언스(scene radiance) 사이 관계를 정의하는

으로 표현할 수 있고, 여기서 ρ _average 는 표면의 작은 지역에서 평균 알베도를 나타내고 s ₀은 광원 강도 상수이다. 점광원 조명 아래 램버시안 표면은 이상화한 표면소재로서 (1) 모든 관찰방향으로부터 같은 밝기로 보인다, 그리고 (2)모든 입사광을 반사한다는 두 가지 조건을 만족한다.

수학식 3의 영상 강도의 편도함수를 이용함으로써 영상 위치(x,y)에서 x/y로 표시한 정규화 편도함수 R _{x /y} 를 영상좌표와 국지적 경사로만 적을 수 있다:

이것은 p ₀과 q ₀으로써 두 선형방정식으로 다시 쓰여질 수 있다(영상 위치(x,y)에서의 정규화 편도함수들이나 정규화 그래디언트 R _{x /y} 는 (x,y)지점과 그 이웃에서의 영상 강도로부터 결정 가능):

단

이로부터 영상의 각 점 (x,y)에서의 p ₀과 q ₀에 대한 다음 표시를 도출한다:

영상화된 표면의 p와 q 값들은 노출된 해부학적 구조의 3D 세부를 캡쳐하고, 돌출특징(표면에서 돌출하여 높은 그래디언트를 갖는 특징)을 강조하면서 연하게 변하는 배경 표면을 반투명으로 만들어준다. p와 q 값은 적절한 어느 기술을 이용해서든 계산될 수 있음은 잘 아는 바이다. 원하는 시각적 단서를 생성하기 위하여 시각 평면(viewing plane)(낮은 p, q)에 평행인 장면의 표면들은 다소 투명하게 렌더링하되 경사진 구조들(높은 p, q)은 강조되고 다소 불투명하게 렌더링된다. 표면경사의 측정값을 각 영상점(x,y)에 대한 pq-값으로부터 생성하는 식은

이고, 여기서 S(x,y)의 큰 값은 큰 그래디언트에 해당한다. 실제로는 이것이 돌출맵이나 돌출영상을 제공한다. 디스플레이 목적으로 대수에 의해 p와 q의 큰 값을 내리눌러 동적범위를 제한한다. 연성(smooth) 배경맵 B는 돌출맵 S에 넓은 가우시안 필터를 적용함으로써 생성될 수 있고 이를 통해 영상에서의 고주파변동을 평탄하게 할 수 있는데, 고주파변동은 "실물대로의" 돌출특징 대신에 잡음 또는 작은 표면변형을 표시할 가능성이 있는 것이다. 돌출 및 배경 영상들은 마스크의 이용으로 결합되어 S의 낮은 픽셀값을 대응하는 (x,y)픽셀에서의 B 값으로 대체하게 되는데, 이를 아래에 상세히 설명한다.

위와 같은 돌출맵의 실제적 응용에 관한 주제를 도 1을 참조로 설명하면, 컴퓨터 그래픽 모델에서 영상 평면에 투영되는 바탕으로 사용하기 위하여 캡쳐 영상 (또는 그 지역)의 비사실적 렌더링을 생성하는 2번 방법에 있어서, 단계(4)에서는 NPR 처리를 위한 관심 지역(region of interest: ROI)이 정의된다. 이것은 전체 영상 또는 그 어느 세부 지역을 포함할 수 있다. 단계(6)에서 관심 지역이 전처리되는데, 여기에 픽셀 컬러값을(컬러로 되어있다면) 그레이 스케일(grey scale)로 변환하는 단계와 3×3 픽셀의 가우시안 같이 약한 평활함수(smoothing funcion)를 적용하는 단계가 포함된다. 단계(8)에서 상술한 것과 같이 ROI 안의 캡쳐 영상으로부터 돌출맵이 계산되는데, 편도함수를 계산하는 임의의 공지된 방법을 이용하며, 그 예를 들면 단순히 문제의 픽셀의 픽셀값을 상응하는(가령 x) 방향으로 이웃 픽셀에 대해 식별하는 방법일 수도 있다. 맵은, ROI 내의 각 픽셀 또는 위치에서의 영상 강도(예를 들어 그레이 스케일 값)와 편도함수로부터 계산된다.

단계(10)에서 돌출맵은 돌출맵을 연성 배경맵 B와 결합함으로써 잡음제거 처리된다(예를 들어 B는 폭을 7개 픽셀로 했을 때 6×6 픽셀의 넓은 가우시안 필터를 적용하여 S로부터 유도함) S와 B는 마스크 함수에 따라 결합되어

으로 결합하되 돌출맵이 배경맵과 혼합됨으로써 S가 큰 경우 S가 지배적이게 하고 S가 작을 때 B가 지배적이게 한다. 마스크 함수는 제어점 몇 개를 가지고 카트물-롬 스플라인(Catmull-Rom Spline) 같은 스플라인의 이용으로 정의될 수 있다. 적합한 마스크 함수는 도 5에서 S(x,y)의 함수로 묘사되어 있다. 물론, 다른 마스크 함수들도 이용될 수 있고, 예로는 S(x,y)에 적합한 임계값을 갖는 계단 함수가 있을 수 있다. 다른 예는 적절한 다항함수(polynomic function)가 될 수 있다.

단계(12)에서는, 잡음제거된 관심영역 내의 픽셀들이 컬러 스케일을 이용하여 돌출맵 S(x,y)에 따라서 컬러값을 할당 받는다. 적절한 컬러 스케일은 S의 최소값에 대한 흑색에서 최대값에 대한 백색까지 범위에 걸쳐있다. 이 인공 컬러들은 예를들면 방사상 창 함수(radial window function) f(r)에 따라 NPR 영상에 적용되어 창 안에는 인공컬러가 적용되고 창 밖에는 영상의 원래 컬러가 남아있도록 한다. f(r)의 일례는 계단 함수이고 그 경우에는 창이 인공에서 영상의 컬러로 불연속으로 전환하는 예리한 가장자리를 가진다. 연성 전이를 이루기 위해서, f(r)은 이와 같이 다른 예에서 전이영역을 정의한다:

여기서 r ²=(x- x _center )²+(y- y _center )²이고 r ₀은 창 크기를 결정한다. 연성 전이를 정의함으로써 입체 영상(아래 참조)에서 두 개(좌우)의 창을 융합할 일이 있으면 도움이 될 수 있다.

단계(14)에서는, 같은 창 안의 NPR 영상 픽셀 투명도를 S(x,y)와 창 함수 f(r)에 따라 설정하되 S의 최소값이 완전한(또는 완전에 가까운 95% 등) 투명에 대응하고 S의 최대값은 완전한(또는 완전에 가까운 95% 등) 불투명에 대응하도록 하고 불투명 값들이 예를 들면 f(r)을 이용하여 NPR 영상의 나머지와 혼합되도록 한다.

혼동을 피하기 위해 설명하면, f(r)을 이용한 혼합연산의 예는 처리된 비사실적 렌더링 영상(NPR)을 캡처 영상(captured image:CI)과 혼합하여 다음과 같은 NPR 영상에 이르는 것으로 볼 수 있다:

창의 배치(위의 예 (x _center , y _center )에서 f(r)의 원점)는 여러 방법으로 정해질 수 있다. 예를 들어, 어떤 실시예에서는 특히 시야 안에 렌더링할 객체가 하나만 있을 경우 영상 평면 뒤에 렌더링할 AR 객체의 위치에 근거하여 창 위치가 미리 정의된다. 다른 방안으로, 어떤 실시예에서는 창 위치가 관찰자의 응시에 근거하여(예를 들어 아이트래커(eye tracker) 장치의 이용으로 검출) 결정될 수 있고, 응시는 연속 갱신되는 것으로 하거나 관찰자가 창 위치 갱신의 요청을 발할 때 관찰자가 지정해둔 관찰점들에 따라 창 위치 결정을 한다(그렇지 않으면 어떤 실시예에서는 현재 아무 창도 디스플레이되지 않은 경우 창을 스위치하여 켤 때 관찰자의 지정에 따라 창 디스플레이가 되도록 함). 이 동적 창 디스플레이는 단일 객체보다 전 AR 장면이 렌더링될 때 특히 유용할 수 있다.

도 2와 3을 참조해서 장면의 캡쳐 영상을 증강현실 객체와 함께 디스플레이하는 장치와 방법을 이제 설명한다. 단계(16)에서, 그 장면의 영상은 이미징 장치(22)에 의하여 캡쳐되고 처리부(24)로 전송된다. 캡쳐 영상은 어떤 실시예들에서 컴퓨터 그래픽 모델에서 디스플레이될 장면의 평면 객체 위로 투영될 바탕으로 취급된다. 컴퓨터 그래픽 모델을 구현하는 방법은 여럿이고, 예를 들면 어떤 실시예들에서는 C++ 프로그램에서의 OpenGL 그래픽 라이브러리를 이용한다.

정확한 투시(그리고 3D 렌더링에서는 시차(disparity))는 이미 캡쳐 영상에(입체 카메라 이미징 장치의 경우 좌우 캡쳐 영상) 내포되어있으나 컴퓨터 그래픽 모델 안의 증강현실 객체에 관한 깊이정보는 폐색을 일관적으로 처리하기 위해 중요하다.

입체 카메라들과 디스플레이들에 적합하도록, 좌우 시선에서의 증강현실 객체의 위치는 캡쳐 영상들에서의 시차와 일치하여야 한다. 이를 달성하기 위한 방법으로 시야들간에 필요한 변환을 제공하는 입체 카메라 교정을 거친다. 결합한 장면에서 캡쳐 영상들은 이미 시차를 내포하고 있으므로 좌우 시선 양자에 대해 같은 위치에 디스플레이되는 반면, 증강현실 객체는 캡쳐 영상들의 시차와 일치하도록 좌우 시선에 대해 상이한 위치들에 렌더링된다. 어떤 실시예에서 OpenGL 변환을 이용할 때 입체 카메라 교정의 일부로서 구해진 변환정보가 이용된다.

어떤 예의 구현에서는, OpenGL 창이 각(좌와 우) 디스플레이에 대해 열리고 NPR 영상이 적절한 깊이로(아래 참조) 각 창에 디스플레이된다(예를 들어, 프로젝션 스크린처럼 기능하는 장면의 평면 객체에 결합). 그 다음 AR 객체는 각각의(좌와 우) 카메라마다 카메라 교정을 이용하여 각 창에 대해 렌더링된다. 유사하게, 어떤 구현예에서는 GL 창들 각각에서 ROI 및/또는 창의 상대적 위치가 입체광경과 일관되도록 카메라교정 데이터의 이용을 통해 설정된다. 이 점에 있어서, 창 변위가 입체 광경과 정확히 대응되지 않더라도 입체 광경 안에 두 개의 창을 융합하는 데 연하게 혼합한 창들이 도움이 될 것이다. 예를 들어, 어떤 구현예에서 입체 내시경 카메라용으로 적합한 근사법은 카메라 변위를 창 변위로 이용하는 것이다.

각 픽셀이 정확히 컬러화되는 것을 확실히 하기 위해, NPR 영상의 z좌표(장면의 객체 평면)는 카메라 프레임 내 AR 객체의 위치보다 컴퓨터 그래픽 모델 내 카메라 위치에 반드시 더 가깝게 만들어서 장면 객체가 앞에 있고 AR 객체가 뒤에서 폐색될 때(또는 장면 객체의 낮은 투명도 부분들이 대응 픽셀들의 컬러링을 지배할 때) 픽셀들이 그 장면 객체의 컬러 값들을 취하도록 한다. 상술한 비사실적 처리에 의해 제공되는 겹침 단서는 이미징 장치(22)에 의해 캡쳐된 표면 뒤에 AR 객체가 놓일 때만 필요하므로(반대 경우에는 객체가 캡쳐 영상에 실물대로 보임), 일부 실시예에서 렌더링 목적상 추정하기를 장면 객체가 항상 AR 객체의 앞에 있고, 예를 들어 어떤 응용에서는 컴퓨터 그래픽 모델의 가시부피(viewing frustum)의 전방 평면을 캡쳐 영상(들)의 투영대상이 되는 장면 객체로서 이용하는 것으로 한다. 이렇게 하여 실제 카메라 위치결정으로 형성되는 캡쳐 영상(들)의 투시나 시차에 영향을 주지 않고 겹침(폐색)을 정확히 처리할 수 있게 된다.

대안으로서, 일부 구현예에서는 NPR 영상이 카메라 초점면에 위치 또는 인접하거나 장면의 평면의 깊이가 레인지 파인딩(range finding)의 이용으로 복구되어 NPR 영상 깊이를 설정할 수 있다(예를 위해 Stoyanov D., et al, Computer Aided Surgery July 2005, 10(94): 199-208 참조. 내용은 여기에 참고로 포함). 일부 실시예에서 깊이 복구에 이용되는 기술은 아이트래킹으로부터 관찰자의 버전스(vergence) 이용(Mylonas GP et al, Proceedings of the second International Workshop on Medical Imaging and Augmented Reality, MIAR (2004), Beijing, 311-319)이나, 스파스 테크닉(sparse technique) 등을 이용한 입체(stereo)로부터, 음영에서 유도한 형태로부터 또는 이 둘의 조합으로부터의 깊이 복구(Stoyanov D et al, MICCAI (2) 2004: 41-48)나, 구조광(structured light)의 사용(Koninckx TP and Van Gool L, IEEE PAMI, vol28, no. 3, 2006), 기준점(fiducial marker)의 사용 또는 레이저 거리측정(Mitsuhiro H et al, Medical Image Analysis 10 (2006) 509-519)의 사용을 포함하는데, 이 자료들은 여기에 참고로 포함된다.

단계(18)에서 컴퓨터 그래픽 모델 내 가상 AR 객체의 위치가 결정된다. AR 객체 입력(26)은 예를 들어 MRI나 CT 데이터로부터의 의료 영상화에서 구해진 AR 객체의 좌표 데이터를 제공한다. 이 데이터는 환자 신체에 고정된 좌표계에서의 좌표로 표현되어야 하는데, 구체적으로 예를 들어 영상을 구하기 전 환자 신체에 고정된 기준점들을 이용함으로써 의료 이미징 장치로부터의 영상 데이터를 신체 좌표계로 변환하게 된다.

AR 객체를 캡쳐 장면 영상과 함께 정확히 디스플레이하기 위해서는 기준점들로 정의된 신체 좌표계로부터의 AR 객체의 좌표를 이미징 장치 카메라 좌표계로 변환해야 하는데, 우선, 예를 들어 3차원 트래킹 장치로 기준점을 트래킹하는 식으로 기준점은 물론 카메라 위치와 방위를 추적하는 좌표계 입력(28)을 이용하고 그렇게 해서 카메라 좌표계에 대한 신체 좌표계의 위치와 방위를 결정하게 되는 것으로서, 이 분야에 알려진 바와 같다.

카메라 위치가 기지수라면(예를 들어 로봇수술 콘솔에서 카메라 위치를 지지팔 위치로부터 유도할 수 있는 경우) 수술실에 고정된 좌표계(coordinate frame) 내의 이 기지 위치를 트래커 데이터와 함께 이용하여 로봇수술 콘솔에서의 응용에 관련한 일부 구현예에서 필요한 좌표변환을 수행한다. 카메라들의 이동이 많은 다른 환경(머리에 장착하는 비디오 시스루 장비 같은 것)에서는 필요한 좌표변환을 수행할 수 있게 하기 위해 카메라 위치도 트래킹할 필요가 있다. 필요한 측정과 변환이 상세하게 설명된 자료로는 Vogt S. et al, Reality Augmentation for Medical Procedures: System Architecture, Single Camera Marker Tracking and System Evaluation, International Journal of Computer Vision 2006, 70(2): 179-190이 있고, 여기에 참고로 포함되어 있다.

단계(2)에서(단계들의 순서는 도 2대로 제한되지 않고 물론 영상이 처리될 수 있기 전에 캡처부터 해야 한다는 제약하에서 임의의 순서로 수행 가능), 캡쳐 영상의 NPR 처리가 도 1을 참조로 상술한 것처럼 수행되는데, 창 위치 입력(30)으로부터 창 위치에 관한 입력이 있다면 수신하여 처리가 되고, 창 위치 입력(30)은 일부 실시예에서는 상기 창에 대하여 창을 스위치 온오프하고 창 위치를 선택하는 사용자 인터페이스와 아이트래커를 포함한다.

일단 캡처 영상이 처리되어 장면 객체에 NPR 영상으로서 부가되었고 AR 객체의 3D 위치가 상술한 것과 같이 정의되었다면, 장면 객체와 AR 객체는 단계(20)에서 디스플레이 장치(32)에 표시를 위해 렌더링된다. 이것은 디스플레이 장치가 단순한 모니터인 경우 대응 컴퓨터그래픽 모델의 2D 광경일 수 있고 디스플레이 장치가 스테레오 성능이 있다면 좌우영상으로 이루어진 3D 광경일 수도 있다.

일부 실시예에서는, 상술한 장치와 방법이 미국 캘리포니아 마운틴 뷰 소재의 인튜이티브 서지컬 인코포레이티드 제조 다빈치 로봇수술 콘솔(da Vinci robotic surgical console by Intuitive Surgical, Inc, Mountain View, USA) 같은 최소침습 로봇수술 콘솔에 결합될 수 있다. 이 콘솔에서 가능한 일은 최소침습 수술 도구들을 원격제어하기 위한 로봇 조작과 고정위치의 입체 디스플레이 장치를 통한 입체 시각 피드백으로써 입체 내시경으로부터의 좌우 각 영상을 조작원의 각 눈에 제공하는 것이다. 캡처 영상들은 상술한 바와 같이 처리되고 그 후 AR 객체(예를 들어 종양의 표시용)와 함께 렌더링될 수 있다.

도 5 a와 b는 로봇보조 폐 절제술(lobectomy)로부터 나온 폐조직을 좌우 눈으로 본 광경을 각각 보여준다. 도 5 c와 d는 같은 광경을 AR 객체의 AR 오버레이(overlay)와 함께 보여주는데, 여기서 장면과 객체는 둘 다 위에 표시한 참고문헌 Vogt et al (보우트 또는 폭트 외)의 시스루 비디오 접근법에서와 같이 투명하게 렌더링된다. 도 5 e와 f는 각기 도 5 a와 b의 장면의 좌우광경을 AR 객체와 함께 상술한 방법으로 처리한 것을 나타내고 도 g와 h는 a와 b 그리고 e와 f의 광경들을 각각 연성 방사상 창을 이용하여 결합한 것을 나타낸다. 분명히 알 수 있는 바와 같이, AR 객체가 창을 통해 보이면서 3차원 장면의 더욱 자연스러운 해석을 할 수 있게 창이 만들어주는 동시에 창 안에 보존된 특징들은 의사를 위한 참고정보를 유지하고 겹침에 의한 부가적 깊이단서도 제공한다.

상술한 실시예에 많은 변경이 가능함을 쉽게 알 수 있다. 예를 들어, 하나 이상의 객체가 디스플레이될 수 있고 어떤 단계는 특정 전단계의 결과가 필요하다는 조건하에 상술한 방법 단계들의 순서가 바뀔 수 있다. 또한, 영상의 돌출특징들을 보존하는 투명도 값을 결정하는 동시에 뒤에 있는 객체에 시스루 영상을 제공하는 상기 방법은 상술한 것들 이외의 많은 장면, 객체 및 응용분야에 적용할 수 있다.

당연히, 특정 실시예들을 방금 설명하였으나 청구범위 상의 주제는 어느 특정 실시예나 구현예로 범위제한이 되지 않는다. 예를 들어, 어느 실시예는 예를 들어 장치 하나 또는 다수의 조합에 운용되도록 구현되거나 하는 하드웨어로 될 수 있고, 반면 다른 실시예는 소프트웨어로 될 수 있다. 마찬가지로, 어느 실시예는 펌웨어로 구현되거나 예를 든다면 하드웨어, 소프트웨어, 및/또는 펌웨어를 임의로 조합한 것일 수 있다. 마찬가지로, 청구범위 상의 주제가 이렇게 범위에서 제한된다는 것은 아니지만 일 실시예는 캐리어 또는 스토리지 미디엄 하나 또는 다수 같은 하나 이상의 물품을 포함할 수 있다. 그 스토리지 미디엄의 예를 들면 하나 이상의 시디롬 고체형 메모리(solid state memory), 광자기 디스크 및/또는 자기 디스크 또는 테이프로서, 명령들을 저장하고 있어서 예를 들어 컴퓨터 시스템, 컴퓨팅 플랫폼 같은 시스템, 또는 다른 시스템으로 실행되었을 때 청구범위 상의 주제에 따른 방법의 실시예, 예를 들어 전술한 실시예 가운데 하나같은 것을 실행하는 것이다. 일 실시예는 예를 들어 통신망같은 통신 매체 상의 캐리어 신호를 포함할 수 있다. 적절한 캐리어 신호의 예에는 무선주파수 신호, 광신호, 및/또는 전자신호가 포함될 수 있다.

하나의 잠재적인 예로서, 컴퓨팅 플랫폼 또는 컴퓨터에 포함될 수 있는 것으로는 하나 이상의 프로세싱 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스 같은 하나 이상의 입출력장치, 정적 랜덤 액세스 메모리(static random access memory), 동적 랜덤 액세스 메모리(dynamic random access memory), 플래시 메모리 같은 하나 이상의 메모리 및/또는 하드 드라이브가 있다.

앞 설명에서는 청구범위 상 주제의 다양한 양상이 설명되었다. 설명목적상 청구범위 상 주제의 철저한 이해를 제공하기 위해 특정 숫자, 시스템 및/또는 구성을 제시하였다. 그러나, 이 분야의 업자로서 본 설명의 수혜를 접하는 경우 청구범위 상 주제를 실시하는 데 이러한 세부사항 없이도 가능함은 자명할 것이다. 여타의 경우에서 공지된 특징들은 청구범위 상 주제를 불분명하게 하지 않도록 생략 및/또는 단순화하였다. 일부 특징들을 여기에 도시 및/또는 설명하였으나 업자들에게 다양한 변경, 대체, 변화 및/또는 등가물의 생각이 떠오를 것이다. 따라서, 첨부된 청구범위의 의도는 청구범위 상 주제의 범위에 들어갈 그런 모든 변경 및/또는 변화값을 포괄하는 것이다.

Claims (43)

1. 카메라에 캡처되고 다수의 영상 픽셀로 형성되는 캡쳐 디지털 영상을 NPR(non-photorealistically rendered)영상으로 렌더링하되, 각각이 관련 NPR 투명도 값을 갖는 다수의 NPR 영상 픽셀로 상기 NPR 영상이 형성되고, 상기 NPR 영상 픽셀들 중 적어도 일부의 투명도 값이 대응 캡처 영상 픽셀들에 따라 결정되는 비사실적 렌더링 방법.
2. 제 1 항에 있어서, 상기 NPR 영상 뒤로 가상 객체를 렌더링하는 단계를 포함하는 비사실적 렌더링 방법.
3. 제 1 항 또는 제 2 항에 있어서, 입체광경을 형성하기 위하여 추가의 캡처 영상을 추가의 NPR 영상으로서 렌더링하는 단계를 포함하는 비사실적 렌더링 방법.
4. 제 1 항 또는 제 2 항 또는 제 3 항에 있어서, 상기 NPR 영상 안에 창을 형성하는 단계와 상기 창 안의 상기 투명도 값들을 대응 캡처 영상 픽셀들에 따라 할당하는 단계를 포함하는 비사실적 렌더링 방법.
5. 제 4 항에 있어서, 투명도 값들을 상기 창 밖에서 불투명으로 설정하는 단계를 포함하는 비사실적 렌더링 방법.
6. 제 5 항에 있어서, 상기 투명도 값들을 상기 창 안에서 밖으로 가면서 점차 주변과 일치되게 혼합하는 단계를 포함하는 비사실적 렌더링 방법.
7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서, 관찰자의 응시에 따라 창 위치를 정의하는 단계를 더 포함하는 비사실적 렌더링 방법.
8. 제 7 항에 있어서, 상기 관찰자로부터 갱신요청이 수신될 때 상기 창 위치가 갱신되는 비사실적 렌더링 방법.
9. 제 7 항에 있어서, 상기 관찰자의 응시를 추적하도록 상기 창 위치가 연속으로 갱신되는 비사실적 렌더링 방법.
10. 제 4 항 내지 제 7 항 중 어느 한 항에 있어서, 제 3 항과 연계하였을 때 추가의 창을 형성하는 단계를 포함하되, 상기 추가의 창 안에서 상기 추가의 NPR 영상 내 투명도 값들의 할당이 이루어지고 상기 추가의 창이 상기 입체광경에 따라 상기 창에 대해 일정 변위(offset)를 두고 위치되는 비사실적 렌더링 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 상기 캡처 영상 내 대응 위치들에서의 정규화 영상 강도 그래디언트의 함수로 상기 투명도 값들을 결정하는 단계를 포함하는 비사실적 렌더링 방법.
12. 제 11 항에 있어서, 상기 캡처 영상 내 상기 대응 위치들에서의 영상 강도로 나눈 영상좌표에 대한 편도함수를 결정함으로써 상기 정규화 그래디언트를 계산하는 단계하는 단계를 포함하는 비사실적 렌더링 방법.
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 NPR 영상의 일정 지역에 대한 돌출맵을 정의하는 단계와 상기 돌출맵의 대응값의 함수로 상기 NPR 영상의 픽셀에 투명도 값을 할당하는 단계를 포함하는 비사실적 렌더링 방법.
14. 제 13 항에 있어서, 상기 돌출맵이 상기 캡처 영상 뒤에 있는 장면의 국지적 경사들의 함수로 정의되는 비사실적 렌더링 방법.
15. 제 14 항에 있어서, 상기 국지적 경사들이 상기 캡처 영상 내 음영에 근거하여 추정되는 비사실적 렌더링 방법.
16. 제 14 항 또는 제 15 항에 있어서, 상기 국지적 경사들이 상기 캡처 영상 내 대응하는 정규화 영상 강도 그래디언트들의 함수로 추정되는 비사실적 렌더링 방법.
17. 제 13 항 내지 제 16 항 중 어느 한 항에 있어서, 상기 돌출맵의 대응값의 함수로 상기 NPR 영상의 픽셀에 컬러 값을 할당하는 단계를 포함하는 비사실적 렌더링 방법.
18. 제 17 항에 있어서, 상기 NPR 영상 뒤로 렌더링된 객체가 상기 돌출맵의 값들이 작을 때에는 상기 지역을 통해 보이듯이 지각되는 반면 상기 돌출맵이 큰 값들을 가질 때에는 폐색되도록 상기 투명도 및 컬러 값들이 할당되는 비사실적 렌더링 방법.
19. 제 1 항 내지 제 18 항 중 어느 한 항에 있어서, 제 2 항과 연계하였을 때 상기 객체가 의료 이미징 데이터로부터 유도되는 비사실적 렌더링 방법.
20. 제 19 항에 있어서, 상기 영상이 입체 내시경을 이용하여 캡처되는 비사실적 렌더링 방법.
21. 카메라에 캡처되고 다수의 영상 픽셀로 형성되는 캡쳐 디지털 영상을 NPR(non-photorealistically rendered)영상으로 렌더링하되, 각각이 관련 투명도 값을 갖는 다수의 NPR 영상 픽셀로 상기 NPR 영상이 형성되고, 상기 NPR 영상 픽셀들 중 적어도 일부의 투명도 값을 대응 캡처 영상 픽셀들에 따라 계산하도록 구성된 투명도 계산기를 포함하는 렌더링 장치.
22. 제 21 항에 있어서, 상기 NPR 영상 뒤로 가상객체를 렌더링하도록 구성된 렌더링 장치.
23. 제 21 항 또는 제 22 항에 있어서, 입체광경을 형성하기 위하여 상기 투명도 계산기를 이용하여 추가의 캡처 영상을 추가의 NPR 영상으로서 렌더링하도록 구성된 렌더링 장치.
24. 제 21 항 또는 제 22 항 또는 제 23 항에 있어서, 상기 투명도 계산기가 상기 NPR 영상 내 창 안에 투명도 값들을 할당하도록 구성된 렌더링 장치.
25. 제 24 항에 있어서, 투명도 값들을 상기 창 밖에서 불투명으로 설정하도록 구성된 렌더링 장치.
26. 제 25 항에 있어서, 상기 투명도 값들을 상기 창 안에서 밖으로 가면서 점차 주변과 일치되게 혼합하도록 구성된 렌더링 장치.
27. 제 24 항 내지 제 26 항 중 어느 한 항에 있어서, 관찰자의 응시에 따라 창 위치를 정의하는 관찰자 응시 표시입력을 가진 창 형성 모듈을 포함하는 렌더링 장치.
28. 제 27 항에 있어서, 상기 창 형성 모듈이 상기 관찰자로부터 갱신요청이 수신될 때 상기 창 위치를 갱신하도록 구성된 렌더링 장치.
29. 제 27 항에 있어서, 상기 창 형성 모듈이 상기 관찰자의 응시를 추적하도록 상기 창 위치를 연속으로 갱신하도록 구성된 렌더링 장치.
30. 제 24 항 내지 제 29 항 중 어느 한 항에 있어서, 제 23 항과 연계하였을 때 상기 투명도 계산기가 상기 추가의 NPR 영상 내의 추가의 창 안에 투명도 값들을 할당하되 상기 추가의 창이 상기 입체광경에 따라 상기 NPR 영상 내의 상기 창에 대해 일정 변위(offset)를 두고 위치되도록 하는 렌더링 장치.
31. 제 21 항 내지 제 30 항 중 어느 한 항에 있어서, 상기 캡처 영상 내 대응 위치들 각각에서의 정규화 영상 강도 그래디언트의 함수로 상기 투명도 값들을 결정하도록 상기 투명도 계산기가 구성된 렌더링 장치.
32. 제 31 항에 있어서, 상기 투명도 계산기가 상기 대응 위치들에서의 영상 강도로 나눈 영상좌표에 대한 편도함수를 결정함으로써 상기 정규화 영상 강도 그래디언트들을 계산하는 렌더링 장치.
33. 제 21 항 내지 제 32 항 중 어느 한 항에 있어서, 상기 투명도 계산기가 상기 캡처 영상의 일정 지역에 대한 돌출맵을 정의하고 상기 돌출맵의 대응값의 함수로 상기 NPR 영상의 픽셀에 투명도 값을 할당하도록 구성된 렌더링 장치.
34. 제 33 항에 있어서, 상기 투명도 계산기가 상기 돌출맵을 상기 캡처 영상 뒤에 있는 장면의 국지적 경사들의 함수로 정의하도록 구성되는 렌더링 장치.
35. 제 34 항에 있어서, 상기 투명도 계산기가 상기 국지적 경사들을 상기 캡처 영상 내 음영에 근거하여 추정하도록 구성된 렌더링 장치.
36. 제 34 항 또는 제 35 항에 있어서, 상기 투명도 계산기가 상기 국지적 경사들을 상기 캡처 영상 내 정규화 영상 강도 그래디언트들 각각의 함수로 추정하도록 구성된 렌더링 장치.
37. 제 33 항 내지 제 36 항 중 어느 한 항에 있어서, 상기 돌출맵의 대응값의 함수로 상기 NPR 캡쳐 영상의 픽셀에 컬러 값을 할당하도록 구성된 컬러 계산기를 포함하는 렌더링 장치.
38. 제 37 항에 있어서, 상기 NPR 캡처 영상 뒤로 렌더링된 객체가 상기 돌출맵의 값들이 작을 때에는 상기 지역을 통해 보이듯이 지각되는 반면 상기 돌출맵이 큰 값들을 가질 때에는 폐색되도록 상기 값들의 각각을 할당하도록 상기 NPR 캡처 영상 투명도 계산기와 상기 컬러 계산기가 구성되는 렌더링 장치.
39. 제 21 항 내지 제 38 항 중 어느 한 항에 있어서, 제 22 항과 연계하였을 때 상기 가상 객체가 의료 이미징 데이터로부터 유도되는 렌더링 장치.
40. 제 39 항에 있어서, 상기 영상이 입체 내시경을 이용하여 캡처되는 렌더링 장치.
41. 수술장면의 입체상들을 캡처하는 입체 내시경과 캡처 영상들을 상영하는 입체영상장치를 포함하는 최소침습 수술용 로봇수술 콘솔로서, 상기 입체 내시경으로부터 입수된 영상들을 렌더링하고 이들을 상기 입체영상장치에 디스플레이하도록 구성된 제 21 항 내지 제 40 항 중 어느 한 항의 장치를 포함하는 최소침습 수술용 로봇수술 콘솔.
42. 컴퓨터 상에서 실행되었을 때 제 1 항 내지 제 20 항 중 어느 한 항의 방법을 구현하는 컴퓨터 프로그램.
43. 제 42 항의 컴퓨터 프로그램을 부호화하는 컴퓨터 판독가능 매체 또는 캐리어 신호.

Images