KR20210034693A

KR20210034693A - 복수의 모델들에 근거하는 객체들의 디스플레이

Info

Publication number: KR20210034693A
Application number: KR1020217008457A
Authority: KR
Inventors: 잔네 마티아스 콘트카넨
Original assignee: 구글 엘엘씨
Priority date: 2015-10-07
Filing date: 2016-10-04
Publication date: 2021-03-30
Also published as: JP2018526724A; EP3304497A1; GB201800102D0; US11086927B2; CN114898025A; US11809487B2; JP2019194924A; GB202112089D0; KR20200052984A; CN107851329A; US20200012678A1; KR102340678B1; US9773022B2; US20170103091A1; JP2021185484A; KR102111079B1; JP6915001B2; US20240054155A1; CN107851329B; GB2556511A

Abstract

객체의 이미지를 캡처한 조준 지점(210, 220)과는 다른 조준 지점(230)으로부터 객체(240)의 표면들을 디스플레이하기 위한 시스템 및 방법이 제공된다. 일부 실시형태들에서, 복수의 소스 이미지들(215, 225)로부터의 시각적 특성들을 결합하고, 소스 이미지들 중 일부 소스 이미지들의 시각적 특성들에 대해서 다른 소스 이미지들보다 더 큰 가중치를 적용함으로써 디스플레이를 위한 이미지(710)가 발생될 수 있다. 가중치는 이미지를 캡처한 위치(320) 및 객체를 디스플레이할 위치(430)에 대한 표면의 배향(310)에 근거할 수 있다.

Description

복수의 모델들에 근거하는 객체들의 디스플레이{DISPLAYING OBJECTS BASED ON A PLURALITY OF MODELS}

관련 출원들에 대한 상호-참조

본 출원은 2015년 10월 7일자로 출원된 미국 특허 출원 번호 제14/877,368호의 연속 출원이고, 그 개시내용은 참조로 본 명세서에 통합된다.

객체(object)들의 특정 파노라마 이미지(panoramic image)들은 이미지를 캡처(capture)한 지리적 위치(geographic location) 및 배향(orientation)에 관한 정보와 관련된다. 예를 들어, 이미지의 각각의 픽셀(pixel)은, 이미지를 캡처한 지리적 위치로부터 픽셀의 시각적 특성(visual characteristic)들에 의해 나타내어지는 외관(appearance)을 갖는 객체(object)의 표면(surface)(만약 있다면)의 일부분으로의 각도(angle)를 식별시키는 데이터와 관련될 수 있다. 각각의 픽셀은 또한, 캡처 위치(capture location)로부터 픽셀에 의해 나타내어지는 표면의 일부분까지의 거리(distance)를 식별시키는 깊이 데이터(depth data)와 관련될 수 있다.

이미지들에서 나타나는 표면들의 위치들의 3-차원 모델(three-dimensional model)들이 깊이 데이터에 근거하여 발생될 수 있다. 모델들은 표면 위치들과 부합하는 정점들(vertices)을 갖는 다각형(polygon)들을 포함할 수 있다. 다각형들은 광선 추적(ray tracing)을 사용하여 파노라마 이미지의 시각적 특성들을 모델에 투영(projecting)시킴으로써 텍스처링(texturing)될 수 있다. 사용자는 모델들을 사용자에게 디스플레이할 수 있는 조준 지점(vantage point)을 선택할 수 있다.

본 개시내용의 실시형태들은 시스템을 제공하고, 이러한 시스템은, 하나 이상의 프로세서들; 조준 지점들에 대한 객체의 표면의 배향 및 시각적 특성들의 모델을 저장하는 메모리; 그리고 하나 이상 프로세서들에 의해 실행가능한 명령들을 포함한다. 시각적 특성들은, 제 1 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 1 세트 및 제 2 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 2 세트를 포함할 수 있다. 여기서 명령들은, 제 1 조준 지점 및 제 2 조준 지점과는 다른 요청된 조준 지점으로부터의 객체의 이미지에 대한 요청을 수신하는 것; 시각적 특성들의 제 1 세트로부터 제 1 시각적 특성을 식별하고 시각적 특성들의 제 2 세트로부터 제 2 시각적 특성을 식별하는 것; 요청된 조준 지점 및 제 1 조준 지점에 대한 표면의 배향에 근거하여 제 1 시각적 특성에 대한 제 1 가중 값(weight value)을 결정하는 것; 요청된 조준 지점 및 제 2 조준 지점에 대한 표면의 배향에 근거하여 제 2 시각적 특성에 대한 제 2 가중 값을 결정하는 것; 제 1 시각적 특성 및 제 2 시각적 특성 그리고 제 1 가중 값 및 제 2 가중 값에 근거하여, 요청된 이미지의 시각적 특성을 결정하는 것; 그리고 요청된 이미지를 제공하는 것을 포함할 수 있다.

본 개시내용의 실시형태들은 또한, 디스플레이를 위해 이미지를 제공하는 방법을 제공한다. 이러한 방법은, 요청된 조준 지점으로부터의 객체의 이미지에 대한 요청을 수신하는 단계; 조준 지점들에 대한 객체의 표면의 배향 및 시각적 특성들의 모델에 액세스(accessing)하는 단계(여기서, 시각적 특성들은, 제 1 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 1 세트 및 제 2 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 2 세트를 포함하고, 제 1 조준 지점 및 제 2 조준 지점은 요청된 조준 지점과는 다름); 시각적 특성들의 제 1 세트로부터 제 1 시각적 특성을 식별하고 시각적 특성들의 제 2 세트로부터 제 2 시각적 특성을 식별하는 단계; 요청된 조준 지점 및 제 1 조준 지점에 대한 표면의 배향에 근거하여 제 1 시각적 특성에 대한 제 1 가중 값을 결정하는 단계; 요청된 조준 지점 및 제 2 조준 지점에 대한 표면의 배향에 근거하여 제 2 시각적 특성에 대한 제 2 가중 값을 결정하는 단계; 제 1 시각적 특성 및 제 2 시각적 특성 그리고 제 1 가중 값 및 제 2 가중 값에 근거하여, 요청된 이미지의 시각적 특성을 결정하는 단계; 그리고 요청된 이미지를 디스플레이를 위해 제공하는 단계를 포함할 수 있다.

본 개시내용의 실시형태들은 또한, 컴퓨팅-디바이스(computing-device)가 판독할 수 있는 프로그램의 명령들이 저장되어 있는 비-일시적 컴퓨팅-디바이스 판독가능 저장 매체(non-transitory computing-device readable storage medium)를 제공한다. 명령들은, 하나 이상의 컴퓨팅 디바이스들에 의해 실행될 때 하나 이상의 컴퓨팅 디바이스들로 하여금 다음의 단계들을 포함하는 방법을 수행하도록 할 수 있다: 요청된 조준 지점으로부터의 객체의 이미지에 대한 요청을 수신하는 단계; 조준 지점들에 대한 객체의 표면의 배향 및 시각적 특성들의 모델에 액세스하는 단계(여기서, 시각적 특성들은, 제 1 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 1 세트 및 제 2 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 2 세트를 포함하고, 제 1 조준 지점 및 제 2 조준 지점은 요청된 조준 지점과는 다름); 시각적 특성들의 제 1 세트로부터 제 1 시각적 특성을 식별하고 시각적 특성들의 제 2 세트로부터의 제 2 시각적 특성을 식별하는 단계; 요청된 조준 지점 및 제 1 조준 지점에 대한 표면의 배향에 근거하여 제 1 시각적 특성에 대한 제 1 가중 값을 결정하는 단계; 요청된 조준 지점 및 제 2 조준 지점에 대한 표면의 배향에 근거하여 제 2 시각적 특성에 대한 제 2 가중 값을 결정하는 단계; 제 1 시각적 특성 및 제 2 시각적 특성 그리고 제 1 가중 값 및 제 2 가중 값에 근거하여, 요청된 이미지의 시각적 특성을 결정하는 단계; 그리고 요청된 이미지를 디스플레이를 위해 제공하는 단계.

도 1은 본 개시내용의 실시형태들에 따른 시스템의 기능도이다.
도 2는 객체를 캡처 및 디스플레이할 수 있는 조준 지점들에 대한 객체를 나타낸 도면이다.
도 3은 조준 지점 및 표면의 배향에 근거하여 발생되는 타원을 나타낸 도면이다.
도 4는 텍셀 타원(texel ellipse) 및 픽셀 타원(pixel ellipse)을 나타낸 도면이다.
도 5는 객체를 캡처 및 디스플레이할 수 있는 조준 지점들에 대한 가려진 표면(occluded surface)을 나타낸 도면이다.
도 6은 객체를 캡처 및 디스플레이할 수 있는 조준 지점들에 대한 이질적 표면(extraneous surface)을 나타낸 도면이다.
도 7은 사용자에게 디스플레이될 수 있는 이미지의 예이다.
도 8은 본 개시내용의 실시형태들에 따른 예시적인 흐름도이다.

개관(Overview)

본 명세서에서의 기술은 객체의 이미지를 캡처한 조준 지점과는 다른 조준 지점으로부터 객체를 디스플레이하는 것에 관한 것이다. 예컨대, 둘 이상의 파노라마 이미지들이 두 개의 상이한 조준 지점들로부터 객체를 캡처할 수 있고, 그리고 사용자는 두 개의 캡처 지점(capture point)들 사이에 있는 위치로부터의 객체의 이미지를 요청할 수 있다. 시스템은 이미지들의 대응하는 단편(fragment)들을 함께 블렌딩(blending)하되 단편이 객체의 대응하는 표면을 시각적으로 정확하게 나타낼 가능성(likelihood)에 비례하여 블렌딩함으로써, 사용자에 의해 요청된 이미지를 발생시킬 수 있다. 예를 들어 보면, 사용자에 의해 요청된 이미지를 발생시킬 때, 시스템은 디스플레이될 객체의 표면의 배향에 대한 캡처 위치와 사용자에 의해 요청된 지점의 관계(relationship)에 근거하는 품질 값(quality value)을 계산할 수 있다. 단편들이 블렌딩될 때, 다른 단편들보다 더 좋은 품질 값들을 갖는 단편들에 더 큰 가중치(weight)가 적용될 수 있다.

예시적으로, 도 2는 자동차의 두 개의 소스 이미지(source image)들을 캡처한 두 개의 상이한 조준 지점들을 보여준다. 이러한 예에서, 자동차의 전면(front)을 캡처하는 각도는 제 1 소스 이미지에서는 상대적으로 직각(orthogonal)이고 제 2 소스 이미지에서는 상대적으로 예각(acute)이다. 역으로, 자동차의 측면(side)을 캡처하는 각도는 제 1 이미지에서는 상대적으로 예각이고 제 2 이미지에서는 상대적으로 직각이다. 도면은 또한 자동차를 볼 사용자에 의해 선택된 조준 지점을 보여준다.

사용자에 의해 선택된 조준 지점으로부터 객체를 디스플레이하기 위해, 시스템은 각각의 소스 이미지에서 캡처된 모든 표면들의 3-차원(three-dimensional)(3D) 모델을 발생시킬 수 있다. 예컨대, 레이저 거리 측정기(laser range finder)는 깊이 맵(depth map)을 준비하는데 사용되었을 수 있고, 깊이 맵은 또한, 객체의 표면들을 따라 있는 지점들의 위치들과 부합하는 정점들을 갖는 다각형들의 메쉬(mesh)를 포함하는 소스 모델(source model)을 준비하기 위해 사용되게 된다.

각각의 소스 이미지와 관련된 소스 모델은 또한, 모델에 대한 캡처 지점의 위치를 식별시킬 수 있고, 그리고 시스템은 소스 이미지에서 캡처된 시각적 정보를 모델에 투영시키기 위해 이러한 위치를 사용할 수 있다. 하나의 소스 이미지와 관련된 3D 모델은 표면 위치들에 관해서 또 하나의 다른 소스 이미지와 관련된 3D 모델과 실질적으로 동일할 수 있고, 하지만 모델들에 투영된 텍스처들의 시각적 특성들은 표면들을 캡처한 각도에 따라 서로 다를 수 있다.

사용자에게 디스플레이될 이미지의 픽셀들의 시각적 특성들을 결정할 때, 시스템은 광선 추적 그리고 사용자에 의해 요청된 조준 지점의 위치를 사용하여, 각각의 디스플레이되는 픽셀을 통해 연장되는 광선이 모델의 텍스처들(예를 들어, 텍셀)과 교차하는 위치를 식별할 수 있다. 시스템은 디스플레이되는 픽셀의 시각적 특성들(예를 들어, 색조(hue), 채도(saturation) 및 밝기(brightness))을 결정하기 위해 상이한 소스 이미지들로부터의 텍셀들을 함께 블렌딩할 수 있다.

소스 이미지들의 모델들로부터의 텍셀들이 함께 블렌딩될 때, 하나의 소스 이미지로부터의 텍셀에 적용되는 가중치가, 또 하나의 다른 소스 이미지로부터의 텍셀에 적용되는 가중치보다 더 클 수 있다. 가중치는 디스플레이될 객체의 시각적 특성들을 텍셀이 정확히 나타낼 가능성을 반영하는 품질 값에 근거할 수 있다.

적어도 하나의 실시형태에서, 품질 값은 텍셀들의 해상도(resolution)에 대한 디스플레이되는 픽셀들의 해상도에 따라 달라질 수 있다. 예컨대, 최적의 품질은 각각의 디스플레이되는 픽셀에 대해 단일의 텍셀이 존재할 때 일어나도록 정의될 수 있다. 반대로, 낮은 품질은 단일 픽셀과 관련된 다수의 텍셀들이 존재할 때(이것은 표면의 텍스처가 똑바로 캡처되었지만 표면의 텍스처를 그레이징 각도(grazing angle)에서 볼 때 일어날 수 있음) 혹은 단일 텍셀과 관련된 다수의 픽셀들이 존재할 때(이것은 표면의 텍스처가 그레이징 각도에서 캡처되었지만 표면의 텍스처를 똑바로 보는 경우 일어날 수 있음) 일어나도록 정의될 수 있다.

텍셀의 품질 값은 디스플레이될 표면의 배향에 대한 사용자에 의해 정의된 조준 지점들 및 캡처 조준 지점들의 위치에 근거하여 계산될 수 있다. 예시적으로, 도 3은 두 개의 지점들의 위치를 보여주는 바, 사용자에게 디스플레이될 모델의 표면 상의 지점 및 조준 지점의 위치를 보여준다. 도면은 또한, 원뿔(cone)과 평면(plane)의 교차부분(intersection)을 나타내는 타원(ellipse)을 보여준다. 평면은 조준 지점에 대한 표면의 배향을 반영한다(예를 들어, 텍셀을 포함하는 소스 모델 다각형의 정점들에 의해 정의되는 평면). 원뿔은 조준 지점으로부터 표면 지점(surface point)까지 연장되는 직선("조준/표면 직선(vantage/surface line)")을 중심으로 한다. 타원이 확장(stretch)되는 정도는 표면의 배향 그리고 조준 지점으로부터 표면을 보는 각도와 관련된다. 만약 조준/표면 직선이 표면의 배향과 완벽하게 직교한다면, 타원은 원(circle)이 될 것이다. 조준/표면 직선의 입체각(solid angle)이 표면의 배향에 대해 더 뾰족한 예각을 갖게 됨에 따라, 타원은 더 확장되게 될 것이고, 타원의 단축(minor axis)에 대한 타원의 장축(major axis)의 비율은 증가할 것이다.

텍셀의 품질 값은, 캡처 지점과 관련된 타원("텍셀 타원(texel ellipse)")과, 사용자에 의해 요청된 조준 지점과 관련된 타원("픽셀 타원(pixel ellipse)") 간의 차이들에 근거하여 결정될 수 있다. 도 4는 텍셀 타원과 픽셀 타원의 예를 제공한다. 품질 값은, 텍셀 타원의 반경의 길이와 픽셀 타원의 반경의 길이 간에 가장 큰 차이를 만드는 각도에서 텍셀 타원의 반경에 대한 픽셀 타원의 반경의 비율(ratio)로부터 계산될 수 있다.

품질 값이 각각의 텍셀에 대해 계산된 경우, 품질 값은 블렌딩 동안 가중치들로서 적용될 수 있다. 예컨대, 만약 세 개의 소스 이미지들이 세 개의 텍셀들 T₁, T₂ 및 T₃을 식별시키기 위해 사용되었다면, 출력이 (w₁T₁ + w₂T₂ + w₃T₃) / (w₁ + w2 + w3)으로서 계산될 수 있고, 여기서 w_n은 텍셀의 품질 값과 동등하다. 가중치들은 또한 다른 방식으로 적용될 수 있다.

시스템은 또한 가려짐(occlusion)에 대처하기 위해 가중 값들을 사용할 수 있다. 도 5에서 보여지는 바와 같이, 디스플레이되는 픽셀의 특성들을 결정하기 위해 사용되는 광선은, 소스 이미지들에서는 캡처되었지만 사용자에 의해 요청된 조준 지점에서 볼 때는 방해(obstruct)가 되는 객체의 표면들을 통해 연장될 수 있다. 시스템은 전방 지향형 표면(front facing surface)과 후방 지향형 표면(back facing surface)을 모두 렌더링(rendering)하되 각각의 후방 지향형 표면에 대한 가중치가 제로(zero)로 설정되도록 렌더링할 수 있다. 시스템은 또한, 각각의 소스 이미지 내에서 관측자(viewer)에게 가장 가까이 있는 표면이 디스플레이를 위해 선택되도록 이미지를 발생시킬 수 있고, 이에 따라 시스템은 깊이를 계산함이 없이 양쪽 모델들로부터의 텍스처들을 함께 블렌딩할 수 있게 된다.

아티팩트(artifact)들이 또한 가중 값들을 이용해 대처될 수 있다. 예를 들어 그리고 도 6에서 보여지는 바와 같이, 깊이 데이터에서의 불연속성(discontinuities)은 표면들 내의 틈새(gap)들이 객체의 표면으로서 잘못 모델링되게 할 수 있다. 모델로부터 이러한 비-존재 표면(non-existent surface)들을 제거하는 것이 아니라, 시스템은 비-존재 표면의 텍셀에 대한 품질 값을 결정할 수 있다. 만약 광선의 각도가 비-존재 표면의 배향에 대해 상대적으로 수직이라면, 텍셀의 품질 값은 상이한 조준 지점으로부터 캡처된 또 하나의 다른 표면 상의 텍셀의 품질 값과 비교해 매우 낮을 수 있다. 하지만, 만약 비-존재 표면을 바라보는 각도가 비-존재 표면의 배향에 대해 상대적으로 평행하다면, 그 표면 상의 텍셀의 품질 값은 상대적으로 높을 수 있다.

시스템은 사용자에 의해 요청된 조준 지점으로부터 객체를 사용자에게 디스플레이하기 위해 사용될 수 있다. 이와 관련하여 그리고 도 7에서 보여지는 바와 같이, 사용자는 소스 이미지를 캡처한 조준 지점들과는 다른 조준 지점들로부터 객체를 볼 수 있다

예시적 시스템들(Example Systems)

도 1은 본 명세서에서 개시되는 실시형태들이 구현될 수 있는 하나의 가능한 시스템(100)을 예시한다. 이러한 예에서, 시스템(100)은 컴퓨팅 디바이스들(110 및 120)을 포함할 수 있다. 컴퓨팅 디바이스(110)는 하나 이상의 프로세서들(112), 메모리(114), 그리고 일반적인 목적의 컴퓨팅 디바이스들에서 전형적으로 존재하는 다른 컴포넌트(component)들을 포함할 수 있다. 비록 도 1이 단일 블록(block)으로서 또한 나타내어진 디바이스(110) 내에서 프로세서(112) 및 메모리(114)를 각각 기능적으로 단일 블록으로서 나타내고 있지만, 시스템은 동일한 물리적 하우징(housing) 내에 위치할 수 있는 혹은 위치하지 않을 수 있는 다수의 프로세서들, 메모리들 및 디바이스들을 포함할 수 있고, 본 명세서에서 설명되는 방법들은 이러한 다수의 프로세서들, 메모리들 및 디바이스들을 수반할 수 있다. 예컨대, 단일 컴포넌트(예를 들어, 프로세서(112))를 수반하는 것으로서 아래에서 설명되는 다양한 방법들은 복수의 컴포넌트들(예를 들어, 로드-발란스드 서버 팜(load-balanced server farm) 내의 다수의 프로세서들)을 수반할 수 있다. 유사하게, 상이한 컴포넌트들(예를 들어, 디바이스(110) 및 디바이스(120))을 수반하는 것으로서 아래에서 설명되는 다양한 방법들은 단일 컴포넌트를 수반할 수 있다(예를 들어, 디바이스(120)가, 아래에서 설명되는 결정을 수행하는 것이 아니라, 디바이스(120)는 관련 데이터를 프로세싱을 위해 디바이스(110)로 전송할 수 있고, 후속 프로세싱 또는 디스플레이를 위해 결정의 결과들을 수신할 수 있음).

컴퓨팅 디바이스(110)의 메모리(114)는 프로세서(112)에 의해 액세스가능한 정보를 저장할 수 있고, 이러한 정보는 프로세서에 의해 실행될 수 있는 명령들(116)을 포함한다. 메모리(114)는 또한, 프로세서(112)에 의해 검색(retrieve), 조작(manipulate) 혹은 저장(store)될 수 있는 데이터(118)를 포함할 수 있다. 메모리(114)는 관련된 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의 타입의 저장소(storage)일 수 있는데, 예컨대, 비-일시적 데이터를 저장할 수 있는 미디어(media)일 수 있다. 예를 들어, 메모리(114)는 하드-디스크 드라이브(hard-disk drive), 솔리드 스테이트 드라이브(solid state drive), 메모리 카드(memory card), RAM, DVD, 기입-가능 메모리(write-capable memory) 또는 판독-전용 메모리(read-only memory)일 수 있다. 추가적으로, 메모리는 분산형 저장 시스템(distributed storage system)일 수 있는데, 이러한 분산형 저장 시스템에서 데이터(150)와 같은 데이터는 동일한 혹은 상이한 지리적 위치들에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스들 상에 저장된다.

명령들(116)은 프로세서(112) 혹은 다른 컴퓨팅 디바이스에 의해 실행될 명령들의 임의의 세트일 수 있다. 이와 관련하여, "명령들(instructions)", "애플리케이션(application)", "단계들(steps)" 및 "프로그램들(programs)"은 본 명세서에서 교환가능하게 사용될 수 있다. 명령들은 프로세서에 의한 즉각적인 프로세싱을 위해 객체 코드 포맷(object code format)으로 저장될 수 있거나, 또는 요구가 있는 경우(on demand) 해석(interpret)될 수 있는 혹은 미리(in advance) 컴파일링(compiling)될 수 있는 독립형 소스 코드 모듈(independent source code module)들의 스크립(script)들 또는 집합체(collection)들을 포함하는 또 하나의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령들의 기능들, 방법들, 및 루틴들이 아래에서 더 상세히 설명된다. 프로세서(112)는 임의의 종래의 프로세서일 수 있는바, 예컨대, 상업적으로 이용가능한 CPU일 수 있다. 대안적으로, 프로세서는 ASIC 혹은 다른 하드웨어-기반 프로세서와 같은 전용 컴포넌트일 수 있다.

데이터(118)는 명령들(116)에 따라 컴퓨팅 디바이스(110)에 의해 검색, 저장 혹은 수정될 수 있다. 예컨대, 본 명세서에서 설명되는 주된 내용이 임의의 특정 데이터 구조에 의해 한정되는 것은 아니지만, 데이터는 컴퓨터 레지스터(computer register)들 내에 저장될 수 있거나, 다수의 상이한 필드(field)들 및 레코드(record)들을 갖는 테이블(table)로서 관계형 데이터베이스(relational database) 내에 저장될 수 있거나, 또는 XML 문서(XML document)들 내에 저장될 수 있다. 데이터는 또한, 바이너리 값(binary value)들, ASCII 혹은 유니코드(Unicode)와 같은(하지만, 이러한 것으로만 한정되는 것은 아님) 임의의 컴퓨팅 디바이스-판독가능 포맷으로 포맷팅(formatting)될 수 있다. 더욱이, 데이터는 관련 정보를 식별시키기에 충분한 임의의 정보를 포함할 수 있는데, 예를 들어, 숫자(number)들, 서술적 텍스트(descriptive text), 독점적 코드(proprietary code)들, 포인터(pointer)들, 다른 네트워크 위치들과 같은 다른 메모리들에 저장된 데이터에 대한 참조(reference)들, 또는 관련 데이터를 계산하는 기능에 의해 사용되는 정보를 포함할 수 있다.

컴퓨팅 디바이스(110)는 네트워크(160)의 하나의 노드(node)에 있을 수 있고, 그리고 네트워크(160)의 다른 노드들과 직접적으로 그리고 간접적으로 통신할 수 있다. 도 1에서는 단지 몇 개의 컴퓨팅 디바이스들만이 도시되어 있지만, 전형적인 시스템은 많은 수의 연결된 컴퓨팅 디바이스들을 포함할 수 있고, 그 각각의 상이한 컴퓨팅 디바이스는 네트워크(160)의 상이한 노드에 있을 수 있다. 네트워크(160), 그리고 본 명세서에서 설명되는 중간 노드(intervening node)들은 다양한 프로토콜들 및 시스템들을 사용하여 상호연결될 수 있고, 이에 따라 네트워크는 인터넷, 월드 와이드 웹(World Wide Web), 특정 인트라넷들, 광역 네트워크들, 혹은 로컬 네트워크들의 일부일 수 있다. 네트워크는 표준 통신 프로토콜들을 이용할 수 있는데, 예를 들어, 이더넷, Wi-Fi 및 HTTP, 하나 이상의 회사들에 독점된 프로토콜들, 및 앞서의 것들의 다양한 조합들을 이용할 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는 네트워크(160)를 통해 컴퓨팅 디바이스(120)와 통신할 수 있는 웹 서버(web server)일 수 있다. 컴퓨팅 디바이스(120)는 클라이언트 컴퓨팅 디바이스(client computing device)일 수 있고, 그리고 서버(110)는 네트워크(160)를 사용해 정보를 전송하고 디스플레이(122)를 통해 디바이스(120)의 사용자(135)에게 제시함으로써 정보를 디스플레이할 수 있다. 앞에서 언급된 바와 같이 정보가 전송 혹은 수신될 때 특정 이점들이 획득되지만, 본 명세서에서 설명되는 주된 내용의 다른 실시형태들은 어떤 특정 방식의 정보 전송에 한정되지 않는다.

컴퓨팅 디바이스(120)는 서버(110)와 유사하게 구성될 수 있으며, 앞에서 설명된 바와 같은 프로세서, 메모리, 및 명령들을 가질 수 있다. 컴퓨팅 디바이스(120)는 사용자에 의해 사용되도록 의도된 개인용 컴퓨팅 디바이스일 수 있고, 그리고 개인용 컴퓨팅 디바이스와 관련하여 일반적으로 사용되는 모든 컴포넌트들을 가질 수 있는데, 예를 들어, 중앙 프로세싱 유닛(Central Processing Unit, CPU), 데이터 및 명령들을 저장하는 메모리, 디스플레이(122)와 같은 디스플레이(예를 들어, 스크린을 갖는 모니터, 터치-스크린, 프로젝터(projector), 텔레비젼, 혹은 정보를 디스플레이하도록 동작가능한 다른 디바이스), 사용자 입력 디바이스(162)(예를 들어, 마우스, 키보드, 터치스크린, 마이크로폰, 등), 그리고 카메라(163)를 가질 수 있다.

컴퓨팅 디바이스(120)는 또한 인터넷과 같은 네트워크를 통해 서버와 무선으로 데이터를 교환할 수 있는 모바일 컴퓨팅 디바이스(mobile computing device)일 수 있다. 단지 예시적으로 예를 들어보면, 디바이스(120)는 모바일 전화기일 수 있거나, 또는 무선-접속가능 PDA(wireless-enabled PDA), 태블릿 PC, 웨어러블 컴퓨팅 디바이스(wearable computing device) 혹은 인터넷을 통해 정보를 획득할 수 있는 넷북(netbook)과 같은 디바이스일 수 있다. 디바이스는 구글의 안드로이드 오퍼레이팅 시스템(operating system), 마이크로소프트 윈도우, 혹은 애플 iOS와 같은 오퍼레이팅 시스템으로 동작하도록 구성될 수 있다. 이와 관련하여, 본 명세서에서 설명되는 동작들 동안 실행되는 명령들 중 일부는 오퍼레이팅 시스템에 의해 제공될 수 있고, 반면 다른 명령들은 디바이스 상에 설치된 애플리케이션에 의해 제공될 수 있다. 본 명세서에서 설명되는 시스템들 및 방법들에 따른 컴퓨팅 디바이스들은, 명령들을 프로세싱할 수 있음과 아울러 인간들 및/또는 다른 컴퓨터들(여기에는 로컬 저장 능력이 부족한 네트워크 컴퓨터들, 및 텔레비젼용 셋탑 박스들이 포함됨)에게 데이터를 전송할 수 있고 이들로부터의 데이터를 전송할 수 있는 다른 디바이스들을 포함할 수 있다.

컴퓨팅 디바이스(120)는 디바이스의 지리적 위치 및 배향을 결정하기 위한 회로들과 같은 컴포넌트(130)를 포함할 수 있다. 예를 들어, 클라이언트 디바이스(120)는 디바이스의 위도, 경도 및 고도 위치를 결정하기 위한 GPS 수신기(131)를 포함할 수 있다. 컴포넌트는 또한, 클라이언트 디바이스(120)에서 수신되는 다른 신호들에 근거하여, 예를 들어, 만약 클라이언트 디바이스가 셀 폰(cell phone)이라면 하나 이상의 셀 폰 타워(cell phone tower)들로부터 셀 폰의 안테나에서 수신되는 신호들에 근거하여, 디바이스의 위치를 결정하기 위한 소프트웨어를 포함할 수 있다. 이것은 또한, 디바이스가 배향된 방향을 결정하기 위한 자기적 나침반(magnetic compass)(132), 가속도계(accelerometer)(133) 및 자이로스코프(gyroscope)(134)를 포함할 수 있다. 단지 예시적으로 예를 들어보면, 디바이스는 중력(gravity)의 방향에 대한, 또는 중력의 방향에 수직인 평면에 대한, 디바이스의 피치(pitch), 요(yaw) 혹은 롤(roll)(또는 이에 대한 변화들)을 결정할 수 있다. 컴포넌트(130)는 또한, 객체의 표면과 디바이스 간의 거리를 결정하기 위한 레이저 거리 측정기(laser range finder) 혹은 유사한 디바이스를 포함할 수 있다.

서버(110)는 맵-관련 정보(map-related information)를 저장할 수 있고, 이러한 맵-관련 정보의 적어도 일부는 클라이언트 디바이스로 전송될 수 있다. 맵 정보는 임의의 특정 포맷에 한정되지 않는다. 예컨대, 맵 데이터는 인공위성 혹은 항공기(aerial vehicle)들에 의해 캡처된 사진들과 같은 지리적 위치들의 비트맵 이미지(bitmap image)들을 포함할 수 있다.

서버(110)는 또한, 단지 예시적으로 예를 들어보면, 평면 사진(flat photograph), 포토 스피어(photo sphere), 또는 장면 비디오(video of scenery)와 같은 이미지를 저장할 수 있다. 차후에 액세스하기 위해서 액세스가능한 사진을 만들 목적으로, 또는 특징과 관련된 정보를 검색하는 임의의 사람에게 액세스가능한 사진을 만들 목적으로, 이미지가 최종 사용자들에 의해 캡처 및 업로드될 수 있다. 카메라에 의해 캡처된 이미지 데이터에 추가하여, 이미지의 개별 아이템(item)들이, 캡처 날짜(date of capture), 캡처 시각(time of day of capture), 지리적 배향(예를 들어, 카메라 각도 혹은 방향) 그리고 캡처 위치(location of capture)(예를 들어, 위도, 경도, 및 고도)와 같은 추가적인 데이터와 관련될 수 있다.

이미지의 일부분들은, 이미지 내에서 나타나는 특징들의 지리적 위치의 모델을 포함하는 추가적인 정보와 관련될 수 있다. 예컨대, 모델은 파노라마 이미지에서 캡처된 객체들의 표면들의 위치를 식별시킬 수 있다. 표면들의 위치는 메모리에 다양한 방식으로 저장될 수 있는데, 예를 들어, 고정된 위치로부터의 거리 및 입체각(예를 들어, 이미지를 캡처한 지점으로부터의 거리들 및 배향들)으로서 정의되는 위치를 갖는 지점들의 콘스텔레이션(constellation)으로 저장될 수 있거나, 또는 위도/경도/고도 좌표들로 표현되는 정점들을 갖는 지리적으로-위치가 정해진 다각형들로 저장될 수 있다. 시스템 및 방법은 또한, 하나의 기준계(reference system)로부터의 위치들을 또 하나의 다른 기준계로부터의 위치들로 변환(translate)할 수 있는데, 예를 들어, 레이저-거리 측정기의 사용을 통해 직접적으로 캡처된 위치들을 갖는 지점들의 콘스텔레이션으로부터, 또는 입체적 삼각측정법(stereographic triangulation)의 사용에 의해 이미지들로부터 발생된 위치들을 갖는 지점들의 콘스텔레이션으로부터, 지리적으로-위치가 정해진 다각형들의 모델을 발생시킬 수 있다. 위치들도 또한 다른 방식으로 표현될 수 있고, 그리고 애플리케이션의 성질(nature) 및 요구된 정밀도(precision)에 따라 달라질 수 있다. 단지 예시적으로 예를 들어보면, 지리적 위치들은, 거리 주소(street address), 맵의 가장자리(edge)들에 대한 x-y 좌표들(예컨대, 거리 맵(street map)의 가장자리에 대한 픽셀 위치), 또는 지리적 위치들을 식별시킬 수 있는 다른 기준계들(예를 들어, 측량 맵(survey map)들 상의 로트(lot) 및 블록(block) 번호들)에 의해 식별될 수 있다. 위치는 또한 범위(range)에 의해 기술될 수 있는데, 예를 들어, 지리적 위치는 위도/경도/고도 좌표들의 범위 혹은 개별 시리즈(discrete series)에 의해 기술될 수 있다.

예시적 방법들(Example Methods)

본 발명의 다양한 실시형태들에 따른 동작들이 이제 설명될 것이다. 다음의 동작들이, 아래에서 설명되는 순서와 정확히 동일한 순서로 수행될 필요는 없음을 이해해야 한다. 오히려, 다양한 단계들이 다양한 순서로 혹은 동시에 취급될 수 있다.

지리적 객체(geographic object)가 복수의 조준 지점들로부터 이미지에 의해 캡처될 수 있다. 예를 들어, 도 2는 두 개의 상이한 위치들(210 및 220)로부터 두 개의 개별 이미지들(215 및 225)에서 각각 캡처된 자동차(240)를 보여준다. 조준 지점(210)으로부터, 자동차의 전면에 의해 일반적으로 정의되는 평면(202)에 대한 카메라 각도(camera angle)(211)는 상대적으로 직각이고, 자동차의 측면에 의해 일반적으로 정의되는 평면(201)에 대한 카메라 각도(212)는 상대적으로 예각이다. 이와는 대조적으로, 조준 지점(220)으로부터, 전면 평면(front plane)(202)에 대한 시야 각도(angle of view)(221)는 상대적으로 예각이고, 측면 평면(side plane)(201)에 대한 시야 각도(222)는 상대적으로 직각이다. (도면참조 번호 201과 202는 자동차(240)의 전면 표면(front surface) 및 측면 표면(side surface)을 지칭할 뿐만 아니라 이러한 표면들에 의해 일반적으로 정의되는 평면들을 지칭하는 것으로 상호교환가능하게 사용된다.) 이와 관련하여, 위치들(210 및 220)로부터 캡처된 이미지들은 상이한 각도들로부터 자동차의 상이한 표면들을 캡처하는데, 여기서 하나의 표면은 상대적으로 똑바로(straight on) 캡처되고, 다른 표면은 예각(sharp angle)으로부터 캡처된다.

이미지에서 캡처된 객체 표면들의 위치의 모델이 발생될 수 있고 이미지와 관련될 수 있다. 예를 들어, 소스 이미지는 파노라마 이미지를 포함할 수 있다. 소스 이미지가 캡처되었을 때, 파노라마 이미지의 각각의 픽셀을, 캡처 위치로부터 픽셀에 의해 나타내어지는 시각적 특성들을 갖는 표면의 일부분까지의 거리와 관련시키기 위해 레이저 거리 측정기(135) 혹은 또 하나의 다른 깊이-결정 기법(depth-determination technique)이 사용되었을 수 있다. 이러한 정보, 그리고 이미지를 캡처한 위치에 근거하여(예를 들어, 수신된 GPS(131)에 의해 제공되는 위도/경도/고도 정보에 근거하여), 시스템은 객체의 표면을 따라 지점들의 위치(예컨대, 위도/경도/고도)와 부합하는 정점들을 갖는 다각형들(예컨대, 삼각형들)의 메쉬를 포함하는 소스 모델을 발생시킬 수 있다.

소스 이미지에서 캡처된 시각적 특성들은 그 소스 이미지와 관련된 모델을 텍스처링하기 위해 사용될 수 있다. 예를 들어, 이미지(215 및 216)의 각각의 픽셀은 또한 카메라 각도와 관련될 수 있는데, 예를 들어, 카메라로부터 픽셀과 관련된 표면의 일부분까지 연장되는 광선(ray)을 정의하는 데이터와 관련될 수 있다. 카메라 각도 데이터는 이미지가 캡처되었을 때 지리적 컴포넌트(130)에 의해 제공되는 정보에 근거할 수 있는데, 예컨대, 나침반(132)에 의해 제공되는 주된 방향(cardinal direction) 및 자이로스코프(134)에 의해 제공되는 배향 데이터에 근거할 수 있다. 광선 추적은 이미지(215)의 각각의 픽셀의 시각적 특성들을 모델(216)의 다각형들에 투영시키기 위해 사용될 수 있는데, 이러한 투영은 광선과의 교차 지점에서 다각형의 시각적 특성들이, 관련된 픽셀의 시각적 특성들과 매칭(matching)되도록 이루어진다.

다각형들의 시각적 정보는 텍셀들로 구성되는 텍스처들로서 저장될 수 있다. 단지 예시적으로 예를 들어보면, 텍스처의 텍셀들은 이미지의 픽셀들이 정렬될 수 있는 방식과 유사한 방식으로 정렬될 수 있는데, 예컨대, 하나 이상의 시각적 특성들을 정의하는 개개의 유닛(unit)들의 그리드(grid) 혹은 다른 집합체(collection)로 정렬될 수 있다. 다음에 이어지는 설명의 일부분들은 설명의 용이함을 위해 픽셀 혹은 텍셀의 단일의 시각적 특성(예컨대, 컬러)만을 참조할 것이다. 하지만, 픽셀들 및 텍셀들은 색조, 채도 및 밝기를 포함하는 다수의 다양한 시각적 특성들을 정의하는 데이터와 관련될 수 있다.

비록 두 개의 상이한 소스 모델이 표면의 위치의 동일한 표현들을 포함할지라도, 각각의 모델에서 표면의 시각적 특성들은 크게 다를 수 있다. 예를 들어, 이미지(215)는 예각(212)에서 자동차(240)의 측면(201)을 캡처하기 때문에, 자동차의 측면의 전체 길이는 이미지(215)의 단지 몇 개의 픽셀들에서만 수평으로 나타날 수 있다. 결과적으로, 자동차의 측면을 나타내는 다각형들에 픽셀 정보가 투영될 때, 단일 픽셀로부터의 정보가 수평 방향으로 다수의 텍셀들에 걸쳐 확장(stretch)될 수 있다. 만약 모델(216)이 조준 지점(230)으로부터 디스플레이된다면, 이에 따라 자동차의 측면은 결과적으로 컬러들의 기다란 수평 줄무늬(streak)들을 갖는 것처럼 보일 수 있다. 하지만, 만약 모델(216)이 조준 지점(210)(텍스처들의 투영이 일어난 위치와 동일한 위치)으로부터 디스플레이된다면, 자동차(240)의 측면(201)은 아티팩트들을 전혀 갖지 않거나 몇 개의 아티팩트들을 갖고 디스플레이될 수 있다.

시스템은 복수의 조준 지점들로부터 캡처된 시각적 정보를 결합하여 또 하나의 다른 조준 지점으로부터 지리적 객체를 디스플레이할 수 있다. 예를 들어, 사용자는 조준 지점(230)으로부터의 자동차(240)의 이미지(235)를 요청할 수 있다. 사용자에게 디스플레이될 이미지의 픽셀들("디스플레이되는 픽셀들")의 시각적 특성들을 결정할 때, 시스템은 각각의 디스플레이되는 픽셀을 조준 지점으로부터 연장되어 픽셀을 포함하는 이미지 평면을 통과하는 광선과 관련시킬 수 있다. 시스템은 각각의 픽셀의 관련된 광선이, 모델에 의해 정의되는 표면과 교차하는 지점 및 텍셀을 결정할 수 있다. 예컨대, 이미지(235)에서 픽셀의 시각적 특성들을 결정할 때, 시스템은 픽셀의 광선이 모델(216)의 다각형과 교차하는 텍셀(T₁), 그리고 픽셀의 광선이 모델(226)의 다각형과 교차하는 텍셀(T₂)을 결정할 수 있다. 시스템은 T₁의 컬러와 T₂의 컬러를 알파-블렌딩(alpha-blending)함으로써 픽셀의 컬러를 결정할 수 있다.

교차가 일어나는 텍셀들의 시각적 특성들이 함께 블렌딩될 때, 하나의 소스 이미지로부터 도출된 텍셀에 적용되는 가중치가, 또 하나의 다른 소스 이미지로부터 도출된 텍셀에 적용되는 가중치보다 더 클 수 있다. 가중치는 디스플레이될 객체의 시각적 특성들을 텍셀이 정확히 나타낼 가능성에 근거할 수 있다.

적어도 하나의 실시형태에서, 품질 값은 텍셀들의 해상도에 대한 디스플레이되는 픽셀들의 해상도에 따라 달라질 수 있고, 그리고 최적의 품질은 각각의 디스플레이되는 픽셀에 대해 단일의 텍셀이 존재할 때 일어나도록 정의될 수 있다. 반대로, 낮은 품질은 단일 픽셀과 관련된 다수의 텍셀들이 존재할 때 혹은 단일 텍셀과 관련된 다수의 픽셀들이 존재할 때 일어나도록 정의될 수 있다. 예를 들어 보면, 다각형에 투영되는 각각의 픽셀에 대해 단일의 텍셀이 존재하는 제 1 다각형이 발생될 수 있다. 만약 픽셀들이 상대적으로 똑바로 바라보는 각도로부터 제 1 다각형에 투영되었다면, 텍스처는 다수의 조밀하게-패킹된(tightly-packed) 텍셀들을 포함할 수 있다. 만약 이러한 다각형이 똑바로 디스플레이되었다면, 각각의 디스플레이되는 픽셀에 대해 대략 하나의 텍셀이 존재할 수 있고, 따라서 텍스처는 상대적으로 높은 품질을 갖는 것으로 고려되게 된다. 하지만, 만약 다각형이 예각으로부터 디스플레이되었다면, 각각의 디스플레이되는 픽셀에 대해 다수의 텍셀들이 존재할 수 있고, 그리고 텍스처의 상대적으로 높은 해상도에도 불구하고 상대적으로 낮은 품질을 갖는 것으로 고려되게 된다.

또 다른 예를 들어 보면, 다각형에 투영되는 각각의 픽셀에 대해 단일의 텍셀이 또한 존재하는 제 2 다각형이 발생될 수 있다. 하지만, 만약 픽셀들이 상대적으로 예각으로부터 제 2 다각형에 투영되었다면, 텍스처는 길고 가는 텍셀들을 포함할 수 있다. 이 경우 만약 이러한 다각형이 똑바로 디스플레이된다면, 다수의 디스플레이되는 픽셀들은 단지 단일의 텍셀로부터 자신들의 특성들을 도출하게 되고, 이러한 경우 텍스처는 상대적으로 낮은 품질을 갖는 것으로 고려되게 된다. 하지만, 만약 다각형이 상대적으로 예각으로 디스플레이된다면, 각각의 디스플레이되는 픽셀에 대해 단지 하나의 텍셀만이 존재할 수 있고, 이러한 경우 텍스처는 텍스처의 상대적으로 낮은 해상도에도 불구하고 상대적으로 높은 품질을 갖는 것으로 고려되게 된다.

텍셀의 품질 값은 디스플레이될 표면의 배향에 대한 사용자에 의해 정의된 조준 지점들 및 캡처 조준 지점들의 위치에 근거하여 계산될 수 있다. 예시적으로, 도 3의 지점(320)은 모델의 지리적으로-위치가 정해진 다각형을 볼 지리적 위치일 수 있다. 지점(330)은 디스플레이되는 픽셀과 관련된 카메라 각도가 다각형과 교차하는 지점이다. 직선 "s"는 조준 지점(320)으로부터 교차 지점(330)까지 연장된다. 원뿔(350)은 예각을 갖는 입체각("

")에서 지점(320)으로부터 외향으로(outwardly) 연장된다.

의 크기(measure)는 임의로 선택될 수 있다.

의 크기는 또한 원뿔이, 텍스처를 캡처한 위치로부터 보여지는 바와 같은 텍셀과 유사한 입체각을 제공하도록 선택될 수 있는데, 예를 들어, 텍스처 해상도가 더 높을 수록 원뿔은 더 작아진다. 타원(310)은 원뿔(350)과 평면(미도시)의 교차부분을 나타낸다. 평면은 교차 지점에서 표면의 배향을 반영한다(예를 들어, 교차 지점(330)을 포함하는 다각형의 정점들에 의해 정의되는 평면).

타원이 확장(stretch)되는 정도는 표면의 배향 그리고 조준 지점과 관련된다. 예를 들어, 만약 직선 "s"가 평면의 배향과 완벽하게 직교한다면(이것은 표면을 똑바로 바라보는 것과 관련되게 됨), 타원(310)은 완벽한 원(circle)이 되게 된다. 직선 "s"의 입체각이 평면의 배향에 대해 더 뾰족한 예각을 갖게 됨에 따라, 타원(310)은 더 확장되게 될 것이고, 타원의 단축("a")에 대한 타원의 장축("b")의 비율은 증가할 것이며, 도면에서 "n"은 표면 법선(surface normal)이다. 단축 "a" 및 장축 "b"는 방정식 a =

s×n 그리고 b=(n

s/|s|)(a×n)으로부터 결정될 수 있다.

텍셀의 품질 값은, 캡처 위치로부터 교차 지점까지 연장되는 원뿔과 관련된 타원("텍셀 타원")과, 사용자에 의해 선택된 위치로부터 교차 지점까지 연장되는 원뿔과 관련된 타원("픽셀 타원") 간의 차이들에 근거하여 결정될 수 있다. 도 4에서, 텍셀 타원(425)은 캡처 위치(420)와 관련되고, 그리고 픽셀 타원(435)은 사용자에 의해 요청된 조준 지점(430)과 관련된다. 교차 지점(450)에서의 텍셀의 품질 값은, 특정 각도 θ에서 텍셀 타원의 반경에 대한 픽셀 타원의 반경의 비율로부터 계산될 수 있는데, 예를 들어, quality(θ) = radius_t(θ) / radius_p(θ)로부터 계산될 수 있다. 일 실시형태에서, 각도 θ는 비율이 최소가 되게 하는 각도 혹은 각도의 추정치이다. 예를 들어, 품질 값이 θ의 다양한 값들에서 계산될 수 있고, 그리고 텍셀의 품질 값은 계산된 값들 중 가장 낮은 값과 동등할 수 있다(예를 들어, quality_min = quality (argmin_θ {quality(θ)})). 최소치는 양쪽 타원들을 행렬 형태(matrix form)로 표현하고 픽셀 타원을 텍셀 타원의 역(inverse)과 곱함으로써(이것은 텍셀 타원이 단위 원(unit circle)이 되는 좌표계에 픽셀 타원을 맵핑(mapping)시킴) 결정될 수 있다. 이러한 좌표계 내에서, 비율은 다시 맵핑(remapping)된 픽셀 타원의 반지름과 동등하고, 최소 비율은 다시 맵핑된 픽셀 타원의 최소 축 길이와 동등하다.

품질 값은, 텍셀 타원 축들 각각을 픽셀 타원 축들 각각에 투영시키고 가장 큰 비율을 제공하는 픽셀 타원 축들을 선택함으로써 추정될 수 있다. 예를 들어, 쉐이더(shader)는, 네 개의 가능한 방향들을 샘플링(sampling)하고 가장 낮은 품질 값과 관련된 각도를 선택하는 방정식 quality_min ~ 1 / max((a_t

a_p) / (a_p

a_p), (b_t

a_p) / (a_p

a_p), (a_t

b_p) / (b_p

b_p), (b_t

b_p) / (b_p

b_p))에 따라 값들을 계산함으로써 최소 품질 값을 근사화(approximate)할 수 있다. 다른 방법들이 또한, 품질을 계산하기 위해 사용될 수 있다.

텍셀의 품질이 계산되었다면, 이러한 품질은 디스플레이되는 픽셀의 컬러가 텍셀의 컬러와 얼마나 유사할 것인지를 결정하는데 사용될 수 있다. 예컨대, 만약 세 개의 소스 이미지들이 세 개의 텍셀들 T₁, T₂ 및 T₃을 식별시키기 위해 사용되었다면, 각각의 텍셀에 대한 블렌딩 가중치(blending weight)가, 각각의 입력 텍셀에 대한 단편 쉐이더(fragment shader)에서 계산될 수 있고 그리고 출력될 수 있다((w₁T₁ + w₂T₂ + w₃T₃) / (w₁ + w2 + w3), 여기서 w_n은 텍셀의 품질 값과 동등함). 가중치들은 또한 다른 방식으로 적용될 수 있는데, 예컨대, 품질 값들을 제곱(power)함으로써 적용될 수 있다. 예를 들어, 가중치들에 대한 멱지수(exponent)를 크게 함으로써, 가장 큰 가중치를 갖는 표면이 다른 가중치들을 지배(dominate)할 수 있고, 이에 따라 더 낮은 가중치들을 갖는 텍셀들의 영향(impact)을 감소시킴으로써 고스팅(ghosting)을 감소시키게 된다.

시스템은 또한, 도 5에서 예시적으로 보여지는 바와 같이 가려짐(occlusion)에 대처하기 위해 가중 값들을 사용할 수 있다. 표면(502) 및 표면(503)은 조준 지점 A로부터 이미지(520)에서 캡처되었고, 표면(501) 및 표면(503)은 조준 지점 B로부터 이미지(530)에서 캡처되었다. 각각의 이미지(530) 및 이미지(531)에 대한 모델(521) 및 모델(531)이 각각 발생되었을 수 있다. 모델이 발생될 때, 모델은 텍스처를 다각형의 특정 변(side)과 관련시킬 수 있다. 예를 들어, 표면(502)은 모델(521)에서 단일 삼각형(하나의 변(side)이 조준 지점 A를 향하고 있고, 다른 변은 조준 지점 A를 외면하는 삼각형)에 의해 나타내어질 수 있다. 이미지 데이터가 모델에 투영될 때, 모델은 조준 지점을 향하고 있는 삼각형의 변 상에 텍스처가 있는지 여부를 표시할 수 있다.

요청된 이미지를 발생시킬 때, 가려진 표면은 감춰질 수 있는 데, 이것은 그 관련된 텍스처가, 요청된 조준 지점을 향하고 있는지 아니면 외면하고 있는지를 결정하고 텍스처가 동일 모델에서 다른 텍스처들보다 조준 지점에 더 가까이 있는지 여부를 결정함으로써 수행될 수 있다. 예컨대, 조준 지점(540)으로부터의 디스플레이되는 픽셀의 컬러를 결정할 때, 시스템은 픽셀의 관련된 광선(550)이 각각의 표면과 교차하는 모든 지점들, 즉 지점(511), 지점(512), 지점(513)을 식별할 수 있다. 시스템은 또한, 각각의 모델에 대해, 조준 지점에 가장 가까이 있는 교차되는 텍셀을 결정할 수 있고, 그리고 교차되는 텍스처의 텍스처가 조준 지점을 향하고 있는("전면 지향형(front facing)") 다각형의 변 상에 있는지 아니면 외면하고 있는("후면 지향형(back facing)") 다각형의 변 상에 있는지를 결정할 수 있다. 따라서, 시스템은 T_511B가 모델(531)에서 가장 가까이 있는 텍셀이고 전방 지향형임을 결정할 수 있다(여기서, "T_pppm"은 교차 지점 ppp에 존재하는 픽셀이며 아울러 조준 지점 m과 관련된 모델에 저장되는 텍셀임을 나타냄). 시스템은 또한 T_512A가 모델(521)에서 가장 가까이 있는 텍셀이고 후방 지향형임을 결정할 수 있다. T_512A가 후방 지향형이기 때문에, 시스템은 자동적으로 그 가중치를 제로(zero)로 설정할 수 있다. 결과적으로, 광선(550)과 관련된 픽셀의 컬러는 (w_511BT_511B + w_512AT_512A) / (w_511B + w_512A)에 의해 결정될 수 있고, w_511B는 T_511B에 대해 결정된 품질 값이고, w_512A는 제로로 설정된다. 결과적으로, 디스플레이되는 픽셀의 컬러는 T_511B와 동일하게 된다.

대안적으로, 특정 텍스처들을 무시하는 것 혹은 이들의 가중치들을 제로로 설정하는 것이 아니라, 이들의 상대적 가중치들이 감소될 수 있다. 예를 들어, w_512A를 제로로 설정하는 것 및 T_513A와 T_513B를 모두 무시하는 것이 아니라, 후방-지향형 텍셀들 및 다른 텍셀들이 또한 블렌딩을 위해 사용될 수 있고, 하지만 가중치들이 감소된 상태에서 사용될 수 있다.

깊이 데이터에서의 불연속성(discontinuities)에 의해 야기된 아티팩트들을 포함하는 아티팩트들이 또한 가중 값들을 이용해 대처될 수 있다. 예를 들어 그리고 도 6에서 보여지는 바와 같이, 모델(621)은 위치(620)로부터 캡처된 이미지와 관련될 수 있고, 모델(631)은 위치(630)로부터 캡처된 이미지와 관련될 수 있다. 표면(601)과 표면(602) 사이의 틈새(gap)(603)는 모델(621)에서 정확하게 나타내어질 수 있다. 하지만, 캡처할 때 검색된 깊이 데이터로부터 일어나는 부정확성(inaccuracy), 또는 모델(631)의 발생 동안 일어난 어떤 다른 에러(error)는, 결과적으로 모델(631)로 하여금 표면(635)이 틈새(603)를 가로질러 연장되어 있다고 잘못 표시하게 할 수 있다. 만약 모델(631)이 조준 지점(640)으로부터 보여졌다면, 이러한 이질적 표면(extraneous surface)은 틈새의 하나의 가장자리(edge)로부터 다른 가장자리까지 확장된 고무 시트(rubber sheet)의 외관을 가질 수 있다. 일부 실시형태들에서, 시스템은 모델(621)을 모델(631)과 비교함으로써, 이질적 다각형(extraneous polygon)들을 점검 및 제거할 수 있다.

다른 실시형태들에서, 시스템은, 디스플레이하기 위해 이미지를 발생시킬 때, 이질적 표면들을 사용할 수 있다. 예컨대, 사용자는 조준 지점(640)으로부터 표면들을 디스플레이하는 이미지를 요청할 수 있다. 광선(641)과 관련된 픽셀의 컬러에 대한 모델(621)의 기여도(contribution)를 결정할 때, 시스템은 제 1 지시 지점(instruction point)으로서 표면(601) 상의 지점 A를 식별할 수 있다. 시스템은 또한 지점 A에서의 텍셀이 상대적으로 높은 품질 값을 갖는다고 결정할 수 있는데, 왜냐하면 지점 A에서의 텍셀은 이것을 캡처한 각도(위치(620))와 유사한 각도에서 보여지고 있기 때문이다. 픽셀의 컬러에 대한 모델(631)의 기여도를 결정할 때, 시스템은 제 1 교차 지점(intersection point)으로서 이질적 표면(635) 상의 지점 B를 식별할 수 있다. 시스템은 지점 B에서의 텍셀이 상대적으로 낮은 품질 값을 갖는다고 결정할 수 있는데, 왜냐하면 지점 B에서의 텍셀은 이것을 캡처한 각도(위치(630))에 대해 상대적으로 수직인 각도에서 보여지고 있기 때문이다. 결과적으로, 지점 A와 지점 B에서의 텍셀들이 함께 블렌딩될 때, 지점 B에서의 텍셀에는 상대적으로 작은 가중치가 적용될 것이고, 픽셀의 컬러는 표면(601) 상의 지점 A의 컬러에 거의 전적으로 기반을 둘 것이다.

특정 각도들로부터, 이질적 표면들은 디스플레이될 이미지의 시각적 특성들에 상당한 기여를 할 수 있다. 예를 들어, 사용자는 모델(631)의 캡처 위치(630)와 상대적으로 가까운 조준 지점(650)으로부터의 이미지를 요청할 수 있다. 광선(641)과 관련된 픽셀의 컬러에 대한 모델(631)의 기여도를 결정할 때, 시스템은 제 1 교차 지점으로서 이질적 표면(635) 상의 지점 C를 식별할 수 있고, 그리고 시스템은 또한, 모델(631)의 지점 C에서의 텍셀이 상대적으로 높은 품질 값을 갖는다고 결정할 수 있다. 동일한 픽셀의 컬러에 대한 모델(621)의 기여도를 결정할 때, 시스템은 표면(602)이 모델에 의해 나타내어지지 않는다면 어떠한 교차 지점도 식별할 수 없다. 대안적으로, 만약 표면(602)이 모델에 의해 나타내어진다면, 모델(621)에서 교차 지점에서의 텍셀의 품질 값은 상대적으로 낮을 수 있는데, 왜냐하면 교차 지점으로부터 조준 지점(650)으로의 각도가 교차 지점으로부터 캡처 위치(620)로의 각도와 상대적으로 수직이기 때문이다. 어느 경우에서나 그리고 결과적으로, 디스플레이되는 픽셀의 컬러는 이질적 표면의 텍셀과 실질적으로 동일할 수 있다. 이것은 만약 모델(621)이 표면(602)의 표현을 전혀 갖고 있지 않다면 특히 이로울 수 있는데, 왜냐하면 아무것도 디스플레이하지 않는 것(예를 들어, 표면의 부존재(absence)를 표시하는 컬러)보다 이질적 표면(635)을 디스플레이하는 것이 더 바람직할 수 있기 때문이다.

사용자들은 시스템을 사용할 수 있고 모델들과 상호작용할 수 있다. 단지 예시적으로 예를 들어보면 그리고 도 1을 참조하면, 사용자(135)는 복수의 조준 지점들로부터 이미지 데이터 및 깊이 데이터를 캡처하기 위해 클라이언트 디바이스(120)의 카메라(163) 및 지리적 컴포넌트(130)를 사용할 수 있다. 사용자(135)는 이미지 및 깊이 데이터를 서버(110)로 업로드할 수 있다. 프로세서(112)는 사용자에 의해 제공된 데이터에 근거하여 각각의 이미지에 대한 텍스처링된 모델을 발생시킬 수 있고, 그리고 사용자에 의해 제공된 데이터를 메모리(114)에 저장할 수 있다. 그 다음에, 서버(110)는 특정 조준 지점으로부터의 객체의 이미지에 대한 요청을 수신할 수 있다. 예를 들어, 사용자(135)(혹은 클라이언트 디바이스(121)를 사용하는 다른 사용자)는 특정 지리적 위치에서의 파노라마 이미지를 요청할 수 있는데, 이러한 요청을 하는 것은 사용자 입력(162)을 사용해 지리적 위치를 선택하고 요청을 서버(110)로 전송함으로써 이루어진다. 요청을 수신하는 경우, 서버(110)는 요청된 지리적 위치에 근거하여 둘 이상의 모델들을 검색할 수 있는데, 이것은 예컨대, 요청된 지리적 위치의 임계 거리 내에서 캡처 위치들 혹은 표면 위치들을 갖는 모든 모델들 혹은 한정된 개수의 모델들을 선택함으로써 이루어진다. 그 다음에, 서버는 모델들을 네트워크(160)를 통해 클라이언트 디바이스(120)로 전송할 수 있다. 모델들을 수신하는 경우, 클라이언트 디바이스(120)의 프로세서는 이러한 모델들에 근거하여 그리고 요청된 지리적 위치를 조준 지점으로서 사용하여 파노라마 이미지를 발생시킬 수 있다. 만약 요청된 지리적 위치가 고도를 포함하지 않는다면, 조준 지점의 고도는 모델들의 캡처 위치들의 고도들에 근거할 수 있다.

파노라마 이미지가 디스플레이(122) 상에 디스플레이될 수 있다. 예를 들어 그리고 도 2 및 도 7을 참조하면, 만약 자동차(240)의 모델들(216 및 226)이 클라이언트 디바이스로 전송되었다면, 자동차(240)의 이미지(710)가 조준 지점(230)에 근거하여 발생될 수 있고 그리고 사용자에게 디스플레이될 수 있다. 사용자는 클라이언트 디바이스의 사용자 인터페이스를 통해 커맨드(command)들을 제공함으로써, 예를 들어, 이미지를 패닝(panning)하기 위한 버튼들을 누룸으로써, 캡처 위치들과는 다른 상이한 조준 지점들을 선택할 수 있다.

도 8은 앞에서 설명된 실시형태들 중 일부에 따른 흐름도이다. 블록(801)에서, 객체의 표면의 모델이 액세스되는데, 여기서 모델은: 제 1 조준 지점 및 제 2 조준 지점에 대한 객체의 표면의 배향; 제 1 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 1 세트; 그리고 제 2 조준 지점으로부터의 표면의 외관을 나타내는 시각적 특성들의 제 2 세트를 포함한다. 블록(802)에서, 제 1 조준 지점 및 제 2 조준 지점과는 다른 요청된 조준 지점으로부터의 객체의 이미지에 대한 요청이 수신된다. 블록(803)에서, 시각적 특성들의 제 1 세트로부터 제 1 시각적 특성이 식별되고 시각적 특성들의 제 2 세트로부터 제 2 시각적 특성이 식별된다. 블록(804)에서, 요청된 조준 지점 및 제 1 조준 지점에 대한 표면의 배향에 근거하여 제 1 시각적 특성에 대한 제 1 가중 값이 결정된다. 블록(805)에서, 요청된 조준 지점 및 제 2 조준 지점에 대한 표면의 배향에 근거하여 제 2 시각적 특성에 대한 제 2 가중 값이 결정된다. 블록(806)에서, 제 1 시각적 특성 및 제 2 시각적 특성 그리고 제 1 가중 값 및 제 2 가중 값에 근거하여, 요청된 이미지의 시각적 특성이 결정된다. 블록(807)에서, 요청된 이미지가 디스플레이를 위해 사용자에게 제공된다.

앞에서 논의되는 특징들의 이러한 변형들 및 조합들 그리고 다른 변형들 및 조합들이, 청구항들에 의해 정의되는 바와 같은 본 발명으로부터 벗어남이 없이 이용될 수 있기 때문에, 실시예들에 관한 앞서의 설명은 청구항들에 의해 정의되는 바와 같은 본 발명을 한정하는 것으로서가 아니라 예시하는 것으로서 이해돼야 한다. 본 발명의 예들(뿐만 아니라 "예컨대", "예를 들어", "포함하는" 등으로서 표현되는 어구)의 제공은 본 발명을 그 특정 예들로 한정시키는 것으로서 해석돼서는 안 되며, 오히려 이러한 예들은 다수의 가능한 실시형태들 중 단지 일부만을 예시하도록 의도된 것임이 또한 이해될 것이다.

Claims

디스플레이를 위한 이미지(image)를 제공하는 방법으로서, 상기 방법은,
제 1 모델(model)을 발생시키기 위해 제 1 조준 지점(vantage point)으로부터 객체(object)의 제 1 이미지를 캡처(capture)하는 것과;
제 2 모델을 발생시키기 위해 제 2 조준 지점으로부터 상기 객체의 제 2 이미지를 캡처하는 것과;
상기 제 1 조준 지점 및 상기 제 2 조준 지점과는 다른 요청된 조준 지점으로부터의 상기 객체의 이미지에 대한 요청을 수신하는 것과;
상기 제 1 모델 및 상기 요청된 조준 지점으로부터 결정된 제 1 시각적 특성(visual characteristic)과, 그리고 상기 제 2 모델 및 상기 요청된 조준 지점으로부터 결정된 제 2 시각적 특성에 근거하는 제 3 시각적 특성을 갖는 제 3 이미지를 수신하는 것과; 그리고
디스플레이를 위해 상기 제 3 이미지를 제공하는 것을 포함하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 방법은 또한, 상기 요청된 조준 지점과 관련된 배향(orientation)을 결정하는 것을 포함하고,
상기 제 1 모델의 상기 제 1 시각적 특성은 상기 배향에 근거하고,
상기 제 2 모델의 상기 제 2 시각적 특성은 상기 배향에 근거하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 모델과 관련된 제 1 배향 및 상기 제 2 모델과 관련된 제 2 배향에 근거하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 모델과 관련된 제 1 위치 정보 및 상기 제 2 모델과 관련된 제 2 위치 정보에 근거하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
이미지에 대한 상기 요청은 또한, 지리적 위치(geographic location)를 포함하고,
상기 제 3 시각적 특성은 상기 지리적 위치에 근거하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 제 1 시각적 특성은, 상기 제 1 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 1 모델에 투영(projecting)시킴으로써 발생되는 제 1 픽셀 총계(pixel count)에 대한 제 1 텍셀 총계(texel count)의 제 1 비율(ratio)에 근거하고, 그리고
상기 제 2 시각적 특성은, 상기 제 2 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 2 모델에 투영시킴으로써 발생되는 제 2 픽셀 총계에 대한 제 2 텍셀 총계의 제 2 비율에 근거하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 제 1 시각적 특성은, 상기 제 1 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 1 모델에 투영시킴으로써 발생되는 제 1 텍셀이고,
상기 제 2 시각적 특성은, 상기 제 2 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 2 모델에 투영시킴으로써 발생되는 제 2 텍셀인 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 시각적 특성들은 컬러(color)들과 관련되고,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 시각적 특성과 관련된 제 1 컬러를 블렌딩(blending)하는 것 및 상기 제 2 시각적 특성과 관련된 제 2 컬러를 블렌딩하는 것에 근거하는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
제1항에 있어서,
상기 객체는 평면(plane)을 정의하는 표면(surface)을 갖고,
상기 방법은 또한, 상기 평면 상의 지점(point)을 선택하는 것을 포함하고,
상기 제 1 시각적 특성 및 상기 제 2 시각적 특성은, 상기 제 1 조준 지점 및 상기 제 2 조준 지점으로부터 상기 평면 상의 상기 선택된 지점까지 연장되는 직선(line)과 상기 평면 간의 각각의 각도(angle)에 근거하여 결정되는 것을 특징으로 하는 디스플레이를 위한 이미지를 제공하는 방법.
시스템으로서, 상기 시스템은,
하나 이상의 컴퓨팅 디바이스(computing device)들과; 그리고
상기 하나 이상의 컴퓨팅 디바이스들에 의해 실행가능한 명령들을 저장하는 메모리를 포함하고,
상기 명령들은,
제 1 모델을 발생시키기 위해 제 1 조준 지점으로부터 객체의 제 1 이미지를 캡처하는 것과;
제 2 모델을 발생시키기 위해 제 2 조준 지점으로부터 상기 객체의 제 2 이미지를 캡처하는 것과;
상기 제 1 조준 지점 및 상기 제 2 조준 지점과는 다른 요청된 조준 지점으로부터의 상기 객체의 이미지에 대한 요청을 수신하는 것과;
상기 제 1 모델 및 상기 요청된 조준 지점으로부터 결정된 제 1 시각적 특성과, 그리고 상기 제 2 모델 및 상기 요청된 조준 지점으로부터 결정된 제 2 시각적 특성에 근거하는 제 3 시각적 특성을 갖는 제 3 이미지를 수신하는 것과; 그리고
디스플레이를 위해 상기 제 3 이미지를 제공하는 것을 포함하는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 시스템은 또한, 상기 요청된 조준 지점과 관련된 배향을 결정하는 것을 포함하고,
상기 제 1 모델의 상기 제 1 시각적 특성은 상기 배향에 근거하고,
상기 제 2 모델의 상기 제 2 시각적 특성은 상기 배향에 근거하는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 모델과 관련된 제 1 배향 및 상기 제 2 모델과 관련된 제 2 배향에 근거하는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 모델과 관련된 제 1 위치 정보 및 상기 제 2 모델과 관련된 제 2 위치 정보에 근거하는 것을 특징으로 하는 시스템.
제10항에 있어서,
이미지에 대한 상기 요청은 또한, 지리적 위치를 포함하고,
상기 제 3 시각적 특성은 상기 지리적 위치에 근거하는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 시각적 특성들은 컬러들과 관련되고,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 시각적 특성과 관련된 제 1 컬러를 블렌딩하는 것 및 상기 제 2 시각적 특성과 관련된 제 2 컬러를 블렌딩하는 것에 근거하는 것을 특징으로 하는 시스템.
제10항에 있어서,
상기 제 1 시각적 특성은, 상기 제 1 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 1 모델에 투영시킴으로써 발생되는 제 1 텍셀이고,
상기 제 2 시각적 특성은, 상기 제 2 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 2 모델에 투영시킴으로써 발생되는 제 2 텍셀인 것을 특징으로 하는 시스템.
컴퓨팅-디바이스가 판독할 수 있는 프로그램의 명령들이 저장되어 있는 비-일시적 컴퓨팅-디바이스 판독가능 저장 매체(non-transitory computing-device readable storage medium)로서, 상기 명령들은 하나 이상의 컴퓨팅 디바이스들에 의해 실행될 때 상기 하나 이상의 컴퓨팅 디바이스들로 하여금 방법을 수행하도록 하고, 상기 방법은,
제 1 모델을 발생시키기 위해 제 1 조준 지점으로부터 객체의 제 1 이미지를 캡처하는 것과;
제 2 모델을 발생시키기 위해 제 2 조준 지점으로부터 상기 객체의 제 2 이미지를 캡처하는 것과;
상기 제 1 조준 지점 및 상기 제 2 조준 지점과는 다른 요청된 조준 지점으로부터의 상기 객체의 이미지에 대한 요청을 수신하는 것과;
상기 제 1 모델 및 상기 요청된 조준 지점으로부터 결정된 제 1 시각적 특성과, 그리고 상기 제 2 모델 및 상기 요청된 조준 지점으로부터 결정된 제 2 시각적 특성에 근거하는 제 3 시각적 특성을 갖는 제 3 이미지를 수신하는 것과; 그리고
디스플레이를 위해 상기 제 3 이미지를 제공하는 것을 포함하는 것을 특징으로 하는 비-일시적 컴퓨팅-디바이스 판독가능 저장 매체.
제17항에 있어서,
상기 매체는 또한, 상기 요청된 조준 지점과 관련된 배향을 결정하는 것을 포함하고,
상기 제 1 모델의 상기 제 1 시각적 특성은 상기 배향에 근거하고,
상기 제 2 모델의 상기 제 2 시각적 특성은 상기 배향에 근거하는 것을 특징으로 하는 매체.
제17항에 있어서,
상기 제 3 이미지의 상기 제 3 시각적 특성은, 상기 제 1 모델과 관련된 제 1 배향 및 상기 제 2 모델과 관련된 제 2 배향에 근거하는 것을 특징으로 하는 매체.
제17항에 있어서,
상기 제 1 시각적 특성은, 상기 제 1 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 1 모델에 투영시킴으로써 발생되는 제 1 텍셀이고,
상기 제 2 시각적 특성은, 상기 제 2 조준 지점으로부터 캡처된 이미지 데이터를 상기 제 2 모델에 투영시킴으로써 발생되는 제 2 텍셀인 것을 특징으로 하는 매체.