KR102221937B1 - 임의의 뷰 생성 - Google Patents

Abstract

복수의 다른 기존의 뷰로부터 임의의 뷰를 생성하기 위한 기술이 개시된다. 일부 실시예에서, 임의의 뷰 생성은 제 1 투시를 갖는 제 1 이미지 및 제 2 투시를 갖는 제 2 이미지를 검색하는 단계, 제 1 이미지 및 제 2 이미지의 각각을 제 3 투시로 변환하는 단계; 및 변환된 제 1 이미지로부터의 픽셀 중 적어도 일부 및 변환된 제 2 이미지로부터의 픽셀 중 적어도 일부를 조합함으로써 제 3 투시를 갖는 제 3 이미지를 생성하는 단계를 포함한다.

Description

임의의 뷰 생성{ARBITRARY VIEW GENERATION}

본 발명은 임의의 뷰 생성에 관한 것이다.

기존의 렌더링 기술은 품질 및 속도에 대해 경쟁하는 목표 사이의 절충점(trade-off)에 직면해 있다. 고품질 렌더링은 상당한 프로세싱 리소스 및 시간을 요구한다. 그러나, 대화형의 실시간 애플리케이션과 같은 많은 애플리케이션에서는 느린 렌더링 기술이 수용가능하지 않다. 더 낮은 품질 그러나, 더 빠른 렌더링 기술은 전형적으로, 이러한 애플리케이션에 대해 선호된다.

예를 들면, 래스터화(rasterization)는 상대적으로 빠른 렌더링을 위해 그러나 품질을 희생하여 실시간 그래픽 애플리케이션에 의해 공통적으로 이용된다. 따라서, 품질이나 속도를 크게 저하시키지 않는 개선된 기술이 필요하다.

본 발명의 다양한 실시예는 다음의 상세한 설명 및 첨부된 도면에서 개시된다.

도 1은 장면의 임의의 뷰를 생성하기 위한 시스템의 일 실시예를 도시하는 고 레벨 블록도.
도 2는 데이터베이스 자산(database asset)의 일례를 도시한 도면.
도 3은 임의의 투시(perspective)를 생성하기 위한 프로세스의 일 실시예를 도시하는 흐름도.

본 발명은 프로세스; 장치; 시스템; 물질의 조성; 컴퓨터 판독가능한 저장 매체 상에 구현된 컴퓨터 프로그램 제품; 및/또는 프로세서에 결합된 메모리 상에 저장되고/되거나 그것에 의해 제공된 명령을 실행하도록 구성된 프로세서와 같은, 프로세서를 포함하는, 다수의 방식으로 구현될 수 있다. 본 명세서에서, 상기 구현, 또는 본 발명이 취할 수 있는 임의의 다른 형태는 기술로서 언급될 수 있다. 일반적으로, 개시된 프로세스의 단계의 순서는 본 발명의 범위 내에서 변경될 수 있다. 달리 서술되지 않는다면, 동작을 수행하도록 구성되는 것으로서 설명된 프로세서 또는 메모리와 같은 구성요소는 주어진 시간에서 동작을 수행하도록 임시로 구성되는 일반 구성요소 또는 동작을 수행하기 위해 제작되는 특정 구성요소로서 구현될 수 있다. 본 명세서에서 이용되는 바와 같이, 용어('프로세서')는 컴퓨터 프로그램 명령과 같은, 데이터를 프로세싱하도록 구성된 하나 이상의 디바이스, 회로, 및/또는 프로세싱 코어를 언급한다.

본 발명의 하나 이상의 실시예의 상세한 설명은 본 발명의 원리를 도시하는 첨부된 도면과 함께 하기에 제공된다. 본 발명은 이러한 실시예와 관련되어 설명되지만, 본 발명은 임의의 실시예로 제한되지 않는다. 본 발명의 범위는 단지 청구항에 의해서만 제한되고 본 발명은 다수의 대안, 수정 및 등가물을 포함한다. 다수의 특정 상세는 본 발명의 철저한 이해를 제공하기 위해 다음의 설명에서 제시된다. 상기 상세는 예의 목적을 위해 제공되며 본 발명은 상기 특정 상세의 일부 또는 전부 없이 청구항에 따라 실시될 수 있다. 명료함을 위해, 본 발명에 관련된 기술 분야에서 알려지는 기술적 자료는 본 발명이 불필요하게 모호하게 되지 않도록 상세하게 설명되지 않았다.

장면의 임의의 뷰를 생성하기 위한 기술이 개시된다. 본 명세서에서 설명된 패러다임은 고화질의 출력을 여전히 제공하면서 매우 낮은 프로세싱 또는 계산 오버헤드를 수반하여, 렌더링 속도와 품질 사이의 도전적인 절충점을 효과적으로 제거한다. 개시된 기술은 대화형의 실시간 그래픽 애플리케이션에 대하여 고품질의 출력을 매우 신속하게 생성하기 위해 특히 유용하다. 이러한 애플리케이션은 제시된 대화형 뷰 또는 장면의 이용자 조작에 응답하여 그리고 그에 따라 바람직하게 고품질 출력을 실질적으로 즉시 제시하는 것에 의존한다.

도 1은 장면의 임의의 뷰를 생성하기 위한 시스템(100)의 일 실시예를 도시하는 고 레벨 블록도이다. 묘사된 바와 같이, 임의의 뷰 생성기(102)는 임의의 뷰에 대한 요청을 입력(104)으로서 수신하고, 기존의 데이터베이스 자산(106)에 기초하여 요청된 뷰를 생성하며, 생성된 뷰를 입력 요청에 응답하여 출력(108)으로서 제공한다. 다양한 실시예에서, 임의의 뷰 생성기(102)는 중앙 처리 장치(CPU) 또는 그래픽 처리 장치(GPU)와 같은 프로세서를 포함할 수 있다. 도 1에서의 시스템(100)의 묘사된 구성은 설명의 목적을 위해 제공된다. 일반적으로, 시스템(100)은 설명된 기능을 제공하는 상호연결된 구성요소의 임의의 다른 적절한 수 및/또는 구성을 포함할 수 있다. 예를 들면, 다른 실시예에서, 임의의 뷰 생성기(102)는 내부 구성요소(110 내지 116)의 상이한 구성을 포함할 수 있고, 임의의 뷰 생성기(102)는 복수의 병렬 물리적 및/또는 가상 프로세서를 포함할 수 있으며, 데이터베이스(106)는 복수의 연결된 데이터베이스 또는 자산의 클라우드(cloud), 등을 포함할 수 있다.

임의의 뷰 요청(104)은 장면의 임의의 투시에 대한 요청을 포함한다. 일부 실시예에서, 장면의 요구된 투시는 장면의 다른 투시 또는 시점을 포함하는 자산 데이터베이스(106)에 이미 존재하지 않는다. 다양한 실시예에서, 임의의 뷰 요청(104)은 프로세스 또는 이용자로부터 수신될 수 있다. 예를 들면, 입력(104)은 제시된 장면의 카메라 시점의 이용자 조작과 같은, 제시된 장면 또는 그의 부분의 이용자 조작에 응답하여 이용자 인터페이스로부터 수신될 수 있다. 또 다른 예로서, 임의의 뷰 요청(104)은 장면의 플라이 쓰루(fly-through)와 같은, 가상 환경 내의 움직임 또는 이동 경로의 명세(specification)에 응답하여 수신될 수 있다. 일부 실시예에서, 요청될 수 있는 장면의 가능한 임의의 뷰는 적어도 부분적으로 제한된다. 예를 들면, 이용자는 제시된 대화형 장면의 카메라 시점을 임의의 랜덤 위치로 조작할 수 없지만 오히려 장면의 특정 위치 또는 투시에 제약을 받는다.

데이터베이스(106)는 각각의 저장된 자산의 복수의 뷰를 저장한다. 주어진 콘텍스트에서, 자산은 그의 명세가 복수의 뷰로서 데이터베이스(106)에 저장되는 특정 장면을 언급한다. 다양한 실시예에서, 장면은 단일 객체(object), 복수의 객체, 또는 리치 가상 환경을 포함할 수 있다. 구체적으로, 데이터베이스(106)는 각각의 자산의 상이한 투시 또는 시점에 대응하는 복수의 이미지를 저장한다. 데이터베이스(106)에 저장된 이미지는 고품질의 사진 또는 사실적인 렌더링을 포함한다. 데이터베이스(106)를 채우는 이러한 고화질의 고해상도 이미지는 오프라인 프로세스 동안 캡쳐되거나 렌더링되거나 외부 소스로부터 얻어질 수 있다. 일부 실시예에서, 대응하는 카메라 특성은 데이터베이스(106)에 저장된 각각의 이미지에 저장된다. 즉, 상대 위치 또는 배치, 방향, 회전, 심도 정보, 초점 거리, 조리개, 줌 레벨 등과 같은 카메라 속성은 각각의 이미지에 저장된다. 또한, 셔터 속도 및 노출과 같은 카메라 조명 정보는 또한, 데이터베이스(106)에 저장된 각각의 이미지에 저장될 수 있다.

다양한 실시예에서, 자산의 임의의 수의 상이한 투시가 데이터베이스(106)에 저장될 수 있다. 도 2는 데이터베이스 자산의 일례를 도시한다. 주어진 예에서, 의자 객체 주위의 상이한 각도에 대응하는 73개의 뷰가 캡쳐되거나 렌더링되고 데이터베이스(106)에 저장된다. 뷰는 예를 들면, 카메라를 의자 둘레로 회전시키거나 의자를 카메라 앞에서 회전시킴으로써 캡쳐될 수 있다. 상대적 객체 및 카메라 위치와 방향 정보는 각각의 생성된 이미지에 저장된다. 도 2는 단일 객체를 포함하는 장면의 뷰를 구체적으로 도시한다. 데이터베이스(106)는 또한, 복수의 객체 또는 리치 가상 환경을 포함하는 장면의 명세를 저장할 수 있다. 이러한 경우에, 장면 또는 3차원 공간에서의 상이한 위치 또는 배치에 대응하는 다수의 뷰가 캡쳐되거나 렌더링되고 데이터베이스(106)에 대응하는 카메라 정보와 함께 저장된다. 일반적으로, 데이터베이스(106)에 저장된 이미지는 2 또는 3차원을 포함할 수 있고, 애니메이션 또는 비디오 시퀀스의 스틸(stills) 또는 프레임을 포함할 수 있다.

데이터베이스(106)에 이미 존재하지 않는 장면(104)의 임의의 뷰에 대한 요청에 응답하여, 임의의 뷰 생성기(102)는 데이터베이스(106)에 저장된 장면의 복수의 다른 기존의 뷰로부터 요청된 임의의 뷰를 생성한다. 도 1의 예시적인 구성에서, 임의의 뷰 생성기(102)의 자산 관리 엔진(110)은 데이터베이스(106)를 관리한다. 예를 들면, 자산 관리 엔진(110)은 데이터베이스(106)에서의 데이터의 저장 및 검색을 용이하게 할 수 있다. 장면(104)의 임의의 뷰에 대한 요청에 응답하여, 자산 관리 엔진(110)은 데이터베이스(106)로부터의 장면의 복수의 다른 기존의 뷰를 식별하고 얻는다. 일부 실시예에서, 자산 관리 엔진(110)은 데이터베이스(106)로부터 장면의 모든 기존의 뷰를 검색한다. 대안적으로, 자산 관리 엔진(110)은 예로서, 요청된 임의의 뷰에 가장 가까운 기존의 뷰의 서브세트를 선택하고 검색할 수 있다. 그러한 경우에, 자산 관리 엔진(110)은 요청된 임의의 뷰를 생성하기 위해 픽셀이 수집될 수 있는 기존의 뷰의 서브세트를 지능적으로 선택하도록 구성된다. 다양한 실시예에서, 다수의 기존의 뷰는 그들이 임의의 뷰 생성기(102)의 다른 구성요소에 의해 필요할 때, 함께 자산 관리 엔진(110)에 의해 검색될 수 있다.

자산 관리 엔진(110)에 의해 검색된 각각의 기존의 뷰의 투시는 임의의 뷰 생성기(102)의 투시 변환 엔진(112)에 의해 요청된 임의의 뷰의 투시로 변환된다. 이전에 설명된 바와 같이, 정확한 카메라 정보는 데이터베이스(106)에 저장된 각각의 이미지로 알려지고 그것에 저장된다. 따라서, 기존의 뷰로부터 요청된 임의의 뷰로의 투시 변경은 단순한 기하학적 맵핑 또는 변환을 포함한다. 다양한 실시예에서, 투시 변환 엔진(112)은 임의의 하나 이상의 적절한 수학적 기술을 이용하여 기존의 뷰의 투시를 임의의 뷰의 투시로 변환할 수 있다. 요청된 뷰가 임의의 기존의 뷰와 동일하지 않은 임의의 뷰를 포함하는 경우에, 임의의 뷰의 투시로의 기존의 뷰의 변환은 적어도 일부 맵핑되지 않거나 누락된 픽셀, 즉 기존의 뷰에 존재하지 않는 임의의 뷰에 도입된 각도 또는 배치를 포함할 것이다.

단일 투시 변환된 기존의 뷰로부터의 픽셀 정보는 상이한 뷰의 모든 픽셀을 채울 수 없을 것이다. 그러나, 많은 경우에, 요청된 임의의 뷰를 포함하는 전부가 아닌 경우, 대부분의 픽셀이 복수의 투시 변환된 기존의 뷰로부터 수집될 수 있다. 임의의 뷰 생성기(102)의 병합 엔진(114)은 요청된 임의의 뷰를 생성하기 위해 복수의 투시 변환된 기존의 뷰로부터의 픽셀을 조합한다. 이상적으로, 임의의 뷰를 포함하는 모든 픽셀은 기존의 뷰로부터 수집된다. 이것은 예를 들면, 고려 중인 자산에 대한 기존의 뷰 또는 투시의 충분히 다양한 세트가 이용가능한 경우에 및/또는 요청된 투시가 기존 투시와 너무 유사한 경우에 가능할 수 있다.

요청된 임의의 뷰를 생성하기 위해 복수의 투시 변환된 기존의 뷰로부터 픽셀을 조합 또는 병합하도록 임의의 적절한 기술이 이용될 수 있다. 하나의 실시예에서, 요청된 임의의 뷰에 가장 가까운 제 1 기존의 뷰가 선택되고 데이터베이스(106)로부터 검색되며 요청된 임의의 뷰의 투시로 변환된다. 픽셀은 그 다음, 이 투시 변환된 제 1 기존의 뷰로부터 수집되고 요청된 임의의 뷰에 대응하는 픽셀을 채우기 위해 이용된다. 제 1 기존의 뷰로부터 이용가능하지 않은 요청된 임의의 뷰의 픽셀을 채우기 위해, 이들 나머지 픽셀 중 적어도 일부를 포함하는 제 2 기존의 뷰가 선택되어 데이터베이스(106)로부터 검색되고 요청된 임의의 뷰의 투시로 변환된다. 제 1 기존의 뷰로부터 이용가능하지 않은 픽셀은 그 다음, 이 투시 변환된 제 2 기존의 뷰로부터 수집되어 요청된 임의의 뷰에 대응하는 픽셀을 채우기 위해 이용된다. 이 프로세스는 요청된 임의의 뷰의 모든 픽셀이 채워질 때까지 및/또는 모든 기존의 뷰가 소진(exhaust)되거나 기존의 뷰의 규정된 임계치 수가 이미 이용될 때까지 임의의 수의 부가적인 기존의 뷰에 대해 반복된다.

일부 실시예에서, 요청된 임의의 뷰는 임의의 기존의 뷰로부터 이용가능하지 않은 일부 픽셀을 포함할 수 있다. 이러한 경우에, 보간 엔진(116)은 요청된 임의의 뷰의 임의의 나머지 픽셀을 채우도록 구성된다. 다양한 실시예에서, 임의의 하나 이상의 적절한 보간 기술이 보간 엔진(116)에 의해 이용되어 요청된 임의의 뷰에서 이들 채워지지 않은 픽셀을 생성할 수 있다. 이용될 수 있는 보간 기술의 예는 예를 들면, 선형 보간, 최근접 이웃 보간, 등을 포함한다. 픽셀의 보간은 평균화 또는 평활화(smoothing)를 도입한다. 전체 이미지 품질은 일부 보간에 의해 크게 영향을 받지 않을 수 있지만, 과도한 보간은 수용가능하지 않은 흐려짐(blurriness)을 초래할 수 있다. 따라서, 보간은 드물게 이용되는 것이 바람직할 수 있다. 이전에 설명된 바와 같이, 요청된 임의의 뷰의 모든 픽셀이 기존의 뷰로부터 얻어질 수 있으면 보간은 완전히 회피된다. 그러나, 요청된 임의의 뷰가 임의의 기존의 뷰로부터 이용가능하지 않은 일부 픽셀을 포함하면 보간이 도입된다. 일반적으로, 필요한 보간의 양은 이용가능한 기존의 뷰의 수, 기존의 뷰의 투시의 다양성, 및/또는 임의의 뷰의 투시가 기존의 뷰의 투시와 관련하여 얼마나 상이한지에 의존한다.

도 2에 묘사된 예와 관련하여, 의자 객체 주위의 73개의 뷰는 의자의 기존의 뷰로서 저장된다. 저장된 뷰 중 임의의 것과 상이하거나 그로부터 고유한 의자 객체 주위의 임의의 뷰는 복수의 이들 존재하는 뷰를 이용하여, 만약에 존재한다면, 바람직하게 최소의 보간으로 생성될 수 있다. 그러나, 이러한 기존의 뷰의 포괄적인 세트를 생성 및 저장하는 것은 효율적이거나 바람직하지 않을 수 있다. 일부 경우에서, 투시의 충분히 다양한 세트를 커버하는 훨씬 더 적은 수의 기존의 뷰가 대신에 생성되고 저장될 수 있다. 예를 들면, 의자 객체의 73개의 뷰는 의자 객체 주위의 소수의 뷰의 작은 세트로 데시메이트(decimate)될 수 있다.

이전에 언급된 바와 같이, 일부 실시예에서, 요청될 수 있는 가능한 임의의 뷰는 적어도 부분적으로 제한될 수 있다. 예를 들면, 이용자는 대화형 장면과 연관된 가상 카메라를 특정 위치로 이동하는 것으로부터 제한될 수 있다. 도 2의 주어진 예와 관련하여, 요청될 수 있는 가능한 임의의 뷰는 의자 객체 주위의 임의의 위치로 제한될 수 있지만, 예를 들면 의자 객체 아래의 임의의 배치를 포함할 수 없는데, 이는 충분하지 않은 픽셀 데이터가 의자 객체의 하부에 대해 존재하기 때문이다. 허용된 임의의 뷰에 대한 이러한 제약은 요청된 임의의 뷰가 임의의 뷰 생성기(102)에 의해 기존 데이터로부터 생성될 수 있음을 보장한다.

임의의 뷰 생성기(102)는 입력된 임의의 뷰 요청(104)에 응답하여 요청된 임의의 뷰(108)를 생성하고 출력한다. 생성된 임의의 뷰(108)의 해상도 또는 품질은 그것을 생성하기 위해 이용된 기존의 뷰의 품질과 동일하거나 유사한데, 이는 그러한 뷰로부터의 픽셀이 임의의 뷰를 생성하기 위해 이용되기 때문이다. 따라서, 대부분의 경우 고화질의 기존의 뷰를 이용하는 것은 고화질 출력을 야기한다. 일부 실시예에서, 생성된 임의의 뷰(108)는 연관된 장면의 다른 기존의 뷰와 함께 데이터베이스(106)에 저장되고 후속적으로, 임의의 뷰에 대한 장래의 요구에 응답하여 장면의 다른 임의의 뷰를 생성하기 위해 이용될 수 있다. 입력(104)이 데이터베이스(106)에 존재하는 뷰에 대한 요청을 포함하는 경우에서, 요청된 뷰는 설명된 바와 같이 다른 뷰로부터 생성될 필요가 없고; 대신에, 요청된 뷰는 단순한 데이터베이스 검색(lookup)을 통해 검색되고 직접적으로 출력(108)으로서 제시된다.

임의의 뷰 생성기(102)는 또한, 설명된 기술을 이용하여 임의의 앙상블 뷰(ensemble view)를 생성하도록 구성될 수 있다. 즉, 입력(104)은 복수의 객체를 단일 커스텀 뷰(custom view)로 조합하라는 요청을 포함할 수 있다. 이러한 경우에, 상기 언급된 기술은 복수의 객체의 각각에 대해 수행되고 조합되어 복수의 객체를 포함하는 단일 통합된 또는 앙상블 뷰를 생성한다. 구체적으로, 복수의 객체의 각각의 기존의 뷰는 자산 관리 엔진(110)에 의해 데이터베이스(106)로부터 선택되고 검색되고, 기존의 뷰는 투시 변환 엔진(112)에 의해 요청된 뷰의 투시로 변환되고, 투시 변환된 기존의 뷰로부터의 픽셀은 병합 엔진(114)에 의해 요청된 앙상블 뷰의 대응하는 픽셀을 채우기 위해 이용되며, 앙상블 뷰에서의 임의의 나머지 채워지지 않은 픽셀은 보간 엔진(116)에 의해 보간된다. 일부 실시예에서, 요청된 앙상블 뷰는 앙상블을 포함하는 하나 이상의 객체에 대해 이미 존재하는 투시를 포함할 수 있다. 이러한 경우에, 요구된 투시에 대응하는 객체 자산의 기존의 뷰는 객체의 다른 기존의 뷰로부터 요청된 투시를 먼저 생성하는 대신에 앙상블 뷰에서 객체에 대응하는 픽셀을 직접적으로 채우기 위해 이용된다.

복수의 객체를 포함하는 임의의 앙상블 뷰의 일례로서, 도 2의 의자 객체 및 독립적으로 촬영되거나 렌더링된 테이블 객체를 고려한다. 의자 객체 및 테이블 객체는 개시된 기술을 이용하여 조합되어 두 객체의 단일 앙상블 뷰를 생성할 수 있다. 따라서, 개시된 기술을 이용하여, 복수의 객체의 각각의 독립적으로 캡쳐되거나 렌더링된 이미지 또는 뷰는 일관되게 조합되어, 복수의 객체를 포함하고 원하는 투시를 갖는 장면을 생성할 수 있다. 이미 설명된 바와 같이, 각각의 기존의 뷰의 심도 정보가 알려진다. 각각의 기존의 뷰의 투시 변환은 심도 변환을 포함하여, 복수의 객체가 앙상블 뷰에서 서로에 대해 적절하게 배치되는 것을 허용한다.

임의의 앙상블 뷰를 생성하는 것은 복수의 단일 객체를 커스텀 뷰에 조합하는 것으로 제한되지 않는다. 오히려, 다수의 객체 또는 복수의 리치 가상 환경을 갖는 복수의 장면이 커스텀 앙상블 뷰로 유사하게 조합될 수 있다. 예를 들면, 가능하게 상이한 콘텐트 생성 소스로부터의 그리고 가능하게 상이한 기존의 개별적인 투시를 갖는, 복수의 별개로 및 독립적으로 생성된 복수의 가상 환경은 원하는 투시를 갖는 앙상블 뷰로 조합될 수 있다. 따라서, 일반적으로, 임의의 뷰 생성기(102)는 가능하게 상이한 기존의 뷰를 포함하는 복수의 독립 자산을 원하는 가능하게 임의의 투시를 갖는 앙상블 뷰로 일관되게 조합 또는 조정하도록 구성될 수 있다. 모든 조합된 자산이 동일한 투시로 정규화되기 때문에 완벽하게 조화로운 결과적인 앙상블 뷰가 생성된다. 앙상블 뷰의 가능한 임의의 투시는 앙상블 뷰를 생성하기 위해 이용가능한 개별적인 자산의 기존의 뷰를 기초하여 제한될 수 있다.

도 3은 임의의 투시를 생성하기 위한 프로세스의 일 실시예를 도시하는 흐름도이다. 프로세스(300)는 예를 들면, 도 1의 임의의 뷰 생성기(102)에 의해 이용될 수 있다. 다양한 실시예에서, 프로세스(300)는 규정된 자산의 임의의 뷰 또는 임의의 앙상블 뷰를 생성하기 위해 이용될 수 있다.

프로세스(300)는 임의의 투시에 대한 요청이 수신되는 단계(302)에서 시작한다. 일부 실시예에서, 단계(302)에서 수신된 요청은 장면의 임의의 기존의 이용가능한 투시와 상이한 규정된 장면의 임의의 투시에 대한 요청을 포함할 수 있다. 이러한 경우에서, 예를 들면, 임의의 투시 요청은 장면의 제시된 뷰의 투시에서 요청된 변경에 응답하여 수신될 수 있다. 이러한 투시의 변경은 카메라를 패닝(panning)하거나, 초점 거리를 변경하거나, 줌 레벨을 변경하는 것, 등과 같은 장면과 연관된 가상 카메라를 변경 또는 조작함으로써 가능하게 될 수 있다. 대안적으로, 일부 실시예에서, 단계(302)에서 수신된 요청은 임의의 앙상블 뷰에 대한 요청을 포함할 수 있다. 하나의 예로서, 이러한 임의의 앙상블 뷰 요청은 복수의 독립 객체가 선택되도록 허용하고 선택된 객체의 통합된 투시 정정된 앙상블 뷰를 제공하는 애플리케이션에 대해 수신될 수 있다.

단계(304)에서, 요청된 임의의 투시의 적어도 일부를 생성하기 위한 복수의 기존의 이미지가 하나 이상의 연관 자산 데이터베이스로부터 검색된다. 검색된 복수의 이미지는 단계(302)에서 수신된 요청이 규정된 자산의 임의의 투시에 대한 요청을 포함하는 경우에 규정된 자산과 연관될 수 있거나 단계(302)에서 수신된 요청이 임의의 앙상블 뷰에 대한 요청을 포함하는 경우에 복수의 자산과 연관될 수 있다.

단계(306)에서, 상이한 투시를 갖는 단계(304)에서 검색된 복수의 기존의 이미지의 각각은 단계(302)에서 요청된 임의의 투시로 변환된다. 단계(304)에서 검색된 기존의 이미지의 각각은 연관된 투시 정보를 포함한다. 각각의 이미지의 투시는 상대 위치, 방향, 회전, 각도, 심도, 초점 거리, 조리개, 줌 레벨, 조명 정보. 등과 같은 그 이미지를 생성하는 것과 연관된 카메라 특성에 의해 정의된다. 완전한 카메라 정보가 각각의 이미지에 대해 알려지기 때문에, 단계(306)의 투시 변환은 단순한 수학적 연산을 포함한다. 일부 실시예에서, 단계(306)는 또한, 모든 이미지가 동일한 원하는 조명 조건에 대해 일관되게 표준화되도록 조명 변환을 선택적으로 포함한다.

단계(308)에서, 단계(302)에서 요청된 임의의 투시를 갖는 이미지의 적어도 일부는 투시 변환된 기존의 이미지로부터 수집된 픽셀에 의해 채워진다. 즉, 복수의 투시 정정된 기존의 이미지로부터의 픽셀은 요구된 임의의 투시를 갖는 이미지를 생성하기 위해 이용된다.

단계(310)에서, 요청된 임의의 투시를 갖는 생성된 이미지가 완료되었는지의 여부가 결정된다. 단계(310)에서, 요청된 임의의 투시를 갖는 생성된 이미지가 완료되지 않았다고 결정되면, 단계(312)에서, 생성된 이미지의 임의의 나머지의 채워지지 않은 픽셀이 마이닝(mining)될 수 있는 임의의 더 많은 기존의 이미지가 이용가능한지의 여부가 결정된다. 단계(312)에서, 더 많은 기존의 이미지가 이용가능하다고 결정되면, 단계(314)에서 하나 이상의 부가적인 기존의 이미지가 검색되고, 프로세스(300)는 단계(306)에서 계속된다.

단계(310)에서, 요청된 임의의 투시를 갖는 생성된 이미지가 완료되지 않았다고 결정되고 단계(312)에서 더 이상의 기존의 이미지가 이용가능하지 않다고 결정되면, 생성된 이미지의 임의의 나머지의 채워지지 않은 픽셀이 단계(316)에서 보간된다. 임의의 하나 이상의 적절한 보간 기술이 단계(316)에서 이용될 수 있다.

단계(310)에서, 요청된 임의의 투시를 갖는 생성된 이미지가 완료되거나 단계(316)에서 임의의 나머지의 채워지지 않은 픽셀을 보간한 후에, 요청된 임의의 투시를 갖는 생성된 이미지가 단계(318)에서 출력된다. 프로세스(300)가 후속적으로 종료된다.

설명된 바와 같이, 개시된 기술은 다른 기존의 투시에 기초하여 임의의 투시를 생성하기 위해 이용될 수 있다. 카메라 정보가 각각의 기존의 투시와 함께 보존되기 때문에 상이한 기존의 투시를 공통의 원하는 투시로 정규화하는 것이 가능하다. 원하는 투시를 갖는 결과적인 이미지는 투시 변환된 기존의 이미지로부터 픽셀을 마이닝하는 것으로부터 구성될 수 있다. 개시된 기술을 이용하여 임의의 투시를 생성하는 것과 연관된 프로세싱은 빠르고 거의 순간적일 뿐만 아니라, 고품질의 출력을 야기하여, 개시된 기술을 대화형의 실시간 그래픽 애플리케이션에 대해 특히 영향력 있게 한다.

상기 실시예가 명확한 이해의 목적을 위해 일부 상세하게 설명되었지만, 본 발명은 제공된 상세로 제한되지 않는다. 본 발명을 구현하는 많은 대안적인 방식이 존재한다. 개시된 실시예는 제한적인 것이 아니라 예시적이다.

Claims (20)

1. 시스템에 있어서,
   프로세서로서,
   복수의 상이한 장면들(scenes) 각각에 대해, 대응하는 하나 이상의 뷰들의 세트를 얻고;
   원하는 투시와는 상이한 기존의 투시를 갖는 장면의 뷰들의 세트 각각을 상기 원하는 투시로 정규화하고;
   상기 정규화된 뷰들을 포함하는, 상기 원하는 투시를 갖는 장면들의 뷰들로부터의 픽셀들을 적어도 일부 사용하여, 상기 원하는 투시를 갖는, 상기 복수의 상이한 장면들을 포함하는 앙상블 뷰를 생성하는, 상기 프로세서; 및
   상기 프로세서에 연결되고, 상기 프로세서에 명령들을 제공하도록 구성된 메모리를 포함하고,
   상기 프로세서는, 상기 장면들의 임의의 뷰들로부터 이용가능하지 않은 앙상블 뷰의 하나 이상의 픽셀들을 보간함으로써 상기 앙상블 뷰를 생성하는, 시스템.
2. 제 1 항에 있어서,
   각각의 장면은, 단일 객체, 복수의 객체, 또는 리치 가상 환경을 포함하는, 시스템.
3. 제 1 항에 있어서,
   장면의 뷰들의 세트를 포함하는 하나 이상의 뷰들은, 개별적으로 포착, 렌더링, 또는 모두되는 시스템.
4. 제 1 항에 있어서,
   장면의 뷰들의 세트는, 사진, 사실적인 렌더링, 또는 모두를 포함하는, 시스템.
5. 제 1 항에 있어서,
   적어도 하나의 장면의 뷰들의 세트는, 이용가능한 장면의 모든 기존의 뷰들을 포함하는, 시스템.
6. 제 1 항에 있어서,
   적어도 하나의 장면의 뷰들의 세트는, 이용가능한 장면의 모든 기존의 뷰들의 서브세트를 포함하는, 시스템.
7. 제 1 항에 있어서,
   적어도 하나의 장면의 뷰들의 세트는, 뷰들의 임계치 수를 포함하는, 시스템.
8. 제 1 항에 있어서,
   적어도 하나의 장면의 뷰들의 세트는, 기존의 투시가 상기 원하는 투시를 포함하는 단일 뷰를 포함하는, 시스템.
9. 제 1 항에 있어서,
   카메라 특성들이 각각 얻어진 뷰에 대해 저장되고 알려지는, 시스템.
10. 제 9 항에 있어서,
    상기 카메라 특성들은, 위치, 방위, 회전, 각도, 심도, 초점 거리, 조리개, 줌 레벨, 셔터 속도 및 노출 중 하나 이상을 포함하는, 시스템.
11. 제 1 항에 있어서,
    상기 정규화하는 것은, 각각의 뷰와 관련해서 알려진 카메라 정보에 기초하여 기존의 투시에서 상기 원하는 투시로 변환하는 것을 포함하는, 시스템.
12. 제 1 항에 있어서,
    상기 정규화하는 것은, 각각의 뷰와 연관하여 알려진 깊이 정보에 기초하여 깊이를 변환하는 것을 포함하는, 시스템.
13. 제 1 항에 있어서,
    상기 프로세서는, 각각의 뷰와 관련해서 알려진 조명 정보에 기초하여 원하는 조명 조건을 정규화하도록 구성된, 시스템.
14. 삭제
15. 제 1 항에 있어서,
    상기 복수의 장면들은 개별적으로 및 독립적으로 생성되는, 시스템.
16. 제 1 항에 있어서,
    상기 원하는 투시는, 상기 앙상블 뷰를 생성하는 데에 이용가능한 장면들의 뷰들의 기존의 투시들에 기초하여 구성되는, 시스템.
17. 제 1 항에 있어서,
    상기 앙상블 뷰는, 정지 화상, 3차원 공간의 뷰, 및 가상 환경의 뷰 중 하나 이상을 포함하는, 시스템.
18. 제 1 항에 있어서,
    상기 앙상블 뷰는, 비디오 시퀀스 또는 애니메이션의 프레임을 포함하는, 시스템.
19. 방법에 있어서,
    복수의 상이한 장면들 각각에 대해, 대응하는 하나 이상의 뷰들의 세트를 얻는 단계와;
    원하는 투시와는 상이한 기존의 투시를 갖는 장면의 뷰들의 세트 각각을 상기 원하는 투시로 정규화하는 단계와;
    상기 정규화된 뷰들을 포함하는, 상기 원하는 투시를 갖는 장면들의 뷰들로부터의 픽셀들을 적어도 일부 사용하여, 상기 원하는 투시를 갖는, 상기 복수의 상이한 장면들을 포함하는 앙상블 뷰를 생성하는 단계를 포함하고,
    상기 앙상블 뷰를 생성하는 단계는, 상기 장면들의 임의의 뷰들로부터 이용가능하지 않은 앙상블 뷰의 하나 이상의 픽셀들을 보간하는 단계를 포함하는, 방법.
20. 컴퓨터 명령들을 포함하는 컴퓨터 프로그램이 기록된 비 일시적 컴퓨터 판독가능한 저장 매체에 있어서,
    복수의 상이한 장면들 각각에 대해, 대응하는 하나 이상의 뷰들의 세트를 얻고;
    원하는 투시와는 상이한 기존의 투시를 갖는 각각의 장면의 뷰들의 세트 각각을 상기 원하는 투시로 정규화하고;
    상기 정규화된 뷰들을 포함하는, 상기 원하는 투시를 갖는 장면들의 뷰들로부터의 픽셀들을 적어도 일부 사용하여, 상기 원하는 투시를 갖는, 상기 복수의 상이한 장면들을 포함하는 앙상블 뷰를 생성하기 위한 상기 컴퓨터 명령들을 포함하고;
    상기 앙상블 뷰를 생성하는 것은, 상기 장면들의 임의의 뷰들로부터 이용가능하지 않은 앙상블 뷰의 하나 이상의 픽셀들을 보간하는 것을 포함하는, 비 일시적 컴퓨터 판독가능한 저장 매체.

Images