KR20160146775A - 깊이 또는 시차를 갖는 이미지로부터의 뷰 보간을 위한 적응형 리-메싱 - Google Patents

깊이 또는 시차를 갖는 이미지로부터의 뷰 보간을 위한 적응형 리-메싱 Download PDF

Info

Publication number
KR20160146775A
KR20160146775A KR1020167030668A KR20167030668A KR20160146775A KR 20160146775 A KR20160146775 A KR 20160146775A KR 1020167030668 A KR1020167030668 A KR 1020167030668A KR 20167030668 A KR20167030668 A KR 20167030668A KR 20160146775 A KR20160146775 A KR 20160146775A
Authority
KR
South Korea
Prior art keywords
image
mesh
uniform mesh
sample data
view
Prior art date
Application number
KR1020167030668A
Other languages
English (en)
Inventor
알렉세이 엠 서피코브
코우바시 마하 엘
오스카 네스타레스
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160146775A publication Critical patent/KR20160146775A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

제 1 이미지에 대한 불균일한 메시를 생성하기 위한 방법 및 시스템이 제공되고, 불균일한 메시는 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함한다. 부가적으로, 적어도 제 1 이미지와 연관된 샘플 데이터가 획득될 수 있고, 여기서 샘플 데이터는 복수의 꼭짓점에 대응한다. 일 예에서, 제 2 이미지는 샘플 데이터에 적어도 부분적으로 기초하여 합성되고, 여기서 제 2 이미지를 합성하는 것은 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하는 것을 포함한다.

Description

깊이 또는 시차를 갖는 이미지로부터의 뷰 보간을 위한 적응형 리-메싱{ADAPTIVE RE-MESHING FOR VIEW INTERPOLATION FROM IMAGES WITH DEPTH OR DISPARITY}
관련 출원에 대한 교차 -참조
본 출원은 2014년 6월 3일에 출원된 미국 정식 특허 출원 제 14/294,309 호에 대한 우선권의 이익을 주장한다.
가상 여행 및/또는 "플라이-스루(fly-through)" 시뮬레이션과 같은 이미지-기반 렌더링 애플리케이션은 다양한 시점으로부터 3 차원(3D) 장면의 이미지를 캡처하고, 3D 장면의 중간 시점을 나타내는 이미지를 합성하기 위해 캡처된 이미지를 사용할 수 있다(예를 들면, "뷰 보간(view interpolation)"). 뷰 보간에 대한 종래의 접근법은, 샘플 위치를 캡처된 이미지의 픽셀로 맵핑하는 균일하고 비교적 성긴 메시(sparse mesh)에 따라 캡처된 이미지로부터 시차(disparity) 및/또는 깊이 정보를 샘플링하는 것을 수반할 수 있다. 그후, 샘플링된 깊이/시차 정보는 캡처된 이미지를 변형시키고, (예를 들면, 제한된 최적화 기술을 사용하여 깊이/시차 정보를 모든 다른 이미지 픽셀에 부드럽게 전파함으로써) 합성된 이미지를 렌더링하는데 사용될 수 있다. 그러한 접근법이 특정 상황 하에서는 적절할 수 있지만, 여전히 개선을 위한 상당한 여지가 존재한다.
예를 들면, 중간 시점(intermediate point of view)이 동적으로 변할 때, 장면 내의 물체에 관련하여 다수의 뚜렷한 아티팩트가 발생할 수 있다. 더 구체적으로, 물체 경계를 통한 깊이/시차 값의 희박한 샘플링, 차선책의 샘플 배치 및 부드러운 전파는 물체 경계 주위에서 부정확한 변형을 발생시킬 수 있다. 부가적으로, 종래의 연속 및 평활성 가정(continuity and smoothness assumption)은, 시점이 변할 때 물체 사이에서 발생하는 폐색(occlusion)을 고려하는데 실패할 수 있다. 결과적으로, 장면의 폐색된 영역은, 비록 그들이 중간 시점의 정확한 표현에서 보이지 않을지라도, 합성된 이미지에서 여전히 보일 수 있다(예를 들면, 단지 크기 면에서 수축된 것처럼 보임).
아래의 명세서 및 첨부된 청구범위를 읽음으로써 그리고 아래의 도면을 참조함으로써 실시예의 다양한 장점이 이 분야의 기술자에게 명백해질 것이고, 도면에서:
도 1은 실시예에 따른 캡처된 이미지로 맵핑되는 불균일한 메시의 예의 예시이다.
도 2는 실시예에 따른 합성 이미지로 맵핑되는 불균일한 메시의 예의 예시이다.
도 3은 실시예에 따른 뷰 보간을 실시하는 방법의 예의 흐름도이다.
도 4는 실시예에 따른 불균일한 메시의 왜곡 정책의 적용의 예의 예시이다.
도 5(a) 및 도 5(b)는 실시예에 따른 적응형 리메싱 해결책의 예의 예시이다.
도 6은 실시예에 따른 불균일한 메시를 생성하는 방법의 예의 흐름도이다.
도 7은 실시예에 따른 뷰 보간 로직의 예의 블록도이다.
도 8은 실시예에 따른 내비게이션 제어기를 갖는 시스템의 예의 블록도이다.
도 9는 실시예에 따른 작은 폼 팩터를 갖는 시스템의 예의 블록도이다.
도 1은 제 2 물체(14)에 의해 부분적으로 잘 보이지 않는 제 1 물체(12)를 포함하는 3D 장면의 캡처된 이미지(10)를 도시한다. 캡처된 이미지(10)에서 반사되는 장면은, 예를 들면, 가상 여행, 가상 현실 게임 및/또는 플라이-스루 시뮬레이터와 같은 애플리케이션에 의해 렌더링될 수 있고, 여기서 캡처된 이미지(10)는 장면에 대해 특정 시점(예를 들면, 시야각)으로부터 취해진다. 캡처된 이미지(10)는 중간 뷰의 생성을 가능하게 하는 깊이 정보를 갖거나, 중간 뷰를 생성하기 위해 다른 캡처된 이미지와 결합될 수 있다. 예시된 예에서, 불균일한 메시(16)는 캡처된 이미지(10)로 맵핑된다. 불균일한 메시(16)는 복수의 꼭짓점(18)(18a-18n)에서 교차하고 다양한 다각형(예를 들면, 직사각형)을 형성하는 수평 및 수직 에지를 가질 수 있다. 또한, 복수의 꼭짓점(18)은 캡처된 이미지(10) 내의 하나 이상의 경계와 정렬할 수 있다.
예를 들면, 제 1 꼭짓점(18a)은 제 2 물체(14)의 상부 좌측 경계와 정렬할 수 있고, 제 2 꼭짓점(18b)은 제 1 물체(12)의 상부 좌측 경계와 정렬할 수 있고, 제 3 꼭짓점(18n)은 제 2 물체(14)의 우측 경계와 정렬할 수 있고, 기타 등등이다. 경계는 또한 예를 들면, 잡음이 있는 이미지 캡처 구성에서 이미지 데이터의 부재로부터 기인할 수 있다. 꼭짓점(18)은 캡처된 이미지(10)로부터 (예를 들면, 도시되지 않은 다른 캡처된 이미지에 대해) 깊이, 컬러 및/또는 시차와 같은 데이터를 샘플링하는데 사용될 수 있다. 더 상세히 논의될 바와 같이, 예시된 불균일한 메시(16)는, 캡처된 이미지(10)가 캡처된 이미지(10)의 시점과 상이한 시점을 갖는 다른 이미지를 합성하는데 사용될 때, 발생할 수 있는 아티팩트의 제거를 가능하게 한다. 더 구체적으로, 불균일한 메시(16)의 꼭짓점(18)과 물체(12, 14)의 경계를 정렬하는 것은 샘플 데이터가 높은 정확성으로 물체 경계를 추적하는 것을 가능하게 할 수 있고, 이것은 결국 폐색이 다른 시점으로부터 정확히 디스플레이되는 것을 가능하게 할 수 있다.
이와 관련하여, 도 2는 캡처된 이미지(10)(도 1)와 연관된 시점의 약간 좌측에 있는 시점으로부터 취해진, 제 1 물체(12) 및 제 2 물체(14)를 포함하는 3D 장면의 합성된 이미지(20)를 도시한다. 따라서, 합성된 이미지(20)는, 가상 카메라 모션이 이미지-기반 렌더링 애플리케이션에서 우측으로부터 좌측으로 변할 때 시간 상에서 후속 순간에서 3D 장면을 나타낼 수 있다. 따라서, 메시(16)의 꼭짓점(18)은 그 모션을 확인하고 3D 장면에서 물체(12, 14)를 정확히 렌더링하기 위해 시프팅될 수 있다.
예시된 예에서, 제 2 물체(14)의 상부 좌측 경계, 제 1 물체(12)의 상부 좌측 경계, 제 2 물체(14)의 우측 경계 등은, 캡처된 이미지(10)(도 1) 내의 어딘가의 임의적인 영역보다는, 물체(12, 14)의 경계 근처의 영역으로부터 취해진 샘플로 인해, 휘어지거나 그렇지 않다면 왜곡되지 않는다. 부가적으로, 제 2 물체(14)에 의해 부분적으로 가려진 제 1 물체(12)의 원형은 예시된 예에서 왜곡되지 않는다. 또한, 캡처된 이미지(10)(도 1)에서 가려지고 (예를 들면, 가상 카메라 모션으로 인해) 합성된 이미지(20)에서 가려지지 않은 3D 장면 내의 영역(22)은, 꼭짓점(18)(예를 들면, 그리고 대응하는 이미지 샘플)이 물체(12, 14)의 경계에 단단히 상관되기 때문에, 정확히 렌더링될 수 있다. 영역(22)은 다른 캡처된 이미지로부터의 데이터, 불균일한 메시(16)에 적용되는 왜곡 정책 등 또는 이들의 임의의 조합에 기초하여 다각형으로서 렌더링될 수 있다.
이제 도 3을 참조하면, 뷰 보간을 실시하는 방법(24)이 도시된다. 방법(24)은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 프로그래밍 가능 ROM(PROM), 펌웨어, 플래시 메모리 등과 같은 메모리의 기계 또는 컴퓨터 판독 가능 저장 매체 내에 저장된 한 세트의 로직 명령어들로서 실행 가능 소프트웨어 내의 하나 이상의 모듈에서, 프로그래밍 가능 로직 어레이(PLA), 필드 프로그래머블 게이트 어레이(FPGA), 복합 프로그래밍 가능 로직 디바이스(CPLD)와 같은 구성 가능 로직에서, 주문형 집적 회로(ASIC), 상보형 금속 산화물 반도체(CMOS) 또는 트랜지스터-트랜지스터 로직(TTL) 기술과 같은 회로 기술을 이용하는 고정 기능 로직 하드웨어에서, 또는 이들의 임의 조합에서 구현될 수 있다.
예시된 프로세싱 블록(26)은 제 1 이미지(예를 들면, 캡처된 이미지)에 대한 불균일한 메시를 생성하는 것을 제공하고, 여기서 불균일한 메시는 제 1 이미지에서 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함한다. 더 상세히 논의될 바와 같이, 블록(26)은, 비교적 미세한 해상도를 갖는 균일한 메시로 시작하고 캡처된 이미지에서 존재하는 경계를 밀접하게 추적하는 불균일한 메시로 종료되는 반복 프로세스를 수반할 수 있다. 또한, 블록(26)은 (예를 들면, 캡처된 이미지가 초기에 로딩될 때 등, 백그라운드에서) 오프라인으로 실시될 수 있다. 제 1 이미지와 연관된 샘플 데이터가 블록(28)에서 획득될 수 있고, 여기서 샘플 데이터는 복수의 꼭짓점에 대응한다. 블록(28)은 적절한 메모리 위치, 레지스터, 네트워크 제어기 등으로부터 샘플 결과를 조회하는 것, 캡처된 이미지를 샘플링하는 것 등 또는 이들의 임의의 조합을 수반할 수 있다.
예시된 블록(30)은 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지(예를 들면, 합성된 이미지)를 합성한다. 이미 언급된 바와 같이, 제 1 이미지는 제 1 시점과 연관될 수 있고, 제 2 이미지는 제 1 시점과 상이한 제 2 시점과 연관될 수 있다. 또한, 블록(30)은 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하는 것을 수반할 수 있다. 가려지지 않은 영역은 제 3 이미지(예를 들면, 다른 캡처된 이미지)로부터의 데이터, 불균일한 메시에 적용되는 왜곡 정책 등 또는 이들의 임의의 조합에 기초하여 렌더링될 수 있다.
이와 관련하여, 도 4는 물체(12, 14)의 경계 외부에 있는 휘어진 세그먼트(34)를 갖는 수정된 메시(32)를 획득하고 따라서 3D 장면의 합성된 이미지(36)의 품질에 대해 최소의 지각 가능한 영향을 갖거나 전혀 지각 가능한 영향을 갖지 않기 위해 왜곡 정책이 불균일한 메시(16)(도 1)에 적용되는 시나리오를 도시한다. 대안적으로, 다른 캡처된 이미지로부터의 샘플 데이터(예를 들면, 도시되지 않은 Z-버퍼 및/또는 깊이 맵에 저장된 다각형 데이터)는 가려지지 않은 영역을 렌더링하는데 사용될 수 있다.
도 5(a)는 비교적 미세한 해상도를 갖는 균일한 메시(38)(예를 들면, 픽셀 당 하나의 꼭짓점)가 생성되고 캡처된 이미지(10)로 맵핑될 수 있다는 것을 입증한다. 예시된 예에서, 캡처된 이미지(10)에서 하나 이상의 경계와 정렬하지 않는 균일한 메시(38)의 꼭짓점은 균일한 메시(38)를 적응적으로 "리메싱"하고 불균일한 메시(16)를 생성하도록 제거된다. 더 구체적으로, 에지/경계 마스크는 선택된 불연속 측정 함수를 사용하여 생성될 수 있고, 여기서 에지/경계 마스크는 서브-픽셀 정밀도로 물체 경계 위치의 빠른 추정을 가능하게 할 수 있다. 따라서, 균일한 메시(38)는 용이하게 구성될 수 있고, 대응하는 깊이/시차 값이 속성으로서 균일한 메시(38)의 각각의 꼭짓점에 할당될 수 있다.
일 예에서, 적응형 리메싱은 먼저 물체 경계 상의 꼭짓점을 삽입하고 경계 에지를 따라 메시를 분할함으로써 균일한 메시를 반복적으로 분석한다. 경계 꼭짓점 및 에지는 경계로서 마킹될 수 있다. 새로운 경계 꼭짓점이 삽입될 때, 이것은 메시에서 위상학적 컷(topological cut)(예를 들면, "홀(hole)")을 생성/확장시키기 위해 새롭게 삽입된 에지와 함께 중복될 수 있다. 새로운 경계 꼭짓점에는 경계의 자신의 측면에 대응하는 깊이/시차 값이 할당될 수 있고, 반면에 중복된 꼭짓점에는 경계의 다른 측면에 대응하는 값이 할당된다. 일 예에서, 경계 꼭짓점은 물체 경계를 횡단하는 각각의 메시 에지 상에서 생성된다. 그러한 꼭짓점에 대한 위치는 경계와 에지의 교차점으로서 계산될 수 있다.
따라서, 도 5(b)는 새로운 경계 꼭짓점(40) 및 메시 에지(44)가 다른 물체 경계(46)와 교차하는 물체 경계(42) 상에 삽입될 수 있다는 것을 입증한다. 경계 꼭짓점(40)은 물체 경계(46)의 다른 측면 상의 다른 꼭짓점(48)으로서 중복될 수 있다. 결과적으로, 경계 꼭짓점(40)에 대응하는 샘플은 경계(46)를 갖는 물체로부터 깊이, 시차 및/또는 컬러 데이터를 획득할 수 있고, 반면에 꼭짓점(48)에 대응하는 샘플은 경계(46)를 갖는 물체로부터 깊이, 시차 및/또는 컬러 데이터를 획득할 수 있다.
적응형 리메싱은 또한, 경계 에지의 구조를 보존하면서, 평활한 및/또는 거의 평면의 장면 기하학적 구조(예를 들면, 가까운 깊이 값, 낮은 불연속 측정 값 등)의 영역에서 불필요한 꼭짓점을 제거할 수 있다. 경계 에지의 구조를 보존하기 위해, 경계 꼭짓점의 제거는 3 개의 가이드라인을 따를 수 있다.
경계를 존중하기 - 내부 꼭짓점이 제거될 때, 경계 꼭짓점이 이동하지 않는다.
대칭적인 경계 변화 - 경계 꼭짓점은 동일한 경계의 다른 측면 상의 자신의 사본(duplicate)과 함께 제거된다. 인접한 경계 꼭짓점 및/또는 에지 및 그들의 사본은 동일한 방식으로 변환될 수 있다.
경계를 따르기 - 경계 꼭짓점은 경계를 따른 경계 꼭짓점 제거 시프트의 결과로서 시프팅한다.
꼭짓점을 제거하기 위한 다른 접근법은 상황에 의존하여 사용될 수 있다. 그럼에도 불구하고, 꼭짓점 삽입/제거 동작은 토폴로지 인식 방식으로 수행될 수 있어서, 이미지 내의 물체 경계를 추적하는 "매니폴드(manifold)" 메시를 생성한다. 또한, 삽입/제거 동작은 특정 기준이 만족될 때까지(예를 들면, 다각형 카운트 또는 표면 에러 임계치가 도달됨) 수행될 수 있다.
도 6은 불균일한 메시를 생성하는 방법(50)을 도시한다. 따라서, 방법(50)은 이미 논의된 프로세싱 블록(26)(도 3)에 대해 용이하게 대체될 수 있다. 따라서, 방법(50)은 RAM, ROM, PROM, 펌웨어, 플래시 메모리 등과 같은 메모리의 기계 또는 컴퓨터 판독 가능 저장 매체 내에 저장된 한 세트의 로직 명령어들로서 실행 가능 소프트웨어의 하나 이상의 모듈로서, PLA, FPGA, CPLD와 같은 구성 가능 로직에서, ASIC, CMOS 또는 TTL 기술과 같은 회로 기술을 이용하는 고정 기능 로직 하드웨어에서, 또는 이들의 임의 조합에서 구현될 수 있다. 균일한 메시는 블록(52)에서 제 1 이미지에 대해 생성될 수 있고, 여기서 예시된 블록(53)은 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 메시에 삽입하고, 블록(54)은 제 1 이미지에서 하나 이상의 경계와 정렬하지 않는 균일한 메시의 하나 이상의 꼭짓점을 제거한다. 일 예에서, 블록(54)은 다각형 카운트, 표면 에러 등 또는 이들의 임의의 조합을 정의하는 기준에 따라 하나 이상의 꼭짓점을 제거하는 것을 수반한다. 예를 들면, 메시 내의 다각형의 수는, 최대 표면 에러 임계치가 도달될 때까지 (예를 들면, 꼭짓점 제거를 통해) 감소될 수 있다. 그러한 접근법은 최적의 수의 꼭짓점을 제공할 수 있다.
이제 도 7을 참조하면, 뷰 보간 로직(56)(56a-56d)이 도시되고, 여기서 예시된 뷰 보간 로직(56)은 일반적으로 중간 시점으로부터 합성된 이미지를 렌더링하도록 구성된 장치로서 기능할 수 있다. 더 구체적으로, 뷰 보간 로직(56)의 하나 이상의 양태는 고정 기능 로직 하드웨어로서 구현될 수 있다. 예시된 예에서, 메시 초기화기(mesh initializer)(56a)는 제 1 이미지에 대한 균일한 메시를 생성하고, 메시 어댑터(56b)는 제 1 이미지 내의 하나 이상의 경계와 정렬된 하나 이상의 꼭짓점을 균일한 메시에 삽입하고, 제 1 이미지에서 하나 이상의 경계와 정렬하지 않는 메시의 하나 이상의 꼭짓점을 제거한다. 이미 언급된 바와 같이, 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거될 수 있다. 따라서, 제거는 제 1 이미지에서 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 갖는 불균일한 메시를 발생시킬 수 있다.
예시된 뷰 보간 로직(56)은 또한 적어도 제 1 이미지와 연관된 샘플 데이터를 획득하기 위한 데이터 모듈(56c)을 포함하고, 여기서 샘플 데이터는 복수의 꼭짓점에 대응한다. 데이터 모듈(56c)은 적절한 메모리 위치, 레지스터, 네트워크 제어기 등으로부터 샘플 결과를 조회하고, 제 1 이미지를 샘플링하는 것 등 또는 이들의 임의의 조합을 행할 수 있다. 부가적으로, 이미지 합성기(56d)는 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성할 수 있다. 제 1 이미지는 제 1 시점과 연관될 수 있고, 제 2 이미지는 제 1 시점과 상이한 제 2 시점과 연관될 수 있다. 일 예에서, 이미지 합성기(56d)는 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링한다. 또한, 하나 이상의 영역은 제 3 이미지(예를 들면, 다른 캡처된 이미지)로부터의 데이터 또는 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링될 수 있다.
도 8은 시스템(700)의 실시예를 도시한다. 실시예에서, 시스템(700)은 미디어 시스템일 수 있지만, 시스템(700)은 이러한 맥락으로 제한되지 않는다. 예를 들면, 시스템(700)은 퍼스널 컴퓨터(PC), 랩톱 컴퓨터, 울트라 랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 셀룰러 전화기/PDA의 조합, 텔레비전, 스마트 장치(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치 등에 포함될 수 있다. 따라서, 시스템(700)은 본 명세서에 기재된 바와 같이 뷰 보간을 실시하기 위해 사용될 수 있다.
실시예에서, 시스템(700)은 시각적 콘텐츠를 제공하는 디스플레이(720)에 결합된 플랫폼(702)을 포함한다. 플랫폼(702)은 콘텐츠 서비스 장치(들)(730) 또는 콘텐츠 전달 장치(들)(740) 또는 다른 유사한 콘텐츠 소스와 같은 콘텐츠 장치로부터 비디오 비트스트림 콘텐츠를 수신할 수 있다. 하나 이상의 내비게이션 특징을 포함하는 내비게이션 제어기(750)는 예를 들어 플랫폼(702) 및/또는 디스플레이(720)와 상호 작용하기 위해 사용될 수 있다. 이러한 구성 요소의 각각은 아래에서 더 상세히 설명된다.
실시예에서, 플랫폼(702)은 칩셋(705), 프로세서(710), 메모리(712), 저장소(714), 그래픽 서브시스템(715), 애플리케이션(716) 및/또는 무선부(718)(예를 들면, 네트워크 제어기)의 임의의 조합을 포함할 수 있다. 칩셋(705)은 프로세서(710), 메모리(712), 저장소(714), 그래픽 서브시스템(715), 애플리케이션(716) 및/또는 무선부(718) 사이에서 상호 통신을 제공할 수 있다. 예를 들면, 칩셋(705)은 저장소(714)와의 상호 통신을 제공할 수 있는 (도시되지 않은) 저장 어댑터를 포함할 수 있다.
프로세서(710)는 CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서, x86 명령어 세트 호환 가능한 프로세서, 멀티 코어 또는 임의의 다른 마이크로 프로세서 또는 중앙 처리 장치(CPU)로서 구현될 수 있다. 실시예에서, 프로세서(710)는 듀얼 코어 프로세서(들), 듀얼 코어 모바일 프로세서(들) 등을 포함할 수 있다.
메모리(712)는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM) 또는 정적 RAM(SRAM)과 같은 휘발성 메모리 장치로 구현될 수 있지만, 이에 제한되지 않는다.
저장소(714)는 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 저장 장치, 부착된 저장 장치, 플래시 메모리, 배터리 백업 SDRAM(동기식 DRAM) 및/또는 네트워크 액세스 가능한 저장 장치와 같은 비휘발성 저장 장치로 구현될 수 있지만, 이에 제한되지 않는다. 실시예에서, 저장소(714)는 예를 들어 다수의 하드 드라이브가 포함될 때 가치있는 디지털 매체에 대한 저장 성능 강화 보호를 증대시키기 위한 기술을 포함할 수 있다.
그래픽 서브시스템(715)은 디스플레이를 위한 정지 영상 또는 동영상의 처리를 수행할 수 있다. 그래픽 서브시스템(715)은 예를 들어 그래픽 처리 유닛(GPU) 또는 시각적 처리 유닛(VPU)일 수 있다. 따라서, 그래픽 서브시스템(715)은 이미 논의된 뷰 보간 로직(56)(도 7)을 포함할 수 있다. 게다가, 프로세서(710)는 메모리(712), 저장소(714) 또는 다른 적절한 소스로부터 획득된 명령어를 통해 동작하도록 구성될 수 있다. 아날로그 또는 디지털 인터페이스는 그래픽 서브시스템(715) 및 디스플레이(720)를 통신 가능하게 결합하는 데 사용될 수 있다. 예를 들면, 인터페이스는 고화질 멀티미디어 인터페이스, 디스플레이 포트, 무선 HDMI 및/또는 무선 HD 호환 기술 중 어느 하나일 수 있다. 그래픽 서브시스템(715)은 프로세서(710) 또는 칩셋(705)에 집적될 수 있다. 그래픽 서브시스템(715)은 칩셋(705)에 통신 가능하게 결합된 독립형 카드일 수 있다.
본 명세서에서 설명된 그래픽 및/또는 비디오 처리 기술은 다양한 하드웨어 구조로 구현될 수 있다. 예를 들면, 그래픽 및/또는 비디오 기능은 칩셋 내에 집적될 수 있다. 대안으로, 별개의 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 실시예로서, 그래픽 및/또는 비디오 기능은 멀티 코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다. 추가의 실시예에서, 이러한 기능은 가전 장치에서 구현될 수 있다.
무선부(718)는 다양한 적절한 무선 통신 기술을 이용하여 신호를 송신 및 수신할 수 있는 하나 이상의 무선부를 포함하는 네트워크 제어기일 수 있다. 이러한 기술은 하나 이상의 무선 네트워크를 통한 통신을 포함할 수 있다. 예시적인 무선 네트워크는 무선 근거리 통신망(WLAN), 무선 개인 영역 네트워크(WPAN), 무선 도시 지역 통신망(WMAN), 셀룰러 네트워크 및 위성 네트워크를 포함한다(그러나 이에 제한되지 않는다). 이러한 네트워크를 통한 통신에서, 무선부(718)는 어떤 버전의 하나 이상의 적용 가능한 표준에 따라 동작할 수 있다.
실시예에서, 디스플레이(720)는 임의의 텔레비전 타입의 모니터 또는 디스플레이를 포함할 수 있다. 디스플레이(720)는 예를 들어 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전형 장치 및/또는 텔레비전을 포함할 수 있다. 디스플레이(720)는 디지털 및/또는 아날로그일 수 있다. 실시예에서, 디스플레이(720)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(720)는 시각적 투사(visual projection)를 수용할 수 있는 투명한 표면일 수 있다. 이러한 투사는 다양한 형태의 정보, 이미지 및/또는 객체를 전달할 수 있다. 예를 들면, 이러한 투사는 모바일 증강 현실(MAR) 애플리케이션에 대한 시각적 오버레이(overlay)일 수 있다. 하나 이상의 소프트웨어 애플리케이션(716)의 제어에 따라, 플랫폼(702)은 디스플레이(720) 상에 사용자 인터페이스(722)를 디스플레이할 수 있다.
실시예에서, 콘텐츠 서비스 장치(들)(730)는 어떤 국내외 및/또는 독립적인 서비스에 의해 호스팅될 수 있고, 따라서 예를 들어 인터넷을 통해 플랫폼(702)에 접근 가능할 수 있다. 콘텐츠 서비스 장치(들)(730)는 플랫폼(702) 및/또는 디스플레이(720)에 결합될 수 있다. 플랫폼(702) 및/또는 콘텐츠 서비스 장치(들)(730)는 미디어 정보를 네트워크(760)로 전달하고 네트워크(760)로부터 전달하도록(예를 들어, 송신 및/또는 수신하도록) 네트워크(760)에 결합될 수 있다. 콘텐츠 전달 장치(들)(740)는 또한 플랫폼(702) 및/또는 디스플레이(720)에 결합될 수 있다.
실시예에서, 콘텐츠 서비스 장치(730)는 케이블 텔레비전 박스, 개인용 컴퓨터, 네트워크, 전화, 인터넷 가능 장치 또는 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 어플라이언스(appliance), 및 네트워크(760)를 통하거나 직접 콘텐츠 제공자와 플랫폼(702) 및/또는 디스플레이(720) 사이로 콘텐츠를 단방향 또는 양방향 통신할 수 있는 임의의 다른 유사한 장치를 포함할 수 있다. 콘텐츠는 네트워크(760)를 통해 시스템(700) 및 콘텐츠 제공자의 구성 요소 중 어느 하나로부터 그리고 어느 하나로 단방향 및/또는 양방향 통신될 수 있다는 것이 이해될 것이다. 콘텐츠의 예는 예를 들어, 비디오, 음악, 의료 및 게임 정보 등을 포함하는 임의의 미디어 정보를 포함할 수 있다.
콘텐츠 서비스 장치(730)는 미디어 정보, 디지털 정보 및/또는 다른 콘텐츠를 포함하는 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신한다. 콘텐츠 제공자의 예는 임의의 케이블 또는 위성 텔레비전 또는 무선부 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공된 예는 실시예를 제한하는 것으로 의미되지 않는다.
실시예에서, 플랫폼(702)은 하나 이상의 내비게이션 특징을 갖는 내비게이션 제어기(750)로부터 제어 신호를 수신할 수 있다. 제어기(750)의 내비게이션 특징은 예를 들어 사용자 인터페이스(722)와 상호 작용하는데 사용될 수 있다. 실시예에서, 내비게이션 제어기(750)는 사용자가 공간(예를 들어, 연속적 및 다차원) 데이터를 컴퓨터에 입력하도록 하는 컴퓨터 하드웨어 구성 요소(특히 인간 인터페이스 장치)일 수 있는 포인팅 장치일 수 있다. 그래픽 사용자 인터페이스(GUI), 및 텔레비전 및 모니터와 같은 많은 시스템은 사용자가 데이터를 제어하여 물리적 제스처(gesture)를 사용하여 컴퓨터 또는 텔레비전에 제공할 수 있다.
제어기(750)의 내비게이션 특징의 이동은 포인터, 커서, 포커스 링 또는 디스플레이 상에 디스플레이된 다른 시각적 표시자(visual indicator)의 이동에 의해 디스플레이(예를 들면, 디스플레이(720)) 상에 에코(echo)될 수 있다. 예를 들면, 소프트웨어 애플리케이션(716)의 제어하에, 내비게이션 제어기(750)에 위치된 내비게이션 특징은 예를 들어 사용자 인터페이스(722) 상에 표시된 가상 내비게이션 특징으로 맵핑될 수 있다. 실시예에서, 제어기(750)는 별도의 구성 요소가 아니라 플랫폼(702) 및/또는 디스플레이(720)에 집적될 수 있다. 그러나, 실시예는 요소 또는 본 명세서에 보여주거나 설명된 맥락으로 제한되지 않는다.
실시예에서, (도시되지 않은) 드라이버는 사용자가 예를 들어 활성화될 때에 초기 부팅 후 버튼의 터치로 텔레비전처럼 플랫폼(702)을 즉시 턴 온 및 턴 오프할 수 있도록 하기 위한 기술을 포함할 수 있다. 프로그램 논리는 플랫폼이 턴 "오프"될 때 플랫폼(702)이 콘텐츠를 미디어 어댑터 또는 다른 콘텐츠 서비스 장치(들)(730) 또는 콘텐츠 전달 장치(들)(740)로 스트리밍하도록 할 수 있다. 게다가, 칩셋(705)은 예를 들어 5.1 서라운드 사운드 오디오 및/또는 고화질 7.1 서라운드 사운드 오디오를 위한 하드웨어 및/또는 소프트웨어 지원부를 포함할 수 있다. 드라이버는 집적된 그래픽 플랫폼을 위한 그래픽 드라이버를 포함할 수 있다. 실시예에서, 그래픽 드라이버는 주변 구성 요소 상호 연결(PCI) 익스프레스 그래픽 카드를 포함할 수 있다.
다양한 실시예에서, 시스템(700)에 도시된 구성 요소 중 어느 하나 이상이 집적될 수 있다. 예를 들면, 플랫폼(702) 및 콘텐츠 서비스 장치(들)(730)가 집적될 수 있거나, 플랫폼(702) 및 콘텐츠 전달 장치(들)(740)가 집적될 수 있거나, 예를 들어 플랫폼(702), 콘텐츠 서비스 장치(들)(730) 및 콘텐츠 전달 장치(들)(740)가 집적될 수 있다. 다양한 실시예에서, 플랫폼(702) 및 디스플레이(720)는 집적된 유닛일 수 있다. 디스플레이(720) 및 콘텐츠 서비스 장치(들)(730)는 집적될 수 있거나, 디스플레이(720) 및 콘텐츠 전달 장치(들)(740)가 예를 들어 집적될 수 있다. 이러한 예는 실시예를 제한하는 것으로 의미되지 않는다.
다양한 실시예에서, 시스템(700)은 무선 시스템, 유선 시스템 또는 둘 다의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현되는 경우, 시스템(700)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 논리 등과 같은 무선 공유 매체를 통해 통신하기에 적합한 구성 요소 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스펙트럼의 부분을 포함할 수 있다. 유선 시스템으로서 구현되는 경우, 시스템(700)은 입/출력(I/O) 어댑터, I/O 어댑터를 상응하는 유선 통신 매체와 연결하기 위한 물리적 커넥터, 네트워크 인터페이스 카드(NIC), 디스크 제어기, 비디오 제어기, 오디오 제어기 등과 같은 유선 통신 매체를 통해 통신하기에 적합한 구성 요소 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 금속 배선, 인쇄 회로 기판(PCB), 백플레인, 스위치 패브릭, 반도체 재료, 연선, 동축 케이블, 광섬유 등을 포함할 수 있다.
플랫폼(702)은 정보를 전달하기 위해 하나 이상의 논리적 또는 물리적 채널을 확립할 수 있다. 정보는 미디어 정보 및 제어 정보를 포함할 수 있다. 미디어 정보는 사용자에 대해 의미하는 콘텐츠를 나타내는 임의의 데이터를 나타낼 수 있다. 콘텐츠의 예는 예를 들어 음성 대화로부터의 데이터, 화상 회의, 스트리밍 비디오, 전자 메일("이메일") 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등을 포함할 수 있다. 음성 대화로부터의 데이터는 예를 들어 음성 정보, 침묵 주기(silence period), 배경 잡음, 편안한 잡음 및 톤 등일 수 있다. 제어 정보는 자동화 시스템을 위한 명령, 명령어 또는 제어 워드를 나타내는 임의의 데이터를 나타낼 수 있다. 예를 들면, 제어 정보는 시스템을 통해 미디어 정보를 라우팅하는데 사용될 수 있거나, 미리 정해진 방식으로 미디어 정보를 처리하기 위해 노드에 지시할 수 있다. 그러나, 이러한 실시예는 요소 또는 도 8에 도시되거나 설명된 맥락으로 제한되지 않는다.
상술한 바와 같이, 시스템(700)은 가변 물리적 스타일 또는 폼 팩터로 구현될 수 있다. 도 9는 시스템(700)이 구현될 수 있는 소형 폼 팩터 장치(800)의 실시예를 도시한다. 실시예에서, 예를 들면, 장치(800)는 무선 능력을 갖는 모바일 컴퓨팅 장치로서 구현될 수 있다. 모바일 컴퓨팅 장치는 처리 시스템과, 예를 들어 하나 이상의 배터리와 같은 모바일 전원 또는 공급 장치를 갖는 임의의 장치를 나타낼 수 있다.
상술한 바와 같이, 모바일 컴퓨팅 장치의 예는 퍼스널 컴퓨터(PC), 랩톱 컴퓨터, 울트라 랩톱 컴퓨터, 태블릿, 터치 패드, 휴대용 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 셀룰러 전화기, 셀룰러 전화기/PDA의 조합, 텔레비전, 스마트 장치(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 장치(MID), 메시징 장치, 데이터 통신 장치 등을 포함할 수 있다.
모바일 컴퓨팅 장치의 예는 또한 손목 컴퓨터, 손가락 컴퓨터, 링 컴퓨터, 안경 컴퓨터, 벨트 클립 컴퓨터, 팔 밴드 컴퓨터, 구두 컴퓨터, 의류 컴퓨터 및 다른 착용형 컴퓨터와 같이 사람에 의해 착용되도록 배치되는 컴퓨터를 포함할 수 있다. 실시예에서, 예를 들면, 모바일 컴퓨팅 장치는 컴퓨터 애플리케이션뿐만 아니라 음성 통신 및/또는 데이터 통신을 실행할 수 있는 스마트 폰으로 구현될 수 있다. 일부 실시예가 예로서 스마트 폰으로 구현되는 모바일 컴퓨팅 장치로 설명될 수 있지만, 다른 실시예는 또한 다른 무선 모바일 컴퓨팅 장치를 이용하여 구현될 수 있다는 것이 이해될 수 있다. 실시예는 이러한 맥락으로 제한되지 않는다.
도 9에 도시된 바와 같이, 장치(800)는 하우징(802), 디스플레이(804), 입/출력(I/O) 장치(806) 및 안테나(808)를 포함할 수 있다. 장치(800)는 또한 내비게이션 특징(812)을 포함할 수 있다. 디스플레이(804)는 모바일 컴퓨팅 장치에 적절한 정보를 표시하기 위해 임의의 적합한 디스플레이 유닛을 포함할 수 있다. I/O 장치(806)는 정보를 모바일 컴퓨팅 장치에 입력하기 위한 임의의 적합한 I/O 장치를 포함할 수 있다. I/O 장치(806)에 대한 예는 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 장치 및 소프트웨어 등을 포함할 수 있다. 정보는 또한 마이크로폰을 통해 장치(800)로 입력될 수 있다. 이러한 정보는 음성 인식 장치에 의해 디지털화될 수 있다. 실시예는 이러한 맥락으로 제한되지 않는다.
추가적인 주석 및 예
예 1은 뷰 보간 시스템(view interpolation system)을 포함할 수 있고, 상기 시스템은 제 1 이미지를 수신하기 위한 네트워크 제어기와, 제 1 이미지에 대한 불균일한 메시(non-uniform mesh)를 생성하기 위한 메시 어댑터(mesh adapter)를 포함하고, 불균일한 메시는 제 1 이미지 내의 하나 이상의 경계(boundaries)와 정렬하는 복수의 꼭짓점(vertices)을 포함한다. 상기 시스템은 또한 적어도 제 1 이미지와 연관된 샘플 데이터를 획득하기 위한 데이터 모듈 ― 샘플 데이터는 복수의 꼭짓점에 대응함 ― 과, 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하기 위한 이미지 합성기(image synthesizer)를 포함할 수 있다.
예 2는 예 1의 시스템을 포함할 수 있고, 이미지 합성기는 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링한다.
예 3은 예 2의 시스템을 포함할 수 있고, 하나 이상의 영역은 제 3 이미지로부터의 데이터 또는 불균일한 메시에 적용되는 왜곡 정책(distortion policy) 중 하나 이상에 기초하여 렌더링된다.
예 4는 예 1의 시스템을 포함할 수 있고, 제 1 이미지에 대한 균일한 메시를 생성하기 위한 메시 초기화기(mesh initializer)를 더 포함하고, 메시 어댑터는 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 균일한 메시에 삽입하고, 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거한다.
예 5는 예 4의 시스템을 포함할 수 있고, 하나 이상의 꼭짓점은 다각형 카운트(polygon count) 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거된다.
예 6은 예 1 내지 예 5 중 어느 하나의 시스템을 포함할 수 있고, 제 1 이미지는 제 1 시점(point of view)과 연관되고, 제 2 이미지는 제 1 시점과 상이한 제 2 시점과 연관된다.
예 7은 뷰를 보간하는 방법을 포함할 수 있고, 상기 방법은 제 1 이미지에 대한 불균일한 메시를 생성하는 단계 ― 불균일한 메시는 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― 와, 적어도 제 1 이미지와 연관된 샘플 데이터를 획득하는 단계 ― 샘플 데이터는 복수의 꼭짓점에 대응함 ― 와, 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하는 단계를 포함한다.
예 8은 예 7의 방법을 포함할 수 있고, 제 2 이미지를 합성하는 단계는 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하는 단계를 포함한다.
예 9는 예 8의 방법을 포함할 수 있고, 하나 이상의 영역은 제 3 이미지로부터의 데이터 또는 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링된다.
예 10은 예 7의 방법을 포함할 수 있고, 불균일한 메시를 생성하는 단계는 제 1 이미지에 대한 균일한 메시를 생성하는 단계와, 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 균일한 메시에 삽입하는 단계와, 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거하는 단계를 포함한다.
예 11은 예 10의 방법을 포함할 수 있고, 균일한 메시의 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거된다.
예 12는 예 7 내지 예 11 중 어느 하나의 방법을 포함할 수 있고, 제 1 이미지는 제 1 시점과 연관되고, 제 2 이미지는 제 1 시점과 상이한 제 2 시점과 연관된다.
예 13은 명령어의 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 상기 명령어는, 컴퓨팅 장치에 의해 실행될 때, 컴퓨팅 장치로 하여금, 제 1 이미지에 대한 불균일한 메시를 생성하고 ― 불균일한 메시는 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― , 적어도 제 1 이미지와 연관된 샘플 데이터를 획득하고 ― 샘플 데이터는 복수의 꼭짓점에 대응함 ― , 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하게 한다.
예 14는 예 13의 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 명령어는, 실행될 때, 컴퓨팅 장치로 하여금, 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하게 한다.
예 15는 예 14의 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 하나 이상의 영역은 제 3 이미지로부터의 데이터 또는 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링된다.
예 16은 예 13의 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 명령어는, 실행될 때, 컴퓨팅 디바이스로 하여금, 제 1 이미지에 대한 균일한 메시를 생성하고, 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 균일한 메시에 삽입하고, 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거하게 한다.
예 17은 예 16의 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거된다.
예 18은 예 13 내지 예 17 중 어느 하나의 적어도 하나의 컴퓨터 판독가능 저장 매체를 포함할 수 있고, 제 1 이미지는 제 1 시점과 연관되고, 제 2 이미지는 제 1 시점과 상이한 제 2 시점과 연관된다.
예 19는 뷰 보간 장치를 포함할 수 있고, 상기 장치는 제 1 이미지에 대한 불균일한 메시를 생성하기 위한 메시 어댑터 ― 불균일한 메시는 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― 와, 적어도 제 1 이미지와 연관된 샘플 데이터를 획득하기 위한 데이터 모듈 ― 샘플 데이터는 복수의 꼭짓점에 대응함 ― 과, 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하기 위한 이미지 합성기를 포함한다.
예 20은 예 19의 장치를 포함할 수 있고, 이미지 합성기는 제 2 이미지에서 가려지지 않고 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링한다.
예 21은 예 20의 장치를 포함할 수 있고, 하나 이상의 영역은 제 3 이미지로부터의 데이터 또는 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링된다.
예 22는 예 19의 장치를 포함할 수 있고, 제 1 이미지에 대한 균일한 메시를 생성하기 위한 메시 초기화기를 더 포함하고, 메시 어댑터는 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 균일한 메시에 삽입하고, 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거한다.
예 23은 예 22의 장치를 포함할 수 있고, 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거된다.
예 24는 예 19 내지 예 23 중 어느 하나의 장치를 포함할 수 있고, 제 1 이미지는 제 1 시점과 연관되고, 제 2 이미지는 제 1 시점과 상이한 제 2 시점과 연관된다.
예 25는 예 7 내지 예 12 중 어느 하나의 방법을 수행하기 위한 수단을 포함하는 뷰 보간 장치를 포함할 수 있다.
따라서, 기술은 물체 경계 주변을 포함하여 합성된 이미지 내의 어딘가에 시각적으로 정확한 결과를 생성할 수 있다. 또한 폐색이 직접적으로 디스플레이될 수 있고, 샘플의 수 및 위치가 최적에 가깝기 때문에, 고품질 시각적 결과는 최적의 계산 부하로 달성될 수 있다. 부가적으로, 높은 정확도로 물체 경계를 검출하고 변위시키는 것은 다수의 뷰로부터 정보가 3D 모델의 완전한 재구성 없이 포커싱되는 것을 가능하게 한다(예를 들면, 이미지 품질의 추가적인 개선을 유도하고 및/또는 합성된 뷰에 대한 가상 카메라 위치/배향의 범위를 확장시킴). 동일한 경계 상의 2 개의 깊이/시차 값을 지원하는 것은 폐색의 정확한 디스플레이 및 다른 뷰로부터 컬러 값에 의해 충전되는 영역의 검출을 가능하게 한다. 또한, 기술은 장면 구조를 이해하기 위해 시차/깊이를 사용할 수 있다.
다양한 실시예는 하드웨어 요소, 소프트웨어 요소 또는 둘의 조합을 사용하여 구현될 수 있다. 하드웨어 요소의 예는 프로세서, 마이크로 프로세서, 회로, 회로 요소(예를 들어, 트랜지스터, 저항, 커패시터, 인덕터 등), 집적 회로, 주문형 집적 회로(ASIC), 프로그램 가능한 논리 장치(PLD), 디지털 신호 프로세서(DSP), 필드 프로그램 가능한 게이트 어레이(FPGA), 논리 게이트, 레지스터, 반도체 장치, 칩, 마이크로 칩, 칩셋 등을 포함할 수 있다. 소프트웨어의 예는 소프트웨어 구성 요소, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 운영 체제 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 방법, 절차, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(API), 명령어 세트, 계산 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼 또는 이의 임의의 조합을 포함할 수 있다. 실시예가 하드웨어 요소 및/또는 소프트웨어 요소를 이용하여 구현되는지를 판단하는 것은 원하는 계산 속도, 전력 레벨, 열 허용 오차, 처리 주기 버짓, 입력 데이터 전송 속도, 출력 데이터 전송 속도, 메모리 자원, 데이터 버스 속도 및 다른 설계 또는 성능 제약과 같은 다수의 요인에 따라 달라질 수 있다.
적어도 하나의 실시예 중 하나 이상의 양태는 대표적인 명령어가 머신에 의해 판독될 때에 머신가 본 명세서에서 설명된 기술을 수행하기 위한 논리를 제조하도록 하는 프로세서 내의 다양한 논리를 나타내는 머신 판독 가능한 매체 상에 저장된 대표적인 명령어에 의해 구현될 수 있다. "IP 코어"로서 알려진 이러한 표현은 유형의(tangible) 머신 판독 가능한 매체에 저장되고, 실제로 논리 또는 프로세서를 만드는 제조 머신에 로드(load)하기 위해 다양한 고객 또는 제조 설비에 공급될 수 있다.
실시예는 모든 타입의 반도체 집적 회로("IC") 칩과 함께 사용하는데 적용 가능하다. 이러한 IC 칩의 예는 프로세서, 제어기, 칩셋 구성 요소, 프로그램 가능한 논리 어레이(PLA), 메모리 칩, 네트워크 칩 등을 포함하지만 이에 제한되지 않는다. 게다가, 도면의 일부에서, 신호 도체 선은 선으로 나타낸다. 일부는 더 많은 구성 신호 경로를 나타내고, 숫자 라벨을 가지고, 다수의 구성 신호 경로를 나타내며/내거나, 하나 이상의 단부에 화살표를 가지며, 기본 정보 흐름 방향을 나타내기 위해 서로 다를 수 있다. 그러나, 이것은 제한적인 방식으로 해석되지 않아야 한다. 오히려, 이러한 추가적인 상세 사항은 회로를 쉽게 이해하기 용이하게 하기 위해 하나 이상의 예시적인 실시예와 관련하여 사용될 수 있다. 부가적인 정보를 갖든 안갖든 임의의 나타낸 신호선은 실제로 여러 방향으로 이동할 수 있고, 임의의 적절한 타입의 신호 방식, 예를 들어, 차동 쌍으로 구현된 디지털 또는 아날로그 선, 광섬유 선 및/또는 단일 종단 선으로 구현될 수 있는 하나 이상의 신호를 포함할 수 있다.
예시적인 크기/모델/값/범위가 주어졌지만, 실시예는 이에 제한되지 않는다. 제조 기술(예를 들어, 포토리소그래피)은 시간이 지나면서 발달함에 따라, 작은 크기의 장치가 제조될 수 있는 것으로 기대된다. 게다가, IC 칩 및 다른 구성 요소에 대한 잘 알려진 전력/접지 연결부는 예시 및 논의의 단순화를 위해 실시예의 어떤 양태를 모호하지 않도록 하기 위해 도면 내에 도시되거나 도시되지 않을 수 있다. 더욱이, 모호한 실시예를 회피하기 위해 배치가 블록도 형태로 도시될 수 있고, 또한 이러한 블록도의 구현에 대해 특정하는 사실을 고려하여, 배치는 실시예가 구현되는 플랫폼에 크게 의존하며, 즉, 이러한 특정한 것은 당연히 당업자의 범위 내에 있어야 한다. 특정한 상세 사항(예를 들어, 회로)이 예시적인 실시예를 나타내기 위해 설명되는 경우, 실시예는 이러한 특정한 상세 사항 없이 또는 변형으로 실시될 수 있다는 것이 당업자에게는 자명해야 한다. 따라서, 이러한 설명은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다.
일부 실시예는 예를 들어 머신에 의해 실행될 경우 머신가 실시예에 따라 방법 및/또는 동작을 수행하도록 할 수 있는 명령어 또는 명령어의 세트를 저장할 수 있는 머신 또는 유형의 컴퓨터 판독 가능한 매체 또는 물품을 이용하여 구현될 수 있다. 이러한 머신은 예를 들어 임의의 적절한 처리 플랫폼, 컴퓨팅 플랫폼, 컴퓨팅 장치, 처리 장치, 컴퓨팅 시스템, 처리 시스템, 컴퓨터, 프로세서 등을 포함할 수 있고, 하드웨어 및/또는 소프트웨어의 임의의 적절한 조합을 이용하여 구현될 수 있다. 머신 판독 가능한 매체 또는 물품은 예를 들어 임의의 적절한 타입의 메모리 유닛, 메모리 장치, 메모리 물품, 메모리 매체, 저장 장치, 저장 물품, 저장 매체 및/또는 저장 유닛, 예를 들어, 메모리, 이동식 또는 비이동식 매체, 소거 가능 또는 비소거 가능한 매체, 기록 가능 또는 재기록 가능한 매체, 디지털 또는 아날로그 매체, 하드 디스크, 플로피 디스크, CD-ROM(Compact Disk Read Only Memory), CD-R(Compact Disk Recordable), CD-RW(Compact Disk ReWriteable), 광 디스크, 자기 매체, 자기 광학 매체, 이동식 메모리 카드 또는 디스크, 다양한 타입의 DVD(Digital Versatile Disk), 테이프, 카세트 등을 포함할 수 있다. 명령어는 소스 코드, 컴파일된 코드, 해석된 코드, 실행 가능한 코드, 정적 코드, 동적 코드, 암호화된 코드 등과 같은 임의의 적절한 타입의 코드를 포함할 수 있고, 임의의 적절한 고 레벨, 저레벨, 객체 지향, 시각, 컴파일 및/또는 해석된 프로그래밍 언어를 이용하여 구현될 수 있다.
달리 구체적으로 언급되지 않으면, "처리", "컴퓨팅", "계산", "판단" 등과 같은 용어는 컴퓨팅 시스템의 레지스터 및/또는 메모리 내의 물리량(예를 들어, 전자)으로서 표현된 데이터를 조작하여, 컴퓨팅 시스템의 메모리, 레지스터 또는 다른 이러한 정보 저장소, 전송 또는 디스플레이 장치 내의 물리량으로서 유사하게 표현된 다른 데이터로 변환하는 컴퓨터 또는 컴퓨팅 시스템의 동작 및/또는 프로세스를 나타내는 것으로 이해될 수 있다. 실시예는 이러한 맥락으로 제한되지 않는다.
"결합"이라는 용어는 본 명세서에서 해당 구성 요소 사이의 직접 또는 간접 의 일정 타입의 관계를 나타내는 데 사용될 수 있고, 전기적, 머신적, 유동적, 광학적, 전자기적, 전기 머신적 또는 다른 연결에 적용할 수 있다. 게다가, "제 1", "제 2" 등이라는 용어는 본 명세서에서 논의를 용이하게 하는 데에만 사용될 수 있고, 달리 표시되지 않으면 특정한 시간적 또는 연대기적 의미를 갖지 않는다.
당업자는 실시예의 광범한 기술이 다양한 형태로 구현될 수 있다는 것을 상술한 설명으로부터 이해할 것이다. 따라서, 이 실시예가 그 특정 예와 관련하여 설명되었지만, 다른 수정이 도면, 명세서 및 다음 청구범위의 검토 시 실시자에게 명백해질 것이므로 실시예의 진정한 범위는 제한되지 않아야 한다.

Claims (25)

  1. 뷰 보간 시스템(view interpolation system)으로서,
    제 1 이미지를 수신하기 위한 네트워크 제어기와,
    상기 제 1 이미지에 대한 불균일한 메시(non-uniform mesh)를 생성하기 위한 메시 어댑터(mesh adapter) ― 상기 불균일한 메시는 상기 제 1 이미지 내의 하나 이상의 경계(boundaries)와 정렬하는 복수의 꼭짓점(vertices)을 포함함 ― 와,
    적어도 상기 제 1 이미지와 연관된 샘플 데이터를 획득하기 위한 데이터 모듈 ― 상기 샘플 데이터는 상기 복수의 꼭짓점에 대응함 ― 과,
    상기 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하기 위한 이미지 합성기(image synthesizer)를 포함하는
    뷰 보간 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 합성기는 상기 제 2 이미지에서 가려지지 않고 상기 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하는
    뷰 보간 시스템.

  3. 제 2 항에 있어서,
    상기 하나 이상의 영역은 제 3 이미지로부터의 데이터 또는 상기 불균일한 메시에 적용되는 왜곡 정책(distortion policy) 중 하나 이상에 기초하여 렌더링되는
    뷰 보간 시스템.
  4. 제 1 항에 있어서,
    상기 제 1 이미지에 대한 균일한 메시를 생성하기 위한 메시 초기화기(mesh initializer)를 더 포함하고,
    상기 메시 어댑터는 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 상기 균일한 메시에 삽입하고, 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거하는
    뷰 보간 시스템.
  5. 제 4 항에 있어서,
    상기 하나 이상의 꼭짓점은 다각형 카운트(polygon count) 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거되는
    뷰 보간 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제 1 이미지는 제 1 시점(point of view)과 연관되고,
    상기 제 2 이미지는 상기 제 1 시점과 상이한 제 2 시점과 연관되는
    뷰 보간 시스템.
  7. 뷰를 보간하는 방법으로서,
    제 1 이미지에 대한 불균일한 메시를 생성하는 단계 ― 상기 불균일한 메시는 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― 와,
    적어도 상기 제 1 이미지와 연관된 샘플 데이터를 획득하는 단계 ― 상기 샘플 데이터는 상기 복수의 꼭짓점에 대응함 ― 와,
    상기 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하는 단계를 포함하는
    뷰 보간 방법.

  8. 제 7 항에 있어서,
    상기 제 2 이미지를 합성하는 단계는 상기 제 2 이미지에서 가려지지 않고 상기 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하는 단계를 포함하는
    뷰 보간 방법.
  9. 제 8 항에 있어서,
    상기 하나 이상의 영역은 제 3 이미지로부터의 데이터 및 상기 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링되는
    뷰 보간 방법.
  10. 제 7 항에 있어서,
    상기 불균일한 메시를 생성하는 단계는,
    상기 제 1 이미지에 대한 균일한 메시를 생성하는 단계와,
    상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 상기 균일한 메시에 삽입하는 단계와,
    상기 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거하는 단계를 포함하는
    뷰 보간 방법.
  11. 제 10 항에 있어서,
    상기 균일한 메시의 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거되는
    뷰 보간 방법.
  12. 제 7 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 제 1 이미지는 제 1 시점과 연관되고,
    상기 제 2 이미지는 상기 제 1 시점과 상이한 제 2 시점과 연관되는
    뷰 보간 방법.
  13. 명령어의 세트를 포함하는 적어도 하나의 컴퓨터 판독가능 저장 매체로서,
    상기 명령어는, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    제 1 이미지에 대한 불균일한 메시를 생성하고 ― 상기 불균일한 메시는 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― ,
    적어도 상기 제 1 이미지와 연관된 샘플 데이터를 획득하고 ― 상기 샘플 데이터는 상기 복수의 꼭짓점에 대응함 ― ,
    상기 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하게 하는
    적어도 하나의 컴퓨터 판독가능 저장 매체.
  14. 제 13 항에 있어서,
    상기 명령어는, 실행될 때, 컴퓨팅 장치로 하여금, 상기 제 2 이미지에서 가려지지 않고 상기 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하게 하는
    적어도 하나의 컴퓨터 판독가능 저장 매체.
  15. 제 14 항에 있어서,
    상기 하나 이상의 영역은 제 3 이미지로부터의 데이터 및 상기 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링되는
    적어도 하나의 컴퓨터 판독가능 저장 매체.
  16. 제 13 항에 있어서,
    상기 명령어는, 실행될 때, 컴퓨팅 디바이스로 하여금,
    상기 제 1 이미지에 대한 균일한 메시를 생성하고,
    상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 상기 균일한 메시에 삽입하고,
    상기 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거하게 하는
    적어도 하나의 컴퓨터 판독가능 저장 매체.
  17. 제 16 항에 있어서,
    상기 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거되는
    적어도 하나의 컴퓨터 판독가능 저장 매체.
  18. 제 13 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 제 1 이미지는 제 1 시점과 연관되고,
    상기 제 2 이미지는 상기 제 1 시점과 상이한 제 2 시점과 연관되는
    적어도 하나의 컴퓨터 판독가능 저장 매체.
  19. 뷰 보간 장치로서,
    제 1 이미지에 대한 불균일한 메시를 생성하기 위한 메시 어댑터 ― 상기 불균일한 메시는 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― 와,
    적어도 상기 제 1 이미지와 연관된 샘플 데이터를 획득하기 위한 데이터 모듈 ― 상기 샘플 데이터는 상기 복수의 꼭짓점에 대응함 ― 과,
    상기 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하기 위한 이미지 합성기를 포함하는
    뷰 보간 장치.
  20. 제 19 항에 있어서,
    상기 이미지 합성기는 상기 제 2 이미지에서 가려지지 않고 상기 제 1 이미지에서 가려지는 하나 이상의 영역을 렌더링하는
    뷰 보간 장치.
  21. 제 20 항에 있어서,
    상기 하나 이상의 영역은 제 3 이미지로부터의 데이터 및 상기 불균일한 메시에 적용되는 왜곡 정책 중 하나 이상에 기초하여 렌더링되는
    뷰 보간 장치.
  22. 제 19 항에 있어서,
    상기 제 1 이미지에 대한 균일한 메시를 생성하기 위한 메시 초기화기를 더 포함하고,
    상기 메시 어댑터는 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 하나 이상의 꼭짓점을 상기 균일한 메시에 삽입하고, 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하지 않는 하나 이상의 꼭짓점을 제거하는
    뷰 보간 장치.
  23. 제 22 항에 있어서,
    상기 하나 이상의 꼭짓점은 다각형 카운트 또는 표면 에러 중 하나 이상을 정의하는 기준에 따라 제거되는
    뷰 보간 장치.
  24. 제 19 항 내지 23 항 중 어느 한 항에 있어서,
    상기 제 1 이미지는 제 1 시점과 연관되고,
    상기 제 2 이미지는 상기 제 1 시점과 상이한 제 2 시점과 연관되는
    뷰 보간 장치.
  25. 뷰 보간 장치로서,
    제 1 이미지에 대한 불균일한 메시를 생성하기 위한 수단 ― 상기 불균일한 메시는 상기 제 1 이미지 내의 하나 이상의 경계와 정렬하는 복수의 꼭짓점을 포함함 ― 과,
    적어도 상기 제 1 이미지와 연관된 샘플 데이터를 획득하기 위한 수단 ― 상기 샘플 데이터는 상기 복수의 꼭짓점에 대응함 ― 과,
    상기 샘플 데이터에 적어도 부분적으로 기초하여 제 2 이미지를 합성하기 위한 수단을 포함하는
    뷰 보간 장치.
KR1020167030668A 2014-06-03 2015-06-02 깊이 또는 시차를 갖는 이미지로부터의 뷰 보간을 위한 적응형 리-메싱 KR20160146775A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/294,309 US20150348319A1 (en) 2014-06-03 2014-06-03 Adaptive re-meshing for view interpolation from images with depth or disparity
US14/294,309 2014-06-03
PCT/US2015/033781 WO2015187691A1 (en) 2014-06-03 2015-06-02 Adaptive re-meshing for view interpolation from images with depth or disparity

Publications (1)

Publication Number Publication Date
KR20160146775A true KR20160146775A (ko) 2016-12-21

Family

ID=54702427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167030668A KR20160146775A (ko) 2014-06-03 2015-06-02 깊이 또는 시차를 갖는 이미지로부터의 뷰 보간을 위한 적응형 리-메싱

Country Status (5)

Country Link
US (1) US20150348319A1 (ko)
EP (1) EP3152739A4 (ko)
KR (1) KR20160146775A (ko)
CN (1) CN106537462B (ko)
WO (1) WO2015187691A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159742B2 (en) 2016-06-30 2021-10-26 Intel Corporation High-speed video from camera arrays
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
US10431000B2 (en) * 2017-07-18 2019-10-01 Sony Corporation Robust mesh tracking and fusion by using part-based key frames and priori model
CN111862425B (zh) * 2020-07-07 2022-05-13 深圳市凯达尔科技实业有限公司 一种基于3d立体可视化动态监控的停车场管理系统及方法
WO2023076982A2 (en) * 2021-10-28 2023-05-04 Google Llc Adaptive mesh reprojection for low latency 6dof rendering

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142209B2 (en) * 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US7432936B2 (en) * 2004-12-02 2008-10-07 Avid Technology, Inc. Texture data anti-aliasing method and apparatus
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US8760450B2 (en) * 2007-10-30 2014-06-24 Advanced Micro Devices, Inc. Real-time mesh simplification using the graphics processing unit
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
GB2460411B (en) * 2008-05-27 2012-08-08 Simpleware Ltd Image processing method
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US8379023B2 (en) * 2008-12-18 2013-02-19 Intel Corporation Calculating graphical vertices
US8787698B2 (en) * 2009-09-04 2014-07-22 Adobe Systems Incorporated Methods and apparatus for directional texture generation using image warping
US8654121B1 (en) * 2009-10-02 2014-02-18 Pixar Structured polygonal mesh retesselation
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
CN101799939A (zh) * 2010-04-02 2010-08-11 天津大学 基于左右视点图像的中间视点快速、自适应生成算法
FR2999325A1 (fr) * 2012-12-07 2014-06-13 Commissariat Energie Atomique Procede iteratif de determination d'une image en deux dimensions ou trois dimensions a partir de signaux issus de tomographie par rayons x

Also Published As

Publication number Publication date
WO2015187691A1 (en) 2015-12-10
CN106537462B (zh) 2020-03-17
EP3152739A4 (en) 2017-10-25
EP3152739A1 (en) 2017-04-12
CN106537462A (zh) 2017-03-22
US20150348319A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
TWI524732B (zh) 二維影像或視訊至三維立體影像或視訊的即時自動轉換
CN107346559B (zh) 解耦的着色流水线
US10404962B2 (en) Drift correction for camera tracking
JP2020522815A (ja) 滑らかに変化するフォービエイテッドレンダリング
KR20160146775A (ko) 깊이 또는 시차를 갖는 이미지로부터의 뷰 보간을 위한 적응형 리-메싱
TWI559256B (zh) 藉由合倂自相鄰圖元之片段以減少著色之技術
US8970587B2 (en) Five-dimensional occlusion queries
US9443347B2 (en) Time-continuous collision detection using 3D rasterization
TWI535277B (zh) 用於深度緩衝之方法、設備及系統
JP2016520908A (ja) 拡張現実用のラジアンス伝達サンプリングのための装置および方法
TWI517086B (zh) 用於去耦取樣為主描繪管線之低功率質心決定及紋理覆蓋區最佳化
KR101713041B1 (ko) 일반화된 플레인 인코딩을 이용한 확률적 깊이 버퍼 압축
TWI615807B (zh) 用於記錄在輸入幾何物件粒度上的可視度測試之結果的方法、設備及系統
CN111275824A (zh) 用于交互式增强现实的表面重建
US20220217322A1 (en) Apparatus, articles of manufacture, and methods to facilitate generation of variable viewpoint media
US9773477B2 (en) Reducing the number of scaling engines used in a display controller to display a plurality of images on a screen
US9273955B2 (en) Three-dimensional data acquisition
KR20170005033A (ko) 감소된 픽셀 쉐이딩을 위한 기술
TWI601090B (zh) 用於隨機柵格化之彈性散焦模糊的技術
TWI502539B (zh) 用於隨機柵格化之使用線性邊界的淘汰技術

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application