KR101491941B1 - 서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법 - Google Patents

서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR101491941B1
KR101491941B1 KR1020137014113A KR20137014113A KR101491941B1 KR 101491941 B1 KR101491941 B1 KR 101491941B1 KR 1020137014113 A KR1020137014113 A KR 1020137014113A KR 20137014113 A KR20137014113 A KR 20137014113A KR 101491941 B1 KR101491941 B1 KR 101491941B1
Authority
KR
South Korea
Prior art keywords
information
user
representation
server
illumination
Prior art date
Application number
KR1020137014113A
Other languages
English (en)
Other versions
KR20130085051A (ko
Inventor
덴 베르그 스티븐 반
슈에페르 코엔 데
Original Assignee
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알까뗄 루슨트 filed Critical 알까뗄 루슨트
Publication of KR20130085051A publication Critical patent/KR20130085051A/ko
Application granted granted Critical
Publication of KR101491941B1 publication Critical patent/KR101491941B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

데이터 통신 네트워크를 통해 서버로부터 제 1 클라이언트 디바이스로 3D 장면 모델(a 3D scene model)의 3D 표현을 전송하는 방법 - 3D 장면 모델은 3D 객체 세트(a set of 3D objects)의 기하 구조와 재질 정보 및 광원을 정의하는 정보이고 서버에 저장되고, 3D 표현은 제 1 클라이언트 디바이스와 관련된 제 1 사용자를 위한 가상 뷰잉 포인트(a virtual viewing point)에 상응함 - 으로서, 방법은, 서버 내에서 3D 장면 모델로부터 3D 객체에 대한 표현 정보를 얻는 단계, 표현 정보의 압축을 수행하는 단계, 압축된 표현 정보를 디스플레이를 위해 제 1 클라이언트 디바이스로 전달하는 단계 - 표현 정보는 3D 객체에 대한 일루미네이션 정보를 더 포함하고, 3D 객체에 대한 일루미네이션 정보는 사용자를 위한 하나 이상의 가상 뷰잉 포인트에 상응함 -, 서버 및 라우팅 수단을 포함한다.

Description

서버로부터 클라이언트로 3Ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법{METHOD AND DEVICES FOR TRANSMITTING 3D VIDEO INFORMATION FROM A SERVER TO A CLIENT}
본 발명은 서버로부터 클라이언트로 3D 비디오를 렌더링하기 위한 디바이스 및 방법에 관한 분야와 관련된다. 일반적인 애플리케이션에서, 3D 비디오는 클라이언트 디바이스와 관련된 2D 디스플레이를 사용하여 사용자에게 렌더링된다. 디스플레이상에 렌더링된 2D 이미지는 가상 3D 장면 모델 내 사용자의 가상 뷰잉 포인트(a virtual viewing point)에 상응할 수 있다.
(게임 및 유저 인터페이스를 포함하는) 고급 3D 렌더링을 요구하는 애플리케이션 세트가 증가하고 있다. 3D 렌더링에 대한 기존 솔루션은 서로 다른 원리들에 기반하고 있다. 3D 게임 또는 애플리케이션에서, 환경은 3D 공간 내 객체를 포함하는 장면으로 설명된다. 이러한 객체들은 예를 들어 삼각면(triangular facets)을 포함하는 면 구조(facet structures)로서 일반적으로 정의된다. 이러한 면에는 미리 결정된 "텍스쳐"가 또한 제공되는데, 이는 매우 간단한 기능(정적 컬러 또는 기울기)에 의하거나, 또는 그림(예를 들어, jpeg 파일)에 의하거나, 또는 표면 물리적 거동(surface physical behavior) (예를 들어, 1999년 유로그래픽스 렌더링 워크샵, Jan Kautz 및 Michael D. McCool, "Interactive Rendering with Arbitrary BRDFs using Separable Approximations"에 의해 설명된 것으로서 BRDF(bidirectional reflectance distributions))의 더 복잡한 표현을 통하여 제공될 수 있다.
객체 다음으로, 광원(light sources)은 구체적인 특성(컬러(colour), 확산 모델 등)으로 정의된다. 현재 배치(deployments)는, 서버 노드에서(및 클라이언트와 관련된 2D 디스플레이상에 렌더링하기 위해 클라이언트에게 2D를 비디오 스트림으로 출력) 또는 집에서(플레이스테이션, PC 등) 3D 프로세싱 및 2D 프로세싱 둘 다를 작동시킨다(도 1 참조). 3D 프로세싱 및 2D 프로세싱은 나눠질 수 없고, 그러므로, 분리된 프로세싱은 가능하지 않다. 더욱이, 프로세싱은 각 애플리케이션에 대하여 및 각 사용자에 대하여 수행되어야 한다. 이는 분명히 확장성(scalability) 문제를 야기한다.
본 발명의 목적은 청구항 1에 따른 방법, 청구항 6에 따른 서버, 및 청구항 10에 따른 라우팅 수단을 제공하는 것이며, 이는 위의 문제들 중 적어도 하나를 해결한다.
본 발명의 첫 번째 양태를 따라, 방법은 3D 장면 모델(a 3D scene model)의 3D 표현(3D representation)을 데이터 통신 네트워크를 통해 서버로부터 제 1 클라이언트 디바이스로 전송하는 방법이 제시되는데, 3D 장면 모델은 3D 객체 세트(a set of 3D objects)에 대한 기하 구조와 재질 정보(geometry and material information) 및 광원을 정의하는 정보이며 서버에 저장되고, 3D 표현은 제 1 클라이언트 디바이스와 관련된 제 1 사용자를 위한 가상 뷰잉 포인트에 상응하고, 방법은 서버에서 3D 장면 모델로부터 3D 객체에 대한 표현 정보를 얻는 단계, 표현 정보의 압축을 수행하는 단계, 압축된 표현 정보를 디스플레이를 위해 제 1 클라이언트 디바이스로 전달하는 단계 - 표현 정보는 3D 객체에 대한 일루미네이션 정보(illumination information)를 더 포함하고, 3D 객체에 대한 일루미네이션 정보는 사용자를 위한 하나 이상의 가상 뷰잉 포인트에 상응함 - 를 포함한다.
기하 구조 정보는 3D 장면 모델 내 객체의 (변화 가능한) 기하 구조와 관련된 정보이다.
재질 정보는 3D 객체를 정의하는 (가상의) 재질의 광학적 특성을 정의하는 정보이다. 재질 정보는 광과 각 3D 객체의 상호작용을 설명하는 정보를 포함할 수 있다. 재질 정보는, 객체 또는 객체의 일부에 관한 컬러, 광 흡수, 확산, 굴절 및 반사 파라미터 중 적어도 하나를 포함한다. 재질 정보는 이러한 파라미터 중 다수 또는 모두를 포함할 수 있다.
광원 정보는 광원의 개수, 장면 내 광원의 가상 위치, 광원의 종류, 방출된 광의 강도 등을 포함할 수 있다.
본 발명의 실시예들에 따라, 표현 정보의 일부인 일루미네이션 정보는 상기 압축된 표현 정보 내에서 압축된다.
바람직한 실시예들에 따라, 압축은 시간적 압축 및 공간적 압축 중 적어도 하나를 포함한다. 이들 자체에 대한 시간적 압축 및 공간적 압축은 당업자에게 잘 알려져 있고, 예를 들어, (2008년 제 15 회 IEEE 이미지 프로세싱 국제 컨퍼런스(IEEE International Conference on Image Processing :ICIP) 의사록, N. Stefanoski 외, "Spatially and temporally scalable compression of animated 3D meshes with MPEG-4 / FAMC"에서 설명된 바와 같은) 3D 메쉬 표현에 대한 분야에서 찾을 수 있다.
바람직한 실시예들에 따라, 방법은 포톤 매핑 기법(photon mapping techniques)에 의해 일루미네이션 정보를 얻는 단계를 더 포함한다.
본 발명의 실시예들에 따라, 일루미네이션 정보는 장면의 일루미네이션에 관련된 컬러 정보를 생성하도록 (예를 들어, 제 7 회 렌더링에 관한 유로그래픽 워크샵, Henrik Wann Jensen, "Global Illumination Using Photon Maps"에서 설명된 바와 같은) 포톤 매핑 메커니즘을 적용함으로써 얻어진다. 이는 장면 내 선택된 포인트에 대한 컬러 정보를 야기하는 반사, 굴절, 그림자 및 확산에 관하여 장면에 대한 광원의 영향을 계산하는 것을 포함한다. 컬러에 관한 이러한 정보는 하나 또는 복수의 써머라이징 포톤 테이블(summarizing photon tables) 내에 저장되고, 이러한 테이블은 그 뒤에 바람직하게 공간적으로(시간상 특정 포인트의 장면 표현 내에서) 및 시간적으로(시간상 상이한 포인트의 장면 표현을 참조하여) 압축된다.
바람직한 실시예에 따라, 표현 정보는 객체에 관한 3D 면 구조 정보를 포함하고 일루미네이션 정보는 면들에 대한 각각의 일루미네이션 정보를 포함한다.
일루미네이션 정보는, 장면 정보를 각 면에 대한 컬러 정보(colour information)로 변환하도록, 예를 들어, ISBN 978-0201544121, A Watt, chapters 7-9, "Advanced animation and rendering techniques"에 설명된 광선 추적 메커니즘(ray tracing mechanisms)을 적용함으로써 얻어질 수 있다. 이는 각 면에 대한 컬러 정보를 야기하는 반사, 굴절, 그림자 및 확산에 관하여 장면상에서의 광원의 영향을 계산하는 것을 포함한다. 컬러에 대한 이러한 정보는 바람직하게 공간적으로(시간상 특정 포인트의 장면 표현 내에서) 및 시간적으로(시간상 상이한 포인트의 장면 표현을 참조하여) 압축된다.
본 발명의 바람직한 실시예에 따라, 서버와 서버에 의해 서비스받는 복수의 클라이언트 디바이스 사이의 필수적인 데이터 흐름의 수를 감소시키기는 솔루션을 제공하기 위해, 표현 정보는 데이터 통신 네트워크상에서 더 사용된다. 그러므로 데이터 통신 네트워크는 압축된 표현 정보를 서버로부터 수신하는 중간 노드를 적어도 포함하되, 중간 노드는 압축된 표현 정보로부터 제 1 사용자를 위한 요구되는 표현 정보를 얻고, 요구되는 표현 정보를 사용하여 제 1 클라이언트 디바이스를 위한 장면에 대한 2D 뷰를 생성하고, 동일한 압축된 표현 정보로부터 제 2 사용자와 관련된 제 2 클라이언트 디바이스를 위한 요구되는 표현 정보를 얻고, 제 2 사용자는 동일한 3D 장면 모델과 관련되고 제 1 사용자의 가상 뷰잉 포인트와 동일하거나 상이한 가상 뷰잉 포인트를 가지며, 이를 위해 일루미네이션 정보는 또한 제 2 사용자의 가상 뷰잉 포인트로부터 장면에 대한 2D 뷰를 생성하기 위한 정보를 나타낸다.
본 발명의 실시예들에 따라 제 2 사용자는 제 1 사용자와 동일할 수 있다. 제 2 클라이언트 디바이스 및 제 1 클라이언트 디바이스는 동일하거나 다를 수 있다.
본 발명의 실시예들에 따라, 제 1 클라이언트 디바이스와 제 2 클라이언트 디바이스는 동일하지만, 제 1 사용자와 제 2 사용자는 동일하지 않다. 제 1 사용자 및 제 1 사용자와 상이한 제 2 사용자에 대한 렌더링 뷰는 예를 들어, 단일 디스플레이상에서 수행되고, 이로 인하여 각 사용자는 디스플레이 영역 중 할당된 절반을 받을 것이다.
각 클라이언트 디바이스는, 예를 들어, 2D 이미지/비디오를 렌더링하는 스크린으로서, 단일 디스플레이 수단을 포함하거나 단일 디스플레이 수단과 관련될 수 있다.
본 발명의 두 번째 양태에 따라, 서버는 데이터 통신 네트워크를 통해 클라이언트 디바이스로 3D 장면 모델의 3D 표현을 전송하기 위해 개시되는데, - 3D 장면 모델은 3D 객체 세트의 기하 구조와 재질 정보 및 광원을 정의하는 정보이고, 3D 표현은 클라이언트 디바이스와 관련된 사용자의 가상 뷰잉 포인트에 상응함 -, 서버는, 3D 장면 모델로부터 3D 객체에 대한 표현 정보를 얻고, 표현 정보의 압축을 수행하고, 디스플레이를 위해 클라이언트 디바이스로 압축된 표현 정보를 전달하도록 구성되고, 서버는 3D 객체에 대한 일루미네이션 정보를 포함하는 표현 정보를 얻도록 더 구성되고, 3D 객체에 대한 일루미네이션 정보는 사용자에 대한 하나 이상의 가상 뷰잉 포인트에 상응한다.
바람직한 실시예들에 따라, 서버는 표현 정보에 관한 시간적 압축 및 공간적 압축 중 적어도 하나를 수행하도록 더 구성된다.
바람직한 실시예들에 따라, 서버는 포톤 매핑 기법에 의해 일루미네이션 정보를 얻도록 더 구성된다.
바람직한 실시예들에 따라, 서버는 3D 객체의 3D 면 구조 정보 및 각 면에 대한 각 일루미네이션 정보를 얻음으로써 표현 정보를 얻도록 더 구성된다.
본 발명의 세 번째 양태에 따라, 예를 들어, 라우터로서, 라우팅 수단이 통신 네트워크를 위해 개시되는데, 이는 제 6 항 내지 제 9 항 중 어느 한 항에 따라 서버를 위한 압축된 표현 정보를 수신하도록 구성되고, 서버에 의해 서비스받는 제 1 클라이언트와 관련된 제 1 사용자를 위해 압축된 표현 정보로부터 요구되는 표현 정보를 얻고, 제 1 사용자를 위한 요구되는 표현 정보에 기초하여 제 1 사용자를 위한 3D 장면에 대한 2D 뷰를 생성하고, 동일한 압축된 표현 정보로부터 제 2 디바이스와 관련된 제 2 사용자를 위한 요구되는 표현 정보를 얻고 - 제 2 사용자는 동일한 3D 장면 모델과 관련되고 제 1 사용자의 가상 뷰잉 포인트와 동일하거나 상이한 가상 뷰잉 포인트를 가지고, 이를 위해 일루미네이션 정보는 또한 제 2 사용자의 가상 뷰잉 포인트로부터 장면에 대한 2D 뷰를 생성하기 위한 정보를 또한 나타냄 -, 제 2 사용자를 위한 요구되는 표현 정보에 기초하여, 제 2 사용자의 가상 뷰잉 포인트로부터 장면에 대한 2D 뷰를 생성하도록 더 구성된다.
본 발명의 추가 양태들은 종속항에 의해 설명된다. 종속항으로부터의 피쳐, 임의의 독립항의 피쳐 및 다른 종속항의 임의의 피쳐는 통상의 지식인에게 적절히 고려되어 결합될 수 있으며, 뿐만 아니라 청구항에 의해 정의된 특정 결합으로 결합될 수 있다.
당업자에 의해 인식될 수 있는 것으로서, 본 발명의 양태 중 하나에 대하여 설명된 피쳐들은 또한 다른 양태와 결합될 수 있다.
첨부된 도면은 본 발명의 실시예들을 도시하기 위해 사용된다.
도 1 및 도 3은 최신기술에 따른 3D 렌더링 프로세스를 도시하는데, 여기서 프로세싱 인스턴스의 "카메라"는 각 애플리케이션에 대하여 그리고 각 사용자에 대하여 요구된다.
도 2, 4, 5, 6 및 7은 본 발명에 따른 실시예들을 도시하는데, 여기서 표현 정보는 3D 객체에 대한 일루미네이션 정보를 포함하고, 일루미네이션 정보는 사용자를 위한 하나 이상의 가상 뷰잉 포인트에 상응한다.
참조부호는 상이한 도면 또는 그림에서 유사하거나 동일한 구성요소 또는 피쳐에 대하여 동일한 것으로 선택된다.
본 발명의 양태에 관한 설명은 특정 도면을 참조하여 그리고 특정 실시예를 사용하여 수행되지만 그것에 한정되지 않는다. 묘사된 피쳐들은 단지 도식적인 것이며 한정하는 것으로서 이해되어서는 안 된다.
본 개시의 실시예들에 따라, 3D 장면의 중간 표현이 생성되는데, 이는 실제 일루미네이션을 생성하는 헤비 프로세싱(heavy processing)의 결과이다. 이 중간 표현은 이로부터 상대적으로 간단한 프로세스를 사용하여 클라이언트 측에서 복수의 가상 뷰잉 포인트(multiple virtual viewpoints)를 생성하는데 사용될 수 있고, 제한된 프로세싱 능력을 가지는 디바이스상에서 작동될 수 있다. 이는 예를 들어, 클라우드 고성능 서버에서, 애플리케이션 당 단일 프로세싱 인스턴스(a single processing instance)를 작동시키는 것을 허용하는 반면, 2D 뷰는 사용자 가까이에 또는 비교적 낮은 프로세싱 장비가 있는 집에서 구성된다. 이는 도 2에 도시된다. 그 결과, 3D 장면으로부터의 정보 전달은, 장면 에볼루션(scene evolution)에 관한 구조적 설명(예를 들어, 폴리건 메쉬(polygon mesh)의 이동), 시간 T+1에서의 장면에 대한 시간적 예측에 사용되는 시간 T에서의 장면에 대한 일루미네이션 정보와 같은 참조 정보, 그리고 참조 정보에 대한 잔여 정보를 제공하는 업데이트 스트림으로 나눠질 수 있다(도 7 참조).
다음 섹션은 이러한 프로세스를 상세히 설명할 것이고 장면이 인코딩될 수 있는 방법에 관한 두 가지 예시의 알고리즘을 제공할 것이다.
개선된 시간적 및 공간적 압축을 위한 3D 애니메이션을 인코딩하는 아이디어는 기존의 MPEG4 표준 "프레임 기반 애니메이션된 메쉬 컴프레션(Frame-based Animated Mesh Compression: FAMC)"; 파트 16 AFX(Animation Framework eXtension)의 개정 2에서 나타나 있다. 이것 및 다른 유사한 연구 목표는, 폴리건 메쉬 정보를 교환하는 것이 더 쉽도록 만드는 것이었고, 이는 장면 내 이동하는 객체에 대응하고 메쉬 내 포인트의 위치와 시간에 걸친 그들의 이동에 대한 압축 알고리즘을 설명한다.
그러나, 장면의 인코딩/디코딩이 렌더링 프로세스에 관한 가장 헤비한 하위 과정(the heaviest subprocess)은 아니다. 광 프로세스가 여전히 각각의 애니메이션된 프레임에 대하여 실시될 필요가 있다. 후자는 최신식 기술에 따라 수행될 수 있으나, 엄청난 양의 프로세싱 파워를 요구한다.
3D 정보 전달의 효율성은 서로 다른 방법으로 일루미네이션 면과 관련하여 개선될 수 있다. 일부 개선은 복수의 뷰잉 포인트에 대한 정보의 재사용으로 인한 이점이다. 장면 내에서, 대부분의 일루미네이션은 가상 뷰잉 포인트에 관하여 독립적이다. 더 구체적으로, 그림자 및 인트라-장면 반사(intra-scene reflections) (즉, 다른 하나상에의 하나의 객체의 반사)는 뷰잉 포인트를 통해 재사용가능하다. 두 사용자가 동일한 장면상의 뷰를 요청하는 경우, 일루미네이션 정보의 재사용은 두 번의 프로세싱을 피할 수 있으며 그래서 프로세싱 요청을 줄일 수 있다.
두 번째 개선은 일루미네이션 정보 내 시간적 및 공간적 리던던시(redudancy)를 활용함으로써 이루어질 수 있는 이점으로 인한 것이다. 장면 일루미네이션은, 공간적으로 매우 연관성이 있는 결과를 전형적으로 생성한다. 다시 말해, 백색 꽃병만을 포함하는 장면을 보고 있을 때 "백색"은 꽃병의 일루미네이션된 모델에 대한 좋은 예측인 좋은 기회이다. 우리는 참조 정보로서 백색 면을 사용할 수 있고, 이를 컬러 및 그림자 내 더 미묘한 변화를 반영하는 일루미네이션 업데이트 정보로 보완한다. 또한 동일한 연관성(correlation)은 시간적으로 참이다(예를 들어, 객체가 애니메이션된 장면에서 회전한다면, 시간 T에서 객체 면의 컬러는 시간 T+1에서의 동일한 면의 컬러에 대한 좋은 예측임).
도 4 및 5에 도시된 참조 인코더(reference encoder)는 포괄적인 레벨에서의 프로세스를 설명한다. 일루미네이션 알고리즘은 일루미네이션된 3D 장면을 생성하는데 사용된다(즉, 장면상의 광원의 영향을 고려함). 장면의 구조는 "전통적인" 메쉬 인코딩 기법을 사용하여 인코딩된다. 본 발명의 실시예에 따라, 일루미네이션 정보는 메쉬와 결합하여 출력 스트림으로 인코딩된다. 두 경우에 대하여, 인코딩은 시간적 참조를 생성하도록 진행중인(in-process) 인코드/디코드 루프에 기초한다고 가정한다. 복수의 알고리즘은 현재 이 모델에 연결될 수 있으며, 이는 알고리즘이 일루미션된 모델을 입력하는 방법에 대해 다르고, 특히 일루미네이션 인코딩을 최적화한다.
사용될 수 있는 몇몇 방법들이 아래에 설명된다.
광선 추적법(ray tracing)(도 3 참조)은 3D 장면 표현으로부터 사진 같은 2D 뷰(photo-realistic 2D views)를 생성하는 기법이다. 기본 원리는 장면을 통한 광선의 횡단 및 광선의 물리적 특성(반사, 확산, ...)이 시뮬레이션되는 것이다. 가장 많이 사용되는 형식은 카메라로부터 나오는 광선을 뷰포인트 내 각 포인트에 대하여 시뮬레이션하는 것이다. 객체와 광선의 교차점에서, 2차 광선(a secondary ray)은 현 시점에서 빛나는(shine) 광을 찾도록 회전(spin)된다. 이 광선이 또 다른 객체와 부딪힌다면, 이는 객체가 그림자 내에 있음을 의미한다. 그렇지 않다면, 그 점에서의 광의 강도는 2차 광선의 거리 및 각도로부터 계산될 수 있다. 1차 및 2차 광선 모두는 또한 반사를 생성하도록 객체들을 "바운스 오프(bounce off)" 할 수 있는데, 여기서 각 바운스는 다시 추가 광선을 생성한다. 광선의 양이 기하급수적으로 증가할 수 있음은 명백하며, 이는 이 기법이 계산 집약적이게 만든다.
기본적인 광선 추적 알고리즘은 단일 단계 기법으로 헤비 및 더 라이트한 프로세스 사이에서 프로세싱을 분배하는 것이 불가능하다. 그러나, 제 1 예측으로서 뷰에 대한 하나의 추적 프로세스 결과는 제 2 뷰를 위해 사용될 수 있다. 이는 서로를 위해 제 1 예측으로서 하나의 스트림으로부터 참조 정보를 사용하도록 허용하는데, 이는 개별 2D 스트림으로서보다 더 공간적으로 및 시간적으로 스트림을 압축하도록 허용한다.
프로세싱 내 없어진 이득 다음으로, 기본적인 광선 추적은 또한 특정 이펙트에 관한 표현 내에 제한된다. 일부 흥미로운 최근 접근 방법들은 이중 단계(dual phase)를 사용하는데, 우선, 장면에 대한 광의 영향(impact)이 시뮬레이션되고, 그 이후 광선 추적 프로세스가 표면 컬러에 관한 더 나은 추정으로서 이 정보를 사용한다. 유명한 알고리즘 "포톤 매핑(photon mapping)"에서, 장면에 대한 광의 영향은, 예를 들어, 포톤들이 객체에 의해 흡수되거나 장면을 떠날 때까지, 장면을 가로지르는 많은 수의 포톤을 시뮬레이션함으로써 계산된다. 이것의 결과는 써머라이징되고("포톤 수집(gathering photons)"), 및 하나 또는 복수의 "포톤 맵"이라 불리는 곳에 저장된다(복수의 맵은 장면 내 특정한 더 복잡한 영역 주변의 포톤을 모으는데 사용될 수 있음). 기본적인 광선 추적을 수행할 때, 복수의 뷰 및 광선은 너무 많은 제 2 스트림을 송신하는 것을 피하도록 이러한 테이블을 이용할 수 있다. 두 개의 상이한 프로세스에 포톤 매핑 및 광선 추적을 넣음으로써, 복잡성은 네트워크를 통해 분산될 수 있다. 그러므로 포톤 맵은 인코딩될 필요가 있다. 도 6은 포톤 매핑 기법과 사용되는 인코더 프로세스를 상세히 설명한다.
본 발명에 따른 특정 실시예들에 관한 설명에서, 하나 이상의 다양한 창의적인 양태에 관한 이해를 돕기 위해, 때때로 다양한 피쳐들이 단일 실시예, 도면, 또는 이들에 관한 설명에서 함께 그룹화된다. 이는 특정 문제를 해결하기 위해 이 그룹의 모든 피쳐가 반드시 존재해야 하는 것으로 해석되어서는 안 된다. 창의적인 양태는, 특정 실시예에 관한 설명에서 나타나는 그러한 피쳐 그룹의 모든 피쳐들 보다 더 적은 피쳐에 존재할 수 있다.
본 명세서에서 설명된 일부 실시예들이 일부 피쳐들은 포함하고 다른 실시예들에 포함된 다른 피쳐들은 포함하지 않으나, 상이한 실시예들에 관한 피쳐들의 결합은 본 발명의 범주 내에 있고, 상이한 실시예들을 형성하는 것으로 당업자에 의해 이해될 수 있을 것이다.

Claims (10)

  1. 3D 장면 모델(a 3D scene model)의 3D 표현(a 3D representation)을 데이터 통신 네트워크를 통해 서버로부터 제 1 클라이언트 디바이스로 전송하는 방법 - 상기 3D 장면 모델은 3D 객체 세트(a set of 3D objects)에 관한 기하 구조와 재질 정보(geometry and material information) 및 광원을 정의하는 정보이고 상기 서버에 저장되며, 상기 3D 표현은 상기 제 1 클라이언트 디바이스와 관련된 제 1 사용자를 위한 가상 뷰잉 포인트(a virtual viewing point)에 상응함 - 으로서,
    상기 방법은,
    상기 서버에서 상기 3D 장면 모델로부터 상기 3D 객체에 대한 표현 정보를 얻는 단계와,
    상기 표현 정보를 압축하는 단계와,
    디스플레이를 위해 상기 제 1 클라이언트 디바이스로 상기 압축된 표현 정보를 전달하는 단계와,
    포톤 매핑(photon mapping) 기법 또는 레이 트레이싱(ray tracing) 기법에 의해 상기 3D 객체에 대한 일루미네이션 정보를 얻는 단계 - 상기 3D 객체에 대한 상기 일루미네이션 정보는 사용자를 위한 하나 보다 많은 가상 뷰잉 포인트에 상응함 - 와,
    디스플레이를 위해 상기 제 1 클라이언트 디바이스로 전달하기 위하여 상기 표현 정보에 상기 일루미네이션 정보를 포함시키는 단계와,
    상기 제 1 클라이언트 디바이스에서 상기 서버로부터 수신된 상기 표현 정보 및 상기 일루미네이션 정보를 렌더링하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 압축은 시간적 압축 및 공간적 압축 중 적어도 하나를 포함하되, 상기 시간적 압축 및 공간적 압축 중 적어도 하나는 시간적 예측 및 공간적 예측 중 적어도 하나를 사용하는
    방법.
  3. 삭제
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 표현 정보는 상기 객체의 3D 면 구조 정보(3D facet structure information)를 포함하고, 상기 일루미네이션 정보는 상기 면에 대한 각각의 일루미네이션 정보를 포함하는
    방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 데이터 통신 네트워크는 상기 압축된 표현 정보가 수신되는 중간 노드를 적어도 포함하되, 상기 중간 노드는 상기 압축된 표현 정보로부터 상기 제 1 사용자를 위한 요구되는 표현 정보를 얻고, 상기 요구되는 표현 정보를 사용하여 상기 제 1 클라이언트 디바이스를 위한 장면에 대한 2D 뷰를 생성하고, 동일한 상기 압축된 표현 정보로부터 제 2 사용자와 관련된 제 2 클라이언트 디바이스를 위한 요구되는 표현 정보를 얻고, 상기 제 2 사용자는 동일한 상기 3D 장면 모델과 관련되고 상기 제 1 사용자의 가상 뷰잉 포인트와 동일하거나 상이한 가상 뷰잉 포인트를 가지며, 이를 위해 상기 일루미네이션 정보는 상기 제 2 사용자의 가상 뷰잉 포인트로부터의 장면에 대한 2D 뷰를 생성하기 위한 정보를 또한 나타내는
    방법.
  6. 데이터 통신 네트워크를 통해 클라이언트 디바이스로 3D 장면 모델의 3D 표현을 전송하는 서버 - 상기 3D 장면 모델은 3D 객체 세트에 관한 기하 구조와 재질 정보 및 광원을 정의하는 정보이고, 상기 3D 표현은 상기 클라이언트 디바이스와 관련된 사용자를 위한 가상 뷰잉 포인트에 상응함 - 로서,
    상기 서버는,
    상기 3D 장면 모델로부터 상기 3D 객체에 대한 표현 정보를 얻고,
    상기 표현 정보를 압축하고,
    디스플레이를 위해 상기 클라이언트 디바이스로 상기 압축된 표현 정보를 전달하고,
    포톤 매핑 기법 또는 레이 트레이싱 기법에 의해 상기 3D 객체에 대한 일루미네이션 정보를 얻고 - 상기 3D 객체에 대한 상기 일루미네이션 정보는 사용자를 위한 하나 보다 많은 가상 뷰잉 포인트에 상응함 - ,
    디스플레이를 위해 상기 클라이언트 디바이스로 전달하기 위하여 상기 표현 정보에 상기 일루미네이션 정보를 포함시키도록 구성되는
    서버.
  7. 제 6 항에 있어서,
    상기 표현 정보에 관한 시간적 압축 및 공간적 압축 중 적어도 하나를 수행하도록 구성되되, 상기 시간적 압축 및 공간적 압축 중 적어도 하나는 시간적 예측 및 공간적 예측 중 적어도 하나를 사용하는
    서버.
  8. 삭제
  9. 제 6 항 또는 제 7 항에 있어서,
    상기 3D 객체의 3D 면 구조 정보 및 상기 면 각각에 대한 각각의 일루미네이션 정보를 얻음으로써 표현 정보를 얻도록 더 구성된
    서버.
  10. 제 6 항 또는 제 7 항에 따른 서버를 위한 압축된 표현 정보를 수신하도록 구성된, 통신 네트워크를 위한 라우팅 수단으로서,
    상기 서버에 의해 서비스받는 제 1 클라이언트와 관련된 제 1 사용자를 위하여 상기 압축된 표현 정보 및 포함된 상기 일루미네이션 정보로부터 요구되는 표현 정보를 얻고,
    상기 제 1 사용자를 위한 상기 요구되는 표현 정보 및 상기 일루미네이션 정보에 기초하여 상기 제 1 사용자를 위한 3D 장면에 대한 2D 뷰를 생성하고,
    제 2 클라이언트와 관련된 제 2 사용자를 위하여 동일한 상기 압축된 표현 정보 및 동일한 상기 일루미네이션 정보로부터 요구되는 표현 정보 및 일루미네이션 정보를 얻고 - 상기 제 2 사용자는 동일한 상기 3D 장면 모델과 관련되고 상기 제 1 사용자의 가상 뷰잉 포인트와 동일하거나 상이한 가상 뷰잉 포인트를 가지며, 이를 위해 상기 일루미네이션 정보는 상기 제 2 사용자의 가상 뷰잉 포인트로부터의 장면에 대한 2D 뷰를 생성하기 위한 정보를 또한 나타냄 - ,
    상기 제 2 사용자를 위한 상기 요구되는 표현 정보 및 상기 일루미네이션 정보에 기초하여 상기 제 2 사용자의 가상 뷰잉 포인트로부터의 상기 장면에 대한 2D 뷰를 생성하도록 구성되는
    라우팅 수단.
KR1020137014113A 2010-12-01 2011-11-23 서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법 KR101491941B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10306336A EP2461587A1 (en) 2010-12-01 2010-12-01 Method and devices for transmitting 3D video information from a server to a client
EP10306336.8 2010-12-01
PCT/EP2011/070786 WO2012072462A1 (en) 2010-12-01 2011-11-23 Method and devices for transmitting 3d video information from a server to a client

Publications (2)

Publication Number Publication Date
KR20130085051A KR20130085051A (ko) 2013-07-26
KR101491941B1 true KR101491941B1 (ko) 2015-02-10

Family

ID=43706621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137014113A KR101491941B1 (ko) 2010-12-01 2011-11-23 서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법

Country Status (6)

Country Link
US (1) US20130321417A1 (ko)
EP (1) EP2461587A1 (ko)
JP (1) JP5655156B2 (ko)
KR (1) KR101491941B1 (ko)
CN (1) CN103238325A (ko)
WO (1) WO2012072462A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713838B2 (en) * 2013-05-03 2020-07-14 Nvidia Corporation Image illumination rendering system and method
KR101653353B1 (ko) * 2015-03-26 2016-09-01 주식회사 나루씨이엠 스마트폰 가상 3d 디스플레이 앱 기반 가상 3d 표현 방법
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
GB2563895B (en) * 2017-06-29 2019-09-18 Sony Interactive Entertainment Inc Video generation method and apparatus
CN110223367B (zh) * 2018-11-30 2023-01-06 腾讯科技（深圳）有限公司 动画显示方法、装置、终端及存储介质
CN110225332A (zh) * 2019-05-31 2019-09-10 吉林大学 一种基于光子映射的立体元图像阵列生成方法
US11941752B2 (en) 2020-07-21 2024-03-26 Nvidia Corporation Streaming a compressed light field
US11501467B2 (en) 2020-11-03 2022-11-15 Nvidia Corporation Streaming a light field compressed utilizing lossless or lossy compression
JP2022137826A (ja) * 2021-03-09 2022-09-22 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507747A (ja) * 2004-07-22 2008-03-13 株式会社ソニー・コンピュータエンタテインメント シェーディング結果をモデルサーフェス表現に組み込むことにより動的ビュー角からの写実的三次元レンダリングを向上させる方法
JP2009116856A (ja) * 2007-10-19 2009-05-28 Canon Inc 画像処理装置、画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212207B2 (en) * 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing
US20050134611A1 (en) * 2003-12-09 2005-06-23 Cheung Kevin R. Mechanism for creating dynamic 3D graphics for 2D web applications
US7145562B2 (en) * 2004-05-03 2006-12-05 Microsoft Corporation Integration of three dimensional scene hierarchy into two dimensional compositing system
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP4584956B2 (ja) * 2007-05-09 2010-11-24 株式会社ソニー・コンピュータエンタテインメント グラフィックスプロセッサおよび描画処理方法
US20100134494A1 (en) * 2008-12-02 2010-06-03 Electronics And Telecommunications Research Institute Remote shading-based 3d streaming apparatus and method
CN101826214B (zh) * 2010-03-29 2012-06-27 中山大学 一种基于光子映射的全局光照方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507747A (ja) * 2004-07-22 2008-03-13 株式会社ソニー・コンピュータエンタテインメント シェーディング結果をモデルサーフェス表現に組み込むことにより動的ビュー角からの写実的三次元レンダリングを向上させる方法
JP2009116856A (ja) * 2007-10-19 2009-05-28 Canon Inc 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
CN103238325A (zh) 2013-08-07
US20130321417A1 (en) 2013-12-05
KR20130085051A (ko) 2013-07-26
EP2461587A1 (en) 2012-06-06
JP5655156B2 (ja) 2015-01-14
JP2014501973A (ja) 2014-01-23
WO2012072462A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
KR101491941B1 (ko) 서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법
Lee et al. GROOT: a real-time streaming system of high-fidelity volumetric videos
US10636201B2 (en) Real-time rendering with compressed animated light fields
Petit et al. Multicamera Real‐Time 3D Modeling for Telepresence and Remote Collaboration
KR101536501B1 (ko) 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템
Shi et al. Real-time remote rendering of 3D video for mobile devices
US20140267412A1 (en) Optical illumination mapping
Zioulis et al. 3D tele-immersion platform for interactive immersive experiences between remote users
CN114255315A (zh) 一种渲染方法、装置及设备
Cha et al. Touchable 3D video system
Yu et al. Learning object-centric neural scattering functions for free-viewpoint relighting and scene composition
Koniaris et al. Compressed animated light fields with real-time view-dependent reconstruction
Koniaris et al. Real-time Rendering with Compressed Animated Light Fields.
Petit et al. A 3d data intensive tele-immersive grid
Liu et al. Mobile volumetric video streaming system through implicit neural representation
KR20230174237A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
Hisatomi et al. Method of 3D reconstruction using graph cuts, and its application to preserving intangible cultural heritage
Pomi et al. Interactive ray tracing for virtual TV studio applications
Beacco et al. A flexible approach for output‐sensitive rendering of animated characters
Zhu et al. Sprite tree: an efficient image-based representation for networked virtual environments
Lu et al. DiVA-360: The Dynamic Visuo-Audio Dataset for Immersive Neural Fields
US20230345008A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102674577B1 (ko) 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 미디어의 적응을 위한 몰입형 미디어에 의한 뉴럴 네트워크 모델의 참조
이경진 Volumetric Video Delivery on Mobile Devices
Suh et al. 2.5 d video avatar augmentation for vrphoto

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee