KR20230156788A - 라이트필드/홀로그래픽 미디어를 위한 자산 재이용가능성 - Google Patents
라이트필드/홀로그래픽 미디어를 위한 자산 재이용가능성 Download PDFInfo
- Publication number
- KR20230156788A KR20230156788A KR1020237035406A KR20237035406A KR20230156788A KR 20230156788 A KR20230156788 A KR 20230156788A KR 1020237035406 A KR1020237035406 A KR 1020237035406A KR 20237035406 A KR20237035406 A KR 20237035406A KR 20230156788 A KR20230156788 A KR 20230156788A
- Authority
- KR
- South Korea
- Prior art keywords
- assets
- client
- scene
- hardware processor
- buffer
- Prior art date
Links
- 239000000872 buffer Substances 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2226/00—Electro-optic or electronic components relating to digital holography
- G03H2226/04—Transmission or communication means, e.g. internet protocol
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
- Optical Recording Or Reproduction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
클라이언트로 스트리밍되어야 할 라이트필드 및/또는 홀로그래픽 미디어를 제어하기 위한 방법 및 장치는, 클라이언트 버퍼의 스테이터스에 기초하여 대역폭을 결정하고, 라이트필드 및/또는 홀로그래픽 미디어의 장면을 분할하고, 자산이 클라이언트 버퍼 내에 존재하는지 여부를 결정하고, 자산을 분할된 자산의 개개의 하나로 그리고 클라이언트 버퍼로 매핑하고, 대역폭, 매핑, 및 자산 중의 하나 이상이 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여 클라이언트 버퍼로의 자산의 송신을 제어하고, 분할된 자산 중의 적어도 하나를 렌더링할 때에 자산 중의 적어도 하나를 재이용하도록 클라이언트를 제어한다.
Description
관련 출원에 대한 상호 참조
본 출원은 2021년 11월 4일자로 출원된 미국 가출원 제63/275,789호, 및 2022년 10월 20일자로 출원된 미국 출원 제17/970,035호에 대한 우선권을 주장하고, 이 출원들의 내용은 그 전체적으로 본원에 참조로 통합된다.
개시된 발명 요지는 라이트필드(lightfield) 및/또는 홀로그래픽 디스플레이에서의 재이용가능성을 위하여 클라이언트 버퍼 내에 자산(asset)을 저장하기 위한 방법론에 관한 것이다.
몰입형 미디어(immersive media)는 디지털 시뮬레이션(digital simulation)을 통해 물리적 세계를 생성하거나 모방하도록 시도하는 몰입형 기술에 의해 정의되고, 이에 의해, 사용자가 장면의 내부에 물리적으로 존재한다는 지각을 생성하기 위하여 임의의 또는 모든 인간 감각 기관이 시뮬레이팅된다.
현재 사용 중인 상이한 유형의 몰입형 미디어 기술이 있다: 가상 현실(VR : Virtual Reality), 증강 현실(AR : Augmented Reality), 혼합 현실(MR : Mixed Reality), 라이트필드/홀로그래픽 등. VR은 컴퓨터-생성된 세계에서 사용자를 배치하기 위하여 헤드셋을 이용함으로써 사용자의 물리적 환경을 대체하는 디지털 환경을 지칭한다. 다른 한편으로, AR은 클리어 비전(clear vision), 헤드셋, 안경 등 또는 스마트폰의 어느 하나를 이용함으로써 디지털 미디어를 취하고 이들을 사용자 주위의 실세계 상에서 계층화한다. MR은 실세계와 디지털 세계와의 블렌딩(blending)을 지칭하고, 이에 의해, 기술 및 물리적 세계가 공존할 수 있는 환경을 생성한다.
라이트필드 및/또는 홀로그래픽 기술은 각각의 포인트 및 방향으로부터 나오는 광선(ray)을 갖는 3D 공간 내의 광 광선(light ray)으로 구성된다. 이것은 광이 임의의 소스(source)로부터 나오고, 공간을 통해 통행하고, 광이 우리의 눈에 도달하기 전에 또 다른 표면에 부분적으로 흡수되고 부분적으로 반사되는 객체의 표면을 타격하는 것에 의해, 주위에 보여지는 모든 것이 조명되는 개념에 기초한다. 라이트 필드를 적절하게 재현하였으면, 양안성(binocularity) 및 연속적인 운동 시차(motion parallax)와 같은 3D 효과가 사용자에게 제공될 것이다. 라이트필드 및/또는 홀로그래픽 디스플레이 하의 기초적인 개념은 약간 상이한 방향에서 상이하지만 일관된 정보를 도시함으로써 라이트필드 및/또는 홀로그래픽의 근사화를 재현하기 위하여 광 광선을 홀로그래픽 스크린 상에 투영하는 투영 모듈의 대용량 어레이이다.
광 광선은 5-차원 플렌옵틱(plenoptic) 기능에 의해 정의될 수 있고, 여기서, 각각의 광선은 3D 공간(3 차원) 내의 3개의 좌표 및 3D 공간 내의 방향에 특정적인 2개의 각도에 의해 정의될 수 있다.
360-도 비디오에 대한 컨텐츠를 캡처하기 위해서는, 360-도 카메라가 요구되지만; 그러나, 라이트필드 및/또는 홀로그래픽 디스플레이에 대한 컨텐츠를 캡처하는 것에 대해서는, 렌더링되어야 할 장면의 FoV에 따라, 다수의 심도 카메라(depth camera) 또는 카메라의 어레이를 포함하는 고가의 셋업이 요구된다.
전통적인 카메라는 주어진 위치에서 카메라 렌즈에 도달하는 광 광선의 2D 표현을 오직 캡처할 수 있다. 이미지 센서는 각각의 픽셀에 도달하는 모든 광 광선의 밝기(brightness) 및 컬러(color)의 합을 레코딩한다.
라이트필드 및/또는 홀로그래픽 디스플레이에 대한 컨텐츠를 캡처하는 것에 대해서는, 라이트 필드 카메라가 요구되었고, 이것은 밝기 및 컬러 뿐만 아니라, 카메라 센서에 도달하는 모든 광 광선들의 방향도 캡처할 수 있다. 이 정보를 이용하면, 디지털 장면은 각각의 광 광선의 원점의 정확한 표현으로 재구성될 수 있어서, 정확한 캡처된 장면을 3D로 디지털 방식으로 재구성하는 것이 가능하게 될 수 있다.
현재, 2개의 주요 기법은 이러한 체적 장면(volumetric scene)을 캡처하기 위하여 이용된다. 그 기법 중의 첫 번째는 어레이의 카메라의 하나 또는 카메라 모듈의 하나에 대하여 각각의 방향으로부터 상이한 광선/뷰(view)를 캡처하기 위하여 카메라의 어레이 또는 카메라 모듈을 이용한다. 그 기법 중의 두 번째는 제어된 라이팅 조건(lighting condition) 하에서 다수의 객체의 심도를 측정함으로써, 구조화된 조명을 필요로 하지 않으면서, 단일 노출에서 3D 정보를 캡처할 수 있는 심도 카메라를 이용한다.
이러한 라이트필드 및/또는 홀로그래픽 디스플레이에 대한 멀티미디어 컨텐츠가 캡처되고 서버 내에 저장된다. 이것은 실세계 또는 합성 컨텐츠일 수 있다. 이 데이터를 최종 클라이언트로 송신하는 것은, 데이터가 압축된 후에도 대량의 대역폭을 요구한다. 그러므로, 대역폭이 제한되는 상황에서는, 클라이언트가 버퍼링 또는 중단을 경험할 수 있어서, 경험이 불쾌하게 된다. 이것은 이 출원의 전반에 걸쳐 설명된 기술적 해결책에 의해 다루어지는 기술적 문제이다.
즉, 현존하는 컴퓨터 기술은 라이트필드 및/또는 홀로그래픽 디스플레이에 대한 멀티미디어 컨텐츠를 취급하는 상황에서 대량의 대역폭 요건으로부터 경험될 수 있는 데이터 저장 및 송신 제약으로 인해 기술적으로 어렵다. 그러므로, 이것은 이러한 문제에 대한 기술적 해결책을 희망한다. 그리고 이와 같이, 본 출원은 예를 들어, 라이트필드 및/또는 홀로그래픽 디스플레이 중의 임의의 디스플레이에서의 재이용가능성을 통해 클라이언트 버퍼와 같은 버퍼가 직면한 자산 저장 및 송신 능력을 개선시킴으로써 그 컴퓨터 기술을 다루는 것을 개시한다.
컴퓨터 프로그램 코드를 저장하도록 구성된 메모리, 및 컴퓨터 프로그램 코드를 액세스하고 컴퓨터 프로그램 코드에 의해 명령된 바와 같이 동작하도록 구성된 하드웨어 프로세서 또는 프로세서들을 포함하는 장치 및 방법이 포함되고, 컴퓨터 프로그램 코드는, 적어도 하나의 하드웨어 프로세서로 하여금, 클라이언트로 스트리밍되어야 할 라이트필드 및/또는 홀로그래픽 미디어의 장면을 제어하게 하도록 구성된 제어 코드, 적어도 하나의 하드웨어 프로세서로 하여금, 클라이언트와 연관된 클라이언트 버퍼의 스테이터스(status)에 적어도 기초하여, 라이트필드 및/또는 홀로그래픽 미디어를 스트리밍하기 위하여 클라이언트에 의해 이용가능한 대역폭을 결정하게 하도록 구성된 결정 코드, 적어도 하나의 하드웨어 프로세서로 하여금, 라이트필드 및/또는 홀로그래픽 미디어의 장면을 복수의 분할된 장면으로 분할하게 하도록 구성된 분할 코드 - 각각의 분할된 장면은 장면의 하나 이상의 자산을 포함함 -, 적어도 하나의 하드웨어 프로세서로 하여금, 자산 중의 하나 이상이 클라이언트 버퍼 내에 존재하는지 여부를 결정하게 하도록 구성된 추가 결정 코드, 적어도 하나의 하드웨어 프로세서로 하여금, 자산 중의 하나 이상이 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 장면의 자산 중의 하나 이상을 개개의 분할된 장면으로 매핑하게 하도록 구성된 매핑 코드, 적어도 하나의 하드웨어 프로세서로 하여금, 대역폭, 매핑, 및 자산 중의 하나 이상이 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 클라이언트 버퍼로의 하나 이상의 자산의 서브세트의 송신을 제어하게 하도록 구성된 송신 제어 코드, 및 적어도 하나의 하드웨어 프로세서로 하여금, 분할된 장면 중의 적어도 하나를 렌더링할 때, 자산 중의 적어도 하나를 재이용하도록 클라이언트를 제어하게 하도록 구성된 재이용가능성 제어 코드를 포함한다.
예시적인 실시예에 따르면, 적어도 하나의 하드웨어 프로세서는 클라이언트와 네트워크로 통신하는 서버의 하드웨어 프로세서이다.
예시적인 실시예에 따르면, 컴퓨터 프로그램 코드는, 적어도 하나의 하드웨어 프로세서로 하여금, 자산 중의 어느 것이 분할된 장면의 이전 및 후속 장면의 각각에 대하여 클라이언트 디바이스로 전송되는지를 추적하게 하도록 구성된 추적 코드를 더 포함한다.
예시적인 실시예에 따르면, 적어도 하나의 하드웨어 프로세서는 클라이언트의 하드웨어 프로세서이다.
예시적인 실시예에 따르면, 클라이언트 버퍼로의 복수의 자산 중의 하나 이상의 자산의 송신을 제어하는 것은, 라이트필드 및/또는 홀로그래픽 미디어의 장면 내의 자산의 상대적인 심도에 추가로 기초한다.
예시적인 실시예에 따르면, 클라이언트 버퍼로의 복수의 자산 중의 하나 이상의 자산의 송신을 제어하는 것은, 라이트필드 및/또는 홀로그래픽 미디어의 장면 내의 자산의 상대적인 우선순위에 추가로 기초한다.
예시적인 실시예에 따르면, 자산 중의 하나 이상이 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 것은, 자산 중의 하나 이상이 복수의 클라이언트 버퍼 중의 임의의 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 것 - 복수의 클라이언트 버퍼는 클라이언트 버퍼를 포함하고, 각각의 클라이언트 버퍼는 로컬 영역 네트워크(LAN : local area network) 상에서 네트워크화됨 - 을 더 포함한다.
예시적인 실시예에 따르면, 컴퓨터 프로그램 코드는, 적어도 하나의 하드웨어 프로세서로 하여금, 자산 중의 적어도 하나가 장면 내에 얼마나 많은 횟수로 나타나는지 중의 적어도 하나에 기초하여 자산 중의 적어도 하나에 재이용가능성 우선순위를 배정하게 하도록 구성된 배정 코드를 더 포함한다.
예시적인 실시예에 따르면, 분할된 장면 중의 적어도 하나를 렌더링할 때에 자산 중의 적어도 하나를 재이용하도록 클라이언트를 제어하는 것은, 자산 중의 적어도 하나에 배정된 재이용가능성 우선순위에 기초한다.
예시적인 실시예에 따르면, 자산 중의 적어도 하나에 재이용가능성 우선순위를 배정하는 것은, 자산 중의 적어도 하나의 자산의 크기 및 자산 중의 적어도 하나의 자산의 복잡도 중의 적어도 하나에 추가로 기초한다.
도 1은 본 명세서에서 설명된 예시적인 실시예에 따른 심도-기반 스트리밍을 예시하는 도면이다.
도 2는 본 명세서에서 설명된 예시적인 실시예에 따른 자산 우선순위-기반 스트리밍을 예시하는 도면이다.
도 3은 본 명세서에서 설명된 예시적인 실시예에 따른 서버-제어된 버퍼를 예시하는 도면이다.
도 4는 본 명세서에서 설명된 예시적인 실시예에 따른 클라이언트-제어된 버퍼를 예시하는 도면이다.
도 5는 본 명세서에서 설명된 예시적인 실시예에 따른 컴퓨터 시스템을 예시하는 도면이다.
도 6은 예시적인 실시예에 따른 흐름도이다.
도 2는 본 명세서에서 설명된 예시적인 실시예에 따른 자산 우선순위-기반 스트리밍을 예시하는 도면이다.
도 3은 본 명세서에서 설명된 예시적인 실시예에 따른 서버-제어된 버퍼를 예시하는 도면이다.
도 4는 본 명세서에서 설명된 예시적인 실시예에 따른 클라이언트-제어된 버퍼를 예시하는 도면이다.
도 5는 본 명세서에서 설명된 예시적인 실시예에 따른 컴퓨터 시스템을 예시하는 도면이다.
도 6은 예시적인 실시예에 따른 흐름도이다.
이하에서 논의되는 제안된 특징은 별도로 이용될 수 있거나 임의의 순서로 조합될 수 있다. 또한, 실시예는 프로세싱 회로부(예컨대, 하나 이상의 프로세서 또는 하나 이상의 집적 회로)에 의해 구현될 수 있다. 하나의 예에서, 하나 이상의 프로세서는 비-일시적 컴퓨터-판독가능 매체 내에 저장되는 프로그램을 실행한다. 본 개시내용에서, 최고 확률 모드(MPM : most probable mode)는 주 MPM, 보조 MPM, 또는 주 및 보조 MPM의 둘 모두를 지칭할 수 있다.
라이트필드 및/또는 홀로그래픽 기술은 임의의 헤드셋을 이용할 필요 없이, 심도 및 3 차원성의 정확한 감각을 갖는 가상 환경을 생성하고, 그러므로, 멀미(motion sickness)와 같은 부작용을 회피하는 것을 목적으로 한다. 서버는 라이트필드 및/또는 홀로그래픽 디스플레이에 대한 심도-기반 적응적 스트리밍을 이용할 수 있다. 여기서, 전체 장면을 한 번에 렌더링하는 대신에, 대역폭-기반 심도 접근법이 예시적인 실시예에 따라 고려된다. 네트워크의 용량이 상대적으로 이상적일 때, 최종 클라이언트는 전체 장면을 한 번에 수신하고 렌더링할 수 있다. 그러나, 대역폭이 제한일 때, 최종 클라이언트는 전체 장면을 렌더링하는 대신에, 장면을 어떤 심도로 렌더링한다. 이 심도는 클라이언트의 대역폭의 함수이다. 이 때문에, 최종 클라이언트의 대역폭에 대한 정보를 얻은 후에, 서버는 미디어가 변동되는 심도를 갖는 장면 사이에서 스트리밍되는 것을 조절한다. 심도 기반 스트리밍의 예(100)를 도시하는 도 1을 참조하고, 여기서, 객체(101), 객체(102), 및 객체(103)는 사용자의 관측 포인트를 나타낼 수 있는, 카메라(104)로부터의 각각 변동된 거리(107), 거리(106), 및 거리(106) 중의 하나에서의 장면 내의 상이한 객체이다. 서버는 도 6에서의 예(600)에서 S601에서와 같이 미디어를 획득한 후에, 또한, S602에서, 우선순위 값을 각각의 자산에 배정할 수 있고, 라이트필드 및/또는 홀로그래픽 디스플레이에 대한 적응적 스트리밍을 위하여 이 우선순위 값을 이용할 수 있다. 여기서, 전체 장면을 한 번에 렌더링하는 대신에, 대역폭-기반 자산 우선순위 접근법이 예시적인 실시예에 따라 고려된다. 네트워크의 용량이 제한되지 않을 때, 최종 클라이언트는 전체 장면 자산을 한 번에 수신하고 렌더링할 수 있다. 그러나, 대역폭이 S604에서 결정된 바와 같은 제한일 때, 최종 클라이언트는 예컨대, S604에서의 조절을 결정하는 것에 의해, 그리고 S606에서 우선순위를 고려하기 위하여, 장면 내의 모든 자산을 렌더링하는 대신에, 더 높은 우선순위를 갖는 자산을 렌더링한다. 그러므로, 렌더링되는 전체 자산은 클라이언트의 대역폭의 함수이다. 자산 우선순위-기반 스트리밍의 예(200)를 도시하는 도 2를 참조하고, 여기서, 자산(201), 자산(202), 및 자산(203)은 변동되는 거리에서의 상이한 자산이고, 이것은 어떤 거리를 렌더링할 것인지를 고려할 것인지 여부가 결정될 수 있는 S605, 및/또는 각각 우선순위 1, 3, 및 2를 갖는 사용자의 관측 포인트일 수 있는 카메라(204)로부터, 어느 사전-설정된 객체 우선순위로 클라이언트로 송신하고 및/또는 클라이언트에서 렌더링할 것인지를 고려하기 위한 S606 중의 어느 하나에서 고려될 수 있다.
실시예에서, 장면이 스트리밍되는 동안에, 자산은 후속 장면에 대한 재이용가능성을 위하여 클라이언트의 버퍼 내에 유지될 수 있다. 자산은 예컨대, S610에서, 예시적인 실시예에 따라 이하에서 설명된 것과 같은 상이한 파라미터에 기초하여 클라이언트의 버퍼로부터 추가되거나 제거될 수 있다.
실시예에서는, 라이트필드 및/또는 홀로그래픽 장면이 다수의 장면으로 분할될 때, 자산 매핑이 행해진다. 이것은 이전의 장면에서 전송된 자산을 추적함으로써, 그리고 선행 자산에서 존재하지 않는 후속 장면 내의 자산을 오직 전송함으로써 행해진다. 자산 제어는 예시적인 실시예에 따라 이용되는 방법론에 따라, 서버 또는 클라이언트의 어느 하나에 의해 행해질 수 있다.
동일한 또는 또 다른 실시예에서, 자산 버퍼가 서버에 의해 제어될 때, 서버는 장면을 다수의 장면으로 분할하는 동안에, 이전 및 후속 장면에서 전송된 자산을 추적할 것이다. 그러므로, 일단 제1 장면이 서버에 의해 전송되면, 서버는 S607에서 검사함으로써, 클라이언트의 버퍼 내에 있는 자산을 추적할 것이고, S608에서, 클라이언트의 버퍼 내에 이미 존재하지 않는 자산을 오직 전송할 것이고, S609에서, 이미 그 버퍼에서의 자산의 다른 것을 전송하지 않을 것이다. 서버는 또한, 클라이언트 버퍼 내의 자산을 유지할 것이어서, 자산의 추가 및 삭제가 서버에 의해 유지될 것이다. 예를 들어, 서버 제어된 버퍼링의 예(300)를 도시하는 도 3을 참조하고, 여기서, 서버(301)는 장면(311)을, 개개의 자산 "장면 1"(309) 및 "장면 2"(310)를 갖는 2개의 장면(307 및 308)으로 분할한다. 클라이언트(302)는 "장면 1"(304) 및 "장면 2"(303)를 스트리밍하고, 재이용가능한 자산(306)은 서버(301)에 의해 제어되는 클라이언트의 버퍼(305) 내에 저장된다.
동일한 또는 또 다른 실시예에서, 자산 버퍼가 클라이언트에 의해 제어될 때, 클라이언트는 어떤 자산이 버퍼 내에 있어야 하는지를 판정한다. 이러한 경우에, 클라이언트는 그 버퍼 내의 모든 자산의 리스트를 서버로 전송할 것이다. 클라이언트는 또한, 버퍼 내에 추가되거나 삭제되는 자산의 리스트를 서버로 전송할 수 있다. 예를 들어, 클라이언트 제어된 버퍼링의 예(400)를 도시하는 도 4를 참조하고, 여기서, 서버(401)는 장면(411)을, 개개의 자산 "장면 1"(409) 및 "장면 2"(410)를 갖는 2개의 장면(407 및 408)으로 분할한다. 클라이언트(402)는 "장면 1"(404) 및 "장면 2"(403)를 스트리밍하고, 재이용가능한 자산(406)은 클라이언트(401)에 의해 제어되는 클라이언트의 버퍼(405) 내에 저장된다.
또 다른 실시예에서는, 상이한 전략이 자산의 저장을 전략화하기 위하여 이용될 수 있다. 심도 기반 또는 우선순위-기반 방법론이 이용될 수 있다. 둘 모두에 대하여, 우선순위-기반 저장 및 삭제가 이용될 수 있다. 모든 자산은 한 번에 삭제되지 않고, 그 대신에, 가장 적은 우선순위를 갖는 자산이 먼저 삭제되고, 그리고 그렇게 진행된다.
또 다른 실시예에서, 자산 공유는 LAN 상에서 행해질 수 있다. 이것은 LAN 내의 다수의 디바이스가 동일한 미디어를 스트리밍하고 있을 때에 적용가능하다. 이 경우에, 네트워크 내의 상이한 디바이스는 서로 상이한 자산을 공유하기 위하여 서로 조정하는 것이 가능할 수 있다.
동일한 또는 또 다른 실시예에서, 자산은 또한, 재이용가능성 우선순위에 기초하여 버퍼 내에 저장될 수 있다. 그러므로, 자산이 개개의 장면 내에 얼마나 많은 횟수로 나타나는지에 기초하여 모든 자산에 우선순위가 배정될 것이다. 이러한 장면에서 가장 많이 나타나는 자산은 최고 우선순위를 배정받을 수 있고, 가장 적게 나타나는 자산은 최저 우선순위를 배정받을 수 있다. 자산 우선순위는 또한, 자산의 크기에 기초할 수 있다. 더 많은 복잡도를 갖는 자산은 덜 복잡한 자산과 비교하여 더 높은 우선순위를 부여받을 수 있다.
위에서 설명된, 라이트필드 및/또는 홀로그래픽 미디어에 대한 자산 재이용가능성을 위한 기법은 컴퓨터-판독가능 명령을 이용하고 하나 이상의 컴퓨터-판독가능 매체 내에 물리적으로 저장된 컴퓨터 소프트웨어로서 구현될 수 있다. 예를 들어, 도 5는 개시된 발명 요지의 어떤 실시예를 구현하기 위하여 적당한 컴퓨터 시스템(500)을 도시한다.
컴퓨터 소프트웨어는, 컴퓨터 중앙 프로세싱 유닛(CPU : central processing unit), 그래픽 프로세싱 유닛(GPU : Graphics Processing Unit) 등에 의해 직접적으로, 또는 해독, 마이크로-코드 실행 등을 통해 실행될 수 있는 명령을 포함하는 코드를 생성하기 위하여 어셈블리(assembly), 컴파일링(compilation), 링크(linking), 또는 유사한 메커니즘의 대상일 수 있는 임의의 적당한 머신 코드 또는 컴퓨터 언어를 이용하여 코딩될 수 있다.
명령은 예를 들어, 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게이밍 디바이스, 사물 인터넷 디바이스 등을 포함하는 다양한 유형의 컴퓨터 또는 그 컴포넌트 상에서 실행될 수 있다.
컴퓨터 시스템(500)에 대하여 도 5에서 도시되는 컴포넌트는 예시적이고, 본 개시내용의 실시예를 구현하는 컴퓨터 소프트웨어의 이용 또는 기능성의 범위에 대한 임의의 제한을 제안하도록 의도되지는 않는다. 컴포넌트의 구성은 컴퓨터 시스템(500)의 예시적인 실시예에서 예시된 컴포넌트의 임의의 하나 또는 조합에 관련되는 임의의 종속성 또는 요건을 가지는 것으로서 해독되지 않아야 한다.
컴퓨터 시스템(500)은 어떤 인간 인터페이스 입력 디바이스를 포함할 수 있다. 이러한 인간 인터페이스 입력 디바이스는 예를 들어, (키스트로크(keystroke), 스와이프(swipe), 데이터 글러브(data glove) 이동과 같은) 촉각적 입력, (보이스, 클랩핑(clapping)과 같은) 오디오 입력, (제스처(gesture)와 같은) 시각적 입력, 후각적 입력(도시되지 않음)을 통한 하나 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스는 또한, (음성, 음악, 주변 사운드와 같은) 오디오, (스캐닝된 이미지, 스틸 이미지 카메라로부터 획득된 사진 이미지와 같은) 이미지, (2 차원 비디오, 입체적 비디오를 포함하는 3 차원 비디오와 같은) 비디오와 같은, 인간에 의한 지각적 입력에 반드시 직접적으로 관련되지 않은 어떤 미디어를 캡처하기 위하여 이용될 수 있다.
입력 인간 인터페이스 디바이스는 키보드(501), 마우스(502), 트랙패드(503), 터치 스크린(510), 데이터-글러브(도시되지 않음), 조이스틱(505), 마이크로폰(506), 스캐너(507), 카메라(508) 중의 하나 이상(각각의 도시된 것의 오직 하나)을 포함할 수 있다.
컴퓨터 시스템(500)은 또한, 어떤 인간 인터페이스 출력 디바이스를 포함할 수 있다. 이러한 인간 인터페이스 출력 디바이스는 예를 들어, 촉각적 출력, 음, 광, 및 냄새/맛을 통해 하나 이상의 인간 사용자의 감각을 자극하는 것일 수 있다. 이러한 인간 인터페이스 출력 디바이스는 촉각적 출력 디바이스(예를 들어, 터치-스크린(510), 데이터-글로브(도시되지 않음), 또는 조이스틱(505)에 의한 촉각적 피드백이지만, 입력 디바이스로서 역할을 하지 않는 촉각적 피드백 디바이스가 또한 있을 수 있음), (스피커(509), 헤드폰(도시되지 않음)과 같은) 오디오 출력 디바이스, (각각이 터치-스크린 입력 능력을 갖거나 갖지 않고, 각각이 촉각적 피드백 능력을 갖거나 갖지 않고, 그 일부는 입체적 출력, 가상 현실 안경(도시되지 않음), 홀로그래픽 디스플레이, 및 연기 탱크(smoke tank)(도시되지 않음)와 같은 수단을 통해 2 차원 시각적 출력 또는 3 차원 초과 출력을 출력하는 것이 가능할 수 있는, CRT 스크린, LCD 스크린, 플라즈마 스크린, OLED 스크린을 포함하기 위한 스크린(510)과 같은) 시각적 출력 디바이스, 및 프린터(도시되지 않음)를 포함할 수 있다.
컴퓨터 시스템(500)은 또한, CD/DVD 또는 유사한 매체(521)를 갖는 CD/DVD ROM/RW Z20을 포함하는 광학 매체, 썸-드라이브(thumb-drive)(522), 분리가능 하드 드라이브 또는 솔리드 스테이트 드라이브(523), 테이프 및 플로피 디스크(도시되지 않음)와 같은 레거시 자기 매체, 보안 동글(security dongle)(도시되지 않음)과 같은 특화된 ROM/ASIC/PLD 기반 디바이스 등과 같은 인간 액세스가능한 저장 디바이스 및 그 연관된 매체를 포함할 수 있다.
본 기술분야에서의 통상의 기술자는 또한, 현재 개시된 발명 요지와 관련하여 이용된 바와 같은 용어 "컴퓨터 판독가능 매체"가 송신 매체, 반송파, 또는 다른 일시적 신호를 망라하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(500)은 또한, 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크는 예를 들어, 무선, 유선, 광학일 수 있다. 네트워크는 추가로, 로컬, 광역, 대도시, 차량 및 산업, 실시간, 내지연성(delay-tolerant) 등일 수 있다. 네트워크의 예는 이더넷(Ethernet), 무선 LAN, GSM, 3G, 4G, 5G, LTE 등을 포함하기 위한 셀룰러 네트워크, 케이블 TV, 위성 TV, 및 지상 방송 TV를 포함하기 위한 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하기 위한 차량 및 산업 등과 같은 로컬 영역 네트워크를 포함한다. 어떤 네트워크는 (예를 들어, 컴퓨터 시스템(500)의 USB 포트와 같은) 어떤 범용 데이터 포트 또는 주변 버스(549)에 연결된 외부 네트워크 인터페이스 어댑터를 통상적으로 요구하고; 다른 것은 통상적으로, 이하에서 설명된 바와 같은 시스템 버스로의 연결(예를 들어, PC 컴퓨터 시스템으로의 이더넷 인터페이스, 또는 스마트폰 컴퓨터 시스템으로의 셀룰러 네트워크 인터페이스)에 의해 컴퓨터 시스템(500)의 코어로 통합된다. 이 네트워크 중의 임의의 네트워크를 이용하여, 컴퓨터 시스템(500)은 다른 엔티티와 통신할 수 있다. 이러한 통신은 단방향성 수신 단독(예를 들어, 방송 TV), 단방향성 전송-단독(예를 들어, 어떤 CANbus 디바이스로의 CANbus), 또는 예를 들어, 로컬 또는 광역 디지털 네트워크를 이용하는 다른 컴퓨터 시스템으로의 양방향성일 수 있다. 어떤 프로토콜 및 프로토콜 스택(protocol stack)은 위에서 설명된 바와 같은 그 네트워크 및 네트워크 인터페이스의 각각 상에서 이용될 수 있다.
전술한 인간 인터페이스 디바이스, 인간-액세스가능한 저장 디바이스, 및 네트워크 인터페이스는 컴퓨터 시스템(500)의 코어(540)에 연결될 수 있다.
코어(540)는 하나 이상의 중앙 프로세싱 유닛(CPU)(541), 그래픽 프로세싱 유닛(GPU)(542), 필드 프로그래밍가능 게이트 영역(Field Programmable Gate Area; FPGA)(543)의 형태인 특화된 프로그래밍가능 프로세싱 유닛, 어떤 태스크를 위한 하드웨어 가속기(544) 등을 포함할 수 있다. 이 디바이스는 판독-전용 메모리(ROM : Read-only memory)(545), 랜덤-액세스 메모리(Random-access memory)(546), 내부 비-사용자 액세스가능한 하드 드라이브와 같은 내부 대용량 스토리지, SSD 등(547)과 함께, 시스템 버스(548)를 통해 접속될 수 있다. 일부 컴퓨터 시스템에서, 시스템 버스(548)는 추가적인 CPU, GPU 등에 의한 확장을 가능하게 하기 위하여 하나 이상의 물리적 플러그(physical plug)의 형태로 액세스가능할 수 있다. 주변 디바이스는 직접적으로 코어의 시스템 버스(548)에, 또는 주변 버스(549)를 통해 연결될 수 있다. 주변 버스를 위한 아키텍처는 PCI, USB 등을 포함한다.
CPU(541), GPU(542), FPGA(543), 및 가속기(544)는 전술한 컴퓨터 코드를 조합으로 구성할 수 있는 어떤 명령을 실행할 수 있다. 그 컴퓨터 코드는 ROM(545) 또는 RAM(546) 내에 저장될 수 있다. 과도적 데이터는 또한, RAM(546) 내에 저장될 수 있는 반면, 영구적 데이터는 예를 들어, 내부 대용량 스토리지(547) 내에 저장될 수 있다. 메모리 디바이스 중의 임의의 것에 대한 고속 저장 및 인출은 하나 이상의 CPU(541), GPU(542), 대용량 스토리지(547), ROM(545), RAM(546) 등과 밀접하게 연관될 수 있는 캐시 메모리의 이용을 통해 가능하게 될 수 있다.
컴퓨터 판독가능 매체는 다양한 컴퓨터-구현된 동작을 수행하기 위하여 그 상에서 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시내용의 목적을 위하여 특수하게 설계되고 구성된 것일 수 있거나, 이들은 컴퓨터 소프트웨어 기술분야에서 통상의 기술자에게 널리 공지되고 이용가능한 종류일 수 있다.
제한이 아닌 예로서, 아키텍처(500) 및 구체적으로 코어(540)를 가지는 컴퓨터 시스템은 하나 이상의 유형의 컴퓨터-판독가능 매체에서 구체화된 소프트웨어를 실행하는 (CPU, GPU, FPGA, 가속기 등을 포함하는) 프로세서(들)의 결과로서의 기능성을 제공할 수 있다. 이러한 컴퓨터-판독가능 매체는 위에서 도입된 바와 같은 사용자-액세스가능한 대용량 스토리지 뿐만 아니라, 코어-내부 대용량 스토리지(547) 또는 ROM(545)과 같은, 비-일시적 본질인 코어(540)의 어떤 스토리지와 연관된 매체일 수 있다. 본 개시내용의 다양한 실시예를 구현하는 소프트웨어는 이러한 디바이스 내에 저장될 수 있고 코어(540)에 의해 실행될 수 있다. 컴퓨터-판독가능 매체는 특정한 필요성에 따라, 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(540) 및 구체적으로, (CPU, GPU, FPGA 등을 포함하는) 그 안의 프로세서들로 하여금, RAM(546) 내에 저장된 데이터 구조를 정의하는 것, 및 소프트웨어에 의해 정의된 프로세스에 따라 이러한 데이터 구조를 수정하는 것을 포함하는, 본 명세서에서 설명된 특정한 프로세스 또는 특정한 프로세스의 특정한 부분을 실행하게 할 수 있다. 추가적으로 또는 대안으로서, 컴퓨터 시스템은 본 명세서에서 설명된 특정한 프로세스 또는 특정한 프로세스의 특정한 부분을 실행하기 위하여 소프트웨어 대신에 또는 소프트웨어와 함께 동작할 수 있는, 회로(예를 들어, 가속기(544))에서 와이어링되거나 또는 구체화된 로직의 결과로서의 기능성을 제공할 수 있다. 소프트웨어에 대한 참조는 로직을 망라할 수 있고, 적절할 경우에 그 반대도 마찬가지이다. 컴퓨터-판독가능 매체에 대한 참조는 실행을 위한 소프트웨어를 저장하는 (집적 회로(IC : integrated circuit)와 같은) 회로, 실행을 위한 로직을 구체화하는 회로, 또는 적절할 경우에 둘 모두를 망라할 수 있다. 본 개시내용은 하드웨어 및 소프트웨어의 임의의 적당한 조합을 망라한다.
이 개시내용은 몇몇 예시적인 실시예를 설명하였지만, 개시내용의 범위 내에 속하는 개조, 치환, 다양한 적당한 등가물이 있다. 본 기술분야에서의 통상의 기술자는, 본 명세서에서 명시적으로 도시되거나 설명되지 않았지만, 개시내용의 원리를 구체화하고, 이에 따라, 그 사상 및 범위 내에 있는 수많은 시스템 및 방법을 고안할 수 있을 것이라는 것이 이에 따라 인식될 것이다.
Claims (20)
- 적어도 하나의 하드웨어 프로세서에 의해 구현되는 방법으로서,
클라이언트로 스트리밍되어야 할 라이트필드(lightfield) 또는 홀로그래픽(holographic) 미디어의 장면을 제어하는 단계;
상기 클라이언트와 연관된 클라이언트 버퍼의 스테이터스(status)에 적어도 기초하여, 상기 라이트필드 또는 홀로그래픽 미디어를 스트리밍하기 위하여 상기 클라이언트에 의해 이용가능한 대역폭을 결정하는 단계;
상기 라이트필드 또는 홀로그래픽 미디어의 장면을 복수의 분할된 장면으로 분할하는 단계 - 각각의 분할된 장면은 상기 장면의 하나 이상의 자산(asset)을 포함함 -;
상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 단계;
상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 상기 장면의 상기 자산 중의 하나 이상을 개개의 분할된 장면으로 매핑하는 단계;
상기 대역폭, 상기 매핑, 및 상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 상기 클라이언트 버퍼로의 상기 하나 이상의 자산의 서브세트의 송신을 제어하는 단계; 및
상기 분할된 장면 중의 적어도 하나를 렌더링할 때에 상기 자산 중의 적어도 하나를 재이용하도록 상기 클라이언트를 제어하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 적어도 하나의 하드웨어 프로세서는 상기 클라이언트와 네트워크화로 통신하는 서버의 하드웨어 프로세서인, 방법. - 제2항에 있어서,
상기 자산 중의 어느 것이 상기 분할된 자산의 이전 및 후속 장면의 각각에 대하여 클라이언트 디바이스로 전송되는지를 추적하는 단계를 더 포함하는 방법. - 제1항에 있어서,
상기 적어도 하나의 하드웨어 프로세서는 클라이언트의 하드웨어 프로세서인, 방법. - 제1항에 있어서,
상기 클라이언트 버퍼로의 상기 복수의 자산 중의 하나 이상의 자산의 송신을 제어하는 것은, 상기 라이트필드 또는 홀로그래픽 미디어의 장면 내의 자산의 상대적인 심도에 추가로 기초하는, 방법. - 제1항에 있어서,
상기 클라이언트 버퍼로의 상기 자산 중의 하나 이상의 자산의 송신을 제어하는 것은, 상기 라이트필드 또는 홀로그래픽 미디어의 장면 내의 자산의 상대적인 우선순위에 추가로 기초하는, 방법. - 제1항에 있어서,
상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 단계는, 상기 자산 중의 하나 이상이 복수의 클라이언트 버퍼 중의 임의의 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 단계 - 상기 복수의 클라이언트 버퍼는 상기 클라이언트 버퍼를 포함하고, 각각의 클라이언트 버퍼는 로컬 영역 네트워크(LAN : local area network) 상에서 네트워크화됨 - 를 더 포함하는, 방법. - 제1항에 있어서,
상기 자산 중의 적어도 하나가 상기 장면 내에 얼마나 많은 횟수로 나타나는지 중의 적어도 하나에 기초하여, 상기 자산 중의 적어도 하나에 재이용가능성 우선순위를 배정하는 단계를 더 포함하는 방법. - 제8항에 있어서,
상기 분할된 장면 중의 적어도 하나를 렌더링할 때에 상기 자산 중의 적어도 하나를 재이용하도록 상기 클라이언트를 제어하는 단계는, 상기 자산 중의 적어도 하나에 배정된 상기 재이용가능성 우선순위에 기초하는, 방법. - 제9항에 있어서,
상기 자산 중의 적어도 하나에 상기 재이용가능성 우선순위를 배정하는 단계는, 상기 자산 중의 적어도 하나의 자산의 크기 및 상기 자산 중의 적어도 하나의 자산의 복잡도 중의 적어도 하나에 추가로 기초하는, 방법. - 장치로서,
컴퓨터 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리;
상기 컴퓨터 프로그램 코드를 액세스하고, 상기 컴퓨터 프로그램 코드에 의해 명령된 바와 같이 동작하도록 구성된 적어도 하나의 하드웨어 프로세서
를 포함하고, 상기 컴퓨터 프로그램 코드는,
상기 적어도 하나의 하드웨어 프로세서로 하여금, 클라이언트로 스트리밍되어야 할 라이트필드 또는 홀로그래픽 미디어의 장면을 제어하게 하도록 구성된 제어 코드;
상기 적어도 하나의 하드웨어 프로세서로 하여금, 클라이언트와 연관된 클라이언트 버퍼의 스테이터스(status)에 적어도 기초하여, 상기 라이트필드 또는 홀로그래픽 미디어를 스트리밍하기 위하여 상기 클라이언트에 의해 이용가능한 대역폭을 결정하게 하도록 구성된 결정 코드;
상기 적어도 하나의 하드웨어 프로세서로 하여금, 상기 라이트필드 또는 홀로그래픽 미디어의 장면을 복수의 분할된 장면으로 분할하게 하도록 구성된 분할 코드 - 각각의 분할된 장면은 상기 장면의 하나 이상의 자산을 포함함 -;
상기 적어도 하나의 하드웨어 프로세서로 하여금, 상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는지 여부를 결정하게 하도록 구성된 추가 결정 코드;
상기 적어도 하나의 하드웨어 프로세서로 하여금, 상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 상기 장면의 상기 자산 중의 하나 이상을 개개의 분할된 장면으로 매핑하게 하도록 구성된 매핑 코드;
상기 적어도 하나의 하드웨어 프로세서로 하여금, 상기 대역폭, 상기 매핑, 및 상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 상기 클라이언트 버퍼로의 상기 하나 이상의 자산의 서브세트의 송신을 제어하게 하도록 구성된 송신 제어 코드; 및
적어도 하나의 하드웨어 프로세서로 하여금, 상기 분할된 장면 중의 적어도 하나를 렌더링할 때에 상기 자산 중의 적어도 하나를 재이용하도록 상기 클라이언트를 제어하게 하도록 구성된 재이용가능성 제어 코드
를 포함하는, 장치. - 제11항에 있어서,
상기 적어도 하나의 하드웨어 프로세서는 상기 클라이언트와 네트워크로 통신하는 서버의 하드웨어 프로세서인, 장치. - 제12항에 있어서,
상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 하드웨어 프로세서로 하여금, 상기 자산 중의 어느 것이 상기 분할된 장면의 이전 및 후속 장면의 각각에 대하여 클라이언트 디바이스로 전송되는지를 추적하게 하도록 구성된 추적 코드를 더 포함하는, 장치. - 제11항에 있어서,
상기 적어도 하나의 하드웨어 프로세서는 클라이언트의 하드웨어 프로세서인, 장치. - 제11항에 있어서,
상기 클라이언트 버퍼로의 상기 복수의 자산 중의 하나 이상의 자산의 송신을 제어하는 것은, 상기 라이트필드 또는 홀로그래픽 미디어의 장면 내의 자산의 상대적인 심도에 추가로 기초하는, 장치. - 제11항에 있어서,
상기 클라이언트 버퍼로의 상기 복수의 자산 중의 하나 이상의 자산의 송신을 제어하는 것은, 상기 라이트필드 또는 홀로그래픽 미디어의 장면 내의 자산의 상대적인 우선순위에 추가로 기초하는, 장치. - 제11항에 있어서,
상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 것은, 상기 자산 중의 하나 이상이 복수의 클라이언트 버퍼 중의 임의의 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 것 - 상기 복수의 클라이언트 버퍼는 상기 클라이언트 버퍼를 포함하고, 각각의 클라이언트 버퍼는 로컬 영역 네트워크(LAN) 상에서 네트워크화됨 - 을 더 포함하는, 장치. - 제11항에 있어서,
상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 하드웨어 프로세서로 하여금, 상기 자산 중의 적어도 하나가 상기 장면 내에 얼마나 많은 횟수로 나타나는지, 상기 자산 중의 적어도 하나의 자산의 크기, 및 상기 자산 중의 적어도 하나의 자산의 복잡도 중의 적어도 하나에 기초하여 상기 자산 중의 적어도 하나에 재이용가능성 우선순위를 배정하게 하도록 구성된 배정 코드를 더 포함하는, 장치. - 제11항에 있어서,
상기 분할된 장면 중의 적어도 하나를 렌더링할 때에 상기 자산 중의 적어도 하나를 재이용하도록 상기 클라이언트를 제어하는 것은, 상기 자산 중의 적어도 하나에 배정된 상기 재이용가능성 우선순위에 기초하는, 장치. - 컴퓨터로 하여금, 프로세스를 실행하게 하는 프로그램을 저장하는 비-일시적 컴퓨터 판독가능 매체로서,
상기 프로세스는:
클라이언트로 스트리밍되어야 할 라이트필드 또는 홀로그래픽 미디어의 장면을 제어하는 단계;
상기 클라이언트와 연관된 클라이언트 버퍼의 스테이터스에 적어도 기초하여, 상기 라이트필드 또는 홀로그래픽 미디어를 스트리밍하기 위하여 상기 클라이언트에 의해 이용가능한 대역폭을 결정하는 단계;
상기 라이트필드 또는 홀로그래픽 미디어의 장면을 복수의 분할된 장면으로 분할하는 단계 - 각각의 분할된 장면은 상기 장면의 하나 이상의 자산을 포함함 -;
상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는지 여부를 결정하는 단계;
상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 상기 장면의 상기 자산 중의 하나 이상을 개개의 분할된 장면으로 매핑하는 단계;
상기 대역폭, 상기 매핑, 및 상기 자산 중의 하나 이상이 상기 클라이언트 버퍼 내에 존재하는 것으로 결정되는지 여부에 기초하여, 상기 클라이언트 버퍼로의 상기 하나 이상의 자산의 서브세트의 송신을 제어하는 단계; 및
상기 분할된 장면 중의 적어도 하나를 렌더링할 때에 상기 자산 중의 적어도 하나를 재이용하도록 상기 클라이언트를 제어하는 단계
를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163275789P | 2021-11-04 | 2021-11-04 | |
| US63/275,789 | 2021-11-04 | ||
| US17/970,035 | 2022-10-20 | ||
| US17/970,035 US11962867B2 (en) | 2021-11-04 | 2022-10-20 | Asset reusability for lightfield/holographic media |
| PCT/US2022/047696 WO2023081038A2 (en) | 2021-11-04 | 2022-10-25 | Asset reusability for lightfield/holographic media |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230156788A true KR20230156788A (ko) | 2023-11-14 |
Family
ID=86144653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237035406A KR20230156788A (ko) | 2021-11-04 | 2022-10-25 | 라이트필드/홀로그래픽 미디어를 위한 자산 재이용가능성 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11962867B2 (ko) |
| JP (1) | JP2024512629A (ko) |
| KR (1) | KR20230156788A (ko) |
| CN (1) | CN117546472A (ko) |
| WO (1) | WO2023081038A2 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11917283B2 (en) * | 2021-10-27 | 2024-02-27 | Tencent America LLC | Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007023740B4 (de) | 2007-05-16 | 2009-04-09 | Seereal Technologies S.A. | Verfahren zur Generierung von Videohologrammen für eine holographische Wiedergabeeinrichtung mit wahlfreier Adressierung |
| US10469873B2 (en) * | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
| US10419737B2 (en) * | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
| IL299278A (en) | 2017-12-22 | 2023-02-01 | Magic Leap Inc | Methods and system for creating and displaying 3D video in a virtual, augmented or mixed reality environment |
| CN112771884B (zh) | 2018-04-13 | 2023-02-10 | 华为技术有限公司 | 具有多个机位的虚拟现实内容的沉浸式媒体度量 |
| US11232532B2 (en) | 2018-05-30 | 2022-01-25 | Sony Interactive Entertainment LLC | Multi-server cloud virtual reality (VR) streaming |
| US10928773B2 (en) | 2018-11-01 | 2021-02-23 | International Business Machines Corporation | Holographic image replication |
| WO2021077078A1 (en) * | 2019-10-18 | 2021-04-22 | Looking Glass Factory, Inc. | System and method for lightfield capture |
| WO2021262860A1 (en) * | 2020-06-23 | 2021-12-30 | Looking Glass Factory, Inc. | System and method for holographic communication |
| US20210385463A1 (en) * | 2021-08-20 | 2021-12-09 | Intel Corporation | Resource-efficient video coding and motion estimation |
-
2022
- 2022-10-20 US US17/970,035 patent/US11962867B2/en active Active
- 2022-10-25 CN CN202280007561.7A patent/CN117546472A/zh active Pending
- 2022-10-25 JP JP2023559798A patent/JP2024512629A/ja active Pending
- 2022-10-25 WO PCT/US2022/047696 patent/WO2023081038A2/en active Application Filing
- 2022-10-25 KR KR1020237035406A patent/KR20230156788A/ko active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| US11962867B2 (en) | 2024-04-16 |
| WO2023081038A3 (en) | 2023-11-23 |
| CN117546472A (zh) | 2024-02-09 |
| WO2023081038A2 (en) | 2023-05-11 |
| JP2024512629A (ja) | 2024-03-19 |
| US20230132420A1 (en) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
| KR20230154979A (ko) | 렌더링 엔진들을 갖는 몰입형 기술 미디어 포맷(itmf) 사양의 맵핑 아키텍처 | |
| US12003792B2 (en) | Adaptation of 2D video for streaming to heterogenous client end-points | |
| US11962867B2 (en) | Asset reusability for lightfield/holographic media | |
| US12003601B2 (en) | Method and apparatus for split rendering for lightfield/immersive media using proxy edge cloud architecture | |
| US11937070B2 (en) | Layered description of space of interest | |
| JP7472298B2 (ja) | 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信 | |
| US11917283B2 (en) | Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming | |
| US11943271B2 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
| JP7419529B2 (ja) | 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 | |
| US11983214B2 (en) | Reuse of redundant assets with client query | |
| KR20230141816A (ko) | 자산 포맷들의 변환을 위한 몰입형 미디어 데이터 복잡도 분석기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |