KR102224826B1 - 뷰포트 적응형 360도 비디오 전달의 방법 및 장치 - Google Patents

뷰포트 적응형 360도 비디오 전달의 방법 및 장치 Download PDF

Info

Publication number
KR102224826B1
KR102224826B1 KR1020207030767A KR20207030767A KR102224826B1 KR 102224826 B1 KR102224826 B1 KR 102224826B1 KR 1020207030767 A KR1020207030767 A KR 1020207030767A KR 20207030767 A KR20207030767 A KR 20207030767A KR 102224826 B1 KR102224826 B1 KR 102224826B1
Authority
KR
South Korea
Prior art keywords
video
viewport
representation
layer
quality
Prior art date
Application number
KR1020207030767A
Other languages
English (en)
Other versions
KR20200127044A (ko
Inventor
용 히
얀 예
스리니바스 구두마수
에두아르두 에스번
아메드 함자
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Priority to KR1020217006387A priority Critical patent/KR102277287B1/ko
Publication of KR20200127044A publication Critical patent/KR20200127044A/ko
Application granted granted Critical
Publication of KR102224826B1 publication Critical patent/KR102224826B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

클라이언트 중심의 서비스 품질 제어를 위한 시스템, 방법 및 수단이 개시된다. 360도 비디오의 제1 뷰포트가 결정될 수도 있다. 360도 비디오는, 등장방형(equirectangular), 큐브맵(cube-map), 원통형, 피라미드형, 및/또는 구형 투영 매핑 중 하나 이상을 포함할 수도 있다. 제1 뷰포트는 360도 비디오의 공간 영역과 관련될 수도 있다. 공간 영역 주위로 연장되는 인접 영역이 결정될 수도 있다. 360도 비디오의 제2 뷰포트가 결정될 수도 있다. 360도 비디오와 관련되는 비트스트림이 수신될 수도 있다. 하나 이상의 향상된 영역이 비트스트림에 포함될 수도 있다. 하나 이상의 향상된 영역은 제1 및/또는 제2 뷰포트에 대응할 수도 있다. 높은 코딩 비트레이트는 제1 뷰포트 및/또는 제2 뷰포트와 관련될 수도 있다.

Description

뷰포트 적응형 360도 비디오 전달의 방법 및 장치{METHODS AND APPARATUS OF VIEWPORT ADAPTIVE 360 DEGREE VIDEO DELIVERY}
본 출원은, 참조에 의해 본원에 통합되는 2016년 5월 26일자로 출원된 미국 가출원 제62/342158호에 대한 우선권 및 그 이익을 주장한다.
360° 비디오는 미디어 산업에서 출현하고 있는 급속하게 성장하는 포맷이다. 360° 비디오는 가상 현실(virtual reality; VR) 디바이스의 이용 가능성을 증가시키는 것에 의해 가능하게 된다. 360° 비디오는 뷰어(viewer)에게 새로운 느낌의 존재감을 제공할 수도 있다. 직선(rectilinear) 비디오(예를 들면, 2D 또는 3D)와 비교할 때, 360° 비디오는 비디오 프로세싱 및/또는 전달시 어려운 엔지니어링 도전 과제를 제기할 수도 있다. 안락한 및/또는 몰입형 유저 경험을 가능하게 하는 것은, 높은 비디오 품질 및/또는 매우 낮은 레이턴시를 필요로 할 수도 있다. 360° 비디오의 대형 비디오 사이즈는 360° 비디오를 고품질의 방식으로 대규모로 전달하는 데 장애가 될 수도 있다.
360° 비디오 애플리케이션 및/또는 서비스는, 프로그레시브 다운로드 및/또는 적응형 스트리밍을 위해 전체 360° 비디오를 표준 호환 스트림으로 인코딩할 수도 있다. 전체 360° 비디오를 클라이언트로 전달하는 것은, 낮은 레이턴시 렌더링을 가능하게 할 수도 있다(예를 들면, 클라이언트는 360° 비디오 콘텐츠 전체에 액세스할 수도 있고 및/또는 추가적인 제약 없이 자신이 보기를 소망하는 부분을 렌더링할 것을 선택할 수 있다). 서버의 관점에서, 동일한 스트림은, 어쩌면 상이한 뷰포트를 가진 다수의 유저를 지원할 수 있다. 비디오 사이즈는 엄청나게 클 수도 있어서, (예를 들면, 전체 360° 비디오가 눈마다 4K@60fps 또는 6K@90fps와 같은 고품질로 인코딩되어야 하기 때문에) 비디오가 전달될 때 높은 전송 대역폭을 초래할 수도 있다. 예를 들면, 유저가 전체 픽쳐 중 작은 부분(예를 들면, 뷰포트)만을 볼 수도 있기 때문에, 전달 동안 높은 대역폭 소비는 낭비될 수도 있다.
뷰포트 적응형 360° 비디오 전달을 위한 시스템, 방법 및 수단(instrumentality)이 개시된다. 뷰포트 향상 기반의 360도 비디오가 전달 및/또는 시그널링될 수도 있다. 360도 비디오는 레이어 기반의 뷰포트 오버레이를 사용하여 전달될 수도 있다. 360도 비디오 매핑의 시그널링이 제공될 수도 있다.
360도 비디오의 제1 뷰포트가 결정될 수도 있다. 360도 비디오는, 등장방형(equirectangular), 큐브맵(cube-map), 원통형, 피라미드형, 및/또는 구형 투영 매핑 중 하나 이상을 포함할 수도 있다. 제1 뷰포트는 360도 비디오의 공간 영역과 관련될 수도 있다. 공간 영역 주위로 연장되는 인접 영역이 결정될 수도 있다. 360도 비디오의 제2 뷰포트가 결정될 수도 있다. 360도 비디오와 관련되는 비트스트림이 수신될 수도 있다. 비트스트림은 하나 이상의 향상된 영역을 포함할 수도 있다. 하나 이상의 향상된 영역은 제1 및/또는 제2 뷰포트에 대응할 수도 있다. 높은 코딩 비트레이트는 제1 뷰포트 및/또는 제2 뷰포트와 관련될 수도 있다. 360도 비디오 전달과 관련되는 하나 이상의 뷰포트 성질(property)을 나타내는 시그널링이 수신될 수도 있다.
360도 비디오를 프로세싱하기 위한 WTRU는, (예를 들면, 메모리에 저장되는 실행 가능 명령어를 사용하여), 다음 중 하나 이상을 위해 구성되는 프로세서를 포함할 수도 있다: (i) 미디어 세그먼트의 다중면 기하학적 투영 포맷(multi-face geometric projection format)에 대한 면 패킹 레이아웃(face-packing layout)을 나타내는 필수 성질 엘리먼트(essential property element)를 포함하는 360도 비디오와 관련되는 미디어 프리젠테이션 디스크립션(media presentation description; MPD)을 수신하는 것; (ii) 미디어 세그먼트를 수신하는 것; (iv) 필수 성질 엘리먼트에 기초하여, 한 세트의 면 패킹 레이아웃으로부터 적어도 하나의 면 패킹 레이아웃을, 수신된 미디어 세그먼트에 대해 결정하는 것; 및 (iv) 결정된 적어도 하나의 면 패킹 레이아웃에 기초하여 수신된 미디어 세그먼트를 구성하는 것.
한 세트의 면 패킹 레이아웃은, 플레이트 캐리(plate carree), 측면 절반 높이의 폴(pole), 측면 전체 높이의 폴, 단일의 행, 2×3, 및 180도를 포함한다. 필수 성질 엘리먼트는 적응 레벨 및 표현(representation) 레벨 중 하나에 있을 수도 있다.
WTRU 프로세서는, (예를 들면, 메모리에 저장되는 실행 가능 명령어를 사용하여), MPD와 관련되는 미디어 표현을 결정하여, 미래의 미디어 세그먼트를 요청할 수도 있고 결정된 미디어 표현에 대한 요청을 전송할 수도 있다.
MPD는, 미디어 세그먼트에 대한, 한 세트의 비디오 타입으로부터 선택되는, 비디오 타입을 포함할 수도 있다. 한 세트의 비디오 타입은 직선, 파노라마, 구체(sphere) 및 명시야(lightfield) 포맷을 포함할 수도 있다. WTRU 프로세서는, (예를 들면, 메모리에 저장되는 실행 가능 명령어를 사용하여), 수신된 미디어 세그먼트에 대한 비디오 타입을 결정하도록 및/또는 결정된 비디오 타입을 사용하여 수신된 미디어 세그먼트를 구성하도록 구성될 수도 있다.
MPD는 360도 비디오를 무지향성 포맷으로부터 직선 비디오 프레임으로 투영하기 위해 사용되는 적어도 하나의 투영 포맷을 포함할 수도 있다. 투영 포맷은 등장방형, 큐브, 오프셋 큐브(offset cube), 찌그러진 구체, 피라미드, 및 원통 중 하나를 포함할 수도 있다. WTRU 프로세서는, (예를 들면, 메모리에 저장되는 실행 가능 명령어를 사용하여), 비디오 파일을 수신하기 위한 투영 포맷을 결정하도록 및/또는 결정된 투영 포맷에 대한 요청을 전송하도록 구성될 수도 있다. 360도 비디오는 무지향성 미디어 애플리케이션 포맷(Omnidirectional Media Application Format; OMAF) 파일을 포함할 수도 있다.
360도 비디오를 프로세싱하기 위해 WTRU를 사용하는 방법은 다음 중 하나 이상을 포함할 수도 있다: (i) 미디어 세그먼트의 다중면 기하학적 투영 포맷에 대한 면 패킹 레이아웃을 나타내는 필수 성질 엘리먼트를 포함하는 360도 비디오와 관련되는 미디어 프리젠테이션 디스크립션(MPD)을 수신하는 것; (ii) 미디어 세그먼트를 수신하는 것; (iii) 필수 성질 엘리먼트에 기초하여, 한 세트의 면 패킹 레이아웃으로부터 적어도 하나의 면 패킹 레이아웃을, 수신된 미디어 세그먼트에 대해 결정하는 것; 및 (iv) 결정된 적어도 하나의 면 패킹 레이아웃에 기초하여 수신된 미디어 세그먼트를 구성하는 것.
WTRU를 사용하는 방법은, 미래의 수신 파일을 요청하기 위한, MPD와 관련되는, 미디어 표현을 결정하는 것 및/또는 결정된 미디어 표현에 대한 요청을 전송하는 것을 포함할 수도 있다. 방법은, 수신된 미디어 세그먼트에 대한 비디오 타입을 결정하는 것 및/또는 결정된 비디오 타입을 사용하여 수신된 미디어 세그먼트를 구성하는 것을 포함할 수도 있다. 방법은 비디오 파일에 대한 투영 포맷을 결정하는 것 및/또는 결정된 투영 포맷에 대한 요청을 전송하는 것을 포함할 수도 있다.
360도 비디오 파일을 프로세싱하기 위한 WTRU는 (예를 들면, 메모리에 저장되는 실행 가능 명령어를 사용하여) 다음 중 하나 이상을 위해 구성되는 프로세서를 포함할 수도 있다: 미디어 세그먼트의 다중면 기하학적 투영 포맷에 대한, 제1 면 패킹 레이아웃을 나타내는 제1 필수 성질 엘리먼트, 및 미디어 세그먼트의 다중면 기하학적 투영 포맷에 대한, 제1 제2 패킹 레이아웃을 나타내는 제2 필수 성질 엘리먼트를 포함하는, 360도 비디오와 관련되는 미디어 프리젠테이션 디스크립션(MPD)을 수신하는 것; 미디어 세그먼트에 대해 제1 면 패킹 레이아웃을 사용할지 또는 제2 면 패킹 레이아웃을 사용할지의 여부를 결정하는 것; 결정된 적어도 제1 또는 제2 면 패킹 레이아웃을 요청하는 것; 및 미디어 세그먼트를 수신하는 것; 및 요청된 면 패킹 레이아웃에 기초하여 수신된 미디어 세그먼트와 관련되는 360도 비디오를 재구성하는 것.
도 1은 헤드 마운트형 디바이스(head mounted device; HMD) 상에서 디스플레이되는 360° 비디오의 예시적인 부분을 묘사한다.
도 2는 360° 비디오에 대한 예시적인 등장방형 투영을 묘사한다.
도 3은 예시적인 360° 비디오 매핑을 묘사한다.
도 4는 예시적인 미디어 프리젠테이션 디스크립션(MPD) 계층 데이터 모델을 묘사한다.
도 5는 비디오에 대한 예시적인 HTTP를 통한 동적 적응형 스트리밍(Dynamic Adaptive Streaming over HTTP; DASH) 공간 관계 디스크립션(spatial relationship description; SRD)을 묘사한다.
도 6은 예시적인 타일 기반 비디오 구획화(video partitioning)를 묘사한다.
도 7은 예시적인 시간적 모션 제약 타일 세트(temporal motion constrained tile set)를 묘사한다.
도 8은 360° 비디오 스트리밍 품질 열화의 예를 묘사한다.
도 9는 관련된 인접 영역을 갖는 예시적인 뷰포트 영역을 묘사한다.
도 10a 내지 도 10d는 예시적인 큐브맵 레이아웃을 묘사한다.
도 11a는 예시적인 등장방형 좌표 뷰포트 매핑의 한 예를 묘사한다.
도 11b는 예시적인 큐브맵 좌표 뷰포트 매핑을 묘사한다.
도 12는 예시적인 구 좌표 뷰포트 매핑(spherical coordinate viewport mapping)을 묘사한다.
도 13a 및 도 13b는 예시적인 뷰포트 향상 표현을 묘사한다.
도 14는 예시적인 레이어 기반의 360° 비디오 오버레이를 묘사한다.
도 15는 예시적인 레이어 기반의 360° 비디오 표현을 묘사한다.
도 16은 예시적인 레이어 기반의 360° 비디오 오버레이를 묘사한다.
도 17a 및 도 17b는 예시적인 레이어 기반의 360° 비디오 오버레이의 플로우차트를 묘사한다.
도 18은 다수의 뷰포트를 갖는 예시적인 레이어 기반의 360° 비디오 오버레이를 묘사한다.
도 19는 측면 상에서 절반 높이 폴을 갖는 예시적인 등장방형 표현을 묘사한다.
도 20은 측면 상에서 전체 높이 폴을 갖는 예시적인 등장방형 표현을 묘사한다.
도 21은 예시적인 단일 행 레이아웃 큐브 표현을 묘사한다.
도 22는 예시적인 2×3 레이아웃 큐브 표현을 묘사한다.
도 23은 예시적인 180° 큐브맵 레이아웃을 묘사한다.
도 24a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템의 시스템 도면이다.
도 24b는 도 24a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 무선 송수신 유닛(wireless transmit/receive unit; WTRU)의 시스템 도면이다.
도 24c는 도 24a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크 및 예시적인 무선 액세스 네트워크의 시스템 도면이다.
도 24d는, 도 24a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템 도면이다.
도 24e는, 도 24a에서 예시되는 통신 시스템 내에서 사용될 수도 있는 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템 도면이다.
이제, 예시적인 실시형태의 상세한 설명이 다양한 도면을 참조로 설명될 것이다. 비록 이 설명이 가능한 구현예의 상세한 예를 제공하지만, 세부 사항은 예시적인 것으로 의도되며 본 출원의 범위를 어떤 식으로든 제한하도록 의도되는 것이 아니다는 것을 유의해야 한다.
도 1은 헤드 마운트형 디바이스(HMD) 상에서 디스플레이되는 360° 비디오의 예시적인 부분을 묘사한다. 360° 비디오를 볼 때, 유저는, 예를 들면, 도 1에서 도시되는 바와 같이, 비디오의 일부를 제시받을 수도 있다. 비디오의 일부는, 유저가 주위를 둘러 보는 경우 및/또는 이미지를 주밍하는(zoom) 경우 변경될 수도 있다. 비디오의 일부는, HMD 및/또는 다른 타입의 유저 인터페이스(예를 들면, 무선 송수신 유닛(WTRU))에 의해 제공되는 피드백에 기초하여 변경될 수도 있다. 뷰포트는 전체 360° 비디오의 공간 영역일 수도 있거나 또는 전체 360° 비디오의 공간 영역을 포함할 수도 있다. 뷰포트는 유저에게 완전히 또는 부분적으로 제시될 수도 있다. 뷰포트는 360° 비디오의 다른 부분과는 상이한 하나 이상의 품질을 가질 수도 있다.
360° 비디오는 (예를 들면, 유저에게 임의의 뷰포트를 선택하는 능력을 주기 위해) 구체 상에서 캡쳐 및/또는 렌더링될 수도 있다. 구형 비디오 포맷(spherical video format)은 종래의 비디오 코덱을 사용하여 직접 전달되지 않을 수도 있다. 투영 방법을 사용하여 구형 비디오를 2D 평면 상으로 투영하는 것에 의해 (예를 들면, 구형 비디오와 같은) 360° 비디오가 압축될 수도 있다. 투영된 2D 비디오는 (예를 들면, 종래의 비디오 코덱을 사용하여) 코딩될 수도 있다. 투영 방법의 예는 등장방형 투영을 포함할 수도 있다. 도 2는 360° 비디오에 대한 등장방형 투영의 예를 묘사한다. 예를 들면, 등장방형 투영 방법은 다음 수학식 중 하나 이상을 사용하여, 구체 상에서 좌표(θ, φ)를 갖는 제1 포인트 P를, 2D 평면 상에서 좌표 (u, v)를 갖는 제2 포인트 P로 매핑할 수도 있다,
Figure 112020113211566-pat00001
도 3은 예시적인 360° 비디오 매핑을 묘사한다. 예를 들면, (예를 들면, 대안적으로, 대역폭 요건을 감소시키기 위해) 하나 이상의 다른 투영 방법(예를 들면, 매핑)이 사용되어 360 비디오를 2D 평면 비디오로 변환할 수도 있다. 예를 들면, 하나 이상의 다른 투영 방법은 피라미드 맵, 큐브맵, 및/또는 오프셋 큐브맵을 포함할 수도 있다. 하나 이상의 다른 투영 방법은 더 적은 데이터로 구형 비디오를 표현하기 위해 사용될 수도 있다.
뷰포트 고유의 표현(viewport-specific representation)이 사용될 수도 있다. 도 3에서 도시되는 하나 이상의 투영 방법, 예를 들면, 큐브맵 및/또는 피라미드 투영은, 상이한 뷰포트에 대해 균일하지 않은 품질 표현을 제공할 수도 있다(예를 들면, 몇몇 뷰포트는 다른 뷰포트보다 더 높은 품질로 표현될 수도 있음). (예를 들면, 구형 비디오의 모든 뷰포트를 지원하기 위해) 상이한 타겟 뷰포트를 갖는 동일한 비디오의 다수의 버전이 생성될 수도 있고 및/또는 서버 측에 저장될 수도 있다. 예를 들면, VR 비디오 전달의 페이스 북의 구현에서, 도 3에서 도시되는 오프셋 큐브맵 포맷이 사용할 수도 있다. 오프셋 큐브맵은 전방(front) 뷰포트에 대해 가장 높은 해상도(예를 들면, 최고품질)를, 후방(back) 뷰에 대해 최저 해상도(예를 들면, 최저 품질)를, 그리고 하나 이상의 측면 뷰에 중간 해상도(예를 들면, 중간 품질)를 제공할 수도 있다. 서버는 (예를 들면, 동일한 콘텐츠의 상이한 뷰포트에 대한 클라이언트 요청을 수용하기 위해) 동일한 콘텐츠의 다수의 버전을 저장할 수도 있다. 예를 들면, 동일한 콘텐츠의 총 150 개의 상이한 버전(예를 들면, 30개 뷰포트 × 각각의 뷰포트에 대한 5개의 해상도). 전달(예를 들면, 스트리밍) 동안, 클라이언트는 자신의 현재 뷰포트에 대응하는 특정한 버전을 요청할 수도 있다. 특정한 버전은 서버에 의해 전달될 수도 있다.
360 비디오 및/또는 다른 비 종래의 비디오 포맷(예를 들면, 파노라마 비디오 표현에서 사용될 수도 있는 원통형 비디오)을 표현하기 위해 사용될 수도 있는 다양한 투영 방법을 설명하기 위해, ISO/IEC/MPEG은 무지향성 미디어 애플리케이션 포맷(OMAF)을 정의할 수도 있다. 본원에서 설명되는 투영 방법에 대한 OMAF 파일 포맷 메타데이터는, 구체, 큐브, 원통, 피라미드, 및/또는 등등 상으로의 비디오에 대한 투영 메타데이터에 대한 지원을 포함할 수도 있다. 표 1은 찌그러진 구체, 원통, 피라미드와 같은 투영 방법을 지원하는 OMAF의 구문 예를 도시할 수도 있다.
Figure 112020113211566-pat00002
Figure 112020113211566-pat00003
HTTP 스트리밍은 상업적인 배치에서 지배적인 접근법이 되었다. 예를 들면, Apple의 HTTP 라이브 스트리밍(HTTP Live Streaming; HLS), Microsoft의 스무스 스트리밍(Smooth Streaming; SS), 및/또는 Adobe의 HTTP 다이나믹 스트리밍(HTTP Dynamic Streaming; HDS)과 같은 스트리밍 플랫폼은 기저의 전달 방법으로서 HTTP 스트리밍을 사용할 수도 있다. 멀티미디어 콘텐츠의 HTTP 스트리밍을 위한 표준은 표준 기반의 클라이언트가 임의의 표준 기반의 서버로부터 콘텐츠를 스트리밍하는 것을 가능하게 할 수도 있다(예를 들면, 그 결과, 상이한 벤더(vendor)의 서버와 클라이언트 사이의 상호 운용의 가능성을 가능하게 할 수도 있다). MPEG-DASH(MPEG Dynamic Adaptive Streaming over HTTP)는, 변화하는 네트워크 조건에 동적으로 적응시키는 것에 의해 엔드 유저에게 최상의 비디오 경험을 제공하는 보편적인 전달 포맷일 수도 있다. DASH는 HTTP/TCP/IP 스택 위에 구축될 수도 있다. DASH는, 미디어 프리젠테이션 디스크립션(MPD)인 매니페스트 포맷(manifest format)을 정의할 수도 있고, ISO 기본 미디어 파일 포맷 및 MPEG-2 전송 스트림에 대한 포맷을 분할할 수도 있다.
동적 HTTP 스트리밍은 서버에서 이용 가능할 멀티미디어 콘텐츠의 다양한 비트레이트 대안과 관련될 수도 있다. 멀티미디어 콘텐츠는 여러 가지 미디어 성분(예를 들면, 오디오, 비디오, 텍스트)을 포함할 수도 있는데, 그들의 각각은 상이한 특성을 가질 수도 있다. MPEG-DASH에서, 특성은 미디어 프리젠테이션 디스크립션(MPD)에 의해 설명될 수도 있다.
MPD는, DASH 클라이언트가 스트리밍 세션 동안 적응적 방식으로 (예를 들면, 본원에서 설명되는 바와 같이) 비디오 세그먼트에 액세스하기 위한 적절한 HTTP-URL을 구성하는 데 필요한 메타데이터를 포함하는 XML 문서일 수도 있다. 도 4는 예시적인 미디어 프리젠테이션 디스크립션(MPD) 계층 데이터 모델을 묘사한다. MPD는, 일관된 한 세트의 미디어 콘텐츠 성분의 인코딩된 버전이 한 Period(기간) 동안 변하지 않는, 일련의 Period를 설명할 수도 있다. Period는 시작 시간 및 지속 기간을 가질 수도 있다. Period는 하나 이상의 적응 세트(예를 들면, AdaptationSet)로 구성될 수도 있다.
AdaptationSet는 (예를 들면, 언어, 미디어 타입, 픽쳐 종횡비, 역할, 액세스 가능성, 뷰포인트, 및/또는 등급(rating) 성질과 같은) 하나 이상의 동일한 성질을 공유하는 한 세트의 하나 또는 여러 개의 미디어 콘텐츠 성분의 인코딩된 버전을 나타낼 수도 있다. 예를 들면, 제1 AdaptationSet는 동일한 멀티미디어 콘텐츠의 비디오 성분의 상이한 비트레이트를 포함할 수도 있다. 제2 AdaptationSet는 동일한 멀티미디어 콘텐츠의 오디오 성분(예를 들면, 더 낮은 품질 스테레오 및/또는 더 높은 품질 서라운드 사운드)의 상이한 비트레이트를 포함할 수도 있다. AdaptationSet는 다수의 Representation(표현)을 포함할 수도 있다.
Representation은, 비트레이트, 해상도, 채널의 수, 및/또는 다른 특성에 의해 다른 표현으로부터 변하는, 하나 또는 여러 개의 미디어 성분의 전달 가능한 인코딩된 버전을 설명할 수도 있다. 표현은 하나 이상의 세그먼트를 포함할 수도 있다. (예를 들면, @id, @bandwidth, @qualityRanking, 및 @dependencyId와 같은) Representation 엘리먼트의 하나 이상의 속성(attribute)은, 관련된 Representation의 하나 이상의 성질(property)을 명시하기 위해 사용될 수도 있다.
Segment(세그먼트)는 단일의 HTTP 요청으로 검색될 수 있는 가장 큰 데이터 단위일 수도 있다. 세그먼트는 URL(예를 들면, 서버 상에서 주소 지정 가능한 위치)을 구비할 수도 있다. HTTP GET 또는 바이트 범위를 갖는 HTTP GET을 사용하여 세그먼트가 다운로드될 수도 있다.
DASH 클라이언트는 MPD XML 문서를 파싱할 수도 있다. DASH 클라이언트는, 예를 들면, AdaptationSet 엘리먼트에서 제공되는 정보에 기초하여, 자신의 환경에 적절한 AdaptationSets의 콜렉션을 선택할 수도 있다. AdaptationSet 내에서, 클라이언트는 Representation을 선택할 수도 있다. 클라이언트는 @bandwidth 속성의 값, 클라이언트 디코딩 성능, 및/또는 클라이언트 렌더링 성능에 기초하여 Representation을 선택할 수도 있다. 클라이언트는 선택된 Representation의 초기화 세그먼트를 다운로드할 수도 있다. 클라이언트는 (예를 들면, 전체 Segment 또는 Segment의 바이트 범위를 요청하는 것에 의해) 콘텐츠에 액세스할 수도 있다. 프리젠테이션이 시작되면, 클라이언트는 미디어 콘텐츠를 계속 소비할 수도 있다. 예를 들면, 클라이언트는 프리젠테이션 동안 Media Segment(미디어 세그먼트) 및/또는 Media Segment의 일부를 요청할 수도 있다(예를 들면, 지속적으로 요청할 수도 있다). 클라이언트는 미디어 프리젠테이션 타임라인에 따라 콘텐츠를 플레이할 수도 있다. 클라이언트는, 클라이언트의 환경으로부터의 업데이트된 정보에 기초하여, 제1 Representation으로부터 제2 표현으로 전환할 수도 있다. 클라이언트는 두 개 이상의 Period에 걸쳐 지속적으로 콘텐츠를 플레이할 수도 있다. 클라이언트가 Representation 내의 발표된 미디어의 끝을 향해 Segment 내에 포함되는 미디어를 소비하고 있는 경우, Media Presentation(미디어 프리젠테이션)이 종료될 수도 있고, Period가 시작될 수도 있고, 및/또는 MPD가 다시 가져오기될(re-fetched) 수도 있다.
MPD 디스크립터 엘리먼트인 Descriptor(디스크립터)는 (예를 들면, 적절한 스킴 정보로 하나 이상의 디스크립션 엘리먼트를 인스턴스화하기 위해) 애플리케이션으로 제공될 수도 있다. (예를 들면, 콘텐츠 보호, 역할, 액세스 가능성, 등급, 뷰포인트, 프레임 패킹, 및/또는 UTC 타이밍 디스크립터와 같은) 하나 이상의 Descriptor는 상대적인 스킴을 식별하기 위한 @schemeIdUri 속성을 포함할 수도 있다.
보충 성질 디스크립터(SupplementalProperty)는 프로세싱을 최적화하기 위해 DASH 클라이언트에 의해 사용될 수도 있는 메타데이터를 포함할 수도 있다.
필수 성질 디스크립터(EssentialProperty)는 포함하는 엘리먼트를 프로세싱하기 위한 메타데이터를 포함할 수도 있다.
Role(역할) MPD 엘리먼트는 @schemeIdUri 속성을 사용하여 미디어 콘텐츠 성분의 역할을 식별하기 위해 활용되는 역할 스킴(role scheme)을 식별할 수도 있다. 하나 이상의 Role은 미디어 콘텐츠 성분의 하나 이상의 특성 및/또는 구조적 기능을 정의 및/또는 설명할 수도 있다. Adaptation Set(적응 세트) 및/또는 미디어 콘텐츠 성분은 (예를 들면, 심지어 동일한 스킴 내에서도) 다수의 할당된 역할을 가질 수도 있다.
MPEG-DASH는 공간 관계 디스크립션(spatial relationship description; SRD) 스킴을 제공할 수도 있다. SRD 스킴은 두 개의 MPD 엘리먼트(예를 들면, AdaptationSet 및 SubRepresentation)에서 다른 풀프레임 비디오의 공간 부분을 나타내는 비디오의 공간 관계를 나타낼 수도 있다. "urn:mpeg:dash:srd:2014"와 동일한 @schemeIdURI를 갖는 SupplementalProperty 및/또는 EssentialProperty 디스크립터는 AdaptationSet 및/또는 SubRepresentation과 관련되는 공간 관계 정보를 제공하기 위해 사용될 수도 있다. SupplementalProperty 및/또는 EssentialProperty 엘리먼트의 속성 @value는 source_id, object_x, object_y, object_width, object_height, total_width, total_height 및/또는 spatial_set_id와 같은 SRD 파라미터에 하나 이상의 값을 제공할 수도 있다. SRD 파라미터의 값 및 의미(semantics)는 표 2에서 나타내어지는 바와 같이 정의될 수도 있다.
Figure 112020113211566-pat00004
Figure 112020113211566-pat00005
도 5는 예시적인 DASH SRD 비디오를 묘사한다. SRD는 비디오 스트림이 풀프레임 비디오의 공간 부분을 표현한다는 것을 나타낼 수도 있다. 공간 부분은 풀프레임 비디오의 타일 및/또는 주목 영역(region of interest; ROI)일 수도 있다. SRD는 풀프레임 비디오(total_width, total_height)에 대한 공간 부분의 위치(object_x, object_y) 및/또는 사이즈(object_width, object_height)의 관점에서 비디오 스트림을 설명할 수도 있다. SRD 디스크립션은 적응의 관점에서 클라이언트에게 유연성을 제공할 수도 있다. SRD 인식 DASH 클라이언트는 하나 이상의 SRD 주석을 사용하여 풀프레임 표현 및/또는 풀프레임 표현의 공간 부분을 선택할 수도 있다. 하나 이상의 SRD 주석을 사용하여 풀프레임 표현 또는 공간 부분을 선택하는 것은, 대역폭 및/또는 클라이언트 측 계산을 절약할 수도 있다, 예를 들면, 풀프레임 가져오기(fetching), 디코딩, 및/또는 잘라내기(cropping)를 방지할 수도 있다. 하나 이상의 SRD 주석을 사용하여 어떤 표현을 선택할지를 결정하는 것은, 풀프레임 비디오의 주어진 공간 부분(예를 들면, 주목 영역 또는 ROI)의 품질을, 예를 들면, 주밍 이후에, 증가시킬 수도 있다. 예를 들면, 클라이언트는, 전체 비트레이트를 증가시키지 않으면서, 더 높은 품질을 갖는 ROI 공간 부분에 대응하는 제1 비디오 스트림을 요청할 수도 있고, 클라이언트는 더 낮은 품질을 갖는 ROI에 대응하지 않는 제2 비디오 스트림을 요청할 수도 있다.
표 3은 도 5에서 도시되는 바와 같은 시나리오에 대한 SRD를 지원하는 MPD 예인데, 각각의 타일은 1920x1080의 해상도를 가지며 전체 프레임은 9 타일을 갖는 5760x3240의 해상도를 갖는다.
Figure 112020113211566-pat00006
Figure 112020113211566-pat00007
Figure 112020113211566-pat00008
도 6은 예시적인 타일 기반의 비디오 구획화를 묘사한다. 도 6에서 도시되는 바와 같이, 2D 프레임이 하나 이상의 타일로 구획될 수도 있다. MPEG-DASH SRD 지원이 주어지면, 타일 기반의 적응형 스트리밍(tile based adaptive streaming; TAS)이 사용되어 대형 파노라마, 공간 해상도 향상, 및/또는 서버 기반의 모자이크 서비스에서 주밍 및 패닝(panning)과 같은 피쳐를 지원할 수도 있다. SRD 인식 DASH 클라이언트는, 하나 이상의 SRD 주석을 사용하여 풀프레임 표현 또는 타일 표현을 선택할 수도 있다. 하나 이상의 SRD 주석을 사용하여 타일 표현의 풀프레임 표현을 선택할지의 여부를 결정하는 것은, 대역폭 및/또는 클라이언트 측 계산을 절약할 수도 있다(예를 들면, 풀프레임 가져오기, 디코딩, 및/또는 잘라내기를 방지할 수도 있다).
도 7은 예시적인 시간적 모션 제약 타일 세트를 묘사한다. 프레임은, HEVC에서 명시되는 바와 같은 다수의 시간적 모션 제약 타일 세트를 포함하는 비트스트림으로 인코딩될 수도 있다. 시간적 모션 제약 타일 세트의 각각은 독립적으로 디코딩될 수도 있다. 도 7에서 도시되는 바와 같이, 두 개 이상의 좌측 타일은, (예를 들면, 전체 픽쳐를 디코딩하지 않고도) 독립적으로 디코딩될 수 있는 모션 제약 타일 세트를 형성할 수도 있다.
360° 비디오 콘텐츠는, 주로 HTTP 기반의 스트리밍 솔루션인 프로그레시브 다운로드 또는 DASH 적응형 스트리밍을 통해 전달될 수도 있다. 레이턴시를 감소시키기 위해, HTTP 대신 UDP에 기초한 360° 비디오에 대한 동적 스트리밍이 (예를 들면, Facebook(페이스북)에 의해) 제안되었다.
충분한 품질로 360 비디오를 표현하는 것은 2D 투영이 고해상도를 갖는 것을 요구할 수도 있다. 전체 2D 레이아웃이 고품질로 코딩되면, 결과적으로 나타나는 대역폭은 효율적인 전달하기에는 너무 높을 수도 있다. 360 비디오의 상이한 부분이 상이한 품질로 표현되는 것을 허용하는 것에 의해 데이터의 양을 감소시키기 위해 몇몇 매핑 및/또는 투영이 사용될 수도 있다. 예를 들면, 전방 뷰(예를 들면, 뷰포트)는 높은 품질로 표현될 수도 있고 후방(예를 들면, 반대쪽) 뷰는 낮은 품질로 표현될 수도 있다. 하나 이상의 다른 뷰가 하나 이상의 중간 품질로 표현될 수도 있다. 도 3에서 도시되는, 오프셋 큐브맵 및 피라미드 맵은, 360 비디오의 상이한 부분을 상이한 품질로 나타내는 매핑 및/또는 투영의 예일 수도 있다. 비록 피라미드 맵이 각각의 뷰포트에 대한 픽셀의 수 및/또는 비트레이트를 감소시킬 수도 있지만, 다중 뷰포트 버전은, 클라이언트가 요청할 수도 있는 상이한 뷰잉 위치(viewing position)를 핸들링할 수도 있다. 전체 360 비디오를 전달하는 것과 비교할 때, 뷰포트 고유의 표현 및/또는 전달은, 유저가 뷰잉 위치를 변경할 때 더 높은 레이턴시 적응화(latency adapting)를 가질 수도 있다. 예를 들면, 오프셋 큐브맵 표현을 사용하면, 유저의 머리 위치가 180 도 회전할 때 비디오 품질이 저하될 수도 있다.
도 8은 360 비디오 스트리밍 품질 저하의 예를 묘사한다. DASH 세그먼트 길이 및/또는 클라이언트 버퍼 사이즈가 뷰잉 품질(viewing quality)에 영향을 줄 수도 있다. 더 긴 세그먼트 길이는 더 높은 코딩 효율성으로 나타날 수도 있다. 더 긴 세그먼트 길이는, 뷰포트 변경에 그만큼 빨리 적응하지 않을 수도 있다. 도 8에서 도시되는 바와 같이, 유저는 360 비디오(예를 들면, A, B 및 C)의 세 가지 가능한 뷰포트를 구비할 수도 있다. 하나 이상의(예를 들면, 3 개의) 세그먼트 타입 SA, SB 및 SC가 360 비디오와 관련될 수도 있다. 하나 이상의 세그먼트 타입의 각각은, 대응하는 뷰포트의 더 높은 품질 및 다른 뷰포트의 더 낮은 품질을 전달할 수도 있다. 유저는, 뷰포트 A에 대한 더 높은 품질 비디오 및 뷰포트 B 및 C에 대한 더 낮은 품질 비디오를 전달하는 세그먼트 SA의 재생 동안 시각 t1에서 뷰포트 A로부터 뷰포트 B로 패닝할 수도 있다. 유저는, 뷰포트 B에 대한 더 높은 품질 비디오 및 뷰포트 A 및 C에 대한 더 낮은 품질 비디오를 전달하는 다음 세그먼트(SB)로 전환하기 이전에, 더 낮은 품질 뷰포트 B를 시청해야 할 수도 있다. 이러한 부정적인 유저 경험은 더 짧은 세그먼트 길이로 해결될 수도 있다. 더 짧은 세그먼트 길이는 코딩 효율성을 감소시킬 수도 있다. 유저의 스트리밍 클라이언트 로직이 이전 뷰포트에 기초하여 너무 많은 세그먼트를 미리 다운로드하는 경우, 유저는 더 낮은 품질 비디오를 시청해야 할 수도 있다. 유저의 스트리밍 클라이언트가 이전 뷰포트에 기초하여 너무 많은 세그먼트를 미리 다운로드하는 것을 방지하기 위해, 스트리밍 버퍼 사이즈는 감소될 수도 있다. 더 작은 스트리밍 버퍼 사이즈는, 예를 들면, 더욱 빈번한 버퍼 언더플로우(buffer underflow)를 야기하는 것에 의해, 스트리밍 품질 적응에 영향을 끼칠 수도 있다.
뷰포트 적응형 360° 비디오 스트리밍은 뷰포트 향상 기반의 전달 및/또는 레이어 기반의 전달을 포함할 수도 있다.
효율적인 360 비디오 스트리밍은 비트레이트 적응 및 뷰포트 적응 둘 모두를 고려할 수도 있다. 뷰포트 향상 기반의 360° 비디오 전달은, 360 개의 비디오 프레임 중 하나 이상의 식별된 뷰포트를 고품질로 인코딩하는 것을 포함할 수도 있다. 예를 들면, 인코딩 동안 뷰포트 기반의 비트 할당이 수행될 수도 있다. 뷰포트 기반의 비트 할당은 비트 중 더 큰 부분을 하나 이상의 뷰포트에 할당할 수도 있고 및/또는 상응하여 감소된 양의 비트를 다른 영역에 할당할 수도 있다. 도 9는 관련된 인접 영역을 갖는 예시적인 뷰포트 영역을 묘사한다. 뷰포트 영역, 인접 영역, 및 다른 영역은 360° 비디오 프레임에 대해 결정될 수도 있다.
뷰포트 영역에 대한 비트레이트 가중치는 α로서 정의될 수도 있다. 인접 영역에 대한 비트레이트 가중치는 β로서 정의될 수도 있다. 다른 영역에 대한 비트레이트 가중치는 γ로서 정의될 수도 있다. 다음의 식 중 하나 이상은, 각각의 영역에 대한 타겟 비트레이트를 결정하기 위해 사용될 수도 있다.
Figure 112020113211566-pat00009
여기서 R은 전체 360° 비디오에 대한 일정한 코딩 비트레이트를 나타낼 수도 있고, BRHQ는 타겟 뷰포트 영역에 대한 코딩 비트레이트를 나타낼 수도 있고, BRMQ는 뷰포트 인접 영역에 대한 코딩 비트레이트를 나타낼 수도 있고 및/또는 BRLQ는 다른 영역에 대한 코딩 비트레이트를 나타낼 수도 있다.
식 (3)에서, α, β및 γ의 값은 1까지 가산될 수도 있는데, 이것은 전체 비트레이트가 동일하게 유지된다는 것을 의미할 수도 있다. 예를 들면, 비트는 상이한 영역(예를 들면, 뷰포트, 인접 영역, 및 다른 영역) 사이에서만 재분배될 수도 있다. R의 전체 비트레이트에서, 동일한 비디오는 상이한 버전으로 인코딩될 수도 있다. 상이한 버전의 각각은, 상이한 뷰포트 품질 레벨과 관련될 수도 있다. 상이한 뷰포트 품질 레벨의 각각은, α의 상이한 값에 대응할 수도 있다.
전체 비트레이트(R)는 동일하게 유지되지 않을 수도 있다. 예를 들면, 뷰포트 영역, 인접 영역, 및 다른 영역은 타겟 품질 레벨로 인코딩될 수도 있다. 이 경우, 영역의 각각에 대한 표현 비트레이트는 상이할 수도 있다.
(예를 들면, 오프셋 큐브맵, 피라미드 맵과 같은) 본원에서 설명되는 투영 방법은, 하나 이상의 타겟 뷰포트의 품질을 향상시킬 수도 있고 및/또는 비디오의 다른 영역의 품질을 감소시킬 수도 있다.
서버 측에서, AdaptationSet는 다수의 Representation 엘리먼트를 포함할 수도 있다. 360 비디오 스트림의 Representation은 특정한 해상도 및/또는 특정한 비트레이트로 코딩될 수도 있다. Representation은 하나 이상의 특정한 품질 향상된 뷰포트(들)와 관련될 수도 있다. 뷰포트 관계 디스크립션(Viewport Relationship Description; VRD)은 하나 이상의 대응하는 뷰포트 공간 좌표 관계를 명시할 수도 있다. "urn:mpeg:dash:viewport:2d:2016"과 동일한 @schemeIdUri를 갖는 SupplementalProperty 및/또는 EssentialProperty 디스크립터는, AdaptationSet, Representation, 및/또는 Sub-Representation 엘리먼트와 관련되는 VRD를 제공하기 위해 사용될 수도 있다.
VRD 스킴을 사용하는 SupplementalProperty 및/또는 EssentialProperty 엘리먼트의 @value는 뷰포트 디스크립션 파라미터에 대한 값의 콤마로 분리된 목록일 수도 있다. 각각의 AdaptationSet, Representation, 및/또는 Sub-Representation은 하나 이상의 향상된 뷰포트를 나타내기 위한 하나 이상의 VRD를 포함할 수도 있다. 향상된 뷰포트의 성질은 표 4에서 도시되는 바와 같은 VRD 파라미터에 의해 설명될 수도 있다.
Figure 112020113211566-pat00010
Figure 112020113211566-pat00011
표 5는 4k 360 비디오의 MPD 예를 제공한다. AdaptationSet는 VRD 스킴 식별자 "urn:mpeg:dash:viewport:2d:2016"를 갖는 두 개의 SupplementalProperty 디스크립터로 주석이 달릴 수도 있다. 제1 디스크립터는 품질 레벨 3을 가지고 (150,150)에서 향상된 320×640 뷰포트 #1을 명시할 수도 있다. 제2 디스크립터는 품질 레벨 5를 가지고 (1000, 1000)에서 640×960 뷰포트 #2를 명시할 수도 있다. 뷰포트 둘 모두는 4096×2048 풀프레임 360° 비디오의 공간 부분을 나타낼 수도 있다. 두 가지 Representation이 있을 수도 있는데, 제1 Representation은 전체 해상도일 수도 있고 제2 Representation은 절반의 해상도일 수도 있다. Representation의 뷰포트 위치 및/또는 사이즈는 VRD 속성 @full_width 및/또는 @full_height의 값 및/또는 Representation 속성 @width 및/또는 @height의 값에 기초하여 식별될 수도 있다. 예를 들면, 최대 해상도 Representation(예를 들면, @width=4096 및 @height=2048)에서의 뷰포트 #1은 사이즈 320×640을 가지고 (150,150)에 있을 수도 있고, 한편 절반 해상도 Representation(예를 들면, @width=2048 및 @height=1024)에서의 뷰포트 #1은 사이즈 160×320을 가지고 (75,75)에 있을 수도 있다. 유저 WTRU의 하나 이상의 성능에 따라, 절반 해상도 비디오는 최대 해상도로 스케일링업될(scaled up) 수도 있다.
Figure 112020113211566-pat00012
Figure 112020113211566-pat00013
투영(예를 들면, 등장방형, 큐브맵, 원통 및 피라미드)은, 구형 비디오의 표면을 프로세싱을 위해 평면 이미지로 매핑하기 위해 사용될 수도 있다. 특정한 투영에 대해 하나 이상의 레이아웃이 이용 가능할 수도 있다. 예를 들면, 등장방형 투영 포맷 및/또는 큐브맵 투영 포맷의 경우, 상이한 레이아웃이 사용될 수도 있다. 도 10a 내지 도 10d는 큐브맵 레이아웃의 예를 묘사한다. 큐브맵 레이아웃은 큐브 레이아웃, 2×3 레이아웃, 측면 레이아웃 상의 폴, 및/또는 단일 행 레이아웃을 포함할 수도 있다.
표 4의 VRD는 특정한 투영 포맷, 예를 들면, 등장방형 투영에 대해 명시될 수도 있다. 표 4의 VRD는 특정한 투영 및 레이아웃 조합, 예를 들면, 큐브맵 투영 및 2×3 레이아웃(예를 들면, 도 10b에서 도시되는 레이아웃 B)에 대해 명시될 수도 있다. 표 4의 VRD는, 표 6에서 나타내어지는 바와 같이, 다양한 투영 포맷 및/또는 투영 및 레이아웃 조합 포맷을 동시에 지원하도록 확장될 수도 있다. 서버는, 예를 들면, 표 6에서 나타내어지는 시그널링 구문을 사용하여, 한 세트의 인기 있는 투영 및/또는 투영 및 레이아웃 포맷을 지원할 수도 있다. 도 11은 등장방형 및 큐브맵의 예시적인 뷰포트 좌표를 묘사한다. 360 비디오의 하나 이상의(예를 들면, 2개의) 뷰포트가 식별될 수도 있다. 도시되는 바와 같이, 뷰포트의 좌표 값은 등장방형 및 큐브맵 투영 포맷에서 상이할 수도 있다.
VRD는 Representation 엘리먼트와 관련되는 하나 이상의 뷰포트(들)를 명시할 수도 있다. 표 7은, 등장방형 및 큐브맵 Representation 둘 모두가 제공되고 대응하는 VRD가 상응하게 시그널링되는 MPD 예를 나타낸다. 하나 이상의 제1 VRD(예를 들면, VRD@viewport_id = 0, 1)는, 등장방형 투영 포맷인 하나 이상의 제1 Representation(예를 들면, Representation@id = 0, 1)에서의 뷰포트의 하나 이상의 성질을 명시할 수도 있다. 하나 이상의 제2 VRD(VRD@viewport_id = 2, 3)는, 큐브맵 투영 포맷인 하나 이상의 제2 Representation(예를 들면, Representation@id = 2, 3)에서의 뷰포트의 하나 이상의 성질을 명시할 수도 있다.
VRD는 (예를 들면, 관련된 Representation이 하나의 투영/레이아웃 포맷이더라도) 하나 이상의(예를 들면, 모든) 공통 투영/레이아웃 포맷에서의 하나 이상의 뷰포트(들) 좌표를 명시할 수도 있다. 표 8은, 등장방형 투영의 Representation이 제공되고 등장방형 및 큐브맵 둘 모두에 대한 대응하는 뷰포트의 VRD가 제공되는 MPD 예를 도시한다. 예를 들면, 투영 및 레이아웃 포맷은 본원에서 설명되는 바와 같이 Representation 레벨에서 시그널링될 수도 있다.
서버는 뷰포트를 상이한 포맷으로 명시할 수도 있고 및/또는 (예를 들면, 클라이언트의 성능 및/또는 기술적 명세에 따라) 적절한 뷰포트를 선택할 유연성을 클라이언트에 부여할 수도 있다. 클라이언트가 선호되는 포맷을 (예를 들면, 표 4에 명시되는 방법으로부터 또는 표에서의 한 세트의 명시되는 방법으로부터) 발견하지 못하면, 클라이언트는 하나 이상의 뷰포트를, 명시된 포맷 중 하나로부터 자신이 사용하기를 원하는 포맷으로 변환할 수도 있다. 예를 들면, 하나 이상의 뷰포트는 큐브맵 포맷으로 명시될 수도 있지만 그러나 클라이언트는 등장방형 포맷을 사용하기를 원한다. MPD에서 이용 가능한 투영 및/또는 레이아웃 디스크립션에 기초하여, 클라이언트는 자신의 자이로스코프, 가속도계, 및/또는 자력계 추적 정보로부터 유저 방위 위치(orientation position)를 유도할 수도 있다. 클라이언트는 방위 위치를 특정한 투영 레이아웃 상의 대응하는 2D 위치로 변환할 수도 있다. 클라이언트는, @viewport_x, @viewport_y, @viewport_width, 및/또는 @viewport_height와 같은 하나 이상의 VRD 파라미터의 값에 기초하여 식별된 뷰포트를 갖는 Representation을 요청할 수도 있다.
Figure 112020113211566-pat00014
Figure 112020113211566-pat00015
Figure 112020113211566-pat00016
Figure 112020113211566-pat00017
Figure 112020113211566-pat00018
Figure 112020113211566-pat00019
Figure 112020113211566-pat00020
표 9에서 나타내어지는 바와 같은 일반적인 뷰포트 디스크립터가 제공될 수도 있다. 일반적인 뷰포트 디스크립터는 도 2에서 도시되는 바와 같이 구 좌표(spherical coordinate) (θ, φ)를 사용하여 뷰포트 위치를 설명할 수도 있는데, 여기서 θ는 기울기 또는 극각을 나타낼 수도 있고, φ는 방위각을 나타낼 수도 있고, 및/또는 정규화된 반경은 1일 수도 있다.
"urn:mpeg:dash:viewport:sphere:2016"과 동일한 @schemeIdUri를 갖는 SupplementalProperty 및/또는 EssentialProperty 디스크립터는, AdaptationSet, Representation, 및/또는 Sub-Representation 엘리먼트와 관련되는 구 좌표 기반의 VRD를 제공하기 위해 사용될 수도 있다. 구 좌표로 명시되는 영역은, 투영 이후 2D 평면 상의 직사각형 영역에 대응하지 않을 수도 있다. 영역이 투영 이후 2D 평면 상의 직사각형 영역에 대응하지 않으면, 시그널링된 영역의 경계를 이루는 직사각형이 유도 및/또는 사용되어 뷰포트를 명시할 수도 있다.
VRD를 사용하는 SupplementalProperty 및/또는 EssentialProperty 엘리먼트의 @value는, 하나 이상의 뷰포트 디스크립션 파라미터에 대한 값의 콤마로 분리된 목록일 수도 있다. 각각의 AdaptationSet, Representation 및/또는 Sub-Representation은, 하나 이상의 향상된 뷰포트를 나타내기 위한 하나 이상의 VRD를 포함할 수도 있다. 향상된 뷰포트의 성질은 표 9에서 도시되는 바와 같이 파라미터에 의해 설명될 수도 있다.
Figure 112020113211566-pat00021
도 12는 예시적인 구 좌표 뷰포트를 묘사한다. 뷰포트(예를 들면, 도 12에서 V로 표기됨)의 경우, viewport_inc는 극각 θ를 명시할 수도 있고, viewport_az는 방위각(φ)을 명시할 수도 있고, viewport_delta_inc는 dθ를 명시할 수도 있고, 및/또는 viewport_delta_az는 dφ를 명시할 수도 있다.
2D 좌표를 사용하는 VRD(예를 들면, 표 4 또는 표 6) 및 구 좌표를 사용하는 VRD(예를 들면, 표 9) 사이를 구별하기 위해, 각각의 경우에 상이한 @schemeIdUri 값이 사용될 수도 있다. 예를 들면, 2D 뷰포트 디스크립터의 경우, @schemeIdUri 값은 urn:mpeg:dash:viewport:2d:2016일 수도 있다. 구 좌표에 기초한 뷰포트의 경우, @schemeIdUri 값은 "urn:mpeg:dash:viewport:sphere:2016"일 수도 있다.
구 좌표에 기초하는 뷰포트 디스크립터를 사용하는 것은, 뷰포트가 하나의 좌표 시스템(예를 들면, 구 좌표 시스템)에 대해서만 명시될 수도 있기 때문에 시그널링 비용을 감소시킬 수도 있다. 구 좌표에 기초하는 뷰포트 디스크립터를 사용하는 것은, 각각의 클라이언트가 미리 정의된 변환 프로세스를 구현하는 것만을 필요로 할 수도 있기 때문에, 클라이언트 측에서 단순화된 변환 프로세스로 나타날 수도 있다. 예를 들면, 각각의 클라이언트는, 클라이언트가 사용하려고 선택하는 투영 포맷(예를 들면, 등장방형)과 구형 표현(spherical representation) 사이를 변환할 수도 있다. 클라이언트가 뷰포트 좌표를 정렬할 때, 클라이언트는 유사한 로직을 사용하여 어떤 표현을 요청할지를 결정할 수도 있다.
VRD는 하나 이상의 Period.SupplementalProperty 엘리먼트에서 시그널링될 수도 있다. VRD는 이용 가능한(예를 들면, 모든 이용 가능한) 향상된 뷰포트를 각각 나열할 수도 있다. Representation은, 어떤 향상된 뷰포트(들)가 현재 Representation 또는 Sub-Representation과 관련되는지를 식별하기 위해, 속성, @viewportId를 사용하여 하나 이상의 뷰포트 인덱스를 시그널링할 수도 있다. 이러한 디스크립터 참조 접근법을 통해, Representation 내에서의 VRD의 중복 시그널링이 방지될 수도 있다. 상이한 관련된 뷰포트(들), 투영 포맷, 및/또는 레이아웃 포맷을 갖는 하나 이상의 Representation이 단일의 AdaptationSet 내에서 할당될 수도 있다. 표 10은, 표현 엘리먼트 속성 @viewportId 및 @viewport_quality의 예시적인 의미를 나타낸다.
표 10에서 나타내어지는 바와 같이, 속성 @viewport_quality는 VRD의 일부로서 (예를 들면, Period 레벨에서 대신) Representation 레벨에서 시그널링될 수도 있다. @viewport_quality 속성은, 클라이언트가, 주목하는 하나 이상의 뷰포트에 대한 적절한 품질 레벨을 선택하는 것을 허용할 수도 있다. 예를 들면, 유저가 360 뷰를 통해 빈번하게 탐색하는 경우(예를 들면, 주위를 보기 위해 머리를 항상 돌리는 경우), 클라이언트는 뷰포트와 비 뷰포트(non-viewport) 사이에서 균형 잡힌 품질을 갖는 Representation을 선택할 수도 있다. 유저가 뷰포트 상에 초점을 맞추고 있다면, 클라이언트는 높은 뷰포트 품질(예를 들면, 그러나 비 뷰포트 영역에서 상대적으로 감소된 품질)을 갖는 Representation을 선택할 수도 있다. @viewport_quality 속성은 Representation 레벨에서 시그널링될 수도 있다.
Figure 112020113211566-pat00022
Figure 112020113211566-pat00023
표 11은, 관련된 뷰포트를 명시하기 위해 표 10에서 나타내어지는 Representation 속성인 @viewportId 및 @viewport_quality를 사용하는 MPD 예이다. 두 개의 VRD는 Period.SupplementalProperty에서 명시될 수도 있다. 제1 Representation(예를 들면, @id = 0)은 하나 이상의 뷰포트(예를 들면, @viewportId = 0)를 포함할 수도 있고, 뷰포트 #0 품질 레벨은 2일 수도 있다. 제2 Representation(예를 들면, @id = 1)은 제1 Representation(예를 들면, @viewportId = 0)과 동일한 하나 이상의 뷰포트를 포함할 수도 있지만, 그러나 뷰포트 #0의 품질 레벨은 4일 수도 있다. 제3 Representation(예를 들면, @id = 2)은 품질 레벨 5를 갖는 하나 이상의 향상된 뷰포트(예를 들면, @viewportId = 1)를 포함할 수도 있다. 제4 Representation(예를 들면, @id = 3)은 최고품질 레벨(예를 들면, @viewport_quality = 5, 5)을 갖는 두 개 이상의 향상된 뷰포트(예를 들면, @viewportId = 0, 1)를 포함할 수도 있다.
Figure 112020113211566-pat00024
Figure 112020113211566-pat00025
Figure 112020113211566-pat00026
향상된 뷰포트 영역은 실제 뷰잉 해상도보다 더 커지도록 선택될 수도 있는데, 이것은 유저가 뷰포트를 변경(예를 들면, 약간 변경)할 때, 품질 열화를 감소시킬 수도 있다. 향상된 뷰포트 영역은, (예를 들면, 타겟이 이리저리 움직일 때 유저가 타겟 오브젝트를 동일한 품질에서 볼 수 있도록) 세그먼트 기간 동안 주목하는 타겟 오브젝트가 이리저리 움직이는 영역을 포괄하도록 선택될 수도 있다. 예를 들면, 원래의 서버 또는 CDN에서 Representation 및/또는 대응하는 미디어 스트림의 총 수를 감소시키기 위해, 하나 이상의 가장 많이 시청된 뷰포트는 단일의 비트스트림에서 향상될 수도 있다. 표 4, 표 6, 표 9, 및/또는 표 10에서 명시되는 뷰포트 디스크립터는, 단일의 비트스트림 내에서 다수의 품질 향상된 뷰포트를 지원할 수도 있다.
도 13은 예시적인 뷰포트 향상 표현을 묘사한다. 360° 비디오는 두 개의 식별된 가장 많이 본 뷰포트(예를 들면, 뷰포트 #1 및 뷰포트 #2)를 가질 수도 있다. 하나 이상의 DASH Representation은, 두 개의 식별된 가장 많이 본 뷰포트에 대응할 수도 있다. 높은 코딩 비트레이트(예를 들면, 20 mbps)에서, 뷰포트 둘 모두는 고품질에서 향상될 수도 있다. 뷰포트 둘 모두가 고품질에서 향상되면, (예를 들면, 빠른 뷰포트 변경을 용이하게 하기 위해 및/또는 저장 비용을 절약하기 위해) 하나의 Representation은 향상된 뷰포트 둘 모두를 제공받을 수도 있다. 중간 비트레이트에서, 세 개의 Representation은, 뷰포트 둘 모두 상에서 또는 개개의 뷰포트 상에서 품질 향상을 제공받을 수도 있다. 클라이언트는, 빠른 뷰포트 변경 및/또는 뷰포트 중 하나의 고품질에 대한 선호도에 기초하여 상이한 표현을 요청할 수도 있다. 더 낮은 비트레이트에서, 두 개의 Representation은, 클라이언트가 뷰잉 방향에 기초하여 괜찮은(decent) 뷰포트 품질을 요청할 수도 있도록, 각각의 뷰포트의 향상을 개별적으로 제공받을 수도 있다. Representation 선택은, 낮은 레이턴시의 뷰포트 전환, 낮은 저장 비용, 및/또는 괜찮은 뷰잉 품질 사이에서 상이한 절충을 가능하게 할 수도 있다.
적응형 360° 비디오 스트리밍 세션 동안, 클라이언트는 이용 가능한 대역폭, 유저가 시청하고 있는 뷰포트, 및/또는 시청 방향 변경(예를 들면, 얼마나 빨리 및/또는 얼마나 자주 뷰포트가 변하는지)에 기초하여 특정한 표현을 요청할 수도 있다. 클라이언트 WTRU는, 어떤 Representation을 요청할지를 결정하기 위해 하나 이상의 자이로스코프, 가속도계, 및/또는 자력계 추적 파라미터를 사용하여 한 명 이상의 유저 습관을 국소적으로 분석할 수도 있다. 예를 들면, 클라이언트 WTRU는, 유저가 뷰잉 방향을 빈번하게 변경하지 않았다는 것 및/또는 빈번하게 변경하지 않는다는 것을 검출하면, 개개의 향상된 뷰포트를 갖는 Representation을 요청할 수도 있다. 낮은 레이턴시 렌더링 및/또는 충분한 뷰포트 품질을 보장하기 위해, 클라이언트 WTRU는, 유저가 뷰잉 방향을 계속 변경하고 있다는 것 및/또는 뷰잉 방향을 변경하는 경향이 있다는 것을 검출하면, 다수의 향상된 뷰포트를 갖는 Representation을 요청할 수도 있다.
레이어 기반의 360 비디오 전달은, 360° 비디오 스트리밍을 위한 뷰포트 적응형 접근법일 수도 있다. 레이어 기반의 360 비디오 전달은 전체 프레임으로부터 뷰포트 영역을 분리할 수도 있다. 레이어 기반의 360 비디오 전달은, 구체 상으로의 다양한 가상의 및/또는 실제의 오브젝트의 더욱 유연하고 및/또는 효율적인 구성(composition)을 허용할 수도 있다.
전체 프레임은, 저품질, 더 낮은 프레임 레이트, 및/또는 더 낮은 해상도에서 풀프레임 비디오 레이어로서 인코딩될 수도 있다. 하나 이상의 뷰포트가 뷰포트 레이어로서 하나 이상의 품질 Representation 안으로 인코딩될 수도 있다. 뷰포트 레이어는 풀프레임 비디오 레이어와는 독립적으로 코딩될 수도 있다. 뷰포트 레이어는, 예를 들면, HEVC(SHVC)의 스케일러블 확장(scalable extension)을 사용하여 더욱 효율적으로 코딩될 수도 있는데, 이 경우 풀프레임 비디오 레이어는, 레이어간 예측을 가지고 하나 이상의 뷰포트 레이어 표현을 코딩하기 위한 참조 레이어로서 사용된다. 유저는 (예를 들면, 폴백 레이어로서) 항상 풀프레임 비디오 레이어를 요청할 수도 있다. 유저 WTRU가 충분한 추가적인 리소스(예를 들면, 대역폭 및/또는 컴퓨팅 리소스)를 갖는 경우, 하나 이상의 고품질 향상 뷰포트(들)는 풀프레임 비디오 레이어 상으로 오버레이되도록 요청받을 수도 있다.
뷰포트 외부의 픽셀은 서브샘플링될 수도 있다. 뷰포트 외부의 영역의 프레임 레이트는 직접적으로 감소되지 않을 수도 있다. 레이어 기반의 360 비디오 전달은, 전체 360° 비디오 프레임으로부터 뷰포트(들)를 분리할 수도 있다. 360 프레임 비디오 전달은, 더 높은 비트레이트, 더 높은 해상도, 및/또는 더 높은 프레임 레이트에서 뷰포트(들)가 코딩되는 것을 허용할 수도 있고, 한편, 풀프레임 비디오 레이어 360° 비디오는 더 낮은 비트레이트, 더 낮은 해상도, 및/또는 더 낮은 프레임 레이트에서 코딩될 수도 있다.
풀프레임 비디오 레이어는 더 낮은 해상도로 코딩될 수도 있고 클라이언트 측에서 오버레이를 위해 업샘플링될 수도 있다. 클라이언트 측에서 풀프레임 비디오 레이어를 업샘플링하는 것은, 저장 비용을 감소시킬 수도 있고 및/또는 더 낮은 비트레이트에서 수용 가능한 품질을 제공할 수도 있다. 뷰포트 레이어의 경우, 세분화된 품질 적응을 위해 뷰포트(들)의 다수의 품질 Representation이 생성될 수도 있다.
도 14는 예시적인 레이어 기반의 360 비디오 오버레이를 묘사한다. 예를 들면, 고품질 뷰포트가 360 풀프레임 비디오 레이어 상으로 오버레이 될 수도 있다. 풀프레임 비디오 레이어 스트림은 더 낮은 품질에서 전체 360° 비디오를 포함할 수도 있다. 향상 레이어 스트림은 고품질에서 향상된 뷰포트를 포함할 수도 있다.
갑작스러운 품질 변화를 매끄럽게 하기 위해, 하나 이상의 방향성 저역 통과 필터가 오버레이 경계(예를 들면, 수평 및/또는 수직 경계)에 걸쳐 적용될 수도 있다. 예를 들면, 1D 또는 2D 저역 통과 필터가 수직 경계에 대해 적용되어 하나 이상의 수평의 이웃하는 픽셀을 수직 경계를 따라 평활화할 수도 있고 및/또는 유사한 저역 통과 필터가 수평 경계에 대해 적용되어 하나 이상의 수직의 이웃하는 픽셀을 수평 경계를 따라 평활화할 수도 있다.
풀프레임 비디오 레이어는, 등장방형, 큐브맵, 오프셋 큐브맵, 피라미드, 등등과 같은 상이한 투영 포맷으로 전체 360° 비디오를 포함할 수도 있다. 투영 포맷은, 해상도, 비트레이트, 및/또는 프레임 레이트와 같은 상이한 품질 레벨을 지원하는 다수의 풀프레임 비디오 레이어 Representation을 가질 수도 있다.
뷰포트 레이어는 다수의 뷰포트를 포함할 수도 있다. 뷰포트는, 적응형 스트리밍을 위한 상이한 해상도, 비트레이트, 및/또는 프레임 레이트를 갖는 다수의 품질 Representation을 구비할 수도 있다. (예를 들면, 각각의 뷰포트의 사이즈가 전체 360° 비디오의 사이즈와 비교하여 상대적으로 작기 때문에) 높은 저장 및/또는 송신 비용을 발생시키지 않으면서, 세분화된 품질 적응을 지원하기 위해 다수의 Representation이 제공될 수도 있다.
도 15는 예시적인 레이어 기반의 360 비디오 표현을 묘사한다. 예를 들면, 상이한 해상도(2048x1024@30fps 및 4096×2048@30fps)를 갖는 전체 360° 비디오에 대한 풀프레임 비디오 레이어에서 두 개 이상의 Representation이 이용 가능할 수도 있다. 뷰포트 레이어에서 두 개 이상의 타겟 뷰포트(예를 들면, 뷰포트 #1 및 뷰포트 #2)이 이용 가능할 수도 있다. 뷰포트 #1 및 #2는 상이한 해상도(들) 및/또는 상이한 비트레이트(들)를 갖는 Representation을 구비할 수도 있다. 뷰포트 레이어 Representation은, 특정한 풀프레임 비디오 레이어를 종속 Representation으로서 식별하기 위해 @dependencyId를 사용할 수도 있다. 유저는, 렌더링을 위한 최종 360° 비디오를 구성하기 위해, 타겟 뷰포트 Representation 및/또는 그것의 종속하는 풀프레임 비디오 레이어 풀프레임 Representation을 요청할 수도 있다.
MPEG-DASH SRD 엘리먼트는 레이어 기반의 360 비디오 스트리밍을 지원하기 위해 사용될 수도 있다. 애플리케이션에 따라, MPD 작성자(author)는 하나 이상의 SRD 값을 사용하여 풀프레임 비디오 레이어 360° 전체 비디오와 뷰포트 레이어 비디오 사이의 공간 관계를 설명할 수도 있다. SRD 엘리먼트는 공간 오브젝트의 공간적 관계를 명시할 수도 있다. SRD 엘리먼트는 하나 이상의 뷰포트(들) 비디오를 풀프레임 비디오 레이어 상으로 오버레이하는 방법을 명시하지 않을 수도 있다. 뷰포트 오버레이는, 레이어 기반의 360° 비디오 스트리밍에 대한 스트리밍 품질을 향상시키도록 명시될 수도 있다.
뷰 포인트 오버레이는 AdaptationSet 엘리먼트에 적용되는 Role 디스크립터와 함께 사용될 수도 있다. "urn:mpeg:dash:viewport:overlay:2016"와 동일한 @schemeIdURI를 갖는 Role 엘리먼트는, 어떤 Representation이 뷰포트 레이어 비디오와 관련되는지 및/또는 어떤 Representation이 풀프레임 비디오 레이어와 관련되는지를 시그널링할 수도 있다. Role 엘리먼트의 @value는 하나 이상의 오버레이 표시기(indicator)를 포함할 수도 있다. 예를 들면, 하나 이상의 오버레이 표시기는 'f' 및/또는 'v'를 포함할 수도 있는데, 여기서 "f"는, 관련된 비디오 Representation이 풀프레임 비디오 레이어이다는 것을 나타내고 "v"는, 관련된 비디오 Representation이 풀프레임 비디오 레이어 상에 오버레이될 뷰포트 비디오이다는 것을 나타낸다. 하나 이상의 뷰포트 비디오가 풀프레임 비디오 레이어 상으로 중첩될 수도 있다. @dependencyId는, 관련된 뷰포트 비디오 오버레이 구성에 대해 특정한 풀프레임 비디오 레이어 Representation을 명시할 수도 있다. 원래의 풀프레임 비디오 레이어 해상도는, 하나 이상의 SRD 파라미터(예를 들면, 관련된 AdaptationSet의 total_width 및 total_height)에 의해 나타내어질 수도 있다. 뷰포트 원래 해상도는, 관련된 AdaptationSet의 하나 이상의 SRD 파라미터 object_width 및 object_height에 의해 나타내어질 수도 있다. @width 및 @height에 의해 나타내어지는 Representation의 해상도가 SRD에 의해 명시되는 대응하는 해상도 미만인 경우, 재구성된 비디오는, 풀프레임 비디오 레이어 및 향상 계층 비디오를 오버레이를 위해 정렬하도록 업샘플링될 수도 있다. 표 12는 도 15에서 도시되는 레이어 기반의 360° 비디오 Representation 예에 대한 예시적인 MPD SRD 주석이다.
표 12에서, @id로 식별되는 두 개 이상의 풀프레임 Representation은 동일한 AdaptationSet 내에 포함될 수도 있다. 제1 Representation(@id = 2)은 전체 해상도 4096×2048을 포함할 수도 있고, 제2 Representation(@id = 1)은 절반 해상도를 포함할 수도 있다. AdaptationSet는, object_width 및 object_height 파라미터가 total_width 및 total_height 파라미터와 동일하기 때문에, AdaptationSet 엘리먼트가 전체 참조 공간에 걸친다는 것을 설명하는 SRD를 포함할 수도 있다. AdaptationSet는, 소스의 동일한 공간 부분을 나타내지만 그러나 상이한 해상도를 갖는 두 개 이상의 Representation을 포함할 수도 있다(예를 들면, 제1 Representation은 4096×2048 해상도를 가질 수도 있고 제2 Representation은 2048x1024 해상도를 가질 수도 있음). "urn:mpeg:dash:viewport:overlay:2016"와 동일한 @schemeIdUri 및 "b1"과 동일한 @value를 갖는 AdaptationSet의 Role 엘리먼트는, 하나 이상의 AdaptaionSet 엘리먼트가 풀프레임 비디오 레이어 전체 비디오이다는 것을 나타낼 수도 있다. 속성 @width 및 @height의 값에 의해 명시되는 풀프레임 비디오 레이어 Representation 해상도가 SRD 파라미터 @total_width 및 @total_height의 값과 동일하지 않은 경우, 풀프레임 비디오 레이어 비디오는, 풀프레임 비디오 레이어 Representation 해상도와 매치하도록 업스케일링될 수도 있다.
향상 레이어의 경우, 뷰포트 #1 Representation은 제1 AdaptationSet에 포함될 수도 있고, 뷰포트 #2 Representation은 제2 AdaptationSet에 포함될 수도 있다. 각각의 뷰포트는 상이한 해상도 및/또는 대역폭을 가질 수도 있다. AdaptationSet는, (예를 들면, 자신의 object_width 및 object_height 파라미터가 자신의 total_width 및 total_height보다 각각 작기 때문에) AdaptationSet 엘리먼트 내의 비디오가 전체 360° 비디오의 일부만을 나타낸다는 것을 설명하는 SRD를 포함할 수도 있다. "urn:mpeg:dash:viewport:overlay:2016"와 동일한 @schemeIdUri 및 "f"와 동일한 @value를 갖는 AdaptationSet의 Role 엘리먼트는, AdaptationSet 엘리먼트가 뷰포트 비디오이다는 것을 나타낼 수도 있다. 속성 @width 및 @height의 값에 의해 명시되는 뷰포트 Representation 해상도가 SRD 파라미터 @object_width 및 @object_height의 값과 동일하지 않은 경우, 뷰포트 비디오가 원래의 풀프레임 해상도와 매치하도록 업스케일링될 수도 있다.
하나 이상의(예를 들면, 모든) AdaptationSet는, AdaptationSet 내의 비디오가 4096×2048에서 참조 공간 내에서 서로 공간적으로 관련된다는 것을 나타내기 위해 동일한 제1 파라미터 source_id를 사용할 수도 있다. SRD 비인식 클라이언트(non SRD-aware client)는, EssentialProperty 대신 SupplementalProperty의 사용에 기인하여, 풀프레임 비디오 레이어 전체 비디오만을 볼 수도 있다. SRD 인식 클라이언트는, (예를 들면, 필요하다면 업샘플링될) 뷰포트 #1(@id = 3/4/5) 및/또는 뷰포트 #2(@id = 6/7/8) 비디오를 어느 하나의 풀프레임 비디오 레이어(@id = 1/2) 상에 오버레이하는 것에 의해 360° 비디오를 형성할 수도 있다.
Figure 112020113211566-pat00027
Figure 112020113211566-pat00028
도 16은 예시적인 레이어 기반의 360 비디오 오버레이를 묘사한다. 예를 들면, 예시적인 레이어 기반의 360 비디오 오버레이는 표 12에 나열되는 Representation과 관련될 수도 있다. 클라이언트는 절반 해상도의 풀프레임 비디오 레이어 Representation(@id = 1) 및 향상 레이어 뷰포트 #1 Representation(@id = 5)을 요청할 수도 있다. 절반 해상도 풀프레임 비디오 레이어는, 자신의 Representation 해상도인 @width = 2048 및 @height = 1024가 관련 SRD 파라미터인 @total_width = 4096 및 @total_height = 2048 미만이기 때문에, 전체 해상도 4096×2048로 업샘플링될 수도 있다. 고품질 뷰포트는, 관련 SRD 파라미터에서 시그널링되는 대로 object_x(예를 들면, 100) 및 object_y(예를 들면, 100)에 의해 시그널링되는 위치에서 360 비디오 상에 오버레이될 수도 있다.
도 16에서 도시되는 비디오 변환은, (예를 들면, Representation 해상도, 투영 및/또는 레이아웃이, 풀프레임 비디오 레이어와 뷰포트 비디오 사이에서 매칭되지 않는 경우) 업스케일링, 투영 변환, 및/또는 레이아웃 변환을 수행할 수도 있다.
도 17은 예시적인 레이어 기반의 360 비디오 오버레이 플로우차트를 묘사한다.
풀프레임 비디오 레이어 및 향상 계층 표현은 상이한 프레임 레이트를 가질 수도 있다. 속성 @frameRate가, @width, @height, 및 @bandwidth와 함께, AdaptationSet, Representation, 및 Sub-Representation 엘리먼트에 대한 공통 속성 및 엘리먼트로서 명시되기 때문에, @width, @heightthe 및 @framerate는 AdaptationSet, Representation, 및/또는 Sub-Representation에 대해 시그널링될 수도 있다. @frameRate가 AdaptationSet 레벨에서 시그널링되는 경우, AdaptationSet에 할당되는 하나 이상의 Representation은 @frameRate의 동일한 값을 공유할 수도 있다. 표 13은 AdaptationSet 레벨에서 상이한 프레임 레이트를 갖는 Representation에 대한 MPD 예이다.
Figure 112020113211566-pat00029
Figure 112020113211566-pat00030
Figure 112020113211566-pat00031
다수의 타겟 뷰포트 비디오가 요청되고 및/또는 360° 전체 비디오 구체 상에 오버레이될 수도 있다. 유저 방위 위치에 기초하여, 유저는 (예를 들면, 빠른 뷰포트 변경을 용이하게 하기 위해 및/또는 전체 시스템 레이턴시 감소시키기 위해) 다수의 고품질 뷰포트를 동시에 요청할 수도 있다. 하나 이상의(예를 들면, 모든) 뷰포트 레이어가, 참조 공간과 동일한 풀프레임 비디오 레이어 360° 비디오를 공유할 수도 있다. 클라이언트는, 자신이 수신한 다수의 뷰포트를, 렌더링을 위해 동일한 참조 공간 상으로 오버레이할 수도 있다. 투영 및 레이아웃이 풀프레임 비디오 레이어와 향상 레이어 뷰포트 사이에서 상이한 경우, 풀프레임 비디오 레이어 비디오는 앵커 포맷으로 사용될 수도 있고 및/또는 향상 레이어 뷰포트는 앵커 포맷으로 변환될 수도 있다(예를 들면, 그 결과, 구성 위치(composition position)는 풀프레임 비디오 레이어와 뷰포트 비디오 사이에서 정렬될 수 있음).
도 18은 예시적인 다수의 뷰포트 오버레이를 묘사한다. 예를 들면, 표 13에서 나타내어지는 바와 같이, 두 개의 향상 뷰포트를 갖는 레이어 기반의 오버레이가 시그널링될 수도 있다. 클라이언트는, 참조 공간 및/또는 두 개의 높은 품질 향상 레이어 뷰포트(예를 들면, Representations @id = 5 및 @id = 8)로서 풀프레임 비디오 레이어 360° 비디오(예를 들면, Representation @id = 1)를 요청할 수도 있다. 두 개의 향상된 뷰포트를 갖는 복합 비디오(composite video)는, 뷰포트 둘 모두가 근접한 기간의 시간프레임 내에서 (예를 들면, 동일한 세그먼트 지속 기간 동안) 시청될 수도 있다는 결정에 기초하여 생성될 수도 있다. 풀프레임 비디오 레이어 비디오와 향상 레이어 뷰포트 사이에서 비디오 타입, 투영, 및/또는 레이아웃이 상이한 경우, 추가적인 투영 및/또는 레이아웃 변환이 수행될 수도 있다. 레이어 기반의 360 비디오 오버레이는 뷰포트 변경을 더욱 효율적으로 적응시킬 수 있을 수도 있다. 풀프레임 비디오 레이어의 세그먼트 길이는 (예를 들면, 풀프레임 비디오 레이어 비디오가 항상 전달되기 때문에) 코딩 효율을 향상시키기 위해 증가될 수도 있다. 뷰포트 비디오 레이어의 세그먼트 길이는 뷰포트 사이의 빠른 전환을 수용하기 위해 더 짧게 유지될 수도 있다.
본원에서 설명되는 레이어 기반의 360 비디오 오버레이는, 복합 비디오를 형성하기 위한 오버레이 프로시져를 설명하기 위해 SRD를 사용하여 뷰포트 비디오 및/또는 오버레이의 공간적 관계를 설명할 수도 있다. SRD에서 명시되는 source_id, object_x, object_y, object_width, object_height, total_width 및/또는 total_height와 같은 하나 이상의 공간 파라미터가 MPD 구조를 단순화하기 위해 오버레이 @value로 병합될 수도 있다. Role 엘리먼트의 @value는 뷰포트 표시기의 콤마로 구분된 목록, source_id, object_x, object_y, object_width, object_height, total_width 및/또는 total_height를 포함할 수도 있다. 표 14는 병합된 오버레이를 갖는 MPD 예를 나타낸다.
Figure 112020113211566-pat00032
Figure 112020113211566-pat00033
Figure 112020113211566-pat00034
레이어 기반의 360 비디오 오버레이는, "urn:mpeg:dash:viewport:overlay:2016"와 동일한 @schemeIdUri를 갖는 SupplementalProperty 및/또는 EssentialProperty와 같은 하나 이상의 디스크립터에 의해 제공될 수도 있다.
상이한 비디오 Representation은 상이한 투영 포맷일 수도 있다(예를 들면, 하나의 Representation은 등장방형이지만 반면 다른 표현은 큐브맵이거나 또는 하나의 비디오 Representation은 구형 비디오이고 한편 다른 비디오 Representation은 직선이다). 비디오 성질은 OMAF 파일 포맷으로 명시될 수도 있다. AdaptationSet, Representation, 및/또는 Sub-Representation에 대해 명시되는 하나 이상의 공통 속성인 @videoType은, 구형 비디오, 명시야 비디오, 및/또는 직선 비디오와 같은 비디오 타입을 나타낼 수도 있다. 구형 비디오의 경우, 상이한 투영 포맷 및/또는 투영 + 레이아웃 조합, 예컨대 등장방형, (예를 들면, 도 10의 상이한 레이아웃과 조합한) 큐브맵 및/또는 피라미드 맵은, AdaptationSet, Representation, 및/또는 Sub-Representation 엘리먼트에 대한 공통 속성 @projection 및/또는 @layout으로서 시그널링될 수도 있다. 엘리먼트 및 속성은 SupplementalProperty 및/또는 EssentialProperty 엘리먼트를 사용하여 제공될 수도 있다.
표 15는 비디오 타입 및/또는 투영 속성의 의미론적인 예이다. 투영 속성은, 유저가, 클라이언트의 성능에 기초하여 적절한 비디오를 요청하는 것을 보조할 수도 있다. 예를 들면, 구형 비디오 및/또는 명시야 비디오를 지원하지 않는 클라이언트는 직선 비디오만을 요청할 수도 있다. 한 예에서, 구형 비디오를 지원하는 클라이언트는, 한 세트의 이용 가능한 포맷으로부터 적절한 포맷(예를 들면, 큐브맵 대신 등장방형)을 선택할 수도 있다.
Figure 112020113211566-pat00035
Figure 112020113211566-pat00036
Figure 112020113211566-pat00037
Figure 112020113211566-pat00038
Figure 112020113211566-pat00039
표 18의 레이아웃 포맷이 다음의 도면에서 예시될 수도 있다.
도 19는 측면 상에 절반 높이 폴을 갖는 예시적인 등장방형 표현을 묘사한다.
도 20은 측면 상에 전체 높이 폴을 갖는 예시적인 등장방형 표현을 묘사한다.
도 21은 (예를 들면, region_id를 갖는) 큐브 표현 포맷에 대한 예시적인 단일 행 레이아웃을 묘사한다.
도 22는 (예를 들면, region_id를 갖는) 큐브 표현 포맷에 대한 예시적인 2×3 레이아웃을 묘사한다.
도 23은 큐브맵에 대한 예시적인 180° 레이아웃을 묘사한다.
큐브맵 투영에 대한 180° 레이아웃은 큐브의 후방 절반부의 해상도를 (예를 들면, 후방 절반부 영역의 폭 및 높이를 절반으로 감소시키는 것에 의해) 25 %만큼 감소시킬 수도 있고 및/또는 영역 a, b, c, d 및 e가 전방의 절반부에 속하고 영역 f, g, h, i 및 j가 후방 절반부에 속하는 결과에 대해 도 23에서 도시되는 레이아웃을 사용할 수도 있다.
표 19는 등장방형 및 큐브맵 투영 둘 모두를 지원하기 위해 이러한 공통 속성 및 엘리먼트를 사용하는 MPD 예이다.
Figure 112020113211566-pat00040
Figure 112020113211566-pat00041
도 24a는 하나 이상의 개시된 실시형태가 구현될 수도 있는 예시적인 통신 시스템(100)의 도면이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 브로드캐스트(broadcast), 등등과 같은 콘텐츠를 다수의 무선 유저에게 제공하는 다중 액세스 시스템(multiple access system)일 수도 있다. 통신 시스템(100)은, 무선 대역폭을 비롯한, 시스템 리소스의 공유를 통해 다수의 무선 유저가 이러한 콘텐츠에 액세스하는 것을 가능하게 할 수도 있다. 예를 들면, 통신 시스템(100)은, 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(orthogonal FDMA; OFDMA), 싱글 캐리어 FDMA(single-carrier FDMA; SC-FDMA), 및 등등과 같은 하나 이상의 채널 액세스 방법을 활용할 수도 있다.
도 24a에서 도시되는 바와 같이, 통신 시스템(100)은 무선 송수신 유닛(WTRU)(102a, 102b, 102c 및/또는 102d)(이들은 일반적으로 또는 일괄적으로 WTRU(102)로 칭해질 수도 있음), 무선 액세스 네트워크(radio access network; RAN)(103/104/105), 코어 네트워크(106/107/109), 공중 교환식 전화망(public switched telephone network; PSTN)(108), 인터넷(110), 및 다른 네트워크(112)를 포함할 수도 있지만, 개시된 실시형태는 임의의 수의 WTRU, 기지국(base station), 네트워크, 및/또는 네트워크 엘리먼트를 고려한다는 것이 인식될 것이다. WTRU(102a, 102b, 102c, 102d)의 각각은 무선 환경에서 동작하도록 및/또는 통신하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, WTRU(102a, 102b, 102c, 102d)는 무선 신호를 송신하도록 및/또는 수신하도록 구성될 수도 있고 유저 기기(UE), 이동국(mobile station), 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화, 개인 휴대형 정보 단말(personal digital assistant; PDA), 스마트폰, 랩탑, 넷북, 퍼스널 컴퓨터, 무선 센서, 가전기기(consumer electronics), 및 등등을 포함할 수도 있다.
통신 시스템(100)은 또한 기지국(114a) 및 기지국(114b)을 포함할 수도 있다. 기지국(114a, 114b)의 각각은, 코어 네트워크(106/107/109), 인터넷(110), 및/또는 네트워크(112)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(102a, 102b, 102c, 102d) 중 적어도 하나와 무선으로 인터페이싱하도록 구성되는 임의의 타입의 디바이스일 수도 있다. 예로서, 기지국(114a, 114b)은 기지국 트랜스시버(base transceiver station; BTS), Node-B, eNode B, 홈 노드 B, 홈 eNode B, 사이트 컨트롤러(site controller), 액세스 포인트(access point; AP), 무선 라우터, 및 등등일 수도 있다. 기지국(114a, 114b) 각각이 단일의 엘리먼트로서 묘사되지만, 기지국(114a, 114b)은 임의의 수의 상호 연결된(interconnected) 기지국 및/또는 네트워크 엘리먼트를 포함할 수도 있다는 것이 인식될 것이다.
기지국(114a)은, 기지국 컨트롤러(base station controller; BSC), 무선 네트워크 컨트롤러(radio network controller; RNC), 중계 노드, 등등과 같은 다른 기지국 및/또는 네트워크 엘리먼트(도시되지 않음)를 또한 포함할 수도 있는 RAN(103/104/105)의 일부일 수도 있다. 기지국(114a) 및/또는 기지국(114b)은, 특정한 지리적 영역 내에서 무선 신호를 송신하도록 및/또는 수신하도록 구성될 수도 있는데, 특정한 지리적 영역은 셀(도시되지 않음)로서 칭해질 수도 있다. 셀은 셀 섹터로 추가로 분할될 수도 있다. 예를 들면, 기지국(114a)과 관련되는 셀은 세 개의 섹터로 분할될 수도 있다. 따라서, 하나의 실시형태에서, 기지국(114a)은 세 개의 트랜스시버, 예를 들면, 셀의 각각의 섹터에 대해 하나씩의 트랜스시버를 포함할 수도 있다. 다른 실시형태에서, 기지국(114a)은 다중입력 다중출력(multiple-input multiple-output; MIMO) 기술을 활용할 수도 있고, 따라서, 셀의 각각의 섹터에 대해 다수의 트랜스시버를 활용할 수도 있다.
기지국(114a, 114b)은, 임의의 적절한 무선 통신 링크(예를 들면, 무선 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광, 등등)일 수도 있는 무선 인터페이스(air interface; 115/116/117)를 통해 WTRU(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수도 있다. 무선 인터페이스(115/116/117)는 임의의 적절한 무선 액세스 기술(radio access technology; RAT)을 사용하여 확립될 수도 있다.
더 구체적으로는, 상기에서 언급되는 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수도 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA, 및 등등과 같은 하나 이상의 채널 액세스 스킴을 활용할 수도 있다. 예를 들면, WTRU(102a, 102b, 102c) 및 RAN(103/104/105) 내의 기지국(114a)은, 광대역 CDMA(wideband CDMA; WCDMA)를 사용하여 무선 인터페이스(115/116/117)를 확립할 수도 있는, 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access)(UTRA)와 같은 무선 기술을 구현할 수도 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화된 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜을 포함할 수도 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수도 있다.
다른 실시형태에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, 롱 텀 에볼루션(LTE) 및/또는 LTE-어드밴스드(LTE-Advanced; LTE-A)를 사용하여 무선 인터페이스(115/116/117)를 확립할 수도 있는 진화형 UMTS 지상 무선 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 무선 기술을 구현할 수도 있다.
다른 실시형태에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는, IEEE 802.16(예를 들면, 와이맥스(Worldwide Interoperability for Microwave Access; WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), 이동 통신용 글로벌 시스템(Global System for Mobile communications; GSM), GSM 에볼루션을 위한 향상된 데이터 레이트(Enhanced Data rates for GSM Evolution; EDGE), GSM EDGE(GERAN), 및 등등과 같은 무선 기술을 구현할 수도 있다.
도 24a의 기지국(114b)은, 예를 들면, 무선 라우터, 홈 노드 B, 홈 eNode B, 또는 액세스 포인트일 수도 있고, 사업장, 가정, 차량, 캠퍼스, 및 등등과 같은 국소화된 영역에서 무선 연결성을 용이하게 하기 위해 임의의 적절한 RAT를 활용할 수도 있다. 하나의 실시형태에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 근거리 통신망(wireless local area network; WLAN)을 확립하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수도 있다. 다른 실시형태에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 확립하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수도 있다. 여전히 다른 실시형태에서, 기지국(114b) 및 WTRU(102c, 102d)는 피코셀 또는 펨토셀을 확립하기 위해 셀룰러 기반의 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A, 등등)를 활용할 수도 있다. 도 24a에서 도시되는 바와 같이, 기지국(114b)은 인터넷(110)에 대한 직접 연결을 구비할 수도 있다. 따라서, 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)에 액세스하는 데 필요로 되지 않을 수도 있다.
RAN(103/104/105)은, WTRU(102a, 102b, 102c, 102d) 중 하나 이상으로 음성, 데이터, 애플리케이션, 및/또는 인터넷 전화 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성되는 임의의 타입의 네트워크일 수도 있는 코어 네트워크(106/107/109)와 통신할 수도 있다. 예를 들면, 코어 네트워크(106/107/109)는 호 제어(call control), 과금 서비스, 모바일 위치 기반의 서비스, 선불 통화, 인터넷 연결성, 비디오 분배, 등등을 제공할 수도 있고, 및/또는 유저 인증과 같은 하이 레벨의 보안 기능을 수행할 수도 있다. 비록 도 24a에서 도시되지는 않지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는, RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 활용하는 다른 RAN과 직접 또는 간접 통신할 수도 있다는 것이 인식될 것이다. 예를 들면, E-UTRA 무선 기술을 활용할 수도 있는 RAN(103/104/105)에 연결되는 것 외에, 코어 네트워크(106/107/109)는 GSM 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 또한 통신할 수도 있다.
코어 네트워크(106/107/109)는 WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110), 및/또는 다른 네트워크(112)에 액세스하는 데 게이트웨이로서 또한 기능할 수도 있다. PSTN(108)은, 기존 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화 네트워크(circuit-switched telephone network)를 포함할 수도 있다. 인터넷(110)은, TCP/IP 인터넷 프로토콜 일군(suite)에서의 송신 제어 프로토콜(transmission control protocol; TCP), 유저 데이터그램 프로토콜(user datagram protocol; UDP) 및 인터넷 프로토콜(internet protocol; IP)과 같은 일반적인 통신 프로토콜을 사용하는 상호 연결된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수도 있다. 네트워크(112)는 다른 서비스 제공자에 의해 소유되는 및/또는 운영되는 유선 또는 무선 통신 네트워크를 포함할 수도 있다. 예를 들면, 네트워크(112)는, RAN(103/104/105)과 동일한 RAT 또는 상이한 RAT를 활용할 수도 있는 하나 이상의 RAN에 연결되는 다른 코어 네트워크를 포함할 수도 있다.
통신 시스템(102d)에서의 WTRU(102a, 102b, 102c, 102d) 중 일부 또는 전체는 다중 모드 성능을 포함할 수도 있다, 예를 들면, WTRU(102a, 102b, 102c, 100)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 트랜스시버를 포함할 수도 있다. 예를 들면, 도 24a에서 도시되는 WTRU(102c)는, 셀룰러 기반 무선 기술을 활용할 수도 있는 기지국(114a)과, 그리고 IEEE 802 무선 기술을 활용할 수도 있는 기지국(114b)과 통신하도록 구성될 수도 있다.
도 24b는 예시적인 WTRU(102)의 시스템 도면이다. 도 24b에서 도시되는 바와 같이, WTRU(102)는 프로세서(118), 트랜스시버(120), 송신/수신 엘리먼트(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비착탈식 메모리(130), 착탈식 메모리(132), 전원(134), 전지구 위치 결정 시스템(global positioning system; GPS) 칩셋(136), 및 다른 주변장치(138)를 포함할 수도 있다. WTRU(102)는 한 실시형태와 여전히 부합하면서 전술한 엘리먼트의 임의의 부조합을 포함할 수도 있다는 것이 인식될 것이다. 또한, 실시형태는, 기지국(114a 및 114b), 및/또는, 다른 것 중에서도, 기지국 트랜스시버(BTS), Node-B, 사이트 컨트롤러, 액세스 포인트(AP), 홈 node-B, 진화형 홈 node-B(eNodeB), 홈 진화형 node-B(home evolved node-B; HeNB), 홈 진화형 node-B 게이트웨이, 및 프록시 노드와 같은 그러나 이들로 제한되지는 않는 기지국(114a 및 114b)이 나타낼 수도 있는 노드가 도 24b에서 묘사되고 본원에서 설명되는 엘리먼트 중 일부 또는 전체를 포함할 수도 있다는 것을 고려한다.
프로세서(118)는 범용 프로세서, 특수 목적의 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수의 마이크로프로세서, DSP 코어와 관련하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 주문형 반도체(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA) 회로, 임의의 다른 타입의 집적 회로(integrated circuit; IC), 상태 머신, 및 등등일 수도 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성(functionality)을 수행할 수도 있다. 프로세서(118)는, 송신/수신 엘리먼트(122)에 커플링될 수도 있는 트랜스시버(120)에 커플링될 수도 있다. 도 24b가 프로세서(118) 및 트랜스시버(120)를 별개의 컴포넌트로서 묘사하지만, 프로세서(118) 및 트랜스시버(120)는 전자적 패키지 또는 칩에 함께 집적될 수도 있다는 것이 인식될 것이다.
송신/수신 엘리먼트(122)는 무선 인터페이스(115/116/117)를 통해 기지국(예를 들면, 기지국(114a))으로 신호를 송신하도록, 또는 그 기지국으로부터 신호를 수신하도록 구성될 수도 있다. 예를 들면, 하나의 실시형태에서, 송신/수신 엘리먼트(122)는 RF 신호를 송신하도록 및/또는 수신하도록 구성되는 안테나일 수도 있다. 다른 실시형태에서, 송신/수신 엘리먼트(122)는, 예를 들면, IR, UV, 또는 가시광 신호를 송신하도록 및/또는 수신하도록 구성되는 방출기(emitter)/검출기(detector)일 수도 있다. 여전히 다른 실시형태에서, 송신/수신 엘리먼트(122)는 RF 및 광 신호 둘 모두를 송신 및 수신하도록 구성될 수도 있다. 송신/수신 엘리먼트(122)는 무선 신호의 임의의 조합을 송신하도록 및/또는 수신하도록 구성될 수도 있다는 것이 인식될 것이다.
또한, 비록 송신/수신 엘리먼트(122)가 도 24b에서 단일의 엘리먼트로서 묘사되지만, WTRU(102)는 임의의 수의 송신/수신 엘리먼트(122)를 포함할 수도 있다. 더 구체적으로는, WTRU(102)는 MIMO 기술을 활용할 수도 있다. 따라서, 하나의 실시형태에서, WTRU(102)는, 무선 인터페이스(115/116/117)를 통해 무선 신호를 송신 및 수신하기 위한 두 개 이상의 송신/수신 엘리먼트(122)(예를 들면, 다수의 안테나)를 포함할 수도 있다.
트랜스시버(120)는, 송신/수신 엘리먼트(122)에 의해 송신될 신호를 변조하도록 그리고 송신/수신 엘리먼트(122)에 의해 수신되는 신호를 복조하도록 구성될 수도 있다. 상기에서 언급되는 바와 같이, WTRU(102)는 다중 모드 성능을 가질 수도 있다. 따라서, 트랜스시버(120)는, WTRU(102)가, 예를 들면, UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신하는 것을 가능하게 하기 위한 다수의 트랜스시버를 포함할 수도 있다.
WTRU(102)의 프로세서(118)는, 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들면, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 유닛)에 커플링될 수도 있고, 그리고 이들로부터 유저 입력 데이터를 수신할 수도 있다. 프로세서(118)는 유저 데이터를 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)로 또한 출력할 수도 있다. 또한, 프로세서(118)는, 비착탈식 메모리(130) 및/또는 착탈식 메모리(132)와 같은 임의의 타입의 적절한 메모리의 정보에 액세스할 수도 있고, 그리고 그 임의의 타입의 적절한 메모리에 데이터를 저장할 수도 있다. 비착탈식 메모리(130)는 랜덤 액세스 메모리(random-access memory; RAM), 리드 온리 메모리(read-only memory; ROM), 하드디스크, 또는 임의의 다른 타입의 메모리 스토리지 디바이스를 포함할 수도 있다. 착탈식 메모리(132)는 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 스틱, 시큐어 디지털(secure digital; SD) 메모리 카드, 및 등등을 포함할 수도 있다. 다른 실시형태에서, 프로세서(118)는, WTRU(102) 상에 물리적으로 위치되지 않는 메모리, 예컨대 서버 또는 가정용 컴퓨터(도시되지 않음) 상의 메모리의 정보에 액세스할 수도 있고, 그리고 그 메모리에 데이터를 저장할 수도 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신할 수도 있고, WTRU(102)의 다른 컴포넌트로 전력을 분배하도록 및/또는 그 전력을 제어하도록 구성될 수도 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 디바이스일 수도 있다. 예를 들면, 전원(134)은 하나 이상의 드라이 셀 배터리(예를 들면, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 수소(NiMH), 리튬 이온(Li ion), 등등), 솔라 셀, 연료 전지, 및 등등을 포함할 수도 있다.
프로세서(118)는, WTRU(102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성될 수도 있는 GPS 칩셋(136)에 또한 커플링될 수도 있다. 또한, GPS 칩셋(136)으로부터의 정보 외에, 또는 그 정보 대신, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 기지국(예를 들면, 기지국(114a, 114b))으로부터 위치 정보를 수신할 수도 있고 및/또는 두 개 이상의 근처의 기지국으로부터 수신되고 있는 신호의 타이밍에 기초하여 자신의 위치를 결정할 수도 있다. WTRU(102)는 한 실시형태와 여전히 부합하면서 임의의 적절한 위치 결정 방법을 통해 위치 정보를 획득할 수도 있다는 것이 인식될 것이다.
프로세서(118)는 또한, 추가적인 피쳐, 기능성, 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수도 있는 다른 주변장치(138)에 커플링될 수도 있다. 예를 들면, 주변장치(138)는 가속도계, 전자 콤파스, 위성 트랜스시버, (사진 및 비디오용의) 디지털 카메라, 범용 직렬 버스(universal serial bus; USB) 포트, 진동 디바이스, 텔레비전 트랜스시버, 핸즈프리 헤드셋, Bluetooth® 모듈, 주파수 변조(frequency modulated; FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저, 및 등등을 포함할 수도 있다.
도 24c는 한 실시형태에 따른 RAN(103) 및 코어 네트워크(106)의 시스템 도면이다. 상기에서 언급되는 바와 같이, RAN(103)은 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 UTRA 무선 기술을 활용할 수도 있다. RAN(103)은 코어 네트워크(106)와 또한 통신할 수도 있다. 도 24c에서 도시되는 바와 같이, RAN(103)은, 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 트랜스시버를 각각 포함할 수도 있는 Node-B(140a, 140b, 140c)를 포함할 수도 있다. Node-B(140a, 140b, 140c) 각각은 RAN(103) 내의 특정한 셀(도시되지 않음)과 관련될 수도 있다. RAN(103)은 RNC(142a, 142b)를 또한 포함할 수도 있다. RAN(103)은, 한 실시형태와 여전히 부합하면서, 임의의 수의 Node-B 및 RNC를 포함할 수도 있다는 것이 인식될 것이다.
도 24c에서 도시되는 바와 같이, 노드 B(140a, 140b)는 RNC(142a)와 통신할 수도 있다. 추가적으로, Node-B(140c)는 RNC(142b)와 통신할 수도 있다. Node-B(140a, 140b, 140c)는 Iub 인터페이스를 통해 각각의 RNC(142a, 142b)와 통신할 수도 있다. RNC(142a, 142b)는 Iur 인터페이스를 통해 서로 통신할 수도 있다. RNC(142a, 142b)의 각각은, 자신이 연결되는 각각의 Node-B(140a, 140b, 140c)를 제어하도록 구성될 수도 있다. 또한, RNC(142a, 142b)의 각각은 다른 기능성, 예컨대 외부 루프 전력 제어, 부하 제어, 수락 제어(admission control), 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화, 및 등등을 수행하도록 또는 지원하도록 구성될 수도 있다.
도 24c에서 도시되는 코어 네트워크(106)는 미디어 게이트웨이(media gateway; MGW)(144), 모바일 스위칭 센터(mobile switching center; MSC)(146), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(148), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(150)를 포함할 수도 있다. 전술한 엘리먼트의 각각이 코어 네트워크(106)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 오퍼레이터 이외의 엔티티에 의해 소유될 수도 있고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
RAN(103)에서의 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106)의 MSC(146)에 연결될 수도 있다. MSC(146)는 MGW(144)에 연결될 수도 있다. MSC(146) 및 MGW(144)는, WTRU(102a, 102b, 102c)와 전통적인 지상 회선(land-line) 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다.
RAN(103)에서의 RNC(142a)는 IuPS 인터페이스를 통해 코어 네트워크(106)의 SGSN(148)에 또한 연결될 수도 있다. SGSN(148)은 GGSN(150)에 연결될 수도 있다. SGSN(148) 및 GGSN(150)은, WTRU(102a, 102b, 102c)와 IP 대응 디바이스(IP-enabled device) 사이의 통신을 용이하게 하기 위해, 패킷 교환식 네트워크, 예컨대 인터넷(110)에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다.
상기에서 언급되는 바와 같이, 코어 네트워크(106)는, 다른 서비스 제공자에 의해 소유되는 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(112)에 또한 연결될 수도 있다.
도 24d는 한 실시형태에 따른 RAN(104) 및 코어 네트워크(107)의 시스템 도면이다. 상기에서 언급되는 바와 같이, RAN(104)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 E-UTRA 무선 기술을 활용할 수도 있다. RAN(104)은 코어 네트워크(107)와 또한 통신할 수도 있다.
RAN(104)은 eNode-B(160a, 160b, 160c)를 포함할 수도 있지만, RAN(104)은 한 실시형태와 여전히 부합하면서 임의의 수의 eNode-B를 포함할 수도 있다는 것이 인식될 것이다. eNode-B(160a, 160b, 160c) 각각은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 트랜스시버를 포함할 수도 있다. 하나의 실시형태에서, eNode-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수도 있다. 따라서, eNode-B(160a)는, 예를 들면, WTRU(102a)로 무선 신호를 송신하기 위해 그리고 WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다.
eNode-B(160a, 160b, 160c)의 각각은 셀(도시되지 않음)과 관련될 수도 있고 무선 리소스 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 유저의 스케줄링, 및 등등을 핸들링하도록 구성될 수도 있다. 도 24d에서 도시되는 바와 같이, eNode-B(160a, 160b, 160c)는 X2 인터페이스를 통해 서로 통신할 수도 있다.
도 24d에서 도시되는 코어 네트워크(107)는 이동성 관리 엔티티 게이트웨이(mobility management entity gateway; MME)(162), 서빙 게이트웨이(164), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(166)를 포함할 수도 있다. 전술한 엘리먼트의 각각이 코어 네트워크(107)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 오퍼레이터 이외의 엔티티에 의해 소유될 수도 있고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B(160a, 160b, 160c)의 각각에 연결될 수도 있고 제어 노드로서 기능할 수도 있다. 예를 들면, MME(162)는 WTRU(102a, 102b, 102c)의 유저를 인증하는 것, 베어러 활성화/비활성화, WTRU(102a, 102b, 102c)의 초기 연결 동안 특정한 서빙 게이트웨이를 선택하는 것, 및 등등을 담당할 수도 있다. MME(162)는, GSM 또는 WCDMA와 같은 다른 무선 기술을 활용하는 다른 RAN(도시되지 않음)과 RAN(104) 사이를 스위칭하기 위한 제어 평면 기능을 또한 제공할 수도 있다.
서빙 게이트웨이(164)는 S1 인터페이스를 통해 RAN(104) 내의 eNode-B(160a, 160b, 160c)의 각각에 연결될 수도 있다. 서빙 게이트웨이(164)는 일반적으로 유저 데이터 패킷을, WTRU(102a, 102b, 102c)로/로부터 라우팅 및 포워딩할 수도 있다. 서빙 게이트웨이(164)는 다른 기능, 예컨대 eNode B간 핸드오버(inter-eNode B handover) 동안 유저 평면을 앵커링하는 것, 다운링크 데이터가 WTRU(102a, 102b, 102c)에 대해 이용 가능할 때 페이징을 트리거하는 것, WTRU(102a, 102b, 102c)의 컨텍스트(context)를 관리하고 저장하는 것, 및 등등을 또한 수행할 수도 있다.
서빙 게이트웨이(164)는, WTRU(102a, 102b, 102c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 인터넷(110)과 같은 패킷 교환 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공할 수도 있는 PDN 게이트웨이(166)에 또한 연결될 수도 있다.
코어 네트워크(107)는 다른 네트워크와의 통신을 용이하게 할 수도 있다. 예를 들면, 코어 네트워크(107)는, WTRU(102a, 102b, 102c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다. 예를 들면, 코어 네트워크(107)는, 코어 네트워크(107)와 PSTN(108) 사이의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수도 있거나, 또는 그 IP 게이트웨이와 통신할 수도 있다. 또한, 코어 네트워크(107)는, 다른 서비스 제공자에 의해 소유되는 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다.
도 24e는 한 실시형태에 따른 RAN(105) 및 코어 네트워크(109)의 시스템 도면이다. RAN(105)은, 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 IEEE 802.16 무선 기술을 활용하는 액세스 서비스 네트워크(access service network; ASN)일 수도 있다. 하기에서 더 논의되는 바와 같이, WTRU(102a, 102b, 102c), RAN(105), 및 코어 네트워크(109)의 상이한 기능적 엔티티 사이의 통신 링크는 참조 포인트(reference point)로서 정의될 수도 있다.
도 24e에서 도시되는 바와 같이, RAN(105)은 기지국(180a, 180b, 180c), 및 ASN 게이트웨이(182)를 포함할 수도 있지만, RAN(105)은, 한 실시형태와 여전히 부합하면서, 임의의 수의 기지국 및 ASN 게이트웨이를 포함할 수도 있다는 것이 인식될 것이다. 기지국(180a, 180b, 180c) 각각은, RAN(105) 내의 셀(도시되지 않음)과 관련될 수도 있고 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위한 하나 이상의 트랜스시버를 포함할 수도 있다. 하나의 실시형태에서, 기지국(180a, 180b, 180c)은 MIMO 기술을 구현할 수도 있다. 따라서, 기지국(180a)은, 예를 들면, WTRU(102a)로 무선 신호를 송신하기 위해 그리고 WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수도 있다. 기지국(180a, 180b, 180c)은 또한, 핸드오프 트리거링(handoff triggering), 터널 확립, 무선 리소스 관리, 트래픽 분류, 서비스 품질(QoS) 정책 보강(enforcement), 및 등등과 같은 이동성 관리 기능을 제공할 수도 있다. ASN 게이트웨이(182)는 트래픽 집성 포인트(traffic aggregation point)로서 기능할 수도 있고, 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(109)로의 라우팅, 및 등등을 담당할 수도 있다.
WTRU(102a, 102b, 102c)와 RAN(105) 사이의 무선 인터페이스(117)는, IEEE 802.16 명세(specification)를 구현하는 R1 참조 포인트로서 정의될 수도 있다. 또한, WTRU(102a, 102b, 102c)의 각각은 코어 네트워크(109)와의 논리적 인터페이스(도시되지 않음)를 확립할 수도 있다. WTRU(102a, 102b, 102c)와 코어 네트워크(109) 사이의 논리적 인터페이스는 R2 참조 포인트로서 정의될 수도 있는데, R2 참조 포인트는 인증(authentication), 인가(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수도 있다.
기지국(180a, 180b, 180c)의 각각 사이의 통신 링크는, WTRU 핸드오버 및 기지국 사이의 데이터의 전송을 용이하게 하기 위한 프로토콜을 포함하는 R8 참조 포인트로서 정의될 수도 있다. 기지국(180a, 180b, 180c)과 ASN 게이트웨이(182) 사이의 통신 링크는 R6 참조 포인트로서 정의될 수도 있다. R6 참조 포인트는 WTRU(102a, 102b, 102c)의 각각과 관련되는 이동성 이벤트에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수도 있다.
도 24e에서 도시되는 바와 같이, RAN(105)은 코어 네트워크(109)에 연결될 수도 있다. RAN(105)과 코어 네트워크(109) 사이의 통신 링크는, 예를 들면, 데이터 전송 및 이동성 관리 성능을 용이하게 하기 위한 프로토콜을 포함하는 R3 참조 포인트로서 정의될 수도 있다. 코어 네트워크(109)는 모바일 IP 홈 에이전트(mobile IP home agent; MIP-HA)(184), 인증, 인가, 어카운팅(authentication, authorization, accounting; AAA) 서버(186), 및 게이트웨이(188)를 포함할 수도 있다. 전술한 엘리먼트의 각각이 코어 네트워크(109)의 일부로서 묘사되지만, 이들 엘리먼트 중 임의의 하나는 코어 네트워크 오퍼레이터 이외의 엔티티에 의해 소유될 수도 있고 및/또는 운영될 수도 있다는 것이 인식될 것이다.
MIP-HA는 IP 어드레스 관리를 담당할 수도 있고, WTRU(102a, 102b, 102c)가 상이한 ASN 및/또는 상이한 코어 네트워크 사이에서 로밍하는 것을 가능하게 할 수도 있다. MIP-HA(184)는, WTRU(102a, 102b, 102c)와 IP 대응 디바이스 사이의 통신을 용이하게 하기 위해, 패킷 교환식 네트워크, 예컨대 인터넷(110)에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다. AAA 서버(186)는 유저 인증 및 유저 서비스 지원을 담당할 수도 있다. 게이트웨이(188)는 다른 네트워크와의 상호 연동(interworking)을 용이하게 할 수도 있다. 예를 들면, 게이트웨이(188)는, WTRU(102a, 102b, 102c)와 전통적인 지상 회선 통신 디바이스 사이의 통신을 용이하게 하기 위해, PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다. 또한, 게이트웨이(188)는, 다른 서비스 제공자에 의해 소유되는 및/또는 운영되는 다른 유선 또는 무선 네트워크를 포함할 수도 있는 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 102c)에게 제공할 수도 있다.
본원에서 설명되는 컴퓨팅 시스템의 각각은, 설명된 기능을 달성하기 위해, 본원에서 설명되는 파라미터를 결정하는 것 및 엔티티(예를 들면, WTRU와 네트워크 또는 클라이언트와 서버) 사이에서 메시지를 전송 및 수신하는 것을 포함하는 본원에서 설명되는 기능을 달성하기 위한 실행 가능한 명령어 또는 하드웨어를 가지고 구성되는 메모리를 구비하는 하나 이상의 컴퓨터 프로세서를 구비할 수도 있다. 상기에서 설명되는 프로세스는, 컴퓨터 및/또는 프로세서에 의한 실행을 위해 컴퓨터 판독 가능 매체에 통합되는 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수도 있다.
비록 도 24e에서 도시되지는 않지만, RAN(105)은 다른 ASN에 연결될 수도 있고 코어 네트워크(109)는 다른 코어 네트워크에 연결될 수도 있다는 것이 인식될 것이다. RAN(105)과 다른 ASN 사이의 통신 링크는 R4 참조 포인트로서 정의될 수도 있는데, R4 참조 포인트는 RAN(105)과 다른 ASN 사이에서 WTRU(102a, 102b, 102c)의 이동성을 조정하기(coordinating) 위한 프로토콜을 포함할 수도 있다. 코어 네트워크(109)와 다른 코어 네트워크 사이의 통신 링크는 R5 참조로서 정의될 수도 있는데, 이것은 홈 코어 네트워크와 방문 코어 네트워크(visited core network) 사이의 상호 연동을 용이하게 하기 위한 프로토콜을 포함할 수도 있다.
비록 피쳐 및 엘리먼트가 특정 조합으로 상기에서 설명되었지만, 기술 분야에서 통상의 지식을 가진 자는, 각각의 피쳐 또는 엘리먼트는 단독으로 또는 다른 피쳐 및 엘리먼트와 임의의 조합으로 사용될 수 있다는 것을 인식할 것이다. 또한, 본원에서 설명되는 방법은, 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독 가능 매체에 통합되는 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수도 있다. 컴퓨터 판독 가능 매체의 예는 전자 신호(유선 또는 무선 연결을 통해 송신됨) 및 컴퓨터 판독 가능 저장 매체를 포함한다. 컴퓨터 판독 가능 저장 매체의 예는, 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내장 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 광자기 매체, 및 CD-ROM 디스크 및 디지털 다기능 디스크(digital versatile disk; DVD)와 같은 광학 매체를 포함하지만, 그러나 이들로 제한되지는 않는다. WTRU에서 사용하기 위한 무선 주파수 트랜스시버, WTRU, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터를 구현하기 위해, 소프트웨어와 관련한 프로세서가 사용될 수도 있다.

Claims (12)

  1. 장치로서,
    프로세서를 포함하고, 상기 프로세서는,
    360도 비디오와 관련된 복수의 표현(representation)들을 포함하는 미디어 프리젠테이션 디스크립션(media presentation description; MPD) 파일을 수신하도록 - 상기 복수의 표현들은 제1 표현 및 제2 표현을 포함하고, 상기 제1 표현은 제1 품질의 상기 360도 비디오에 대한 제1 비디오 레이어와 관련되며, 상기 제2 표현은 제2 품질의 상기 360도 비디오의 하나 이상의 공간적 서브세트(spatial subset)에 대한 제2 비디오 레이어와 관련됨 - ;
    상기 수신된 MPD 파일에 기초하여 상기 제1 표현의 제1 비디오 레이어를 요청하도록;
    볼 것으로 예상되는 사용자의 뷰포트(viewport)를 식별하도록;
    상기 식별된 사용자의 뷰포트 및 상기 수신된 MPD 파일에 기초하여 상기 제2 표현의 360도 비디오의 공간적 서브세트에 대응하는 제2 비디오 레이어를 요청하도록; 그리고
    상기 사용자의 현재 뷰포트를 렌더링하도록 - 상기 현재 뷰포트는, 상기 제1 표현의 제1 비디오 레이어 상에 오버레이된 상기 제2 표현의 제2 비디오 레이어를 포함하고, 상기 제2 품질은 상기 제1 품질보다 높은 품질을 가짐 -
    구성되는 것인, 장치.
  2. 제1항에 있어서, 상기 제1 비디오 레이어는 상기 360도 비디오와 관련된 풀프레임 비디오 레이어(full-frame video layer)이고, 상기 제2 비디오 레이어는 상기 360도 비디오의 하나 이상의 공간적 서브세트인 것인, 장치.
  3. 제1항에 있어서, 상기 360도 비디오는 스케일링 가능한 360도 비디오를 포함하는 것인, 장치.
  4. 제1항에 있어서, 상기 제1 비디오 레이어는 상기 360도 비디오와 관련된 스케일링 가능한 베이스 레이어(base layer)이고, 상기 제2 비디오 레이어는 상기 360도 비디오와 관련된 스케일링 가능한 향상 레이어(enhancement layer)인 것인, 장치.
  5. 제1항에 있어서, 상기 제2 비디오 레이어는 상기 제1 비디오 레이어보다 더 높은 비트레이트(bitrate), 더 높은 해상도, 또는 더 높은 프레임 레이트(frame rate) 중 하나 이상으로 코딩되는 것인, 장치.
  6. 제1항에 있어서, 상기 제2 비디오 레이어는 상기 제1 비디오 레이어와 독립적으로 코딩되는 것인, 장치.
  7. 방법으로서,
    360도 비디오와 관련된 복수의 표현들을 포함하는 미디어 프리젠테이션 디스크립션(MPD) 파일을 수신하는 단계 - 상기 복수의 표현들은 제1 표현 및 제2 표현을 포함하고, 상기 제1 표현은 제1 품질의 상기 360도 비디오에 대한 제1 비디오 레이어와 관련되며, 상기 제2 표현은 제2 품질의 상기 360도 비디오의 하나 이상의 공간적 서브세트에 대한 제2 비디오 레이어와 관련됨 - ;
    상기 수신된 MPD 파일에 기초하여 상기 제1 표현의 제1 비디오 레이어를 요청하는 단계;
    볼 것으로 예상되는 사용자의 뷰포트를 식별하는 단계;
    상기 식별된 사용자의 뷰포트 및 상기 수신된 MPD 파일에 기초하여 상기 제2 표현의 360도 비디오의 공간적 서브세트에 대응하는 제2 비디오 레이어를 요청하는 단계; 및
    상기 사용자의 현재 뷰포트를 렌더링하는 단계 - 상기 현재 뷰포트는, 상기 제1 품질의 제1 표현의 제1 비디오 레이어 상에 오버레이된 상기 제2 품질의 제2 표현의 제2 비디오 레이어를 포함하고, 상기 제2 품질은 상기 제1 품질보다 높은 품질을 가짐 -
    를 포함하는, 방법.
  8. 제7항에 있어서, 상기 제1 비디오 레이어는 상기 360도 비디오와 관련된 풀프레임 비디오 레이어이고, 상기 제2 비디오 레이어는 상기 360도 비디오의 하나 이상의 공간적 서브세트인 것인, 방법.
  9. 제7항에 있어서, 상기 360도 비디오는 스케일링 가능한 360도 비디오를 포함하는 것인, 방법.
  10. 제7항에 있어서, 상기 제1 비디오 레이어는 상기 360도 비디오와 관련된 스케일링 가능한 베이스 레이어이고, 상기 제2 비디오 레이어는 상기 360도 비디오와 관련된 스케일링 가능한 향상 레이어인 것인, 방법.
  11. 제7항에 있어서, 상기 제2 비디오 레이어는 상기 제1 비디오 레이어보다 더 높은 비트레이트, 더 높은 해상도, 또는 더 높은 프레임 레이트 중 하나 이상으로 코딩되는 것인, 방법.
  12. 제7항에 있어서, 상기 제2 비디오 레이어는 상기 제1 비디오 레이어와 독립적으로 코딩되는 것인, 방법.
KR1020207030767A 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치 KR102224826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217006387A KR102277287B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662342158P 2016-05-26 2016-05-26
US62/342,158 2016-05-26
PCT/US2017/034770 WO2017205794A1 (en) 2016-05-26 2017-05-26 Methods and apparatus of viewport adaptive 360 degree video delivery

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207018919A Division KR102173635B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006387A Division KR102277287B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200127044A KR20200127044A (ko) 2020-11-09
KR102224826B1 true KR102224826B1 (ko) 2021-03-09

Family

ID=59071081

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020187035707A KR20190021229A (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
KR1020217006387A KR102277287B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
KR1020207030767A KR102224826B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
KR1020207018919A KR102173635B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020187035707A KR20190021229A (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
KR1020217006387A KR102277287B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207018919A KR102173635B1 (ko) 2016-05-26 2017-05-26 뷰포트 적응형 360도 비디오 전달의 방법 및 장치

Country Status (6)

Country Link
US (2) US10841566B2 (ko)
EP (2) EP3466076A1 (ko)
JP (3) JP2019521587A (ko)
KR (4) KR20190021229A (ko)
CN (2) CN117336499A (ko)
WO (1) WO2017205794A1 (ko)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243075A (zh) * 2014-10-10 2022-10-25 索尼公司 再现装置和再现方法
CN109691113B (zh) 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
EP3510744B1 (en) 2016-09-09 2022-05-04 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
WO2018050606A1 (en) * 2016-09-14 2018-03-22 Koninklijke Kpn N.V. Streaming virtual reality video
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CN109644296A (zh) * 2016-10-10 2019-04-16 华为技术有限公司 一种视频流传输方法、相关设备及系统
US10712555B2 (en) 2016-11-04 2020-07-14 Koninklijke Kpn N.V. Streaming virtual reality video
WO2018124820A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US20190373245A1 (en) * 2017-03-29 2019-12-05 Lg Electronics Inc. 360 video transmission method, 360 video reception method, 360 video transmission device, and 360 video reception device
CN110546688B (zh) * 2017-05-30 2023-11-17 索尼公司 图像处理装置和方法、文件生成装置和方法及程序
CN110945873B (zh) * 2017-06-02 2022-11-04 Vid拓展公司 下一代网络上的360度视频递送
GB2563275B (en) * 2017-06-09 2019-10-09 Sony Interactive Entertainment Inc Image processing device and system
GB2563387B (en) * 2017-06-09 2020-04-15 Sony Interactive Entertainment Inc Image processing device and system
DE112018002432T5 (de) * 2017-08-18 2020-01-23 Mediatek Inc. Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen
WO2019037558A1 (zh) * 2017-08-22 2019-02-28 优酷网络技术（北京）有限公司 图像处理方法和装置
US10827159B2 (en) * 2017-08-23 2020-11-03 Mediatek Inc. Method and apparatus of signalling syntax for immersive video coding
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
EP3503559A1 (en) * 2017-12-20 2019-06-26 Thomson Licensing Method and terminal for managing a streaming session of an immersive video spatially tiled with a set of tiles and stored on a network equipment
JP2019118026A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
EP3739899A4 (en) * 2018-01-12 2020-11-18 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
WO2019141907A1 (en) * 2018-01-22 2019-07-25 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
JP6859286B2 (ja) * 2018-03-26 2021-04-14 Kddi株式会社 Ｖｒ映像配信装置および方法、ｖｒ映像再生装置および方法ならびにｖｒ映像システム
CN110351607B (zh) * 2018-04-04 2022-01-14 阿里巴巴（中国）有限公司 一种全景视频场景切换的方法、计算机存储介质及客户端
WO2019195101A1 (en) * 2018-04-05 2019-10-10 Futurewei Technologies, Inc. Efficient association between dash objects
KR102344073B1 (ko) * 2018-04-05 2021-12-28 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치
US10812828B2 (en) 2018-04-10 2020-10-20 At&T Intellectual Property I, L.P. System and method for segmenting immersive video
GB2573593B (en) * 2018-05-10 2021-11-03 Samsung Electronics Co Ltd Augmented reality rendering method and apparatus
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
WO2019235849A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
FR3084980A1 (fr) 2018-08-10 2020-02-14 Orange Methode et dispositif de diffusion de video a 360 degres
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11032590B2 (en) 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
CN116847105A (zh) * 2018-09-14 2023-10-03 华为技术有限公司 点云译码中属性支持的改进
US10999583B2 (en) 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
WO2020062700A1 (zh) * 2018-09-27 2020-04-02 华为技术有限公司 处理媒体数据的方法、客户端和服务器
CN113206826B (zh) * 2018-09-28 2022-10-04 华为技术有限公司 传输媒体数据的方法、客户端和服务器
CN110972203B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的电子设备内容提供调节
CN110972202B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的移动设备内容提供调节
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
EP3644619A1 (en) * 2018-10-23 2020-04-29 InterDigital CE Patent Holdings Method and apparatus for receiving a tile-based immersive video
US10939139B2 (en) 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
JP7271672B2 (ja) * 2018-12-14 2023-05-11 中興通訊股▲ふん▼有限公司 没入型ビデオビットストリーム処理
EP3905532A4 (en) * 2018-12-28 2022-11-30 Sony Group Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
CN114979750A (zh) * 2019-01-08 2022-08-30 诺基亚技术有限公司 用于虚拟现实的方法、装置和计算机可读介质
WO2020184188A1 (ja) * 2019-03-08 2020-09-17 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR102178111B1 (ko) * 2019-04-25 2020-11-12 주식회사 엘지유플러스 영상 스트리밍 서비스 제공 장치 및 방법
WO2020242027A1 (ko) * 2019-05-24 2020-12-03 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
US11159823B2 (en) * 2019-06-20 2021-10-26 At&T Intellectual Property I, L.P. Multi-viewport transcoding for volumetric video streaming
CN110546961B (zh) * 2019-06-25 2021-02-09 北京小米移动软件有限公司 全景媒体播放方法、设备及计算机可读存储介质
US11190768B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US20220360865A1 (en) * 2019-07-03 2022-11-10 Beijing Xiaomi Mobile Software Co., Ltd. Method, system and apparatus for building virtual reality environment
US11343567B1 (en) * 2019-08-07 2022-05-24 Meta Platforms, Inc. Systems and methods for providing a quality metric for media content
US11831861B2 (en) * 2019-08-12 2023-11-28 Intel Corporation Methods for viewport-dependent adaptive streaming of point cloud content
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
US20230072093A1 (en) * 2020-01-29 2023-03-09 Nokia Technologies Oy A Method, An Apparatus and a Computer Program Product for Video Streaming
JP7439556B2 (ja) * 2020-02-14 2024-02-28 オムロン株式会社 画像処理装置、画像センサ、画像処理装置の制御方法
KR20210107409A (ko) 2020-02-24 2021-09-01 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
CN115225937B (zh) * 2020-03-24 2023-12-01 腾讯科技（深圳）有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
US11503289B2 (en) 2020-05-27 2022-11-15 Tencent America LLC Bitstream structure for viewport-based streaming with a fallback bitstream
WO2022010026A1 (ko) * 2020-07-07 2022-01-13 인하대학교 산학협력단 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
KR20220037617A (ko) * 2020-09-18 2022-03-25 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 동영상 처리 방법 및 장치
WO2022065040A1 (ja) * 2020-09-23 2022-03-31 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム
CN112752158B (zh) * 2020-12-29 2023-06-20 北京达佳互联信息技术有限公司 一种视频展示的方法、装置、电子设备及存储介质
US11800184B2 (en) 2021-01-06 2023-10-24 Tencent America LLC Method and apparatus for media scene description
WO2022234699A1 (ja) * 2021-05-07 2022-11-10 キヤノン株式会社 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム
US11570417B2 (en) * 2021-05-20 2023-01-31 Apple Inc. Immersive video streaming using view-adaptive prefetching and buffer control
US20230224557A1 (en) * 2022-01-12 2023-07-13 Tencent America LLC Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
US11893699B2 (en) 2022-03-15 2024-02-06 Zeality Inc Method and processing unit for providing content in a bandwidth constrained environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008774A1 (ja) 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および方法
WO2015197815A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142654A (ja) 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
JP2010212811A (ja) 2009-03-06 2010-09-24 Panasonic Corp 動画像符号化装置及び動画像復号化装置
US9232257B2 (en) * 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
JP5891388B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
EP2805523B1 (en) 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
KR101757994B1 (ko) * 2012-07-10 2017-07-13 브이아이디 스케일, 인크. 품질 주도형 스트리밍
GB2509954B (en) 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
KR102107270B1 (ko) 2013-07-15 2020-05-06 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
EP3562170A1 (en) 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US20160150212A1 (en) 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
GB2536025B (en) 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008774A1 (ja) 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および方法
WO2015197815A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alouache et al. An Adapted Block Matching method for optical flow estimation in catadioptric images. ICMCS, 2014년 4월, pp. 69-74.

Also Published As

Publication number Publication date
WO2017205794A9 (en) 2019-03-07
JP7288875B2 (ja) 2023-06-08
KR20210027543A (ko) 2021-03-10
CN109511284B (zh) 2023-09-01
WO2017205794A1 (en) 2017-11-30
JP2020110005A (ja) 2020-07-16
US20190158815A1 (en) 2019-05-23
KR20200127044A (ko) 2020-11-09
CN117336499A (zh) 2024-01-02
JP2019521587A (ja) 2019-07-25
US20210014472A1 (en) 2021-01-14
CN109511284A (zh) 2019-03-22
KR20200084904A (ko) 2020-07-13
KR102277287B1 (ko) 2021-07-15
JP2023116547A (ja) 2023-08-22
KR20190021229A (ko) 2019-03-05
EP3761645A1 (en) 2021-01-06
EP3466076A1 (en) 2019-04-10
US10841566B2 (en) 2020-11-17
KR102173635B1 (ko) 2020-11-03

Similar Documents

Publication Publication Date Title
KR102224826B1 (ko) 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
US11770594B2 (en) 360-degree video delivery over next generation network
EP3090540A1 (en) Color space conversion
US11711505B2 (en) Viewport dependent delivery methods for omnidirectional conversational video
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
US20230188751A1 (en) Partial access support in isobmff containers for video-based point cloud streams
US20240022773A1 (en) Mmt signaling for streaming of visual volumetric video-based and geometry-based point cloud media
WO2017180439A1 (en) System and method for fast stream switching with crop and upscale in client player
KR20190050817A (ko) 정보 처리 디바이스 및 이를 제어하는 방법, 및 컴퓨터 프로그램
WO2018170416A1 (en) Floating point to integer conversion for 360-degree video projection format conversion and spherical metrics calculation

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant