KR20170133274A - 목록을 설정하기 위한 방법 및 네트워크 장비 - Google Patents

목록을 설정하기 위한 방법 및 네트워크 장비 Download PDF

Info

Publication number
KR20170133274A
KR20170133274A KR1020170063596A KR20170063596A KR20170133274A KR 20170133274 A KR20170133274 A KR 20170133274A KR 1020170063596 A KR1020170063596 A KR 1020170063596A KR 20170063596 A KR20170063596 A KR 20170063596A KR 20170133274 A KR20170133274 A KR 20170133274A
Authority
KR
South Korea
Prior art keywords
adaptation
multimedia content
list
spatial object
adaptation sets
Prior art date
Application number
KR1020170063596A
Other languages
English (en)
Other versions
KR102401666B1 (ko
Inventor
마리-뤽 샹?
마리-뤽 샹–y
세바스티앙 라쎄르
프랑크 갈팡
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170133274A publication Critical patent/KR20170133274A/ko
Application granted granted Critical
Publication of KR102401666B1 publication Critical patent/KR102401666B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

네트워크 장비로부터 세그먼트들로 분할된 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말에 제공될 목록을 설정하기 위한 네트워크 장비로서, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하며, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 상기 적응 세트들의 고간적 오브젝트들은 전체 공간적 오브젝트를 정의하며, 네트워크 장비는, 적어도 하나의 메모리(301), 및: 목록에서, 상기 전체 공간적 오브젝트(O)에 대한 멀티미디어 콘텐츠의 매핑의 타입 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점(404)을 정의하고; 깊이 정보를 각각의 적응 세트와 연관시키도록 구성되는 적어도 하나의 프로세싱 회로(300)를 포함한다.

Description

목록을 설정하기 위한 방법 및 네트워크 장비{METHOD AND NETWORK EQUIPMENT FOR ESTABLISHING A MANIFEST}
본 발명은 일반적으로, 예를 들어, 그러나 비 배타적으로, HTTP(HyperText Transfer Protocol)(하이퍼텍스트 전송 프로토콜)에 대한 적응적 스트리밍 기술 영역에 관한 것이며, 특히 네트워크 장비의 동작에 관한 것이다.
이 섹션은 본 기술의 다양한 양태들을 독자에게 소개하도록 의도되며, 이는 하기에 기술되고 그리고/또는 청구되는 본 발명의 다양한 양태들에 관련될 수 있다. 이러한 논의는 본 발명의 다양한 양태들의 더 양호한 이해를 용이하게 하기 위해 배경 정보를 독자에게 제공하는데 유용한 것으로 간주된다. 따라서, 이러한 선언들이 종래 기술의 수용들로서가 아니라, 이러한 견지에서 읽어보아야 하는 것이 이해되어야 한다.
HTTP 상의 적응형 스트리밍(또한 멀티-비트레이트 스위칭 또는 HAS라 명명됨)는 신속하게 멀티미디어 콘텐츠 분배를 위한 주요 기술이 되고 있다. 이미 사용되는 HTTP 적응형 스트리밍 프로토콜들 중, 가장 유명한 것은 Apple의 HTTP Live Streaming(HLS), Microsoft의 Silverlight Smooth Streaming(SSS), Adobe의 Adobe Dynamic Streaming(ADS), 3GPP 및 MPEG에 의해 개발된 Dynamic Adaptive Streaming over HTTP(DASH)(ISO/IEC 23009-1:2012로서 표준화됨)이다.
클라이언트 단말이 적응형 스트리밍으로 시청각 콘텐츠(또는 A/V 콘텐츠)를 재생하기를 원할 때, 그것은 먼저 이 A/V 콘텐츠가 어떻게 획득될 수 있는지를 기술하는 파일을 취득해야 한다. 이는 URL(Uniform Resource Locator)(유니폼 리소스 로케이터)로부터, 소위 목록(manifest)(또는 MPEG-DASH를 위한 미디어 프리젠테이션 디스크립션(Media Presentations Description)(MPD))이라고 하는 디스크립션 파일을 취득함으로써 HTTP 프로토콜을 통해 일반적으로 이루어지지만, 또한 다른 수단(예를 들어, 방송, e-메일, SMS 등)에 의해 달성될 수 있다. 목록 - 미리 생성되어 원격 서버에 의해 클라이언트 단말에 전달됨 - 은 기본적으로 이러한 A/V 콘텐츠의(코딩 비트레이트, 해상도 및 다른 특징들의 견지에서) 이용가능한 표현들을 열거한다. 표현은 주어진 품질 레벨(비트레이트)와 연관된다.
각각의 표현의 전체 데이터 스트림은, 네트워크 조건들에 대해 동적으로 적응하기 위해, 클라이언트 단말이 2개의 세그먼트들 사이에서 하나의 품질레벨로부터 또다른 품질 레벨로 매끄럽게 스위칭할 수 있도록 만들어진, 별도의 URL에 의해 액세스가능한, 동일한 듀레이션(예를 들어, 수 초)의 세그먼트들(또한 청크들이라 명명됨)로 분할된다. 낮은 대역폭이 이용가능할 때, 클라이언트 단말들은 낮은 비트레이트 청크들을 요청하고, 더 높은 대역폭이 사용가능해야 하는 경우 이들은 더 높은 비트레이트 청크들을 요청할 수 있다. 그 결과, 비디오 품질이 재생 동안 달라질 수 있지만, 중단(또한, 프리즈라 명명됨)을 거의 겪지 않는다.
클라이언트 측에서, 세그먼트들은 전송 경로의 이용가능한 대역폭의 측정에 기초하여 선택된다. 특히, 클라이언트 단말은 비트레이트 인코딩 및 따라서 측정된 대역폭에 순응하는 품질에 대응하는 세그먼트의 표현을 일반적으로 요청한다.
게다가, MPEG DASH 표준에서, 공간적 관계 디스크립션(Spatial Relationship Description)(SRD)은 미디어 표현 저자들이 공간적 오브젝트들 사이의 공간적 관계를 표현하도록 한다. 공간적 오브젝트는 콘텐츠 컴포넌트의 공간적 부분(예를 들어, 관심 있는 영역 또는 타일(tile))으로서 정의되고, 적응 세트 또는 세부-표현에 의해 표현된다. 예로서, 공간적 관계는 비디오가 (예를 들어, 확대(zooming)를 허용하기 위해) 또다른 풀-프레임 비디오의 공간적 부분을 나타냄을 표현할 수 있다. 추가적인 예로, SRD는 큰 뷰를 더 작은 뷰들의 그리드로 분할하는 것을 허용하는데 여기서 각각의 더 작은 뷰는 실제 표현이다.
그럼에도, 현재의 MPEG-DASH SRD는 현재, 가상 현실 360 경험을 제공하도록 적절히 적응되지는 않은데, 왜냐하면 그것은 모든 레이아웃들이 플랫 뷰(flat view)의 서브세트들인 플랫 모델만 지원하기 때문이다.
발명은 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말에 제공될 목록을 설정하기 위한 방법에 관한 것이며, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고, 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의한다. 상기 방법은:
- 목록에서, 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점을 정의하는 것; 및
- 깊이 정보를 각각의 적응 세트와 연관시키는 것을 포함한다.
실시예에서, 매핑의 타입은 후속하는 매핑들의 그룹에 속할 수 있다:
- 구형 매핑;
- 원통형 매핑;
- 정육면체형 매핑;
- 피라미드형 매핑.
실시예에서, 기준점은 기준 적응 세트와 연관된 공간적 오브젝트의 중심에 대응할 수 있다.
실시예에서, 각각의 적응 세트는 멀티미디어 콘텐츠를 공간적으로 분할하는 그리드의 셀과 연관되고, 기준 적응 세트는 전체 그리드와 연관된 적응 세트에 대응할 수 있다.
실시예에서, 상기 방법은 목록 내에 특정되는 하나의 또는 몇몇 적응 세트들과 연관된 좌표들을 정의하는 것을 추가로 포함할 수 있다.
실시예에서, 각각의 적응 세트와 연관된 좌표들은 극성 좌표들에 대응할 수 있다.
본 개시내용은 또한, 하나의 네트워크 장비로부터, 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 클라이언트 단말에 전송되도록 의도되는 목록에 관한 것이며, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하며, 각각의 적응 세트는 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의한다. 상기 목록은 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입, 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점, 및 각각의 적응 세트와 연관된 깊이 정보를 포함할 수 있다.
실시예에서, 기준점은 기준 적응 세트와 연관된 공간적 오브젝트의 중심에 대응할 수 있다.
실시예에서, 상기 목록은 목록 내에 특정되는 하나의 또는 몇몇의 적응 세트들과 연관된 좌표들을 포함할 수 있다.
게다가, 본 개시내용은 네트워크 장비로부터 세그먼트들로 분할되는 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말에 제공될 목록을 설정하기 위한 네트워크 장비에 관한 것이며, 각각의 장비는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의한다. 상기 네트워크 장비는 적어도 하나의 메모리, 및
- 목록에서 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점을 정의하고; 그리고
- 깊이 정보를 각각의 적응 세트와 연관시키도록 구성되는 적어도 하나의 프로세싱 회로를 포함할 수 있다.
실시예에서, 상기 하나의 프로세싱 회로는 목록 내에 특정된 하나의 또는 몇몇 적응 세트들과 연관된 좌표들을 정의하도록 추가로 구성될 수 있다.
본 개시내용은 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말에 의해 목록을 수신하기 위한 방법에 추가로 의존하며, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의한다. 상기 목록은 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점을 추가로 정의할 수 있고; 깊이 정보를 각각의 적응 세트와 연관시킨다.
본 개시내용은 또한 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 클라이언트 단말에 관한 것이고, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 클라이언트 단말은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하는 목록을 수신하도록 추가로 구성되고, 각각의 적응 세트는 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의한다. 상기 목록은 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점을 추가로 정의할 수 있고; 깊이 정보를 각각의 적응 세트와 연관시킨다.
게다가, 본 개시내용은 컴퓨터에 의해 판독가능하고, 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말에 제공될 목록을 설정하기 위한 방법을 수행하도록 컴퓨터에 의해 실행가능한 명령들의 프로그램을 유형적으로 내장하는, 비-일시적 프로그램 저장 디바이스들에 추가로 관련되며, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트들은 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하며, 방법은:
- 목록에서, 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점을 정의하는 것; 및
- 깊이 정보를 각각의 적응 세트와 연관시키는 것을 포함한다.
본 개시내용은 또한, 비-일시적 컴퓨터 판독가능한 매체에 저장되며, 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말에 제공될 목록을 설정하기 위한 방법을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품에 의존하며, 각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트들은 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하며, 방법은:
- 목록에서, 상기 전체 공간적 오브젝트에 대한 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점을 정의하는 것; 및
- 깊이 정보를 각각의 적응 세트와 연관시키는 것을 포함한다.
개시내용에 따른 방법은 프로그래밍가능한 장치 상의 소프트웨어로 구현될 수 있다. 그것은 단독으로 하드웨어로 또는 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다.
본 개시내용의 엘리먼트들에 의해 구현되는 일부 프로세스들은 컴퓨터 구현될 수 있다. 따라서, 이러한 엘리먼트들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 모두 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"이라 지칭될 수 있는 소프트웨어와 하드웨어 양태들을 조합시키는 실시예의 형태를 취할 수 있다. 또한, 이러한 엘리먼트들은 매체 내에 내장되는 컴퓨터 사용가능한 프로그램 코드를 가지는 임의의 유형적 표현 매체 내에 내장되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 개시내용의 엘리먼트들이 소프트웨어로 구현될 수 있지만, 본 개시내용은 임의의 적절한 캐리어 매체 상에서 프로그래밍가능한 장치에 제공하기 위한 컴퓨터 판독가능한 코드로서 구현될 수 있다. 유형적 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다.
따라서, 개시내용은 컴퓨터가 목록을 설정하기 위한 방법을 수행할 수 있게 하도록 컴퓨터-실행가능한 명령들을 포함하는 컴퓨터-판독가능한 프로그램을 제공한다.
개시된 실시예들을 가지는 범위 내에 부합하는 특정 양태들이 하기에 설명된다. 이러한 양태들이, 개시내용이 취할 수 있는 특정 형태들의 간략한 요약을 독자에게 단순히 제공하도록 제시되며, 이러한 양태들이 개시내용의 범위를 제한하도록 의도되지 않는다는 것이 이해되어야 한다. 실제로, 개시내용은 하기에 설명되지 않을 수 있는 다양한 양태들을 포함할 수 있다.
발명은 첨부되는 도면들에 관련하여, 제한적으로서가 아니라, 후속하는 실시예 및 실행 예들에 의해 더 잘 이해되고 예시될 것이다.
도 1은 일부 실시예들에서 사용되는 클라이언트-서버 네트워크의 개략도이다.
도 2는 일부 실시예들에서 사용되는 클라이언트 단말의 예의 블록도이다.
도 3은 일부 실시예들에서 사용되는 네트워크 장비의 예의 블록도이다.
도 4는 가상 현실 콘텐츠와 연관된 일부 적응 세트들을 도시한다.
도 5는 일부 실시예들에 따라 목록을 구축하기 위한 방법을 예시하는 플로우차트이다.
도 6은 부분적 입체각으로부터의 차등 영역 뷰를 예시한다.
도 7은 도 4에 도시된 하나의 적응 세트와 연관된 극성 좌표들을 도시한다.
가능한 어느 곳에서든, 동일한 참조 번호들은 도면들 전반에 걸쳐 동일한 또는 유사한 부분들을 지칭하도록 사용될 것이다.
후속하는 기재는 본 개시내용의 원리들을 예시한다. 따라서, 본 기술분야의 통상의 기술자가, 본원에 명시적으로 기술되거나 도시되지 않더라도, 개시내용의 원리들을 구현할 수 있으며 그 범위 내에 포함되는 다양한 배열들을 고안할 수 있을 것이라는 점이 인식될 것이다.
본원에 인용되는 모든 예들 및 조건적 언어들은 독자가 개시내용의 원리들 및 본 기술의 발전에 대해 발명자에 의해 기여되는 개념들을 이해하는데 도움이 되도록 교육용 목적으로 의도되며, 이러한 구체적으로 인용된 예들 및 조건들에 대한 제한이 없는 것으로서 해석되어야 한다.
또한, 개시내용의 원리들, 양태들 및 실시예들, 뿐만 아니라 그것의 구체적 예들을 인용하는 본원의 모든 문장들은 그것의 구조적 등가물 및 기능적 등가물 모두를 포함하도록 의도된다. 추가로, 이러한 등가물들이 현재 알려진 등가물들 뿐만 아니라 차후 개발될 등가물들, 즉, 구조와는 무관하게 동일한 기능을 수행하도록 개발되는 임의의 엘리먼트들 모두를 포함한다는 것이 의도된다.
따라서, 예를 들어, 본원에 제시되는 블록도들이 개시내용의 원리들을 구현하는 예시적인 회로의 개념적 뷰들을 나타낸다는 것이 본 기술분야의 통상의 기술자에 의해 인식될 것이다. 유사하게, 임의의 플로우 차트들, 흐름도들, 상태 천이도들, 의사코드 등이, 컴퓨터 판독가능한 매체 내에 실질적으로 제시되며 컴퓨터 또는 프로세서에 의해, 이러한 컴퓨터 또는 프로세서가 명시적으로 도시되든 아니든 간에, 그렇게 실행될 수 있는 다양한 프로세스들을 표현한다는 것이 인식될 것이다.
도면들에 도시된 다양한 엘리먼트들의 기능들은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 그 중 일부가 공유될 수 있는 복수의 개별 프로세서들에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어기"의 명백한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 않아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장소를 내포적으로 포함할 수 있다.
본원의 청구항들에서, 특정된 기능을 수행하기 위한 수단 및/또는 모듈로서 표현되는 임의의 엘리먼트는 예를 들어, a) 그 기능을 수행하는 회로 엘리먼트들의 조합 또는 b) 따라서 기능을 수행하기 위해 그 소프트웨어를 실행하기 위한 적절한 회로와 조합되는 펌웨어, 마이크로코드 등을 포함하는, 임의의 형태인 소프트웨어를 포함하는, 그 기능을 수행하는 임의의 방식을 포함하도록 의도된다. 이러한 청구항들에 의해 정의되는 바와 같은 개시내용은, 다양한 인용된 수단에 의해 제공되는 기능성들이 청구항들이 요청하는 방식으로 조합되고 묶인다는 사실에 존재한다. 따라서, 이러한 기능성들을 제공할 수 있는 임의의 수단이 본원에 도시된 것들과 등가라고 간주된다.
추가로, 본 개시내용의 도면들 및 기재들이 본 개시내용의 명확한 이해를 위해 관련된 엘리먼트들을 예시하도록 간략화되지만, 명료함의 목적으로, 통상적인 디지털 멀티미디어 콘텐츠 전달 방법들, 디바이스들 및 시스템들에서 발견되는 많은 다른 엘리먼트들을 제거한다는 것이 이해되어야 한다. 그러나, 이러한 엘리먼트들이 본 기술분야에 널리 알려져 있기 때문에, 이러한 엘리먼트들의 상세한 논의는 본원에 제공되지 않는다. 본원의 개시내용은 본 기술분야의 통상의 기술자에게 알려진 모든 이러한 변형들 및 수정들에 관한 것이다.
다음에서, 도면들이 HTTP 적응형 스트리밍 프로토콜(또는 HAS)에 관해, 특히 MPEG-DASH에 관련하여 도시된다. 자연스럽게, 개시내용은 이러한 특정 환경에 제한되지 않으며, 다른 적응형 스트리밍 프로토콜이 물론 고려되고 구현될 수 있다.
도 1에 도시된 바와 같이, 하나의 또는 몇몇 네트워크(N)에 의해 지원되며(도면들에는 단 하나만 표현됨), 개시내용의 일부 실시예들에서 구현되는, 클라이언트-서버 네트워크 아키텍처는 하나의 또는 몇몇 클라이언트 단말들(C) 및 하나의 또는 몇몇 HTTP 서버들(S)을 포함한다. DASH에 따르면, 이러한 서버들(S)은 또한 미디어 오리진(Media Origin)이라 명명된다. 이들은 예를 들어, 목록을 생성할 수 있다. 서버들(S)은 콘텐츠 분배의 소스들인데, 즉, 멀티미디어 콘텐츠는 일부 외부 엔티티들로부터 올 수 있고 미디어 오리진에서 HAS 포맷으로 전환될 수 있다.
클라이언트 단말(C)은 HTTP 서버들(SE) 중 하나로부터 멀티미디어 콘텐츠를 획득하기를 원한다. 멀티미디어 콘텐츠는 복수의 세그먼트들(또한 청크들이라 명명됨)로 분할된다. 멀티미디어 콘텐츠가 서버(S)에서 상이한 표현들로 이용가능하다는 것이 가정된다. HTTP 서버(S)는 클라이언트 요청 시에, 하나 이상의 TCP/IP 접속들을 통한 HTTP 적응형 스트리밍 프로콜을 사용하여, 클라이언트 단말(C)에 세그먼트들을 스트리밍할 수 있다.
도 2에 도시된 바와 같이, 클라이언트 단말(C)은 다음을 포함할 수 있다:
- 네트워크(N)에 대한 접속의 인터페이스(200)(유선 및/또는 무선, 예로서, Wifi, ADSL, 케이블, 모바일 및/또는 방송(예를 들어, DVB, ATSC) 인터페이스);
- HTTP 서버(S)와 통신하기 위한 프로토콜 스택들을 포함하는 통신 모듈(201). 특히, 통신 모듈(201)은 TCP/IP 스택을 포함할 수 있다. 물론, 클라이언트 단말(C)이 HTTP 서버(S)와 통신할 수 있게 하는 임의의 다른 타입의 네트워크 및/또는 통신 수단이 존재할 수 있다;
- HTTP 서버(S)로부터 HTTP 스트리밍 멀티미디어 콘텐츠를 수신할 수 있는 적응형 스트리밍 모듈(202). 그것은 네트워크 제약들과 그것의 고유의 제약들을 더 양호하게 매치시키는 비트레이트에서 세그먼트를 계속 선택한다;
- 멀티미디어 콘텐츠를 디코딩 및 렌더링하도록 적응되는 비디오 플레이어(203);
- 클라이언트 단말(C)의 비휘발성 메모리에 저장된 애플리케이션들 및 프로그램들을 실행하기 위한 하나 이상의 프로세서들(204);
- HTTP 서버(SE)로부터 수신되는 세그먼트들을, 비디오 플레이어(203)로의 이들의 전송 이전에, 버퍼링하기 위한, 휘발성 메모리와 같은 저장 수단(205);
- 포괄적 클라이언트 단말 기능성들을 수행하기 위해 본 기술분야의 통상의 기술자에게 널리 공지된 모든 수단 및 다양한 모듈들을 접속시키는 내부 버스(206).
클라이언트 단말은 휴대용 미디어 디바이스, 모바일 폰, 태블릿 또는 랩톱, TV 세트, 셋톱 박스, 게임 디바이스 또는 집적 회로일 수 있다. 자연스럽게, 클라이언트 단말(C)은 완전한 비디오 플레이어를 포함하는 것이 아니라, 멀티미디어를 디멀티플렉싱 및 디코딩하기 위한 것들과 같은 단지 일부 서브-엘리먼트들을 포함할 수 있으며, 최종 사용자에게 디코딩된 콘텐츠를 디스플레이하기 위한 외부 수단에 의존할 수 있다. 이러한 경우, 클라이언트 단말(C)은 셋톱 박스와 같은 HTTP 적응형 스트리밍(HAS) 가능 비디오 디코더이다.
도 3은 도 1에 도시된 서버(S)의 예의 개략적인 블록도이다. 서버(S)는 프로세싱 회로(300), 메모리(301), 통신 인터페이스 I/O(302) 및 통신 버스(303)를 포함할 수 있다.
프로세싱 회로(300)는 명령들을 실행하고 데이터를 프로세싱할 수 있는 전자 컴포넌트일 수 있다. 프로세싱 회로(300)는 하나 이상의 프로세싱 유닛들(CPU(들))을 포함할 수 있다. 프로세싱 회로(300)는 서버(S)의 다양한 신호 프로세싱 및 제어 기능들을 수행하도록 동작하거나 구성될 수 있다. 또한, 프로세싱 회로(300)는 사용자의 요청들을 검출 및 프로세싱할 수 있고, 이러한 사용자 요청들에 응답하여 (도 3에 도시되지 않은 엘리먼트들을 포함한) 서버 S의 다른 엘리먼트들을 제어하도록 그것의 고유한 동작들을 제어하고 그리고/또는 제어 신호들을 출력할 수 있다. 프로세싱 회로(300)는 또한 본원에 기술된 방법의 원리를 구현하기 위한 소프트웨어 코드를 포함하는 소프트웨어 코드를 실행하도록 동작하거나 구성될 수 있다. 프로세싱 회로(300)는 메모리(301)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령들의 세트들을 실행하여 서버(S)에 대한 다양한 기능들을 수행하고 데이터를 프로세싱할 수 있다.
도 3의 서버(S)는 네트워크(N)를 통해, 목록을 설정하여 멀티미디어 콘텐츠를 요청하는 클라이언트 단말(C)에 전달하도록 추가로 적응된다. 목록은 SRD(Spatial Relationship Description)(공간적 관계 디스크립션) 정보를 포함할 수 있다.
도 4에 도시된 바와 같이, SRD 정보는 공간적 직사각형 오브젝트(O)를 더 작은 공간적 오브젝트들의 그리드(400)로 분할하도록 할 수 있고, 그리드(400)의 각각의 셀(401, 402, 403)은 공간적 오브젝트(즉, 전체 공간적 오브젝트(O)의 일부분)에 대응한다. (상이한 표현들 하에서 동일한 콘텐츠에 대응하는) 몇몇 비디오들은 그리드(400)의 각각의 셀(401, 402, 403)과 연관되어 적응 세트를 형성할 수 있다. SRD는 목록 MPD에서 그리드(400) 및 그것의 셀 각각(401, 402, 403)을 기술하기 위한 신택스(syntax)를 정의한다. 이러한 목적으로, 각각의 적응 세트 - 하나의 셀(401, 402, 403)을 정의하는 - 는 소스 id(동일한 소스 그리드에 속하는 모든 셀들은 동일한 소스 id를 가짐), 셀의 상단 좌측 코너의 좌표들, 셀(401, 402, 403)의 높이 및 폭, 및 선택적으로 전체 그리드(400)의 높이 및 폭을 정의하는, 보조 특징을 포함한다. 높이 및 폭은, 이들이 비율(proportion)들을 표시하기 위해서만 사용되기 때문에 임의의 단위들(예컨대, 픽셀들)로 표현될 수 있다. 적응 세트가 그리드(400)의 몇몇 셀들(401)(예컨대, 4개 셀들(401)을 포함하는 셀(403))과 연관될 수 있으며, 그리드(400)의 셀들(예를 들어, 도 4에 도시된 바와 같은 셀들(401) 및 셀(402))이 반드시 동일한 디멘젼들을 가지지는 않는다는 것에 유의해야 한다.
도 4의 예에서, 27개 적응 세트들이 도시된다: 하나의 주 적응 세트는 그리드(400)와 연관되고, 24개 적응 세트는 작은 셀(401)과 연관되고, 하나의 적응 세트는 큰 셀(402)과 연관되고, 하나의 적응 세트는 셀(403)과 연관됨(4개의 작은 셀들(401)을 포함함).
실시예에서, 가상 현실 멀티미디어 콘텐츠에 대한 SRD 정보를 사용하기 위해, 서버(S)는 도 5에 도시된 방법(500)에 따라 목록을 구축하도록 구성될 수 있다. 특히 서버(S)는:
- 뷰어 주위에 렌더링될 가상 현실(VR) 콘텐츠(또한 실감 콘텐츠(immersive content)라 명명됨)를 위해 어느 매핑(구형, 원통형, 정육면체형, 피라미드형)이 사용되는지를(즉, 뷰어가 전체 픽처를 볼 수 있는 것이 아니라 그의/그녀의 시야를 벗어난 이미지의 일부들을 보기 위해 그의/그녀의 머리를 회전시켜야(또는 움직여야) 함을) 정의하고(단계(501));
- 전체 구형 오브젝트(O) 내의 중심점(또한 VR 원점이라 명명됨)(404)을 정의하고(단계(502)) ― 추가적인 단계들에서 사용되는 모든 각 값들은 이 중심점(404)에 관해 사용될 것임 ― ;
- 클라이언트 단말(C)의 MPEG-DASH SRD 플레이어가 그리드(400)의 각각의 셀들(401, 402, 403)에 대한 각 정보를 계산하고 사용자가 그의/그녀의 관점을 언제 변경하는지를 검색하기 위해 올바른 비디오를 선택할 수 있도록 셀들(401, 402, 403)의 최솟값에 각 정보를 연관시킬 수 있다(단계(503).
VR 매핑을 정의하기 위해, 단계(501)에서, 새로운 정보(예를 들어, "vrtype"이라 명명되는, 보충적 또는 필수적 특징)가 전체 오브젝트(O)와 연관된 주 적응 세트 내의 목록에 (예를 들어, 프로세싱 유닛(300) 때문에) 도입될 수 있다. MPEG-DASH 표준이 예를 들어, 어떤 비디오도 전체 공간적 오브젝트(O)를 완전히 커버하지 않는 경우, 빈 적응 세트들을 정의하도록 허용한다는 것에 유의해야 한다. 따라서, VR 매핑을 특정하기 위해, 전체 공간적 오브젝트(O)와 연관된 적응 세트가 존재할 수 있다(그리고 가능한 빌 수 있는데, 즉, 임의의 연관된 비디오가 없을 수 있다). MPD 신택스에 따르면, 보충적 또는 필수적 특징은 urn(uniform resource name)(유니폼 리소스 네임)(예를 들어, urn:mpeg:dash:vrtype:2016)로 인해 식별될 수 있으며, 그 값은 VR 매핑을 포함하는 스트링(예를 들어, "구형", "원통형" 또는 "정육면체형")일 수 있다.
변형예에서, 보충적 특징("vrtype")은 주 적응 세트와는 상이한 적응 세트 내의 목록에 도입될 수 있다.
게다가, 초기 관점을 가지고, 모든 각 위치들이 계산될 수 있는 원점 축을 정의하기 위해, 단계(502)에서, 새로운 정보(예를 들어, "vrcenter" or "vrorigin"라 명명되는, 예를 들어, 보충적 또는 필수적 특징)가 중심점(404)을 포함하는 적응 세트들에 대한 목록에 (예를 들어, 프로세싱 유닛(300) 때문에) 도입될 수 있다. 중심점의 위치는 예를 들어, 중심점이 위치되는 대응하는 그리드 셀의 상단 좌측 코너로부터 픽셀 단위로 주어질 수 있다. 중심점은 적응 세트와 연관된 셀(401, 402, 403)의 중심일 수 있다.
이러한 보충적 또는 필수적 특징은 urn(예를 들어, urn:mpeg:dash:vrorigin:2016) 및 x 및 y 좌표들을 포함하는 값을 픽셀 단위들로 정의할 수 있다.
도 4의 예시적이지만 비제한적인 예에서 도시된 바와 같이, 그리드(400)의 작은 셀들(401)은 640x480 픽셀 비디오들을 포함하고, VR 원점 값은 (320,240)이며, SRD 값(0,3,1,1,1,7,4)을 가지는 적응 세트와 연관된다.
변형예에서, 중심점 보충적 특징은 전체 공간적 오브젝트와 연관되는 적응 세트에 대해 설정될 수 있다. 이러한 변형예는 MPD 저작 시점에 더 많은 계산을 요구할 수 있는데, 왜냐하면 중심점(404)과 전체 구형 오브젝트(O)의 상단 좌측 코너 사이의 모든 셀들(401, 402, 403)의 폭 및 깊이가 합산될 필요가 있기 때문이다.
또한, 클라이언트 단말(C)의 DASH 플레이어가 사용자의 관점(예를 들어, 도 6에 도시된, 또한 차등 영역이라 명명되는, 부분적 입체각(dA)을 정의하는 극성 좌표들(θ, ψ)에 의해 주어짐)과 적응 세트들 사이의 대응성을 가지도록 하기 위해, 극성 좌표 정보가 하나의 또는 몇몇 적응 세트들(모든 그리드 셀들(401, 402, 403))에 대해 제공될 수 있다.
특히, 전체 공간적 오브젝트(O)에 대한 극성 좌표들(주 적응 세트와 연관됨)은 그것이 사용자 관점을 변경시키기 위한 가능한 제한들에 대해 클라이언트 단말(C)의 DASH 플레이어에 통지하는 바와 같이 관련된다. 도 7에 도시된 바와 같이, 전체 공간적 오브젝트에 의해 커버되는 차등 영역(700)의 우측, 좌측, 최상부 및 최하부 경계들은 4개의 각들: θ1, θ2, ψ1, 및 ψ2에 의해 주어진다. 구형 매핑을 위해, 전체 공간(또한 VR360이라 명명됨)은 θ1 = θ2, ψ1 = ψ2 + π(라디안)일 때 획득된다는 것에 유의해야 한다.
극성 좌표 정보를 제공하기 위해, 단계(503)에서, 새로운 정보(예를 들어, "vrcoordinates"라 명명되는, 예를 들어, 보충적 또는 필수적 특징)가 θ1, θ2, ψ1, 및 ψ2 정보를 포함할 수 있는 적응 세트들에 대한 목록 MPD에서(예를 들어, 프로세싱 유닛(300) 때문에) 도입될 수 있다. 예를 들어, 보충적 또는 필수적 특징들은 urn (urn:mpeg:dash:vrcoordinates:2016) 및 각들이 예를 들어 도로 표현되는 값 θ1, θ2, ψ1, 및 ψ2에 의해 식별될 수 있고, θ1은 차등 영역(700)의 좌측과 VR 원점(404) 사이의 각이고, θ2는 차등 영역(700)의 우측과 VR 원점(404) 사이의 각이고, ψ1은 차등 영역(700)의 최상부 측과 VR 원점(404) 사이의 각이고, ψ2은 차등 영역(700)의 최하부 측과 VR 원점(404) 사이의 각이다.
도 4에 도시된 바와 같이, 전체 공간적 오브젝트(O)와 연관된 주 적응 세트의 좌표 정보는 "-180, 180, 90, -90"이다.
구형 매핑 및 원통형 매핑 둘 모두를 위해, VR 좌표 보충적 정보는 크기로서 (그리드(400)와 연관된) 주 적응 세트에 대해서만 주어질 수 있고, (셀들(401, 402, 403)에 의해 표현되는) 모든 다른 적응 세트들의 위치는 모든 다른 적응 세트들에 대한 VR 좌표 정보를 계산하는데 사용될 수 있다. 그럼에도, 서버(S)는 단지 주 적응 세트에 대해서라기 보다는 모든 적응 세트들에 대한 VR 좌표 정보를 제공하도록 구성될 수 있다.
정육면체형 매핑을 위해, VR 좌표 정보는 대응하는 정육면체의 면과 연관되는 적응 세트들에 대해 존재해야 한다. 어떤 비디오도 정육면체의 면을 완전히 커버하지 못할 때(예를 들어, 면이 4개 비디오들에 의해 커버될 때), 정육면체의 전체 면과 연관된 빈 적응 세트가 생성되어 그 면에 대한 VR 좌표 정보를 반송해야 한다.
각 정보(극성 좌표들에서의 θ 및 ψ)를 차등 영역 각각에 제공함으로써, DASH 클라이언트 단말(C)은 사용자 고정(solid) 각 관점이 무엇이냐에 따라 어느 DASH 표현들이 검색될 필요가 있는지를 결정할 수 있다.
vrtype, vrcenter 및 vrcoordinates 보충적 정보들의 추가로 인해, 본 개시내용은 VR360 콘텐츠를 SRD 애플리케이션으로서 표현하도록 한다. 깊이 정보를 적응 세트들에 연관시킴으로써, VR360 콘텐츠의 앞에서 비디오들이 렌더링되도록 하고 따라서 3D 경험의 제1 레벨을 제공하는 것이 또한 가능해진다.
주 적응 세트가 전체 차등 영역(700)을 표현할 때, 차등 영역(700)(시각적 오브젝트들이 사용자 눈 사이에 배열됨(도 7 상의 구(701)의 중심(702)으로서 가정됨)과 배경(예를 들어, 구(701)의 내부 표면에 대응함) 뒤의 오브젝트를 렌더링하는 것이 가능할 수 없다. 시각적 오브젝트들(도면들에 미도시됨)의 깊이를 표현하기 위해, 오브젝트가 눈과 VR360 배경 비디오 사이에 얼마나 멀리 배열되는지를 나타내는 백분율 값이 사용될 수 있다. 예를 들어, 10%의 값은 배경에 매우 가깝게 위치되는 오브젝트를 표현할 수 있는 반면, 90%의 값은 눈(702)에 매우 가깝게 위치되는 오브젝트를 표현할 수 있다.
이러한 목적으로, 단계(504)에서, 새로운 정보(예를 들어, "vrdepth"라 명명되는 예를 들어, 보충적 또는 필수적 특징)이 목록 내에(예를 들어, 프로세싱 유닛(300) 때문에) 도입되고, 하나의 또는 몇몇 적응 세트들과 연관될 수 있다. 예를 들어, 보충적 또는 필수적 특징은 그 값이 오브젝트가 얼마나 가까운지에 대한 백분율을 표시하는 수(예를 들어, "10")인 urn (urn:mpeg:dash:vrdepth:2016)에 의해 식별될 수 있다.
VR360 배경의 적응 세트 일부에 대해, VR 깊이 값은 "0"일 수 있고, 표시될 필요가 없다는 것에 유의해야 한다. VR 깊이 정보의 넌-제로 값들만이 MPD에 의해 정의될 수 있다.
DASH 클라이언트 단말(C)이 VR 깊이 정보를 지원하지 않을 때 콘텐츠 저자가 개별 오브젝트들이 디스플레이되는 것을 원하지 않는 경우, 보충적 특징 메커니즘 보다는 필수적 특징 메커니즘이 사용될 수 있다는 것에 추가로 유의해야 한다.
VR 콘텐츠에 대한 클라이언트 단말(C)의 요청 시, 서버(S)는 방법(500)에 따라 목록을 구축할 수 있고, 상기 목록은 예를 들어, 보충적 정보인 "vrtype", "vrorigin", "vrcoordinates" 및 "vrdepth"를 포함한다. 일단 서버(S)에 의해 생성되면, 상기 목록은 네트워크(N)를 통해 요청 클라이언트 단말(C) 쪽으로 추가로 전송된다.
본 개시내용은 SRD를 지원하는 DASH 클라이언트 단말들이 목록 MPD 내에 추가되는 보충적 특징 정보로 인해 VR360 경험을 제공하도록 한다. 추가로, 호환가능한 DASH 클라이언트들은 또한 상이한 깊이들을 가지는 VR360 콘텐츠들을 또한 보여줄 수 있다. 실제로, 깊이 정보를 SRD 공간적 오브젝트들에 부착함으로써(DASH 표현들), 이는 배경 4π(또는 4π의 서브세트) 비디오 앞에서 3D 비디오들의 포지셔닝을 허용한다. 다시 말해, 이들은 "VR360" 또는 전방향성 비디오 경험을 가질 뿐만 아니라 그것의 더 양호한 3D 경험을 가지도록 한다.
MPEG-DASH SRD는 이후, 전체 공간의 4π입체각을 비디오들의 그리드들로 조직함으로써 전방향성 비디오를 기술하도록 사용될 수 있다(DASH 표현들). DASH 클라이언트는 따라서, 예를 들어, 사용자가 현재 보고 있는 전체 품질 표현을 검색하는 한편, 사용자의 시야에서 현재 벗어나 있지만, 사용자가 3D 공간에서 그의 시점을 갑자기 바꾸는 경우 매우 신속하게 사용자의 시야 내에 있게 될 수 있는 콘텐츠에 대한 더 낮은 품질 표현들을 검색할 것이다.
본 개시내용은, SRD에 더하여, 전체 4π 공간의, 전체 공간을 커버하는 적절히-포지셔닝된 부분적 입체각들의 그리드로의 상호운용가능한 분할을 구축하도록 하는, 추가적인 정보를 도입한다. 추가로, 전체 공간의 부분적 입체각만이 기술될 수 있다. 이 경우, 전체 SRD "그리드"는 부분적 입체각으로부터 보여지는 구의 일부분만을 기술한다.
리거시 클라이언트들과의 호환성을 보존하기 위해, 목록은 EssentialProperty를 포함하는 엘리먼트를 폐기한 이후 적어도 하나의 표현이 리거시 클라이언트에 의해 해석될 수 있도록 하는 방식으로 SupplementalProperty 및 EssentialProperty를 사용할 수 있다.
기재, 청구항들 및 도면들에 개시된 참고문헌들은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은, 적절한 경우, 하드웨어, 소프트웨어, 또는 둘의 조합으로 구현될 수 있다.
"일 실시예" 또는 "실시예"에 대한 본원의 참조는 실시예와 관련하여 기술되는 특정 특징들, 구조 또는 특성이 기술되는 방법 및 디바이스의 적어도 하나의 구현예에 포함될 수 있음을 의미한다. 명세서의 여러 곳에서의 구문 "일 실시예에서"의 출현들은 반드시 모두 동일한 실시예를 지칭하지도 않고, 별도의 또는 대안적인 실시예들이 다른 실시예들과는 반드시 상호 배타적이지도 않다.
청구항들에 나타나는 참조 번호들은 단지 예시에 의한 것이며 청구항들의 범위에 대한 제한적인 영향을 가지지 않는다.
개시내용의 특정 실시예들만이 본원에 기술되지만, 개시내용의 다른 수정들, 변형들 및 가능성들이 가능하다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 이러한 수정들, 변형들 및 가능성들은 따라서 개시내용의 범위 내에 드는 것으로 간주되며, 따라서, 본원에서 기술되고 그리고/예시된 바와 같은 개시내용의 일부를 형성한다.
도면들 내의 플로우차트들 및/또는 블록도들은 본 개시내용의 다양한 실시예들에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현예들의 구성, 동작 및 기능성을 예시한다. 이러한 견지에서, 플로우차트 또는 블록도들 내의 각각의 블록은 모듈, 세그먼트, 또는 코드의 일부분을 나타낼 수 있는데, 이는 특정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함한다. 일부 대안적인 구현예들에서, 블록 내에 주지되는 기능들이 도면들에 주지된 순서를 벗어나 발생할 수 있다는 것에 또한 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록들은 실제로, 연관되는 기능성에 따라, 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 때때로 역순으로 실행될 수 있거나, 또는 블록들은 대안적인 순서로 실행될 수 있다. 블록도들 및/또는 플로우차트 예시의 각각의 블록, 및 블록도들 및/또는 플로우차트 예시 내의 블록들의 조합들이 특정된 기능들 또는 작용들을 수행하는 특수 목적 하드웨어-기반 시스템들, 또는 특수 목적 하드웨어 및 컴퓨터 명령들의 조합들에 의해 구현될 수 있다는 것에 또한 유의할 것이다. 명시적으로 기술되지 않았지만, 본 실시예들은 임의의 조합 또는 세부 조합으로 사용될 수 있다.

Claims (11)

  1. 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비(S)에 의해 제공될 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말(T)에 의해 제공될 목록(manifest)을 설정하기 위한 방법으로서,
    각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 상기 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 상기 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 상기 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하며, 상기 방법은:
    - 상기 목록에서, 상기 전체 공간적 오브젝트(O)에 대한 상기 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점(404)을 정의하는 단계; 및
    - 깊이 정보를 각각의 적응 세트와 연관시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 매핑의 타입은 후속하는 매핑들의 그룹:
    - 구형 매핑;
    - 원통형 매핑;
    - 정육면체형 매핑;
    - 피라미드형 매핑
    에 속하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 기준점(404)은 상기 기준 적응 세트와 연관된 공간적 오브젝트(401)의 중심에 대응하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 목록 내에 특정된 하나의 또는 몇몇의 적응 세트들과 연관된 좌표들(θ1, θ2, ψ1, ψ2)을 정의하는 단계를 추가로 포함하는 방법.
  5. 하나의 네트워크 장비(S)로부터, 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비(S)에 의해 제공되는 멀티미디어 콘텐츠를 수신하도록 구성되는 클라이언트 단말(T)로 전송되도록 의도되는 목록으로서,
    각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 상기 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 상기 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 상기 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하며,
    상기 목록은 상기 전체의 공간적 오브젝트(O)에 대한 상기 멀티미디어 콘텐츠의 매핑의 타입, 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점(404) 및 각각의 적응 세트와 연관된 깊이 정보를 포함하는 목록.
  6. 제5항에 있어서,
    상기 기준점은 상기 기준 적응 세트와 연관된 공간적 오브젝트(401)의 중심에 대응하는 목록.
  7. 제5항 또는 제6항에 있어서,
    상기 목록 내에 특정된 하나의 또는 몇몇의 적응 세트들과 연관된 좌표들(θ1, θ2, ψ1, ψ2)을 포함하는 목록.
  8. 네트워크 장비로부터 세그먼트들로 분할되는 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말(T)에 제공될 목록을 설정하기 위한 네트워크 장비로서,
    각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 상기 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 상기 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 상기 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하며, 상기 네트워크 장비는:
    - 상기 목록에서, 상기 전체 공간적 오브젝트(O)에 대한 상기 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점(404)을 정의하고; 그리고
    - 깊이 정보를 각각의 적응 세트와 연관시키도록 구성되는 적어도 하나의 프로세싱 회로(300) 및 적어도 하나의 메모리(301)를 포함하는 네트워크 장비.
  9. 제8항에 있어서,
    상기 하나의 프로세싱 회로(300)는 상기 목록 내에 특정된 하나의 또는 몇몇의 적응 세트들과 연관된 좌표들(θ1, θ2, ψ1, ψ2)을 정의하도록 추가로 구성되는 네트워크 장비.
  10. 세그먼트들로 분할되고 적어도 하나의 원격 네트워크 장비(S)에 의해 제공될 멀티미디어 콘텐츠를 수신하도록 구성되는 요청 단말(T)에 의해 목록을 수신하기 위한 방법으로서,
    각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 목록은 상기 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하고, 각각의 적응 세트는 상기 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 상기 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하며,
    상기 목록은 상기 전체 공간적 오브젝트(O)에 대한 상기 멀티미디어 콘텐츠의 매핑의 타입, 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점(404)을 추가로 정의하고; 그리고
    깊이 정보를 각각의 적응 세트와 연관시키는 방법.
  11. 세그먼트들로 분할되며 적어도 하나의 원격 네트워크 장비(S)에 의해 제공되는 멀티미디어를 수신하도록 구성되는 클라이언트 단말로서,
    각각의 세그먼트는 하나 이상의 표현들에서 이용가능하고, 상기 클라이언트 단말(T)은 상기 멀티미디어 콘텐츠에 대한 이용가능한 표현들을 열거하고 복수의 적응 세트들을 특정하는 목록을 수신하도록 추가로 구성되고, 각각의 적응 세트는 상기 멀티미디어 콘텐츠의 공간적 오브젝트를 정의하고, 상기 적응 세트들의 공간적 오브젝트들은 전체 공간적 오브젝트를 정의하고,
    상기 목록은 상기 전체 공간적 오브젝트(O)에 대한 멀티미디어 콘텐츠의 매핑의 타입 및 상기 적응 세트들 중 하나의 기준 적응 세트 내의 기준점(404)을 추가로 정의하고; 그리고 깊이 정보를 각각의 적응 세트와 연관시키는 클라이언트 단말.
KR1020170063596A 2016-05-25 2017-05-23 목록을 설정하기 위한 방법 및 네트워크 장비 KR102401666B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305604.7 2016-05-25
EP16305604.7A EP3249929A1 (en) 2016-05-25 2016-05-25 Method and network equipment for establishing a manifest

Publications (2)

Publication Number Publication Date
KR20170133274A true KR20170133274A (ko) 2017-12-05
KR102401666B1 KR102401666B1 (ko) 2022-05-25

Family

ID=56101408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063596A KR102401666B1 (ko) 2016-05-25 2017-05-23 목록을 설정하기 위한 방법 및 네트워크 장비

Country Status (5)

Country Link
US (1) US11363086B2 (ko)
EP (2) EP3249929A1 (ko)
JP (1) JP7041472B2 (ko)
KR (1) KR102401666B1 (ko)
CN (1) CN107438203B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
JP7085816B2 (ja) * 2017-09-26 2022-06-17 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム
KR20220123693A (ko) * 2020-01-08 2022-09-08 지티이 코포레이션 포인트 클라우드 데이터 프로세싱

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012206A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0911016B1 (pt) * 2008-07-24 2021-01-05 Koninklijke Philips N.V. método de provisão de um sinal de imagem tridimensional, sistema de provisão de sinal de imagem tridimensional, sinal que contém uma imagem tridimensional, mídia de armazenamento, método de renderização de uma imagem tridimensional, sistema de renderização de imagem tridimensional para renderizar uma imagem tridimensional
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
WO2010075726A1 (zh) 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
CN101771830B (zh) 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP5406942B2 (ja) * 2009-01-29 2014-02-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置
RU2538335C2 (ru) * 2009-02-17 2015-01-10 Конинклейке Филипс Электроникс Н.В. Объединение данных 3d изображения и графических данных
US8907968B2 (en) * 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
JP6073307B2 (ja) * 2011-06-22 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ディスプレイ用信号の生成方法及び装置
CN102256154A (zh) 2011-07-28 2011-11-23 中国科学院自动化研究所 实现三维全景视频的定位与播放的方法及系统
CN109905728A (zh) * 2012-01-19 2019-06-18 Vid拓展公司 使用移动设备接收多媒体内容的方法及该移动设备
CN102685532B (zh) 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
FR2998126B1 (fr) 2012-11-15 2014-12-26 Giroptic Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
US9270721B2 (en) * 2013-10-08 2016-02-23 Qualcomm Incorporated Switching between adaptation sets during media streaming
EP3062522A4 (en) * 2013-10-22 2017-07-05 Sharp Kabushiki Kaisha Display control device, delivery device, display control method, and display control system
KR101710003B1 (ko) * 2014-01-07 2017-02-24 한국전자통신연구원 실시간 동적 비평면 프로젝션 장치 및 방법
JP6508206B2 (ja) 2014-07-01 2019-05-08 ソニー株式会社 情報処理装置および方法
US10451875B2 (en) * 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
CN104519340B (zh) 2014-12-30 2016-08-17 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
US9661355B2 (en) * 2015-01-08 2017-05-23 Kiswe Mobile Inc. Virtual immersion via streamed content adaptation
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012206A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MING JING LI ET AL: "Multiple-views of regions of interest", 106. MPEG MEETING* *

Also Published As

Publication number Publication date
EP3249931A1 (en) 2017-11-29
US20170346866A1 (en) 2017-11-30
KR102401666B1 (ko) 2022-05-25
CN107438203B (zh) 2021-11-23
EP3249931B1 (en) 2023-11-08
CN107438203A (zh) 2017-12-05
JP7041472B2 (ja) 2022-03-24
EP3249929A1 (en) 2017-11-29
US11363086B2 (en) 2022-06-14
JP2018014710A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
CN109155874B (zh) 虚拟现实媒体内容的自适应流传输的方法、装置和计算机程序
US10897646B2 (en) Video stream transmission method and related device and system
CN108271044B (zh) 一种信息的处理方法及装置
US11539983B2 (en) Virtual reality video transmission method, client device and server
EP3782368A1 (en) Processing video patches for three-dimensional content
KR102401666B1 (ko) 목록을 설정하기 위한 방법 및 네트워크 장비
US20190230388A1 (en) Method and apparatus for processing video data
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
CN110876051A (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
WO2021190221A1 (zh) 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
US20240119660A1 (en) Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs
CN110351492B (zh) 一种视频数据处理方法、装置及介质
US11910054B2 (en) Method and apparatus for decoding a 3D video
WO2018072488A1 (zh) 一种数据处理方法、相关设备及系统
US20220256132A1 (en) Devices and methods for generating and rendering immersive video
JP2020516133A (ja) 仮想現実アプリケーションに対して最も関心のある領域に関連付けられた情報をシグナリングするためのシステム及び方法
CN108271084B (zh) 一种信息的处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right