KR20150048216A - 비디오 방향 좌표(cvo)를 갖는 스트리밍 - Google Patents

비디오 방향 좌표(cvo)를 갖는 스트리밍 Download PDF

Info

Publication number
KR20150048216A
KR20150048216A KR1020157007822A KR20157007822A KR20150048216A KR 20150048216 A KR20150048216 A KR 20150048216A KR 1020157007822 A KR1020157007822 A KR 1020157007822A KR 20157007822 A KR20157007822 A KR 20157007822A KR 20150048216 A KR20150048216 A KR 20150048216A
Authority
KR
South Korea
Prior art keywords
cvo
file
client
attribute
content
Prior art date
Application number
KR1020157007822A
Other languages
English (en)
Other versions
KR101703268B1 (ko
Inventor
오즈거 오이만
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150048216A publication Critical patent/KR20150048216A/ko
Application granted granted Critical
Publication of KR101703268B1 publication Critical patent/KR101703268B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

비디오 방향 좌표(CVO)를 제공하는 기술이 개시된다. 예시에서, 서버는, 클라이언트에 대한 디바이스 기능을 수신하고, 디바이스 기능에서의 CVO 속성의 포함에 기초하여 클라이언트에 대한 스트리밍된 콘텐츠를 수정하도록 구성되는 컴퓨터 회로를 포함할 수 있다.

Description

비디오 방향 좌표(CVO)를 갖는 스트리밍{STREAMING WITH COORDINATION OF VIDEO ORIENTATION (CVO)}
본 발명은 대리인 사건번호 P50328Z의 2012년 10월 26일 출원된 미국 가출원 번호 61/719,241의 우선권을 주장하고 이로써 참조로서 포함한다. 본 발명은 대리인 사건번호 P53504Z의 2013년 1월 17일 출원된 미국 가출원 번호 61/753,914의 우선권을 주장하고 이로써 참조로서 포함한다. 본 발명은 대리인 사건번호 P57460Z의 2013년 5월 28일 출원된 미국 가출원 번호 61/841,230의 우선권을 주장하고 이로써 참조로서 포함한다.
무선 이동 통신 기술은 노드(예를 들어, 전송 스테이션)와 무선 디바이스(예를들어, 모바일 디바이스) 사이에서 데이터를 전송하기 위해 다양한 표준 및 프로토콜을 사용한다. 일부 무선 디바이스는 다운링크(DL) 전송에서 직교 주파수 분할 다중 액세스(OFDMA) 및 업링크(UL) 전송에서 단일 캐리어 주파수 분할 다중 액세스(SC-FDMA)를 사용하여 통신한다. 신호 전송을 위한 직교 주파수 분할 멀티플렉싱(OFDM)을 사용하는 표준 및 프로토콜은 3GPP(third generation partnership project) 롱 텀 에볼루션(LTE), 산업 그룹에 일반적으로 WiMAX(Worldwide interoperability for Microwave Access)로서 알려져 있는 IEEE(Institute of Electrical and Electronics Engineer) 802.16 표준(예를 들어, 802.16e, 802.16m), 및 산업 그룹에 일반적으로 WiFi로서 알려져 있는 IEEE 802.11 표준을 포함한다.
3GPP 무선 액세스 네트워크(RAN) LTE 시스템에서, 노드는 E-UTRAN(Evolved Universal Terrestrial Radio Access Network) 노드 B(또한 일반적으로 진화된 노드 B, 향상된 노드 B, eNodeB, eNB로서 나타냄), 및 사용자 장비(UE)로서 알려진 무선 디바이스와 통신하는 무선 네트워크 제어기(RCN)의 조합이 될 수 있다. 다운링크(DL) 전송은 노드(예를 들어, eNodeB)로부터 무선 디바이스(예를 들어, UE)로의 통신이 될 수 있고, 업링크(UL) 전송은 무선 디바이스로부터 노드로의 통신이 될 수 있다.
무선 디바이스는 하이퍼텍스트 전달 프로토콜(HTTP) 스트리밍과 같은, 다양한 프로토콜을 사용하여 인터넷 비디오의 멀티미디어 전달을 수신하는데 사용될 수 있다. 비디오 스트리밍의 HTTP 기반 전달을 제공하는 프로토콜은 HTTP를 통한 동적 적응형 스트리밍(DASH)을 포함할 수 있다.
본 개시의 특징 및 장점은 본 개시의 특징을 예시의 방식으로 함께 도시하는 첨부 도면과 함께 취해진 후속하는 상세한 설명으로부터 명백해질 것이다.
도 1은 예시에 따른 패킷 스위치 스트리밍 서비스(PSS) 기능 교환에서 기능적인 컴포넌트의 도면을 도시한다.
도 2는 예시에 따른 비디오 방향 좌표(CVO)를 갖는 하이퍼텍스트 전달 프로토콜(HTTP)을 통한 예시의 동적 적응형 스트리밍 기반(DASH-based) 스트리밍을 도시한다.
도 3은 예시에 따른 비디오 방향 좌표(CVO)를 갖는 예시의 실시간 스트리밍 프로토콜 기반(RTSP-based) 스트리밍을 도시한다.
도 4는 예시에 따른 국제 표준화 기구 기반(ISO-기반) 미디어 파일 포맷(ISO-BMFF)의 인스턴스 생성(instantiation)을 사용하여 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 비디오 방향 좌표(CVO) 정보를 임베딩하는 것의 예시를 도시한다.
도 5는 예시에 따른 국제 표준화 기구(ISO) 파일 포맷 박스 구조 계층을 도시한다.
도 6은 예시에 따른 임베딩된 비디오 방향 좌표(CVO) 정보를 갖는 콘텐츠의 수신에 기초한 디바이스 방향 인식 멀티미디어 적응을 사용하는 예시의 서버-클라이언트 인터랙션을 도시한다.
도 7(즉, 표 3)은 예시에 따른 공통 그룹 및 표현 및 속성 및 요소의 확장가능한 마크업 언어 신택스(XML-syntax)의 테이블을 도시한다.
도 8은 예시에 따른 미디어 제시 디스크립션(MPD) 메타데이터 파일 구성의 블록도를 도시한다.
도 9는 예시에 따른 서버에서의 모바일 단말기(MT)의 비디오 방향 좌표(CVO) 기능을 시그널링하기 위한 방법의 흐름도를 도시한다.
도 10은 예시에 따른 비디오 방향 좌표(CVO)를 갖는 스트리밍을 제공하도록 동작가능한 서버의 컴퓨터 회로의 기능을 도시한다.
도 11은 예시에 따른 서버, 노드, 및 사용자 장비(UE)의 다이어그램을 도시한다.
도 12는 예시에 따른 무선 디바이스(예를 들어, UE)의 다이어그램을 도시한다.
이제 도시된 예시적인 실시예에 대한 참조가 이루어질 것이고, 특정 용어가 동일한 것을 설명하도록 본원에서 사용될 것이다. 그럼에도 불구하고 이로써 본 발명의 범위의 제한이 의도되지않는다는 것이 이해될 것이다.
본 발명이 개시되고 설명되기 이전에, 본 발명은 본원에 개시된 특정 구조, 프로세스 단계 또는 재료에 제한되는 것이 아니지만, 당업자에 의해 인식되는 바와 같은 이들과 동등한 것까지 확장됨이 이해될 것이다. 본원에서 사용된 전문 용어는 특정 예시를 설명하는 목적으로만 사용되고 제한하는 것으로 의도되지 않음을 이해해야한다. 상이한 도면에서 동일한 참조 부호는 동일한 요소를 나타낸다. 흐름도 및 프로세스에서 제공된 숫자는 단계 및 동작을 도시하는 것에서 명료성을 위해 제공되고 특정 순서 또는 시퀀스를 반드시 나타내는 것은 아니다.
기술 실시예의 첫 개요가 이하에서 제공되고 그 다음 특정 기술 실시예가 이후에 더 자세하게 설명된다. 이 첫 요약은 기술을 독자가 기술을 더 신속하게 이해하는 것을 돕는 것으로 의도되지만 기술의 주요 특징 또는 필수적인 특징을 식별하거나 청구된 청구 대상의 범위를 제한하는 것으로 의도되지는 않는다.
스트리밍 및 대화형 서비스를 포함하는 멀티미디어 서비스의 성장은 새로운 모바일 광대역 기술 및 표준으로의 진화를 이끄는 것 중 하나이다. 미디어 압축 및 무선 네트워크 인프라스트럭쳐에서의 발전과 연결된 멀티미디어 서비스에 대한 높은 소비자 수요에 의해, 셀룰러 및 모바일 브로드밴드 시스템의 멀티미디어 서비스 기능을 향상시키는 것이 바람직하고, 멀티미디어 서비스 기능은 소비자에게 고품질의 경험(QoE)을 전달하는데 사용될 수 있어서, 어느 디바이스 및 기술을 사용하여 언제든 어느 위치로부터 비디오 콘텐츠 및 서비스로의 유비쿼터스 액세스를 보장한다. 다양한 모바일 디바이스를 지원하고 미디어 취급 프로시져 및 다양한 디바이스 클래스 및 기능에 대해 최적화된 세션 관리 프로토콜을 제공하는 것은 유비쿼터스 방식으로 높은 QoE를 갖는 멀티미디어 콘텐츠의 전달을 가능하게 하는데 사용될 수있다.
실시간 비디오 통신에서 사용되는 모바일 디바이스에서의 방향 센서의 도입에 의해, 디스플레이 콘텐츠는 디바이스 방향으로 정렬되도록 회전될 수 있다. 예시에서, 방향 센서는 중력장을 측정함으로써 디바이스 방향을 검출할 수 있다. 다른 타입의 방향 센서가 또한 사용될 수 있다. 디바이스 방향은 또한 방향에 따라 디바이스 기능을 조정하기 위한 적용예에서 사용될 수 있다. 예를 들어, 디바이스는 디바이스 방향에 기초하여 초상화 또는 풍경화 모드 중 하나로 사용자 인터페이스 또는 비디오 방향을 회전시킬 수 있다.
일부 클라이언트 디바이스가 방향 센서를 포함하기 때문에, 최적화된 경험을 제공하기 위해 콘텐츠 또는 서비스 제공자가 상이한 디바이스 방향에 대해 최적화된 상이한 인코딩된 버전의 콘텐츠를 제공할 수 있거나 콘텐츠/서비스 제공자가 콘텐츠 캡쳐 동안 콘텐츠를 캡쳐하거나 트랜스코딩할 수 있다(예를 들어, 온 더 플라이(on-the-fly)). 사용자 장비(UE)로부터 방향 센서 기능의 네트워크로의 시그널링 및/또는 현재 디바이스 방향은 고품질 클라이언트 경험을 제공하기 위해 네트워크 측 상의 콘텐츠를 적응시키는 기회를 제공할 수 있다. 디바이스 및/또는 비디오 방향 적응에 기초한 멀티미디어 적응은 2차원(2D) 및 3차원(3D) 비디오 애플리케이션 모두에 적용할 수 있다. 2D 비디오 예시에 대해, 초상화 또는 풍경화 비디오 뷰 및/또는 상이한 뷰잉 각도가 디바이스 방향에 기초하여 적응될 수 있다. 3D 비디오 예시에 대해, 상이한 뷰잉 각도 및 깊이 정보가 디바이스 방향에 기초하여 적응될 수 있다.
기능 교환 시그널링은 3GPP(third generation partnership project) 패킷 스위치 스트리밍 서비스(PSS)(3GPP 기술 사양(TS) 26.234V11.1.0(2012-09)에서 설명됨), HTTP를 통한 동적 적응형 스트리밍(DASH)(3GPP 기술 사양(TS) 26.247V11.0.0(2012-09))에서 설명됨), 및 집적 멀티미디어 서브시스템(IMS) 기반 PSS 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(3GPP 기술 사양(TS) 26.237V11.0.0(2012-06)에서 설명된 바와 같이 IMS_PSS_MBMS으로서 축약됨)에서 중요한 기능이 될 수 있다. 기능 교환은 PSS, DASH, 및 IMS_PSS_MBMS 서버가 광범위한 디바이스에게 당해 특정 디바이스에 대해 적합한 콘텐츠를 제공하는 것을 가능하게 한다. 스트리밍을 위한 서버측 콘텐츠 협상을 용이하게 하기 위해, PSS 또는 IMS_PSS_MBMS 서버는 디바이스 기능 디스크립션을 통해 모바일 단말기(MT)의 특정 기능의 디스크립션에 액세스할 수 있다. 디바이스 기능 디스크립션은 다수의 속성을 포함한다. DASH에 대해, 디바이스 기능 시그널링의 속성은 다음의 파라미터를 포함할 수 있다: 사전 디코더 버퍼 크기, 초기 버퍼링 기간, 디코더 기능, 디스플레이 특성(예를 들어, 스크린 크기, 해상도 또는 비트 깊이), 스트리밍 방법(예를 들어, 실시간 스트리밍 프로토콜(RTSP) 또는 HTTP) 적응 지원, QoE 지원, 확장 실시간 전달 프로토콜(RTP) 제어 프로토콜(RTCP) 리포팅 지원, 및 고속 콘텐츠 스위칭 지원 뿐만 아니라 지원되는 RTP 프로파일 및 세션 디스크립션 프로토콜(SDP) 속성.
스트리밍 세션의 설정 동안, 서버는 모바일 단말기에 정확한 타입의 멀티미디어 콘텐츠를 제공하기 위해 디스크립션을 사용할 수 있다. 서버는 모바일 단말기의 기능에 관한 정보를 사용하여 어떤 스트림이 접속 단말기에 프로비져닝하는지 판정할 수 있다. 예를 들어, 서버는 스트림의 다수의 사용가능한 변형에 대한 모바일 단말기 상의 필요조건을 접속 단말기의 실제 기능과 비교하여 특정 모바일 단말기에 대해 가장 적합한 스트림을 판정할 수 있다. 기능 교환은 또한 PSS 또는 IMS_PSS_MBMS 세션에 대한 클라이언트 단말기(예를 들어, 모바일 단말기)로의 최적화된 세션 디스크립션 프로토콜(SDP) 파일 또는 DASH 세션에 대해 클라이언트 단말기로의 최적화된 미디어 제시 디스크립션(MPD) 메타데이터 파일 전달을 가능하게 한다.
도 1은 어떻게 기능 교환이 PSS 서비스에 대해 수행될 수 있는지에 관한 가능한 예시를 도시한다. 가장 단순한 도시로, 모바일 단말기(110)(또는 클라이언트 디바이스 또는 클라이언트 단말기)은 PSS 서버(130)에게 MT의 신원에 관한 정보를 통지하여서 PSS 서버가 모바일 단말기에 대한 디바이스 기능 프로파일(122)을 저장할 수 있는 디바이스 프로파일 서버(120)로부터 디바이스 기능 프로파일을 검색할 수 있다. MT는 HTTP 및/또는 RTSP 요청을 PSS 서버(170)로 송신할 수 있다. HTTP 및/또는 RTSP 요청은 URL(uniform resource locator) 디스크립터(URLdesc) 및/또는 프로파일 차(profileDiff) 헤더를 포함할 수 있다. PSS 서버는 MT(160)에 대한 디바이스 기능 프로파일에 대한 디바이스 프로파일 서버로 HTTP 요청을 송신할 수 있다. 디바이스 프로파일 서버는 MT(162)에 대한 디바이스 기능 프로파일을 갖는 PSS 서버로 HTTP 응답을 송신할 수 있다. PSS 서버는 디바이스 기능 프로파일(132)을 매칭 또는 복사할 수 있다. PSS 서버는 MT에 대한 디바이스 기능 프로파일에 기초하여 HTTP 및/또는 RTSP 답신(172) 및 멀티미디어 콘텐츠(174)를 MT로 송신할 수 있다. 예시에서, 단말기 제조사 또는 소프트웨어 판매자는 제조사 또는 판매자의 제품에 대한 디바이스 기능 프로파일 제공하기 위해 디바이스 프로파일 서버를 보유할 수 있다. 다른 예시에서, 운영자는 운영자의 가입자를 위해 디바이스 프로파일 서버를 관리할 수 있어서, 가입자가 가입자 프로파일에 대한 특정 업데이트를 가능하게 할 수 있다. 디바이스 프로파일 서버는 요청에 대해 PSS 서버로 디바이스 기능 프로파일 제공할 수 있다.
본원에서 설명된 것과 같은 기술(예를 들어, 서버, 클라이언트 디바이스 또는 단말기, 모바일 단말기, 방법, 컴퓨터 회로, 및 시스템)은 모바일 단말기 또는 클라이언트 디바이스의 비디오 방향 좌표(CVO) 기능을 제공할 수 있다. 상이한 스트리밍 패러다임(예를 들어, PSS, DASH, 및 IMS_PSS_MBMS)은 상이한 멀티미디어 적응 방법 및 프로세스를 사용할 수 있고, 이하에서 더 자세하게 설명된다.
서비스는 풀(pull) 기반 스트리밍 프로세스 또는 푸쉬(push) 기반 스트리밍 프로세스를 사용할 수 있다. DASH는 풀 기반 스트리밍의 예시를 제공한다. DASH 세션에 대해, 도 2에서 도시된 바와 같이, HTTP 서버(230)는 상이한 CVO에 대해 최적화된 콘텐츠를 DASH 클라이언트(220)에 제공한다. HTTP 서버는 다양한 지원되는 CVO 상태(240)를 설명하는 DASH 클라이언트로부터의 디바이스 기능 교환 시그널링을 사용할 수 있다. CVO 및 대응하는 콘텐츠 정보의 세트는 상이한 CVO에 대한 상이한 인코딩된 콘텐츠를 갖는 미디어 제시 디스크립션(MPD) 메타데이터 파일(242)로 DASH 클라이언트로 시그널링될 수 있고, 이의 서버 클라이언트 인터랙션이 도 2에서 도시된다. DASH 클라이언트 재생기는 또한 현재 CVO를 추적하고 현재 CVO에 대해 최적화된 대응하는 버전의 콘텐츠를 요청할 수 있다.
실시간 스트리밍 프로토콜(RTSP)에 기초한 PSS 서비스 및 세션 개시 프로토콜(SIP)에 기초한 IMS_PSS_MBMS 서비스는 푸쉬 기반 스트리밍의 예시를 제공한다. PSS 또는 IMS_PSS_MBMS 서비스에 대해, 도 3에서 도시된 바와 같이, 서버(232)는 클라이언트(222)로부터 CVO 정보(244)를 수신하고 CVO에 기초하여 콘텐츠를 적응시킬 수 있다. 예를 들어, 서버는 저장된 콘텐츠 버전 가운데 가장 적합한 콘텐츠 버전을 선택하거나 CVO에 기초하여 콘텐츠를 동적으로 트랜스코딩하여 콘텐츠를 클라이언트(246)로 스트리밍할 수 있고, 이의 서버-클라이언트 인터랙션이 도 3에 도시된다. 세션 디스크립션 프로토콜(SDP)에서 반송되는 세션 관련 메타데이터는 스트리밍된 콘텐츠에 대한 CVO를 반송할 수 있다.
추가 속성이 PSS 언어 디바이스 기능 교환 시그널링에 추가될 수 있다. 예를 들어, 속성 "StreamingCVOCapable", "StreamingHighGranularityCVOCapable", "ThreeGPCVOCapable" 및 "ThreeGPHighGranularityCVOCapable"(또는 유사한 기능을 갖는 속성)는 3GPP PSS 유니캐스트 스트리밍 사양을 설명하는 TS 26.234 및 3GPP 파일 포맷 사양을 설명하는 TS 26.244 V11.1.0(2012-09)에서 PSS 기반 언어의 Streaming 및 ThreeGPFileFormat 컴포넌트에 포함되거나 추가될 수 있다. 속성은 이름, 정의, 연관된 컴포넌트, 타입, 적법 값(또는 유효 옵션), 및 해상도 규칙을 가질 수 있다. 이들 추가 속성의 가능한 신택스는 다음과 같다.
속성 이름 : StreamingCVOCapable
속성 정의 : 클라이언트가 RTP 스트림의 CVO 가능 수신기인지를 나타냄, 즉, 전달된 콘텐츠에 대한 비디오 방향 정보가 RTP 확장 헤더(urn:3gpp:video-orientation에 대응)로 클라이언트에게 전달된다면, 클라이언트는 비디오 방향을 하고 렌더링/디스플레이 목적을 위해 정확하게 비디오를 정렬할 수 있다. 이 속성이 리포팅되고 StreamingHighGranularityCVOCapable 속성이 "예"로서 리포팅되면, 이 속성의 값은 "예"가 될 수 있다.
컴포넌트 : Streaming
타입 : 리터럴
적법 값 : "예", "아니오"
해상도 규칙 : 잠금
속성 이름 : StreamingHighGranularityCVOCapable
속성 정의 : 클라이언트가 RTP 스트림의 상위 입도 CVO 가능 수신기인지를 나타냄, 즉, 전달된 콘텐츠에 대한 비디오 방향 정보가 RTP 확장 헤더(urn:3gpp:video-orientation:6에 대응)로 클라이언트에게 전달된다면, 클라이언트는 비디오 방향을 해석하고 렌더링/디스플레이 목적을 위해 정확하게 비디오를 정렬할 수 있다.
컴포넌트 : Streaming
타입 : 리터럴
적법 값 : "예", "아니오"
해상도 규칙 : 잠금
속성 이름 : ThreeGPCVOCapable
속성 정의 : 클라이언트가 3GP 파일의 CVO 가능 수신기인지를 나타냄, 즉, 전달된 콘텐츠의 비디오 방향 정보(urn:3gpp:video-orientation에 대응)가 3GP 파일로 클라이언트에게 전달된다면, 클라이언트는 비디오 방향을 해석하고 렌더링/디스플레이 목적을 위해 정확하게 비디오를 정렬할 수 있다. 이 속성이 리포팅되고 ThreeGPHighGranularityCVOCapable 속성이 "예"로서 리포팅되면, 이 속성의 값은 "예"가 될 수 있다.
컴포넌트 : ThreeGPFileFormat
타입 : 리터럴
적법 값 : "예", "아니오"
해상도 규칙 : 잠금
속성 이름 : ThreeGPHighGranularityCVOCapable
속성 정의 : 클라이언트가 3GP 파일의 상위 입도 CVO 가능 수신기인지를 나타냄, 즉, 전달된 콘텐츠의 비디오 방향 정보(urn:3gpp:video-orientation:6에 대응)가 3GP 파일로 클라이언트에게 전달된다면, 클라이언트는 비디오 방향을 해석하고 렌더링/디스플레이 목적을 위해 정확하게 비디오를 정렬할 수 있다.
컴포넌트 : ThreeGPFileFormat
타입 : 리터럴
적법 값 : "예", "아니오"
해상도 규칙 : 잠금
본원에서 설명된 기술은 또한 3GP 파일과 같은 캡쳐된 콘텐츠로 CVO 정보를 임베딩할 수 있다. 도 4에 도시된 바와 같이, 애플리케이션을 스트리밍 및 다운로딩하는 것의 부분으로서 서버에 의한 나중 사용을 위해 국제 표준화 기구(ISO) 기본 미디어 파일 포맷(BMFF)(310)의 인스턴스 생성(instantiation)으로 3GP 파일에 CVO 정보를 임베딩하는 것(3GPP 기술 사양(TS) 26.244V11.1.0(2012-09)에서 설명됨, 예를 들어, MPEG-4(moving picture experts group-4) 파일 포맷(312)의 mp4 파일(314))은 유리할 수 있다. 3GP 파일에서의 이러한 CVO 정보의 포함은 서버가 디바이스에 대한 콘텐츠 전달을 최적화하기 위한 방향 인식 멀티미디어 적응을 수행하는 것을 더 가능하게 할 수 있다(예를 들어, 방향 인식 디바이스로 송신하기 이전에 오정렬 문제를 회피하기 위해 비디오를 수정). 임베딩된 CVO 정보는 PSS 언어 및 디바이스 기능 시그널링 프레임워크에서 디바이스 방향 기능 속성에 제공될 수 있다. 콘텐츠 파일(예를 들어, mp4 파일(314))은 "moov" 박스(316)와 같은, 초기화 세그먼트 및 미디어 데이터(mdat(318))를 포함할 수 있다. moov 박스는 초기 객체 디스크립터(IOD)(320), BIFS(Binary Format for Scene) 트랙(322), 객체 디스크립터(OD) 트랙, 비디오 트랙(326), 및 오디오 트랙(328)을 포함할 수 있다. 임베딩된 CVO 정보(330)는 비디오 트랙에 포함될 수 있다. mdat는 인터리빙된, 시간 순서의, BIFS, OD 비디오, 및 오디오 액세스 유닛(AC)을 포함할 수 있다.
다른 예시에서, 서비스 사양은 방향 인식 스트리밍을 지원할 수 있다. 예를 들어, SDP 상에서 중계할 수 있는 RTP 스트리밍에 대해, 비디오 방향 좌표(CVO)는 PSS 사양으로 추가될 수 있다. PSS RTP 스트리밍 콘텍스트에서, 적절한 렌더링 및 디스플레잉을 위해 CVO는 이미지의 현재 방향을 CVO 가능 PSS 클라이언트로 시그널링하는 것을 포함할 수 있다. CVO 가능 PSS 서버는 SDP에서 CVO를 나타내고 CVO에 대해 포맷팅된 바이트(urn:3gpp:video-orientation에 대응) 및 상위 입도 CVO에 대해 포맷팅된 바이트(urn:3gpp:video-orientation:6에 대응)를 갖는 RTP 헤더 확장을 사용함으로써 CVO의 시그널링을 수행할 수 있다. RTP 헤더 확장은 3GPP 기술 사양(TS) 26.114V11.5.0(2012-09)에 의해 정의될 수 있다.
CVO 가능 PSS 클라이언트는 CVO 및 상위 입도 CVO에 대한 회전을 보상하도록 비디오를 회전시킬 수 있다. 회전 및 플립 모두에 대해 보상할 때, 작동은 LSB에서 MSB 순서로 수행될 수 있다(즉, 회전 보상 먼저 그리고 그 다음 플립 보상).
CVO 가능 PSS 서버는 키 프레임(예를 들어, H.264에서 인터프레임(I-frame) 또는 순시 디코딩 리프레시(instantaneous decoding refresh;IDR))을 구성하는 패킷의 각 그룹에서 마지막 RTP 패킷에 페이로드 바이트를 추가할 수 있다. 현재 값이 송신된 이전 값과 상이할 때 PSS 서버는 또한 다른 타입의 프레임(예를 들어, 예측프레임(P-frame)))을 구성하는 패킷의 각 그룹에서 마지막 RTP 패킷 상으로 페이로드 바이트를 추가할 수 있다.
인터프레임(I-frame)은 하나 이상의 이웃 프레임의 조건으로 표현될 수 있는 비디오 압축 스트림에서의 프레임이다. IDR 액세스 유닛은 인트라 픽쳐를 포함할 수 있다(즉, 네트워크 요약 레이어(Network Abstraction Layer;NAL) 유닛 스트림에서 임의의 이전 프레임을 디코딩하는 것 없이 디코딩될 수 있는 코딩된 픽쳐이고, IDR 액세스 유닛의 존재는 디코딩되기 위해 IDR 액세스 유닛이 포함하는 인트라 픽쳐 이전 픽쳐에 대한 참조를 사용할 스트림에서의 후속 픽쳐가 존재하지 않음을 나타낼 수 있다). H.264/MPEG-4(moving picture experts group-4) 파트 10 또는 AVC(advanced video coding)은 고해상도 비디오의 기록, 압축, 및 배포를 위해 사용될 수 있는 비디오 압축 포맷이다. P-frame은 전달 예측 픽쳐를 정의하기 위한 I-frame의 타입이 될 수 있다. 예측은 적은 데이터 코딩을 위해 앞선 픽쳐들, 주로 I-frame으로부터 만들어질 수 있다.
CVO RTP 헤더 확장이 오직 제시된 헤더 확장이라면, 총 8바이트가 RTP 헤더에 첨부될 수 있고, RTP 패킷의 시퀀스에서 마지막 패킷은 마커 비트 및 확장 비트 모두를 사용하여 마킹될 수 있다.
CVO 정보가 RTP 헤더 확장에서 시그널링된다면, PSS 서버는 관련 미디어 라인 범위 하에서 CVO URN(uniform resource name)을 나타내는 a=extmap 속성을 포함함으로써 SDP에서 CVO 정보를 시그널링할 수 있다. CVO URN은 urn:3gpp:video-orientation으로서 표현될 수 있다. 미디어 라인에 대해 상대적으로 CVO를 시그널링하는 URN의 예시의 사용은 다음과 같다. "a=extmap:7 urn:3gpp:video-orientation". CVO URN 예시에서 숫자 7은 범위 1 내지 14에서의 임의의 숫자로 교체될 수 있다.
상위 입도 CVO 정보가 RTP 헤더 확장에서 시그널링된다면, PSS 서버는 CVO URN과 유사한 방식으로 SDP에서 상위 입도 CVO 정보를 시그널링할 수 있고, 여기서 상위 입도 CVO URN은 urn:3gpp:video-orientation:6으로서 표현될 수 있다. 미디어 라인에 대해 상대적으로 CVO를 시그널링하는 URN의 예시의 사용은 다음과 같다. "a=extmap:5 urn:3gpp:video-orientation:6".
따라서, 예시에서, CVO 정보의 포함은 캡쳐된 이미지의 일련의 방향 값의 계속적인 기록으로서 3GP 파일 포맷 내에서 로깅(logged)될 수 있다. 박스는 타이밍된 CVO 정보에 대해 ISO 기본 미디어 파일 포맷(ISO-BMFF) 또는 3GPP 파일 포맷으로 정의될 수 있다. 예를 들어, 3GPP 파일 포맷(3GP)의 비디오 트랙 또는 RTP 힌트 트랙은 방향 정보를 임베딩하는데 사용될 수 있다. DASH 기반으로 포맷팅된 콘텐츠에 대해, 도 4에서 도시된 바와 같이, CVO 정보는 초기화 세그먼트에서(예를 들어, ISO-BMFF에 대한 "moov" 박스에서) 또는 미디어 세그먼트에서(예를 들어, ISO-BMFF에 대한 "moof" 박스에서)와 같은, 파일 레벨 ISO-BMFF 박스 내에서 반송될 수 있다. 다른 예시에서, ISO-BMFF의 타이밍된 메타데이터 트랙은 CVO 정보를 포함하는 트랙으로서 선택될 수 있다. 예를 들어, CVO 파라미터의 디스크립션을 갖는 CVOSampleEntry와 같이 새로운 박스가 CVO에 대해 특별하게 생성될 수 있다. 도 5에 도시된 바와 같이, ISO 파일 포맷 박스 구조 계층에서 샘플 디스크립션 박스(350) 내의 다른 박스는 또한 CVO 정보를 포함하도록 사용될 수 있다. ISO 파일 포맷 박스 구조 계층은 무비 박스(340), 트랙 박스(342), 미디어 박스(344), 미디어 정보 박스(346), 샘플 테이블 박스(348), 및 샘플 디스크립션 박스를 포함할 수 있고, 고차의 박스가 먼저 리스팅된다. 샘플 디스크립션 박스는 MP4VisualSampleEntry, AVCSampleEntry, HintSampleEntry, 또는 CVOSampleEntry와 같은 하나 이상의 엔트리를 가질 수 있다.
다른 예시에서, 비디오 방향(예를 들어, CVO) 정보는 3GP 파일 포맷에 포함될 수 있고, 이는 TS 26.244에 포함될 수 있다. CVO 데이터가 3GP 파일 포맷으로 저장될 때, 타이밍된 메타데이터 트랙은 CVOSampleEntry 박스와 함께 사용될 수 있다. CVOSampleEntry는 메타데이터 샘플 포맷이 단일 바이트의 CVO 데이터인 것을 타나낼 수 있다. CVO 데이터를 포함하는 각각의 메타데이터 트랙은 비디오 트랙(326)을 참조할 수 있고, 여기서 메타데이터 트랙은 ISO 기반 미디어 파일 포맷(ISO-BMFF)에서 정의되는 'cdsc'트랙 참조를 사용하여 비디오 트랙을 설명한다.
예시에서, 박스 타입의 CVOSampleEntryBox는 '3gvo'로 설정될 코덱 속성을 가질 수 있다. CVOSampleEntry 박스는 다음과 같이 정의될 수 있다.
CVOSampleEntry ::= BoxHeader
Reserved_6
Data-reference-index
Granularity
CVOSampleEntry 박스에 대한 필드는 표 1에 의해 정의될 수 있다. CVOSampleEntry 박스 필드는 필드 이름, 타입, 상세, 및 값을 포함할 수 있다.
필드 타입 상세 값
BoxHeader.Size 무부호 정수(32)
BoxHeader.Type 무부호 정수(32) '3gvo'
Reserved_6 무부호 정수(8) 0
Data-reference-index
 무부호 정수(16) 샘플 데이터를 검색하기 위해 사용하는 데이터 참조에 대한 인덱스. 데이터 참조는 데이터 참조 박스에 저장됨.
Granularlity 무부호 정수(8) CVO 회전에서 사용되는 입도 CVO에 대해 값 2를 취하고 고입도 CVO에 대해 값 6을 취함
설명된 기술은 방향성 비디오 컴포넌트(예를 들어, CVO 컴포넌트)를 사용하여 콘텐츠의 스트리밍 또는 다운로딩을 제공한다. 디바이스 방향 인식 멀티미디어 적응은 방향성 비디오 컴포넌트를 사용하여 이전에 캡쳐된 및 업로드된 콘텐츠의 스트리밍 또는 다운로딩을 제공한다. 예를 들어, PSS 다운로딩 또는 MBMS 다운로딩 적용예의 부분으로서, 서버는 이후 플레이백을 위해 비실시간 방식으로 클라이언트에게 방향성 비디오 컴포넌트를 사용하여 캡쳐된 콘텐츠를 푸쉬할 수 있다. 또는 DASH 기반 스트리밍 서비스의 부분으로서, HTTP 서버는 사용자 발생 콘텐츠(UGC)를 DASH 클라이언트에게 전달할 수 있고 방향성 비디오 컴포넌트를 포함할 수 있다. RTP 기반 스트리밍을 위해 UGC 콘텐츠가 PSS 서버로부터 전달될 수 있다. 이들 콘텍스트에서, 서버는 클라이언트 디바이스에 의해 지원되는 비디오 방향 기능에 대한 정보를 수신하고 단말기의 비디오 방향 기능에 기초하여 최적 전달 전략을 결정하고(예를 들어, 다양한 저장된 콘텐츠 버전 중 가장 적합한 콘텐츠 버전을 선택 및/또는 콘텐츠를 동적으로 트랜스코딩) 클라이언트에게 최적으로 선택된 콘텐츠를 전달할 수 있다.
예를 들어, 서버가 콘텐츠가 방향 인식 단말기에 의해 캡쳐되는지를 판정한다면(예를 들어, 3GP 기반 콘텐츠 파일의 검사를 통해), 수신 클라이언트 디바이스는 방향 인식이 아닌 반면(예를 들어, PSS 디바이스 기능 시그널링 매커니즘에 기초하는 것으로 알려짐), 서버는 콘텐츠가 이후 렌더링 및 디스플레이 동안 오정렬 문제를 수정하고 회피하도록 프로세싱(예를 들어, 트랜스코딩을 적용)할 수 있다. 수신 클라이언트 디바이스가 방향 인식이면, 서버는 오정렬을 수정할 필요가 없지만, 대신에 콘텐츠에 임베딩된 비디오 방향 정보를 따라 "있는 그대로(as is)"(즉, 수정 없이) 콘텐츠를 송신하도록 선택할 수 있어서(예를 들어, RTP 스트리밍에 대해 RTP 확장 헤더에서 또는 HTTP 스트리밍 및 DASH에 대해 3GP 파일 내부에서) 수신 클라이언트 디바이스가 오정렬을 수정할 수 있다.
도 6은 임베딩된 CVO 정보를 갖는 콘텐츠의 수신에 기초하여 방향 인식 미디어 전달을 구현하는 예시의 서버-클라이언트 인터랙션을 도시한다. 예를 들어, 캡쳐링 클라이언트(224)는 임베딩된 비디오 방향 정보(282)를 갖는 콘텐츠(예를 들어, 3GP 파일)를 서버(232)로 캡쳐 및 업로드하는 것에 의해 CVO 정보를 캡쳐할 수 있다. 다른 예시에서, 렌더링 클라이언트(226)는 CVO 기능 정보(280)를 갖는 디바이스 프로파일을 서버로 시그널링할 수 있다. 이전에 설명된 바와 같이, 서버는 잠재적인 오정렬을 수정하고 렌더링 클라이언트(284)의 CVO 기능과 관련한 콘텐츠 전달을 최적화하도록 방향 인식 콘텐츠 적응, 선택, 트랜스코딩 및/또는 포맷 변환을 수행한다. 서버는 또한 서비스(286) 스트리밍 또는 다운로딩의 부분으로서 렌더링 클라이언트에게 적응된 콘텐츠를 전달할 수 있다.
다른 예시에서, 도 6에 도시된 바와 같은 서버-클라이언트 인터랙션과 일관되어, DASH 서버는 클라이언트가 CVO 정보를 프로세싱하고 오정렬을 수정하기 위한 기능을 갖는다는 것을 클라이언트(예를 들어, 렌더링 클라이언트(226))로부터 습득할 수 있다. 서버는 또한 DASH 표현에서 CVO 정보의 존재에 대해 MPD에서 지정할 수 있다(즉, DASH 세그먼트가 저장된 콘텐츠이면, DASH 서버가 파싱에 의해 DASH 세그먼트에 대응하는 3GP 파일을 결정하고, 비디오 방향 정보가 메타데이터 트랙에서 나타나는지를 체크할 수 있기 이전에, DASH 서버가 CVO 정보의 존재를 검출할 수 있어야 한다). MPD의 수신시에 DASH 클라이언트는 비디오 방향 엔진을 또한 활성화시켜 DASH 세그먼트에서 시그널링된 CVO 정보를 프로세싱(즉, DASH 표현에 대응하는 3GP 파일의 파싱)할 수 있고 어떠한 오정렬도 수정할 수 있으며 정확한 정렬로 비디오를 렌더링/디스플레잉할 수 있다.
또한 도 6에 도시된 바와 같은 서버-클라이언트 인터랙션과 일관되어, DASH 서버는 클라이언트가 CVO 정보를 프로세싱하고 오정렬을 수정하는 기능을 갖지 않는다는 것을 클라이언트로부터 습득할 수 있다. MPD가 CVO 정보를 나타낼 수 있기 때문에 서버는 콘텐츠에서 CVO 정보의 존재를 검출할 수 있다. 응답으로, DASH 서버는 어떠한 오정렬도 수정하도록 MPD에서 제공되는 DASH 표현에 대응하는 3GP 파일을 프로세싱할 수 있고 이 프로세싱 이후에 DASH 클라이언트로 요청된 콘텐츠를 송신할 수 있다.
다른 구성에서, CVO 정보 지시는 TS 26.247에 기초한 DASH MPD에서 구현될 수 있다. 예를 들어, CVO 지시 속성(예를 들어, cvo_granularity)은 MPD에 포함될 수 있고, 여기서 MPD는 공통 속성 및 요소를 가질 수 있다. 요소 AdaptationSet, Representation 및 SubRepresentation은 CVO 지시 속성과 같은 할당된 공통 속성 및 요소를 가질 수 있다. CVO 지시 속성의 시맨틱은, 공통 적응 세트, 표현, 및 서브 표현 속성 및 요소를 도시하는, 표 2에서 도시되는 것이 될 수 있다. 각각의 요소 또는 속성은 요소 또는 속성 이름, 사용, 또는 설명을 가질 수 있다. 표 2의 '사용' 열은 표현을 위해 사용가능한 것으로서 'M'(필수적인)으로 마킹된 속성을 해석할 수 있다. 예를 들어, 속성 또는 요소는 Representation 요소로 표시될 수 있거나, 그렇지 않다면, 속성 또는 요소가 AdaptationSet 요소일 수 있다. 'O'(선택적인)으로 마킹된 속성은 Representation 요소 및 AdaptationSet 요소 모두가 부재할 수 있다.
요소 또는 속성 이름 사용 설명
공통 속성 및 요소
@cvo_granularity O 존재한다면, 이는 미디어 세그먼트에서의 CVO 정보의 존재를 나타내고, 속성 값은 비트에서의 입도를 나타낸다. 허용된 값은 URN urn:3gpp:video-orientation 및 urn:3gpp:video-orientation:6 각각에 대응하는 2 및 6이다. 미디어 세그먼트가 CVO 정보를 포함하지 않는다면 이 속성은 존재하지 않을 수 있다.
범례:
속성에 대해 : M=필수적인, O=선택적인
요소에 대해 : <minOccurs>..<maxOccurs>(N=언바운딩된)
요소는 볼드체이고, 속성은 볼드체가 아니며 @을 사용하여 진행된다.
CVO 지시 속성예 대한 확장가능한 마크업 언어 신택스(XML-syntax)(예를 들어, cvo_granularity)는 도 7에 도시된 표 3에서 도시되는 것이 될 수 있다.
이전에 논의된 바와 같이, DASH는 표준화된 HTTP 스트리밍 프로토콜이다. 도 8에서 도시된 바와 같이, DASH는 구조에 대한 정보를 제공하는 미디어 제시 디스크립션(MPD) 메타데이터 파일(402)에 대한 상이한 포맷 및 서버에 저장되는 미디어 콘텐츠 제시의 상이한 버전 뿐만 아니라 세그먼트 포맷을 특정할 수 있다. MPD 메타데이터 파일은 초기화에 대한 정보 및 미디어 플레이어에 대한 미디어 세그먼트(예를 들어, 미디어 플레이어는 컨테이너 포맷 및 미디어 타이밍 정보를 결정하도록 초기화 세그먼트를 검토할 수 있다)를 포함하여 다른 제시를 갖는 스위칭 및 동기화 표현에 대한 미디어 표현 타임라인으로 세그먼트를 맵핑하는 것을 보장한다. DASH 기술은 또한 MPEG(moving picture experts group), OIPF(open IP television(IPTV) forum) 및 HbbTV(hybrid broadcast broadband TV)와 같은, 다른 기구에 의해 표준화된다.
DASH 클라이언트는 일련의 HTTP 요청 응답 트랜잭션을 통해 세그먼트를 다운로딩함으로써 멀티미디어 콘텐츠를 수신할 수 있다. DASH는 모바일 디바이스 변화에 대해 사용가능한 대역폭과 같이 미디어 콘텐츠의 상이한 비트 레이트 제시 사이에서 동적으로 스위칭하는 기능을 제공할 수 있다. 따라서, DASH는 디스플레이 해상도, 이용된 CPU(central processing unit)의 타입, 사용가능한 메모리 리소스 등과 같은, 디바이스 기능 및 사용자 선호도, 무선 링크 조건 및 네트워크를 변화시키는 것에 대한 빠른 적응을 가능하게 할 수 있다. DASH의 동적 적응은 사용자에게 다른 스트리밍 프로토콜보다 더 짧은 스타트업 지연 및 더 적은 리버퍼링 이벤트로 더 양호한 QoE(quality of experience)를 제공할 수 있다.
DASH에서, 미디어 제시 디스크립션(MPD) 메타데이터(402)는 구조에 대한 정보 및 웹/미디어 서버에 저장되는 미디어 콘텐츠 제시의 상이한 버전을 제공할 수 있다. 도 8에서 도시된 예시에서, MPD 메타데이터는 사전결정된 길이, 예를 들어, 이 예시에서는 60초를 갖는 기간(404)으로 임시적으로 분할된다. 각각의 기간은 복수의 적응 세트(406)를 포함할 수 있다. 각각의 적응 세트는 다수의 인코딩된 대안을 갖는 하나 이상의 미디어 컴포넌트에 관한 정보를 제공할 수 있다. 예를 들어, 이 예시에서 적응 세트 0은 상이한 비트레이트, 모노, 스테레오, 서라운드 사운드, CVO 등과 같은, 다양한 상이하게 인코딩된 오디오 대안을 포함할 수 있다. 기간 IP 동안 멀티미디어 표현에 대한 상이한 품질 오디오를 제공하는 것 이외에, 적응 세트는 또한 상이한 언어로 오디오를 포함할 수 있다. 적응 세트에 제공되는 상이한 대안은 제시(408)로서 지칭된다.
도 8에서, 적응 세트 1은 5Mbps(mega-bits per second), 2Mbps, 500kbps(kilo-bits per second), 또는 트릭 모드와 같은 상이한 비트레이트로 비디오를 제공하는 것으로서 도시된다. 트릭 모드는 멀티미디어 스트리밍 파일에서의 위치에서 탐색, 빠른 포워딩, 되감기, 또는 다른 변경을 위해 사용될 수 있다. 또한, 비디오는 또한 2차원(2D) 또는 3차원(3D) 비디오, 또는 초상화 또는 풍경화 방향성 비디오(예를 들어, CVO)와 같은, 상이한 포맷으로 사용가능할 수 있다. 각각의 제시(408)는 세그먼트 정보(410)를 포함할 수 있다. 세그먼트 정보는 초기화 정보(412) 및 실제 미디어 세그먼트 데이터(414)를 포함할 수 있다. 이 예시에서, MPEG-4(MP4) 파일은 서버로부터 모바일 디바이스로 스트리밍된다. 이 예시에서는 MP4가 사용된 반면, 이전에 논의된 바와 같이, 광범위한 상이한 코덱이 사용될 수 있다.
적응 세트에서의 멀티미디어는 더 작은 세그먼트로 더 분할될 수 있다. 도 8의 예시에서, 적응 세트 1의 60초 비디오 세그먼트는 각각 15초의 4 개의 서브 세그먼트(414)로 더 분할된다. 이들 예시는 제한하는 것으로 의도되지 않는다. 적응 세트의 실제 길이 및 각각의 미디어 세그먼트 또는 서브 세그먼트는 미디어 타입, 시스템 필요조건, 잠재적 간섭 타입 등에 의존한다. 실제 미디어 세그먼트 또는 서브 세그먼트는 1초 내지 몇분 길이 보다 짧은 길이를 가질 수 있다.
도 9의 흐름도에서 도시된 바와 같이, 다른 예시는 서버에서 모바일 단말기(MT)의 비디오 방향 좌표(CVO) 기능을 시그널링하기 위한 방법(500)을 제공한다. 방법은 머신 또는 컴퓨터 회로 상의 명령어로서 실행될 수 있고, 여기서 명령어는 적어도 하나의 컴퓨터 판독가능 매체 또는 하나의 비일시적 머신 판독가능 저장 매체 상에 포함된다. 블록(510)에서와 같이, 방법은 서버에서 클라이언트에 대한 디바이스 기능을 수신하는 동작을 포함한다. 블록(520)에서와 같이, 방법의 다음 동작은 디바이스 기능이 CVO 속성을 포함할 때 식별하는 단계가 될 수 있다. 블록(530)에서와 같이, 방법은 CVO 속성의 포함에 기초하여 클라이언트에 대해 스트리밍된 콘텐츠를 적응시키는 단계를 더 포함할 수 있다.
예시에서, 스트리밍된 콘텐츠를 적응시키는 동작은, 클라이언트가 방향 인식 단말기가 아님을 나타내는 CVO 속성을 클라이언트에 대한 디바이스 기능이 포함하지 않을 때, 오정렬에 대해 HTTP(hypertext transfer protocol) 스트림, DASH(dynamic adaptive streaming over HTTP), 또는 RTP(real-time transport protocol) 스트림의 디스플레이 방향을 수정하는 것, 또는 클라이언트가 스트림의 디스플레이 방향을 수정하는 방향 인식 단말기임을 나타내는 CVO 속성을 클라이언트의 디바이스 기능이 포함할 때, 미디어 제시 디스크립션(MPD) 메타데이터 파일 또는 세션 디스크립션 프로토콜(SDP) 파일에 CVO 지시 속성을 임베딩하는 것을 더 포함할 수 있다.
다른 예시에서, 방법은 AdaptationSet, Representation,또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소에 제공되는 CVO 지시 속성을 갖는 스트리밍된 DASH (dynamic adaptive streaming over HTTP) 콘텐츠에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일을 클라이언트로 전달하는 단계를 더 포함할 수 있다. 코덱 속성은 스트림 DASH 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정될 수 있다. 방법은 CVO에 대한 2비트 입도를 나타내는 CVO URN(uniform resource name) "urn:3gpp:video-orientation" 또는 RTP 세션 헤더에 포함된 CVO 정보 상의 상위 입도 CVO에 대한 6비트 입도를 나타내는 "urn:3gpp:video-orientation:6"과 함께 a=extmap 속성을 통해 CVO 지시를 사용하여 실시간 전달 프로토콜(RTP) 스트림에 대한 세션 디스크립션 프로토콜(SDP) 파일을 클라이언트로 전달하는 단계를 더 포함할 수 있다.
다른 구성에서, 스트리밍된 콘텐츠를 적응시키는 동작은, 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에서 UGC(user generated content) 비디오에 대한 임베딩된 CVO 정보를 포함하는 UGC 비디오를 수신하는 것을 더 포함할 수 있다. 3GP 파일은 국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 사용할 수 있다. CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, BoxHeader 타입은 3gvo 값에 대해 구성될 수 있다. 또는, 3GP 파일은 미디어 제시 디스크립션(MPD)의 AdaptationSet, Representation, 또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소를 사용할 수 있다. 코덱 속성은 스트리밍된 DASH(dynamic adaptive streaming over HTTP) 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정될 수 있다.
다른 예시에서, 스트리밍된 콘텐츠를 적응시키는 동작은 국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 사용하여 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 CVO 데이터를 저장하는 것을 더 포함할 수 있다. CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, BoxHeader 타입은 3gvo 값에 대해 구성될 수 있다. 또는, 스트리밍된 콘텐츠를 적응시키는 동작은, RTP 확장 헤더에 실시간 전달 프로토콜(RTP) 스트림에 대한 CVO 데이터를 저장하는 것을 더 포함할 수 있다.
다른 구성에서, 클라이언트에 대한 디바이스 기능을 수신하는 동작은, 클라이언트에 대한 패킷 스위치 스트리밍 서비스(PSS) 클라이언트 기능을 교환하는 것을 더 포함할 수 있다. CVO 기능은, 클라이언트가 실시간 전달 프로토콜(RTP) 스트림의 CVO 가능 수신기인지 여부를 나타내는 StreamingCVOCapable 속성, 클라이언트가 RTP 스트림의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 StreamingHighGranularityCVOCapable 속성, 클라이언트가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일의 CVO 가능 수신기인지 여부를 나타내는 ThreeGPCVOCapable 속성, 또는 클라이언트가 3GP 파일의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 ThreeGPHighGranularityCVOCapable 속성을 포함할 수 있다.
도 10의 흐름도에서 도시된 바와 같이, 다른 예시는 CVO를 갖는 스트리밍을 제공하도록 동작가능한 서버의 컴퓨터 회로의 기능(600)의 다른 예시를 제공한다. 기능은 머신 상의 명령어로서 실행될 수 있는 방법 또는 기능으로서 구현될 수 있고, 명령어는 적어도 하나의 컴퓨터 판독가능 매체 또는 하나의 비일시적 머신 판독가능 저장 매체 상에 포함된다. 블록(610)에서와 같이, 컴퓨터 회로는 클라이언트에 대한 디바이스 기능을 수신하도록 구성될 수 있다. 블록(620)에서와 같이, 컴퓨터 회로는 디바이스 기능의 CVO 속성 포함에 기초하여 클라이언트에 대한 스트리밍된 콘텐츠를 수정하도록 더 구성될 수 있다.
예시에서, 컴퓨터 회로는 클라이언트가 방향 인식 단말기가 아님을 나타내는 CVO 속성을 클라이언트에 대한 디바이스 기능이 포함하지 않을 때 클라이언트로 전달 이전에, 오정렬에 대해 스트리밍된 DASH(dynamic adaptive streaming over HTTP) 콘텐츠, 또는 RTP(real-time transport protocol) 스트림의 렌더링 방향을 수정하도록 더 구성될 수 있다.
다른 예시에서, 스트리밍된 콘텐츠를 수정하도록 구성된 컴퓨터 회로는 AdaptationSet, Representation,또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소에 제공되는 CVO 지시 속성을 갖는 스트리밍된 DASH (dynamic adaptive streaming over HTTP) 콘텐츠에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일을 클라이언트로 전달하도록 더 구성될 수 있고, 코덱 속성은 스트리밍된 DASH 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정될 수 있다. 또는, 스트리밍된 콘텐츠를 수정하도록 구성된 컴퓨터 회로는 CVO에 대한 2비트 입도를 나타내는 CVO URN(uniform resource name) "urn:3gpp:video-orientation" 또는 RTP 세션 헤더에 포함된 CVO 정보 상의 상위 입도 CVO에 대한 6비트 입도를 나타내는 "urn:3gpp:video-orientation:6"과 함께 a=extmap 속성을 통해 CVO 지시를 갖는 실시간 전달 프로토콜(RTP) 스트림에 대한 세션 디스크립션 프로토콜(SDP) 파일을 클라이언트로 전달하도록 더 구성될 수 있다.
다른 구성에서, 컴퓨터 회로는 국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 사용하는 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 CVO 데이터를 저장하도록 더 구성될 수 있다. CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, BoxHeader 타입은 3gvo 값에 대해 구성된다. 또는, 컴퓨터 회로는 RTP 확장 헤더에 실시간 전달 프로토콜(RTP) 스트림에 대한 CVO 데이터를 저장하도록 더 구성될 수 있다.
다른 예시에서, 디바이스 기능을 수신하도록 구성된 컴퓨터 회로는 패킷 스위치 스트리밍 서비스(PSS) 클라이언트 기능을 교환하도록 더 구성될 수 있다. CVO 속성은, 클라이언트가 실시간 전달 프로토콜(RTP) 스트림의 CVO 가능 수신기인지 여부를 나타내는 StreamingCVOCapable 속성, 클라이언트가 RTP 스트림의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 StreamingHighGranularityCVOCapable 속성, 클라이언트가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일의 CVO 가능 수신기인지 여부를 나타내는 ThreeGPCVOCapable 속성, 또는 클라이언트가 3GP 파일의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 ThreeGPHighGranularityCVOCapable 속성을 포함할 수 있다.
다른 구성에서, 스트리밍된 콘텐츠를 수정하도록 구성된 컴퓨터 회로는 방향 인식 콘텐츠 적응, 방향 인식 콘텐츠 선택, 방향 인식 트랜스코딩, 또는 방향 인식 포맷 변환을 수행하여 비디오 방향 오정렬을 수정하고 수정된 비디오 방향을 갖는 클라이언트 디바이스에서 콘텐츠 플레이백을 보장하도록 더 구성될 수 있다. 서버는 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 서버, HTTP를 통한 동적 적응형 스트리밍(DASH) 서버, 또는 집적 멀티미디어 서브시스템(IMS) 기반 PSS, 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 서버를 포함할 수 있다.
도 11은 CVO 기능을 제공하는 예시의 모바일 단말기(MT)(예를 들어, UE 또는 클라이언트 디바이스)(720), 노드(710), 및 서버(730)를 도시한다. MT는 노드와의 무선 통신을 위해 구성될 수 있다. 도 9의 500에서 설명된 바와 같이, 서버는 모바일 단말기(MT)의 CVO 기능을 시그널링하기 위해 구성될 수 있다. 다른 구성에서, 도 10의 600에서 설명된 바와 같이, 서버는 CVO를 갖는 스트리밍을 제공하도록 동작가능할 수 있다. 노드(710)는 기지국(BS), 노드 B(NB), 진화된 노드 B(eNB), 기저대역 유닛(BBU), 원격 무선 헤드(RRH), 원격 무선 장비(RRE), 원격 무선 유닛(RRU) 또는 중앙 프로세싱 모듈(CPM)을 포함할 수 있다.
도 11을 다시 참조하면, 모바일 단말기(720)은 프로세서(722), 송수신기(724), 방향 센서(726)를 포함할 수 있다. 프로세서는 MT의 CVO 기능을 결정하기 위해 구성될 수 있다. 송수신기는 서버로 스트리밍 컴포넌트 속성에서의 MT의 CVO 기능을 전송하도록 구성될 수 있다.
예시에서, 송수신기(724)는 RTP 스트림에 대한 실시간 전달 프로토콜(RTP) 확장 헤더 또는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 3GPP(third generation partnership project) 파일 포맷(3GP) 파일을 수신하도록 더 구성될 수 있다. 프로세서(722)는, 3GP 파일에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일에서 CVO 지시 속성을 파싱(parse)하거나 3GP 파일에서 임베딩된 CVO 정보를 파싱하고, 파싱된 CVO 정보 및 클라이언트 MT의 현재 방향에 기초하여 방향 수정 조건을 결정하여, 결정된 방향 수정 조건에 기초하여 오정렬에 대해 HTTP 스트림 또는 DASH의 렌더링 방향을 수정하도록 더 구성될 수 있고, 이때 MPD 메타데이터 파일은 CVO 지시 속성을 포함하고 MT는 방향 인식 단말기이다. 또는, 프로세서는, RTP 스트림에 대한 세션 디스크립션 프로토콜(SDP) 파일에서 CVO 지시 속성을 파싱하거나 RTP 스트림에 대한 RTP 확장 헤더에서 임베딩된 CVO 정보를 파싱하고, 파싱된 CVO 정보 및 클라이언트 디바이스의 현재 방향에 기초하여 방향 수정 조건을 결정하여, 결정된 방향 수정 조건에 기초하여 오정렬에 대해 RTP 스트림의 렌더링 방향을 수정하도록 더 구성될 수 있으며, 이때 SDP 파일은 CVO 지시 속성을 포함하고 MT는 방향 인식 단말기이다. 렌더링 방향을 수정하는 것은 방향의 회전 또는 플립을 보상할 수 있다.
다른 예시에서, 송수신기(724)는 AdaptationSet, Representation,또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소에 제공되는 CVO 지시 속성을 갖는 스트리밍된 DASH (dynamic adaptive streaming over HTTP) 콘텐츠에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일을 서버로부터 수신하도록 더 구성될 수 있다. 코덱 속성은 스트리밍된 DASH 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정될 수 있다. 프로세서(722)는, 미디어 제시 디스크립션(MPD) 메타데이터 파일에서 CVO 지시 속성을 파싱하거나 오정렬에 대해 HTTP 스트림 또는 스트리밍된 DASH 콘텐츠의 렌더링 방향을 수정하도록 더 구성될 수 있고, 이때 MPD 메타데이터 파일은 CVO 지시 속성을 포함하고 MT는 방향 인식 단말기이다.
다른 구성에서, 송수신기(724)는 국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 포함하는 3GPP(third generation partnership project) 파일 포맷(3GP) 파일을 수신하도록 더 구성될 수 있다. CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, BoxHeader 타입은 3gvo 값에 대해 구성될 수 있다. 프로세서(722)는, 3GP 파일에서 CVOSampleEntry를 파싱하고, 오정렬에 대해 HTTP 스트림 또는 스트리밍된 DASH 콘텐츠의 렌더링 방향을 수정하도록 더 구성될 수 있고, 이때 3GP 파일은 CVOSampleEntry를 포함하고 MT는 방향 인식 단말기이다.
다른 예시에서, 송수신기(724)는 MT의 CVO 기능을 갖는 패킷 스위치 스트리밍 서비스(PSS) 클라이언트 기능을 교환하도록 더 구성될 수 있다. MT의 CVO 기능은, 클라이언트가 실시간 전달 프로토콜(RTP) 스트림의 CVO 가능 수신기인지 여부를 나타내는 StreamingCVOCapable 속성, 클라이언트가 RTP 스트림의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 StreamingHighGranularityCVOCapable 속성, 클라이언트가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일의 CVO 가능 수신기인지 여부를 나타내는 ThreeGPCVOCapable 속성, 또는 클라이언트가 3GP 파일의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 ThreeGPHighGranularityCVOCapable 속성을 포함할 수 있다.
다른 구성에서, 프로세서(722)는, 특정 방향으로 사용자 생성 콘텐츠(UGC)를 캡쳐하고, 3GPP 파일 포맷(3GP) 파일에 UGC 비디오에 대한 CVO 정보를 임베딩하도록 더 구성될 수 있다. 송수신기(724)는 HTTP 스트림 또는 DASH에 대한 3GP 파일을 업로딩하도록 더 구성될 수 있다.
다른 예시에서, 프로세서(722)는 특정 방향을 갖는 CVO 데이터를 캡쳐하고, 국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 사용하여 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 CVO 데이터를 저장하도록 더 구성될 수 있다. CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, BoxHeader 타입은 3gvo 값에 대해 구성될 수 있다. 송수신기(724)는 HTTP 스트림 또는 DASH에 대한 3GP 파일을 업로딩하도록 더 구성될 수 있다.
다른 구성에서, MT의 CVO 기능은 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 세션, HTTP를 통한 동적 적응형 스트리밍(DASH) 세션, 또는 집적 멀티미디어 서브시스템(IMS) 기반 PSS, 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 세션에 제공될 수 있다. 모바일 단말기는 MT의 방향을 결정하는 방향 센서(726)를 포함할 수 있다.
도 12는 모바일 단말기(MT)과 같은 클라이언트 디바이스, 모바일 노드, 사용자 장비(UE), 이동국(MS), 모바일 무선 디바이스, 모바일 통신 디바이스, 태블릿, 핸드셋, 또는 다른 타입의 무선 디바이스의 예시 도면을 제공한다. 무선 디바이스는 노드, 매크로 노드, 저전력 노드(LPN) 또는 기기국(BS)과 같은 전송국과 통신하도록 구성된 하나 이상의 안테나, 진화된 노드 B(eNB), 기저대역 유닛(BBU), 원격 무선 헤드(RRH), 원격 무선 장비(RRE), 중계국(RS), 무선 장비(RE), 원격 무선 유닛(RRU), 중앙 프로세싱 모듈(CPM), 또는 다른 타입의 무선 광역 네트워크(WWAN) 액세스 포인트를 포함할 수 있다. 무선 디바이스는 3GPP LTE, WiMAX, 고속 패킷 액세스(HSPA), 블루투스, 및 WiFi를 포함하는 적어도 하나의 무선 통신 표준을 사용하여 통신하도록 구성될 수 있다. 무선 통신 디바이스는 각 무선 통신 표준에 대한 개별 안테나 또는 다수의 무선 통신 표준에 대해 공유 안테나를 사용하여 통신할 수 있다. 무선 디바이스는 무선 로컬 영역 네트워크(WLAN), 무선 개인용 영역 네트워크(WPAN), 및/또는 WWAN에서 통신할 수 있다.
도 12는 또한 무선 디바이스로부터의 오디오 입력 및 출력에 대해 사용될 수 있는 마이크로폰 및 하나 이상의 스피커의 도면을 제공한다. 디스플레이 스크린은 액정 디스플레이(LCD) 스크린, 또는 유기 발광 다이오드(OLED) 디스플레이와 같은 다른 타입의 디스플레이 스크린이 될 수 있다. 디스플레이 스크린은 터치 스크린으로서 구성될 수 있다. 터치 스크린은 용량성, 저항성 또는 다른 타입의 터치 스크린 기술을 사용할 수 있다. 애플리케이션 프로세서 및 그래픽 프로세서는 프로세싱 및 디스플레이 기능을 제공하도록 내부 메모리에 연결될 수 있다. 비휘발성 메모리 포트는 데이터 입력/출력 옵션을 사용자에게 제공하는데 사용될 수 있다. 비휘발성 메모리 포트는 또한 무선 디바이스의 메모리 기능을 확장하는데 사용될 수 있다. 키보드는 무선 디바이스와 집적되거나 추가 사용자 입력을 제공하기 위해 무선 디바이스에 무선으로 접속될 수 있다. 가상 키보드는 또한 터치 스크린을 사용하여 제공될 수 있다.
다양한 기술, 또는 이들의 특정 양상 또는 부분은, 플로피 디스켓, 컴팩트 디스크 판독 전용 메모리(CD-ROM), 하드 드라이브, 비일시적 컴퓨터 판독가능 저장 매체, 또는 임의의 다른 머신 판독가능 저장 매체와 같은 유형의 매체에 구현되는 프로그램 코드(즉, 명령어)의 형태를 취할 수 있고, 프로그램 코드가 컴퓨터와 같은 머신으로 로딩되고 머신에 의해 실행될 때, 머신은 다양한 기술을 실시하기 위한 장치가 된다. 회로는 하드웨어, 펌웨어, 프로그램 코드, 실행가능한 코드, 컴퓨터 명령어, 및/또는 소프트웨어를 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는 신호를 포함하지 않는 컴퓨터 판독가능 저장 매체가 될 수 있다. 프로그래밍가능한 컴퓨터 상의 프로그램 코드 실행의 경우에서, 컴퓨팅 디바이스는 프로세서, 프로세서에 의해 판독가능한 저장 매체(휘발성 및 비휘발성 메모리 및/또는 저장 요소 포함), 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함할 수 있다. 휘발성 및 비휘발성 메모리 및/또는 저장 요소는 랜덤 액세스 메모리(RAM), 삭제가능한 프로그램가능한 판독전용 메모리(EPROM), 플래쉬 드라이브, 광 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브, 또는 전자 데이터를 저장하기 위한 다른 매체가 될 수 있다. 노드 및 무선 디바이스는 또한 송수신기 모듈(즉, 송수신기), 카운터 모듈(즉, 카운터), 프로세싱 모듈(즉, 프로세서), 및/또는 클럭 모듈(즉, 클럭) 또는 타이머 모듈(즉, 타이머)을 포함할 수 있다. 본원에서 설명된 다양한 기술을 구현 또는 활용할 수 있는 하나 이상의 프로그램은 애플리케이션 프로그래밍 인터페이스(API), 재사용가능한 컨트롤, 및 유사한 것을 사용할 수 있다. 이러한 프로그램은 컴퓨터와 통신하도록 고레벨 프로시져 또는 객체 지향 프로그램 언어로 구현될 수 있다. 하지만, 원한다면, 프로그램은 어셈블리 또는 머신 언어로 구현될 수 있다. 어떤 경우에, 언어는 컴파일링된 또는 해석된 언어가 될 수 있고, 하드웨어 구현과 조합될 수 있다.
본 명세서에서 설명된 다수의 기능적 유닛은 이들의 구현 독립성을 더 특별히 강조하기 위해, 모듈로서 라벨링되었음이 이해될 것이다. 예를 들어, 모듈은 VLSI(very-large-scale integration) 회로 또는 게이트 어레이, 로직 칩, 트랜지스터, 또는 다른 개별 컴포넌트와 같은 기성(off-the-shelf) 반도체를 포함하는 하드웨어 회로로서 구현될 수 있다. 모듈은 또한 필드 프로그램 가능 게이트 어레이, 프로그래밍가능한 어레이 로직, 프로그래밍가능한 로직 디바이스 또는 유사한 것과 같은 프로그래밍가능한 하드웨어 디바이스로 구현될 수 있다.
모듈은 또한 다양한 타입의 프로세서에 의한 실행을 위해 소프트웨어로 구현될 수 있다. 실행가능한 코드의 식별된 모듈은, 예를 들어, 컴퓨터 명령어의 하나 이상의 물리적 또는 논리적 블록을 포함할 수 있고, 예를 들어, 객체, 프로시져, 또는 기능으로서 조직화될 수 있다. 그럼에도 불구하고, 실행가능한 식별된 모듈은 물리적으로 함께 위치될 필요가 없지만, 상이한 위치에 저장된 분리 명령어를 포함할 수 있고, 이는 논리적으로 함께 결합될 때, 모듈을 포함하고 모듈에 대해 언급된 목적을 달성한다.
실제로, 실행가능한 코드의 모듈은 단일 명령어, 또는 다수의 명령어가 될 수 있고, 여러 상이한 코드 세그먼트에, 상이한 프로그램 사이에서, 그리고 여러 메모리 디바이스에 걸쳐 분산될 수도 있다. 유사하게, 연산 데이터는 본원에서 모듈 내에서 식별 및 도시될 수 있고, 임의의 적합한 형태로 구현되고 임의의 적합한 타입의 데이터 구조 내에서 조직화될 수 있다. 연산 데이터는 단일 데이터 세트로서 수집될 수 있거나 상이한 저장 디바이스를 포함하는 상이한 위치에 분산될 수 있고, 시스템 또는 네트워크 상에서 단지 전자 신호로서 적어도 부분적으로 존재할 수 있다. 모듈은 원하는 기능을 수행하도록 작동가능한 에이전트를 포함하는 수동 또는 능동이 될 수 있다.
본 명세서 전반에서 "예시" 또는 "예시적인"에 대한 참조는 예시와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반의 다양한 위치에서 "예시에서"라는 구문 또는 "예시적인"이라는 단어의 출현은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.
본원에서 사용된 바와 같이, 복수의 아이템, 구조 요소, 구성적 요소, 및/또는 재료는 편의성을 위해 공통 리스트로 제시될 수 있다. 하지만, 이들 리스트는 리스트의 각 멤버가 개별 및 고유한 멤버로서 개별적으로 식별되는 것처럼 해석될 것이다. 따라서, 이러한 리스트의 개별적인 멤버는 상반되는 명시가 없으면 공통 그룹에서 이들의 제시에 기초하여 단독으로 동일한 리스트의 임의의 다른 멤버와 사실상 동등한 것으로서 해석되지는 않는다. 또한, 본 발명의 다양한 실시예 및 예시는 이들의 다양한 컴포넌트에 대한 대안과 함께 본원에서 나타낼 수 있다. 이러한 실시예, 예시, 및 대안은 서로 사실상 동등한 것으로서 해석되지는 않지만, 본 발명의 개별적이고 자체적인 표현으로서 고려됨이 이해된다.
또한, 설명된 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적합한 방식으로 조합될 수 있다. 다음의 설명에서, 본 발명의 예시의 전반적인 이해를 제공하기 위해, 레이아웃, 거리, 네트워크의 예시 등과 같이, 다수의 특정 상세가 제공된다. 하지만, 당업자는 본 발명이 하나 이상의 특정 상세 없이, 또는 다른 방법, 컴포넌트, 레이아웃 등과 함께 실시될 수 있음이 인식될 것이다. 다른 경우에, 잘 알려진 구조, 재료, 또는 동작은 본 발명의 양상을 불분명하게 하는 것을 회피하도록 상세하게 도시되거나 설명되지는 않을 것이다.
다음의 예시는 하나 이상의 특정 적용예에서 본 발명의 원리를 예시하는 것이지만, 구현의 형태, 사용 및 상세에서 다양한 수정이 본 발명의 권리 행사 없이 그리고 본 발명의 원리 및 개념으로부터 벗어남이 없이 이루어질 수 있음이 당업자에게 명백할 것이다. 따라서, 본 발명은 이하에서 제시된 청구항에 의한 것 이외에는 제한되는 것으로 의도되지 않는다.

Claims (24)

  1. 비디오 방향 좌표(coordination of video orientation;CVO)를 갖는 스트리밍을 제공하도록 동작가능한 서버로서,
    상기 서버는 컴퓨터 회로를 포함하되,
    상기 컴퓨터 회로는,
    클라이언트에 대한 디바이스 기능(a device capability)을 수신하고,
    상기 디바이스 기능의 CVO 속성(CVO attribute) 포함에 기초하여 상기 클라이언트에 스트리밍될 콘텐츠를 수정하도록 구성되는
    서버.
  2. 제 1 항에 있어서,
    상기 스트리밍될 콘텐츠를 수정하도록 구성된 상기 컴퓨터 회로는, 또한,
    상기 클라이언트에 대한 상기 디바이스 기능이 상기 클라이언트가 방향 인식 단말기가 아님을 나타내는 상기 CVO 속성을 포함하지 않을 때 상기 클라이언트로의 전달 이전에, 오정렬(misalignment)에 대한 스트리밍된 DASH(dynamic adaptive streaming over hypertext transfer protocol(HTTP)) 콘텐츠, 또는 RTP(real-time transport protocol) 스트림의 렌더링 방향(rendering orientation)을 수정하도록 구성되는
    서버.
  3. 제 1 항에 있어서,
    상기 스트리밍될 콘텐츠를 수정하도록 구성된 상기 컴퓨터 회로는,
    AdaptationSet, Representation, 또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소에 제공되는 CVO 지시 속성을 갖는 스트리밍된 DASH (dynamic adaptive streaming over HTTP) 콘텐츠에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일을 상기 클라이언트로 전달하고―상기 코덱 속성은 상기 스트리밍된 DASH 콘텐츠에서 방향성(oriented) 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정됨―,
    CVO에 대한 2비트 입도(2-bit granluarity)를 나타내는 CVO URN(uniform resource name) "urn:3gpp:video-orientation" 또는 RTP 세션 헤더에 포함된 CVO 정보 상의 상위 입도 CVO에 대한 6비트 입도를 나타내는 "urn:3gpp:video-orientation:6"과 함께 a=extmap 속성을 통해 CVO 지시(indication)를 갖는 실시간 전달 프로토콜(RTP) 스트림에 대한 세션 디스크립션 프로토콜(SDP) 파일을 상기 클라이언트로 전달하도록 구성되는
    서버.
  4. 제 1 항에 있어서,
    상기 컴퓨터 회로는,
    국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스(a sample description box)에서의 CVO 타이밍된(timed) 메타데이터 트랙에 대한 CVOSampleEntry를 사용하는 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 CVO 데이터를 저장하고―CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, 상기 BoxHeader 타입은 '3gvo' 값에 대해 구성됨―,
    RTP 확장 헤더(extension header)에 실시간 전달 프로토콜(RTP) 스트림에 대한 CVO 데이터를 저장하도록 구성되는
    서버.
  5. 제 1 항에 있어서,
    상기 디바이스 기능을 수신하도록 구성된 컴퓨터 회로는, 또한,
    패킷 스위치 스트리밍 서비스(PSS) 기능을 교환하도록 구성되고, 상기 CVO 속성은,
    상기 클라이언트가 실시간 전달 프로토콜(RTP) 스트림의 CVO 가능(capable) 수신기인지 여부를 나타내는 StreamingCVOCapable 속성,
    상기 클라이언트가 상기 RTP 스트림의 상위 입도(Higher Granularity) CVO 가능 수신기인지 여부를 나타내는 StreamingHighGranularityCVOCapable 속성,
    상기 클라이언트가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일의 CVO 가능 수신기인지 여부를 나타내는 ThreeGPCVOCapable 속성, 또는,
    상기 클라이언트가 상기 3GP 파일의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 ThreeGPHighGranularityCVOCapable 속성을 포함하는
    서버.
  6. 제 1 항에 있어서,
    상기 스트리밍될 콘텐츠를 수정하도록 구성된 상기 컴퓨터 회로는, 또한,
    방향 인식 콘텐츠 적응(orientation-aware content adaption), 방향 인식 콘텐츠 선택, 방향 인식 트랜스코딩, 또는 방향 인식 포맷 변환을 수행하여 비디오 방향 오정렬을 수정하고 상기 클라이언트에서 수정된 비디오 방향을 갖는 콘텐츠 플레이백(a content playback)을 보장하도록 구성되는
    서버.
  7. 제 1 항에 있어서,
    상기 서버는 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 서버, HTTP를 통한 동적 적응형 스트리밍(DASH) 서버, 또는 집적 멀티미디어 서브시스템(IMS) 기반 PSS 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 서버를 포함하는
    서버.
  8. CVO 기능(coordination of video orientation(CVO) capability)을 제공하는 모바일 단말기(MT)에 있어서,
    MT의 CVO 기능을 결정하는 프로세서와,
    서버로 스트리밍 컴포넌트 속성에서의 상기 MT의 CVO 기능을 전송하는 송수신기를 포함하는
    모바일 단말기.
  9. 제 8 항에 있어서,
    상기 송수신기는, 또한,
    RTP 스트림에 대한 실시간 전달 프로토콜(RTP) 확장 헤더 또는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 3GPP(third generation partnership project) 파일 포맷(3GP) 파일을 수신하도록 구성되고,
    상기 프로세서는, 또한,
    상기 3GP 파일에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일에서 CVO 지시 속성을 파싱(parse)하거나 상기 3GP 파일에서 임베딩된 CVO 정보를 파싱하고,
    상기 파싱된 CVO 정보 및 상기 MT의 현재 방향에 기초하여 방향 수정 조건(orientation correction term)을 결정하고,
    상기 MPD 메타데이터 파일이 상기 CVO 지시 속성을 포함하고 상기 MT는 방향 인식 단말기일 때, 상기 결정된 방향 수정 조건에 기초하여 오정렬에 대해 상기 HTTP 스트림 또는 상기 DASH의 렌더링 방향을 수정하거나, 또는,
    상기 RTP 스트림에 대한 세션 디스크립션 프로토콜(SDP) 파일에서 상기 CVO 지시 속성을 파싱하거나 상기 RTP 스트림에 대한 상기 RTP 확장 헤더에서 상기 임베딩된 CVO 정보를 파싱하고,
    상기 파싱된 CVO 정보 및 상기 MT의 현재 방향에 기초하여 방향 수정 조건을 결정하고,
    상기 SDP 파일이 상기 CVO 지시 속성을 포함하고 상기 MT는 방향 인식 단말기일 때, 상기 결정된 방향 수정 조건에 기초하여 오정렬에 대해 상기 RTP 스트림의 렌더링 방향을 수정하도록 구성되며,
    상기 렌더링 방향을 수정하는 것은 방향의 회전 또는 플립(flip)을 보상하는
    모바일 단말기.
  10. 제 8 항에 있어서,
    상기 송수신기는, 또한,
    AdaptationSet, Representation, 또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소에 제공되는 CVO 지시 속성을 갖는 스트리밍된 DASH (dynamic adaptive streaming over HTTP) 콘텐츠에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일을 서버로부터 수신하도록 구성되고―상기 코덱 속성은 상기 스트리밍된 DASH 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정됨―,
    상기 프로세서는, 또한,
    미디어 제시 디스크립션(MPD) 메타데이터 파일에서 상기 CVO 지시 속성을 파싱하고,
    상기 MPD 메타데이터 파일이 상기 CVO 지시 속성을 포함하고 상기 MT는 방향 인식 단말기일 때, 오정렬에 대해 HTTP 스트림 또는 상기 스트리밍된 DASH 콘텐츠의 렌더링 방향을 수정하도록 구성되는
    모바일 단말기.
  11. 제 8 항에 있어서,
    상기 송수신기는, 또한,
    국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 포함하는 3GPP(third generation partnership project) 파일 포맷(3GP) 파일을 수신하도록 구성되고, CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함하고, 상기 BoxHeader 타입은 3gvo 값에 대해 구성되며,
    상기 프로세서는, 또한,
    상기 3GP 파일에서 상기 CVOSampleEntry를 파싱하고,
    상기 3GP 파일이 상기 CVOSampleEntry를 포함하고 상기 MT가 방향 인식 단말기일 때, 오정렬에 대해 HTTP 스트림 또는 스트리밍된 DASH 콘텐츠의 렌더링 방향을 수정하도록 구성되는
    모바일 단말기.
  12. 제 8 항에 있어서,
    상기 송수신기는, 또한,
    상기 MT의 CVO 기능을 갖는 패킷 스위치 스트리밍 서비스(PSS) 클라이언트 기능을 교환하도록 구성되고, 상기 MT의 CVO 기능은,
    상기 클라이언트가 실시간 전달 프로토콜(RTP) 스트림의 CVO 가능 수신기인지 여부를 나타내는 StreamingCVOCapable 속성,
    상기 클라이언트가 RTP 스트림의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 StreamingHighGranularityCVOCapable 속성,
    상기 클라이언트가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일의 CVO 가능 수신기인지 여부를 나타내는 ThreeGPCVOCapable 속성, 또는
    상기 클라이언트가 3GP 파일의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 ThreeGPHighGranularityCVOCapable 속성을 포함하는
    모바일 단말기.
  13. 제 8 항에 있어서,
    상기 프로세서는, 또한,
    특정 방향으로 사용자 생성 콘텐츠(UGC)를 캡쳐하고,
    3GPP 파일 포맷(3GP) 파일에 UGC 비디오에 대한 CVO 정보를 임베딩하도록 구성되며,
    상기 송수신기는, 또한,
    HTTP 스트림 또는 DASH에 대한 3GP 파일을 업로딩하도록 구성되는
    모바일 단말기.
  14. 제 8 항에 있어서,
    상기 프로세서는, 또한,
    특정 방향을 갖는 CVO 데이터를 캡쳐하고,
    국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 사용하여 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 상기 CVO 데이터를 저장하도록 구성되고, CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함하고, 상기 BoxHeader 타입은 3gvo 값에 대해 구성되며,
    상기 송수신기는, 또한
    HTTP 스트림 또는 DASH에 대한 3GP 파일을 업로딩하도록 구성되는
    모바일 단말기.
  15. 제 8 항에 있어서,
    상기 MT의 CVO 기능은 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 세션, HTTP를 통한 동적 적응형 스트리밍(DASH) 세션, 또는 집적 멀티미디어 서브시스템(IMS) 기반 PSS 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 세션에 제공되는
    모바일 단말기.
  16. 제 8 항에 있어서,
    상기 MT의 방향을 결정하는 방향 센서를 더 포함하는
    모바일 단말기.
  17. 제 8 항에 있어서,
    상기 모바일 단말기는 사용자 장비(UE) 또는 이동국(MS)을 포함하고, 상기 이동국은 안테나, 카메라, 터치 민감형 디스플레이 스크린, 스피커, 마이크로폰, 그래픽 프로세서, 애플리케이션 프로세서, 내부 메모리, 또는 비휘발성 메모리 포트를 포함하는
    모바일 단말기.
  18. 서버에서 모바일 단말기(MT)의 비디오 방향 좌표(CVO) 기능을 시그널링하는 방법에 있어서,
    상기 서버에서 클라이언트에 대한 디바이스 기능을 수신하는 단계와,
    상기 디바이스 기능이 CVO 속성을 포함할 때를 식별하는 단계와,
    상기 CVO 속성의 포함에 기초하여 상기 클라이언트에 대해 스트리밍된 콘텐츠를 적응시키는 단계를 포함하는
    CVO 기능 시그널링 방법.
  19. 제 18 항에 있어서,
    상기 스트리밍된 콘텐츠를 적응시키는 단계는,
    상기 클라이언트가 방향 인식 단말기가 아님을 나타내는 상기 CVO 속성을 상기 클라이언트에 대한 디바이스 기능이 포함하지 않을 때, 오정렬에 대해 HTTP(hypertext transfer protocol) 스트림, DASH(dynamic adaptive streaming over HTTP), 또는 RTP(real-time transport protocol) 스트림의 디스플레이 방향을 수정하는 단계, 또는
    상기 클라이언트가 스트림의 디스플레이 방향을 수정하는 방향 인식 단말기임을 나타내는 상기 CVO 속성을 상기 클라이언트에 대한 디바이스 기능이 포함할 때, 미디어 제시 디스크립션(MPD) 메타데이터 파일 또는 세션 디스크립션 프로토콜(SDP) 파일에 CVO 지시 속성을 임베딩하는 단계를 더 포함하는
    CVO 기능 시그널링 방법.
  20. 제 18 항에 있어서,
    상기 스트리밍된 콘텐츠를 적응시키는 단계는,
    AdaptationSet, Representation,또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소에 제공되는 CVO 지시 속성을 갖는 스트리밍된 DASH (dynamic adaptive streaming over HTTP) 콘텐츠에 대한 미디어 제시 디스크립션(MPD) 메타데이터 파일을 상기 클라이언트로 전달하는 단계―상기 코덱 속성은 스트림 DASH 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정됨―와,
    CVO에 대한 2비트 입도를 나타내는 CVO URN(uniform resource name) "urn:3gpp:video-orientation" 또는 RTP 세션 헤더에 포함된 CVO 정보 상의 상위 입도 CVO에 대한 6비트 입도를 나타내는 "urn:3gpp:video-orientation:6"과 함께 a=extmap 속성을 통해 CVO 지시를 사용하여 실시간 전달 프로토콜(RTP) 스트림에 대한 세션 디스크립션 프로토콜(SDP) 파일을 상기 클라이언트로 전달하는 단계를 더 포함하는
    CVO 기능 시그널링 방법.
  21. 제 18 항에 있어서,
    상기 스트리밍된 콘텐츠를 적응시키는 단계는,
    3GPP(third generation partnership project) 파일 포맷(3GP) 파일에서 UGC(user generated content) 비디오에 대한 임베딩된 CVO 정보를 포함하는 UGC 비디오를 수신하는 단계를 더 포함하고,
    상기 3GP 파일은,
    국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry―CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함하며, 상기 BoxHeader 타입은 3gvo 값에 대해 구성됨―, 또는,
    미디어 제시 디스크립션(MPD)의 AdaptationSet, Representation, 또는 SubRepresentation에 대한 코덱 공통 속성 또는 요소를 사용하며,
    상기 코덱 속성은 스트리밍된 DASH(dynamic adaptive streaming over HTTP) 콘텐츠에서 방향성 비디오 컴포넌트 및 연관된 CVO 정보의 존재를 나타내는 '3gvo'로 설정되는
    CVO 기능 시그널링 방법.
  22. 제 18 항에 있어서,
    상기 스트리밍된 콘텐츠를 적응시키는 단계는,
    국제 표준화 기구(ISO) 파일 포맷 박스 구조의 샘플 디스크립션 박스에서의 CVO 타이밍된 메타데이터 트랙에 대한 CVOSampleEntry를 사용하여 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 CVO 데이터를 저장하는 단계―CVOSampleEntry 필드는 BoxHeader 크기 또는 타입, Data-reference-index 또는 Granularity를 포함할 수 있고, BoxHeader 타입은 3gvo 값에 대해 구성됨―, 또는,
    RTP 확장 헤더에 실시간 전달 프로토콜(RTP) 스트림에 대한 CVO 데이터를 저장하는 단계를 더 포함하는
    CVO 기능 시그널링 방법.
  23. 제 18 항에 있어서,
    상기 클라이언트에 대한 상기 디바이스 기능을 수신하는 단계는,
    상기 클라이언트에 대한 패킷 스위치 스트리밍 서비스(PSS) 클라이언트 기능을 교환하는 단계를 포함하고, 상기 CVO 기능은,
    상기 클라이언트가 실시간 전달 프로토콜(RTP) 스트림의 CVO 가능 수신기인지 여부를 나타내는 StreamingCVOCapable 속성,
    상기 클라이언트가 RTP 스트림의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 StreamingHighGranularityCVOCapable 속성,
    상기 클라이언트가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일의 CVO 가능 수신기인지 여부를 나타내는 ThreeGPCVOCapable 속성, 또는
    상기 클라이언트가 3GP 파일의 상위 입도 CVO 가능 수신기인지 여부를 나타내는 ThreeGPHighGranularityCVOCapable 속성을 포함하는
    CVO 기능 시그널링 방법.
  24. 제 18 항의 방법을 구현하도록 실행되기 위해 적응된 복수의 명령어를 포함하는 적어도 하나의 비일시적 머신 판독가능 저장 매체.
KR1020157007822A 2012-10-26 2013-10-28 비디오 방향 조정(cvo)를 갖는 스트리밍 KR101703268B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261719241P 2012-10-26 2012-10-26
US61/719,241 2012-10-26
US201361753914P 2013-01-17 2013-01-17
US61/753,914 2013-01-17
US201361841230P 2013-06-28 2013-06-28
US61/841,230 2013-06-28
PCT/US2013/067054 WO2014066887A1 (en) 2012-10-26 2013-10-28 Streaming with coordination of video orientation (cvo)

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177002717A Division KR101843328B1 (ko) 2012-10-26 2013-10-28 비디오 방향 조정(cvo)를 갖는 스트리밍

Publications (2)

Publication Number Publication Date
KR20150048216A true KR20150048216A (ko) 2015-05-06
KR101703268B1 KR101703268B1 (ko) 2017-02-06

Family

ID=50545385

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177002717A KR101843328B1 (ko) 2012-10-26 2013-10-28 비디오 방향 조정(cvo)를 갖는 스트리밍
KR1020157007822A KR101703268B1 (ko) 2012-10-26 2013-10-28 비디오 방향 조정(cvo)를 갖는 스트리밍

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177002717A KR101843328B1 (ko) 2012-10-26 2013-10-28 비디오 방향 조정(cvo)를 갖는 스트리밍

Country Status (10)

Country Link
US (3) US9215262B2 (ko)
EP (2) EP3139698B1 (ko)
JP (2) JP6105741B2 (ko)
KR (2) KR101843328B1 (ko)
CN (1) CN104704844B (ko)
AU (3) AU2013334019B2 (ko)
BR (1) BR112015006675B1 (ko)
CA (1) CA2880588C (ko)
HK (1) HK1207770A1 (ko)
WO (1) WO2014066887A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062815A (ko) * 2017-11-29 2019-06-07 전자부품연구원 라이브 스트리밍 서버 장치 및 이의 운용 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150042255A (ko) * 2012-08-22 2015-04-20 후아웨이 테크놀러지 컴퍼니 리미티드 Ｍｐｅｇ-2 트랜스포트 스트림에서 ｉｓｏ-ｂｍｆｆ 이벤트 박스의 캐리지
EP3139698B1 (en) 2012-10-26 2020-05-06 Intel Corporation Streaming with coordination of video orientation (cvo)
US9762938B2 (en) 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
JP6492006B2 (ja) 2013-07-02 2019-03-27 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ コンテンツ供給装置、コンテンツ供給方法、プログラム、および、コンテンツ供給システム
KR102154800B1 (ko) * 2014-01-10 2020-09-10 삼성전자주식회사 전자 장치의 데이터 스트리밍 방법 및 그 전자 장치
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
CN106034262B (zh) * 2015-03-13 2021-01-22 中兴通讯股份有限公司 自适应流媒体处理方法及装置
WO2016204712A1 (en) * 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video content for cellular communication
US9681111B1 (en) * 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
US10097608B2 (en) * 2015-12-26 2018-10-09 Intel Corporation Technologies for wireless transmission of digital media
US9723258B2 (en) * 2015-12-30 2017-08-01 Roku, Inc. Orientation adjustment for casting videos
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
WO2017171953A1 (en) * 2016-04-01 2017-10-05 Intel IP Corporation User equipment (ue) support mode and id support
CN107294736B (zh) * 2016-04-05 2020-06-30 中国移动通信有限公司研究院 多媒体数据处理方法及终端
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
FR3070087B1 (fr) * 2017-08-11 2019-08-09 Renault S.A.S. Procede d’affichage d’images sur un ecran de vehicule automobile
KR20200124665A (ko) * 2018-02-28 2020-11-03 소니 주식회사 콘텐츠 배신 제어 장치, 콘텐츠 배신 제어 방법, 프로그램 및 콘텐츠 배신 시스템
CN111771386A (zh) * 2018-02-28 2020-10-13 索尼公司 内容传送控制装置、内容传送控制方法、程序和内容传送系统
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11470136B2 (en) * 2020-10-07 2022-10-11 Tencent America LLC URL customization using the session-based dash operations
US11451602B2 (en) 2021-01-06 2022-09-20 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106643A1 (en) * 2010-10-29 2012-05-03 Yuji Fujimoto Image processing device, image processing method, and image processing system

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000079406A1 (en) 1999-06-23 2000-12-28 Infolio, Inc. System and operating method for an internet-based content adaptation service
SE522878C2 (sv) 2000-06-16 2004-03-16 Ericsson Telefon Ab L M Datakommunikationssystem
JP4189627B2 (ja) * 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
US7065641B2 (en) 2002-06-13 2006-06-20 Intel Corporation Weighted processor selection apparatus and method for use in multiprocessor systems
US7085590B2 (en) 2003-12-31 2006-08-01 Sony Ericsson Mobile Communications Ab Mobile terminal with ergonomic imaging functions
FI20040944A0 (fi) 2004-07-07 2004-07-07 Nokia Corp Sisältöviestinnän hallinta viestintäjärjestelmässä
US7721204B2 (en) * 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
KR100631601B1 (ko) * 2004-10-21 2006-10-09 엘지전자 주식회사 휴대용 단말기의 동영상 스트리밍 서비스 방법
US8819143B2 (en) 2005-05-31 2014-08-26 Flash Networks Ltd. Presentation layer adaptation in multimedia messaging
EP1932315A4 (en) 2005-09-01 2012-05-09 Nokia Corp METHOD FOR INTEGRATING SVG CONTENT INTO ISO MULTIMEDIA FILE FORMAT FOR PROGRESSIVE DOWNLOAD AND CONTINUOUS TRANSMISSION OF RICH MULTIMEDIA CONTENT
JP4567646B2 (ja) * 2006-09-25 2010-10-20 シャープ株式会社 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
US7984177B2 (en) 2007-04-30 2011-07-19 Vixs Systems, Inc. Multimedia client/server system with adjustable packet size and methods for use therewith
US8595186B1 (en) * 2007-06-06 2013-11-26 Plusmo LLC System and method for building and delivering mobile widgets
US8600391B2 (en) 2008-11-24 2013-12-03 Ringcentral, Inc. Call management for location-aware mobile devices
GB0721475D0 (en) 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US20100009662A1 (en) 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
US8706910B2 (en) * 2008-10-28 2014-04-22 Panzura, Inc. Dynamically adaptive network-based data processing system and method
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
WO2010099577A1 (en) 2009-03-04 2010-09-10 The University Of Queensland Cancer biomarkers and uses therefor
WO2010116241A1 (en) * 2009-04-09 2010-10-14 Nokia Corporation Systems, methods and apparatuses for media file streaming
CN101540871B (zh) * 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
EP2484090A1 (en) 2009-09-29 2012-08-08 Nokia Corp. System, method and apparatus for dynamic media file streaming
US9124804B2 (en) * 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8521899B2 (en) 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
US8514331B2 (en) * 2010-06-08 2013-08-20 Stmicroelectronics, Inc. De-rotation adaptor and method for enabling interface of handheld multi-media device with external display
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
WO2012021344A2 (en) * 2010-08-11 2012-02-16 Movik Networks SYSTEM AND METHOD FOR QoS CONTROL OF IP FLOWS IN MOBILE NETWORKS
US20120233345A1 (en) * 2010-09-10 2012-09-13 Nokia Corporation Method and apparatus for adaptive streaming
US8918645B2 (en) * 2010-09-24 2014-12-23 Amazon Technologies, Inc. Content selection and delivery for random devices
WO2012046487A1 (ja) 2010-10-05 2012-04-12 シャープ株式会社 コンテンツ再生装置、コンテンツ配信システム、コンテンツ再生装置の同期方法、制御プログラム、および、記録媒体
EP2442562B1 (en) * 2010-10-12 2017-08-02 BlackBerry Limited Method and apparatus for image orientation indication and correction
JP5811602B2 (ja) 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
US8675577B2 (en) * 2010-12-20 2014-03-18 Intel Corporation Signaling techniques for a multimedia-aware radio and network adaptation
WO2012088023A2 (en) 2010-12-20 2012-06-28 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices
US8441955B2 (en) * 2011-01-24 2013-05-14 Tektronix, Inc. Determining mobile video quality of experience and impact of video transcoding
US20120278495A1 (en) * 2011-04-26 2012-11-01 Research In Motion Limited Representation grouping for http streaming
KR101784316B1 (ko) * 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
US8867806B2 (en) * 2011-08-01 2014-10-21 Impac Medical Systems, Inc. Method and apparatus for correction of errors in surfaces
CN103858457B (zh) 2011-08-01 2018-11-13 英特尔公司 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO)
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130060881A1 (en) * 2011-09-01 2013-03-07 Mp4Sls Pte Ltd Communication device and method for receiving media data
TW201322743A (zh) 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面，系統及方法
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
WO2014012015A2 (en) * 2012-07-13 2014-01-16 Vid Scale, Inc. Operation and architecture for dash streaming clients
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9762938B2 (en) 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
EP3139698B1 (en) 2012-10-26 2020-05-06 Intel Corporation Streaming with coordination of video orientation (cvo)

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106643A1 (en) * 2010-10-29 2012-05-03 Yuji Fujimoto Image processing device, image processing method, and image processing system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3GPP TSG SA WG4, "New Work Item Description on control of video orientation", Telefon AB LM Ericsson, et al., S4-120850, # 69 meeting(2012.05.)* *
3GPP TSG SA4, "Mid-call Control of Far-end Video Orientation &amp; Size", Samsung Electronics CO., LTD., Tdoc S4-120718, # 69 meeting(2012.05.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062815A (ko) * 2017-11-29 2019-06-07 전자부품연구원 라이브 스트리밍 서버 장치 및 이의 운용 방법

Also Published As

Publication number Publication date
HK1207770A1 (en) 2016-02-05
KR101703268B1 (ko) 2017-02-06
AU2013334019B2 (en) 2015-11-12
AU2017203829A1 (en) 2017-06-22
KR20170015563A (ko) 2017-02-08
JP2016500987A (ja) 2016-01-14
EP3139698B1 (en) 2020-05-06
US20160088053A1 (en) 2016-03-24
JP6455741B2 (ja) 2019-01-23
AU2013334019A1 (en) 2015-02-12
US9215262B2 (en) 2015-12-15
EP3139698A1 (en) 2017-03-08
KR101843328B1 (ko) 2018-03-28
JP2017143528A (ja) 2017-08-17
EP2912851A4 (en) 2016-05-25
JP6105741B2 (ja) 2017-03-29
CA2880588C (en) 2020-03-10
AU2016200390A1 (en) 2016-02-11
CN104704844B (zh) 2019-05-21
AU2016200390B2 (en) 2017-03-23
EP2912851B1 (en) 2020-04-22
CA2880588A1 (en) 2014-05-01
WO2014066887A1 (en) 2014-05-01
EP2912851A1 (en) 2015-09-02
US20160352799A1 (en) 2016-12-01
US10432692B2 (en) 2019-10-01
BR112015006675B1 (pt) 2022-08-30
CN104704844A (zh) 2015-06-10
BR112015006675A2 (pt) 2020-08-18
AU2017203829B2 (en) 2018-09-06
US9438658B2 (en) 2016-09-06
US20150089074A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
KR101703268B1 (ko) 비디오 방향 조정(cvo)를 갖는 스트리밍
TWI568252B (zh) 具有視訊定向協調（ｃｖｏ）之串流技術
JP6490778B2 (ja) ビデオ方位に基づくマルチメディア適応
JP6337350B2 (ja) ビデオ品質向上
US10587904B2 (en) Processing media data using an omnidirectional media format

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4