KR101773689B1 - 비디오 방향에 기초한 멀티미디어 적응 - Google Patents

비디오 방향에 기초한 멀티미디어 적응 Download PDF

Info

Publication number
KR101773689B1
KR101773689B1 KR1020157007779A KR20157007779A KR101773689B1 KR 101773689 B1 KR101773689 B1 KR 101773689B1 KR 1020157007779 A KR1020157007779 A KR 1020157007779A KR 20157007779 A KR20157007779 A KR 20157007779A KR 101773689 B1 KR101773689 B1 KR 101773689B1
Authority
KR
South Korea
Prior art keywords
video
orientation
file
server
pss
Prior art date
Application number
KR1020157007779A
Other languages
English (en)
Other versions
KR20150052134A (ko
Inventor
오즈거 오이만
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150052134A publication Critical patent/KR20150052134A/ko
Application granted granted Critical
Publication of KR101773689B1 publication Critical patent/KR101773689B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

비디오 방향에 기초한 멀티미디어 적응을 위한 기술이 개시된다. 예시에서, 서버는, 클라이언트 디바이스로부터 디바이스 기능을 수신하고, 디바이스 기능은 비디오 방향 기능을 하며, 디바이스의 비디오 방향 기능에 기초하여 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로를 포함할 수 있다.

Description

비디오 방향에 기초한 멀티미디어 적응{MULTIMEDIA ADAPTATION BASED ON VIDEO ORIENTATION}
본 발명은 대리인 사건번호 P50328Z의 2012년 10월 26일 출원된 미국 가출원 번호 61/719,241의 우선권을 주장하고 이를 참조로서 본 명세서에 포함한다. 본 발명은 대리인 사건번호 P53504Z의 2013년 1월 17일 출원된 미국 가출원 번호 61/753,914의 우선권을 주장하고 이를 참조로서 본 명세서에 포함한다.
무선 이동 통신 기술은 노드(예를 들어, 전송 스테이션)와 무선 디바이스(예를들어, 모바일 디바이스) 사이에서 데이터를 전송하기 위해 다양한 표준 및 프로토콜을 사용한다. 일부 무선 디바이스는 다운링크(DL) 전송에서 직교 주파수 분할 다중 액세스(OFDMA) 및 업링크(UL) 전송에서 단일 캐리어 주파수 분할 다중 액세스(SC-FDMA)를 사용하여 통신한다. 신호 전송을 위한 직교 주파수 분할 멀티플렉싱(OFDM)을 사용하는 표준 및 프로토콜은 3GPP(third generation partnership project) 롱 텀 에볼루션(LTE), 산업 그룹에 일반적으로 WiMAX(Worldwide interoperability for Microwave Access)로서 알려져 있는 IEEE(Institute of Electrical and Electronics Engineer) 802.16 표준(예를 들어, 802.16e, 802.16m), 및 산업 그룹에 일반적으로 WiFi로서 알려져 있는 IEEE 802.11 표준을 포함한다.
3GPP 무선 액세스 네트워크(RAN) LTE 시스템에서, 노드는 E-UTRAN(Evolved Universal Terrestrial Radio Access Network) 노드 B(또한 일반적으로 진화된 노드 B, 향상된 노드 B, eNodeB, eNB로서 나타냄), 및 사용자 장비(UE)로서 알려진 무선 디바이스와 통신하는 무선 네트워크 제어기(RCN)의 조합이 될 수 있다. 다운링크(DL) 전송은 노드(예를 들어, eNodeB)로부터 무선 디바이스(예를 들어, UE)로의 통신이 될 수 있고, 업링크(UL) 전송은 무선 디바이스로부터 노드로의 통신이 될 수 있다.
무선 디바이스는 하이퍼텍스트 전달 프로토콜(HTTP) 스트리밍과 같은, 다양한 프로토콜을 사용하여 인터넷 비디오의 멀티미디어 전달을 수신하는데 사용될 수 있다. 비디오 스트리밍의 HTTP 기반 전달을 제공하는 프로토콜은 HTTP를 통한 동적 적응형 스트리밍(DASH)을 포함할 수 있다.
본 개시의 특징 및 장점은 본 개시의 특징을 예시의 방식으로 함께 도시하는 첨부 도면과 함께 취해진 후속하는 상세한 설명으로부터 명백해질 것이다.
도 1은 예시에 따른 패킷 스위치 스트리밍 서비스(PSS) 기능 교환에서 기능적인 컴포넌트의 도면을 도시한다.
도 2는 예시에 따른 패킷 스위치 스트리밍 서비스(PSS) 및 PSS 기반 집적 멀티미디어 서브시스템(IMS) 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS)를 위한 예시의 디바이스 기능 프로파일을 도시한다.
도 3은 예시에 따른 비디오 방향에 대한 적응을 사용하는 하이퍼텍스트 전달 프로토콜(HTTP) 기반 (DASH-based) 스트리밍을 통한 예시의 동적 적응형 스트리밍을 도시한다.
도 4는 예시에 따른 비디오 방향에 대한 적응을 사용하는 예시의 실시간 스트리밍 프로토콜 기반(RTSP-based) 스트리밍을 도시한다.
도 5는 예시에 따른 집적 멀티미디어 서브시스템(IMS) 기반 패킷 스위치 스트리밍 서비스(PSS) 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS로서 축약됨)에 대한 가입 및 통지를 사용하는 예시의 서비스 발견을 도시한다.
도 6은 예시에 따른 임베딩된 비디오 방향 정보를 갖는 콘텐츠의 수신에 기초하여 방향 인식 멀티미디어 적응을 사용하는 예시의 서버-클라이언트 인터랙션을 도시한다.
도 7은 예시에 따른 국제 표준화 기구 기반(ISO-기반) 미디어 파일 포맷(ISO-BMFF)의 구현예(instantiation)를 사용하여 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 비디오 방향 정보를 임베딩하는 것의 예시를 도시한다.
도 8은 예시에 따른 임베딩된 비디오 방향 정보를 갖는 콘텐츠의 수신에 기초한 디바이스 방향 인식 멀티미디어 적응을 사용하는 예시의 서버-클라이언트 인터랙션을 도시한다.
도 9는 예시에 따른 국제 표준화 기구(ISO) 파일 포맷 박스 구조 계층을 도시한다.
도 10은 예시에 따른 모바일 단말기(MT)의 디바이스 방향에 기초한 서버에서의 멀티미디어 적응을 위한 방법의 흐름도를 도시한다.
도 11은 예시에 따른 비디오 방향에 기초한 멀티미디어 적응에 대해 동작가능한 서버의 컴퓨터 회로의 기능을 도시한다.
도 12는 예시에 따른 서버, 노드 및 사용자 장비(UE)의 다이어그램을 도시한다.
도 13은 예시에 따른 무선 디바이스(예를 들어, UE)의 다이어그램을 도시한다.
이제 도시된 예시적인 실시예를 참조할 것이고, 특정 용어가 이를 설명하도록 본원에서 사용될 것이다. 그럼에도 불구하고 이로써 본 발명의 범위의 제한이 의도되지않는다는 것이 이해될 것이다.
본 발명이 개시되고 설명되기 이전에, 본 발명은 본원에 개시된 특정 구조, 프로세스 단계 또는 재료에 제한되는 것이 아니지만, 당업자에 의해 인식되는 바와 같은 이들과 동등한 것까지 확장됨이 이해될 것이다. 본원에서 사용된 전문 용어는 특정 예시를 설명하는 목적으로만 사용되고, 제한한 것으로 의도되지 않음을 이해해야한다. 상이한 도면에서 동일한 기준 부호는 동일한 요소를 나타낸다. 흐름도 및 프로세스에서 제공된 숫자는 단계 및 동작을 도시하는 것에서 명료성을 위해 제공되고 특정 순서 또는 시퀀스를 반드시 나타내는 것은 아니다.
기술 실시예의 첫 개요가 이하에서 제공되고 그 다음 특정 기술 실시예가 이후에 더 자세하게 설명된다. 이 첫 요약은 기술을 독자가 기술을 더 신속하게 이해하는 것을 돕는 것으로 의도되지만 기술의 주요 특징 또는 필수적인 특징을 식별하거나 청구된 청구 대상의 범위를 제한하는 것으로 의도되지는 않는다.
스트리밍 및 대화형 서비스를 포함하는 멀티미디어 서비스의 성장은 새로운 모바일 광대역 기술 및 표준으로의 진화를 이끄는 것 중 하나이다. 미디어 압축 및 무선 네트워크 인프라스트럭쳐에서의 발전과 연결된 멀티미디어 서비스에 대한 높은 소비자 수요에 의해, 셀룰러 및 모바일 브로드밴드 시스템의 멀티미디어 서비스 기능을 향상시키는 것이 바람직하고, 멀티미디어 서비스 기능은 소비자에게 고품질의 경험(QoE)을 전달하는데 사용될 수 있어서, 임의의 디바이스 및 기술을 사용하여 언제든 임의의 위치로부터 비디오 콘텐츠 및 서비스로의 유비쿼터스 액세스를 보장한다. 다양한 모바일 디바이스를 지원하고 미디어 취급 프로시져 및 다양한 디바이스 클래스 및 기능에 대해 최적화된 세션 관리 프로토콜을 제공하는 것은 유비쿼터스 방식으로 높은 QoE를 갖는 멀티미디어 콘텐츠의 전달을 가능하게 하는데 사용될 수있다.
실시간 비디오 통신에서 사용되는 모바일 디바이스에서의 방향 센서의 도입에 의해, 디스플레이 콘텐츠는 디바이스 방향으로 정렬되도록 회전될 수 있다. 예시에서, 방향 센서는 중력장을 측정함으로써 디바이스 방향을 검출할 수 있다. 다른 타입의 방향 센서가 또한 사용될 수 있다. 디바이스 방향은 또한 방향에 따라 디바이스 기능을 조정하기 위한 적용예에서 사용될 수 있다. 예를 들어, 디바이스는 디바이스 방향에 기초하여 초상화 또는 풍경화 모드 중 하나로 사용자 인터페이스 또는 비디오 방향을 회전시킬 수 있다.
일부 클라이언트 디바이스가 방향 센서를 포함하기 때문에, 최적화된 경험을 제공하기 위해 콘텐츠 또는 서비스 제공자가 상이한 디바이스 방향에 대해 최적화된 상이한 인코딩된 버전의 콘텐츠를 제공할 수 있거나 콘텐츠/서비스 제공자가 콘텐츠 캡쳐 동안 콘텐츠를 캡쳐하거나 트랜스코딩할 수 있다(예를 들어, 온 더 플라이(on-the-fly)). 사용자 장비(UE)로부터 방향 센서 기능의 네트워크로의 시그널링 및/또는 현재 디바이스 방향은 고품질 클라이언트 경험을 제공하기 위해 네트워크 측 상의 콘텐츠를 적응시키는 기회를 제공할 수 있다. 디바이스 및/또는 비디오 방향 적응에 기초한 멀티미디어 적응은 2차원(2D) 및 3차원(3D) 비디오 애플리케이션 모두에 적용할 수 있다. 2D 비디오 예시에 대해, 초상화 또는 풍경화 비디오 뷰 및/또는 상이한 뷰잉 각도가 디바이스 방향에 기초하여 적응될 수 있다. 3D 비디오 예시에 대해, 상이한 뷰잉 각도 및 깊이 정보가 디바이스 방향에 기초하여 적응될 수 있다.
기능 교환 시그널링은 3GPP(third generation partnership project) 패킷 스위치 스트리밍 서비스(PSS)(3GPP 기술 사양(TS) 26.234V11.1.0(2012-09)에서 설명됨), HTTP를 통한 동적 적응형 스트리밍(DASH)(3GPP 기술 사양(TS) 26.247V11.0.0(2012-09))에서 설명됨), 및 집적 멀티미디어 서브시스템(IMS) 기반 PSS 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(3GPP 기술 사양(TS) 26.237V11.0.0(2012-06)에서 설명된 바와 같이 IMS_PSS_MBMS으로서 축약됨)에서 중요한 기능이 될 수 있다. 기능 교환은 PSS, DASH, 및 IMS_PSS_MBMS 서버가 광범위한 디바이스에게 당해 특정 디바이스에 대해 적합한 콘텐츠를 제공하는 것을 가능하게 한다. 스트리밍을 위한 서버측 콘텐츠 협상을 용이하게 하기 위해, PSS 또는 IMS_PSS_MBMS 서버는 디바이스 기능 디스크립션을 통해 모바일 단말기(MT)의 특정 기능의 디스크립션에 액세스할 수 있다. 디바이스 기능 디스크립션은 다수의 속성을 포함한다. DASH에 대해, 디바이스 기능 시그널링의 속성은 다음의 파라미터를 포함할 수 있다: 프리 디코더(pre-decoder) 버퍼 크기, 초기 버퍼링 기간, 디코더 기능, 디스플레이 특성(예를 들어, 스크린 크기, 해상도 또는 비트 깊이), 스트리밍 방법(예를 들어, 실시간 스트리밍 프로토콜(RTSP) 또는 HTTP) 적응 지원, QoE 지원, 확장 실시간 전달 프로토콜(RTP) 제어 프로토콜(RTCP) 리포팅 지원, 및 고속 콘텐츠 스위칭 지원 뿐만 아니라 지원되는 RTP 프로파일 및 세션 디스크립션 프로토콜(SDP) 속성. 스트리밍 세션의 설정 동안, 서버는 모바일 단말기에 정확한 타입의 멀티미디어 콘텐츠를 제공하기 위해 디스크립션을 사용할 수 있다. 서버는 모바일 단말기의 기능에 관한 정보를 사용하여 어떤 스트림이 접속 단말기에 프로비져닝하는지 판정할 수 있다. 예를 들어, 서버는 스트림의 다수의 사용가능한 변형에 대한 모바일 단말기 상의 필요조건을 접속 단말기의 실제 기능과 비교하여 특정 모바일 단말기에 대해 가장 적합한 스트림을 판정할 수 있다. 기능 교환은 또한 PSS 또는 IMS_PSS_MBMS 세션에 대한 클라이언트 단말기(예를 들어, 모바일 단말기)로의 최적화된 세션 디스크립션 프로토콜(SDP) 파일 또는 DASH 세션에 대해 클라이언트 단말기로의 최적화된 미디어 제시 디스크립션(MPD) 메타데이터 파일 전달을 가능하게 한다.
도 1은 어떻게 기능 교환이 PSS 서비스에 대해 수행될 수 있는지에 관한 가능한 예시를 도시한다. 가장 단순한 도시로, 모바일 단말기(110)(또는 클라이언트 디바이스 또는 클라이언트 단말기)은 PSS 서버(130)에게 MT의 신원에 관한 정보를 통지하여서 PSS 서버가 모바일 단말기에 대한 디바이스 기능 프로파일(122)을 저장할 수 있는 디바이스 프로파일 서버(120)로부터 디바이스 기능 프로파일을 검색할 수 있다. MT는 HTTP 및/또는 RTSP 요청을 PSS 서버(170)로 송신할 수 있다. HTTP 및/또는 RTSP 요청은 URL(uniform resource locator) 디스크립터(URLdesc) 및/또는 프로파일 차(profileDiff) 헤더를 포함할 수 있다. PSS 서버는 MT(160)에 대한 디바이스 기능 프로파일에 대한 디바이스 프로파일 서버로 HTTP 요청을 송신할 수 있다. 디바이스 프로파일 서버는 MT(162)에 대한 디바이스 기능 프로파일을 갖는 PSS 서버로 HTTP 응답을 송신할 수 있다. PSS 서버는 디바이스 기능 프로파일(132)을 매칭 또는 복사할 수 있다. PSS 서버는 MT에 대한 디바이스 기능 프로파일에 기초하여 HTTP 및/또는 RTSP 답신(172) 및 멀티미디어 콘텐츠(174)를 MT로 송신할 수 있다. 예시에서, 단말기 제조사 또는 소프트웨어 판매자는 제조사 또는 판매자의 제품에 대한 디바이스 기능 프로파일 제공하기 위해 디바이스 프로파일 서버를 보유할 수 있다. 다른 예시에서, 운영자는 운영자의 가입자를 위해 디바이스 프로파일 서버를 관리할 수 있어서, 가입자가 가입자 프로파일에 대한 특정 업데이트를 가능하게 할 수 있다. 디바이스 프로파일 서버는 요청에 대해 PSS 서버로 디바이스 기능 프로파일 제공할 수 있다. 특정 시나리오에서, 모바일 단말기는 Profdiff(또는 profileDiff)로서 지칭될 수 있는 MT의 디바이스 기능 프로파일에서 이미 정의된 속성에 대한 추가 속성 또는 오버라이드로 신원 시그널링을 보충할 수 있다. Profdiff는 임시적으로 디바이스 기능 프로파일의 속성을 조정하는 것을 가능하게 할 수 있다. 예시에서, 이러한 임시 조정은 사용자 선호에 의해 트리거될 수 있다(예를 들어, 모바일 단말기가 스테레오가 가능하다고 할지라도 사용자가 특정 세션에 대해 모노 사운드를 수신하는 것을 좋아한다면).
사용자 에이전트 프로파일(UAProf) 사양은 무선 디바이스에 대한 기능 및 선호를 캡쳐하는 프로토콜을 제공할 수 있다. 이 기능 및 선호 정보는 특정 디바이스에 대한 적합한 포맷으로 콘텐츠를 생성하기 위해 콘텐츠 제공자에 의해 사용될 수 있다. UAProf는 월드와이드웹(WWW) 컨소시엄에 의해 만들어진 합성 기능/선호 프로파일(CC/PP) 사양과 관련될 수 있다. 디바이스 기능 프로파일은 CC/PP 프레임워크 및 CC/PP 적용 UAProf의 구조를 따르는 리소스 디스크립션 프레임워크(RDF) 문서가 될 수 있다. 속성은 디바이스 기능 및 선호를 특정하기 위해 사용될 수 있다. 속성 이름, 허용 값 및 시맨틱의 세트는 CC/PP 언어로 구성될 수 있고, RDF 스키마에 의해 정의될 수 있다. PSS 및 IMS_PSS_MBMS 서비스에 대해, UAProf 언어는 재사용될 수 있고 추가적인 서비스 특정 언어가 정의될 수 있다. 도 2는 PSS 및 IMS_PSS_MBMS 서비스에 대한 예시의 디바이스 기능 프로파일을 제공하고, 이는 TerminalHardware, PSS 공통, Streaming, ThreeGPFileFormat(3GP), 또는 PssSmil과 같은, 다양한 CC/PP 컴포넌트(ccpp:컴포넌트)를 정의할 수 있다.
본원에서 설명된 것과 같은 기술(예를 들어, 서버, 클라이언트 디바이스 또는 단말기, 모바일 단말기, 방법, 컴퓨터 회로, 및 시스템)은 모바일 단말기 또는 클라이언트 디바이스의 방향 센서의 디바이스 기능 교환 시그널링에 기초한 멀티미디어 적응을 제공할 수 있다.
예시에서, 적어도 두 단계의 프로세스가 수행될 수 있다. 예를 들어, 클라이언트 디바이스는 클라이언트 디바이스가 방향 센서를 갖고 있는지 여부 및 어떤 비디오 방향(예를 들어, 페이지 방향)이 클라이언트 디바이스 지원(예를 들어, 초상화, 풍경화, 또는 해경화)을 명시하는지에 관하여 서버로 시그널링할 수 있다. 비디오 방향은 PSS 언어에 대한 새로운 세트의 비디오 기능 속성이 될 수 있고, IMS_PSS_MBMS 및 DASH 세션에 적용가능할 수 있다. 클라이언트 디바이스(예를 들어, UE)의 디바이스 방향 기능 상의 디바이스 기능 속성은 비디오 디스플레이 방향 모드, 비디오 캡쳐 디바이스 방향 모드, 비디오 디바이스 방행 각도, 비디오 캡쳐 디바이스 방향 각도, UE가 방향에서의 변화에 응답하는지를 나타내는 값을 갖는 불린값 지시자, 렌더링 및 디스플레이를 위한 디폴트 디바이스 방향, 캡쳐를 위한 디폴트 디바이스 방향, 방향 센서가 비디오 캡쳐 및 디스플레이 동안 방향 변경을 검출하도록 구성된 90도 간격의 다수의 등간격 입도 레벨, UE와 연관된 카메라의 수, 또는 수평 미러링 지원의 표시를 제공하는 디바이스 방향 위치의 리스트를 포함한다. 또한, 클라이언트 디바이스는 또한 디바이스 기능 교환 시그널링 언어에 추가되는 다른 속성이 될 수 있는 디폴트 디바이스 방향 속성을 임시로 오버라이딩함으로써 ProfDiff 시그널링을 통해 현재 디바이스 방향을 시그널링할 수 있다.
다른 단계에서, 서버는 클라이언트 디바이스로부터의 방향 센서 지원 신호를 고려하고 상이한 가능한 디바이스 방향에 대해 가장 적합한 포맷으로 상이한 인코딩된 버전의 콘텐츠를 제공할 수 있다(도 6의 284 및 286 또는 도 8의 294 및 286 기준). 세션 관리 레벨에서, 클라이언트의 디바이스 방향 정보 및/또는 방향 기능으로의 액세스는 서버가 PSS 또는 IMS_PSS_MBMS 세션에서 RTSP/RTP 스트리밍에 대한 최적화된 세션 디스크립션 프로토콜(SDP) 또는 DASH 세션에서 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 최적화된 미디어 제시 디스크립션(MPD)를 전달하는 것을 가능하게 할 수 있다. 또한, 서버가 또한 콘텐츠 생성 및/또는 준비를 위한 캡쳐 프로세스를 제어한다면, 서버는 카메라 유닛(예를 들어, 다른 클라이언트 디바이스)이 상이한 가능한 디바이스 방향에 대해 가장 적합한 동일한 콘텐츠의 다수의 복사본을 캡쳐 및 압축하도록 명령할 수 있다(도 6 및 도 8의 282 기준). 서버는 또한 클라이언트 디바이스의 방향 기능에 대해 콘텐츠를 최상으로 매칭시키기 위해 트랜스코딩 및/또는 포맷 변환 온 더 플라이를 동적으로 수행할 수 있다.
본원에서 설명된 기술은 2D 및 2D 비디오 적용예 모두에 대해 적용될 수 있다. 상이한 스트리밍 패러다임(예를 들어, PSS, DASH, 및 IMS_PSS_MBMS)는 이하에서 더 자세하게 설명되는 상이한 멀티미디어 적응 방법 및 프로세스를 사용할 수 있다.
서비스는 풀(pull) 기반 스트리밍 프로세스 또는 푸쉬(push) 기반 스트리밍 프로세스를 사용할 수 있다. DASH는 풀 기반 스트리밍의 예시를 제공한다. DASH 세션에 대해, 도 3에서 도시된 바와 같이, HTTP 서버(20)는 상이한 디바이스 방향에 대해 최적화된 콘텐츠를 DASH 클라이언트(220)에 제공한다. HTTP 서버는 다양한 지원되는 디바이스 방향 상태(240)를 설명하는 DASH 클라이언트로부터의 디바이스 기능 교환 시그널링을 사용할 수 있다. DASH 클라이언트로부터의 디바이스 기능 시그널링은 또한 DASH 클라이언트로부터의 임의의 추가 시그널링이 없을 때 디바이스 방향을 나타내는 디폴트 디바이스 방향 속성을 포함할 수 있다. 디바이스 방향 및 대응하는 콘텐츠 정보의 세트는 상이한 디바이스 방향에 대한 상이한 인코딩된 콘텐츠를 갖는 미디어 제시 디스크립션(MPD) 메타데이터 파일(242)로 DASH 클라이언트로 시그널링될 수 있고, 이의 서버 클라이언트 인터랙션이 도 3에서 도시된다. DASH 클라이언트 재생기는 또한 현재 디바이스 방향을 추적하고 현재 디바이스 방향에 대해 최적화된 대응하는 버전의 콘텐츠를 요청할 수 있다. 또한, HTTP를 사용하여 MPD를 검색할 때, DASH 클라이언트는 ProfDiff에 기초한 디바이스 방향에 대한 임의의 임시 조정을 포함하는, GET 요청에서의 디바이스 방향 정보를 포함할 수 있다(예를 들어, 현재 디바이스 방향은 디폴트 디바이스 방향과 상이할 수 있다). 이 DASH 디바이스 기능 교환 시그널링 프로세스를 사용하여, HTTP 서버는 최적화된 MPD를 DASH 클라이언트(예를 들어, UE)로 전달할 수 있다.
실시간 스트리밍 프로토콜(RTSP)에 기초한 PSS 서비스 및 세션 개시 프로토콜(SIP)에 기초한 IMS_PSS_MBMS 서비스는 푸쉬 기반 스트리밍의 예시를 제공한다. PSS 또는 IMS_PSS_MBMS 서비스에 대해, 도 4에서 도시된 바와 같이, 서버(232)는 클라이언트(222)로부터 현재 디바이스 방향 정보(244)를 수신하고 디바이스 방향에 기초하여 콘텐츠를 적응시킬 수 있다. 예를 들어, 서버는 저장된 콘텐츠 버전 가운데 가장 적합한 콘텐츠 버전을 선택하거나 현재 디바이스 방향에 기초하여 콘텐츠를 동적으로 트랜스코딩하여 콘텐츠를 클라이언트(246)으로 스트리밍할 수 있고, 이의 서버-클라이언트 인터랙션이 도 4에 도시된다. 세션 디스크립션 프로토콜(SDP)에서 반송되는 세션 관련 메타데이터는 스트리밍된 콘텐츠에 대한 디바이스 방향 정보를 반송할 수 있다.
PSS 서비스에서, 클라이언트는 RTSP DESCRIBE 메시지의 디바이스 방향 정보를 서버로 송신할 수 있다. RTSP DESCRIBE 메시지는 또한 클라이언트로부터의 임의의 추가 시그널링이 없을 때 디바이스 방향을 나타내는 디폴트 디바이스 방향 속성을 포함할 수 있다. 현재 디바이스 방향이 디폴트 디바이스 방향과 상이하다면, 이 차이는 ProfDiff 시그널링에 기초한 임시 조정으로서 시그널링될 수 있다. 예시에서, 기능 교환을 지원하는 PSS 콘텐츠 서버는 또한 HTTP 및 RTSP 요청에서 클라이언트로부터 디바이스 방향 정보를 수신할 수 있다.
IMS_PSS_MBMS 서비스에서, 도 5에 도시된 바와 같이, 서비스 발견 동안 클라이언트(예를 들어, UE(250))는 SIP SUBSCRIBE 메시지(260)의 디바이스 방향 정보를 인터넷 프로토콜(IP) 멀티미디어(IM) 코어 네트워크(CN) 서브시스템(IM CN 서브시스템)(252)으로 송신할 수 있고, 그 다음 서비스 발견 기능(SDF)(254)으로 SIP SUBSCRIBE 메시지(262)를 포워딩할 수 있다. SIP SUBSCRIBE 메시지는 또한 클라이언트로부터의 임의의 추가 시그널링이 없을 때 디바이스 방향을 나타내는 디폴트 디바이스 방향을 포함할 수 있다. SDF는 적합한 서비스 발견 정보를 결정할 수 있다(예를 들어, UE 기능 또는 사용자의 프로파일(예를 들어, 개인화된 서비스 발견)에 따라). SDF는 SIP 200 OK 메시지(264)를 통해 SIP SUBSCRIBE 메시지를 IM CN 서브시스템으로 확인응답할 수 있고, IM CN 서브시스템은 SIP 200 OK 메시지(266)를 UE로 포워딩할 수 있다.
SDF(254)는 서비스 첨부 정보를 생성 및/또는 제공 및/또는 개인화된 서비스 발견을 제공할 수 있다. IM CN 서브시스템(252)은 사용자 등록 및 인증, 이동성 및 로밍, 멀티미디어 세션의 제어, 서비스 품질(Qos) 제어, 정책 제어, 충전, 및 회로 스위치 시스템과의 상호연동을 지원할 수 있다.
SDF(254)는 UE(250)에 대한 서비스 발견 정보를 갖는 SIP NOTIFY 메시지(268)를 IM CN 서브시스템(252)으로 송신할 수 있고, 이는 SIP NOTIFY 메시지(270)를 다시 UE로 중계시킨다. UE는 SIP 200 OK 메시지(272)를 통해 SIP NOTIFY 메시지를 IM CN 서브 시스템으로 확인응답할 수 있고, IM CN 서브 시스템은 SIP 200 OK 메시지(274)를 SDF로 포워딩할 수 있다. 예시에서, SDF 및 IM CN 서브시스템 프레임워크를 사용하는 것은 PSS 및 MPMS 사용자 서비스에서 디바이스 방향 정보를 활용하는 최적화된 서비스 발견을 가능하게 할 수 있다. IMS 세션에서 이후에, UE는 또한 ProfDiff에 기초한 디바이스 방향에 대한 임의의 임시 조정을 포함하는 업데이트를 나타내도록 SIP 시그널링을 사용할 수 있고(예를 들어, 현재 디바이스 방향이 디폴트 디바이스 방향과 상이하다면), 이는 추가 SIP SUBSCRIBE 메시지를 통해 가입을 갱신함으로써 수행될 수 있다. SIP SUBSCRIBE 메시지는 디바이스 방향 정보에 대한 업데이트를 위한 정보를 포함할 수 있다.
새로운 속성이 PSS 언어 디바이스 기능 교환 시그널링에 추가될 수 있다. 예를 들어, 속성 "Orientation" 및 "DefaultOrientation"(또는 유사한 기능을 갖는 속성)는 TS 26.234에서 PSS 기반 언어의 PSS 공통 컴포넌트에 포함될 수 있다. 속성은 이름, 정의, 연관된 컴포넌트, 타입, 적법 값(또는 유효 옵션), 및 해상도 규칙을 가질 수 있다.
예시에서, "Orientation" 및 "DefaultOrientation"에 대한 콘텍스트는 다음과 같이 정의될 수 있다.
속성 이름 : Orientation
속성 정의 : 클라이언트에 의해 지원되는 상이한 디바이스 방향 상태의 리스트
컴포넌트 : PSS 공통
타입 : 리터럴(백)
적법 값 : "초상화", "풍경화, "해경화" 등.
해상도 규칙 : 첨부
예시 : <Orientation>
<rdf:Bag>
<rdf:li>Portrait</rdf:li> <rdf:li>Landscape</rdf:li>
<rdf:li>Seascape</rdf:li>
</rdf:Bag>
</Orientation>
속성 이름 : DefaultOrientation
속성 정의 : 콘텐츠 생성/선택을 위한 기준으로서 취해질 디폴트 디바이스 방향
컴포넌트 : PSS 공통
타입 : 리터럴
적법 값 : "초상화", "풍경화, "해경화" 등.
해상도 규칙 : 잠금
예시 : <DefaultOrientation>Landscape</DefaultOrientation>
다른 예시에서, 캡쳐 및 렌더링 및/또는 디스플레이 중 디바이스 방향 인식의 관점에서 잠재적인 차이를 식별하는 것은 또한 PSS 언어의 PSS 공통 컴포넌트에 대해 정의될 수 있다. 두 속성은 캡쳐 및 디스플레이를 위해 클라이언트에 의해 지원되는 상이한 디바이스 방향 모드의 리스트를 포함할 수 있고(예를 들어, "OrientationModesCapture" 및 "OrientationModesDisplay"), 및 두 속성은 캡쳐 및 디스플레이를 위해 디폴트 디바이스 방향의 리스트를 포함할 수 있다(방향 센서가 사용불가능하거나 존재하지 않는다면)(예를 들어, "DefaultOrientationCapture" 및 "DefaultOrientationDisplay"). 이러한 속성에 대해 가능한 신택스는 다음과 같을 수 있다.
속성 이름 : OrientationModeCapture
속성 정의 : 캡쳐링을 위해 클라이언트에 의해 지원되는 상이한 디바이스 방향 모드의 리스트
컴포넌트 : PSS 공통
타입 : 리터럴(백)
적법 값 : "초상화", "풍경화, "해경화"
해상도 규칙 : 첨부
예시 : <OrientationModesCapture>
<rdf:Bag>
<rdf:li>Portrait</rdf:li>
<rdf:li>Landscape</rdf:li>
</rdf:Bag>
</OrientationModesCapture>
속성 이름 : OrientationModeDisplay
속성 정의 : 렌더링 및 디스플레이를 위해 클라이언트에 의해 지원되는 상이한 디바이스 방향 모드의 리스트
컴포넌트 : PSS 공통
타입 : 리터럴(백)
적법 값 : "초상화", "풍경화, "해경화"
해상도 규칙 : 첨부
예시 : <OrientationModesDisplay>
<rdf:Bag>
<rdf:li>Portrait</rdf:li>
<rdf:li>Landscape</rdf:li>
</rdf:Bag>
</OrientationModesDisplay>
속성 이름 : DefaultOrientationCapture
속성 정의 : 카메라 센서의 설치에 기초하여 캡쳐링하기 위한 디폴트 디바이스 방향(방향 센서가 사용불가능 또는 존재하지 않는 경우)
컴포넌트 : PSS 공통
타입 : 리터럴
적법 값 : "초상화", "풍경화, "해경화"
해상도 규칙 : 잠금
예시 :
<DefaultOrientationCapture>Landscape</DefaultOrientationCapture>
속성 이름 : DefaultOrientationDisplay
속성 정의 : 렌더링 및 디스플레이를 위한 디폴트 디바이스 방향(방향 센서가 사용불가능 또는 존재하지 않는 경우)
컴포넌트 : PSS 공통
타입 : 리터럴
적법 값 : "초상화", "풍경화, "해경화"
해상도 규칙 : 잠금
예시 :
<DefaultOrientationDisplay>Landscape</DefaultOrientationDisplay>
다른 구성에서, 방향 모드의 세트는 또한 디바이스의 방향 변화에 기초한 90도 보다 작은 각도를 갖는 이미지의 회전을 가능하게 하는 추가 모드를 포함할 수 있다. 각도가 90도보다 작을 때, 위에서 정의된 "OrientationModesCapture" 및 "OrientationModesDisplay" 속성(또는 유사한 기능을 갖는 속성)은 또한 방향 모드에 대한 추가적인 적법 값을 포함할 수 있어서 더 미세한 방식으로 이미지의 이러한 회전을 구현한다.
다른 예시에서, 두 추가적인 속성(예를 들어, "OrientationAngularGranularityCapture" 및 "OrientationAngularGranularityDisplay")은 디바이스 센서가 캡쳐 또는 렌더링/디스플레이 동안 방향 변화를 검출할 수 있는 것에 의해 디바이스 센서의 기능 및 각도 입도에 대한 디바이스의 방향 인식을 특징화하는데 사용될 수 있다. 예를 들어, 이러한 두 속성은 다음과 같이 정의될 수 있다.
속성 이름 : OrientationAngularGranularityCapture
속성 정의 : 디바이스 센서가 캡쳐 동안 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨
컴포넌트 : PSS 공통
타입 : 숫자
적법 값 : 1과 8 사이의 정수 값
해상도 규칙 : 잠금
예시 :
<OrientationAngularGranularityCapture>2</OrientationAngularGranularityCapture>
속성 이름 : OrientationAngularGranularityDisplay
속성 정의 : 디바이스 센서가 렌더링 및 디스플레이 동안 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨
컴포넌트 : PSS 공통
타입 : 숫자
적법 값 : 1과 8 사이의 정수 값
해상도 규칙 : 잠금
예시 :
<OrientationAngularGranularityDisplay>2</OrientationAngularGranularityDisplay>
"OrientationAngularGranularityCapture" 및 "OrientationAngularGranularityDisplay"에 대한 위의 예시에서, 방향 변화의 검출에 대한 가장 높은 가능한 각도 입도는 11.25도로 가정되고, 따라서 속성 값은 1과 8 사이의 정수 값으로 제한된다. 다른 예시에서, 입도의 더 높은 레벨이 더 향상된 방향 센서 기능에 의해 가능할 수 있어서, 속성은 더 높은 정수 값을 사용할 수 있다.
다른 구성에서, 단일 속성(예를 들어, "OrientationAngularGranularityDisplay")은 디바이스 센서가 방향 변화를 검출할 수 있는 각도 입도에 대한 디바이스의 방향 인식을 특징화하는데 사용될 수 있어서 속성은 캡쳐 및 렌더링/디스플레이 모두에 대해 유효할 수 있다. 이러한 설명에서, 추가적인 속성이 다음과 같이 정의될 수 있다.
속성 이름 : OrientationAngularGranularityDisplay
속성 정의 : 디바이스 센서가 캡쳐 및 렌더링/디스플레이 동안 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨
컴포넌트 : PSS 공통
타입 : 숫자
적법 값 : 1과 8 사이의 정수 값
해상도 규칙 : 잠금
예시 :
<OrientationAngularGranularity>8</OrientationAngularGranularity>
다른 예시에서, 다른 속성(예를 들어, "NumOfCameras")은 클라이언트 디바이스(예를 들어, 모바일 단말기) 상의 캡쳐 카메라의 수를 식별하도록 정의될 수 있다. 하나 이상의 값은 클라이언트 디바이스가 전면 및 후면 카메라 모두를 갖는다는 것을 나타낼 수 있고, 이는 방향 인식 적응을 위해 유리할 수 있다. "NumOfCameras" 속성에 의해 도시된 예시에 대해, 최대 카메라 개수는 4개로 가정된다. 다른 예시 및 카메라 개수가 또한 가능할 수 있다.
속성 이름 : NumOfCameras
속성 정의 : 디바이스 상의 카메라의 수
컴포넌트 : PSS 공통
타입 : 숫자
적법 값 : 1과 4 사이의 정수 값
해상도 규칙 : 잠금
예시 :
<NumOfCameras>2</NumOfCameras>
다른 구성에서, 디바이스가 수평 미러링(예를 들어, 회전 이후에 이미지의 수평 플립핑(flipping))을 지원하는지 여부를 나타내도록 다른 속성(예를 들어, "HorizontalMirroringSupport")이 정의될 수 있다. 이 추가 속성은 일부 디바이스가 센서 구성에 기인하여 수평으로 미러링된 이미지를 캡쳐하는 것을 가능하게 할 수 있다. 예를 들어, 수평 미러링에 대한 기능 교환 시그널링에 기초하여, 서버가 수신 클라이언트 디바이스가 수평 미러링을 지원한다는 것을 판정할 때, 서버는 수신 클라이언트 디바이스가 미러링을 갖는다는 것을 판정할 수 있고 수평 미러링에 대해 보상할 수 있다. 수평 미러링 속성의 예시는 다음과 같을 수 있다.
속성 이름 : HorizontalMirroringSupport
속성 정의 : 디바이스가 방향 인식이면, 이 속성은 디바이스가 또한 수평 미러링, 즉, 센서 구성에 기초한 회전 이후의 이미지 플립핑을 지원하는지 여부를 나타낸다.
컴포넌트 : PSS 공통
타입 : 리터럴
적법 값 : "예", "아니오"
해상도 규칙 : 잠금
예시 :
<HorizontalMirroringSupport>2</HorizontalMirroringSupport>
설명된 기술은 방향성 비디오 컴포넌트를 사용하여 콘텐츠의 스트리밍 또는 다운로드를 제공한다. 디바이스 방향 인식 멀티미디어 적응은 방향성 비디오 컴포넌트를 사용하여 이전에 캡쳐된 및 업로드된 콘텐츠의 스트리밍 또는 다운로드를 제공한다. 예를 들어, PSS 다운로드 또는 MBMS 다운로드 적용예의 부분으로서, 서버는 이후 플레이백을 위해 비실시간 방식으로 클라이언트에게 방향성 비디오 컴포넌트를 사용하여 캡쳐된 콘텐츠를 푸쉬할 수 있다. 또는 DASH 기반 스트리밍 서비스의 부분으로서, HTTP 서버는 사용자 발생 콘텐츠(UGC)를 DASH 클라이언트에게 전달할 수 있고 방향성 비디오 컴포넌트를 포함할 수 있다. RTP 기반 스트리밍을 위해 UGC 콘텐츠가 PSS 서버로부터 전달될 수 있다. 이들 콘텍스트에서, 서버는 클라이언트 디바이스에 의해 지원되는 비디오 방향 기능에 대한 정보를 수신하고 단말기의 비디오 방향 기능에 기초하여 최적 전달 전략을 결정하고(예를 들어, 다양한 저장된 콘텐츠 버전 중 가장 적합한 콘텐츠 버전을 선택 및/또는 콘텐츠를 동적으로 트랜스코딩) 클라이언트에게 최적으로 선택된 콘텐츠를 전달할 수 있다.
예를 들어, 서버가 콘텐츠가 방향 인식 단말기에 의해 캡쳐되는지를 판정한다면(예를 들어, 3GP 기반 콘텐츠 파일의 검사를 통해), 수신 클라이언트 디바이스는 방향 인식이 아닌 반면(예를 들어, PSS 디바이스 기능 시그널링 매커니즘에 기초하는 것으로 알려짐), 서버는 콘텐츠가 이후 렌더링 및 디스플레이 동안 오정렬 문제를 정정하고 회피하도록 프로세싱(예를 들어, 트랜스코딩을 적용)할 수 있다. 수신 클라이언트 디바이스가 방향 인식이면, 서버는 오정렬을 정정할 필요가 없지만, 대신에 콘텐츠에 임베딩된 비디오 방향 정보를 따라 "있는 그대로(as is)" 콘텐츠를 송신하도록 선택할 수 있어서(예를 들어, RTP 스트리밍에 대해 RTP 확장 헤더에서 또는 HTTP 스트리밍 및 DASH에 대해 3GP 파일 내부에서) 수신 클라이언트 디바이스가 오정렬을 정정할 수 있다.
도 6은 임베딩된 비디오 방향 정보를 갖는 콘텐츠의 수신에 기초하여 방향 인식 미디어 전달을 구현하는 예시의 서버-클라이언트 인터랙션을 도시한다. 예를 들어, 캡쳐링 클라이언트(224)는 임베딩된 비디오 방향 정보(282)를 갖는 콘텐츠(예를 들어, 3GP 파일)를 서버(232)로 캡쳐 및 업로드하는 것에 의해 비디오 방향 정보를 캡쳐할 수 있다. 다른 예시에서, 렌더링 클라이언트(226)는 비디오 방향 기능 정보(280)를 갖는 디바이스 프로파일을 서버로 시그널링할 수 있다. 이전에 설명된 바와 같이, 서버는 렌더링 클라이언트(284)에서 잠재적인 오정렬을 정정하도록 방향 프로세싱을 수행할 수 있다. 서버는 또한 스트리밍 또는 다운로드 서비스(286)의 부분으로서 렌더링 클라이언트에게 적응된 콘텐츠를 전달할 수 있다.
본원에서 설명된 기술은 또한 3GP 파일과 같은 캡쳐된 콘텐츠로 비디오 방향 정보를 임베딩할 수 있다. 도 7에 도시된 바와 같이, 스트리밍 및 다운로드 애플리케이션의 부분으로서 서버에 의한 나중 사용을 위해 국제 표준화 기구(ISO) 기본 미디어 파일 포맷(BMFF)(310)의 구현예로서 비디오 방향 정보를 3GP 파일(3GPP 기술 사양(TS) 26.244V11.1.0(2012-09)에서 설명됨, 예를 들어, MPEG-4(moving picture experts group-4) 파일 포맷(312)의 mp4 파일(314))에 임베딩하는 것이 유리할 수 있다. 3GP 파일에서의 이러한 비디오 방향 정보의 포함은 서버가 디바이스에 대한 콘텐츠 전달을 최적화하기 위한 방향 인식 멀티미디어 적응을 수행하는 것을 더 가능하게 할 수 있다(예를 들어, 방향 인식 디바이스로 송신하기 이전에 오정렬 문제를 회피하기 위해 비디오를 정정). 임베딩된 비디오 방향 정보는 PSS 언어 및 디바이스 기능 시그널링 프레임워크에서 디바이스 방향 기능 속성에 제공될 수 있다. 콘텐츠 파일(예를 들어, mp4 파일(314))은 "moov" 박스(316)와 같은, 초기화 세그먼트 및 미디어 데이터(mdat(318))를 포함할 수 있다. moov 박스는 초기 객체 디스크립터(IOD)(320), BIFS(Binary Format for Scene) 트랙(322), 객체 디스크립터(OD) 트랙, 비디오 트랙(326), 및 오디오 트랙(328)을 포함할 수 있다. 임베딩된 비디오 방향 정보(330)는 비디오 트랙에 포함될 수 있다. mdat는 인터리빙된, 시간 순서의, BIFS, OD 비디오, 및 오디오 액세스 유닛(AC)을 포함할 수 있다.
도 8은 임베딩된 비디오 방향 정보를 갖는 콘텐츠의 수신에 기초하여 방향 인식 미디어 전달을 구현하는 예시의 서버-클라이언트 인터랙션을 도시한다. 예를 들어, 캡쳐링 클라이언트(224)는 임베딩된 비디오 방향 정보(282)를 갖는 콘텐츠(예를 들어, 3GP 파일)를 서버(232)로 캡쳐 및 업로드하는 것에 의해 비디오 방향 정보를 캡쳐할 수 있다. 다른 예시에서, 렌더링 클라이언트(226)는 비디오 방향 기능 정보(280)를 갖는 디바이스 프로파일을 서버로 시그널링할 수 있다. 이전에 설명된 바와 같이, 서버는 잠재적인 오정렬을 정정하고 렌더링 클라이언트(294)의 방향 기능과 관련하여 콘텐츠 전달을 최적화하도록 방향 인식 콘텐츠 적응, 선택, 트랜스코딩 및/또는 포맷 변환을 수행한다. 서버는 또한 서비스(286) 스트리밍 또는 다운로드의 부분으로서 렌더링 클라이언트에게 적응된 콘텐츠를 전달할 수 있다.
따라서, 예시에서, 비디오 방향 정보의 포함은 캡쳐된 이미지의 일련의 방향 값의 계속적인 기록으로서 3GP 파일 포맷 내에서 로깅(logged)될 수 있다. 박스는 타이밍된 비디오 방향 정보에 대해 ISO 기본 미디어 파일 포맷(ISO-BMFF) 또는 3GPP 파일 포맷으로 정의될 수 있다. 예를 들어, 3GPP 파일 포맷(3GP)의 비디오 트랙 또는 RTP 힌트 트랙은 방향 정보를 임베딩하는데 사용될 수 있다. DASH 기반으로 포맷팅된 콘텐츠에 대해, 도 7에서 도시된 바와 같이, 비디오 방향 정보는 초기화 세그먼트에서(예를 들어, ISO-BMFF에 대한 "moov" 박스에서) 또는 미디어 세그먼트에서(예를 들어, ISO-BMFF에 대한 "moof" 박스에서)와 같은, 파일 레벨 ISO-BMFF 박스 내에서 반송될 수 있다. 다른 예시에서, ISO-BMFF의 타이밍된 메타데이터 트랙은 비디오 방향 정보를 포함하는 트랙으로서 선택될 수 있다. 예를 들어, 비디오 방향 파라미터의 디스크립션으로 MetaDataSampleEntry를 확장시키는 비디오 방향에 대해 특히 새로운 박스가 생성될 수 있다. 도 9에 도시된 바와 같이, ISO 파일 포맷 박스 구조 계층에서 샘플 디스크립션 박스(350) 내의 다른 박스는 또한 MP4VisualSampleEntry, AVCSampleEntry, 또는 HintSampleEntry를 포함할 수 있는 비디오 방향 정보를 포함하도록 사용될 수 있다. ISO 파일 포맷 박스 구조 계층은 무비 박스(340), 트랙 박스(342), 미디어 박스(344), 미디어 정보 박스(346), 샘플 테이블 박스(348), 및 샘플 디스크립션 박스를 포함할 수 있고, 고차의 박스가 먼저 리스팅된다.
다른 구성에서, 비디오 방향 정보는 90도 입도, GSM(global system for communication, 본래 groupe special mobile) 조합(GSMA) RCS(rich communication servcie) 5.1 프로파일에 의해 또한 지원되는 것으로서 플립 비트(예를 들어, 수평 플립) 및 RCS 5.1에서와 같은 카메라 비트(전면 대 후면 카메라로 시그널링)를 지원할 수 있다. 예를 들어, 비디오 방향 정보(예를 들어, 캡쳐된 이미지의 방향의 세트)는 다음과 같이 포맷팅된 바이트(3GPP 기술 사양(TS) 26.114V11.5.0(2012-09)에서 적응된 포맷과 일치함)로서 반송될 수 있다.
비트# 7(MSB) 6 5 4 3 2 1 0(LSB)
정의 R R R R C F R1 R0
다음의 정의를 사용한다. R=예비, 예비 비트가 제로로 설정될 수 있고 다음 사용을 위해 예비될 수 있다. C=카메라, 비디오 스트림에 대해 사용되는 카메라의 방향을 나타낸다(예를 들어, 0은 사용자를 대면하는 전면 카메라를 나타낼 수 있고, 카메라 방향이 알려져 있지않으면, 제로가 사용될 수 있고, 1은 사용자로부터 외면하는 후면 카메라를 나타낼 수 있다. F=플립, 링크 상에 송신되는 것으로서 비디오 상의 수평(좌-우 플립) 미러 동작을 나타낸다(예를 들어, 0은 플립 동작이 없다는 것을 나타낼 수 있고, 1은 수평 플립 동작을 나타낼 수 있다). R1,R0=회전, 회전 시그널링에 대한 표 1에서 도시된 바와 같이, 링크 상에 전송되는 것과 같은 비디오의 회전을 나타낸다. 방향 인식 수신기는 회전을 보상하도록 비디오를 회전시킬 수 있다(예를 들어, 90˚반시계방향 회전은 디스플레이하기 이전에 90˚시계방향 회전에 의해 수신기(예를 들어, 렌더링 클라이언트 디바이스)에 의해 보상될 수 있다). 대안으로, 비디오는 방향 비인식 클라이언트 수신기(예를 들어, 렌더링 클라이언트 디바이스)로의 전송 이전에 서버에 의해 회전될 수 있다. 다른 예시에서, 다른 정의가 사용될 수 있다.
R1 R2 링크 상에서 송신되는 비디오의 회전 디스플레이 이전에 수신기 상의 회전
0 0 0˚회전 없음
0 1 90˚반시계방향(CCW) 회전 또는 270˚시계방향(CW) 회전 90˚CW 회전
1 0 180˚CCW 회전 또는 180˚CW 회전 180˚CW 회전
1 1 270˚CCW 회전 또는 90˚CW 회전 90˚CCW 회전
도 10의 흐름도에서 도시된 바와 같이, 다른 예시는 모바일 단말기(MT)의 디바이스 방향에 기초한 서버에서의 멀티미디어 적응을 위한 방법(500)을 제공한다. 방법은 머신 또는 컴퓨터 회로 상의 명령어로서 실행될 수 있고, 명령어는 적어도 하나의 컴퓨터 판독가능 매체 또는 하나의 비일시적 머신 판독가능 저장 매체 상에 포함된다. 블록(510)에서와 같이, 방법은 서버에서 모바일 단말기(MT)의 비디오 방향 기능을 수신하는 동작을 포함한다. 블록(520)에서와 같이, 방법의 다음 동작은 디바이스의 비디오 방향 기능에 기초하여 MT에서 오정렬을 정정하는 멀티미디어 콘텐츠의 방향 인식 프로세싱이 될 수 있다.
예시에서, 방법은, MT가 캡쳐된 이미지의 일련의 비디오 방향 값의 계속적인 기록으로서 비디오를 캡쳐하도록 명령하는 단계와, MT가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일 또는 국제 표준화 기구(ISO) 기반 미디어 파일 포맷(ISO-BMFF) 파일의 구현예로서 타이밍된 비디오 방향 정보를 임베딩하도록 명령하는 단계를 더 포함할 수 있다. 비디오 방향 정보는, 3GP 파일의 비디오 트랙 또는 실시간 전달 프로토콜(RTP) 힌트 트랙과, 파일 레벨 ISO-BMFF 박스―파일 레벨 ISO-BMFF 박스는 'moov' 박스 초기화 세그먼트 또는 'moof' 박스 미디어 세그먼트임―와, ISO-BMFF의 타이밍된 메타데이터 트랙 또는 ISO 파일 포맷 박스 구조에서 샘플 디스크립션 박스 내에서 비디오 방향 파라미터를 갖는 SampleEntry에 임베딩될 수 있다. 비디오 방향 정보는 90도 입도를 지원하는 회전 비트, 수평 플립을 위한 플립 비트, 또는 GSMA(GSM(global system for mobile communications) association) RCS(rich communication services) 5.1 프로파일을 포함할 수 있다. 다른 예시에서, MT가 비디오를 캡쳐하도록 명령하는 단계는 MT가 캡쳐된 비디오의 다수의 복사본 또는 방향을 캡쳐 및 압축하도록 명령하는 단계를 더 포함할 수 있다.
다른 구성에서, 방향 인식 프로세싱의 동작은, 디바이스의 비디오 방향 기능에 기초하여 다수의 저장된 콘텐츠 버전으로부터 캡쳐된 콘텐츠의 콘텐츠 버전을 선택하는 단계, 또는 디바이스의 비디오 방향 기능에 기초하여 캡쳐된 콘텐츠를 동적으로 트랜스코딩 또는 변환하는 단계와, 패킷 스위치 스트리밍 서비스(PSS) 실시간 전달 프로토콜(RTP) 스트리밍, PSS 다운로드, 또는 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS) 다운로드에서 방향성 비디오 컴포넌트를 사용하여 캡쳐된 콘텐츠를 푸싱하거나, 하이퍼텍스트 전달 프로토콜(HTTP) 스트림, HTTP를 통한 동적 적응형 스트리밍(DASH) 스트림, 실시간 전달 프로토콜(RTP) 스트림, 또는 세션 디스크립션 프로토콜(SDP) 파일에서 비디오 방향 정보의 존재를 나타내고 RTP 스트림에 대해 RTP 확장 헤더에서의 대응하는 비디오 방향 정보를 나타내는 실시간 스트리밍 프로토콜(RTSP)에서 방향성 비디오 컴포넌트를 사용하여 캡쳐된 콘텐츠를 동적으로 전달하는 단계를 더 포함할 수 있다.
도 11의 흐름도에서 도시된 바와 같이, 다른 예시는 비디오 방향에 기초한 멀티미디어 적응을 위해 동작가능한 서버의 컴퓨터 회로의 기능(600)을 제공한다. 기능은 머신 상의 명령어로서 실행될 수 있는 방법 또는 기능으로서 구현될 수 있고, 명령어는 적어도 하나의 컴퓨터 판독가능 매체 또는 하나의 비일시적 머신 판독가능 저장 매체 상에 포함된다. 블록(610)에서와 같이, 컴퓨터 회로는 클라이언트 디바이스로부터 디바이스 기능을 수신하도록 구성될 수 있고, 디바이스 기능은 비디오 방향 기능을 포함한다. 블록(620)에서와 같이, 컴퓨터 회로는 디바이스의 비디오 방향 기능에 기초하여 비디오 방향 인식 멀티미디어 적응을 수행하도록 더 구성될 수 있다.
예시에서, 컴퓨터 회로는 업데이트된 비디오 방향 기능이 프로파일 차(Profdiff) 시그널링을 통해 클라이언트 디바이스로부터 수신될 때 클라이언트 디바이스의 디폴트 비디오 방향 기능 정보를 오버라이딩하도록 더 구성될 수 있다. 다른 예시에서, 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로는 방향 인식 콘텐츠 적응, 방향 인식 콘텐츠 선택, 방향 인식 트랜스코딩, 또는 방향 인식 포맷 변환을 수행하여 비디오 방향 오정렬을 정정하고 정정된 비디오 방향을 갖는 클라이언트 디바이스에서 콘텐츠 플레이백을 보장하도록 더 구성될 수 있다.
다른 구성에서, 컴퓨터 회로는 스트리밍 서비스를 통해 클라이언트 디바이스로 방향 인식 적응된 콘텐츠를 전달하거나 클라이언트 디바이스 비디오 방향 기능에 기초하여 서비스를 다운로드 하도록 더 구성될 수 있다. 방향 인식 적응된 콘텐츠는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 클라이언트 디바이스의 비디오 방향 기능에 따라 상이하게 인코딩된 콘텐츠를 갖는 미디어 제시 디스크립션(MPD) 메타데이터 파일을 포함할 수 있다. 방향 인식 적응된 콘텐츠는 대응하는 RTP 스트림에서 방향성 비디오 컴포넌트의 존재를 나타내는 세션 디스크립션 프로토콜(SDP) 파일 및 실시간 전달 프로토콜(RTP) 스트림에 대한 현재 비디오 방향 정보를 나타내는 RTP 헤더 확장을 포함할 수 있다.
다른 예시에서, 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림, HTTP를 통한 동적 적응형 스트리밍(DASH), 또는 실시간 전달 프로토콜(RTP) 스트림의 멀티미디어 콘텐츠를 상이한 비디오 방향으로 동적으로 트랜스코딩 또는 변환하도록 더 구성되고, 이는 클라이언트 디바이스에 대한 디바이스 기능은 방향 인식 프로세싱 기능을 포함하지 않을 때이다. 또는, 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로는 미디어 제시 디스크립션(MPD) 또는 세션 디스크립션 프로토콜(SDP) 파일에 비디오 방향 표시 정보를 임베딩하도록 더 구성될 수 있고, 이는 클라이언트 디바이스에 대한 디바이스 방향 기능이 비디오 방향 인식 프로세싱 기능을 나타내어 클라이언트 디바이스가 클라이언트 디바이스 상에서 비디오 방향 프로세싱 엔진을 활성화시키고 대역 내 미디어 스트림에서 비디오 방향 표시 정보를 획득할 수 있을 때이다. 또는, 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로는 국제 표준화 기구(ISO) 기본 미디어 파일 포맷(ISO-BMFF) 파일 또는 실시간 전달 프로토콜(RTP) 확장 헤더의 구현예로서 비디오 방향 정보를 임베딩하도록 더 구성될 수 있고, 이는 클라이언트 디바이스에 대한 디바이스 방향 기능이 비디오 방향 인식 프로세싱 기능을 나타내어서 클라이언트 디바이스가 멀티미디어 콘텐츠의 디스플레이 방향을 정정할 수 있을 때이다.
다른 구성에서, 디바이스 기능을 수신하도록 구성된 컴퓨터 회로는 패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 비디오 방향 속성을 수신하도록 더 구성될 수 있다. 비디오 방향 속성은 PSS 공통 컴포넌트가 될 수 있고, 이는 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 Orientation 속성, 콘텐츠 생성 또는 선택에 대한 기준으로서 취해질 디폴트 비디오 방향을 제공하는 DefaultOrientation 속성, 캡쳐링을 위해 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesCapture 속성, 렌더링 및 디스플레이를 위해 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesDisplay 속성, 방향 센서가 사용불가능하거나 존재하지 않는다면 카메라 센서의 설치에 기초하여 캡쳐링을 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationCapture 속성, 방향 센서가 사용불가능하거나 존재하지 않는다면 렌더링 및 디스플레이를 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationDisplay 속성, 디바이스 센서가 캡쳐 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityCapture 속성, 디바이스 센서가 렌더링 및 디스플레이 또는 캡쳐와 렌더링 및 디스플레이 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityDisplay 속성, 디바이스 상의 카메라의 수로부터 선택되는 NumOfCameras 속성, 또는 디바이스가 방향 인식일 때 수평 미러링을 지원하는 여부를 나타내는 HorizontalMirroringSupport 속성을 포함한다.
다른 예시에서, 컴퓨터 회로는, 클라이언트 디바이스가 상이한 디바이스 방향에 대해 비디오 세그먼트를 캡쳐 및 압축하도록 명령하고, 클라이언트 디바이스가 3GPP(third generation partnership project) 파일 포맷(3GP) 파일 또는 국제 표준화 기구(ISO) 기반 미디어 파일 포맷(ISO-BMFF) 파일의 구현예로서 타이밍된 비디오 방향 정보를 임베딩하도록 명령하도록 더 구성될 수 있다. 비디오 방향 정보는, 3GP 파일의 비디오 트랙 또는 실시간 전달 프로토콜(RTP) 힌트 트랙과, 파일 레벨 ISO-BMFF 박스―파일 레벨 ISO-BMFF 박스는 'moov' 박스 초기화 세그먼트 또는 'moof' 박스 미디어 세그먼트임―와, ISO-BMFF의 타이밍된 메타데이터 트랙 또는 ISO 파일 포맷 박스 구조에서 샘플 디스크립션 박스 내에서 비디오 방향 파라미터를 갖는 SampleEntry에 임베딩될 수 있다.
다른 구성에서, 서버는 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 서버, HTTP를 통한 동적 적응형 스트리밍(DASH) 서버, 또는 PSS 기반 집적 멀티미디어 서브시스템(IMS) 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 서버를 포함할 수 있다.
도 12는 방향 인식 프로세싱 기능을 제공하는 예시의 클라이언트 디바이스(720), 노드(710), 및 서버(730)를 도시한다. 도 10의 500에서 설명된 바와 같이, 서버는 모바일 단말기(MT)의 디바이스 방향에 대한 멀티미디어 적응을 위해 구성될 수 있다. 다른 구성에서, 도 11의 600에서 설명된 바와 같이, 서버는 비디오 방향에 기초한 멀티미디어 적응을 위해 동작가능할 수 있다. 노드(710)는 기지국(BS), 노드 B(NB), 진화된 노드 B(eNB), 기저대역 유닛(BBU), 원격 무선 헤드(RRH), 원격 무선 장비(RRE), 원격 무선 유닛(RRU) 또는 중앙 프로세싱 모듈(CPM)을 포함할 수 있다.
도 12로 다시 참조하면, 클라이언트 디바이스(720)는 프로세서(722), 송수신기(724), 방향 센서(726)를 포함할 수 있다. 프로세서는 비디오 방향 기능을 결정하기 위해 구성될 수 있다. 송수신기는 서버로 비디오 방향 기능 정보를 전송하도록 구성될 수 있다.
예시에서, 클라이언트 디바이스의 현재 비디오 방향 기능 정보는 프로파일 차(Profdiff) 시그널링을 통해 디폴트 비디오 방향 기능 정보를 오버라이딩할 수 있다. 프로세서(722)는, 디바이스 방향에 기초하여 특정 미디어 세그먼트에 대한 특정 비디오 방향으로 비디오를 캡쳐하고, 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 국제 표준화 기구(ISO) 기반 미디어 파일 포맷(ISO-BMFF) 파일의 구현예로서 캡쳐된 비디오에 대한 비디오 방향 정보를 임베딩하도록 구성될 수 있다. 비디오 방향 정보는, 3GP 파일의 비디오 트랙 또는 실시간 전달 프로토콜(RTP) 힌트 트랙과, 파일 레벨 ISO-BMFF 박스―파일 레벨 ISO-BMFF 박스는 'moov' 박스 초기화 세그먼트 또는 'moof' 박스 미디어 세그먼트임―와, ISO-BMFF의 타이밍된 메타데이터 트랙 또는 ISO 파일 포맷 박스 구조에서 샘플 디스크립션 박스 내에서 비디오 방향 파라미터를 갖는 SampleEntry에 임베딩될 수 있다. 다른 예시에서, 비디오 방향 정보는 90도 입도를 지원하는 회전 비트, 수평 플립을 위한 플립 비트, 또는 GSMA(GSM(global system for mobile communications) association) RCS(rich communication services) 5.1 프로파일에서 전면 또는 후방 카메라 방향을 나타내는 카메라 비트를 포함할 수 있다. 송수신기(722)는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 3GP 파일을 업로딩하도록 더 구성될 수 있다.
다른 구성에서, 송수신기(722)는 패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 비디오 방향 속성을 전송하도록 더 구성될 수 있다. 비디오 방향 속성은 PSS 공통 컴포넌트가 될 수 있고, 이는 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 Orientation 속성, 콘텐츠 생성 또는 선택에 대한 기준으로서 취해질 디폴트 비디오 방향을 제공하는 DefaultOrientation 속성, 캡쳐링을 위해 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesCapture 속성, 렌더링 및 디스플레이를 위해 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesDisplay 속성, 방향 센서가 사용불가능하거나 존재하지 않는다면 카메라 센서의 설치에 기초하여 캡쳐링을 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationCapture 속성, 방향 센서가 사용불가능하거나 존재하지 않는다면 렌더링 및 디스플레이를 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationDisplay 속성, 디바이스 센서가 캡쳐 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityCapture 속성, 디바이스 센서가 렌더링 및 디스플레이 또는 캡쳐와 렌더링 및 디스플레이 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityDisplay 속성, 디바이스 상의 카메라의 수로부터 선택되는 NumOfCameras 속성, 또는 디바이스가 방향 인식일 때 수평 미러링을 지원하는 여부를 나타내는 HorizontalMirroringSupport 속성을 포함한다.
다른 예시에서, 비디오 방향 기능 정보는 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 세션, HTTP를 통한 동적 적응형 스트리밍(DASH) 세션, 또는 PSS 기반 집적 멀티미디어 서브시스템(IMS) 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 세션에 제공될 수 있다. 다른 구성에서, 클라이언트 디바이스는 클라이언트 디바이스의 방향을 판정하는 방향 센서(726)를 포함할 수 있다.
다른 예시에서, 송수신기(724)는 RTP 스트림에 대한 실시간 전달 프로토콜(RTP) 확장 헤더를 수신하거나, 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 3GPP(third generation partnership project) 파일 포맷(3GP) 파일을 수신하도록 더 구성될 수 있다. 프로세서(722)는, 3GP 파일에서 비디오 방향 정보의 존재를 식별하기 위해 미디어 제시 디스크립션(MPD) 메타데이터 파일을 파싱(parse)하거나 임베딩된 비디오 방향 정보에 대한 3GP 파일을 파싱하고, 파싱된 비디오 방향 정보 및 클라이언트 디바이스의 현재 방향에 기초하여 방향 정정 조건을 결정하여, 결정된 방향 정정 조건에 기초하여 오정렬에 대한 HTTP 스트림 또는 DASH의 렌더링 방향을 정정하도록 더 구성될 수 있다. 또는, 프로세서는, RTP 스트림에서 비디오 방향 정보의 존재를 식별하기 위해 세션 디스크립션 프로토콜(SDP) 파일을 파싱하거나 임베딩된 비디오 방향 정보에 대해 RTP 스트림에 대한 RTP 확장 헤더를 파싱하고, 파싱된 비디오 방향 정보 및 클라이언트 디바이스의 현재 방향에 기초하여 방향 정정 조건을 결정하여, 결정된 방향 정정 조건에 기초하여 오정렬에 대한 RTP 스트림의 렌더링 방향을 정정하도록 더 구성될 수 있다. 렌더링 방향을 정정하는 것은 방향의 회전 또는 플립을 보상할 수 있다.
도 13은 모바일 단말기(MT)과 같은 클라이언트 디바이스, 모바일 노드, 사용자 장비(UE), 이동국(MS), 모바일 무선 디바이스, 모바일 통신 디바이스, 태블릿, 핸드셋, 또는 다른 타입의 무선 디바이스의 예시 도면을 제공한다. 무선 디바이스는 노드, 매크로 노드, 저전력 노드(LPN) 또는 기기국(BS)과 같은 전송국과 통신하도록 구성된 하나 이상의 안테나, 진화된 노드 B(eNB), 기저대역 유닛(BBU), 원격 무선 헤드(RRH), 원격 무선 장비(RRE), 중계국(RS), 무선 장비(RE), 원격 무선 유닛(RRU), 중앙 프로세싱 모듈(CPM), 또는 다른 타입의 무선 광역 네트워크(WWAN) 액세스 포인트를 포함할 수 있다. 무선 디바이스는 3GPP LTE, WiMAX, 고속 패킷 액세스(HSPA), 블루투스, 및 WiFi를 포함하는 적어도 하나의 무선 통신 표준을 사용하여 통신하도록 구성될 수 있다. 무선 통신 디바이스는 각 무선 통신 표준에 대한 개별 안테나 또는 다수의 무선 통신 표준에 대해 공유 안테나를 사용하여 통신할 수 있다. 무선 디바이스는 무선 로컬 영역 네트워크(WLAN), 무선 개인용 영역 네트워크(WPAN), 및/또는 WWAN에서 통신할 수 있다.
도 13은 또한 무선 디바이스로부터의 오디오 입력 및 출력에 대해 사용될 수 있는 마이크로폰 및 하나 이상의 스피커의 도면을 제공한다. 디스플레이 스크린은 액정 디스플레이(LCD) 스크린, 또는 유기 발광 다이오드(OLED) 디스플레이와 같은 다른 타입의 디스플레이 스크린이 될 수 있다. 디스플레이 스크린은 터치 스크린으로서 구성될 있다. 터치 스크린은 용량성, 저항성 또는 다른 타입의 터치 스크린 기술을 사용할 수 있다. 애플리케이션 프로세서 및 그래픽 프로세서는 프로세싱 및 디스플레이 기능을 제공하도록 내부 메모리에 연결될 수 있다. 비휘발성 메모리 포트는 데이터 입력/출력 옵션을 사용자에게 제공하는데 사용될 수 있다. 비휘발성 메모리 포트는 또한 무선 디바이스의 메모리 기능을 확장하는데 사용될 수 있다. 키보드는 무선 디바이스와 집적되거나 추가 사용자 입력을 제공하기 위해 무선 디바이스에 무선으로 접속될 수 있다. 가상 키보드는 또한 터치 스크린을 사용하여 제공될 수 있다.
다양한 기술, 또는 이들의 특정 양상 또는 부분은, 플로피 디스켓, 컴팩트 디스크 판독 전용 메모리(CD-ROM), 하드 드라이브, 비일시적 컴퓨터 판독가능 저장 매체, 또는 임의의 다른 머신 판독가능 저장 매체와 같은 유형의 매체에 구현되는 프로그램 코드(즉, 명령어)의 형태를 취할 수 있고, 프로그램 코드가 컴퓨터와 같은 머신으로 로딩되고 머신에 의해 실행될 때, 머신은 다양한 기술을 실시하기 위한 장치가 된다. 회로는 하드웨어, 펌웨어, 프로그램 코드, 실행가능한 코드, 컴퓨터 명령어, 및/또는 소프트웨어를 포함할 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는 신호를 포함하지 않는 컴퓨터 판독가능 저장 매체가 될 수 있다. 프로그램가능한 컴퓨터 상의 프로그램 코드 실행의 경우에서, 컴퓨팅 디바이스는 프로세서, 프로세서에 의해 판독가능한 저장 매체(휘발성 및 비휘발성 메모리 및/또는 저장 요소 포함), 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함할 수 있다. 휘발성 및 비휘발성 메모리 및/또는 저장 요소는 랜덤 액세스 메모리(RAM), 삭제가능한 프로그램가능한 판독전용 메모리(EPROM), 플래쉬 드라이브, 광 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브, 또는 전자 데이터를 저장하기 위한 다른 매체가 될 수 있다. 노드 및 무선 디바이스는 또한 송수신기 모듈(즉, 송수신기), 카운터 모듈(즉, 카운터), 프로세싱 모듈(즉, 프로세서), 및/또는 클럭 모듈(즉, 클럭) 또는 타이머 모듈(즉, 타이머)을 포함할 수 있다. 본원에서 설명된 다양한 기술을 구현 또는 활용할 수 있는 하나 이상의 프로그램은 애플리케이션 프로그래밍 인터페이스(API), 재사용가능한 컨트롤, 및 유사한 것을 사용할 수 있다. 이러한 프로그램은 컴퓨터와 통신하도록 고레벨 프로시져 또는 객체 지향 프로그램 언어로 구현될 수 있다. 하지만, 원한다면, 프로그램은 어셈블리 또는 머신 언어로 구현될 수 있다. 어떤 경우에, 언어는 컴파일링된 또는 해석된 언어가 될 수 있고, 하드웨어 구현과 조합될 수 있다.
본 명세서에서 설명된 다수의 기능적 유닛은 이들의 구현 독립성을 더 특별히 강조하기 위해, 모듈로서 라벨링되었음이 이해될 것이다. 예를 들어, 모듈은 VLSI(very-large-scale integration) 회로 또는 게이트 어레이, 로직 칩, 트랜지스터, 또는 다른 개별 컴포넌트와 같은 기성(off-the-shelf) 반도체를 포함하는 하드웨어 회로로서 구현될 수 있다. 모듈은 또한 필드 프로그램 가능 게이트 어레이, 프로그래밍가능한 어레이 로직, 프로그래밍가능한 로직 디바이스 또는 유사한 것과 같은 프로그래밍가능한 하드웨어 디바이스로 구현될 수 있다.
모듈은 또한 다양한 타입의 프로세서에 의한 실행을 위해 소프트웨어로 구현될 수 있다. 실행가능한 코드의 식별된 모듈은, 예를 들어, 컴퓨터 명령어의 하나 이상의 물리적 또는 논리적 블록을 포함할 수 있고, 예를 들어, 객체, 프로시져, 또는 기능으로서 조직화될 수 있다. 그럼에도 불구하고, 실행가능한 식별된 모듈은 물리적으로 함께 위치될 필요가 없지만, 상이한 위치에 저장된 분리 명령어를 포함할 수 있고, 이는 논리적으로 함께 결합될 때, 모듈을 포함하고 모듈에 대해 언급된 목적을 달성한다.
실제로, 실행가능한 코드의 모듈은 단일 명령어, 또는 다수의 명령어가 될 수 있고, 여러 상이한 코드 세그먼트에, 상이한 프로그램 사이에서, 그리고 여러 메모리 디바이스에 걸쳐 분산될 수도 있다. 유사하게, 연산 데이터는 본원에서 모듈 내에서 식별 및 도시될 수 있고, 임의의 적합한 형태로 구현되고 임의의 적합한 타입의 데이터 구조 내에서 조직화될 수 있다. 연산 데이터는 단일 데이터 세트로서 수집될 수 있거나 상이한 저장 디바이스를 포함하는 상이한 위치에 분산될 수 있고, 시스템 또는 네트워크 상에서 단지 전자 신호로서 적어도 부분적으로 존재할 수 있다. 모듈은 원하는 기능을 수행하도록 작동가능한 에이전트를 포함하는 수동 또는 능동이 될 수 있다.
본 명세서 전반에서 "예시" 또는 "예시적인"에 대한 기준은 예시와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반의 다양한 위치에서 "예시에서"라는 구문 또는 "예시적인"이라는 단어의 출현은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.
본원에서 사용된 바와 같이, 복수의 아이템, 구조 요소, 구성적 요소, 및/또는 재료는 편의성을 위해 공통 리스트로 제시될 수 있다. 하지만, 이들 리스트는 리스트의 각 멤버가 개별 및 고유한 멤버로서 개별적으로 식별되는 것처럼 해석될 것이다. 따라서, 이러한 리스트의 개별적인 멤버는 상반되는 명시가 없으면 공통 그룹에서 이들의 제시에 기초하여 단독으로 동일한 리스트의 임의의 다른 멤버와 사실상 동등한 것으로서 해석되지는 않는다. 또한, 본 발명의 다양한 실시예 및 예시는 이들의 다양한 컴포넌트에 대한 대안과 함께 본원에서 나타낼 수 있다. 이러한 실시예, 예시, 및 대안은 서로 사실상 동등한 것으로서 해석되지는 않지만, 본 발명의 개별적이고 자체적인 표현으로서 고려됨이 이해된다.
또한, 설명된 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적합한 방식으로 조합될 수 있다. 다음의 설명에서, 본 발명의 예시의 전반적인 이해를 제공하기 위해, 레이아웃, 거리, 네트워크의 예시 등과 같이, 다수의 특정 상세가 제공된다. 하지만, 당업자는 본 발명이 하나 이상의 특정 상세 없이, 또는 다른 방법, 컴포넌트, 레이아웃 등과 함께 실시될 수 있음이 인식될 것이다. 다른 경우에, 잘 알려진 구조, 재료, 또는 동작은 본 발명의 양상을 불분명하게 하는 것을 회피하도록 상세하게 도시되거나 설명되지는 않을 것이다.
다음의 예시는 하나 이상의 특정 적용예에서 본 발명의 원리를 예시하는 것이지만, 구현의 형태, 사용 및 상세에서 다양한 정정이 본 발명의 권리 행사 없이 그리고 본 발명의 원리 및 개념으로부터 벗어남이 없이 이루어질 수 있음이 당업자에게 명백할 것이다. 따라서, 본 발명은 이하에서 제시된 청구항에 의한 것 이외에는 제한되는 것으로 의도되지 않는다.

Claims (27)

  1. 방향 인식 프로세싱 기능(orientation-aware processing capability)을 제공하는 모바일 단말기(MT)로서,
    상기 MT의 비디오 방향 기능을 결정하는 프로세서와,
    패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 서버로 비디오 방향 기능 정보를 전송하는 송수신기를 포함하되,
    상기 프로세서는, 또한,
    디바이스 방향에 기초하여 특정 미디어 세그먼트에 대한 특정 비디오 방향을 갖는 비디오를 캡쳐하고,
    국제 표준화 기구(ISO) 기반 미디어 파일 포맷(ISO-BMFF) 파일의 구현예로서 3GPP(third generation partnership project) 파일 포맷(3GP) 파일에 캡쳐된 비디오에 대한 비디오 방향 정보를 임베딩하도록 구성되는
    모바일 단말기.
  2. 제 1 항에 있어서,
    모바일 단말기의 현재 비디오 방향 기능 정보는 프로파일 차(Profdiff) 시그널링을 통해 디폴트 비디오 방향 기능 정보를 오버라이딩(override)하는
    모바일 단말기.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 비디오 방향 정보는,
    비디오 트랙 또는 상기 3GP 파일의 실시간 전달 프로토콜(RTP) 힌트 트랙,
    파일 레벨 ISO-BMFF 박스―상기 파일 레벨 ISO-BMFF 박스는 'moov' 박스 초기화 세그먼트 또는 'moof' 박스 미디어 세그먼트임―,
    상기 ISO-BMFF의 타이밍된 메타데이터 트랙, 또는
    ISO 파일 포맷 박스 구조의 샘플 디스크립션 박스 내에서 비디오 방향 파라미터를 갖는 SampleEntry에 임베딩되는
    모바일 단말기.
  5. 제 1 항에 있어서,
    상기 송수신기는, 또한,
    하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)을 위해 상기 3GP 파일을 업로딩하도록 구성되는
    모바일 단말기.
  6. 제 1 항에 있어서,
    상기 송수신기는, 또한,
    패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 비디오 방향 속성을 수신하도록 구성되고, 상기 비디오 방향 속성은 PSS 공통 컴포넌트이며, 상기 PSS 공통 컴포넌트는,
    클라이언트에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 Orientation 속성,
    콘텐츠 생성 또는 선택에 대한 기준으로서 취해질 디폴트 비디오 방향을 제공하는 DefaultOrientation 속성,
    캡쳐링을 위해 상기 클라이언트에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesCapture 속성,
    렌더링 및 디스플레이를 위해 상기 클라이언트에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesDisplay 속성,
    방향 센서가 사용불가능하거나 존재하지 않는다면 카메라 센서의 설치에 기초하여 캡쳐링을 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationCapture 속성,
    상기 방향 센서가 사용불가능하거나 존재하지 않는다면 렌더링 및 디스플레이를 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationDisplay 속성,
    디바이스 센서가 캡쳐 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityCapture 속성,
    상기 디바이스 센서가 렌더링 및 디스플레이 또는 캡쳐와 렌더링 및 디스플레이 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityDisplay 속성,
    디바이스 상의 다수의 카메라로부터 선택되는 NumOfCameras 속성, 또는
    상기 디바이스가 방향 인식일 때 수평 미러링을 지원하는 여부를 나타내는 HorizontalMirroringSupport 속성을 포함하는
    모바일 단말기.
  7. 제 1 항에 있어서,
    상기 비디오 방향 기능 정보는 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 세션, HTTP를 통한 동적 적응형 스트리밍(DASH) 세션, 또는 집적 멀티미디어 서브시스템(IMS) 기반 PSS 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 세션에 제공되는
    모바일 단말기.
  8. 제 1 항에 있어서,
    상기 모바일 단말기의 방향을 판정하는 방향 센서를 포함하는
    모바일 단말기.
  9. 제 1 항에 있어서,
    상기 송수신기는, 또한,
    RTP 스트림에 대한 실시간 전달 프로토콜(RTP) 확장 헤더를 수신하거나, 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)을 위한 3GPP(third generation partnership project) 파일 포맷(3GP) 파일을 수신하도록 구성되고,
    상기 프로세서는,
    상기 3GP 파일에서 비디오 방향 정보의 존재를 식별하기 위해 미디어 제시 디스크립션(MPD) 메타데이터 파일을 파싱(parse)하거나 상기 3GP 파일에 임베딩된 비디오 방향 정보를 파싱하고,
    상기 파싱된 비디오 방향 정보 및 상기 모바일 단말기의 현재 방향에 기초하여 방향 수정 조건을 결정하고,
    결정된 방향 수정 조건에 기초하여 오정렬에 대한 상기 HTTP 스트림 또는 DASH의 렌더링 방향을 수정하거나,
    상기 RTP 스트림에서 비디오 방향 정보의 존재를 식별하기 위해 세션 디스크립션 프로토콜(SDP) 파일을 파싱하거나 상기 RTP 스트림에 대한 RTP 확장 헤더에서 임베딩된 비디오 방향 정보를 파싱하고,
    상기 파싱된 비디오 방향 정보 및 상기 모바일 단말기의 현재 방향에 기초하여 방향 수정 조건을 결정하고,
    상기 결정된 방향 수정 조건에 기초하여 오정렬에 대한 상기 RTP 스트림의 렌더링 방향을 수정하도록 더 구성되며,
    상기 렌더링 방향을 수정하는 것은 상기 모바일 단말기의 상기 방향의 회전 또는 플립을 보상하는
    모바일 단말기.
  10. 제 1 항에 있어서,
    상기 모바일 단말기(MT)는 클라이언트 디바이스, 사용자 장비(UE), 또는 이동국(MS)를 포함하고, 상기 모바일 단말기는 안테나, 카메라, 터치 민감형 디스플레이 스크린, 스피커, 마이크로폰, 그래픽 프로세서, 애플리케이션 프로세서, 내부 메모리, 또는 비휘발성 메모리 포트를 포함하는
    모바일 단말기.
  11. 비디오 방향에 기초한 멀티미디어 적응을 위해 작동가능한 서버로서,
    상기 서버는 컴퓨터 회로를 포함하되,
    상기 컴퓨터 회로는,
    패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 클라이언트 디바이스로부터 디바이스 기능을 수신하고―상기 디바이스 기능은 비디오 방향 기능을 포함함―,
    상기 디바이스의 비디오 방향 기능에 기초하여 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성되며,
    상기 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로는, 또한,
    방향 인식 콘텐츠 적응, 방향 인식 콘텐츠 선택, 방향 인식 트랜스코딩(transcoding), 또는 방향 인식 포맷 변환을 수행하여 비디오 방향 오정렬을 수정하고 수정된 비디오 방향을 갖는 상기 클라이언트 디바이스에서 콘텐츠 플레이백(playback)을 보장하도록 구성되는
    서버.
  12. 제 11 항에 있어서,
    상기 컴퓨터 회로는, 또한,
    업데이트된 비디오 방향 기능이 프로파일 차(Profdiff) 시그널링을 통해 상기 클라이언트 디바이스로부터 수신될 때 상기 클라이언트 디바이스의 디폴트 비디오 방향 기능 정보를 오버라이딩하도록 구성되는
    서버.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 컴퓨터 회로는, 또한,
    상기 클라이언트 디바이스의 비디오 방향 기능에 기초하여 스트림 서비스 또는 다운로드 서비스를 통해 상기 클라이언트 디바이스로 방향 인식 적응된 콘텐츠를 전달하도록 구성되고, 상기 방향 인식 적응된 콘텐츠는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림 또는 HTTP를 통한 동적 적응형 스트리밍(DASH)에 대한 상기 클라이언트 디바이스의 비디오 방향 기능에 따라 상이하게 인코딩된 콘텐츠를 갖는 미디어 제시 디스크립션(MPD) 메타데이터 파일을 포함하거나, 상기 방향 인식 적응된 콘텐츠는 대응하는 RTP 스트림에서 방향성 비디오 컴포넌트의 존재를 나타내는 세션 디스크립션 프로토콜(SDP) 파일 및 실시간 전달 프로토콜(RTP) 스트림에 대한 현재 비디오 방향 정보를 나타내는 RTP 헤더 확장을 포함하는
    서버.
  15. 제 11 항에 있어서,
    상기 비디오 방향 인식 멀티미디어 적응을 수행하도록 구성된 컴퓨터 회로는, 또한,
    상기 클라이언트 디바이스에 대한 디바이스 기능이 방향 인식 프로세싱 기능을 포함하지 않을 때, 하이퍼텍스트 전달 프로토콜(HTTP) 스트림, HTTP를 통한 동적 적응형 스트리밍(DASH), 또는 실시간 전달 프로토콜(RTP) 스트림의 멀티미디어 콘텐츠를 상이한 비디오 방향으로 동적으로 트랜스코딩 또는 변환하거나,
    상기 클라이언트 디바이스에 대한 디바이스 방향 기능이 비디오 방향 인식 프로세싱 기능을 나타내어 상기 클라이언트 디바이스가 상기 클라이언트 디바이스 상에서 비디오 방향 프로세싱 엔진을 활성화시키고 대역 내 미디어 스트림에서 비디오 방향 표시 정보를 획득할 수 있을 때, 미디어 제시 디스크립션(MPD) 메타데이터 파일 또는 세션 디스크립션 프로토콜(SDP) 파일에 상기 비디오 방향 표시 정보를 임베딩하거나,
    상기 클라이언트 디바이스에 대한 디바이스 방향 기능이 비디오 방향 인식 프로세싱 기능을 나타내어서 상기 클라이언트 디바이스가 멀티미디어 콘텐츠의 디스플레이 방향을 수정할 수 있을 때, 국제 표준화 기구(ISO) 기본 미디어 파일 포맷(ISO-BMFF) 파일의 구현예 또는 실시간 전달 프로토콜(RTP) 확장 헤더에 비디오 방향 정보를 임베딩하도록 구성되는
    서버.
  16. 제 11 항에 있어서,
    상기 디바이스 기능을 수신하도록 구성된 컴퓨터 회로는, 또한,
    패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 비디오 방향 속성을 수신하도록 구성되고, 상기 비디오 방향 속성은 PSS 공통 컴포넌트이며, 상기 PSS 공통 컴포넌트는,
    상기 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 Orientation 속성,
    콘텐츠 생성 또는 선택에 대한 기준으로서 취해질 디폴트 비디오 방향을 제공하는 DefaultOrientation 속성,
    캡쳐링을 위해 상기 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesCapture 속성,
    렌더링 및 디스플레이를 위해 상기 클라이언트 디바이스에 의해 지원되는 상이한 비디오 방향 모드의 리스트로부터 선택된 OrientationModesDisplay 속성,
    방향 센서가 사용불가능하거나 존재하지 않는다면 카메라 센서의 설치에 기초하여 캡쳐링을 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationCapture 속성,
    상기 방향 센서가 사용불가능하거나 존재하지 않는다면 렌더링 및 디스플레이를 위한 디폴트 비디오 방향을 제공하는 DefaultOrientationDisplay 속성,
    디바이스 센서가 캡쳐 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityCapture 속성,
    상기 디바이스 센서가 렌더링 및 디스플레이 또는 캡쳐와 렌더링 및 디스플레이 동안 비디오 방향 변화를 검출할 수 있는 90도 간격의 다수의 등간격 각도 입도 레벨로부터 선택되는 OrientationAngularGranularityDisplay 속성,
    디바이스 상의 다수의 카메라로부터 선택되는 NumOfCameras 속성, 또는
    상기 디바이스가 방향 인식일 때 수평 미러링을 지원하는 여부를 나타내는 HorizontalMirroringSupport 속성을 포함하는
    서버.
  17. 제 11 항에 있어서,
    상기 컴퓨터 회로는, 또한,
    상이한 디바이스 방향에 대해 비디오 세그먼트를 캡쳐 및 압축하도록 상기 클라이언트 디바이스에게 명령하고,
    3GPP(third generation partnership project) 파일 포맷(3GP) 파일 또는 국제 표준화 기구(ISO) 기반 미디어 파일 포맷(ISO-BMFF) 파일의 구현예에 비디오 방향 정보를 임베딩하도록 상기 클라이언트 디바이스에게 명령하도록 구성되는
    서버.
  18. 제 17 항에 있어서,
    상기 비디오 방향 정보는,
    비디오 트랙 또는 상기 3GP 파일의 실시간 전달 프로토콜(RTP) 힌트 트랙,
    파일 레벨 ISO-BMFF 박스―상기 파일 레벨 ISO-BMFF 박스는 'moov' 박스 초기화 세그먼트 또는 'moof' 박스 미디어 세그먼트임―,
    상기 ISO-BMFF의 타이밍된 메타데이터 트랙, 또는
    ISO 파일 포맷 박스 구조의 샘플 디스크립션 박스 내에서 비디오 방향 파라미터를 갖는 SampleEntry에 임베딩되는
    서버.
  19. 제 11 항에 있어서,
    상기 서버는 3GPP(third generation partnership project) 롱텀 에볼루션(LTE) 패킷 스위치 스트리밍 서비스(PSS) 서버, HTTP를 통한 동적 적응형 스트리밍(DASH) 서버, 또는 집적 멀티미디어 서브시스템(IMS) 기반 PSS 및 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS)(IMS_PSS_MBMS) 서버를 포함하는
    서버.
  20. 모바일 단말기(MT)의 디바이스 방향에 기초한 서버에서의 멀티미디어 적응을 위한 방법으로서,
    패킷 스위치 스트리밍 서비스(PSS) 디바이스 기능 교환 시그널링을 통해 상기 서버에서 상기 MT의 비디오 방향 기능을 수신하는 단계와,
    디바이스의 비디오 방향 기능에 기초하여 상기 MT에서 오정렬을 수정하는 멀티미디어 콘텐츠의 방향 인식 프로세싱 단계를 포함하되,
    상기 방법은
    캡쳐된 이미지의 일련의 비디오 방향 값의 계속적인 기록으로서 비디오를 캡쳐하도록 상기 MT에게 명령하는 단계와,
    3GPP(third generation partnership project) 파일 포맷(3GP) 파일 또는 국제 표준화 기구(ISO) 기반 미디어 파일 포맷(ISO-BMFF) 파일의 구현예에 타이밍된 비디오 방향 정보를 임베딩하도록 상기 MT에게 명령하는 단계를 더 포함하는
    멀티미디어 적응 방법.
  21. 삭제
  22. 제 20 항에 있어서,
    상기 비디오 방향 정보는,
    비디오 트랙 또는 상기 3GP 파일의 실시간 전달 프로토콜(RTP) 힌트 트랙,
    파일 레벨 ISO-BMFF 박스―상기 파일 레벨 ISO-BMFF 박스는 'moov' 박스 초기화 세그먼트 또는 'moof' 박스 미디어 세그먼트임―,
    상기 ISO-BMFF의 타이밍된 메타데이터 트랙, 또는
    ISO 파일 포맷 박스 구조의 샘플 디스크립션 박스 내에서 비디오 방향 파라미터를 갖는 SampleEntry에 임베딩되는
    멀티미디어 적응 방법.
  23. 제 20 항에 있어서,
    상기 비디오 방향 정보는,
    90도 입도를 지원하는 회전 비트, 수평 플립을 위한 플립 비트, 또는 GSMA(GSM(global system for mobile communications) association) RCS(rich communication services) 5.1 프로파일에서 전면 또는 후방 카메라 방향을 나타내는 카메라 비트를 포함하는
    멀티미디어 적응 방법.
  24. 제 20 항에 있어서,
    비디오를 캡쳐하도록 상기 MT에게 명령하는 단계는,
    캡쳐된 비디오의 다수의 복사본 또는 방향을 캡쳐 및 압축하도록 상기 MT에게 명령하는 단계를 더 포함하는
    멀티미디어 적응 방법.
  25. 제 20 항에 있어서,
    상기 방향 인식 프로세싱 단계는,
    상기 디바이스의 비디오 방향 기능에 기초하여 다수의 저장된 콘텐츠 버전으로부터 캡쳐된 콘텐츠의 콘텐츠 버전을 선택하는 단계, 또는
    상기 디바이스의 비디오 방향 기능에 기초하여 캡쳐된 콘텐츠를 동적으로 트랜스코딩 또는 변환하는 단계와,
    패킷 스위치 스트리밍 서비스(PSS) 실시간 전달 프로토콜(RTP) 스트리밍, PSS 다운로드, 또는 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS) 다운로드에서 방향성 비디오 컴포넌트를 사용하여 캡쳐된 콘텐츠를 푸싱하는 단계, 또는 하이퍼텍스트 전달 프로토콜(HTTP) 스트림, HTTP를 통한 동적 적응형 스트리밍(DASH) 스트림, 실시간 전달 프로토콜(RTP) 스트림, 또는 세션 디스크립션 프로토콜(SDP) 파일에서 비디오 방향 정보의 존재를 나타내고 상기 RTP 스트림에 대해 RTP 확장 헤더에서의 대응하는 비디오 방향 정보를 나타내는 실시간 스트리밍 프로토콜(RTSP)에서 방향성 비디오 컴포넌트를 사용하여 캡쳐된 콘텐츠를 동적으로 전달하는 단계를 더 포함하는
    멀티미디어 적응 방법.
  26. 제 20 항의 방법을 구현하기 위해 실행되도록 구성된 복수의 명령어를 포함하는 적어도 하나의 비일시적 머신 판독가능 저장 매체.
  27. 삭제
KR1020157007779A 2012-10-26 2013-10-28 비디오 방향에 기초한 멀티미디어 적응 KR101773689B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261719241P 2012-10-26 2012-10-26
US61/719,241 2012-10-26
US201361753914P 2013-01-17 2013-01-17
US61/753,914 2013-01-17
PCT/US2013/067048 WO2014066885A1 (en) 2012-10-26 2013-10-28 Multimedia adaptation based on video orientation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177023525A Division KR102015204B1 (ko) 2012-10-26 2013-10-28 비디오 방향에 기초한 멀티미디어 적응

Publications (2)

Publication Number Publication Date
KR20150052134A KR20150052134A (ko) 2015-05-13
KR101773689B1 true KR101773689B1 (ko) 2017-08-31

Family

ID=50545383

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177023525A KR102015204B1 (ko) 2012-10-26 2013-10-28 비디오 방향에 기초한 멀티미디어 적응
KR1020157007779A KR101773689B1 (ko) 2012-10-26 2013-10-28 비디오 방향에 기초한 멀티미디어 적응

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177023525A KR102015204B1 (ko) 2012-10-26 2013-10-28 비디오 방향에 기초한 멀티미디어 적응

Country Status (8)

Country Link
US (2) US9762938B2 (ko)
EP (2) EP2912850A4 (ko)
JP (2) JP6239629B2 (ko)
KR (2) KR102015204B1 (ko)
CN (2) CN111225256A (ko)
BR (1) BR112015006455B1 (ko)
HK (1) HK1211159A1 (ko)
WO (1) WO2014066885A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563915B2 (en) 2019-03-11 2023-01-24 JBF Interlude 2009 LTD Media content presentation

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)
US9762938B2 (en) 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
JP2014239278A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
US10182038B2 (en) * 2013-07-29 2019-01-15 Mobitv, Inc. Efficient common storage of partially encrypted content
US11765438B2 (en) 2013-10-25 2023-09-19 Turner Broadcasting System, Inc. Providing interactive advertisements
US9798828B2 (en) 2013-10-25 2017-10-24 Turner Broadcasting System, Inc. Concepts for providing an enhanced media presentation
CN104717555B (zh) * 2013-12-11 2018-01-02 华为技术有限公司 视频码流的获取方法及装置
EP3120520B1 (en) * 2014-03-17 2023-05-24 bitmovin GmbH Media streaming
US10447747B2 (en) * 2014-03-25 2019-10-15 Qualcomm Incorporated Video orientation negotiation
US9584577B2 (en) * 2014-04-03 2017-02-28 Cisco Technology, Inc. Method for enabling use of HLS as a common intermediate format
KR102004837B1 (ko) * 2014-04-09 2019-07-29 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
CN105141569B (zh) * 2014-05-30 2019-06-21 华为技术有限公司 媒体处理方法及设备
GB2528039A (en) * 2014-07-01 2016-01-13 Canon Kk Method for identifying objects across time periods and corresponding device
CN113037767A (zh) * 2014-09-12 2021-06-25 索尼公司 发送设备、发送方法、接收设备和接收方法
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
CN106797499A (zh) 2014-10-10 2017-05-31 索尼公司 编码装置和方法、再现装置和方法以及程序
WO2016204712A1 (en) * 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video content for cellular communication
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US10528315B2 (en) 2015-09-25 2020-01-07 Intel Corporation Implementing wireless displays that handle rotation and/or portrait-first sinks
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US9723258B2 (en) 2015-12-30 2017-08-01 Roku, Inc. Orientation adjustment for casting videos
CN107027175A (zh) * 2016-01-29 2017-08-08 中兴通讯股份有限公司 一种数据传输的方法、用户设备和基站
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10622023B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10397891B2 (en) * 2016-08-02 2019-08-27 Htc Corporation Device and method of handling multiple cellular radio operations
KR102108871B1 (ko) * 2016-11-03 2020-05-12 주식회사 케이티 네트워크 슬라이스 기반 데이터 처리 방법 및 그 장치
US20180152737A1 (en) * 2016-11-28 2018-05-31 Facebook, Inc. Systems and methods for management of multiple streams in a broadcast
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US11134309B2 (en) 2016-12-31 2021-09-28 Turner Broadcasting System, Inc. Creation of channels using pre-encoded media assets
US11109086B2 (en) 2016-12-31 2021-08-31 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode
US10856016B2 (en) 2016-12-31 2020-12-01 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode based on user selection
US11470373B2 (en) 2016-12-31 2022-10-11 Turner Broadcasting System, Inc. Server-side dynamic insertion of programming content in an indexed disparate live media output stream
US11438658B2 (en) 2016-12-31 2022-09-06 Turner Broadcasting System, Inc. Client-side dynamic presentation of programming content in an indexed disparate live media output stream
US11038932B2 (en) 2016-12-31 2021-06-15 Turner Broadcasting System, Inc. System for establishing a shared media session for one or more client devices
US11503352B2 (en) 2016-12-31 2022-11-15 Turner Broadcasting System, Inc. Dynamic scheduling and channel creation based on external data
CN106960582B (zh) * 2017-03-12 2019-05-07 浙江大学 一种基于宏观基本图的区域瓶颈控制的方法
US10819907B2 (en) 2017-03-30 2020-10-27 Mediatek Inc. Method and apparatus for signaling spherical region information in ISOBMFF
US10475483B2 (en) 2017-05-16 2019-11-12 Snap Inc. Method and system for recording and playing video using orientation of device
US11051073B2 (en) 2017-05-25 2021-06-29 Turner Broadcasting System, Inc. Client-side overlay of graphic items on media content
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
US10764650B2 (en) 2017-12-07 2020-09-01 At&T Intellectual Property I, L.P. Video optimization proxy system and method
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
KR20200124665A (ko) * 2018-02-28 2020-11-03 소니 주식회사 콘텐츠 배신 제어 장치, 콘텐츠 배신 제어 방법, 프로그램 및 콘텐츠 배신 시스템
CN111771386A (zh) * 2018-02-28 2020-10-13 索尼公司 内容传送控制装置、内容传送控制方法、程序和内容传送系统
EP3769515A1 (en) * 2018-03-22 2021-01-27 Huawei Technologies Co., Ltd. Immersive media metrics for rendered viewports
CN111937043A (zh) 2018-04-06 2020-11-13 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN110572883A (zh) * 2018-06-05 2019-12-13 成都鼎桥通信技术有限公司 一种专网连接和音视频记录仪Wifi连接并存的方法和终端
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
CN109246115B (zh) * 2018-09-26 2021-05-25 杭州当虹科技股份有限公司 Sip协议在gb28181下无线网络监控方法
WO2020112480A1 (en) * 2018-11-28 2020-06-04 Convida Wireless, Llc Methods to leverage non-cellular device capabilities
US11082734B2 (en) 2018-12-21 2021-08-03 Turner Broadcasting System, Inc. Publishing a disparate live media output stream that complies with distribution format regulations
US10880606B2 (en) 2018-12-21 2020-12-29 Turner Broadcasting System, Inc. Disparate live media output stream playout and broadcast distribution
US10873774B2 (en) 2018-12-22 2020-12-22 Turner Broadcasting System, Inc. Publishing a disparate live media output stream manifest that includes one or more media segments corresponding to key events
CN112399209B (zh) * 2019-08-13 2022-06-07 大唐移动通信设备有限公司 一种视频业务识别处理方法及装置
CN110535853B (zh) * 2019-08-28 2021-06-22 北京奇艺世纪科技有限公司 一种视频请求调度方法、装置、服务器及存储介质
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
JP2021068370A (ja) * 2019-10-28 2021-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20210059409A (ko) * 2019-11-15 2021-05-25 한국전자기술연구원 씬 정보 또는 샷 정보를 비디오 파일에 삽입하기 위한 시스템 및 방법
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
CN113518215B (zh) * 2021-05-19 2022-08-05 上海爱客博信息技术有限公司 3d动态效果生成方法、装置、计算机设备和存储介质
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110320615A1 (en) * 2000-06-16 2011-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Profile and capability of wap-terminal with external devices connected

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000079406A1 (en) * 1999-06-23 2000-12-28 Infolio, Inc. System and operating method for an internet-based content adaptation service
JP4189627B2 (ja) 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
US7065641B2 (en) 2002-06-13 2006-06-20 Intel Corporation Weighted processor selection apparatus and method for use in multiprocessor systems
JP2004240878A (ja) * 2003-02-07 2004-08-26 Nec Corp 携帯型電子機器、表示方向切り替え方法およびプログラム
JP2005049834A (ja) * 2003-07-11 2005-02-24 Matsushita Electric Ind Co Ltd メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム
JP2005148326A (ja) * 2003-11-14 2005-06-09 Casio Comput Co Ltd データ受信装置、表示制御方法及び表示制御プログラム
US7085590B2 (en) * 2003-12-31 2006-08-01 Sony Ericsson Mobile Communications Ab Mobile terminal with ergonomic imaging functions
FI20040944A0 (fi) * 2004-07-07 2004-07-07 Nokia Corp Sisältöviestinnän hallinta viestintäjärjestelmässä
US7721204B2 (en) 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
KR100631601B1 (ko) 2004-10-21 2006-10-09 엘지전자 주식회사 휴대용 단말기의 동영상 스트리밍 서비스 방법
US8819143B2 (en) * 2005-05-31 2014-08-26 Flash Networks Ltd. Presentation layer adaptation in multimedia messaging
US7283841B2 (en) * 2005-07-08 2007-10-16 Microsoft Corporation Transforming media device
WO2007028137A2 (en) * 2005-09-01 2007-03-08 Nokia Corporation Method for embedding svg content into an iso base media file format for progressive downloading and streaming of rich media content
JP4567646B2 (ja) * 2006-09-25 2010-10-20 シャープ株式会社 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
US7984177B2 (en) 2007-04-30 2011-07-19 Vixs Systems, Inc. Multimedia client/server system with adjustable packet size and methods for use therewith
US8595186B1 (en) 2007-06-06 2013-11-26 Plusmo LLC System and method for building and delivering mobile widgets
US8600391B2 (en) * 2008-11-24 2013-12-03 Ringcentral, Inc. Call management for location-aware mobile devices
GB0721475D0 (en) * 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US8706910B2 (en) 2008-10-28 2014-04-22 Panzura, Inc. Dynamically adaptive network-based data processing system and method
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
EP2417748A4 (en) 2009-04-09 2012-09-19 Nokia Corp SYSTEMS, METHODS AND APPARATUS FOR CONTINUOUS TRANSMISSION OF MULTIMEDIA FILES
CN101540871B (zh) 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
WO2011039617A1 (en) 2009-09-29 2011-04-07 Nokia Corporation System, method and apparatus for dynamic media file streaming
US9124804B2 (en) 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8521899B2 (en) 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
US8514331B2 (en) 2010-06-08 2013-08-20 Stmicroelectronics, Inc. De-rotation adaptor and method for enabling interface of handheld multi-media device with external display
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US20120195196A1 (en) 2010-08-11 2012-08-02 Rajat Ghai SYSTEM AND METHOD FOR QoS CONTROL OF IP FLOWS IN MOBILE NETWORKS
WO2012032502A1 (en) 2010-09-10 2012-03-15 Nokia Corporation A method and apparatus for adaptive streaming
US8918645B2 (en) * 2010-09-24 2014-12-23 Amazon Technologies, Inc. Content selection and delivery for random devices
WO2012046487A1 (ja) 2010-10-05 2012-04-12 シャープ株式会社 コンテンツ再生装置、コンテンツ配信システム、コンテンツ再生装置の同期方法、制御プログラム、および、記録媒体
EP2442562B1 (en) 2010-10-12 2017-08-02 BlackBerry Limited Method and apparatus for image orientation indication and correction
JP2012099890A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP5811602B2 (ja) * 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
WO2012088023A2 (en) 2010-12-20 2012-06-28 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices
US8675577B2 (en) 2010-12-20 2014-03-18 Intel Corporation Signaling techniques for a multimedia-aware radio and network adaptation
US8441955B2 (en) 2011-01-24 2013-05-14 Tektronix, Inc. Determining mobile video quality of experience and impact of video transcoding
US20120278495A1 (en) 2011-04-26 2012-11-01 Research In Motion Limited Representation grouping for http streaming
KR101784316B1 (ko) 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
CN103858457B (zh) 2011-08-01 2018-11-13 英特尔公司 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO)
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130060881A1 (en) 2011-09-01 2013-03-07 Mp4Sls Pte Ltd Communication device and method for receiving media data
TW201322743A (zh) 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面，系統及方法
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US20140019635A1 (en) 2012-07-13 2014-01-16 Vid Scale, Inc. Operation and architecture for dash streaming clients
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9762938B2 (en) 2012-10-26 2017-09-12 Intel Corporation Multimedia adaptation based on video orientation
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110320615A1 (en) * 2000-06-16 2011-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Profile and capability of wap-terminal with external devices connected

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3GPP TSG SA WG4, "New Work Item Description on control of video orientation", Telefon AB LM Ericsson, et al., S4-120850, # 69 meeting(2012.05.)*
3GPP TSG SA4, "Mid-call Control of Far-end Video Orientation & Size", Samsung Electronics CO., LTD., Tdoc S4-120718, # 69 meeting(2012.05.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563915B2 (en) 2019-03-11 2023-01-24 JBF Interlude 2009 LTD Media content presentation

Also Published As

Publication number Publication date
EP2912850A4 (en) 2016-05-25
JP6239629B2 (ja) 2017-11-29
BR112015006455A2 (pt) 2017-08-08
US9762938B2 (en) 2017-09-12
US20150256861A1 (en) 2015-09-10
JP2018023169A (ja) 2018-02-08
HK1211159A1 (en) 2016-05-13
CN104685894B (zh) 2020-02-04
US20170353743A1 (en) 2017-12-07
WO2014066885A1 (en) 2014-05-01
EP2912850A1 (en) 2015-09-02
KR20150052134A (ko) 2015-05-13
CN104685894A (zh) 2015-06-03
JP2016502296A (ja) 2016-01-21
EP3148290B1 (en) 2023-08-30
BR112015006455B1 (pt) 2022-12-20
CN111225256A (zh) 2020-06-02
KR20170101313A (ko) 2017-09-05
US10523982B2 (en) 2019-12-31
EP3148290A1 (en) 2017-03-29
JP6490778B2 (ja) 2019-03-27
KR102015204B1 (ko) 2019-08-27

Similar Documents

Publication Publication Date Title
KR101773689B1 (ko) 비디오 방향에 기초한 멀티미디어 적응
AU2016200390B2 (en) Streaming with coordination of video orientation (cvo)
EP2880813B1 (en) Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9801054B2 (en) Presence service using IMS based dash service

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant