JP6239629B2 - ビデオ方位に基づくマルチメディア適応 - Google Patents

ビデオ方位に基づくマルチメディア適応 Download PDF

Info

Publication number
JP6239629B2
JP6239629B2 JP2015534836A JP2015534836A JP6239629B2 JP 6239629 B2 JP6239629 B2 JP 6239629B2 JP 2015534836 A JP2015534836 A JP 2015534836A JP 2015534836 A JP2015534836 A JP 2015534836A JP 6239629 B2 JP6239629 B2 JP 6239629B2
Authority
JP
Japan
Prior art keywords
orientation
video
file
capability
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015534836A
Other languages
English (en)
Other versions
JP2016502296A (ja
Inventor
オイマン,オズグル
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2016502296A publication Critical patent/JP2016502296A/ja
Application granted granted Critical
Publication of JP6239629B2 publication Critical patent/JP6239629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Description

ビデオ方位に基づくマルチメディア適応の技術が開示される。
無線モバイル通信技術は、種々の規格及びプロトコルを用いて、ノード(例えば、送信局)と無線装置(例えば、モバイル装置)との間でデータを伝送する。幾つかの無線装置は、ダウンリンク(DL)送信でOFDMA(orthogonal frequency-division multiple access)を、アップリンク(UL)送信でSC−FDMA(single carrier frequency division multiple access)を用いて通信する。信号送信のためにOFDM(orthogonal frequency-division multiplexing)を用いる規格及びプロトコルは、3GPP(third generation partnership project)LTE(long term evolution)、WiMAX(Worldwide interoperability for Microwave Access)として業界団体に一般に知られているIEEE(Institute of Electrical and Electronics Engineers)802.16標準(例えば、802.16e、802.16m)、及びWiFiとして業界団体に一般に知られているIEEE802.11標準を含む。
3GPP RAN(radio access network)LTEシステムでは、ノードは、E−UTRAN(Evolved Universal Terrestrial Radio Access Network)NodeB(evolved Node B、enhanced Node B、eNodeB、又はeNBとしても一般的に表記される)と、ユーザ機器(UE)として知られる無線装置と通信するRNC(Radio Network Controllers)との組合せであり得る。ダウンリンク(DL)送信は、ノード(例えば、eNodeB)から無線装置(例えば、UE)への通信であり得る。また、アップリンク(UL)送信は、無線装置からノードへの通信であり得る。
無線装置は、HTTP(hypertext transfer protocol)ストリーミングのような種々のプロトコルを用いてインターネットビデオのマルチメディア配信を受信するために使用され得る。ビデオストリーミングのHTTPに基づく配信を提供するためのプロトコルは、DASH(dynamic adaptive streaming over HTTP)を含み得る。
ビデオ方位に基づくマルチメディア適応の技術を提供する。
本開示の特徴及び利点は、例として本開示の特徴を共に図示する添付の図面と関連する以下の詳細な説明から明らかである。
一例による、パケット交換ストリーミングサービス(packet switched streaming service:PSS)能力交換における機能コンポーネントの図を示す。 一例による、パケット交換ストリーミングサービス(packet switched streaming service:PSS)、統合マルチメディアサブシステム(integrated multimedia subsystem:IMS)に基づくPSS、マルチメディアブロードキャスト及びマルチキャストサービス(multimedia broadcast and multicast service:MBMS)(IMS_PSS_MBMS)サービスのための例示的な装置能力プロファイルを示す。 一例による、例示的なビデオ方位への適応を有するHTTP上の動的適応ストリーミング(dynamic adaptive streaming over hypertext transfer protocol:DASH)に基づくストリーミングを示す。 一例による、例示的なビデオ方位への適応を有するリアルタイムストリーミングプロトコル(real-time streaming protocol:RTSP)に基づくストリーミングを示す。 一例による、統合マルチメディアサブシステム(integrated multimedia subsystem:IMS)に基づくパケット交換ストリーミングサービス(packet switched streaming service:PSS)、マルチメディアブロードキャスト及びマルチキャストサービス(multimedia broadcast and multicast service:MBMS)(IMS_PSS_MBMSと略す)サービスのためのsubscribe及びnotifyを有する例示的なサービス発見を示す。 一例による、ビデオ方位情報を埋め込まれたコンテンツの受信に基づき、方位を意識したマルチメディア適応を用いる、例示的なサーバ−クライアント相互作用を示す。 一例による、ISO(International Organization for Standardization)に基づくメディアファイルフォーマット(ISO−BMFF)を用いて、3GPP(third generation partnership project)ファイルフォーマット(3GP)ファイルにビデオ方位情報を埋め込む例を示す。 一例による、ビデオ方位情報を埋め込まれたコンテンツの受信に基づき、装置方位を意識したマルチメディア適応を用いる、例示的なサーバ−クライアント相互作用を示す。 一例による、ISO(International Organization for Standardization)ファイルフォーマットボックス構造階層を示す。 一例による、モバイル端末(MT)の装置方位に基づく、サーバにおけるマルチメディア適応の方法のフローチャートを示す。 一例による、ビデオ方位に基づくマルチメディア適応のために動作するサーバのコンピュータ回路の機能を示す。 一例による、サーバ、ノード、及びユーザ機器(UE)の図を示す。 一例による、無線装置(例えば、UE)の図を示す。 以下では、図示の例示的な実施形態を参照し、本願明細書ではそれらを説明するために固有の言語が用いられる。しかしながら、それにより本発明の範囲の如何なる限定も意図されないことが理解されるだろう。
本発明が開示され説明される前に、本発明は本願明細書に開示される特定の構造、処理ステップ又は材料に限定されず、関連分野の当業者により認識されるように、それらの等価物にまで拡張されることが理解されるべきである。本願明細書で用いられる用語は、特定の例を説明することのみを目的としており、限定を目的としていないことが理解されるべきである。異なる図中の同じ参照符号は、同じ要素を表す。フローチャート及び処理中に提供される数値は、ステップ及び動作を説明する際に明確性のために提供されるものであり、必ずしも特定の順序又は配列を示さない。
<例示的な実施形態>
以下に、技術的実施形態の最初の概略が提供され、次に特定の技術的実施形態が詳細に説明される。この最初の概要は、読者が技術をより仁族に理解するのを助けることを目的としており、技術の主要な特徴又は基本的特徴を特定することを意図せず、あるいは請求される主題の範囲を限定することを意図しない。
ストリーミング及び会話サービスを含むマルチメディアサービスの成長は、新しいモバイル広帯域技術及び標準への進化の要因の1つである。メディア圧縮及び無線ネットワーク基盤における発展に伴うマルチメディアサービスへの高い消費者要求により、携帯電話機及びモバイル広帯域システムのマルチキャストサービス能力を拡張することが望ましい。ここで、マルチキャストサービス能力は、高いQoE(quality of experience)を消費者に供給するために用いることができ、任意の場所から任意の時間に任意の装置及び技術によるビデオコンテンツ及びサービスへのユビキタスアクセスを保証する。種々のモバイル装置をサポートし、種々の装置クラス及び能力に最適化されたメディア処理手順及びセッション管理プロトコルを提供することは、ユビキタス方式で高いQoEによりマルチメディアコンテンツの供給を可能にするために使用できる。
リアルタイムビデオ通信で使用されるモバイル装置に方位センサを導入することにより、ディスプレイコンテンツは、装置方位に揃えて回転できる。例えば、方位センサは、重力場を測定することにより装置方位を検出できる。他の種類の方位センサが使用されても良い。次に、装置方位は、方位に従って装置機能を調整するためにアプリケーションで用いることができる。例えば、装置は、ユーザインタフェース又はビデオ方位を装置方位に基づきポートレイト又はランドスケープモードに回転できる。
幾つかのクライアント装置は方位センサを含むので、コンテンツ又はサービスプロバイダは、異なる装置方位に最適化されたコンテンツの異なる符号化バージョンを提供しても良い。或いは、コンテンツ/サービスプロバイダは、最適化された経験を供給するために、コンテンツキャプチャ中に(例えば、オンザフライで)コンテンツをキャプチャ又はトランスコーディング(transcode)しても良い。ユーザ機器(UE)からネットワークへの方位センサ能力及び/又は現在の装置方位のシグナリングは、高品質クライアント経験を供給するためにネットワーク側でコンテンツを適応する機会を提供できる。マルチメディア適応に基づく装置及び/又はビデオ方位適応は、2次元(2D)及び3次元(3D)ビデオアプリケーションの両方に適用できる。2Dビデオの例では、ポートレイト又はランドスケープビデオビュー及び/又は異なる視角は、装置方位に基づき適応されても良い。3Dビデオの例では、異なる視角及び深さ情報は、装置方位に基づき適応されても良い。
能力交換シグナリングは、3GPP(third generation partnership project)のPSS(packet switched streaming service)(3GPP technical specification (TS) 26.234 VI 1.1.0 (2012-09)に記載される)、DASH(dynamic adaptive streaming over HTTP)(3GPP technical specification (TS) 26.247 VI 1.0.0 (2012-09)に記載される)、及びIMS(integrated multimedia subsystem)に基づくPSS及びMBMS(multimedia broadcast and multicast service)(IMS_PSS_MBMSと略し、3GPP technical specification (TS) 26.237 VI 1.0.0(2012-06)に記載される)において重要な機能であり得る。能力交換は、PSS、DASH及びIMS_PSS_MBMSサーバが、広範な装置に対象の特定の装置に適したコンテンツを提供できるようにする。ストリーミングのためのサーバ側コンテンツ交渉を実現するために、PSS又はIMS_PSS_MBMSサーバは、装置能力記述を介してモバイル装置(MT)の特定の能力の記述へのアクセスを有しても良い。装置能力記述は、多数の属性を有し得る。DASHでは、装置能力の属性のシグナリングは、以下のパラメータを有し得る。プレデコーダバッファサイズ、初期バッファリング期間、デコーダ能力、ディスプレイ特性(例えば<スクリーンサイズ、解像度、又はビット深さ)、ストリーミング方法(例えば、RTSP(real-time streaming protocol)又はHTTP)適応サポート、QoEサポート、拡張RTP(real-time transport protocol)制御プロトコル(RTP control protocol:RTCP)レポートサポート、及び高速コンテンツ切り替えサポート、並びにサポートされるRTPプロファイル及びセッション記述プロトコル(session description protocol:SDP)属性である。ストリーミングセッションの設定中に、サーバは、正しい種類のマルチメディアコンテンツをモバイル端末に提供するために、記述を用いることができる。サーバは、どのストリームを接続している端末に提供するかを決定するために、モバイル端末の能力に関する情報を用いることができる。例えば、サーバは、特定のモバイル端末に最も適したストリームを決定するために、ストリームの複数の利用可能な変形についてモバイル端末にかかる要件を、接続している端末の実際の能力と比較し得る。能力交換は、PSS又はIMS_PSS_MBMSセッションのために適なセッション記述プロトコル(session description protocol:SDP)ファイルをクライアント端末(例えば、モバイル端末)に、又はDASHセッションおために最適化されたメディア提示記述(media presentation description:MPD)メタデータファイルをクライアント端末に、供給することも可能にする。
図1は、PSSサービスについて、どのように交換能力が実行され得るかを例示する。最も単純な説明では、モバイル端末110(又はクライアント装置又はクライアント端末)は、PSSサーバに、MTのアイデンティティを知らせ得る。したがって、PSSサーバは、装置プロファイルサーバ120から装置能力プロファイルを検索できる。装置プロファイルサーバ120は、モバイル端末の装置能力プロファイル122を格納し得る。MTは、HTTP及び/又はRTSP要求をPSSサーバへ送信し得る(170)。HTTP及び/又はRTSP要求は、URL(uniform resource locator)記述子(URLdesc)及び/又はプロファイル差分(profileDiff)ヘッダを有し得る。PSSサーバは、MTの装置能力プロファイルについてHTTP要求を装置プロファイルサーバへ送信し得る(160)。装置プロファイルサーバは、MTの装置能力プロファイルと共にHTTP応答をPSSサーバへ送信し得る(162)。PSSサーバは、装置能力プロファイルを照合又はコピーし得る(132)。PSSサーバは、HTTP及び/又はRTSP応答を送信し(172)、MTの装置能力プロファイルに基づきMTへマルチメディアコンテンツを送信し得る(174)。一例では、端末製造者又はソフトウェアベンダは、製造者又はベンダの製品の装置能力プロファイルを提供するために、装置プロファイルサーバを維持し得る。別の例では、オペレータは、オペレータの加入者のために装置プロファイルサーバを管理し得る。これは、加入者がユーザ固有更新を加入者プロファイルに対して行うことを可能にし得る。装置プロファイルサーバは、要求により、PSSサーバへ装置能力プロファイルを提供し得る。特定のシナリオでは、モバイル端末は、アイデンティティシグナリングを追加属性で補強し、又はMTの装置能力プロファイルで既に定められた属性を上書きしても良い。これはProfdiff(ProfDiff又はprofileDiff)と称される。Profdiffは、装置能力プロファイルの属性を調整することを一時的に許可し得る。一例では、このような一時的調整は、ユーザ選好によりトリガされても良い(例えば、特定のセッションのユーザが、モバイル端末がステレオ能力を有しているのに、モノサウンドを受信したい場合)。
ユーザエージェントプロファイル(user agent profile、UAProf)仕様は、無線装置のキャプチャリング能力及び選好情報のためのプロトコルを提供できる。この能力及び選好情報は、特有装置の適切なフォーマットでコンテンツを生成するために、コンテンツプロバイダにより使用され得る。UAProfは、WWW(World Wide Web)コンソーシアムにより策定されたCC/PP(composite capabilities/preference profiles)仕様に関連し得る。装置能力プロファイルは、CC/PPフレームワーク及びCC/PP用途UAProfの後続に従うRDF(resource description framework)ドキュメントであり得る。属性は、装置能力及び選好を指定するために使用され得る。属性名、許容値、及びセマンティクスは、CC/PPを構成し、RDFスキームにより定められ得る。PSS及びIMS_PSS_MBMSサービスでは、UAProfボキャブラリは再利用され、追加サービス固有ボキャブラリが定められ得る。図2は、PSS及びIMS_PSS_MBMSサービスのための例示的な装置能力プロファイルを提供する。これは、TerminalHardware、PSSCommon、Streaming、ThreeGPFileFormat(3GP)又はPssSmilのような種々のCC/PPコンポーネント(ccpp:component)を定め得る。
本願明細書に記載のような技術(例えば、サーバ、クライアント装置又は端末、モバイル端末、方法、コンピュータ回路及びシステム)は、モバイル端末又はクライアント装置の方位センサ能力の装置能力交換シグナリングに基づくマルチメディア適応を提供できる。
一例では、少なくとも2段階の処理が実行され得る。例えば、クライアント装置は、クライアント装置が方位センサを有するか否か、及びどんなビデオ方位(例えば、ページ方位)状態をクライアント装置がサポートするか(例えば、ポートレイト、ランドスケープ、又はシースケープ)(図6及び8の280を参照)に関して、サーバにシグナリングできる。ビデオ方位は、PSSボキャブラリの装置能力属性の新しいセットであり得る。これは、IMS_PSS_MBMS及びDASHセッションに適用可能である。クライアント装置(例えばUE)の装置方位能力についての装置能力属性は、指示を提供する装置方位位置のリストを含み、該指示は、ビデオディスプレイ装置方位モード、ビデオキャプチャ装置方位モード、ビデオディスプレイ装置方位角、ビデオキャプチャ装置方位角、UEが方位の変化に応答するか否かを示すブール値指示子、レンダリング及び表示のための規定装置方位、キャプチャのための規定装置方位、方位センサがビデオキャプチャ及び表示の両方の間に方位変化を検出するよう構成される90度間隔の等間隔の角度粒度レベルの数、UEに関連するカメラの数、又は水平ミラーリングサポート、の指示を提供する。追加で、クライアント装置は、規定装置方位属性を一時的に上書きすることにより、ProfDiffシグナリングを介して現在の装置方位もシグナリングしても良い。これは、装置能力交換シグナリングボキャブラリに追加される別の属性であり得る。
別のステップで、サーバは、クライアント装置からの方位センササポート信号を検討し、コンテンツの異なる符号化バージョンを、異なる可能な装置方位に最も適したフォーマットで提供し得る(図6の284及び286、又は図8の294及び286を参照)。セッション管理レベルにおいて、クライアントの装置方位情報及び/又は方位能力へのアクセスは、PSS又はIMS_PSS_MBMSセッションでRTSP/RTPストリーミングのために最適化されたSDP(session description protocol)を、或いはDASHセッションでDASH(dynamic adaptive streaming over HTTP)のために最適化されたMPD(media presentation description)を、サーバが供給することを可能にし得る。さらに、サーバがコンテンツ生成/準備のためのキャプチャプロセスも制御する場合、サーバは、異なる可能な装置方位に最適な、同じコンテンツの複数のコピーをキャプチャし及び圧縮するよう、カメラユニット(例えば、別のクライアント装置)に指示し得る(図6及び8の282を参照)。サーバは、クライアント装置の方位能力にコンテンツを最も適合させるために、オンザフライでトランスコーディング及び/又はフォーマット変換を動的に実行しても良い。
本願明細書に記載の技術は、2D及び3Dビデオアプリケーションに適用できる。異なるストリーミングパラダイム(例えば、PSS、DASH、及びIMS_PSS_MBMS)は、異なるマルチメディア適応メソッド及びプロセスを使用し得る。これは、後に詳述する。
サービスは、プル型ストリーミングプロセス又はプッシュ型ストリーミングプロセスを用い得る。
DASHは、プル型ストリーミングの一例を提供する。DASHセッションでは、図3に示すように、HTTPサーバ230は、異なる装置方位に最適化されたコンテンツをDASHクライアント220に提供する。HTTPサーバは、種々のサポートされる装置方位状態を記述するDASHクライアントからの装置能力交換シグナリングを用いても良い(240)。DASHクライアントからの装置能力シグナリングは、DASHクライアントからの更なるシグナリングが存在しない場合に、装置方位を示す規定装置方位属性を有しても良い。装置方位及び対応するコンテンツ情報のセットは、異なる装置方位のための異なる符号化コンテンツと共にMPD(media presentation description)メタデータファイルでDASHクライアントにシグナリングされ得る(242)。このサーバ−クライアント相互作用は、図3に示される。次に、DASHクライアントプレイヤは、クライアント装置方位を追跡し、現在の装置方位のために最適化されたコンテンツの対応するバージョンを要求し得る。さらに、HTTPでMPDを検索するとき、DASHクライアントは、ProfDiffに基づく装置方位に対する一時的調整を含み、GET要求に装置方位情報を含めても良い(例えば、現在の装置方位は、規定装置方位と異なっても良い)。このDASH装置能力交換シグナリングプロセスを用いて、HTTPサーバは、DASHクライアント(例えば、UE)に最適化されたMPDを供給できる。
RTSP(real-time streaming protocol)に基づくPSSサービス及びSIP(session initiation protocol)に基づくIMS_PSS_MBMSサービスは、プッシュ型ストリーミングの例を提供する。PSS又はIMS_PSS_MBMSサービスでは、図4に示すように、サーバ232は、クライアント222から現在の装置方位情報を受信し(244)、装置方位に基づきコンテンツを適応できる。例えば、サーバは、格納されたコンテンツバージョンの中で最も適したコンテンツバージョンを選択し、或いは、現在の装置方位に基づきコンテンツを動的にトランスコーディングし、クライアントへコンテンツをストリーミングし得る(246)。このサーバ−クライアント相互作用は、図4に示される。SDP(session description protocol)で伝達されるセッション関連メタデータは、ストリーミングされるコンテンツの装置方位情報を伝達しても良い。
PSSサービスでは、クライアントは、通常、RTSP DESCRIBEメッセージ内で装置方位情報をサーバへ送信し得る。RTSP DESCRIBEメッセージは、クライアントからの更なるシグナリングが存在しない場合に装置方位を示す規定装置方位属性を有しても良い。現在の装置方位が規定装置方位と異なる場合、この相違は、ProfDiffシグナリングに基づく一時的調整としてシグナリングされても良い。一例では、能力交換をサポートするPSSコンテンツサーバは、HTTP又はRTSP要求の中で、クライアントから装置方位情報を受信できる。
IMS_PSS_MBMSサービスでは、図5に示されるように、クライアント(例えば、UE250)は、サービス発見中に、SIP SUBSCRIBEメッセージ260の中で装置方位情報を、IP(Internet protocol)マルチメディア(IM)コアネットワーク(core network:CN)サブシステム(IM CNサブシステム)252へ送信し得る。次に、IM CNサブシステムは、SIP SUBSCRIBEメッセージ262をSDF(service discovery function)254に転送し得る。SIP SUBSCRIBEメッセージは、クライアントからの更なるシグナリングが存在しない場合に装置方位を示す規定装置方位属性を有し得る。SDFは、(例えば、UE能力又はユーザのプロファイル(例えば、個人サービス発見)に従って)サービス発見情報を決定し得る。SDFは、SIP200OKメッセージ264により、IM CNサブシステムへのSIP SUBSCRIBEメッセージに対して肯定応答し得る。IM CNサブシステムは、SIP200OKメッセージ266をUEへ転送し得る。
SDF254は、サービス付属情報を生成及び/又は提供し、及び/又は個人サービス発見を提供し得る。IM CNサブシステム252は、ユーザ登録及び認証、モビリティ及びローミング、マルチメディアセッションの制御、QoS(quality of service)制御、ポリシ制御、課金、及び回線交換システムとの相互接続をサポートできる。
SDF254は、サービス発見情報を含むUE250宛のSIP NOTIFYメッセージ268をIM CNサブシステム252へ送信し得る。IM CNサブシステム252は、SIP NOTIFYメッセージ270をUEへと中継して返す。UEは、SIP200OKメッセージ272により、IM CNサブシステムへのSIP NOTIFYメッセージに対して肯定応答し得る。IM CNサブシステムは、SIP200OKメッセージ274をSDFへ転送し得る。一例では、SDF及びIM CNサブシステムフレームワークの使用は、PSS及びMBMSユーザサービスにおいて装置方位情報を利用して最適化されたサービス発見を可能にし得る。後にIMSセッションで、UEは、ProfDiffに基づく装置方位の任意の一時的調整を含む更新を示すために、SIPシグナリングを用いても良い(例えば、現在の装置方位が規定装置方位と異なる場合)。これは、更なるSIP SUBSCRIBEメッセージを通じてサブスクリプションをリフレッシュすることにより実行され得る。SIP SUBSCRIBEメッセージは、装置方位情報の更新に関する情報を有し得る。
新しい属性が、PSSボキャブラリ装置能力交換シグナリングに追加され得る。例えば、属性「Orientation」及び「DefaultOrientation」(又は同様の機能を有する属性)は、TS26.234のPSSに基づくボキャブラリのPSSCommonコンポーネントに含まれ得る。属性は、名称、定義、関連コンポーネント、種類、法定値(又は有効オプション)、及び決定ルールを有し得る。
一例では、「Orientation」及び「DefaultOrientation」のコンテキストは、次のように定めることができる。
属性名:方位(Orientation)
属性定義:クライアントによりサポートされる異なる装置方位状態のリストコンポーネント:PssCommon
種類:直定数(Literal)(Bag)
法定値:「ポートレイト」、「ランドスケープ」、「シースケープ」、等
決定ルール:付加
例:
Figure 0006239629
属性名:方位(DefaultOrientation)
属性定義:コンテンツ生成/選択のための基準として取り入れられるべき規定装置方位
コンポーネント:PssCommon
種類:直定数(Literal)
法定値:「ポートレイト」、「ランドスケープ」、「シースケープ」、等
決定ルール:固定
例:
Figure 0006239629
別の例では、キャプチャ及びレンダリング及び/又はディスプレイ中の装置方位認識の観点から可能性のある差を識別すること、PSSボキャブラリのPSSCommonコンポーネントについて定められ得る。2つの属性は、キャプチャ及びディスプレイのためにクライアントによりサポートされる異なる装置方位モードのリストを有し得る(例えば、「OrientationModes Capture」及び「OrientationModesDisplay」)。2つの属性は、(方位センサが無効である又は存在しない場合)キャプチャ及びディスプレイのために規定装置方位のリストを有し得る(例えば、「DefaultOrientationCapture」及び「DefaultOrientationDisplay」)このような属性の可能なシンタックスは次の通りである。
属性名:方位モードキャプチャ(OrientationModesCapture)
属性定義:キャプチャのためにクライアントによりサポートされる異なる装置方位モードのリスト
コンポーネント:PssCommon
種類:直定数(Literal)(Bag)
法定値:「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール:付加
例:
Figure 0006239629
属性名:方位モードディスプレイ(OrientationModesDisplay)
属性定義:レンダリング及びディスプレイのためにクライアントによりサポートされる異なる装置方位モードのリスト
コンポーネント:PssCommon
種類:直定数(Literal)(Bag)
法定値:「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール:付加
例:
Figure 0006239629
属性名:規定方位キャプチャ(DefaultOrientationCapture)
属性定義:カメラセンサのインストールに基づくキャプチャ中の規定装置方位(方位センサが無効である又は存在しない場合)
コンポーネント:PssCommon
種類:直定数(Literal)
法定値:「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール:固定
例:
Figure 0006239629
属性名:規定方位ディスプレイ(DefaultOrientationDisplay)
属性定義:レンダリング及びディスプレイのための規定装置方位(方位センサが無効である又は存在しない場合)
コンポーネント:PssCommon
種類:直定数(Literal)
法定値:「ポートレイト」、「ランドスケープ」、「シースケープ」
決定ルール:固定
例:
Figure 0006239629
別の構成では、方位モードのセットは、装置の方位変化に基づき90度より小さい角度で画像の回転を可能にする更なるモードを有しても良い。角度が90度より小さいとき、以上に定めた「OrientationModes Capture」及び「OrientationModesDisplay」属性(又は同様の機能を有する属性)は、より粒度の細かい方法でこのような画像の回転を実現する方位モードに関する追加法定値を有しても良い。
別の例では、2つの追加属性(例えば、「OrientationAngularGranularityCapture」及び「OrientationAngularGranularityDisplay」)は、装置センサがキャプチャ又はレンダリング/表示中の方位変化を検出できる角度粒度に対して、装置センサの能力及び装置の方位認識を特徴付けるために、用いられても良い。例えば、2つのこのような属性は以下のように定められても良い。
属性名:方位角粒度キャプチャ(OrientationAngularGranularityCapture)
属性定義:装置センサがキャプチャ中に方位変化を検出できる90度間隔の等間隔角度粒度レベルの数
コンポーネント:PssCommon
種類:数値
法定値:1乃至8の整数値
決定ルール:固定
例:
Figure 0006239629
属性名:方位角粒度ディスプレイ(OrientationAngularGranularityDisplay)
属性定義:装置センサがレンダリング及びディスプレイ中に方位変化を検出できる90度間隔の等間隔角度粒度レベルの数コンポーネント:PssCommon
種類:数値
法定値:1乃至8の整数値
決定ルール:固定
例:
Figure 0006239629
「OrientationAngularGranularityCapture」及び「OrientationAngularGranularityDisplay」についての上述の例で、方位変化の検出のための最高可能角度粒度は11.25度であると仮定され、したがって、属性値は1乃至8の整数値に限定された。他の例では、より高度な方位センサ能力により、粒度のより高いレベルが可能であっても良い。したがって、属性は、より高い整数値を使用できる。
別の構成では、装置センサが方位変化を検出できる角度粒度に関して装置の方位認識を特徴付けるために、単一の属性(例えば、「OrientationAngularGranularityDisplay」)が使用されても良い。したがって、属性は、キャプチャ及びレンダリング/表示の両方について有効であり得る。このような設定では、追加属性は次のように定められ得る。
属性名:方位角粒度ディスプレイ(OrientationAngularGranularityDisplay)
属性定義:装置センサがキャプチャ及びレンダリング/ディスプレイの両方の間に方位変化を検出できる90度間隔の等間隔角度粒度レベルの数
コンポーネント:PssCommon
種類:数値
法定値:1乃至8の整数値
決定ルール:固定
例:
Figure 0006239629
別の例では、クライアント装置(例えば、モバイル端末)にあるキャプチャカメラの数を識別するために、別の属性(例えば、「NumOfCameras」)が定められても良い。1より大きい値は、クライアント装置が前面及び背面カメラの両方を有することを示し得る。これは、方位認識適応にとって有利であり得る。「NumOfCameras」属性により示される例では、最大カメラ数は4と仮定される。他の例及び多数のカメラも可能である。
属性名:カメラ数(NumOfCameras)
属性定義:装置にあるカメラの数
コンポーネント:PssCommon
種類:数値
法定値:1乃至4の整数値
決定ルール:固定
例:
Figure 0006239629
別の実施形態では、別の属性(例えば、「HorizontalMirroringSupport」)は、装置が水平ミラーリング(例えば、回転後の画像の水平フリッピング(flipping))をサポートするか否かを示すために定められても良い。この追加属性は、幾つかの装置に、センサ構成により水平ミラーリングされた画像をキャプチャできるようにし得る。例えば、水平ミラーリングの能力交換シグナリングに基づき、受信クライアント装置は水平ミラーリングをサポートするとサーバが決定すると、サーバは、受信クライアント装置はミラーリングを有し水平ミラーリングを補償できることを決定できる。水平ミラーリング属性の例は、次の通りであり得る。
属性名:水平ミラーリングサポート(HorizontalMirroringSupport)
属性定義:装置が方位を認識している場合、この属性は、該装置が水平ミラーリング、つまりセンサ構成に基づく回転語の画像のフリッピングもサポートするか否かを示す。
コンポーネント:PssCommon
種類:直定数(Literal)
法定値:「有(Yes)」、「無(No)」
決定ルール:固定
例:
Figure 0006239629
記載の技術は、方向付けられたビデオコンポーネントを有するコンテンツのストリーミング又はダウンロードを提供する。装置方位認識マルチメディア適応は、方向付けられたビデオコンポーネントを有する予めキャプチャされアップロードされたコンテンツのストリーミング又はダウンロードを提供する。例えば、PSSダウンロード又はMBMSダウンロードアプリケーションの部分として、サーバは、方向付けられたビデオコンポーネントを有するキャプチャされたコンテンツを、後の再生のために非リアルタイム方式でクライアントへプッシュしても良い。或いは、DASHに基づくストリーミングサービスの部分として、HTTPサーバは、方向付けられたビデオコンポーネントを含み得るユーザの生成したコンテンツ(user-generated content:UGC)を、DASHクライアントへ配信しても良い。UGCのRTPに基づくストリーミングでは、コンテンツは、PSSサーバから配信されても良い。これらの状況では、サーバは、クライアント装置によりサポートされるビデオ方位能力に関する情報を受信し、端末のビデオ方位能力に基づき最適配信方針を決定し(例えば、種々の格納されたコンテンツバージョンの中から最適なコンテンツバージョンを選択し及び/又はコンテンツを動的にトランスコーディングし)、最適な選択されたコンテンツをクライアントへ供給しても良い。
例えば、サーバは、コンテンツが方位認識端末によりキャプチャされたことを(例えば、3GPに基づくコンテンツファイルの検査を通じて)決定し、一方で、受信クライアント装置が方位を認識しない(例えば、PSS装置能力シグナリングメカニズムに基づき分かる)場合、サーバは、コンテンツを処理して(例えば、トランスコーディングを適用して)、後のレンダリング及びディスプレイ中の不整合(misalignment、ずれ)問題を是正及び回避しても良い。受信クライアント装置が方位を認識する場合、サーバは、不整合を補正する必要がないが、代わりに、コンテンツに(例えば、RTPストリーミングではRTP拡張ヘッダの中に、又はHTTPストリーミング及びDASHでは3GPファイルの内部に)埋め込まれたビデオ方位情報と一緒に、コンテンツを「そのまま」送信するために選択でき、したがって、受信クライアント装置は不整合を補正できる。
図6は、埋め込まれたビデオ方位情報を有するコンテンツの受信に基づく方位認識メディア配信を実現する例示的なサーバ−クライアント相互作用を示す。例えば、キャプチャリングクライアント224は、埋め込まれたビデオ方位情報を有するコンテンツ(例えば、3GPファイル)をキャプチャ及びサーバ232にアップロードする(282)と共に、ビデオ方位情報をキャプチャできる。別の例では、レンダリングクライアント226は、ビデオ方位能力情報を有する装置プロファイルを、サーバにシグナリングできる(280)。サーバは、前述のように、レンダリングクライアントにおいて起こり得る不整合を補正するために、方位処理を実行できる(284)。次に、サーバは、ストリーミング又はダウンロードサービスの部分として、レンダリングクライアントに適応されたコンテンツを配信できる(286)。
本願明細書に記載の技術は、3GPファイルのようなキャプチャされたコンテンツにビデオ方位情報を埋め込むこともできる。図7に示すように、ストリーミング及びダウンロードアプリケーションの部分としてサーバによる後の使用のために、ISO(International Organization for Standardization)BMFF(Base Media File Format)310のインスタンス化のような(3GPP technical specification (TS) 26.244 V11.1.0(2012-09)に記載のような、例えば、MPEG(moving picture experts group)−4ファイルフォーマット312のmp4ファイル314)3GPファイルへのビデオ方位情報の埋め込みは、有利であり得る。このように3GPファイルにビデオ方位情報を包含することは、装置へのコンテンツ配信を最適化する方位認識マルチメディア適応(例えば、方位を認識しない装置へ送信する前に不整合問題を回避するためにビデオを補正する)をサーバに良好に実行させ得る。埋め込まれたビデオ方位情報は、PSSボキャブラリ及び装置能力シグナリングフレームワークにおける装置方位能力属性で提供され得る。コンテンツファイル(例えば、mp4フィアル314)は、「moov」ボックス316及びメディアデータ(mdat318)のような初期化セグメントを有し得る。moovボックスは、初期オブジェクト記述子(initial object descriptor:IOD)320、シーンのバイナリフォーマット(Binary Format for Scene:BIFS)trak322、オブジェクト記述子(object descriptor:OD)trak、ビデオ(video)trak326、及びオーディオ(audio)trak328を有し得る。埋め込まれたビデオ方位情報330は、ビデオtrak(又はトラック)に含まれ得る。mdatは、インターリーブド、時間順序付け、BIFS、OD、ビデオ、及びオーディオアクセスユニット(access unit:AC)を有し得る。
図8は、埋め込まれたビデオ方位情報を有するコンテンツの受信に基づく方位認識メディア配信を実現する例示的なサーバ−クライアント相互作用を示す。例えば、キャプチャリングクライアント224は、埋め込まれたビデオ方位情報を有するコンテンツ(例えば、3GPファイル)をキャプチャ及びサーバ232にアップロードする(282)と共に、ビデオ方位情報をキャプチャできる。別の例では、レンダリングクライアント226は、ビデオ方位能力情報を有する装置プロファイルを、サーバにシグナリングできる(280)。前述のように、サーバは、方位認識コンテンツ適応、選択、トランスコーディング及び/又はフォーマット変換を実行して、起こり得る不整合を補正し、レンダリングクライアントの方位能力に関してコンテンツ配信を最適化する(294)。次に、サーバは、ストリーミング又はダウンロードサービスの部分として、レンダリングクライアントに適応されたコンテンツを配信できる(286)。
したがって、一例では、ビデオ方位情報の包含は、キャプチャされた画像の一連の方位値の連続記録として、3GPファイル内に記録され得る。ボックスは、ISO−BMFF(ISO base media file format)又は時限(timed)ビデオ方位情報のための3GPPファイルフォーマットで定められ得る。例えば、3GP(3GPP file format)のビデオトラック又はRTPヒントトラックは、方位情報を埋め込むために用いられても良い。図7に示すように、DASHに基づきフォーマット化されたコンテンツでは、ビデオ方位情報は、初期化セグメント(例えば、ISO−BMFFでは「moov」ボックス内)又はメディアセグメント(例えば、ISO−BMFFでは「moof」ボックス内)のようなファイルレベルISO−BMFFボックス内で伝達されても良い。別の例では、ISO−BMFFの時限メタデータトラックは、ビデオ方位情報を含むためのトラックとして選択されても良い。例えば、新しいボックスは、ビデオ方位パラメータの記述でMetaDataSampleEntryを拡張するビデオ方位のために特に生成され得る。図9に示すように、ISOファイルフォーマットボックス構造階層内のサンプル記述ボックス350内の他のボックスは、MP4VisualSampleEntry、AVCSampleEntry又はHintSampleEntryを含み得るビデオ方位情報を有するために用いられても良い。
ISOファイルフォーマットボックス構造階層は、映画ボックス340、トラックボックス342、メディアボックス344。メディア情報ボックス346、サンプルテーブルボックス348、及びサンプル記述ボックスを有し得る。ここで、上位ボックスが先に列挙されている。
別の構成では、ビデオ方位情報は、90度粒度、GSMA(GSM(global system for communications, originally groupe special mobile) association)の豊富な通信サービス(RCS)5.1プロファイルによってもサポートされる(例えば、水平フリップのための)フリップビット、及びRCS5.1におけるような(前面対背面カメラをシグナリングするための)カメラビットをサポートしても良い。
例えば、ビデオ方位情報(例えば、キャプチャされた画像の方位のセット)は、次のようにフォーマット化されたバイトとして伝達されても良い(3GPP technical specification (TS) 26.114V11.5.0(2012-09)の適応されたフォーマットと整合する)。
Figure 0006239629
定義(Definition)に関して、R=予約であり、予約されたビットはゼロに設定され、将来の使用のために予約される。C=カメラであり、ビデオストリームに使用されるカメラの方向を示す(例えば、0はユーザの方を向いている前面カメラを示し、カメラ方向が不明な場合には、0が用いられ得る。1はユーザから離れた方向を向いている背面カメラを示し得る。)。F=フリップであり、リンクで送信されるときのビデオに関する水平(左右フリップ)ミラー動作を示す(例えば、0はフリップ動作が無いことを示し、1は水平フリップ動作を示し得る)。R1、R0=回転であり、回転シグナリングのための表1に示すような、リンクで送信されるときのビデオの回転を示す。方位認識受信機は、ビデオを回転して、該回転を補償できる(例えば、90度半時計回り回転は、表示する前に、受信機(例えば、レンダリングクライアント装置)により、90度時計回り回転で補償できる)。代替で、ビデオは、非方位認識クライアント受信機(例えば、レンダリングクライアント装置)へ送信する前に、サーバにより回転されても良い。別の例では、他の定義が用いられても良い。
Figure 0006239629
図10のフローチャートに示すように、別の例は、モバイル端末(mobile terminal:MT)の装置方位に基づくサーバにおけるマルチメディア適応の方法500を提供する。方法は機械又はコンピュータ回路で命令として実行されても良い。ここで、命令は、少なくとも1つのコンピュータ可読媒体若しくは非一時的機械可読記憶媒体に含まれる。方法は、ブロック510におけるように、サーバにおいて、モバイル端末(MT)のビデオ方位能力を受信する動作を有する。方法の次の動作は、ブロック520におけるように、装置のビデオ方位能力に基づきMTにおける不整合を補正するための、マルチメディアコンテンツの方位認識処理であり得る。
一例では、方法は、キャプチャされた画像の一連のビデオ方位値の連続記録としてビデオをキャプチャするようMTに指示する動作と、3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイル又はISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイルに、時限ビデオ方位情報を埋め込むようMTに指示する動作と、を更に有し得る。
ビデオ方位情報は、3GPファイルのビデオトラック又はRTP(real-time transport protocol)ヒントトラック、ファイルレベルISO−BMFFボックス;ISO−BMFFの時限メタデータトラック;又はISOファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ(SampleEntry);に埋め込まれ得る。ここで、ファイルレベルISO−BMFFボックスは、「moov」ボックス初期化セグメント又は「moof」ボックスメディアセグメントである。ビデオ方位情報は、GSMA(GSM(global system for mobile communications) association)RCS(rich communication services)5.1プロファイルにおける、90度の粒度、水平フリップのためのフリップビット、又は前面又は背面カメラ方向を示すカメラビットをサポートするために回転を有し得る。別の例では、ビデオをキャプチャするようMTに指示する動作は、キャプチャされたビデオの複数のコピー又は方位をキャプチャし圧縮するようMTに指示する動作を更に有し得る。
別の構成では、方位認識処理の動作は、装置のビデオ方位能力に基づき、複数の格納されたコンテンツバージョンからキャプチャされたコンテンツのコンテンツバージョンを選択し、又は装置のビデオ方位能力に基づき、キャプチャされたコンテンツを動的にトランスコーディング又は変換する動作と、PSS(packet switched streaming service)RTP(real-time transport protocol)ストリーミング、PSSダウンロード、又はMBMS(multimedia broadcast and multicast service)ダウンロードで方向付けられたビデオコンポーネントを有するキャプチャされたコンテンツをプッシュし、又はHTTP(hypertext transfer protocol)ストリーム、DASH(dynamic adaptive streaming over HTTP)ストリーム、RTP(real-time transport protocol)ストリーム、又はRTSP(real time streaming protocol)で、SDP(session description protocol)ファイル内のビデオ方位情報の存在を示す及びRTPストリームのRTP拡張ヘッダ内の対応するビデオ方位情報を示す方向付けられたビデオコンポーネントを有するキャプチャされたコンテンツを動的に配信する動作と、を更に有し得る。
図11のフローチャートに示すように、別の例は、ビデオ方位に基づくマルチメディア適応のために動作可能なサーバのコンピュータ回路の機能600を提供する。機能は方法として実施されても良い。あるいは、機能は機械において命令として実行されても良い。ここで、命令は、少なくとも1つのコンピュータ可読媒体若しくは非一時的機械可読記憶媒体に含まれる。ブロック610におけるように、コンピュータ回路は、クライアント装置から装置能力を受信するよう構成され得る。ここで、装置能力は、ビデオ方位能力を有する。ブロック620におけるように、コンピュータ回路は、装置ビデオ方位能力に基づくビデオ方位認識マルチメディア適応を実行するよう更に構成され得る。
一例では、コンピュータ回路は、更新されたビデオ方位能力がプロファイル差分(Profdiff)シグナリングによりクライアント装置から受信されると、クライアント装置の規定ビデオ方位能力情報を上書きするよう更に構成され得る。別の例では、ビデオ方位認識マルチメディア適応を実行するよう構成されるコンピュータ回路は、方位認識コンテンツ適応、方位認識コンテンツ選択、方位認識トランスコーディング、又は方位認識フォーマット変換を実行して、ビデオ方位不整合を補正し、クライアント装置において正しいビデオ方位によるコンテンツ再生を保証するよう更に構成され得る。
別の構成では、コンピュータ回路は、クライアント装置のビデオ方位能力に基づき、ストリーミングサービス又はダウンロードサービスにより、方位認識適応されたコンテンツを配信するよう更に構成され得る。方位認識適応コンテンツは、HTTP(hypertext transfer protocol)又はDASH(dynamic adaptive streaming over HTTP)のためのクライアント装置のビデオ方位能力に従った異なる符号化コンテンツを有するMPD(media presentation description)メタデータファイルを有し得る。方位認識適応されたコンテンツは、対応するRTPストリーム内の方向付けられたビデオコンポーネントの存在を示すSDP(session description protocol)ファイル、及びRTP(real-timetransport protocol)ストリームのための現在のビデオ方位情報を示すRTPヘッダ拡張を有し得る。
別の例では、ビデオ方位認識マルチメディア適応を実行するよう構成されたコンピュータ回路は、クライアント装置の装置能力が方位認識処理能力を有しないとき、HTTP(hypertext transfer protocol)ストリーム、DASH(dynamic adaptive streaming over HTTP)又はRTP(real-timetransport protocol)ストリームのマルチメディアコンテンツを異なるビデオ方位に動的にトランスコーディング又は変換するよう更に構成され得る。或いは、ビデオ方位認識マルチメディア適応を実行するよう構成されたコンピュータ回路は、クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがって、クライアント装置がクライアント装置にあるビデオ方位処理エンジンを起動し帯域内メディアストリーム内のビデオ方位情報を得ることができるとき、MPD(media presentation description)メタデータファイル又はSDP(session description protocol)ファイルにビデオ方位指示情報を埋め込むよう更に構成され得る。或いは、ビデオ方位認識マルチメディア適応を実行するよう構成されたコンピュータ回路は、クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがってクライアント装置がマルチメディアコンテンツの表示方位を変更できるとき、ISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイル又はRTP(real-time transport protocol)拡張ヘッダに、ビデオ方位情報を埋め込むよう更に構成され得る。
別の構成では、装置能力を受信するよう構成されるコンピュータ回路は、PSS(packet switched streaming service)装置能力交換シグナリングにより、ビデオ方位属性を受信するよう更に構成され得る。ビデオ方位属性は、PSS共通コンポーネントを有し得る。PSS共通コンポーネントは、クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位(Orientation)属性、コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位(DefaultOrientation)属性、キャプチャリングのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ(OrientationModesCapture)属性、レンダリング及びディスプレイのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ(OrientationModesDisplay)属性、方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ(DefaultOrientationCapture)属性、方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ(DefaultOrientationDisplay)属性、装置センサがキャプチャ中にビデオ方位変化を検出できる90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ(OrientationAngularGranularityCapture)属性、装置センサがレンダリング及びディスプレイ又はキャプチャ並びにレンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ(OrientationAngularGranularityDisplay)属性、装置にある多数のカメラから選択されるカメラ数(NumOfCameras)属性、又は装置が方位を認識するとき装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート(HorizontalMirroringSupport)属性を有する。
別の例では、コンピュータ回路は、異なるビデオ方位のビデオセグメントをキャプチャし及び圧縮するようクライアント装置に指示し、3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイル又はISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイルのインスタンス化に、ビデオ方位情報を埋め込むようクライアント装置に指示する、よう更に構成され得る。ビデオ方位情報は、3GPファイルのビデオトラック又はRTP(real-time transport protocol)ヒントトラック、ファイルレベルISO−BMFFボックス;ISO−BMFFの時限メタデータトラック;又はISOファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ(SampleEntry);に埋め込まれ得る。ここで、ファイルレベルISO−BMFFボックスは、「moov」ボックス初期化セグメント又は「moof」ボックスメディアセグメントである。
別の構成では、サーバは、3GPP(third generation partnership project)LTE(long term evolution)PSS(packet switched streaming service)サーバ、DASH(dynamic adaptive streaming over HTTP(hypertext transfer protocol))サーバ、又はIMS_PSS_MBMS(IMS(integrated multimedia subsystem) base PSS及びMBMS(multimedia broadcast and multicast service)サーバを有し得る。
図12は、方位認識処理能力を提供する例示的なクライアント装置720、ノード710、及びサーバ730を示す。図10の500で説明したように、サーバは、モバイル端末(MT)の装置方位におけるマルチメディア適応のために構成され得る。図11の600で説明したように、別の構成では、サーバは、ビデオ方位に基づくマルチメディア適応のために動作し得る。ノード710は、基地局(BS)、NB(Node B)、eNB(evolved Node B)、ベースバンドユニット(baseband unit:BBU)、RRH(remote radio head)、RRE(remote radio equipment)、RRU(remote radio unit)、又はCPM(central processing module)を有し得る。
図12に戻ると、クライアント装置720は、プロセッサ722、通信機724、及び方位センサ726を有し得る。プロセッサは、ビデオ方位能力を決定するよう構成され得る。通信機は、ビデオ方位能力情報をサーバへ送信するよう構成され得る。
一例では、クライアント装置の現在のビデオ方位能力情報は、プロファイル差分(Profdiff)シグナリングにより、規定方位能力情報を上書きし得る。プロセッサ722は、装置方位に基づき指定されたメディアセグメントの指定されたビデオ方位でビデオをキャプチャし、3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイルにISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイルのインスタンス化として、キャプチャされたビデオのビデオ方位情報を埋め込む、よう構成され得る。ビデオ方位情報は、3GPファイルのビデオトラック又はRTP(real-time transport protocol)ヒントトラック、ファイルレベルISO−BMFFボックス;ISO−BMFFの時限メタデータトラック;又はISOファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ(SampleEntry);に埋め込まれ得る。ここで、ファイルレベルISO−BMFFボックスは、「moov」ボックス初期化セグメント又は「moof」ボックスメディアセグメントである。別の例では、ビデオ方位情報は、GSMA(GSM(global system for mobile communications) association)RCS(rich communication services)5.1プロファイルにおける、90度の粒度、水平フリップのためのフリップビット、又は前面又は背面カメラ方向を示すカメラビットをサポートするために回転を有し得る。通信機722は、HTTP(hypertext transfer protocol)ストリーム又はDASH(dynamic adaptive streaming over HTTP)のための3GPファイルをアップロードするよう更に構成され得る。
別の構成では、通信機722は、PSS(packet switched streaming service)装置能力交換シグナリングにより、ビデオ方位属性を送信するよう更に構成され得る。ビデオ方位属性は、PSS共通コンポーネントを有し得る。PSS共通コンポーネントは、クライアント装置によりサポートされる異なるビデオ方位状態のリストから選択される方位(Orientation)属性、コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位(DefaultOrientation)属性、キャプチャリングのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ(OrientationModesCapture)属性、レンダリング及びディスプレイのためにクライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ(OrientationModesDisplay)属性、方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ(DefaultOrientationCapture)属性、方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ(DefaultOrientationDisplay)属性、装置センサがキャプチャ中にビデオ方位変化を検出できる90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ(OrientationAngularGranularityCapture)属性、装置センサがレンダリング及びディスプレイ又はキャプチャ並びにレンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ(OrientationAngularGranularityDisplay)属性、装置にある多数のカメラから選択されるカメラ数(NumOfCameras)属性、又は装置が方位を認識するとき装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート(HorizontalMirroringSupport)属性を有する。
別の例では、ビデオ方位能力情報は、3GPP(third generation partnership project)LTE(long term evolution)PSS(packet switched streaming service)セッション、DASH(dynamic adaptive streaming over HTTP(hypertext transfer protocol))セッション、又はIMS_PSS_MBMS(IMS(integrated multimedia subsystem) base PSS及びMBMS(multimedia broadcast and multicast service)セッションの中で提供され得る。別の構成では、クライアント装置は、クライアント装置の方位を決定するために方位センサ726を有し得る。
別の例では、通信機724は、RTP(real-time transport protocol)ストリームのためのRTP拡張ヘッダを受信し、又はHTTP(hypertext transfer protocol)ストリーム又はDASH(dynamic adaptive streaming over HTTP)のための3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイルを受信するよう更に構成され得る。プロセッサ722は、3GPファイル内のビデオ方位情報の存在を識別するためにMPD(media presentation description)メタデータファイルをパースし、又は埋め込まれたビデオ方位情報について3GPファイルをパースし、パースしたビデオ方位情報及びクライアント装置の現在の方位に基づき方位補正項を決定し、決定した方位補正項に基づき不整合についてHTTPストリーム又はDASHのレンダリング方位を補正する、よう更に構成され得る。或いは、プロセッサは、RTPストリーム内のビデオ方位情報の存在を識別するためにSDP(session description protocol)ファイルをパースし、又は埋め込まれたビデオ方位情報についてRTPストリームのRTP拡張ヘッダをパースし、パースしたビデオ方位情報及びクライアント装置の現在の方位に基づき方位補正項を決定し、決定した方位補正項に基づき不整合についてRTPストリームのレンダリング方位を補正する、よう更に構成され得る。
レンダリング方位の補正は、方位の回転又はフリップを補償し得る。
図13は、モバイル端末(MT)、モバイルノード、ユーザ機器(UE)、移動局(MS)、モバイル無線装置、モバイル通信装置、タブレット、ハンドセット、又は他の種類の無線装置のようなクライアント装置の例示的説明を提供する。無線装置は、ノード、マクロノード、低電力ノード(low power node:LPN)、又は基地局(BS)、eNB(evolved Node B)、ベースバンドユニット(baseband unit:BBU)、RRH(remote radio head)、RRE(remote radio equipment)、中継局(RS)、無線機器(radio equipment:RE)、RRU(remote radio unit)、CPM(central processing module)若しくは他の種類の無線広域ネットワーク(wireless wide area network:WWAN)アクセスポイントのような送信局と通信するよう構成される1又は複数のアンテナを有し得る。無線装置は、3GPP LTE、WiMAX、HSPA(High Speed Packet Access)、Bluetooth(登録商標)及びWiFiを含む少なくとも1つの無線通信規格を用いて通信するよう構成され得る。無線装置は、無線通信規格毎に別個のアンテナを又は複数の無線通信規格のための共有アンテナを用いて通信できる。無線装置は、WLAN(wireless local area network)、WPAN(wireless personal area network)、及び/又はWWAN内で通信できる。
図13は、無線装置からの音声入力及び出力のために用いられ得るマイクロフォン及び1又は複数のスピーカの説明も提供する。ディスプレイスクリーンは、LCD(liquid crystal display)スクリーン、又はOLED(organic light emitting diode)ディスプレイのような他の種類のディスプレイスクリーンであっても良い。ディスプレイスクリーンは、タッチスクリーンのように構成され得る。タッチスクリーンは、容量性、抵抗性、又は別の種類のタッチスクリーン技術を用いても良い。アプリケーションプロセッサ及びグラフィックプロセッサは、処理及び表示能力を提供するために内部メモリに結合され得る。不揮発性メモリポートも、ユーザに入力/出力オプションを提供するために用いられ得る。不揮発性メモリポートは、無線装置のメモリ容量を拡張するために用いられても良い。キーボードは、追加ユーザ入力を提供するために、無線装置に統合され又は無線装置に無線接続されても良い。仮想キーボードは、タッチスクリーンを用いて提供されても良い。
種々の技術又はその特定の態様若しくは部分は、フロッピー(登録商標)ディスク、CD−ROM(compact disc-read-only memory)、ハードドライブ、非一時的コンピュータ可読記憶媒体、又は任意の他の機械可読記憶媒体のような有形媒体に具現化されるプログラムコード(つまり、命令)の形式をとっても良く、プログラムコードがコンピュータのような機械に読み込まれ実行されると、該機械は、種々の技術を実施するための装置になる。回路は、ハードウェア、プログラムコード、実行可能コード、コンピュータ命令、及び/又はソフトウェアを有し得る。非一時的コンピュータ可読記憶媒体は、信号を含まないコンピュータ可読記憶媒体であり得る。プログラム可能なコンピュータでプログラムコードが実行される場合、コンピューティング装置は、プロセッサ、該プロセッサにより読み取り可能な記憶媒体(揮発性及び不揮発性メモリ、及び/又は記憶素子を含む)、少なくとも1つの入力装置、及び少なくとも1つの出力装置を含んでも良い。揮発性及び不揮発性メモリ及び/又は記憶素子は、RAM(random-access memory)、EPROM(erasable programmable read only memory)、フラッシュドライブ、光ドライブ、磁気ハードドライブ、固体ドライブ、又は電子データを格納する他の媒体であっても良い。ノード及び無線装置は、通信機モジュール(つまり、通信機)、カウンタモジュール(つまり、カウンタ)、処理モジュール(つまり、プロセッサ)、及び/又はクロックモジュール(つまり、クロック)若しくはタイマモジュール(つまり、タイマ)を有しても良い。ここに記載した種々の技術を実施し又は利用し得る1又は複数のプログラムは、API(application programming interface)、再利用可能制御、等を用いても良い。このようなプログラムは、コンピュータシステムと通信するために、高度な手続き又はオブジェクト指向プログラミング言語で実装されても良い。しかしながら、プログラムは、望ましい場合には、アセンブラ又は機械語で実装されても良い。いずれの場合にも、言語は、コンパイルされた又はインタープリットされた言語であっても良く、ハードウェア実装と結合されても良い。
理解されるべきことに、本願明細書に記載の機能ユニットの多くは、それらの実装独立性を特に強調するために、モジュールとしてラベル付けされた。例えば、モジュールは、カスタムVLSI(very-large-scale integration)回路又はゲートアレイ、ロジックチップ、トランジスタ若しくは他の個別部品のようなオフザシェルフ(off-the-shelf)半導体を有するハードウェア回路として実装されても良い。モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、等のようなプログラマブルハードウェア素子内に実装されても良い。
モジュールは、種々の種類のプロセッサにより実行されるソフトウェアで実装されても良い。例えば、実行可能コードの識別されるモジュールは、例えばオブジェクト、プロシジャ又は関数として編成され得るコンピュータ命令の1又は複数の物理又は論理ブロックを有しても良い。しかしながら、識別されるモジュールの実行ファイルは、物理的に一緒に配置される必要はなく、論理的に一緒にされるとモジュールを有しモジュールの提示される目的を達成する異なる場所に格納される別個の命令を有しても良い。
実際に、実行可能コードのモジュールは、単一命令又は多くの命令であっても良く、幾つかの異なるコードセグメントに渡り、異なるプログラムの間で、及び幾つかのメモリ装置に渡り分散されても良い。同様に、運用データは、ここにモジュール内で識別され示され、任意の適切な形式で実装され、任意の適切な種類のデータ構造で編成されても良い。運用データは、単一データセットとして集められても良く、異なる記憶装置に渡ることを含む異なる場所に渡り分散されても良く、少なくとも部分的にシステム又はネットワーク上の電子信号として単に存在しても良い。モジュールは、所望の機能を実行するよう動作するエージェントを含み、受動的又は能動的であっても良い。
本願明細書を通じて「一例」又は「例示的」という言及は、その例と関連して記載された特定の特徴、構造、機能又は特性が本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本願明細書を通じて種々の場所にある「一例では」という表現又は「例示的な」という語の出現は、必ずしも全て同じ実施形態を参照していない。
ここで用いられるように、複数の用語、構造的要素、組成要素、及び/又は材料は、便宜のために共通のリストに現れ得る。しかしながら、これらのリストは、該リストの各構成要素が別個の及びユニークな構成要素として個々に識別されるものと考えられるべきである。したがって、このようなリストのいかなる個々の構成要素も、断りのない限り、事実上、共通グループ内での出現に基づき同じリストの任意の他の構成要素の等価物として考えられるべきである。さらに、本発明の種々の実施形態及び例は、その種々の成分の代替物とともにここで言及されても良い。理解されるべきことに、このような実施形態、例、及び代替は、事実上互いの等価物として考えられるべきではないが、本発明の別個の及び自主的表現として考えられるべきである。
更に、記載の特徴、構造又は特性は、1又は複数の実施形態において、任意の適切な方法で結合されても良い。以下の記載では、本発明の実施形態の完全な理解を提供するために、レイアウトの例、距離、ネットワーク例、等のような多くの特定の詳細事項が提供される。しかしながら、当業者は、本発明が特定の詳細事項のうちの1又は複数がなくても又は他の方法、コンポーネント、レイアウト、等で実施できることを理解するだろう。他の例では、良く知られた構造、材料又は動作は、本発明の態様を不明瞭にしないために詳細に示されず又は記載されない。
前述の例は1又は複数の特定の用途における本発明の原理の説明であるが、当業者には、発明力を行使しないで及び本発明の原理及び概念から逸脱することなく、実装の形式、使用方法及び詳細事項において多くの変更を行うことができることが明らかである。したがって、以下に記載の請求の範囲を除いて、本発明は限定されるものではない。
[関連出願]
本願は、参照されることにより全体が本願明細書に組み込まれる米国仮特許出願番号第61/719,241号、2012年10月26日出願、代理人管理番号P50328Zの利益を請求する。本願は、参照されることにより全体が本願明細書に組み込まれる米国仮特許出願番号第61/753,914号、2013年1月17日出願、代理人管理番号P53504Zの利益を請求する。

Claims (22)

  1. 方位認識処理能力を提供するモバイル端末(MT)であって、
    前記MTのビデオ方位能力を決定するプロセッサと、
    PSS(packet switched streaming service)装置能力交換シグナリングにより、サーバにビデオ方位能力情報を送信する通信機と、
    を有し、
    前記プロセッサは、
    装置方位に基づき指定されたメディアセグメントの指定されたビデオ方位でビデオをキャプチャし、
    3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイルにISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイルのインスタンス化として、前記キャプチャされたビデオのビデオ方位情報を埋め込む、
    よう更に構成される、
    モバイル端末。
  2. モバイル端末の現在のビデオ方位能力情報は、プロファイル差分(Profdiff)シグナリングを介して規定ビデオ方位能力情報を上書きする、請求項1に記載のモバイル端末。
  3. 前記ビデオ方位情報は、
    前記3GPファイルのビデオトラック又はRTP(real-time transport protocol)ヒントトラック、
    「moov」ボックス初期化セグメント又は「moof」ボックスメディアセグメントであるファイルレベルISO−BMFFボックス、
    前記ISO−BMFFの時限メタデータトラック、又は
    ISOファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ(SampleEntry)、
    に埋め込まれる、請求項に記載のモバイル端末。
  4. 前記通信機は、HTTP(hypertext transfer protocol)ストリーム又はDASH(dynamic adaptive streaming over HTTP)のための前記3GPファイルをアップロードする、
    よう更に構成される、請求項に記載のモバイル端末。
  5. 前記通信機は、
    PSS(packet switched streaming service)装置能力交換シグナリングによりビデオ方位属性を送信し、前記ビデオ方位属性はPSS共通コンポーネントであり、前記PSS共通コンポーネントは、
    クライアント装置によりサポートされる異なるビデオ方位状態のリストから選択される方位(Orientation)属性、
    コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位(DefaultOrientation)属性、
    キャプチャリングのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ(OrientationModesCapture)属性、
    レンダリング及びディスプレイのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ(OrientationModesDisplay)属性、
    方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ(DefaultOrientationCapture)属性、
    前記方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ(DefaultOrientationDisplay)属性、
    装置センサが前記キャプチャ中にビデオ方位変化を検出できる90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ(OrientationAngularGranularityCapture)属性、
    装置センサが前記レンダリング及び前記ディスプレイ又は前記キャプチャ並びに前記レンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる前記90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ(OrientationAngularGranularityDisplay)属性、
    装置にある多数のカメラから選択されるカメラ数(NumOfCameras)属性、又は
    前記装置が方位を認識するとき前記装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート(HorizontalMirroringSupport)属性、
    を有する、よう更に構成される、請求項1に記載のモバイル端末。
  6. 前記ビデオ方位能力情報は、3GPP(third generation partnership project)LTE(long term evolution)PSS(packet switched streaming service)セッション、DASH(dynamic adaptive streaming over HTTP(hypertext transfer protocol))セッション、又はIMS_PSS_MBMS(IMS(integrated multimedia subsystem) base PSS及びMBMS(multimedia broadcast and multicast service)セッションの中で提供される、請求項1に記載のモバイル端末。
  7. 前記モバイル端末の方位を決定する方位センサ、
    を更に有する請求項1に記載のモバイル端末。
  8. 前記通信機は、
    RTP(real-time transport protocol)ストリームのためのRTP拡張ヘッダを受信し、又はHTTP(hypertext transfer protocol)ストリーム又はDASH(dynamic adaptive streaming over HTTP)のための3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイルを受信する、
    よう更に構成され、
    前記プロセッサは、
    前記3GPファイル内のビデオ方位情報の存在を識別するためにMPD(media presentation description)メタデータファイルをパースし、又は埋め込まれたビデオ方位情報について前記3GPファイルをパースし、
    前記パースしたビデオ方位情報及び前記モバイル端末の現在の方位に基づき、方位補正項を決定し、及び
    前記決定した方位補正項に基づき、不整合について、前記HTTPストリーム又はDASHのレンダリング方位を補正し、又は
    前記RTPストリーム内のビデオ方位情報の存在を識別するためにSDP(session description protocol)ファイルをパースし、又は埋め込まれたビデオ方位情報について前記RTPストリームのRTP拡張ヘッダをパースし、
    前記パースしたビデオ方位情報及び前記モバイル端末の前記現在の方位に基づき、前記方位補正項を決定し、及び
    前記決定した方位補正項に基づき、不整合について、前記RTPストリームのレンダリング方位を補正する、
    よう更に構成され、
    前記レンダリング方位は、前記MTの前記方位の回転又はフリップを補償する、請求項1に記載のモバイル端末。
  9. 前記モバイル端末(MT)は、クライアント装置、ユーザ機器(UE)、又は移動局(MS)を有し、
    前記モバイル端末は、アンテナ、カメラ、接触感応ディスプレイスクリーン、スピーカ、マイクロフォン、グラフィックプロセッサ、アプリケーションプロセッサ、内部メモリ、又は不揮発性メモリポートを有する、
    請求項1に記載のモバイル端末。
  10. ビデオ方位に基づくマルチメディア適応のために動作するサーバであって、コンピュータ回路を有し、該コンピュータ回路は、
    PSS(packet switched streaming service)装置能力交換シグナリングを介してクライアント装置から装置能力を受信し、前記装置能力はビデオ方位能力を有し、
    前記装置のビデオ方位能力に基づき、ビデオ方位認識マルチメディア適応を実行する、
    よう構成され
    前記コンピュータ回路は、
    異なるビデオ方位のビデオセグメントをキャプチャし及び圧縮するよう前記クライアント装置に指示し、
    3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイル又はISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイルのインスタンス化にビデオ方位情報を埋め込むよう前記クライアント装置に指示する、
    よう更に構成される、
    サーバ。
  11. 前記コンピュータ回路は、更新されたビデオ方位能力がプロファイル差分(Profdiff)シグナリングによりクライアント装置から受信されると、前記クライアント装置の規定ビデオ方位能力情報を上書きするよう更に構成される、請求項10に記載のサーバ。
  12. ビデオ方位認識マルチメディア適応を実行するよう構成される前記コンピュータ回路は、
    方位認識コンテンツ適応、方位認識コンテンツ選択、方位認識トランスコーディング、又は方位認識フォーマット変換を実行して、ビデオ方位不整合を補正し、前記クライアント装置において正しいビデオ方位によるコンテンツ再生を保証する、
    よう更に構成される、請求項10に記載のサーバ。
  13. 前記コンピュータ回路は、
    前記クライアント装置のビデオ方位能力に基づき、ストリーミングサービス又はダウンロードサービスを介して、前記クライアント装置へ、方位認識適応されたコンテンツを配信し、前記方位認識適応されたコンテンツは、HTTP(hypertext transfer protocol)ストリーム又はDASH(dynamic adaptive streaming over HTTP)のための前記クライアント装置のビデオ方位能力に従って異なる符号化コンテンツを有するMPD(media presentation description)メタデータファイルを有し、或いは、前記方位認識適応されたコンテンツは、対応するRTPストリーム内の方向付けられたビデオコンポーネントの存在を示すSDP(session description protocol)ファイル及びRTP(real-time transport protocol)ストリームのための現在のビデオ方位情報を示すRTPヘッダ拡張を有する、
    よう更に構成される、請求項10に記載のサーバ。
  14. 方位認識マルチメディア適応を実行するよう構成される前記コンピュータ回路は、
    前記クライアント装置の前記装置能力が方位認識処理能力を有しないとき、HTTP(hypertext transfer protocol)ストリーム、DASH(dynamic adaptive streaming over HTTP)又はRTP(real-time transport protocol)ストリームのマルチメディアコンテンツを異なるビデオ方位に動的にトランスコーディング又は変換し、又は
    前記クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがって、前記クライアント装置が前記クライアント装置のビデオ方位処理エンジンを起動し帯域内メディアストリーム内のビデオ方位指示情報を得ることができるとき、MPD(media presentation description)メタデータファイル又はSDP(session description protocol)ファイルに前記ビデオ方位指示情報を埋め込み、又は
    前記クライアント装置の装置方位能力がビデオ方位認識処理能力を示し、したがって前記クライアント装置が前記マルチメディアコンテンツの表示方位を変更できるとき、ISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイル又はRTP(real-time transport protocol)拡張ヘッダに、ビデオ方位情報を埋め込む、
    よう更に構成される、請求項10に記載のサーバ。
  15. 前記装置能力を受信するよう構成される前記コンピュータ回路は、
    PSS(packet switched streaming service)装置能力交換シグナリングによりビデオ方位属性を受信し、前記ビデオ方位属性はPSS共通コンポーネントであり、前記PSS共通コンポーネントは、
    クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位(Orientation)属性、
    コンテンツ生成又は選択のための基準として取り入れられるべき規定ビデオ方位を提供する規定方位(DefaultOrientation)属性、
    キャプチャリングのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードキャプチャ(OrientationModesCapture)属性、
    レンダリング及びディスプレイのために前記クライアント装置によりサポートされる異なるビデオ方位モードのリストから選択される方位モードディスプレイ(OrientationModesDisplay)属性、
    方位センサが無効であるか又は存在しない場合にカメラセンサのインストールに基づきキャプチャリングのための規定ビデオ方位を提供する規定方位キャプチャ(DefaultOrientationCapture)属性、
    前記方位センサが無効であるか又は存在しない場合にレンダリング及びディスプレイのために規定ビデオ方位を提供する規定方位ディスプレイ(DefaultOrientationDisplay)属性、
    装置センサが前記キャプチャ中にビデオ方位変化を検出できる90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度キャプチャ(OrientationAngularGranularityCapture)属性、
    装置センサが前記レンダリング及び前記ディスプレイ又は前記キャプチャ並びに前記レンダリング及びディスプレイの両方の間にビデオ方位変化を検出できる前記90度間隔の多数の等間隔角度粒度レベルから選択される方位角度粒度ディスプレイ(OrientationAngularGranularityDisplay)属性、
    装置にある多数のカメラから選択されるカメラ数(NumOfCameras)属性、又は
    前記装置が方位を認識するとき前記装置が水平ミラーリングをサポートするか否かを示すための水平ミラーリングサポート(HorizontalMirroringSupport)属性、
    を有する、よう更に構成される、請求項10に記載のサーバ。
  16. 前記ビデオ方位情報は、
    前記3GPファイルのビデオトラック又はRTP(real-time transport protocol)ヒントトラック、
    「moov」ボックス初期化セグメント又は「moof」ボックスメディアセグメントであるファイルレベルISO−BMFFボックス、
    前記ISO−BMFFの時限メタデータトラック、又は
    ISOファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ(SampleEntry)、
    に埋め込まれる、請求項10に記載のサーバ。
  17. 前記サーバは、3GPP(third generation partnership project)LTE(long term evolution)PSS(packet switched streaming service)サーバ、DASH(dynamic adaptive streaming over HTTP(hypertext transfer protocol))サーバ、又はIMS_PSS_MBMS(IMS(integrated multimedia subsystem) base PSS及びMBMS(multimedia broadcast and multicast service)サーバを有する、請求項10に記載のサーバ。
  18. モバイル端末(MT)の装置方位に基づくサーバにおけるマルチメディア適応の方法であって、
    前記サーバにおいて、PSS(packet switched streaming service)装置能力交換シグナリングを介して前記MTのビデオ方位能力を受信するステップと、
    装置のビデオ方位能力に基づき前記MTにおける不整合を補正するためのマルチメディアコンテンツ方位認識処理するステップと、
    キャプチャされた画像の一連のビデオ方位値の連続記録としてビデオをキャプチャするよう前記MTに指示するステップと、
    3GP(3GPP(third generation partnership project)ファイルフォーマット)ファイル又はISO−BMFF(ISO(International Organization for Standardization) base media file format)ファイルに、時限ビデオ方位情報を埋め込むよう前記MTに指示するステップと、
    を有する方法。
  19. 前記ビデオ方位情報は、
    前記3GPファイルのビデオトラック又はRTP(real-time transport protocol)ヒントトラック、
    「moov」ボックス初期化セグメント又は「moof」ボックスメディアセグメントであるファイルレベルISO−BMFFボックス、
    前記ISO−BMFFの時限メタデータトラック、又は
    ISOファイルフォーマットボックス構造内のサンプル記述ボックスの中のビデオ方位パラメータを有するサンプルエントリ(SampleEntry)、
    に埋め込まれる、請求項18に記載の方法。
  20. 前記ビデオ方位情報は、GSMA(GSM(global system for mobile communications) association)RCS(rich communication services)5.1プロファイルにおける、90度の粒度、水平フリップのためのフリップビット、又は前面又は背面カメラ方向を示すカメラビットをサポートするために回転ビットを有する、請求項18に記載の方法。
  21. 方位認識処理は、
    前記装置のビデオ方位能力に基づき、複数の格納されたコンテンツバージョンからキャプチャされたコンテンツのコンテンツバージョンを選択するステップ、又は
    前記装置のビデオ方位能力に基づき、キャプチャされたコンテンツを動的にトランスコーディング又は変換するステップ、及び
    PSS(packet switched streaming service)RTP(real-time transport protocol)ストリーミング、PSSダウンロード、又はMBMS(multimedia broadcast and multicast service)ダウンロードで方向付けられたビデオコンポーネントを有する前記キャプチャされたコンテンツをプッシュするステップ、又は
    HTTP(hypertext transfer protocol)ストリーム、DASH(dynamic adaptive streaming over HTTP)ストリーム、RTP(real-time transport protocol)ストリーム、又はDP(session description protocol)ファイル内のビデオ方位情報の存在を示す及びRTPストリームのRTP拡張ヘッダ内の対応するビデオ方位情報を示すRTSP(real time streaming protocol)の中の、方向付けられたビデオコンポーネントを有する前記キャプチャされたコンテンツを動的に配信するステップ、
    を更に有する、請求項18に記載の方法。
  22. 請求項18に記載の方法を実行するよう適応されるコンピュータプログラムコード手段を有するコンピュータプログラム。
JP2015534836A 2012-10-26 2013-10-28 ビデオ方位に基づくマルチメディア適応 Active JP6239629B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261719241P 2012-10-26 2012-10-26
US61/719,241 2012-10-26
US201361753914P 2013-01-17 2013-01-17
US61/753,914 2013-01-17
PCT/US2013/067048 WO2014066885A1 (en) 2012-10-26 2013-10-28 Multimedia adaptation based on video orientation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017211432A Division JP6490778B2 (ja) 2012-10-26 2017-11-01 ビデオ方位に基づくマルチメディア適応

Publications (2)

Publication Number Publication Date
JP2016502296A JP2016502296A (ja) 2016-01-21
JP6239629B2 true JP6239629B2 (ja) 2017-11-29

Family

ID=50545383

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015534836A Active JP6239629B2 (ja) 2012-10-26 2013-10-28 ビデオ方位に基づくマルチメディア適応
JP2017211432A Active JP6490778B2 (ja) 2012-10-26 2017-11-01 ビデオ方位に基づくマルチメディア適応

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017211432A Active JP6490778B2 (ja) 2012-10-26 2017-11-01 ビデオ方位に基づくマルチメディア適応

Country Status (8)

Country Link
US (2) US9762938B2 (ja)
EP (2) EP2912850A4 (ja)
JP (2) JP6239629B2 (ja)
KR (2) KR102015204B1 (ja)
CN (2) CN111225256A (ja)
BR (1) BR112015006455B1 (ja)
HK (1) HK1211159A1 (ja)
WO (1) WO2014066885A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
JP6239629B2 (ja) 2012-10-26 2017-11-29 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)
JP2014239278A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
US10182038B2 (en) * 2013-07-29 2019-01-15 Mobitv, Inc. Efficient common storage of partially encrypted content
US10820062B2 (en) 2013-10-25 2020-10-27 Turner Broadcasting System, Inc. Providing interactive advertisements
US9965568B2 (en) 2013-10-25 2018-05-08 Turner Broadcasting System, Inc. Concepts for providing an enhanced media presentation
CN104717555B (zh) * 2013-12-11 2018-01-02 华为技术有限公司 视频码流的获取方法及装置
WO2015140064A1 (en) * 2014-03-17 2015-09-24 Bitmovin Gmbh Media streaming
US10447747B2 (en) * 2014-03-25 2019-10-15 Qualcomm Incorporated Video orientation negotiation
US9584577B2 (en) * 2014-04-03 2017-02-28 Cisco Technology, Inc. Method for enabling use of HLS as a common intermediate format
US10694259B2 (en) * 2014-04-09 2020-06-23 Lg Electronics Inc. Broadcast transmission device, broadcast reception device, operating method of broadcast transmission device, and operating method of broadcast reception device
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
CN105141569B (zh) * 2014-05-30 2019-06-21 华为技术有限公司 媒体处理方法及设备
GB2528039A (en) * 2014-07-01 2016-01-13 Canon Kk Method for identifying objects across time periods and corresponding device
CN113099291A (zh) * 2014-09-12 2021-07-09 索尼公司 发送设备、发送方法、接收设备和接收方法
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
EP3206408B1 (en) * 2014-10-10 2020-12-30 Sony Corporation Encoding device and method, playback device and method, and program
US10681107B2 (en) 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US10528315B2 (en) 2015-09-25 2020-01-07 Intel Corporation Implementing wireless displays that handle rotation and/or portrait-first sinks
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US9723258B2 (en) * 2015-12-30 2017-08-01 Roku, Inc. Orientation adjustment for casting videos
CN107027175A (zh) * 2016-01-29 2017-08-08 中兴通讯股份有限公司 一种数据传输的方法、用户设备和基站
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10622023B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10397891B2 (en) * 2016-08-02 2019-08-27 Htc Corporation Device and method of handling multiple cellular radio operations
KR102108871B1 (ko) * 2016-11-03 2020-05-12 주식회사 케이티 네트워크 슬라이스 기반 데이터 처리 방법 및 그 장치
US20180152737A1 (en) * 2016-11-28 2018-05-31 Facebook, Inc. Systems and methods for management of multiple streams in a broadcast
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US11470373B2 (en) 2016-12-31 2022-10-11 Turner Broadcasting System, Inc. Server-side dynamic insertion of programming content in an indexed disparate live media output stream
US11503352B2 (en) 2016-12-31 2022-11-15 Turner Broadcasting System, Inc. Dynamic scheduling and channel creation based on external data
US11038932B2 (en) 2016-12-31 2021-06-15 Turner Broadcasting System, Inc. System for establishing a shared media session for one or more client devices
US11438658B2 (en) 2016-12-31 2022-09-06 Turner Broadcasting System, Inc. Client-side dynamic presentation of programming content in an indexed disparate live media output stream
US11962821B2 (en) 2016-12-31 2024-04-16 Turner Broadcasting System, Inc. Publishing a disparate live media output stream using pre-encoded media assets
US11134309B2 (en) 2016-12-31 2021-09-28 Turner Broadcasting System, Inc. Creation of channels using pre-encoded media assets
US10856016B2 (en) 2016-12-31 2020-12-01 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode based on user selection
US11109086B2 (en) 2016-12-31 2021-08-31 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode
CN106960582B (zh) * 2017-03-12 2019-05-07 浙江大学 一种基于宏观基本图的区域瓶颈控制的方法
US10819907B2 (en) 2017-03-30 2020-10-27 Mediatek Inc. Method and apparatus for signaling spherical region information in ISOBMFF
US10475483B2 (en) 2017-05-16 2019-11-12 Snap Inc. Method and system for recording and playing video using orientation of device
US11051073B2 (en) 2017-05-25 2021-06-29 Turner Broadcasting System, Inc. Client-side overlay of graphic items on media content
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
US10764650B2 (en) 2017-12-07 2020-09-01 At&T Intellectual Property I, L.P. Video optimization proxy system and method
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
CN111670579A (zh) * 2018-02-28 2020-09-15 索尼公司 内容分发控制装置、内容分发控制方法、程序和内容分发控制系统
WO2019167633A1 (ja) * 2018-02-28 2019-09-06 ソニー株式会社 コンテンツ配信制御装置、コンテンツ配信制御方法、プログラム、およびコンテンツ配信システム
CN111869222B (zh) * 2018-03-22 2022-05-17 华为技术有限公司 基于http的dash客户端网元、方法及介质
WO2019195460A1 (en) * 2018-04-06 2019-10-10 Futurewei Technologies, Inc. Associating file format objects and dynamic adaptive streaming over hypertext transfer protocol (dash) objects
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN110572883A (zh) * 2018-06-05 2019-12-13 成都鼎桥通信技术有限公司 一种专网连接和音视频记录仪Wifi连接并存的方法和终端
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
CN109246115B (zh) * 2018-09-26 2021-05-25 杭州当虹科技股份有限公司 Sip协议在gb28181下无线网络监控方法
EP3888331A1 (en) * 2018-11-28 2021-10-06 Convida Wireless, Llc Methods to leverage non-cellular device capabilities
US11082734B2 (en) 2018-12-21 2021-08-03 Turner Broadcasting System, Inc. Publishing a disparate live media output stream that complies with distribution format regulations
US10880606B2 (en) 2018-12-21 2020-12-29 Turner Broadcasting System, Inc. Disparate live media output stream playout and broadcast distribution
US10873774B2 (en) 2018-12-22 2020-12-22 Turner Broadcasting System, Inc. Publishing a disparate live media output stream manifest that includes one or more media segments corresponding to key events
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
CN112399209B (zh) * 2019-08-13 2022-06-07 大唐移动通信设备有限公司 一种视频业务识别处理方法及装置
CN110535853B (zh) * 2019-08-28 2021-06-22 北京奇艺世纪科技有限公司 一种视频请求调度方法、装置、服务器及存储介质
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
JP2021068370A (ja) * 2019-10-28 2021-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20210059409A (ko) * 2019-11-15 2021-05-25 한국전자기술연구원 씬 정보 또는 샷 정보를 비디오 파일에 삽입하기 위한 시스템 및 방법
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
CN113518215B (zh) * 2021-05-19 2022-08-05 上海爱客博信息技术有限公司 3d动态效果生成方法、装置、计算机设备和存储介质
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US20230007361A1 (en) * 2021-06-30 2023-01-05 Tencent America LLC Bidirectional presentation datastream using control and data plane channels
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5884300A (en) 1999-06-23 2001-01-09 Infolio, Inc. System and operating method for an internet-based content adaptation service
SE522878C2 (sv) * 2000-06-16 2004-03-16 Ericsson Telefon Ab L M Datakommunikationssystem
JP4189627B2 (ja) 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
US7065641B2 (en) 2002-06-13 2006-06-20 Intel Corporation Weighted processor selection apparatus and method for use in multiprocessor systems
JP2004240878A (ja) * 2003-02-07 2004-08-26 Nec Corp 携帯型電子機器、表示方向切り替え方法およびプログラム
JP2005049834A (ja) * 2003-07-11 2005-02-24 Matsushita Electric Ind Co Ltd メディアデータ表示装置、メディアデータ表示方法およびメディアデータ表示プログラム
JP2005148326A (ja) * 2003-11-14 2005-06-09 Casio Comput Co Ltd データ受信装置、表示制御方法及び表示制御プログラム
US7085590B2 (en) 2003-12-31 2006-08-01 Sony Ericsson Mobile Communications Ab Mobile terminal with ergonomic imaging functions
FI20040944A0 (fi) * 2004-07-07 2004-07-07 Nokia Corp Sisältöviestinnän hallinta viestintäjärjestelmässä
US7721204B2 (en) 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
KR100631601B1 (ko) 2004-10-21 2006-10-09 엘지전자 주식회사 휴대용 단말기의 동영상 스트리밍 서비스 방법
US8819143B2 (en) * 2005-05-31 2014-08-26 Flash Networks Ltd. Presentation layer adaptation in multimedia messaging
US7283841B2 (en) * 2005-07-08 2007-10-16 Microsoft Corporation Transforming media device
US20070186005A1 (en) * 2005-09-01 2007-08-09 Nokia Corporation Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content
JP4567646B2 (ja) * 2006-09-25 2010-10-20 シャープ株式会社 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
US7984177B2 (en) 2007-04-30 2011-07-19 Vixs Systems, Inc. Multimedia client/server system with adjustable packet size and methods for use therewith
US8595186B1 (en) 2007-06-06 2013-11-26 Plusmo LLC System and method for building and delivering mobile widgets
US8600391B2 (en) * 2008-11-24 2013-12-03 Ringcentral, Inc. Call management for location-aware mobile devices
GB0721475D0 (en) * 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US8467991B2 (en) * 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US8706910B2 (en) 2008-10-28 2014-04-22 Panzura, Inc. Dynamically adaptive network-based data processing system and method
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
KR20110138276A (ko) 2009-04-09 2011-12-26 노키아 코포레이션 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치
CN101540871B (zh) 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
EP2484090A1 (en) * 2009-09-29 2012-08-08 Nokia Corp. System, method and apparatus for dynamic media file streaming
US9124804B2 (en) 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8521899B2 (en) 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
US8514331B2 (en) 2010-06-08 2013-08-20 Stmicroelectronics, Inc. De-rotation adaptor and method for enabling interface of handheld multi-media device with external display
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
WO2012021344A2 (en) 2010-08-11 2012-02-16 Movik Networks SYSTEM AND METHOD FOR QoS CONTROL OF IP FLOWS IN MOBILE NETWORKS
EP2614653A4 (en) 2010-09-10 2015-04-15 Nokia Corp METHOD AND APPARATUS FOR ADAPTIVE CONTINUOUS DIFFUSION
US8918645B2 (en) * 2010-09-24 2014-12-23 Amazon Technologies, Inc. Content selection and delivery for random devices
WO2012046487A1 (ja) 2010-10-05 2012-04-12 シャープ株式会社 コンテンツ再生装置、コンテンツ配信システム、コンテンツ再生装置の同期方法、制御プログラム、および、記録媒体
CA2754841C (en) 2010-10-12 2016-11-01 Research In Motion Limited Method and apparatus for image orientation indication and correction
JP2012099890A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP5811602B2 (ja) 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
US8675577B2 (en) 2010-12-20 2014-03-18 Intel Corporation Signaling techniques for a multimedia-aware radio and network adaptation
US9418353B2 (en) * 2010-12-20 2016-08-16 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices
US8441955B2 (en) 2011-01-24 2013-05-14 Tektronix, Inc. Determining mobile video quality of experience and impact of video transcoding
US20120278495A1 (en) 2011-04-26 2012-11-01 Research In Motion Limited Representation grouping for http streaming
KR101784316B1 (ko) 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
US9258344B2 (en) 2011-08-01 2016-02-09 Intel Corporation Multi-hop single sign-on (SSO) for identity provider (IdP) roaming/proxy
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130060881A1 (en) 2011-09-01 2013-03-07 Mp4Sls Pte Ltd Communication device and method for receiving media data
TW201322743A (zh) 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面,系統及方法
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
WO2014012015A2 (en) 2012-07-13 2014-01-16 Vid Scale, Inc. Operation and architecture for dash streaming clients
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
JP6239629B2 (ja) 2012-10-26 2017-11-29 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)

Also Published As

Publication number Publication date
EP2912850A4 (en) 2016-05-25
JP2018023169A (ja) 2018-02-08
CN104685894A (zh) 2015-06-03
BR112015006455B1 (pt) 2022-12-20
KR20150052134A (ko) 2015-05-13
BR112015006455A2 (pt) 2017-08-08
US20150256861A1 (en) 2015-09-10
EP3148290B1 (en) 2023-08-30
EP2912850A1 (en) 2015-09-02
JP2016502296A (ja) 2016-01-21
KR101773689B1 (ko) 2017-08-31
EP3148290A1 (en) 2017-03-29
KR20170101313A (ko) 2017-09-05
KR102015204B1 (ko) 2019-08-27
CN104685894B (zh) 2020-02-04
HK1211159A1 (en) 2016-05-13
CN111225256A (zh) 2020-06-02
US9762938B2 (en) 2017-09-12
JP6490778B2 (ja) 2019-03-27
US10523982B2 (en) 2019-12-31
US20170353743A1 (en) 2017-12-07
WO2014066885A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
JP6490778B2 (ja) ビデオ方位に基づくマルチメディア適応
JP6455741B2 (ja) ビデオの向きの調整(cvo)を伴うストリーミング
EP2880813B1 (en) Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171101

R150 Certificate of patent or registration of utility model

Ref document number: 6239629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250