JP6455741B2 - ビデオの向きの調整(cvo)を伴うストリーミング - Google Patents

ビデオの向きの調整(cvo)を伴うストリーミング Download PDF

Info

Publication number
JP6455741B2
JP6455741B2 JP2017039865A JP2017039865A JP6455741B2 JP 6455741 B2 JP6455741 B2 JP 6455741B2 JP 2017039865 A JP2017039865 A JP 2017039865A JP 2017039865 A JP2017039865 A JP 2017039865A JP 6455741 B2 JP6455741 B2 JP 6455741B2
Authority
JP
Japan
Prior art keywords
cvo
client
orientation
content
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017039865A
Other languages
English (en)
Other versions
JP2017143528A (ja
Inventor
オイマン、オズガー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2017143528A publication Critical patent/JP2017143528A/ja
Application granted granted Critical
Publication of JP6455741B2 publication Critical patent/JP6455741B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/04Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Description

[関連出願の相互参照]
本願は、代理人整理番号がP50328Zであり、2012年10月26日に出願された米国仮出願シリアルNo.61/719,241の利益を主張し、ここで、参照により組み込む。本願は、代理人整理番号がP53504Zであり、2013年1月17日に出願された米国仮出願シリアルNo.61/753,914の利益を主張し、ここで、参照により組み込む。本願は、代理人整理番号がP57460Zであり、2013年5月28日に出願された米国仮出願シリアルNo.61/841,230の利益を主張し、ここで、参照により組み込む。
無線移動通信技術は、ノード(例えば、送信局)と無線デバイス(例えば、モバイルデバイス)との間でデータを伝送するために、様々な規格及びプロトコルを用いる。いくつかの無線デバイスは、ダウンリンク(DL)送信において直交周波数分割多元接続(OFDMA)を、アップリンク(UL)送信においてシングルキャリア周波数分割多元接続(SC−FDMA)を用いて通信する。信号伝送のために直交周波数分割多重(OFDM)を用いる複数の規格及び複数のプロトコルは、第3世代パートナシッププロジェクト(3GPP)ロングタームエボリューション(LTE)、WiMAX(登録商標)(Worldwide interoperability for Microwave Access)として複数の業界団体に広く知られている電気電子技術者協会(IEEE)802.16規格(例えば、802.16e、802.16m)、及びWiFiとして複数の業界団体に広く知られているIEEE802.11規格を含む。
複数の3GPP無線アクセスネットワーク(RAN)LTEシステムにおいて、ノードは、(複数の進化型ノードB、複数の拡張型ノードB、複数のeNodeB、又は複数のeNBとしても一般的に示される。)複数の進化型ユニバーサル地上波無線アクセスネットワーク(E−UTRAN)ノードB、及び複数の無線ネットワークコントローラ(RNC)の組み合わせであり得、ユーザ機器(UE)として知られる無線デバイスと通信する。ダウンリンク(DL)送信は、ノード(例えば、eNodeB)から無線デバイス(例えば、UE)への通信であり得、アップリンク(UL)送信は、無線デバイスからノードへの通信であり得る。
無線デバイスは、ハイパーテキスト転送プロトコル(HTTP)ストリーミングなどの様々なプロトコルを用いたインターネットビデオのマルチメディア配信の受信に利用され得る。HTTPを利用したビデオストリーミングの配信を提供するプロトコルは、HTTP上での動的適応型ストリーミング(DASH)を含み得る。
本開示の複数の特徴及び複数の利点は、本開示の複数の特徴を例として共に示す添付の複数の図面と併用される、以下の詳細な説明から明らかになるだろう。
一実施例に係る、パケット交換ストリーミングサービス(PSS)能力交換(capability exchange)における複数の機能コンポーネントの図を示す。 一実施例に係る、例示的な、ハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミングを利用した(DASH−based)、ビデオの向き(ビデオオリエンテーション)の調整(CVO)を伴うストリーミングを示す。 一実施例に係る、例示的な、リアルタイムストリーミングプロトコルを利用した(RTSP−based)、ビデオの向きの調整(CVO)を伴うストリーミングを示す。 一実施例に係る国際標準化機構ベースの(ISO−base)メディアファイルフォーマット(ISO−BMFF)の具体例を用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルへの、ビデオオリエンテーション調整(CVO)情報の埋め込みの一例を示す。 一実施例に係る、国際標準化機構(ISO)ファイルフォーマットのボックス構造の階層を示す。 一実施例に係る埋め込まれたビデオオリエンテーション調整(CVO)情報を有するコンテンツの受信に基づく、デバイスの向きを意識したマルチメディア適応(device orientation−aware multimedia adaptation)を用いた、例示的なサーバ−クライアント間のインタラクションを示す。 一実施例に係る、共通グループ、表現、複数の属性及び複数のエレメントからなる拡張マークアップ言語の構文(XML− syntax)の表(つまり、表3である。)を示す。 一実施例に係る、メディアプレゼンテーション記述(MPD)メタデータファイル構成のブロック図を示す。 一実施例に係る、サーバにおいて、移動端末(MT)のビデオオリエンテーション調整(CVO)能力をシグナリングする方法のフローチャートを示す。 一実施例に係る、ビデオの向きの調整(CVO)を伴うストリーミングを提供するように動作可能なサーバのコンピュータ回路の機能を示す。 一実施例に係る、サーバ、ノード及びユーザ機器(UE)の図を示す。 一実施例に係る、無線デバイス(例えばUE)の図を示す。 ここで、示された例示的な複数の実施形態を参照し、特殊言語が、それらを説明するために本明細書中で用いられるであろう。それでもなお、本発明の範囲の限定がそのことによって意図されないことが理解されるであろう。
本発明が開示及び説明される前に、本発明がここで開示される特定の複数の構造、複数の処理ステップ、又は複数の材料に限定されないが、当業者が認識し得るそれらの複数の均等物にまで拡張されることが理解されるべきである。また、ここで採用される用語が特定の複数の実施例を説明するためだけに用いられ、限定することを意図されないことが理解されるべきである。異なる複数の図面における同じ複数の参照符号は、同じエレメントを表す。複数のフローチャート及び複数の処理において提供される複数の数字は、複数のステップ及び複数のオペレーションを例示することにおける明確性のために提供され、必ずしも特定の順序又は配列を示さない。
[例示的な実施形態]
技術の複数の実施形態の最初の概要が以下に提供され、そして、具体的な技術の複数の実施形態が後でより詳しく説明される。この最初の要約は、技術をより迅速に理解する上で読み手を助けることが意図されるが、技術の重要な複数の特徴又は必須の複数の特徴を特定することは意図されず、又は特許請求された主題の範囲を限定することは意図されない。
ストリーミング及び対話型の複数のサービスを含む、複数のマルチメディアサービスの成長は、複数の新たなモバイルブロードバンド技術及び規格への発展の複数の原動力の一つである。メディア圧縮及び複数の無線ネットワーク基盤における複数の発達と相まって、複数のマルチメディアサービスに関する消費者の需要が高まるとともに、複数のセルラー及びモバイルブロードバンドシステムの複数のマルチメディアサービス能力の向上が望まれている。複数のマルチメディアサービス能力は、どの場所からも、どの時点であっても、どのデバイス及び技術を用いていても、ビデオコンテンツ及び複数のサービスへのユビキタスアクセスを確保して、高い体感品質(QoE)を複数の消費者に供給するために用いられ得る。様々なモバイルデバイスをサポートすること、及び、様々なデバイスクラス及び能力に最適化された、複数のメディアハンドリングプロシージャ及び複数のセッション管理プロトコルを用意することが、ユビキタスな方法で、QoEの高いマルチメディアコンテンツの供給を可能にするために用いられ得る。
リアルタイムビデオ通信に用いられる複数のモバイルデバイスに複数の方位センサを導入することで、ディスプレイコンテンツは、デバイスの向きに合うように回転され得る。一例において、方位センサは、重力場を測定することで、デバイスの向きを検出し得る。他のタイプの方位センサが用いられてもよい。デバイスの向きは、さらに、向きに応じてデバイスの複数の機能を調整するための複数の用途に用いられ得る。例えば、デバイスは、ユーザインタフェース又はビデオの向きを、デバイスの向きに基づいて、ポートレート又はランドスケープモードのいずれかに回転させてよい。
クライアントデバイスが方位センサを含むことがあるので、コンテンツ若しくはサービスのプロバイダは、そのコンテンツの、複数のデバイスの向きに最適化された、エンコードの異なる複数のバージョンを提供してよく、又は、コンテンツ/サービスのプロバイダは、最適化された体験を供給するために、コンテンツキャプチャ(例えば、オンザフライ)の間に、コンテンツをキャプチャ若しくはコード変換してもよい。ユーザ機器(UE)からネットワークへの、複数の方位センサ能力及び/又は現在のデバイスの向きに関するシグナリングは、ネットワーク側でコンテンツに適応して、高品質のクライアント体験を供給する複数の機会を提供し得る。マルチメディア適応を利用したデバイス及び/又はビデオの向きへの適応は、2次元(2D)及び3次元(3D)の両方のビデオ用途に適用し得る。2Dビデオの例において、デバイスの向きに基づいて、ポートレート若しくはランドスケープのビデオビュー、及び/又は、複数の異なる視野角が適応されてよい。3Dビデオの例において、デバイスの向きに基づいて、上記の複数の異なる視野角及び深度の情報が適応されてよい。
能力交換シグナリングは、(3GPP技術仕様(TS) 26.234 VI 1.1.0(2012−09)に記載されているような)第3世代パートナシッププロジェクトの(3GPP's)パケット交換ストリーミングサービス(PSS)、(3GPP TS 26.247 VI 1.0.0(2012−09)に記載されているような)HTTP上での動的適応型ストリーミング(DASH)、並びに、(IMS_PSS_MBMSと略され、3GPP TS 26.237 VI 1.0.0(2012−06)に記載されているような)統合マルチメディアサブシステム(IMS)を利用したPSS、及び、マルチメディアブロードキャスト及びマルチキャストサービス(MBMS)において、重要な機能であり得る。
能力交換は、PSS、DASH及びIMS_PSS_MBMSの複数のサーバが、移動端末の具体的な能力に関する情報に基づいて、広範囲のデバイスに、対象となっている特定のデバイスに適したコンテンツを提供することを可能にする。ストリーミングに関するサーバ側のコンテンツネゴシエーションを促進する目的で、PSS又はIMS_PSS_MBMSのサーバは、デバイス能力記述(device capability description)を介して、移動端末(MT)の具体的な能力の記述にアクセスしてよい。デバイス能力記述(device capability description)は、多数の属性を含んでよい。DASHにおいて、デバイス能力シグナリングの複数の属性が、以下の複数のパラメータを含んでもよい。
デコーダ前のバッファサイズ、
初期バッファリング期間、
デコーダ能力、
複数のディスプレイ特性(例えば、スクリーンサイズ、解像度、又は、ビット深度)、
ストリーミング方法(例えば、リアルタイムストリーミングプロトコル(RTSP)、又は、HTTP)、
適応のサポート、
QoEのサポート、
拡張リアルタイムトランスポートプロトコル(RTP)コントロールプロトコル(RTCP)リポーティングのサポート、及び、
ファーストコンテンツスイッチングのサポート、並びに、
サポートされた複数のRTPプロファイル、及び、複数のセッション記述プロトコル(SDP)属性。
ストリーミングセッションをセットアップする間、サーバは、移動端末にマルチメディアコンテンツの正確なタイプを提供するべく、デバイス能力記述を用いてよい。サーバは、接続している端末(例えば、移動端末)に、どのストリーム(stream)を提供するかを決定するべく、移動端末の能力についての情報を用いてよい。例えば、サーバは、その特定の移動端末に最も適したストリームを決定するべく、特定のストリームの複数の利用可能な変型(variant)についての移動端末に関する条件と、接続している端末の複数の実際の能力とを比較し得る。また、能力交換は、最適化されたセッション記述プロトコル(SDP)ファイルを、PSS若しくはIMS_PSS_MBMSのセッションに関連するクライアント端末(例えば、移動端末)に、又は、最適化されたメディアプレゼンテーション記述(MPD)メタデータファイルを、DASHのセッションに関連するクライアント端末に、供給することを可能にする。
図1は、PSSの複数のサービスに関する能力交換の一例を示す図において、移動端末110(又はクライアントデバイス若しくはクライアント端末)は、PSSサーバが、移動端末に関するデバイス能力プロファイル122を格納し得るデバイスプロファイルサーバ120から、デバイス能力プロファイルを読み出すことができるように、MTのアイデンティティに関する情報をPSSサーバ130に提供してよい。MTは、HTTP及び/又はRTSPのリクエスト170を、PSSサーバに送信してよい。HTTP及び/又はRTSPのリクエストは、統一資源位置指定子(URL)記述子(URLdesc)、及び/又は、プロファイルディファレンス(profileDiff)ヘッダを含んでよい。PSSサーバは、デバイスプロファイルサーバに、MTのデバイス能力プロファイルに関するHTTPリクエスト160を送信してよい。デバイスプロファイルサーバは、MTに関するデバイス能力プロファイルを有するHTTPレスポンス162を、PSSサーバに送信してよい。PSSサーバは、デバイス能力プロファイルを、マッチさせ(マッチング132)、又は、複製してよい。PSSサーバは、MTに関するデバイス能力プロファイルに基づいて、複数のHTTP及び/又はRTSPの応答172、並びに、マルチメディアコンテンツ174を、MTに送信してよい。一例において、端末メーカ又はソフトウェアベンダが、当該メーカ又はベンダの複数の製品に関するデバイス能力プロファイルを提供するべく、デバイスプロファイルサーバを管理してよい他の例において、オペレータが、オペレータの複数の加入者に関連するデバイスプロファイルサーバを管理してよい。これにより、加入者が、当該加入者の複数のプロファイルに対して、ユーザに固有の複数のアップデートを行うことを可能にし得る。デバイスプロファイルサーバは、リクエスト応じて、PSSサーバに、複数のデバイス能力プロファイルを提供してよい。
本明細書中に記載された技術(例えば、複数のサーバ、複数のクライアントデバイス若しくは複数の端末、複数の移動端末、複数の方法、複数のコンピュータ回路、及び、複数のシステム)は、移動端末又はクライアントデバイスのビデオオリエンテーション調整(CVO)能力を提供し得る。複数の異なるストリーミングパラダイム(例えば、PSS、DASH、及び、IMS_PSS_MBMSである。)は、複数の異なるマルチメディア適応方法及びプロセスを用いてよく、それらは、下記において、より詳細に説明される。
サービスは、プル型ストリーミングプロセス、又は、プッシュ型ストリーミングプロセスを用いてよい。DASHは、プル型ストリーミングの一例を提供する。図2に示されるように、DASHセッションに関して、HTTPサーバ230は、異なるCVOに最適化されたコンテンツを、DASHクライアント220に提供する。HTTPサーバは、サポートされている様々なCVOの状態240を説明する、DASHクライアントからのデバイス能力交換シグナリングを用いてよい。様々なCVO向けに、様々にエンコードされたコンテンツを有するメディアプレゼンテーション記述(MPD)メタデータファイル242において、複数のCVOと、対応するコンテンツ情報とのセットが、DASHクライアントに対してシグナリングされてよい。サーバ−クライアント間のインタラクションが、図2に示される。そして、DASHクライアントのプレーヤは、現在のCVOをトラッキングして、現在のCVOに最適化されたコンテンツの対応する複数のバージョンをリクエストしてよい。
リアルタイムストリーミングプロトコル(RTSP)に基づく複数のPSSサービス、及び、セッション開始プロトコル(SIP)に基づくIMS_PSS_MBMSサービスは、プッシュ型ストリーミングの複数の例を提供する。図3に示されるように、PSS又はIMS_PSS_MBMSサービスに関して、サーバ232は、クライアント222からCVO情報244を受信して、CVOに基づいて、コンテンツを適応させる。例えば、サーバは、CVOに基づいて、格納されたコンテンツの複数のバージョンの中から最も適したコンテンツのバージョンを選択し、又は、コンテンツを動的にコード変換し、当該コンテンツをクライアント246にストリーミングしてよい。サーバ−クライアント間のインタラクションが、図3に示される。セッション記述プロトコル(SDP)246において搬送される、セッション関連メタデータは、ストリーミングされるコンテンツに関するCVOを搬送してよい。
追加的な複数の属性が、PSSボキャブラリー・デバイス能力交換シグナリングに、追加されてもよい。例えば、「ストリーミングCVO能力」、「ストリーミング高粒度CVO能力」、「3GPCVO能力」、「3GP高粒度CVO能力」(又は、同様の機能を有する複数の属性)といった複数の属性が、3GPP PSSのユニキャストストリーミングの仕様を説明するTS 26.234、及び、3GPPファイルフォーマットの仕様を説明するTS 26.244 VI 1.1.0(2012−09)におけるPSSベースボキャブラリーの、ストリーミング及び3GPファイルフォーマットコンポーネントに、含まれ又は追加されてよい。複数の属性は、名称、定義、コンポーネント、タイプ、複数のリーガルバリュー(又は複数の有効な選択肢(valid option)、及び、解像ルールを有してよい。これらの複数の追加的な属性に関して見込まれる構文は、下記のとおりであってよい。
[属性名]ストリーミングCVO能力
[属性の定義]
クライアントがRTPストリームのCVO対応レシーバであるか否かを示す。つまり、供給されるコンテンツに関するビデオオリエンテーション情報が、RTP拡張ヘッダ(urn:3gpp:video−orientationに対応する。)中で、クライアントに伝えられるならば、クライアントは、ビデオの向きを解釈し、レンダリング/表示のために、ビデオの位置を正しく調整することができる。
本属性がレポートされ、且つ、ストリーミング高粒度CVO能力属性が「YES」としてレポートされている場合、本属性の値は「YES」であり得る。
[コンポーネント]ストリーミング
[タイプ]リテラル
[リーガルバリュー]「YES」、「NO」
[解像ルール]ロック(Locked)
[属性名]ストリーミング高粒度CVO能力
[属性の定義]
クライアントがRTPストリームの高粒度CVO対応レシーバであるか否かを示す。つまり、供給されるコンテンツに関するビデオオリエンテーション情報が、RTP拡張ヘッダ(urn:3GPP:video−orientation:6に対応する。)中で、クライアントに伝えられるならば、クライアントは、ビデオの向きを解釈し、レンダリング/表示のために、ビデオの位置を正しく調整することができる。
[コンポーネント]ストリーミング
[タイプ]リテラル
[リーガルバリュー]「YES」、「NO」
[解像ルール]ロック(Locked)
[属性名]3GPCVO能力
[属性の定義]
クライアントが複数の3GPファイルのCVO対応レシーバであるか否かを示す。つまり、供給されるコンテンツのビデオオリエンテーション情報(urn:3gpp:video−orientationに対応する。)が、3GPファイル中で、クライアントに伝えられるならば、クライアントは、ビデオの向きを解釈し、レンダリング/表示のために、ビデオの位置を正しく調整することができる。
本属性がレポートされ、且つ、3GP高粒度CVO能力属性が「YES」としてレポートされている場合、本属性の値は「YES」であり得る。
[コンポーネント]3GPファイルフォーマット
[タイプ]リテラル
[リーガルバリュー]「YES」、「NO」
[解像ルール]ロック(Locked)
[属性名]3GP高粒度CVO能力
[属性の定義]
クライアントが複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す。つまり、供給されるコンテンツのビデオオリエンテーション情報(urn:3gpp:video−orientation:6に対応する。)が、3GPファイル中で、クライアントに伝えられるならば、クライアントは、ビデオの向きを解釈し、レンダリング/表示のために、ビデオの位置を正しく調整することができる。
[コンポーネント]3GPファイルフォーマット
[タイプ]リテラル
[リーガルバリュー]「YES」、「NO」
[解像ルール]ロック(Locked)
本明細書に記載された技術は、また、3GPファイルのようなキャプチャされるコンテンツに、CVO情報を埋め込み得る。図4に示されるように、ストリーミング及びダウンロードの複数のアプリケーションの一部として、複数のサーバが後で使用するために、国際標準化機構(ISO)ベースのメディアファイルフォーマット(BMFF)310の具体例としての3GPファイル(3GPP技術仕様(TS) 26.244 VI 1.1.0(2012−09)に記載されているようなものであり、例えば、ムービングピクチャエクスパーツグループ−4(MPEG−4)ファイルフォーマット312の中のmp4ファイル314である。)に、CVO情報を埋め込むことは有益であり得る。3GPファイル中にそのようなCVO情報が含まれることで、サーバが、複数のデバイスへのコンテンツの供給を最適化することを目的とした、向きを意識したマルチメディア適応(例えば、向きを意識しないデバイスへの送信に先立って、不整合に関する複数の問題を避けるべく、ビデオを修正することである。)をより実現しやすくなる。埋め込まれたCVO情報は、PSSボキャブラリー及びデバイス能力シグナリングフレームワーク中の、複数のデバイスオリエンテーション能力属性において、提供され得る。コンテンツファイル(例えば、mp4ファイル314である。)は、「moov」ボックス316及びメディアデータ(mdat318)のような初期化セグメントを含んでよい。moovボックスは、初期オブジェクト記述子(IOD)320と、シーン用バイナリフォーマット(BIFS)トラック322と、オブジェクト記述子(OD)トラックと、ビデオトラック326と、オーディオトラック328とを含んでよい。埋め込まれたCVO情報330は、ビデオトラック(trak又はtrack)の中に含まれてもよい。mdatは、インターリーブ(interleaved)、タイムオーダー(time−ordered)、BIFS、OD、ビデオ、及びオーディオアクセスの複数のユニット(AC)を含んでよい。
他の例において、サービスの仕様は、向きを意識したストリーミングをサポートしてよい。例えば、SDPを利用し得るRTPストリーミングに関して、ビデオの向きの調整(CVO)は、PSSの仕様に追加されてもよい。PSS RTPストリーミングの内容の中で、CVOは、適切なレンダリング及び表示を目的として、CVO対応PSSクライアントに対する画像の現在の向きに関するシグナリングを含み得る。CVO対応PSSサーバは、SDPの中でCVOを示したり、CVO用にフォーマットされたバイト(urn:3gpp:video−orientationに対応する。)、及び、高粒度CVO用にフォーマットされたバイト(urn:3gpp:video−orientation:6に対応する。)を有する複数のRTPヘッダエクステンションを用いたりすることで、CVOのシグナリングを実現してよい。複数のRTPヘッダエクステンションは、3GPP技術仕様(TS)26.114 VI 1.5.0(2012−09)により定義されてもよい。
CVO対応PSSクライアントは、CVO及び高粒度CVOのための回転を補正するべく、ビデオを回転させてよい。回転及びフリップの両方を補正する場合、複数のオペレーションは、LSBからMSBの順番で実行されてもよい(つまり、まずは回転補正で、その後、フリップ補正である)。
CVO対応PSSサーバは、キーフレーム(例えば、H.264における中間フレーム(I−フレーム)又は瞬時復号更新(IDR)である。)を作成する複数のパケットからなる各グループにおける最後のRTPパケットに、ペイロードの複数のバイトを追加してもよい。また、PSSサーバは、現在の値が送信された従前の値と異なる場合、別のタイプのフレーム(例えば、予測フレーム(P−フレーム)である。)を作成する複数のパケットからなる各グループにおける最後のRTPパケットに、ペイロードの複数のバイトを追加してもよい。
中間フレーム(I−フレーム)は、1又は複数の隣接するフレームの観点から表現され得るビデオ圧縮ストリーム中の1枚のフレームである。IDRアクセスユニットは、イントラピクチャを含んでよい(つまり、ネットワーク抽象化層(NAL)ユニットストリームにおいて、いかなる従前の複数のピクチャも復号することなく復号され得る符号化されたピクチャと、IDRアクセスユニットの存在とにより、当該ストリーム中の後続のピクチャ(subsequent picture)が、復号されることを目的としてIDRアクセスユニットが含んでいるイントラピクチャより前の複数のピクチャへの参照を使用しないであろうことが示され得る。)。H.264/ムービングピクチャエクスパーツグループ−4(MPEG−4)(H.264/MPEG−4)パート10、又は、アドバンスト動画コーディング(AVC)は、ビデオ圧縮フォーマットであり、高解像度ビデオの記録、圧縮及び配布に用いることができる。P−フレームは、前方予測(forward predicted)された複数のピクチャを定義するためのI−フレームの1つのタイプであってよい。上記の予測は、時間的に前のピクチャから、データの符号化を少なくするために主にI−フレームから、なされてよい。
CVO RTPヘッダエクステンションが、存在する唯一のヘッダエクステンションである場合、RTPヘッダに、合計で8バイトが追加されてよい。また、複数のRTPパケットのシーケンスにおける最後のパケットは、マーカービット及び拡張ビットの両方を用いてマーク付けされてよい。
RTPヘッダエクステンションにおいてCVO情報がシグナリングされている場合、PSSサーバは、関連するメディアラインスコープのもとに、CVOの統一資源名(URN)を示すa=extmap属性を含めることにより、SDPにおいて当該CVO情報をシグナリングしてよい。CVOのURNは、「urn:3gpp:video−orientation」のように表されてよい。メディアラインに関連するCVOをシグナリングするためのURNの使用の一例は、下記のとおりである。
「a=extmap:7 urn:3gpp:video−orientation」
CVOのURNの例における数字の7は、1〜14の範囲の任意の数字で置き換えられてもよい。
高粒度CVO情報がRTPヘッダエクステンション中でシグナリングされている場合、PSSサーバは、CVOのURNを使用して、同様に、SDP中で高粒度CVO情報をシグナリングしてよい。ここで、高粒度CVOのURNは、「urn:3gpp:video−orientation:6」のように表されてよい。メディアラインに関連するCVOをシグナリングするためのURNの使用の一例は、下記のとおりである。
「a=extmap : 5 urn: 3 gpp: video−orientation: 6」
従って、一実施例において、キャプチャされた複数の画像の、一連の、向きに関する値(orientation value)の連続的な記録として、CVO情報を含むことが、3GPファイルフォーマット中に記録され得る。ボックスは、ISOベースのメディアファイルフォーマット (ISO−BMFF)、又は、タイムドCVO情報に関する3GPPファイルフォーマット中において定義され得る。例えば、ビデオトラック、又は、3GPPファイルフォーマット(3GP)のRTPヒントトラックは、向きに関する情報を埋め込むために用いられてもよい。図4に示されるように、DASHに基づいてフォーマットされたコンテンツに関して、CVO情報は、初期化セグメント中(例えば、ISO−BMFF用の「moov」ボックス中である。)、又は、メディアセグメント中(例えば、ISO−BMFF用の「moof」ボックス中である。)などのファイル−レベルISO−BMFFボックス内で搬送されてよい。他の例において、ISO−BMFFのタイムドメタデータトラックが、CVO情報を含めるためのトラックとして選択されてよい。例えば、CVO専用に、複数のCVOパラメータに関する記述を有するCVOサンプルエントリなどの、新たなボックスが生成されてもよい。CVO情報を含ませるために、図5に示されるようなISOファイルフォーマットのボックス構造の階層中のサンプル記述ボックス350内のその他の複数のボックスが用いられてもよい。ISOファイルフォーマットのボックス構造の階層は、ムービーボックス340、トラックボックス342、メディアボックス344、メディア情報ボックス346、サンプルテーブルボックス348、及び、サンプル記述ボックスを含み得る。なお、ここでは、より上位の複数のボックスが先にリストアップされている。サンプル記述ボックスは、MP4ビジュアルサンプルエントリ、AVCサンプルエントリ、ヒントサンプルエントリ、又は、CVOサンプルエントリのような、1又は複数のサンプルエントリを有してよい。
他の例においてビデオの向きに関する情報(例えば、CVO)は、TS 26.244に含まれ得る3GPファイルフォーマット中に含まれていてもよい。3GPファイルフォーマット中にCVOデータが格納されている場合、タイムドメタデータトラックが、CVOサンプルエントリボックスとともに用いられてもよい。CVOサンプルエントリは、当該メタデータサンプルフォーマットが、単一のバイトのCVOデータであることを示し得る。CVOデータを含む各メタデータトラックは、ビデオトラック326を参照してよい。なお、上記のメタデータトラックは、上記のビデオトラックが、ISOベースのメディアファイルフォーマット(ISO− BMFF)中で定義されているような「cdsc」トラック参照を用いていることを記述する。
一実施例において、CVOサンプルエントリボックスのボックスタイプは、「3gvo」に設定されたコーデック属性(codecs attribute)を有してよい。CVOサンプルエントリボックスは、下記のとおり定義され得る。
CVOSampleEntry::=BoxHeader
Reserved_6
Data−reference−index
Granularity
CVOサンプルエントリボックスに関する複数のフィールドは、表1によって定義されてもよい。CVOサンプルエントリボックスの複数のフィールドは、フィールド名、タイプ、詳細及び値を含んでよい。
記述される技術は、向きのある複数のビデオコンポーネント(oriented video components)(例えば、複数のCVOコンポーネント)を有するコンテンツのストリーミング又はダウンロードを提供する。複数のデバイスの向きを意識したマルチメディア適応は、向きのある複数のビデオコンポーネントを有し、以前にキャプチャされ、アップロードされた、コンテンツのストリーミング又はダウンロードを提供する。例えば、PSSダウンロード又はMBMSダウンロードの複数のアプリケーションの一部として、サーバは、後での再生に備えて、非実時間(non−real time)の方法で、向きのある複数のビデオコンポーネント有するキャプチャされたコンテンツを、クライアントに配信してよい。あるいは、DASHベースのスクリーミングサービスの一部として、HTTPサーバは、向きのある複数のビデオコンポーネントを含む可能性がある、ユーザにより生成されたコンテンツ(UGC)を、DASHクライアントに供給してもよい。UGCのRTPを利用したストリーミングに関して、コンテンツは、PSSサーバから供給されてもよい。これらに関連して、サーバは、クライアントデバイスによってサポートされている、ビデオの向きに関する複数の能力についての情報を受信し、端末のビデオの向きに関する複数の能力に基づいて、最適な供給メカニズム(例えば、格納されたコンテンツの様々なバージョンの中から最も適したコンテンツのバージョンを選択する、及び/又は、コンテンツを動的にコード変換する。)を決定し、最適に選択されたコンテンツを、クライアントに供給してよい。
例えば、受信クライアントデバイスが向きを意識したものではない(例えば、複数のPSSデバイス能力シグナリングメカニズムに基づいて識別される。)にもかかわらず、(例えば、3GPベースのコンテンツファイルの点検を通して、)サーバが、そのコンテンツは、向きを意識した端末によりキャプチャされたと判断した場合、当該サーバは、将来のレンダリング及び表示の間における不整合に関する複数の問題を修正して、避けるべく、コンテンツを処理してよい(例えば、コード変換を適用する。)。受信クライアントデバイスが、向きを意識したものである場合、サーバは、当該不整合を修正する必要はないかもしれない。しかし、その代わりに、受信クライアントデバイスが当該不整合を修正することができるように、当該コンテンツに埋め込まれた(例えば、RTPストリーミングに関しては、RTP拡張ヘッダの中であり、又は、HTTPストリーミング及びDASHに関しては、3GPファイルの中である。)ビデオオリエンテーション情報と併せて、当該コンテンツを「そのまま」(つまり、修正することなく)送信することを選択してもよい。
図6は、埋め込まれたCVO情報を有するコンテンツの受信に基づく、向きを意識したメディア配信を実現する例示的なサーバ−クライアント間のインタラクションを示す。例えば、キャプチャリング・クライアント224は、コンテンツのキャプチャとともに、CVO情報をキャプチャし、埋め込まれたビデオオリエンテーション情報を有する当該コンテンツ(例えば、3GPファイルである。)を、サーバ232にアップロードし得る(手順282)。他の例において、レンダリング・クライアント226は、CVO能力情報を有するデバイスプロファイルを、サーバにシグナリング(送信)し得る(手順280)。先述したように、サーバは、潜在的な不整合を修正し、レンダリング・クライアントのCVO能力に関して(w.r.t.)、コンテンツ配信を最適化するべく、向きを意識したコンテンツの適応、選択、コード変換及び/又はフォーマット変換を実行する(手順284)。その後、サーバは、ストリーミング又はダウンロードサービスの一部として、適応されたコンテンツを、レンダリング・クライアントに供給する(手順286)。
他の例において、DASHサーバは、図6に示されるようなサーバ−クライアント間のインタラクションと整合性のある方法で、クライアント(例えば、レンダリング・クライアント226である。)から、当該クライアントが、CVO情報を処理して、不整合を修正するための機能を有することを知り得る。次に、サーバは、MPD中で、複数のDASHリプレゼンテーションにおけるCVO情報の存在について指定してよい(つまり、複数のDASHセグメントが格納されたコンテンツである場合、DASHサーバが、構文解析により、複数のDASHセグメントに対応する3GPファイルを決定することができ、メタデータトラック中にビデオオリエンテーション情報が示されているか否かを確認することができるようになる前に、DASHサーバは、CVO情報の存在を検出しなければならないかもしれない。)。DASHクライアントは、MPDを受信すると、その後、DASHセグメント中のシグナリングされたCVO情報を処理(つまり、複数のDASHリプレゼンテーションに対応する複数の3GPファイルの構文解析である。)し、いかなる不整合をも修正し、正しく位置合わせされた状態でビデオをレンダリング/表示するべく、ビデオオリエンテーションエンジンを作動させてよい。
また、DASHサーバは、図6に示されるようなサーバ−クライアント間のインタラクションと整合性のある方法で、クライアントから、当該クライアントが、CVO情報を処理して、不整合を修正するための機能を有しないことを知り得る。MPDがCVO情報を示し得るので、サーバは、コンテンツ中のCVO情報の存在を検出し得る。応答において、DASHサーバは、いかなる不整合をも修正する目的でMPD中に提供された複数のDASHリプレゼンテーションに対応する3GPファイルを処理し得る。また、上記のプロセスの後、要求されたコンテンツを、DASHクライアントに送信してよい。
他の設定において、CVO情報に関する指示は、TS 26.247に基づくDASH MPDの中で実装され得る。例えば、CVO指示属性(例えば、「cvo_granularity」である。)は、MPDに含まれてもよく、MPDは、複数の共通の属性及びエレメントを有してもよい。アダプテーションセット(AdaptationSet)、リプレゼンテーション(Representation)、及び、サブ・リプレゼンテーション(SubRepresentation)といった複数のエレメントが、CVO指示属性などの、複数の共通の属性及びエレメントを指定し得た。CVO指示属性の意味論(semantics)は、表2に示されるようなものであってよく、それは、共通のアダプテーションセット、リプレゼンテーション及びサブ・リプレゼンテーションといった複数の属性及びエレメントの表を示す。各エレメント又は属性は、エレメント又は属性の名称、使用の必要(use)又は説明を有してよい。表2における「使用の必要」の列は、「M(必須)」が記録されている属性を、リプレゼンテーションに利用可能であると解釈してよい。例えば、上記の属性又はエレメントは、リプレゼンテーション・エレメント中に存在していてもいなくてもよく、もし、その中に存在していなければ、上記の属性又はエレメントは、アダプテーションセット・エレメント中に存在してよい。「O(任意)」が記録されている属性は、リプレゼンテーション・エレメント及びアダプテーションセット・エレメントの両方の中に存在しなくてもよい。
CVO指示属性(例えば、「cvo_granularity」である。)に関する拡張マークアップ言語の構文(XML−syntax)は、図7に図示された表3に示されるようなものであってよい。
前述のとおり、DASHは、標準化されたHTTPストリーミングプロトコルであってよい。図8に示されるように、DASHは、複数のセグメントフォーマットだけでなく、構造と、サーバに格納された様々なバージョンの複数のメディアコンテンツ・リプレゼンテーションとに関する情報を提供するメディアプレゼンテーション記述(MPD)メタデータファイル402に関する、様々なフォーマットの仕様を定めてよい。MPDメタデータファイルは、他の複数のリプレゼンテーションとのスイッチング及び同時提示に関して、複数のセグメントのメディアプレゼンテーションタイムラインへのマッピングを保証するべく、メディアプレイヤ(例えば、メディアプレイヤは、コンテナフォーマット及びメディアタイミング情報を決定するべく、初期化セグメントを検査する。)用の初期化及び複数のメディアセグメントに関する情報を含む。また、DASH技術は、ムービングピクチャエクスパーツグループ(MPEG)、オープンIPテレビジョン(IPTV)フォーラム(OIPF)、及び、ハイブリッド・ブロードキャスト・ブロードバンドTV(HbbTV)などの他の複数の組織によって規格化されてきた。
DASHクライアントは、一連のHTTPリクエスト−レスポンス処理を通して、複数のセグメントをダウンロードすることにより、マルチメディアコンテンツを受信してよい。DASHは、モバイルデバイスが利用できる帯域幅が変化するにつれて、メディアコンテンツの、ビットレートが異なる複数のリプレゼンテーションを、動的に切り替える機能を提供してよい。したがって、DASHは、ネットワーク及び複数の無線リンク状態の変化;ユーザの複数の嗜好(user preferences);ディスプレイ解像度、採用されている中央処理装置(CPU)のタイプ、利用可能なメモリリソースのような複数のデバイス能力などに対して素早く適応することを可能にし得る。DASHの動的適応は、他の複数のストリーミングプロトコルと比較して、開始遅延時間をより短く、再バッファイベントをより少なくしながら、より良い体感品質(QoE)をユーザに提供し得る。
DASHにおいて、メディアプレゼンテーション記述(MPD)メタデータ402は、ウェブ/メディアサーバに格納された複数のメディアコンテンツ・リプレゼンテーションの、構造及び様々なバージョンに関する情報を提供してよい。図8に図示された例において、MPDメタデータは、本実施例における60秒のような、予め定められた長さを有する複数のピリオド404に、時間的に分割される。各ピリオドは、複数のアダプテーションセット406を含み得る。各アダプテーションセットは、いくつかのエンコードされた代替物(alternative)を有する、1又は複数のメディアコンポーネントについての情報を提供し得る。例えば、本実施例のアダプテーションセット0は、複数の異なるビットレート、モノラル、ステレオ、サラウンドサウンド、CVOなどのように、様々にエンコードされた、多様なオーディオ代替物を含む場合がある。ピリオドIDにわたって、マルチメディア・プレゼンテーションに、様々な品質のオーディオを提供することに加えてアダプテーションセットは、また、複数の異なる言語のオーディオを含んでもよい。アダプテーションセット中で提供される様々な代替物は、リプレゼンテーション408と称される。
図8において、アダプテーションセット1は、5メガビット/秒(Mbps)、2Mbps、500キロビット/秒(kbps)、又は、トリック・モードのような、複数の異なるビットレートにおけるビデオを提供するものとして示されている。トリック・モードは、検索(seeking)、早送り、巻戻し、又は、他の複数の、マルチメディアストリーミングファイル中の位置変更操作に用いられ得る。加えて、ビデオは、また、2次元(2D)若しくは3次元(3D)のビデオ、又は、ポートレート若しくはランドスケープの向きを有するビデオ(例えば、CVOである。)のような、様々なフォーマットにおいて利用可能であってもよい。各リプレゼンテーション408は、セグメント情報410を含んでよい。セグメント情報は、初期化情報412と、実際のメディアセグメントデータ414とを含んでよい。本実施例において、MPEG−4(MP4)ファイルが、サーバからモバイルデバイスに、ストリーミングされる。本実施例ではMP4が用いられているけれども、前述のとおり、多種多様な異なる種類のコーデック(codecs)が用いられてもよい。
アダプテーションセット中のマルチメディアは、さらに、より小さな複数のセグメントに分割されてよい。図8の例において、アダプテーションセット1の60秒のビデオセグメントは、各15秒の、4つのサブセグメント414に、さらに分割されてよい。これらの例は、技術的範囲を限定することを意図するものではない。アダプテーションセット、及び、各メディアセグメント又はサブセグメントの実際の長さは、メディアのタイプ、システム条件、潜在的な障害の複数のタイプなどに依存する。実際のメディアセグメント又はサブセグメントは、1秒から数分の長さよりも短い長さを有してよい。
別の例は、図9のフローチャートに示されるような、サーバにおいて、移動端末(MT)のビデオオリエンテーション調整(CVO)能力をシグナリングするための方法500を提供する。上記方法は、機械又はコンピュータ回路における複数の命令として実行されてよい。上記の複数の命令は、少なくとも1つのコンピュータ可読媒体、又は、少なくとも1つの非一時的機械可読記憶媒体に含まれていてもよい。上記方法は、ブロック510に示すような、サーバにおいて、クライアントに関するデバイス能力に関する情報を受信するオペレーションを含む。上記方法の次のオペレーションは、ブロック520に示すような、上記デバイス能力に関する情報がCVO属性を含むか否かを特定する段階であってよい。上記方法は、ブロック530に示すような、上記CVO属性が含まれるか否かに基づいて、ストリーミングされるコンテンツを、上記クライアントに適応させる段階をさらに含んでよい。
一例において、ストリーミングされるコンテンツを適応させるオペレーションは、上記クライアントに関する上記デバイス能力に関する情報が、上記クライアントが向きを意識した端末ではないことを示す上記CVO属性を含まない場合、ハイパーテキスト転送プロトコル(HTTP)ストリーム、HTTP上での動的適応型ストリーミング(DASH)、又は、リアルタイムトランスポートプロトコル(RTP)ストリームの表示の向きを、不整合に関して修正する段階、又は、上記クライアントに関する上記デバイス能力に関する情報が、上記クライアントが向きを意識した端末であることを示す上記CVO属性を含む場合、ストリーミングの上記表示の向きを修正するべく、メディアプレゼンテーション記述(MPD)メタデータファイル、又は、セッション記述プロトコル(SDP)ファイルに、CVO指示属性を埋め込む段階をさらに備えてよい。
他の例において、上記方法は、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを、アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性とともに、上記クライアントに供給する段階をさらに備えてよい。上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定されてよい。上記方法は、リアルタイムトランスポートプロトコル(RTP)のストリームに関するセッション記述プロトコル(SDP)ファイルを、RTP拡張ヘッダ中に含まれるCVO情報に関連し、CVO用の2ビットの粒度(granularity)を表す「urn:3gpp:video−orientation」又は高粒度CVO用の6ビットの粒度を表す「urn:3gpp:video−orientation:6」というCVOの統一資源名(URN)を有するa=extmap属性を用いたCVO指示とともに、上記クライアントに供給する段階をさらに備えてよい。
他の設定において、ストリーミングされるコンテンツを適応させるオペレーションは、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、上記UGCビデオに関する、埋め込まれたCVO情報を含む、ユーザにより生成されたコンテンツ(UGC)ビデオを受信する段階をさらに備えてよい。上記3GPファイルは、国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックスにおけるCVOタイムドメタデータトラックに関するCVOサンプルエントリを使用してよい。複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス、又は、粒度を含んでよい。上記ボックスヘッダのタイプは、「3gvo」の値用に設定されてよい。また、上記3GPファイルは、メディアプレゼンテーション記述(MPD)のアダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントを使用してもよい。上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)コンテンツ中に存在することを示す「3gvo」に設定されてよい。
他の例において、ストリーミングされるコンテンツを適応させるオペレーションは、国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、CVOデータを格納する段階をさらに備えてよい。複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含んでよく、上記ボックスヘッダのタイプは、「3gvo」の値用に設定されてよい。また、ストリーミングされるコンテンツを適応させるオペレーションは、RTP拡張ヘッダ中に、リアルタイムトランスポートプロトコル(RTP)ストリームに関するCVOデータを格納する段階をさらに備えてよい。
他の設定において、上記クライアントに関する上記デバイス能力に関する情報を受信するオペレーションは、上記クライアントに関する、パケット交換ストリーミングサービス(PSS)クライアント能力に関する情報を交換する段階をさらに備える。上記CVO能力に関する情報は、上記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)のストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、上記クライアントが、上記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、上記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、上記クライアントが、上記複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性を含んでよい。
別の例によれば、図10のフローチャートに示されるような、ビデオの向きの調整(CVO)を伴うストリーミングを提供するように動作可能なサーバのコンピュータ回路の機能600が提供される。上記の機能は、方法として実施されてもよく、上記の機能は、機械における命令として実行されてよい。上記の命令は、少なくとも1つのコンピュータ可読媒体、又は、少なくとも1つの非一時的機械可読記憶媒体に含まれていてもよい。コンピュータ回路は、ブロック610に示すように、クライアントに関するデバイス能力に関する情報を受信するように構成されてよい。上記コンピュータ回路は、ブロック620に示すように、上記デバイス能力に関する情報の中にCVO属性が含まれるか否かに基づいて、上記クライアントにストリーミングされるコンテンツを修正するように、さらに構成されてよい。
一例において、上記ストリーミングされるコンテンツを修正するように構成された上記コンピュータ回路は、上記クライアントに関する上記デバイス能力に関する情報が、上記クライアントが向きを意識した端末ではないことを示す上記CVO属性を含まない場合、上記クライアントへの供給に先立って、リアルタイムトランスポートプロトコル(RTP)のストリーム、又は、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツのレンダリング方向を、不整合に関して修正するようにさらに構成される。
他の例において、上記ストリーミングされるコンテンツを修正するように構成された上記コンピュータ回路は、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを、アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性とともに、上記クライアントに供給するようにさらに構成されてよく、上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定される。また、上記ストリーミングされるコンテンツを修正するように構成された上記コンピュータ回路は、リアルタイムトランスポートプロトコル(RTP)のストリームに関するセッション記述プロトコル(SDP)ファイルを、RTP拡張ヘッダ中に含まれるCVO情報に関し、CVO用の2ビットの粒度(granularity)を表す「urn:3gpp:video−orientation」又は高粒度CVO用の6ビットの粒度を表す「urn:3gpp:video−orientation:6」というCVOの統一資源名(URN)を有するa=extmap属性を用いたCVO指示とともに、上記クライアントに供給するように、さらに構成されてよい。
他の設定において、上記コンピュータ回路は、国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、CVOデータを格納するように、さらに構成されてよい。複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含んでよく、上記ボックスヘッダのタイプは、「3gvo」の値用に設定されてよい。また、上記コンピュータ回路は、RTP拡張ヘッダ中に、リアルタイムトランスポートプロトコル(RTP)ストリームに関するCVOデータを格納するように、さらに構成されてよい。
他の例において、上記デバイス能力に関する情報を受信するように構成された上記コンピュータ回路は、パケット交換ストリーミングサービス(PSS)能力に関する情報を交換するようにさらに構成されてよい。上記CVO属性は、上記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)のストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、上記クライアントが、上記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、上記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、上記クライアントが、上記複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性を含んでよい。
他の設定において、上記ストリーミングされるコンテンツを修正するように構成された上記コンピュータ回路は、ビデオの向きの不整合を修正して、上記クライアントおいて、正しいビデオの向きでコンテンツを再生することを保証するべく、向きを意識したコンテンツ適応、向きを意識したコンテンツ選択、向きを意識したコード変換、又は、向きを意識したフォーマット変換を実行するようにさらに構成されてよい。 上記サーバは、第3世代パートナシッププロジェクト(3GPP)ロングタームエボリューション(LTE)パケット交換ストリーミングサービス(PSS)サーバ、ハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)サーバ、又は、統合マルチメディアサブシステム(IMS)を利用したPSS、並びに、マルチメディアブロードキャスト及びマルチキャストサービス(MBMS)(IMS_PSS_MBMS)サーバを含んでよい。
図11は、ビデオオリエンテーション調整(CVO)能力を提供するための例示的な移動端末(MT)720(例えば、UE又はクライアントデバイスである。)、ノード710、及び、サーバ730を示す。MTは、ノードと無線通信するように構成されてよい。図9の500において説明されているように、サーバは、移動端末(MT)のビデオオリエンテーション調整(CVO)能力をシグナリングするように構成されてよい。他の設定において、図10の600において説明されているように、サーバは、ビデオの向きの調整(CVO)を伴うストリーミングを提供するように動作可能であってよい。ノード710は、基地局(BS)、ノードB(NB)、進化型ノードB(eNB)、ベースバンドユニット(BBU)、遠隔無線ヘッド(RRH)、遠隔無線機器(RRE)、遠隔無線ユニット(RRU)、又は、中央処理モジュール(CPM)を含んでよい。
再び、図11を参照すると、移動端末720は、プロセッサ722、トランシーバ724、及び、方位センサ726を含み得る。上記プロセッサは、MTのCVO能力を決定するように構成されてよい。上記トランシーバは、ストリーミングコンポーネント属性の中で、上記MTのCVO能力に関する情報を、サーバに送信するように構成されてよい。
一例において、上記トランシーバ724は、RTPストリームに関するリアルタイムトランスポートプロトコル(RTP)拡張ヘッダ、又は、ハイパーテキスト転送プロトコル(HTTP)のストリーム若しくはHTTP上での動的適応型ストリーミング(DASH)に関する第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルを受信するように、さらに構成されてよい。 上記プロセッサ722は、CVO指示属性に関して、上記3GPファイルに関するメディアプレゼンテーション記述(MPD)メタデータファイルを解析し、若しくは、埋め込まれたCVO情報に関して、上記3GPファイルを解析し上記解析されたCVO情報、及び、上記MTの現在の向きに基づいて、向き修正項(orientation correction term)を決定し、上記MPDメタデータファイルが上記CVO指示属性を含み、上記MTが向きを意識した端末である場合、上記決定された向き修正項に基づいて、上記HTTPストリーム若しくはDASHのレンダリング方向を、不整合に関して修正するように、さらに構成されてよい。また、上記プロセッサは、上記CVO指示属性に関して、上記RTPストリームに関するセッション記述プロトコル(SDP)ファイルを解析し、若しくは、上記埋め込まれたCVO情報に関して、上記RTPストリームに関する上記RTP拡張ヘッダを解析し、上記解析されたCVO情報、及び、上記クライアントデバイスの現在の向きに基づいて、向き修正項を決定し、上記SDPファイルが上記CVO指示属性を含み、上記MTが上記向きを意識した端末である場合、上記決定された向き修正項に基づいて、上記RTPストリームのレンダリング方向を、不整合に関して修正するように構成されてよい。上記レンダリング方向の修正は、向きの回転又はフリップ(flip)を補正してよい。
他の例において、上記トランシーバ724は、上記サーバから、アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性とともに、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを受信するように、さらに構成されてよい。上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定されてよい。上記プロセッサ722は、上記CVO指示属性に関する上記MPDメタデータファイルを解析し、上記MPDメタデータファイルが上記CVO指示属性を含み、上記MTが向きを意識した端末である場合、HTTPストリーム又は上記ストリーミングされるDASHコンテンツのレンダリング方向を、不整合に関して修正するように、さらに構成されてよい。
他の設定において、上記トランシーバ724は、国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックスにおけるCVOタイムドメタデータトラックに関するCVOサンプルエントリを含む、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルを受信するように、さらに構成されてよい。複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス、又は、粒度を含んでよく、上記ボックスヘッダのタイプは、「3gvo」の値用に設定されてよい。上記プロセッサ722は、上記CVOサンプルエントリに関する上記3GPファイルを解析し、上記3GPファイルが上記CVOサンプルエントリを含み、上記MTが上記向きを意識した端末である場合、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又は、ストリーミングされるHTTP上での動的適応型ストリーミング(DASH)のコンテンツのレンダリング方向を、不整合に関して修正するように、さらに構成されてよい。
他の例において、上記トランシーバ724は、上記MTのCVO能力に関する情報を含む、パケット交換ストリーミングサービス(PSS)クライアント能力に関する情報を交換するように、さらに構成されてよい。上記MTのCVO能力に関する情報は、上記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)のストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、上記クライアントが、上記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、上記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、上記クライアントが、上記複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性を含んでよい。
他の設定において、上記プロセッサ722は、特定の向きを有する、ユーザにより生成されたコンテンツ(UGC)ビデオをキャプチャし、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、上記UGCビデオに関するCVO情報を埋め込むように、さらに構成されてよい。上記トランシーバ724は、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又は、HTTP上での動的適応型ストリーミング(DASH)に関する3GPファイルをアップロードするように、さらに構成されてよい。
他の例において、上記プロセッサ722は、特定の向きを有するCVOデータをキャプチャし、国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルに、上記CVOデータを格納するように、さらに構成されてよい。複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含んでよく、上記ボックスヘッダのタイプは、「3gvo」の値用に設定されてよい。上記トランシーバ724は、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又は、HTTP上での動的適応型ストリーミング(DASH)に関する3GPファイルをアップロードするようにさらに構成される。
他の設定において、上記MTのCVO能力に関する情報は、第3世代パートナシッププロジェクト(3GPP)ロングタームエボリューション(LTE)パケット交換ストリーミングサービス(PSS)セッション、ハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH) セッション、又は、統合マルチメディアサブシステム(IMS)を利用したPSS、並びに、マルチメディアブロードキャスト及びマルチキャストサービス(MBMS)(IMS_PSS_MBMS)セッションにおいて提供されてよい。上記移動端末は、上記MTの向きを決定するための方位センサ726を備えてよい。
図12は、クライアントデバイス、移動ノード、ユーザ機器(UE)、移動局(MS)、移動無線デバイス、移動通信デバイス、タブレット、ハンドセット、又は他のタイプの無線デバイスのような移動端末(MT)の実例を提供する。無線デバイスは、基地局(BS)、進化型NodeB(eNB)、ベースバンドユニット(BBU)、遠隔無線ヘッド(RRH)、遠隔無線機器(RRE)、中継局(RS)、無線機器(RE)、遠隔無線ユニット(RRU)、中央処理モジュール(CPM)、又は他のタイプの無線ワイドエリアネットワーク(WWAN)アクセスポイントのような、ノード、マクロノード、低電力ノード(LPN)又は送信局と通信するように構成される1又は複数のアンテナを含むことができる。無線デバイスは、3GPP LTE、WiMAX(登録商標)、高速パケットアクセス(HSPA)、ブルートゥース(登録商標)、及びWiFi(登録商標)を含む少なくとも1つの無線通信規格を用いて通信するように構成されることができる。無線デバイスは、各無線通信規格に対して別の複数のアンテナを、又は複数の無線通信規格に対して共有の複数のアンテナを用いて通信できる。無線デバイスは、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)、及び/又はWWANにおいて通信できる。
図12は、無線デバイスからの音声入出力のために用いられ得るマイク及び1又は複数のスピーカの実例も提供する。ディスプレイスクリーンは、液晶ディスプレイ(LCD)スクリーン、又は有機発光ダイオード(OLED)ディスプレイのような他のタイプのディスプレイスクリーンであってよい。ディスプレイスクリーンは、タッチスクリーンとして構成されることができる。タッチスクリーンは、静電容量方式、抵抗方式、又は別のタイプのタッチスクリーン技術を用いてよい。アプリケーションプロセッサ及びグラフィクスプロセッサは、処理及びディスプレイ機能を提供するために、内部メモリに結合されることができる。不揮発性メモリポートは、データの入力/出力の複数のオプションをユーザに提供するために用いられることもできる。不揮発性メモリポートは、無線デバイスの複数のメモリ機能を拡張するために用いられてもよい。キーボードは、追加のユーザ入力を提供するために、無線デバイスと一体化又は無線デバイスに無線接続されてよい。仮想的キーボードは、タッチスクリーンを用いて提供されてもよい。
様々な技術、又は特定の複数の態様若しくはその複数の部分は、複数のフロッピー(登録商標)ディスケット、複数のコンパクトディスクリードオンリメモリ(CD−ROM)、複数のハードドライブ、非一時的コンピュータ可読記憶媒体、又は任意の他の機械可読記憶媒体のような有形の媒体に組み込まれるプログラムコード(つまり、複数の命令)の形態であってよく、プログラムコードがコンピュータのような機械によってロードされて実行されるときに、機械は、様々な技術を実行する装置になる。回路は、ハードウェア、ファームウェア、プログラムコード、実行可能なコード、複数のコンピュータ命令、及び/又はソフトウェアを含むことができる。非一時的コンピュータ可読記憶媒体は、信号を含まないコンピュータ可読記憶媒体であり得る。複数のプログラム可能なコンピュータ上でのプログラムコードの実行の場合、コンピューティングデバイスは、プロセッサ、プロセッサによって可読な(揮発性及び不揮発性メモリ及び/又は複数のストレージ要素を含む)記憶媒体、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスを含んでよい。揮発性及び不揮発性メモリ及び/又は複数のストレージ要素は、ランダムアクセスメモリ(RAM)、消去可能プログラマブルリードオンリメモリ(EPROM)、フラッシュドライブ、光学式ドライブ、磁気ハードドライブ、ソリッドステートドライブ、又は電子データを格納する他の媒体であってよい。ノード及び無線デバイスは、トランシーバモジュール(つまり、トランシーバ)、カウンタモジュール(つまり、カウンタ)、処理モジュール(つまり、プロセッサ)、及び/又はクロックモジュール(つまり、クロック)若しくはタイマモジュール(つまり、タイマ)を含んでもよい。ここで説明される様々な技術を実現又は利用してよい1又は複数のプログラムは、アプリケーションプログラミングインタフェース(API)、複数のリユーザブルコントロール、及び同種のものを用いてよい。そのような複数のプログラムは、コンピュータシステムと通信するために、高水準手続型又はオブジェクト指向プログラミング言語で実装されてよい。しかしながら、(複数の)プログラムは、必要に応じて、アセンブリ又は機械言語で実装されてよい。いずれの場合であっても、言語は、コンパイラ型又はインタプリタ型言語であり、複数のハードウェア実装と組み合わせられてよい。
本明細書において説明された多くの機能ユニットは、それらの実装の独立性をより具体的に強調するために、複数のモジュールとしてラベル付けされていることが理解されるべきである。例えば、モジュールは、複数のカスタム超大規模集積(VLSI)回路又は複数のゲートアレイ、複数の論理チップのような既製の複数の半導体、複数のトランジスタ、又は他の複数の別個のコンポーネントを備えるハードウェア回路として実装されてよい。モジュールは、複数のフィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、複数のプログラマブルロジックデバイス、又は同種のもののようなプログラム可能な複数のハードウェアデバイスで実装されてもよい。
複数のモジュールは、様々なタイプのプロセッサによる実行のためのソフトウェアで実装されてもよい。特定された実行可能なコードのモジュールは、例えば、複数のコンピュータ命令の1又は複数の物理的又は論理的ブロックを備えてよく、それは、例えば、オブジェクト、プロシージャ、又は関数として体系化されてよい。それでもなお、特定されたモジュールの複数の実行ファイルは、物理的に一緒に配置される必要はないが、異なる複数の位置に格納される別々の命令を備えてよく、論理的に一緒に合わせられるときに、モジュールを備え、モジュールに対して定められた目的を達成する。
実際には、実行可能なコードのモジュールは、単一の命令又は多くの命令であってよく、複数の異なるコードセグメントを超えて、異なる複数のプログラムの間で、及び複数のメモリデバイスにわたって分散され得る。同様に、処理データは、ここで複数のモジュール内に特定かつ示されてよく、任意の適した形式に具現化され、任意の適したタイプのデータ構造体内に体系化されてよい。処理データは、単一のデータセットとして集められてよく、又は異なる複数の記憶デバイスを超えることを含む異なる複数の位置に分散されてよく、単にシステム又はネットワーク上の複数の電子信号として少なくとも部分的に存在してよい。複数のモジュールは、受動的又は能動的であってよく、所望の複数の機能を実行するように動作可能な複数のエージェントを含む。
本明細書を通して「ある例」又は「例示的」という言及は、その例に関連して説明される特定の特徴、構造、又は特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書を通して各所における「ある例において」という語句又は「例示的」という単語の出現は、必ずしも全て同じ実施形態を言及しているわけではない。
本明細書中で用いられるように、複数の項目、構造的な複数の要素、組成の複数の要素、及び/又は複数の材料は、便宜上、一般的なリストで提示されてよい。しかしながら、これらのリストは、リストの各部材が別の一意的な部材として個別に特定されるかのように解釈されるべきである。したがって、そのようなリストの個々の部材は、それとは反対の指摘がない限り、一般的なグループにおけるそれらの提示にのみ基づき、同じリストの任意の他の部材の事実上の均等物として解釈されるべきでない。加えて、本発明の様々な実施形態及び例は、その様々なコンポーネントに対する複数の代替手段と共に、ここで言及されてよい。そのような複数の実施形態、複数の例、及び複数の代替手段は、互いに事実上の複数の均等物として解釈されるべきでないが、本発明の別の自律的な複数の表現とみなされるべきであることが理解される。
さらに、説明される複数の特徴、複数の構造、又は複数の特性は、1又は複数の実施形態において任意の適切なやり方で組み合わされてよい。以下の説明において、本発明の複数の実施形態を深く理解するために、複数のレイアウト、複数の距離、ネットワークの複数の例などといった、複数の例のような多数の具体的な詳細が提供される。しかしながら、当業者は、本発明が具体的な複数の詳細のうちの1又は複数を伴わず、又は他の複数の方法、複数のコンポーネント、複数のレイアウトなどを伴って実施されることができることを認識するだろう。他の複数の例において、既知の複数の構造、複数の材料、又は複数の動作は、本発明の複数の態様を不明瞭にすることを回避するために、詳細には図示又は説明されていない。
前述の複数の例は、1又は複数の特定の応用における本発明の複数の原理の例示であるが、形式上の多数の修正、実装の使用法及び複数の詳細が、発明力を使うことなく、本発明の複数の原理及び複数の概念から逸脱することなく、なされることができることは当業者にとって明らかだろう。従って、以下に記載の請求項による場合を除き、本発明が限定されることは意図されない。
[項目1]
クライアントに関するデバイス能力に関する情報を受信し、上記デバイス能力に関する情報の中にCVO属性が含まれるかことに基づいて、上記クライアントにストリーミングされるコンテンツを修正するコンピュータ回路を有し、
ビデオの向きの調整(CVO)を伴うストリーミングを提供するサーバ。
[項目2]
上記ストリーミングされるコンテンツを修正する上記コンピュータ回路は、さらに、
上記クライアントに関する上記デバイス能力に関する情報が、上記クライアントが向きを意識した端末ではないことを示す上記CVO属性を含まない場合、
上記クライアントへの供給に先立って、リアルタイムトランスポートプロトコル(RTP)ストリーム、又は、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツのレンダリング方向を、不整合に関して修正する、
項目1に記載のコンピュータ回路。
[項目3]
上記ストリーミングされるコンテンツを修正する上記コンピュータ回路は、さらに、
アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性を有し、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを、上記クライアントに供給し、
RTP拡張ヘッダ中に含まれるCVO情報に関し、CVO用の2ビットの粒度(granularity)を表す「urn:3gpp:video−orientation」又は高粒度CVO用の6ビットの粒度を表す「urn:3gpp:video−orientation:6」というCVOの統一資源名(URN)を有するa=extmap属性を用いたCVO指示を有し、リアルタイムトランスポートプロトコル(RTP)ストリームに関するセッション記述プロトコル(SDP)ファイルを、上記クライアントに供給し、
上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定される、
項目1に記載のコンピュータ回路。
[項目4]
上記コンピュータ回路は、
国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、CVOデータを格納する、又は、
RTP拡張ヘッダ中に、リアルタイムトランスポートプロトコル(RTP)ストリームに関するCVOデータを格納し、
複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含み、
上記ボックスヘッダのタイプは、「3gvo」の値用に設定される、
項目1に記載のコンピュータ回路。
[項目5]
上記デバイス能力に関する情報を受信する上記コンピュータ回路は、さらに、パケット交換ストリーミングサービス(PSS)能力に関する情報を交換し、
上記CVO属性は、
上記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)ストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、
上記クライアントが、上記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、
上記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、
上記クライアントが、上記複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性、
を含む、
項目1に記載のコンピュータ回路。
[項目6]
上記ストリーミングされるコンテンツを修正する上記コンピュータ回路は、さらに、ビデオの向きの不整合を修正して、上記クライアントおいて、正しいビデオの向きでコンテンツを再生することを保証するべく、向きを意識したコンテンツ適応、向きを意識したコンテンツ選択、向きを意識したコード変換、又は、向きを意識したフォーマット変換を実行する、
項目1に記載のコンピュータ回路。
[項目7]
上記サーバは、
第3世代パートナシッププロジェクト(3GPP)ロングタームエボリューション(LTE)パケット交換ストリーミングサービス(PSS)サーバ、
ハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)サーバ、又は、
統合マルチメディアサブシステム(IMS)を利用したPSS、並びに、マルチメディアブロードキャスト及びマルチキャストサービス(MBMS)(IMS_PSS_MBMS)サーバ、
を含む、
項目1に記載のコンピュータ回路。
[項目8]
ビデオオリエンテーション調整(CVO)能力に関する情報を提供するための移動端末(MT)であって、
上記MTのCVO能力を決定するためのプロセッサと、
ストリーミングコンポーネント属性の中で、上記MTのCVO能力に関する情報を、サーバに送信するトランシーバと、
を備える、
移動端末。
[項目9]
上記トランシーバは、RTPストリームに関するリアルタイムトランスポートプロトコル(RTP)拡張ヘッダ、又は、ハイパーテキスト転送プロトコル(HTTP)ストリーム若しくはHTTP上での動的適応型ストリーミング(DASH)に関する第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルを受信し、
上記プロセッサは、さらに、
CVO指示属性に関して、上記3GPファイルに関するメディアプレゼンテーション記述(MPD)メタデータファイルを解析し、若しくは、埋め込まれたCVO情報に関して、上記3GPファイルを解析し、
上記解析されたCVO情報、及び、上記MTの現在の向きに基づいて、向き修正項(orientation correction term)を決定し、
上記MPDメタデータファイルが上記CVO指示属性を含み、上記MTが向きを意識した端末である場合、上記決定された向き修正項に基づいて、上記HTTPストリーム若しくはDASHのレンダリング方向を、不整合に関して修正する、又は、
上記CVO指示属性に関して、上記RTPストリームに関するセッション記述プロトコル(SDP)ファイルを解析し、若しくは、上記埋め込まれたCVO情報に関して、上記RTPストリームに関する上記RTP拡張ヘッダを解析し、
上記解析されたCVO情報、及び、上記MTの現在の向きに基づいて、向き修正項を決定し、
上記SDPファイルが上記CVO指示属性を含み、上記MTが上記向きを意識した端末である場合、上記決定された向き修正項に基づいて、上記RTPストリームのレンダリング方向を、不整合に関して修正し、
上記レンダリング方向の修正は、向きの回転又はフリップ(flip)を補正する、
項目8に記載の移動端末。
[項目10]
上記トランシーバは、さらに、上記サーバから、アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性とともに、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを受信し、
上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定され、
上記プロセッサは、さらに、
上記CVO指示属性に関する上記MPDメタデータファイルを解析し、
上記MPDメタデータファイルが上記CVO指示属性を含み、上記MTが向きを意識した端末である場合、HTTPストリーム又は上記ストリーミングされるDASHコンテンツのレンダリング方向を、不整合に関して修正する、
項目8に記載の移動端末。
[項目11]
上記トランシーバは、さらに、国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックスにおけるCVOタイムドメタデータトラックに関するCVOサンプルエントリを含む、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルを受信し、
複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス、又は、粒度を含み、
上記ボックスヘッダのタイプは、「3gvo」の値用に設定され、
上記プロセッサは、さらに、
上記CVOサンプルエントリに関する上記3GPファイルを解析し、
上記3GPファイルが上記CVOサンプルエントリを含み、上記MTが向きを意識した端末である場合、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又は、ストリーミングされるHTTP上での動的適応型ストリーミング(DASH)のコンテンツのレンダリング方向を、不整合に関して修正する、
項目8に記載の移動端末。
[項目12]
上記トランシーバは、さらに、上記MTのCVO能力に関する情報を有する、パケット交換ストリーミングサービス(PSS)クライアント能力に関する情報を交換し、
上記MTのCVO能力に関する情報は、
上記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)ストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、
上記クライアントが、上記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、
上記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、
上記クライアントが、上記複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性、
を含む、
項目8に記載の移動端末。
[項目13]
上記プロセッサは、さらに、
特定の向きを有する、ユーザにより生成されたコンテンツ(UGC)ビデオをキャプチャし、
第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、上記UGCビデオに関するCVO情報を埋め込み、
上記トランシーバは、さらに、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又は、HTTP上での動的適応型ストリーミング(DASH)に関する3GPファイルをアップロードする、
項目8に記載の移動端末。
[項目14]
上記プロセッサは、さらに、
特定の向きを有するCVOデータをキャプチャし、
国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルに、上記CVOデータを格納し、
複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含み、
上記ボックスヘッダのタイプは、「3gvo」の値用に設定され、
上記トランシーバは、さらに、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又は、HTTP上での動的適応型ストリーミング(DASH)に関する3GPファイルをアップロードする、
項目8に記載の移動端末。
[項目15]
上記MTのCVO能力に関する情報は、
第3世代パートナシッププロジェクト(3GPP)ロングタームエボリューション(LTE)パケット交換ストリーミングサービス(PSS)セッション、
ハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH) セッション、又は、
統合マルチメディアサブシステム(IMS)を利用したPSS、並びに、マルチメディアブロードキャスト及びマルチキャストサービス(MBMS)(IMS_PSS_MBMS)セッション、
において提供される、
項目8に記載の移動端末。
[項目16]
上記MTの向きを決定するための方位センサをさらに備える、
項目8に記載の移動端末。
[項目17]
上記移動端末は、ユーザ機器(UE)又は移動局(MS)を含み、
上記移動端末は、アンテナ、カメラ、タッチセンシティブディスプレイスクリーン、スピーカ、マイク、グラフィクスプロセッサ、アプリケーションプロセッサ、内部メモリ、又は、不揮発性メモリポートを含む、
項目8に記載の移動端末。
[項目18]
サーバにおいて、クライアントに関するデバイス能力に関する情報を受信する段階と、
上記デバイス能力に関する情報がCVO属性を含むことを特定する段階と、
上記CVO属性が含まれるか否かに基づいて、ストリーミングされるコンテンツを、上記クライアントに適応させる段階と、
を備える、
上記サーバにおいて、移動端末(MT)のビデオオリエンテーション調整(CVO)能力をシグナリングするための方法。
[項目19]
上記ストリーミングされるコンテンツを適応させる段階は、
上記クライアントに関する上記デバイス能力に関する情報が、上記クライアントが向きを意識した端末ではないことを示す上記CVO属性を含まない場合、ハイパーテキスト転送プロトコル(HTTP)ストリーム、HTTP上での動的適応型ストリーミング(DASH)、又は、リアルタイムトランスポートプロトコル(RTP)ストリームの表示の向きを、不整合に関して修正する段階、又は、
上記クライアントに関する上記デバイス能力に関する情報が、上記クライアントが向きを意識した端末であることを示す上記CVO属性を含む場合、ストリーミングの上記表示の向きを修正するべく、メディアプレゼンテーション記述(MPD)メタデータファイル、又は、セッション記述プロトコル(SDP)ファイルに、CVO指示属性を埋め込む段階、
をさらに備える、
項目18に記載の方法。
[項目20]
上記ストリーミングされるコンテンツを適応させる段階は、
アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性を有し、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを、上記クライアントに供給する段階と、
RTP拡張ヘッダ中に含まれるCVO情報に関し、CVO用の2ビットの粒度(granularity)を表す「urn:3gpp:video−orientation」又は高粒度CVO用の6ビットの粒度を表す「urn:3gpp:video−orientation:6」というCVOの統一資源名(URN)を有するa=extmap属性を用いたCVO指示を有し、リアルタイムトランスポートプロトコル(RTP)ストリームに関するセッション記述プロトコル(SDP)ファイルを、上記クライアントに供給する段階と、
をさらに備え、
上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定される、
項目18に記載の方法。
[項目21]
上記ストリーミングされるコンテンツを適応させる段階は、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、上記UGCビデオに関する、埋め込まれたCVO情報を含む、ユーザにより生成されたコンテンツ(UGC)ビデオを受信する段階をさらに備え、
上記3GPファイルは、
国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックスにおけるCVOタイムドメタデータトラックに関するCVOサンプルエントリ、又は、
メディアプレゼンテーション記述(MPD)のアダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性若しくはエレメント、
を使用し、
複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス、又は、粒度を含み、
上記ボックスヘッダのタイプは、「3gvo」の値用に設定され、
上記コーデック属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)コンテンツ中に存在することを示す「3gvo」に設定される、
項目18に記載の方法。
[項目22]
上記ストリーミングされるコンテンツを適応させる段階は、
国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、CVOデータを格納する段階と、
RTP拡張ヘッダ中に、リアルタイムトランスポートプロトコル(RTP)ストリームに関するCVOデータを格納する段階と、
をさらに備え、
複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含み、
上記ボックスヘッダのタイプは、「3gvo」の値用に設定される、
項目18に記載の方法。
[項目23]
上記クライアントに関する上記デバイス能力に関する情報を受信する段階は、上記クライアントに関する、パケット交換ストリーミングサービス(PSS)クライアント能力に関する情報を交換する段階をさらに備え、
上記CVO能力に関する情報は、
上記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)ストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、
上記クライアントが、上記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、
上記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、
上記クライアントが、複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性、
を含む、
項目18に記載の方法。
[項目24]
項目18に記載の方法を実施するべく、実行されるように構成された複数の命令を備える、少なくとも1つの非一時的機械可読記憶媒体。

Claims (14)

  1. ビデオの向きの調整(CVO)を伴うストリーミングを提供するサーバの装置であって、
    メモリと、
    クライアントから受信されるデバイス能力交換メッセージを処理し、
    前記クライアントにストリーミングされるコンテンツを、前記サーバにおいて修正する
    1又は複数のプロセッサと
    を備え、
    前記デバイス能力交換メッセージは、CVO属性を含み、
    前記クライアントに関する前記デバイス能力交換メッセージが、前記クライアントが向きを意識した端末ではないことを示す前記CVO属性を含まない場合、前記コンテンツは、前記クライアントへの供給に先立って、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)のコンテンツのレンダリング方向を、不整合に関して修正することにより修正され、
    アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性を有する、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)コンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルが、前記サーバから前記クライアントに供給され、前記コーデック共通属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、前記ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定される、
    装置。
  2. 前記クライアントに関する前記デバイス能力交換メッセージが、前記クライアントが向きを意識した端末ではないことを示す前記CVO属性を含まない場合、前記コンテンツは、前記クライアントへの供給に先立って、リアルタイムトランスポートプロトコル(RTP)ストリームのレンダリング方向を、不整合に関して修正することにより修正され、
    前記ストリーミングされるコンテンツを修正する前記1又は複数のプロセッサは、さらに、
    RTP拡張ヘッダ中に含まれるCVO情報に関し、CVO用の2ビットの粒度を表す「urn:3gpp:video−orientation」又は高粒度CVO用の6ビットの粒度を表す「urn:3gpp:video−orientation:6」というCVOの統一資源名(URN)を有するa=extmap属性を用いたCVO指示を有するリアルタイムトランスポートプロトコル(RTP)ストリームに関するセッション記述プロトコル(SDP)ファイルを、前記クライアントに供給する、
    請求項1に記載の装置。
  3. 前記1又は複数のプロセッサは、
    国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、CVOデータを格納する、又は、
    RTP拡張ヘッダ中に、リアルタイムトランスポートプロトコル(RTP)ストリームに関するCVOデータを格納し、
    複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含み、
    前記ボックスヘッダのタイプは、「3gvo」の値用に設定される、
    請求項1又は請求項2に記載の装置。
  4. 前記クライアントに関するデバイス能力に関する情報を受信する前記1又は複数のプロセッサは、さらに、
    パケット交換ストリーミングサービス(PSS)能力に関する情報を交換し、
    前記CVO属性は、
    前記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)ストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、
    前記クライアントが、前記複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、
    前記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、
    前記クライアントが、前記複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性、
    を含む、
    請求項1から請求項3までの何れか一項に記載の装置。
  5. 前記ストリーミングされるコンテンツを修正する前記1又は複数のプロセッサは、さらに、ビデオの向きの不整合を修正して、前記クライアントにおいて、正しいビデオの向きでコンテンツを再生することを保証するべく、向きを意識したコンテンツ適応、向きを意識したコンテンツ選択、向きを意識したコード変換、又は、向きを意識したフォーマット変換を実行する、
    請求項1から請求項4までの何れか一項に記載の装置。
  6. 前記サーバは、
    第3世代パートナシッププロジェクト(3GPP)ロングタームエボリューション(LTE)パケット交換ストリーミングサービス(PSS)サーバ、
    ハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)サーバ、又は、
    統合マルチメディアサブシステム(IMS)を利用したPSS、並びに、マルチメディアブロードキャスト及びマルチキャストサービス(MBMS)(IMS_PSS_MBMS)サーバ、
    を含む、
    請求項1から請求項5までの何れか一項に記載の装置。
  7. サーバのコンピュータに、
    前記サーバにおいて、クライアントに関するデバイス能力に関する情報を受信する手順と、
    前記デバイス能力に関する情報がビデオの向きの調整(CVO)属性を含むか否かを特定する手順と、
    前記CVO属性に基づいて、ストリーミングされるコンテンツを、前記クライアントに適応させる手順と
    を実行させ、
    前記ストリーミングされるコンテンツを適応させる手順は、
    アダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性又はエレメントにおいて提供されるCVO指示属性を有する、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)コンテンツに関するメディアプレゼンテーション記述(MPD)メタデータファイルを、前記クライアントに供給する手順であって、前記コーデック共通属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、前記ストリーミングされるDASHコンテンツ中に存在することを示す「3gvo」に設定される、手順をさらに含む、
    プログラム。
  8. 前記ストリーミングされるコンテンツを適応させる手順は、
    前記クライアントに関する前記デバイス能力に関する情報が、前記クライアントが向きを意識した端末ではないことを示す前記CVO属性を含まない場合、ハイパーテキスト転送プロトコル(HTTP)ストリーム、又はHTTP上での動的適応型ストリーミング(DASH)の表示の向きを、不整合に関して修正する手順、又は、
    前記クライアントに関する前記デバイス能力に関する情報が、前記クライアントが向きを意識した端末であることを示す前記CVO属性を含む場合、ストリームの前記表示の向きを修正するべく、メディアプレゼンテーション記述(MPD)メタデータファイルにCVO指示属性を埋め込む手順、
    をさらに備える、
    請求項7に記載のプログラム。
  9. 前記ストリーミングされるコンテンツを適応させる手順は、
    前記クライアントに関する前記デバイス能力に関する情報が、前記クライアントが向きを意識した端末ではないことを示す前記CVO属性を含まない場合、リアルタイムトランスポートプロトコル(RTP)ストリームの表示の向きを、不整合に関して修正する手順、又は、
    前記クライアントに関する前記デバイス能力に関する情報が、前記クライアントが向きを意識した端末であることを示す前記CVO属性を含む場合、ストリームの前記表示の向きを修正するべく、セッション記述プロトコル(SDP)ファイルにCVO指示属性を埋め込む手順、
    をさらに備える、
    請求項7に記載のプログラム。
  10. 前記ストリーミングされるコンテンツを適応させる手順は、
    RTP拡張ヘッダ中に含まれるCVO情報に関し、CVO用の2ビットの粒度を表す「urn:3gpp:video−orientation」又は高粒度CVO用の6ビットの粒度を表す「urn:3gpp:video−orientation:6」というCVOの統一資源名(URN)を有するa=extmap属性を用いたCVO指示を有するリアルタイムトランスポートプロトコル(RTP)ストリームに関するセッション記述プロトコル(SDP)ファイルを、前記クライアントに供給する手順と
    をさらに備える、
    請求項9に記載のプログラム。
  11. 前記ストリーミングされるコンテンツを適応させる手順は、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、ユーザにより生成されたコンテンツ(UGC)ビデオに関する、埋め込まれたCVO情報を含む、前記UGCビデオを受信する手順をさらに備え、
    前記3GPファイルは、
    国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックスにおけるCVOタイムドメタデータトラックに関するCVOサンプルエントリ、又は、
    メディアプレゼンテーション記述(MPD)のアダプテーションセット、リプレゼンテーション又はサブ・リプレゼンテーションに関するコーデック共通属性若しくはエレメント、
    を使用し、
    複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス、又は、粒度を含み、
    前記ボックスヘッダのタイプは、3gvoの値用に設定され、
    前記コーデック共通属性は、向きのあるビデオコンポーネント及び関連するCVO情報が、ストリーミングされるハイパーテキスト転送プロトコル(HTTP)上での動的適応型ストリーミング(DASH)コンテンツ中に存在することを示す「3gvo」に設定される、
    請求項7から請求項9までの何れか一項に記載のプログラム。
  12. 前記ストリーミングされるコンテンツを適応させる手順は、
    国際標準化機構(ISO)ファイルフォーマットのボックス構造のサンプル記述ボックス中のCVOタイムドメタデータトラックに関するCVOサンプルエントリを用いて、第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイル中に、CVOデータを格納する手順と、
    RTP拡張ヘッダ中に、リアルタイムトランスポートプロトコル(RTP)ストリームに関するCVOデータを格納する手順と、
    をさらに含み、
    複数のCVOサンプルエントリフィールドは、ボックスヘッダのサイズ若しくはタイプ、データ参照インデックス(data−reference−index)、又は、粒度を含み、
    前記ボックスヘッダのタイプは、「3gvo」の値用に設定される、
    請求項7から請求項9までの何れか一項に記載のプログラム。
  13. 前記クライアントに関する前記デバイス能力に関する情報を受信する手順は、
    前記クライアントに関する、パケット交換ストリーミングサービス(PSS)クライアント能力に関する情報を交換する手順をさらに含み、
    前記デバイス能力に関する情報は、
    前記クライアントが、複数のリアルタイムトランスポートプロトコル(RTP)ストリームのCVO対応レシーバであるか否かを示すストリーミングCVO能力属性、
    前記クライアントが、複数のRTPストリームの高粒度CVO対応レシーバであるか否かを示すストリーミング高粒度CVO能力属性、
    前記クライアントが、複数の第3世代パートナシッププロジェクト(3GPP)ファイルフォーマット(3GP)ファイルのCVO対応レシーバであるか否かを示す3GPCVO能力属性、又は、
    前記クライアントが、複数の3GPファイルの高粒度CVO対応レシーバであるか否かを示す3GP高粒度CVO能力属性、
    を含む、
    請求項7から請求項12までの何れか一項に記載のプログラム。
  14. 請求項7から請求項13までの何れか一項に記載のプログラムを格納するコンピュータ可読記録媒体。
JP2017039865A 2012-10-26 2017-03-02 ビデオの向きの調整(cvo)を伴うストリーミング Active JP6455741B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261719241P 2012-10-26 2012-10-26
US61/719,241 2012-10-26
US201361753914P 2013-01-17 2013-01-17
US61/753,914 2013-01-17
US201361841230P 2013-06-28 2013-06-28
US61/841,230 2013-06-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015539883A Division JP6105741B2 (ja) 2012-10-26 2013-10-28 ビデオの向きの調整(cvo)を伴うストリーミング

Publications (2)

Publication Number Publication Date
JP2017143528A JP2017143528A (ja) 2017-08-17
JP6455741B2 true JP6455741B2 (ja) 2019-01-23

Family

ID=50545385

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015539883A Active JP6105741B2 (ja) 2012-10-26 2013-10-28 ビデオの向きの調整(cvo)を伴うストリーミング
JP2017039865A Active JP6455741B2 (ja) 2012-10-26 2017-03-02 ビデオの向きの調整(cvo)を伴うストリーミング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015539883A Active JP6105741B2 (ja) 2012-10-26 2013-10-28 ビデオの向きの調整(cvo)を伴うストリーミング

Country Status (10)

Country Link
US (3) US9215262B2 (ja)
EP (2) EP2912851B1 (ja)
JP (2) JP6105741B2 (ja)
KR (2) KR101703268B1 (ja)
CN (1) CN104704844B (ja)
AU (3) AU2013334019B2 (ja)
BR (1) BR112015006675B1 (ja)
CA (1) CA2880588C (ja)
HK (1) HK1207770A1 (ja)
WO (1) WO2014066887A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150042255A (ko) * 2012-08-22 2015-04-20 후아웨이 테크놀러지 컴퍼니 리미티드 Mpeg-2 트랜스포트 스트림에서 iso-bmff 이벤트 박스의 캐리지
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)
JP6239629B2 (ja) 2012-10-26 2017-11-29 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
US10171854B2 (en) * 2013-07-02 2019-01-01 Saturn Licensing Llc Content supply device, content supply method, program, terminal device, and content supply system
KR102154800B1 (ko) * 2014-01-10 2020-09-10 삼성전자주식회사 전자 장치의 데이터 스트리밍 방법 및 그 전자 장치
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
CN106034262B (zh) * 2015-03-13 2021-01-22 中兴通讯股份有限公司 自适应流媒体处理方法及装置
US10681107B2 (en) 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication
US9681111B1 (en) * 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10593028B2 (en) 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
US10097608B2 (en) * 2015-12-26 2018-10-09 Intel Corporation Technologies for wireless transmission of digital media
US9723258B2 (en) * 2015-12-30 2017-08-01 Roku, Inc. Orientation adjustment for casting videos
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
WO2017171953A1 (en) * 2016-04-01 2017-10-05 Intel IP Corporation User equipment (ue) support mode and id support
CN107294736B (zh) * 2016-04-05 2020-06-30 中国移动通信有限公司研究院 多媒体数据处理方法及终端
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
FR3070087B1 (fr) * 2017-08-11 2019-08-09 Renault S.A.S. Procede d’affichage d’images sur un ecran de vehicule automobile
KR102024642B1 (ko) * 2017-11-29 2019-09-24 전자부품연구원 라이브 스트리밍 서버 장치 및 이의 운용 방법
WO2019167633A1 (ja) * 2018-02-28 2019-09-06 ソニー株式会社 コンテンツ配信制御装置、コンテンツ配信制御方法、プログラム、およびコンテンツ配信システム
CN111670579A (zh) * 2018-02-28 2020-09-15 索尼公司 内容分发控制装置、内容分发控制方法、程序和内容分发控制系统
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11470136B2 (en) * 2020-10-07 2022-10-11 Tencent America LLC URL customization using the session-based dash operations
US11451602B2 (en) 2021-01-06 2022-09-20 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5884300A (en) 1999-06-23 2001-01-09 Infolio, Inc. System and operating method for an internet-based content adaptation service
SE522878C2 (sv) 2000-06-16 2004-03-16 Ericsson Telefon Ab L M Datakommunikationssystem
JP4189627B2 (ja) * 2002-04-24 2008-12-03 富士フイルム株式会社 画像サーバ並びに画像表示システム
US7065641B2 (en) 2002-06-13 2006-06-20 Intel Corporation Weighted processor selection apparatus and method for use in multiprocessor systems
US7085590B2 (en) 2003-12-31 2006-08-01 Sony Ericsson Mobile Communications Ab Mobile terminal with ergonomic imaging functions
FI20040944A0 (fi) 2004-07-07 2004-07-07 Nokia Corp Sisältöviestinnän hallinta viestintäjärjestelmässä
US7721204B2 (en) * 2004-07-29 2010-05-18 Xerox Corporation Client dependent image processing for browser-based image document viewer for handheld client devices
KR100631601B1 (ko) * 2004-10-21 2006-10-09 엘지전자 주식회사 휴대용 단말기의 동영상 스트리밍 서비스 방법
US8819143B2 (en) 2005-05-31 2014-08-26 Flash Networks Ltd. Presentation layer adaptation in multimedia messaging
US20070186005A1 (en) 2005-09-01 2007-08-09 Nokia Corporation Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content
JP4567646B2 (ja) * 2006-09-25 2010-10-20 シャープ株式会社 動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
US7984177B2 (en) * 2007-04-30 2011-07-19 Vixs Systems, Inc. Multimedia client/server system with adjustable packet size and methods for use therewith
US8595186B1 (en) * 2007-06-06 2013-11-26 Plusmo LLC System and method for building and delivering mobile widgets
US8600391B2 (en) 2008-11-24 2013-12-03 Ringcentral, Inc. Call management for location-aware mobile devices
GB0721475D0 (en) 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US8706910B2 (en) * 2008-10-28 2014-04-22 Panzura, Inc. Dynamically adaptive network-based data processing system and method
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
WO2010099577A1 (en) 2009-03-04 2010-09-10 The University Of Queensland Cancer biomarkers and uses therefor
KR20110138276A (ko) * 2009-04-09 2011-12-26 노키아 코포레이션 미디어 파일 스트리밍을 위한 시스템, 방법 및 장치
CN101540871B (zh) * 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
EP2484090A1 (en) 2009-09-29 2012-08-08 Nokia Corp. System, method and apparatus for dynamic media file streaming
US9124804B2 (en) * 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8521899B2 (en) * 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
US8514331B2 (en) * 2010-06-08 2013-08-20 Stmicroelectronics, Inc. De-rotation adaptor and method for enabling interface of handheld multi-media device with external display
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
WO2012021344A2 (en) * 2010-08-11 2012-02-16 Movik Networks SYSTEM AND METHOD FOR QoS CONTROL OF IP FLOWS IN MOBILE NETWORKS
EP2614653A4 (en) * 2010-09-10 2015-04-15 Nokia Corp METHOD AND APPARATUS FOR ADAPTIVE CONTINUOUS DIFFUSION
US8918645B2 (en) * 2010-09-24 2014-12-23 Amazon Technologies, Inc. Content selection and delivery for random devices
WO2012046487A1 (ja) 2010-10-05 2012-04-12 シャープ株式会社 コンテンツ再生装置、コンテンツ配信システム、コンテンツ再生装置の同期方法、制御プログラム、および、記録媒体
CA2754841C (en) * 2010-10-12 2016-11-01 Research In Motion Limited Method and apparatus for image orientation indication and correction
JP2012099890A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
JP5811602B2 (ja) * 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
US8675577B2 (en) * 2010-12-20 2014-03-18 Intel Corporation Signaling techniques for a multimedia-aware radio and network adaptation
US9418353B2 (en) 2010-12-20 2016-08-16 Akamai Technologies, Inc. Methods and systems for delivering content to differentiated client devices
US8441955B2 (en) * 2011-01-24 2013-05-14 Tektronix, Inc. Determining mobile video quality of experience and impact of video transcoding
US20120278495A1 (en) * 2011-04-26 2012-11-01 Research In Motion Limited Representation grouping for http streaming
KR101784316B1 (ko) * 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
US8867806B2 (en) * 2011-08-01 2014-10-21 Impac Medical Systems, Inc. Method and apparatus for correction of errors in surfaces
US9258344B2 (en) 2011-08-01 2016-02-09 Intel Corporation Multi-hop single sign-on (SSO) for identity provider (IdP) roaming/proxy
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US20130060881A1 (en) * 2011-09-01 2013-03-07 Mp4Sls Pte Ltd Communication device and method for receiving media data
TW201322743A (zh) 2011-11-18 2013-06-01 Onlive Inc 用於控制視訊串流之圖形使用者介面,系統及方法
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
WO2014012015A2 (en) * 2012-07-13 2014-01-16 Vid Scale, Inc. Operation and architecture for dash streaming clients
US9357272B2 (en) 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
JP6239629B2 (ja) 2012-10-26 2017-11-29 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
AU2013334019B2 (en) 2012-10-26 2015-11-12 Apple Inc. Streaming with coordination of video orientation (CVO)

Also Published As

Publication number Publication date
AU2016200390B2 (en) 2017-03-23
CA2880588C (en) 2020-03-10
EP3139698A1 (en) 2017-03-08
AU2017203829A1 (en) 2017-06-22
US20150089074A1 (en) 2015-03-26
EP2912851B1 (en) 2020-04-22
US9438658B2 (en) 2016-09-06
BR112015006675A2 (pt) 2020-08-18
AU2013334019A1 (en) 2015-02-12
KR101843328B1 (ko) 2018-03-28
US20160088053A1 (en) 2016-03-24
JP2017143528A (ja) 2017-08-17
CA2880588A1 (en) 2014-05-01
JP2016500987A (ja) 2016-01-14
KR20150048216A (ko) 2015-05-06
JP6105741B2 (ja) 2017-03-29
US20160352799A1 (en) 2016-12-01
BR112015006675B1 (pt) 2022-08-30
AU2017203829B2 (en) 2018-09-06
WO2014066887A1 (en) 2014-05-01
EP2912851A4 (en) 2016-05-25
HK1207770A1 (en) 2016-02-05
EP3139698B1 (en) 2020-05-06
EP2912851A1 (en) 2015-09-02
AU2013334019B2 (en) 2015-11-12
KR20170015563A (ko) 2017-02-08
CN104704844B (zh) 2019-05-21
US9215262B2 (en) 2015-12-15
CN104704844A (zh) 2015-06-10
KR101703268B1 (ko) 2017-02-06
AU2016200390A1 (en) 2016-02-11
US10432692B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
JP6455741B2 (ja) ビデオの向きの調整(cvo)を伴うストリーミング
TWI568252B (zh) 具有視訊定向協調(cvo)之串流技術
JP6490778B2 (ja) ビデオ方位に基づくマルチメディア適応
JP6337350B2 (ja) ビデオ品質向上

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181205

R150 Certificate of patent or registration of utility model

Ref document number: 6455741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250