JP6877808B2 - ビデオストリームのデータを処理するための方法、装置、およびシステム - Google Patents

ビデオストリームのデータを処理するための方法、装置、およびシステム Download PDF

Info

Publication number
JP6877808B2
JP6877808B2 JP2017550581A JP2017550581A JP6877808B2 JP 6877808 B2 JP6877808 B2 JP 6877808B2 JP 2017550581 A JP2017550581 A JP 2017550581A JP 2017550581 A JP2017550581 A JP 2017550581A JP 6877808 B2 JP6877808 B2 JP 6877808B2
Authority
JP
Japan
Prior art keywords
video stream
video
resolution
lower resolution
source information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017550581A
Other languages
English (en)
Other versions
JP2018512814A (ja
Inventor
玉▲龍▼ ▲應▼
玉▲龍▼ ▲應▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2018512814A publication Critical patent/JP2018512814A/ja
Application granted granted Critical
Publication of JP6877808B2 publication Critical patent/JP6877808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Description

関連出願
本願は、そのすべてが、その全体において参照によって組み込まれている「METHOD, APPARATUS, AND SYSTEM FOR PROCESSING DATA OF VIDEO STREAM」と題された、2015年4月15日出願の中国特許出願第2015101766281号への優先権を主張する、2016年3月29日出願のPCT出願番号第PCT/CN2016/077717号の国際段階出願である。
本発明は、通信技術の分野に関し、特に、ビデオストリームのデータを処理するための方法、装置、およびシステムに関する。
いつでもどこでもマルチメディアにアクセスする需要の増加によって、ビデオプログラムを見る場合、リアルタイムで鮮明かつスムーズなビデオソースを見ることは、多くのユーザの好むオプションとなった。
通常のライブビデオブロードキャスト技術は主に、リアルタイムストリーミングプロトコル(RTSP)/リアルタイム伝送プロトコル(RTP)に基づくHTTPライブストリーミング(HLS)およびリアルタイムストリーミングメディアプロトコルを含む。現在、最も主流なライブビデオウェブサイトは、モバイル端末のためのHLSライブソースを提供する。したがって、これは、モバイル端末のビデオ再生アプリケーションがHLSプロトコルをサポートしていることを必要とする。多数の解像度を有するHLSビデオソースを再生する場合、現在のビデオプレーヤは一般に、デフォルト設定またはユーザ設定に従って、これら解像度のうちの1つを有するビデオストリームを直接的に選択する。
先行技術を研究および実現する過程中に、本開示の発明者は、既存の解決策において、設定された解像度を有するビデオストリームがブロードキャストのために直接的に選択されているが、選択された解像度は、現在のブロードキャスト環境のために適切ではないことがあり得ることを発見した。したがって、ライブビデオのブロードキャスト品質が、大きく悪影響を受け得る。たとえば、画像が非常に鮮明であるが、頻繁に止まることがあり得るか、または、ビデオがスムーズに再生されるが、画像が非常に不明瞭である。
本発明の実施形態は、ビデオストリームのデータを処理するための方法、装置、およびシステムを提供し、現在の再生状況に従って、解像度を柔軟に調節し得、したがって、ライブビデオの再生品質を大幅に向上させる。
本開示の実施形態は、以下を含むビデオストリームデータを処理するための方法を提供する。
多数の解像度を有するビデオストリームのビデオソース情報を獲得するステップ。
ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生するステップ。
再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、より低い解像度のビデオストリームへ切り替えるステップ。および、より低い解像度のビデオストリームを再生するステップ。
本開示の別の実施形態は、以下を含むビデオストリームデータを処理するための装置を提供する。
多数の解像度を有するビデオストリームのビデオソース情報を獲得するように構成された情報獲得ユニット。
ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生するように構成された処理ユニット。
再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生のために、より低い解像度のビデオストリームへ切り替え、より低い解像度のビデオストリームを再生するように構成された切替ユニット。
本開示の別の実施形態は、本発明の実施形態において提供されるビデオストリームのデータを処理するための任意の装置を含む、ビデオストリームのデータを処理するためのシステムを提供する。
本開示の別の実施形態は、記憶媒体を提供し、記憶媒体は、プロセッサ実行可能な命令を記憶し、プロセッサ実行可能な命令は、以下の動作を実行するために使用される。
多数の解像度を有するビデオストリームのビデオソース情報を獲得するステップ。
ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生するステップ。
再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、より低い解像度のビデオストリームへ切り替えるステップ。および、より低い解像度のビデオストリームを再生するステップ。
本発明の実施形態では、多数の解像度を有するビデオストリームのビデオソース情報が獲得され、ビデオソース情報に従って、最高の解像度を有するビデオストリームが、ターゲットビデオストリームとして選択され、ターゲットビデオストリームが再生され、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオが、再生のために、より低い解像度のビデオストリームへ切り替えられる。このように、現在の再生ステータスに従って、ビデオ解像度を自動的に調節する目的。これによって、ライブビデオの再生は、現在の再生環境における最適な状態に達することができるようになり、したがって、ライブビデオの再生品質を大幅に向上させる。
本発明の実施形態における技術的解決策をより明確に説明するために、以下は、実施形態を説明するために必要とされる添付図面を簡潔に説明する。明らかに、以下の説明における添付図面は、本発明の単なるいくつかの実施形態しか示しておらず、当業者は、創造的な努力なしで、これら添付図面から他の図面をさらに導出し得る。
本発明の実施形態に従ってビデオストリームのデータを処理するための方法のフローチャートである。 本発明の実施形態に従ってビデオストリームのデータを処理するための方法の別のフローチャートである。 本発明の実施形態に従ってビデオストリームのデータを処理するための装置の概要構成図である。 本発明の実施形態に従うモバイル端末の概要構成図である。
以下は、本発明の実施形態における添付図面が参照された本発明の実施形態における技術的解決策を明確かつ完全に説明する。明らかに、説明された実施形態は、本発明の実施形態の単なるいくつかであるが、すべてではない。創造的な努力なしで本発明の実施形態に基づいて当業者によって取得される他のすべての実施形態は、本発明の保護範囲内にあるものとする。
本発明の実施形態は、ビデオストリームのデータを処理するための方法、装置、およびシステムを提供し、これらは、以下に、個別に説明されるであろう。
実施形態1
この実施形態では、ビデオストリームのデータを処理するための装置の観点から説明がなされる。ビデオストリームのデータを処理するための装置は特に、モバイル端末内に統合され得、モバイル端末は特に、モバイル電話またはタブレットコンピュータのようなデバイスであり得る。
ビデオストリームのデータを処理するための方法は、多数の解像度を有するビデオストリームのビデオソース情報を獲得するステップと、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生するステップと、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオを、再生のために、より低い解像度のビデオストリームへ切り替えるステップとを含む。
図1に示されるように、ビデオストリームのデータを処理するための方法の特定の手順は、以下の通りであり得る。
101:多数の解像度を有するビデオストリームのビデオソース情報を獲得する。
多数の解像度を有するビデオストリームは、マルチ解像度ビデオソースによって提供され得る。マルチ解像度ビデオソースは、標準鮮明度、高鮮明度、超鮮明度、超高鮮明度のような多数の鮮明度のタイプを有するビデオストリームをビデオソースが提供し得ることを称する。HLSビデオストリームメディアプロトコルでは、マルチ解像度ビデオソースは、多数の異なるm3u8インデックスファイルがm3u8インデックスファイルにネストされ、各インデックスファイルが異なるビデオ解像度に対応していることを称する。
ビデオソース情報は、解像度情報、および、解像度に対応するビデオストリームのリンクアドレスのような情報を含む。たとえば、解像度が、スムーズ、標準鮮明度、高鮮明度、および超高鮮明度のようないくつかのレベルへ昇順で分類されているのであれば、この事例では、ビデオソース情報は、「スムーズ」、「標準鮮明度」、「高鮮明度」、および「超高鮮明度」のような解像度情報を含み得、「スムーズ」に対応するビデオストリームのリンクアドレス、「標準鮮明度」に対応するビデオストリームのリンクアドレス、「高鮮明度」に対応するビデオストリームのリンクアドレス、「超高鮮明度」に対応するビデオストリームのリンクアドレス等を含み得る。
102:ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生する。たとえば、ステップは特に、以下の通りであり得る。
(1)略してプレーヤと称されるビデオプレーヤを生成する。
プレーヤは、デジタル信号形式で記憶されたビデオストリームを再生し得るソフトウェアを称する。
(2)ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択する。
たとえば、解像度情報が、「スムーズ」、「標準鮮明度」、「高鮮明度」、および「超高鮮明度」を含み、「超高鮮明度」の解像度が最高であれば、この事例では、「超高鮮明度」に対応するビデオが、ターゲットビデオとして選択され得る。
別の例の場合、解像度情報が、「スムーズ」、「標準鮮明度」、および「高鮮明度」を含み、「高鮮明度」の解像度が最高であれば、この事例では、「高鮮明度」に対応するビデオが、ターゲットビデオとして選択され得る。
その他も同様に推定され得る。
(3)ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得する。
たとえば、特に、対応するm3u8インデックスファイルは、ターゲットビデオのリンクアドレスに従ってダウンロードされ得、その後、対応するビデオデータが、m3u8インデックスファイルに従って獲得され得る。
ビデオデータは、ビデオストリームを含み得、さらに、たとえば、必要とされる帯域幅、ソフトウェアリリース、および/または、モバイル端末におけるハードウェア要件のような、ビデオストリームを再生するために必要とされる環境情報(すなわち、再生環境情報)のようなビデオストリームの対応する情報を含み得る。
(4)ビデオを再生するために、ビデオデータに従って、プレーヤのデコーダを生成する。
たとえば、特に、プレーヤのデコーダが、ビデオデータの再生環境情報に従って生成され得、その後、デコーダを使用することによって、ビデオストリームがデコードされ、プレーヤを使用することによって、デコードされたビデオストリームが再生される。
デコーダは、デジタルビデオストリームをデコードし得るプログラムまたはデバイスを称し、ハードウェアデコーダおよびソフトウェアデコーダを含む。ハードウェアデコーダは、モバイル電話のデコードチップを使用することによってデコードを実行し、ソフトウェアデコーダは、ソフトウェアプログラムを使用することによってデコードを実行し、ハードウェアデコーダが使用されるのであれば、デコーダを生成するステップは、ハードウェアデコーダを設定(初期化)するステップを称するか、または、ソフトウェアデコーダが使用されるのであれば、デコーダを生成するステップは、ソフトウェアデコーダを生成し設定するステップを称する。
103:再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオを、再生のために、より低い解像度のビデオストリームへ切り替える。たとえば、特に、ステップは以下の通りであり得る。
(1)プレーヤリソースおよびデコーダをリリースする。
プレーヤリソースは、プレーヤエンジンおよびパーサのようなリソースを含む。
(2)ビデオソース情報に従って、より低い解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得するステップ(すなわち、ステップ102におけるステップ(2))を実行することへ戻る。
たとえば、例として、オリジナルで選択された解像度が「超高鮮明度」であることを使用して、この事例では、ビデオソース情報に従って、より低い解像度を有するビデオストリームが選択され得る。すなわち、「高鮮明度」のビデオストリームが、ターゲットビデオストリームとして使用された後、対応するビデオデータが、「高鮮明度」のビデオストリームのリンクアドレスに従って取得される。その後、ビデオを再生するために、ビデオデータに従って、プレーヤのデコーダが生成される。その後、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、ビデオソース情報に従って、より低い解像度を有するビデオストリームが選択され、たとえば、選択されたビデオストリームが成功裡に再生され得るまで、「標準鮮明度」のビデオストリームが、ターゲットビデオストリーム等として使用される。すなわち、プレーヤは、先ず、最高の鮮明度を有する「超高鮮明度」のビデオストリームの再生を試み、モバイル端末が、ビデオストリームを正常に再生することができないのであれば、モバイル端末がビデオを正常に再生できるまで、プレーヤは、「超鮮明度」のビデオストリーム、「高鮮明度」のビデオストリーム、「標準鮮明度」のビデオストリーム等の再生を試み続ける。
オプションで、より低い解像度を有するビデオが獲得され得ることを保証し、実行される手順の有効性に悪影響を与えることを回避するために、プレーヤリソースおよびデコーダをリリースする前に、より低い解像度を有するビデオストリームが存在するか否かがさらに判定され得、存在すると判定されると、プレーヤリソースおよびデコーダをリリースするステップが実行される。すなわち、「プレーヤリソースおよびデコーダをリリースする」ステップの前に、方法はさらに、以下を含み得る。
より低い解像度を有するビデオストリームが存在するか否かを判定し、存在すると判定されると、プレーヤリソースおよびデコーダをリリースするステップを実行し、または、存在しないと判定されると、エラープロンプトを送信し、たとえば、ビデオライブブロードキャストにエラーが存在するとのプロンプト情報を、モバイル端末のスクリーン上に表示するステップ。
より低い解像度を有するビデオストリームが存在するか否かを判定するための多数の手法、たとえば、ビデオソース情報に従って、より低い解像度を有するビデオストリームが存在するか否かを判定するステップ、または、m3u8インデックスファイルがダウンロードされているのであれば、m3u8インデックスファイルに、より低い解像度を有するネストされたビデオストリームが存在するか否かを判定するステップが存在し得る。
この実施形態では、多数の解像度を有するビデオストリームのビデオソース情報が獲得されることが、上記から知られ得、ビデオソース情報に従って、最高の解像度を有するビデオストリームが、ターゲットビデオストリームとして選択され、ターゲットビデオストリームが再生される。そして、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、現在の再生ステータスに従って、ビデオ解像度を自動的に調節するとの目的を達成するために、再生されるビデオが、再生のために、より低い解像度のビデオストリームへ切り替えられる。これによって、ライブビデオの再生は、現在の再生環境における最適な状態に達することができるようになり、したがって、ライブビデオの再生品質を大幅に向上させる。
実施形態2
実施形態1において説明された方法に従って、以下はさらに、例を使用することによって、詳細な説明を行う。
この実施形態では、ビデオストリームのデータを処理するための装置が特に、モバイル端末において統合される例を使用することによって説明がなされる。
図2に示されるように、ビデオストリームのデータを処理するための方法の特定の手順は、以下の通りであり得る。
201:モバイル端末が、多数の解像度を有するビデオストリームのビデオソース情報を獲得する。
ビデオソース情報は、解像度情報、および解像度に対応するビデオストリームのリンクアドレスのような情報を含む。たとえば、解像度が、スムーズ、標準鮮明度、高鮮明度、および超高鮮明度のようないくつかのレベルへ昇順で分類されているのであれば、この事例では、ビデオソース情報は、「スムーズ」、「標準鮮明度」、「高鮮明度」、および「超高鮮明度」のような解像度情報を含み得、「スムーズ」に対応するビデオストリームのリンクアドレス、「標準鮮明度」に対応するビデオストリームのリンクアドレス、「高鮮明度」に対応するビデオストリームのリンクアドレス、「超高鮮明度」に対応するビデオストリームのリンクアドレス等を含み得る。
202:モバイル端末が、ビデオプレーヤを生成する。
たとえば、特に、プレーヤにおけるファンクションモジュールが生成され得、プレーヤのユーザインターフェース(UI)が生成され得る。プレーヤのUIは、多数のパーツ、すなわち、ビデオ画像を表示するエリア、ユーザ操作可能な制御バーエリア、および、再生エラープロンプトを表示するためのエリアを含む、ビデオプレーヤにおけるユーザの目に見えるインターフェースを称する。
203:モバイル端末が、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択する。
たとえば、解像度情報が、「スムーズ」、「標準鮮明度」、「高鮮明度」、および「超高鮮明度」を含み、「超高鮮明度」の解像度が最高であれば、この事例では、「超高鮮明度」に対応するビデオが、ターゲットビデオとして選択され得る。
別の例の場合、解像度情報が、「スムーズ」、「標準鮮明度」、および「高鮮明度」を含み、「高鮮明度」の解像度が最高であれば、この事例では、「高鮮明度」に対応するビデオが、ターゲットビデオとして選択され得る。
その他も同様に推定され得る。
204:モバイル端末が、ターゲットビデオのリンクアドレスに従って、対応するm3u8インデックスファイルをダウンロードする。
205:モバイル端末が、選択された解像度に対応するビデオデータを、m3u8インデックスファイルに従って獲得する。
ビデオデータは、ビデオストリームと、たとえば、必要とされる帯域幅、ソフトウェアリリース、および/または、モバイル端末におけるハードウェア要件のような、ビデオストリームを再生するために必要とされる環境情報(すなわち、再生環境情報)のようなビデオストリームの対応する情報とを含み得る。
206:モバイル端末が、ビデオを再生するために、ビデオデータに従って、プレーヤのデコーダを生成する。
たとえば、特に、プレーヤのデコーダは、ビデオデータの再生環境情報に従って生成され得、その後、デコーダを使用することによって、ビデオストリームがデコードされ、デコードされたビデオストリームが、プレーヤを使用することによって再生される。
再生処理中、オーディオ-ビデオ同期が考慮される前提で、プレーヤは、オーディオおよびビデオを個別にデコードし得、その後、デコードされたビデオ画像をモバイル端末のスクリーンへ出力し得、デコードされたオーディオデータを、モバイル電話の拡声器へ出力し得る。詳細は本明細書では再度説明されない。
207:モバイル端末が、再生処理中に、ネットワークエラーまたはデコードエラーが発生したか否かを判定し、発生したと判定すると、ステップ208を実行し、発生していないと判定すると、再生が終了するまで再生し続ける。
208:モバイル端末が、より低い解像度を有するビデオストリームが存在するか否かを判定し、存在すると判定すると、ステップ210を実行し、存在しないと判定すると、ステップ209を実行し続ける。
たとえば、モバイル端末は特に、ダウンロードされたm3u8インデックスファイルに、より低い解像度を有するネストされたビデオストリームが存在するか否かを判定し得、存在すると判定すると、ステップ210を実行し、存在しないと判定すると、ステップ209を実行する。
209:モバイル端末が、エラープロンプトを送信し、たとえば、ビデオライブブロードキャストにエラーが存在するとのプロンプト情報を、モバイル端末のスクリーン上に表示し、再生が終了される。
210:モバイル端末が、プレーヤエンジンおよびパーサのようなプレーヤリソースをリリースし、デコーダをリリースする。
211:モバイル端末が、ビデオソース情報に従って、より低い解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、m3u8インデックスファイルに従って、選択された解像度に対応するビデオデータを獲得するステップを実行することへ戻る。すなわち、ステップ205を実行することへ戻る。
たとえば、オリジナルで選択されたビデオストリームが、「超高鮮明度」の解像度を有するビデオストリームであれば、この事例では、「高鮮明度」の解像度を有するビデオストリームのような、より低い解像度を有するビデオストリームが、ターゲットビデオストリームとして選択され得る。
別の例の場合、オリジナルで選択されたビデオストリームが、「高鮮明度」の解像度を有するビデオストリームであれば、この事例では、「標準鮮明度」の解像度を有するビデオストリームのような、より低い解像度を有するビデオストリームが、ターゲットビデオストリームとして選択され得る。
その他も同様に推定され得る。
この実施形態では、多数の解像度を有するビデオストリームのビデオソース情報が獲得されることが、上記から知られ得、ビデオソース情報に従って、最高の解像度を有するビデオストリームが、ターゲットビデオストリームとして選択され、ターゲットビデオストリームが再生され、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオが、再生のために、より低い解像度を有するビデオストリームへ切り替えられる。すなわち、この解決策では、プレーヤは先ず、最高の鮮明度を有するビデオストリームの再生を試み得、モバイル端末がビデオストリームを正常に再生できないのであれば、現在の再生ステータスに従って、ビデオ解像度を自動的に調節するとの目的を達成するために、プレーヤは、その後、モバイル端末がライブビデオを正常に再生できるまで、より低い解像度を有するビデオストリームを、降順で再生することを試み続け、これによって、ライブビデオの再生は、現在の再生環境における最適な状態に達することができるようになり、したがって、ライブビデオの再生品質を大幅に向上させる。
実施形態3
前述した方法をより良く実施するために、本発明のこの実施形態はさらに、ビデオストリームデータを処理するための装置を提供する。図3に示されるように、ビデオストリームデータを処理するための装置は、情報獲得ユニット301、処理ユニット302、および切替ユニット303を含み得る。
情報獲得ユニット301は、多数の解像度を有するビデオストリームのビデオソース情報を獲得するように構成される。
ビデオソース情報は、解像度情報、および解像度に対応するビデオストリームのリンクアドレスのような情報を含む。たとえば、解像度が、スムーズ、標準鮮明度、高鮮明度、および超高鮮明度のようないくつかのレベルへ昇順で分類されているのであれば、この事例では、ビデオソース情報は、「スムーズ」、「標準鮮明度」、「高鮮明度」、および「超高鮮明度」のような解像度情報を含み得、「スムーズ」に対応するビデオストリームのリンクアドレス、「標準鮮明度」に対応するビデオストリームのリンクアドレス、「高鮮明度」に対応するビデオストリームのリンクアドレス、「超高鮮明度」に対応するビデオストリームのリンクアドレス等を含み得る。
処理ユニット302は、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生するように構成される。
切替ユニット303は、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオを、再生のために、低い解像度のビデオストリームへ切り替えるように構成される。
たとえば、処理ユニット302は、生成サブユニット、獲得サブユニット、および再生サブユニットを含み得る。
生成サブユニットは、プレーヤを生成し、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択するように構成される。
たとえば、解像度情報が、「スムーズ」、「標準鮮明度」、「高鮮明度」、および「超高鮮明度」を含み、「超高鮮明度」の解像度が最高であれば、この事例では、「超高鮮明度」に対応するビデオが、ターゲットビデオとして選択され得る。
別の例の場合、解像度情報が、「スムーズ」、「標準鮮明度」、および「高鮮明度」を含み、「高鮮明度」の解像度が最高であれば、この事例では、「高鮮明度」に対応するビデオが、ターゲットビデオとして選択され得る。
その他も同様に推定され得る。
データ獲得サブユニットは、ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得するように構成される。
たとえば、データ獲得サブユニットは特に、ターゲットビデオストリームのリンクアドレスに従って、対応するm3u8インデックスファイルをダウンロードし、m3u8インデックスファイルに従って、対応するビデオデータを獲得するように構成され得る。
ビデオデータは、ビデオストリームを含み得、さらに、たとえば、必要とされる帯域幅、ソフトウェアリリース、および/または、モバイル端末におけるハードウェア要件のような、ビデオストリームを再生するために必要とされる環境情報(すなわち、再生環境情報)のようなビデオストリームの対応する情報を含み得る。
再生サブユニットは、ビデオを再生するために、ビデオデータに従って、プレーヤのデコーダを生成するように構成される。
たとえば、再生サブユニットは特に、ビデオデータの再生環境情報に従って、プレーヤのデコーダを生成し、その後、デコーダを使用することによってビデオストリームをデコードし、デコードされたビデオストリームを、プレーヤを使用することによって再生するように構成され得る。
切替ユニットは特に、プレーヤリソースおよびデコーダをリリースし、より低い解像度を有するビデオストリームを選択し、ターゲットビデオデータストリームのリンクアドレスに従って、対応するビデオデータを獲得する動作を実行するようにデータ獲得サブユニットをトリガするように構成される。
たとえば、オリジナルで選択されたビデオストリームが、「超高鮮明度」の解像度を有するビデオストリームであれば、この事例では、「高鮮明度」の解像度を有するビデオストリームが、ターゲットビデオストリームとして選択され得る。
オプションで、より低い解像度を有するビデオが獲得され得ることを保証し、実行される手順の有効性に悪影響を与えることを回避するために、プレーヤリソースおよびデコーダをリリースする前に、より低い解像度を有するビデオストリームが存在するか否かがさらに判定され得、存在すると判定されると、プレーヤリソースおよびデコーダをリリースするステップが実行される。
切替ユニット303はさらに、より低い解像度を有するビデオストリームが存在するか否かを判定し、存在すると判定すると、プレーヤリソースおよびデコーダをリリースするステップを実行し、存在しないと判定すると、エラープロンプトを送信し、たとえば、ビデオライブブロードキャストにエラーが存在するとのプロンプト情報を、モバイル端末のスクリーン上に表示するように構成され得る。
より低い解像度を有するビデオストリームが存在するか否かを判定するための多数の手法、たとえば、ビデオソース情報に従って、より低い解像度を有するビデオストリームが存在するか否かを判定するステップ、または、m3u8インデックスファイルがダウンロードされているのであれば、m3u8インデックスファイルに、より低い解像度を有するネストされたビデオストリームが存在するか否かを判定するステップが存在し得る。
特定の実施中、前述したユニットは、独立したエンティティとして実施され得るか、または、ランダムな組合せによって、1つまたは複数のエンティティとして実施され得る。前述したユニットの特定の実施の場合、上記方法実施形態を参照されたい。詳細は本明細書では再度説明されない。
ビデオストリームのデータを処理するための装置は特に、モバイル端末内に統合され得、モバイル端末は特に、モバイル電話またはタブレットコンピュータのようなデバイスであり得る。
この実施形態のビデオストリームのデータを処理するための装置では、情報獲得ユニット301は、多数の解像度を有するビデオストリームのビデオソース情報を獲得し得、再生ユニット302は、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生し、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、切替ユニット303は、現在の再生ステータスに従って、ビデオ解像度を自動的に調節するとの目的を達成するために、再生されるビデオを、再生のために、より低い解像度のビデオストリームへ切り替え、これによって、ライブビデオの再生は、現在の再生環境における最適な状態に達することができるようになり、したがって、ライブビデオの再生品質を大幅に向上させることが上記から知られ得る。
実施形態4
相応して、本発明のこの実施形態はさらに、本発明の実施形態によって提供されるビデオストリームのデータを処理するための任意の装置を含む、ビデオストリームのデータを処理するためのシステムを提供する。詳細に関しては実施形態3を参照されたい。ビデオストリームのデータを処理するための装置は特に、モバイル端末内に統合され得、モバイル端末は特に、モバイル電話またはタブレットコンピュータのようなデバイスであり得る。
ビデオストリームのデータを処理するための装置が特に、モバイル端末に統合され得る例を使用して、詳細は特に以下の通りであり得る。
モバイル端末は、多数の解像度を有するビデオストリームのビデオソース情報を獲得し、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生し、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオを、再生のために、より低い解像度のビデオストリームへ切り替えるように構成される。
ビデオソース情報は、解像度情報、および解像度に対応するビデオストリームのリンクアドレスのような情報を含む。
たとえば、モバイル端末は特に、多数の解像度を有するビデオストリームのビデオソース情報を獲得し、プレーヤを生成し、ビデオソース情報に従って、最高の解像度を有するビデオストリームを選択し、ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得し、その後、ビデオを再生するために、ビデオデータに従って、プレーヤのデコーダを生成し、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、プレーヤリソースおよびデコーダをリリースし、ビデオソース情報に従って、より低い解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得する動作を実行することへ戻るように構成され得る。
オプションとして、より低い解像度を有するビデオが獲得され得ることを保証し、実行される手順の有効性に悪影響を与えることを回避するために、プレーヤリソースおよびデコーダをリリースする前に、より低い解像度を有するビデオストリームが存在するか否かがさらに判定され得、存在すると判定されると、プレーヤリソースおよびデコーダをリリースする動作が実行される。
より低い解像度を有するビデオストリームが存在するか否かを判定するための多数の手法、たとえば、ビデオソース情報に従って、より低い解像度を有するビデオストリームが存在するか否かを判定するステップ、または、m3u8インデックスファイルがダウンロードされているのであれば、m3u8インデックスファイルに、より低い解像度を有するネストされたビデオストリームが存在するか否かを判定するステップが存在し得る。
それに加えて、ビデオストリームのデータを処理するためのシステムはさらに、以下のように、サーバのような他のデバイスを含み得る。
サーバは、モバイル端末のための多数の解像度を有するビデオストリームを提供するように構成される。
前述した動作の特定の実施について、上記実施形態を参照されたい。詳細は本明細書では再度説明されない。
ビデオストリームのデータを処理するためのシステムは、本発明の実施形態において提供されるビデオストリームのデータを処理するために任意の装置を含み得、したがって、本発明の実施形態において提供されるビデオストリームのデータを処理するための任意の装置を使用することによって実施され得る有益な効果を達成し得る。特定の内容について、前述した実施形態を参照されたい。詳細は本明細書では再度説明されない。
実施形態5
相応して、本発明のこの実施形態はさらに、モバイル端末を提供する。図4に示されるように、モバイル端末は、無線周波数(RF)回路401、1つまたは複数のコンピュータ可読記憶媒体を含むメモリ402、入力ユニット403、ディスプレイユニット404、センサ405、オーディオ回路406、ワイヤレスフィデリティ(WiFi)モジュール407、1つまたは複数の処理コアを含むプロセッサ408、および、電源409のような構成要素を含み得る。当業者は、図4に示されるモバイル端末構成は、モバイル端末を限定せず、これら図面よりも多いまたは少ない構成要素、または、いくつかの構成要素の組合せ、または異なる構成要素配置を含み得ることを理解し得る。
RF回路401は、情報受信および送信処理、または、コール処理中に、信号を受信および送信するように構成され得る。特に、RF回路401は、基地局からダウンリンク情報を受信し、その後、処理のために、ダウンリンク情報を、1つまたは複数のプロセッサ680へ配信し、関連するアップリンクデータを基地局へ送信する。一般に、RF回路401は、限定されないが、アンテナ、少なくとも1つのアンプ、チューナ、1つまたは複数の発振器、加入者識別モジュール(SIM)カード、トランシーバ、カプラ、低ノイズアンプ(LNA)、デュプレクサ等を含む。それに加えて、RF回路401はまた、ワイヤレス通信によってネットワークおよび他のデバイスと通信し得る。ワイヤレス通信は、任意の通信規格またはプロトコルを使用し得る。これは、限定されないが、グローバル移動体通信システム(GSM（登録商標）)、汎用パケット無線サービス(GPRS)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA（登録商標）)、ロングタームエボリューション(LTE)、電子メール、ショートメッセージングサービス(SMS)等を含む。
メモリ402は、ソフトウェアプログラムおよびモジュールを記憶するように構成され得、プロセッサ408は、様々なファンクションアプリケーションおよびデータ処理を実行するために、メモリ402に記憶されたソフトウェアプログラムおよびモジュールを実行する。メモリ402は主に、プログラム記憶エリアおよびデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、すなわち、(オーディオ再生機能および画像表示機能のような)少なくとも1つの機能によって必要とされるアプリケーションプログラムを記憶し得る。データ記憶エリアは、モバイル端末の用途に従って生成された(オーディオデータおよびアドレス帳のような)データを記憶し得る。それに加えて、メモリ402は、高速ランダムアクセスメモリを含み得、さらに、少なくとも1つの磁気ディスク記憶デバイスのような不揮発性メモリ、フラッシュメモリ、または別の揮発性ソリッドステート記憶デバイスを含み得る。相応して、メモリ402はさらに、メモリ402へのプロセッサ408および入力ユニット403のアクセスを提供するために、メモリコントローラを含み得る。
入力ユニット403は、入力された数字またはキャラクタ情報を受け取り、ユーザ設定および機能制御に関連するキーボード、マウス、ジョイスティック、光学、またはトラックボールの信号入力を生成するように構成され得る。特に、特定の実施形態では、入力ユニット403は、タッチセンサ面および別の入力デバイスを含み得る。タッチスクリーンまたはタッチパネルとも称され得るタッチセンサ面は、(指またはスタイラスのような任意の適切なオブジェクトまたはアクセサリを使用することによって、タッチセンサ面上または近傍のユーザの動作のような)タッチセンサ面上または近傍のユーザのタッチ動作を収集し、あらかじめ設定されたプログラムに従って、対応する接続装置を駆動させ得る。オプションで、タッチセンサ面は、2つのパーツ、すなわち、タッチ検出装置およびタッチコントローラを含み得る。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ動作によって生成された信号を検出し、信号をタッチコントローラへ転送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報をタッチポイント座標へ変換し、タッチポイント座標をプロセッサ408へ送信する。さらに、タッチコントローラは、プロセッサ408から送信されたコマンドを受信し、実行し得る。それに加えて、タッチセンサ面は、抵抗性、容量性、赤外線、または表面音波タイプのタッチセンサ面であり得る。タッチセンサ面に加えて、入力ユニット403はさらに、別の入力デバイスを含み得る。特に、別の入力装置132は、限定されないが、物理的なキーボード、(音量制御キーまたはスイッチキーのような)ファンクションキー、トラックボール、マウス、およびジョイスティックのうちの1つまたは複数を含み得る。
ディスプレイユニット404は、ユーザによって入力された情報またはユーザのために提供された情報、および、モバイル端末の様々なグラフィックユーザインターフェースを表示するように構成され得る。グラフィックユーザインターフェースは、グラフ、テキスト、アイコン、ビデオ、またはこれらの任意の組合せによって形成され得る。ディスプレイユニット404は、ディスプレイパネルを含み得る。オプションで、ディスプレイパネルは、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)等を使用することによって構成され得る。さらに、タッチセンサ面が、ディスプレイパネルをカバーし得る。タッチセンサ面上または近傍におけるタッチ動作を検出した後、タッチセンサ面は、タッチイベントのタイプを決定するために、タッチ動作をプロセッサ408へ転送する。その後、プロセッサ408は、タッチイベントのタイプに従って、ディスプレイパネル上に対応するビジュアル出力を提供する。図4では、タッチセンサ面およびディスプレイパネルは、入力および出力機能を実施するために、2つの個別のパーツとして使用されているが、いくつかの実施形態では、タッチセンサ面およびディスプレイパネルは、入力および出力機能を実施するために統合され得る。
モバイル端末はさらに、光学センサ、動きセンサ、および他のセンサのような少なくとも1つのセンサ405を含み得る。特に、光学センサは、周辺光センサおよび近接センサを含み得る。周辺光センサは、周辺光の光度に従って、ディスプレイパネルの輝度を調節し得る。モバイル端末が耳へ移動された場合、近接センサは、ディスプレイパネルおよび/またはバックライトをスイッチオフし得る。動きセンサの1つのタイプとして、重力加速度センサは、様々な方向(一般に、3軸)における加速度の大きさを検出し得、静止している場合、重力の大きさおよび方向を検出し得、モバイル電話の姿勢を認識するアプリケーション(たとえば、横方向と縦方向との切替、関連するゲーム、および磁力計姿勢較正)、振動認識に関連する(万歩計（登録商標）およびノックのような)機能等へ適用され得る。ジャイロスコープ、気圧計、湿度計、温度計、および赤外線センサのように、モバイル端末において構成され得る他のセンサは、本明細書ではさらに説明されない。
オーディオ回路406、拡声器、およびマイクロホンは、ユーザとモバイル端末との間のオーディオインターフェースを提供し得る。オーディオ回路406は、受信したオーディオデータを電気信号へ変換し、電気信号を拡声器へ送信し得る。拡声器は、出力のために電気信号を音響信号へ変換する。一方、マイクロホンは、収集した音響信号を電気信号へ変換する。オーディオ回路406は、電気信号を受信し、電気信号をオーディオデータへ変換し、処理のためにオーディオデータをプロセッサ408へ出力する。その後、プロセッサ408は、RF回路401を使用することによって、オーディオデータを、たとえば、別のモバイル端末へ送信するか、または、さらなる処理のために、オーディオデータを、メモリ402へ出力する。オーディオ回路406はさらに、周辺のイヤホンとモバイル端末との間の通信を提供するために、イヤプラグジャックを含み得る。
WiFiは、短距離ワイヤレス通信送信技術である。モバイル端末は、WiFiモジュール407を使用することによって、ユーザが、電子メールを受信および送信すること、ウェブページをブラウズすること、ストリーミングメディアへアクセスすること等を助け得、ユーザのためのワイヤレスブロードバンドインターネットアクセスを提供する。図4は、WiFiモジュール407を示すが、WiFiモジュール407は、モバイル端末のための必須の構成要素ではなく、必要とされる場合、本開示の本質の範囲が変更されない限り、WiFiモジュール407は省略され得ることが理解され得る。
プロセッサ408は、モバイル端末のコントロールセンタであり、様々なインターフェースおよびラインを使用することによって、モバイル電話の様々なパーツへ接続される。メモリ402に記憶されたソフトウェアプログラムおよび/またはモジュールを実行または実施することによって、および、メモリ402に記憶されたデータを起動することによって、プロセッサ408は、モバイル端末の様々な機能およびデータ処理を実行し、したがって、モバイル電話における全体的なモニタリングを実行する。オプションで、プロセッサ408は、1つまたは複数の処理コアを含み得る。好適には、プロセッサ408は、アプリケーションプロセッサとモデムとを統合し得る。アプリケーションプロセッサは主に、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラム等を処理する。モデムは主に、ワイヤレス通信を処理する。前述したモデムは、プロセッサ408へ統合されないこともあり得ることが理解され得る。
モバイル端末はさらに、電力を構成要素へ供給するための(バッテリのような)電源409を含む。好適には、電源は、電源管理システムを使用することによって、プロセッサ408へ論理的に接続され得、したがって、電源システムを使用することによって、充電、放電、および電力消費管理のような機能を実施する。電源409はさらに、1つまたは複数の直流または交流電源、再充電システム、電源障害検出回路、電源コンバータまたはインバータ、電源状態インジケータ、および他の任意の構成要素を含み得る。
図に示されていないが、モバイル端末はさらに、カメラ、Bluetooth（登録商標）モジュール等を含み得る。これらは本明細書でさらに説明されない。特に、この実施形態では、モバイル端末におけるプロセッサ408は、以下の命令に従って、1つまたは複数のアプリケーションプログラムの処理に対応する実行可能ファイルを、メモリ402へロードし得、プロセッサ408は、以下を含む様々な機能を実施するために、メモリ402に記憶されたアプリケーションプログラムを実行する。
多数の解像度を有するビデオストリームのビデオソース情報を獲得するステップ。ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生するステップ。再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、再生されるビデオを、再生のために、より低い解像度のビデオストリームへ切り替えるステップ。
ビデオソース情報は、解像度情報、および解像度に対応するビデオストリームのリンクアドレスのような情報を含む。
「ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生する」ステップは特に、以下を含み得る。
プレーヤを生成するステップ。ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択するステップ。ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得するステップ。その後、ビデオを再生するために、ビデオデータに従ってプレーヤのデコーダを生成するステップ。
「再生されるビデオを、再生のために、より低い解像度を有するビデオストリームへ切り替える」ステップは特に、以下を含み得る。
プレーヤリソースおよびデコーダをリリースするステップ。ビデオソース情報に従って、より低い解像度を有するビデオストリームを、ターゲットビデオストリームとして選択するステップ。ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得する動作を実行することへ戻るステップ。
オプションで、より低い解像度を有するビデオが獲得され得ることを保証し、実行される手順の有効性に悪影響を与えることを回避するために、プレーヤリソースおよびデコーダをリリースする前に、より低い解像度を有するビデオストリームが存在するか否かがさらに判定され得、存在すると判定されると、プレーヤリソースおよびデコーダをリリースする動作が実行される。
より低い解像度を有するビデオストリームが存在するか否かを判定するための多数の手法、たとえば、ビデオソース情報に従って、より低い解像度を有するビデオストリームが存在するか否かを判定するステップ、または、m3u8インデックスファイルがダウンロードされるのであれば、m3u8インデックスファイルに、1つのレベルのためのより低いネストされたビデオストリームが存在するか否かを判定するステップが存在し得る。
前述した特定の動作について、前述した実施形態を参照されたい。詳細は本明細書では再度説明されない。
この実施形態のモバイル端末は、多数の解像度を有するビデオストリームのビデオソース情報を獲得し、ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、ターゲットビデオストリームを再生し、再生処理中に、ネットワークエラーまたはデコードエラーが発生した場合、現在の再生状況に従って、ビデオ解像度を自動的に調節するという目的を達成するために、再生されるビデオを、再生のために、より低い解像度のビデオストリームへ切り替え、これによって、ライブビデオの再生が、現在の再生環境における最高のステータスに達することができるようになり、したがって、ライブビデオの再生品質を大幅に向上させることが上記から知られ得る。
当業者であれば、前述した実施形態のステップのすべてまたはいくつかは、ハードウェアを使用することによって実施され得るか、または、関連するハードウェアへ指示するプログラムによって実施され得ることを理解し得る。プログラムは、コンピュータ可読記憶媒体に記憶され得る。記憶媒体は、読取専用メモリ(ROM, Read Only Memory)、ランダムアクセスメモリ(RAM, Random Access Memory)、磁気ディスク、光ディスク等であり得る。
本発明の実施形態において提供されるビデオストリームのデータを処理するための方法、装置、およびシステムが、上記に詳細に説明された。本発明の原理および実施は、本明細書において特定の例によって説明される。本発明の実施形態に関する説明は単に、本発明の方法およびコアのアイデアを理解することを助けるために提供される。それに加えて、当業者であれば、本発明のアイデアに従って、特定の実施およびアプリケーション範囲の観点から、本発明に対する変形および修正を行い得る。したがって、明細書の内容は、本発明の限定として解釈されないこととする。
301 情報獲得ユニット
302 再生ユニット
303 切替ユニット
401 無線周波数回路
402 メモリ
403 入力ユニット
404 ディスプレイユニット
405 センサ
406 オーディオ回路
407 WiFiモジュール
408 プロセッサ
409 電源

Claims (13)

  1. ビデオストリームデータを処理するための方法であって、
    多数の解像度を有するビデオストリームのビデオソース情報を、端末によって獲得するステップと、
    前記ビデオソース情報に従って、最高の解像度を有するビデオストリームを、前記端末によって、ターゲットビデオストリームとして選択し、前記ターゲットビデオストリームを再生するステップと、
    再生処理中に、デコードエラーが発生した場合、前記端末によって、より低い解像度のビデオストリームへ切り替えるステップと、
    前記端末によって、前記より低い解像度のビデオストリームを再生するステップとを備え、
    前記ビデオソース情報が、解像度情報、および前記解像度に対応するビデオストリームのリンクアドレスを備えているのであれば、前記ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、前記ターゲットビデオストリームを再生するステップは、
    プレーヤを生成し、前記ビデオソース情報に従って、前記最高の解像度を有する前記ビデオストリームを、前記ターゲットビデオストリームとして選択するステップと、
    前記ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得するステップと、
    前記対応するビデオデータに従って、前記プレーヤのデコーダを生成するステップとを備える、方法。
  2. 再生のために、より低い解像度のビデオストリームへ切り替える前記ステップは、
    プレーヤリソースおよび前記デコーダをリリースするステップと、
    前記ビデオソース情報に従って、前記より低い解像度を有する前記ビデオストリームを、前記ターゲットビデオストリームとして選択するステップと、
    前記ターゲットビデオストリームの前記リンクアドレスに従って、前記対応するビデオデータを獲得する前記ステップへ戻るステップとを備える、請求項1に記載の方法。
  3. プレーヤリソースおよび前記デコーダをリリースするステップは、
    より低い解像度を有するビデオストリームが存在するか否かを判定するステップと、
    前記より低い解像度を有する前記ビデオストリームが存在するのであれば、前記プレーヤリソースおよび前記デコーダをリリースするステップ、または、
    前記より低い解像度を有するビデオストリームが存在しないのであれば、エラープロンプトを送信するステップを備える、請求項2に記載の方法。
  4. 前記ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得する前記ステップは、
    前記ターゲットビデオストリームの前記リンクアドレスに従って、対応するm3u8インデックスファイルをダウンロードするステップと、
    前記m3u8インデックスファイルに従って、前記対応するビデオデータを獲得するステップとを備える、請求項1に記載の方法。
  5. ビデオストリームデータを処理するための装置であって、
    多数の解像度を有するビデオストリームのビデオソース情報を獲得するように構成された情報獲得ユニットと、
    前記ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、前記ターゲットビデオストリームを再生するように構成された処理ユニットと、
    再生処理中に、デコードエラーが発生した場合、より低い解像度のビデオストリームへ切り替え、前記より低い解像度のビデオストリームを表示するように構成された切替ユニットとを備え、
    前記ビデオソース情報は、解像度情報、および前記解像度に対応するビデオストリームのリンクアドレスを備え、前記処理ユニットは、生成サブユニット、獲得サブユニット、および再生サブユニットを備え、
    前記生成サブユニットは、プレーヤを生成し、前記ビデオソース情報に従って、前記最高の解像度を有する前記ビデオストリームを、前記ターゲットビデオストリームとして選択するように構成され、
    前記獲得サブユニットは、前記ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得するように構成され、
    前記再生サブユニットは、前記対応するビデオデータに従って、前記プレーヤのデコーダを生成するように構成された、装置。
  6. 前記切替ユニットは特に、プレーヤリソースおよび前記デコーダをリリースし、前記より低い解像度を有する前記ビデオストリームを選択し、前記ターゲットビデオストリームの前記リンクアドレスに従って、前記対応するビデオデータを獲得する動作を実行するように、前記獲得サブユニットをトリガするように構成された、請求項5に記載の装置。
  7. 前記切替ユニットはさらに、より低い解像度を有するビデオストリームが存在するか否かを判定し、前記より低い解像度を有する前記ビデオストリームが存在するのであれば、プレーヤリソースおよび前記デコーダをリリースする前記動作を実行し、または、前記より低い解像度を有するビデオストリームが存在しないのであれば、エラープロンプトを送信するように構成された、請求項6に記載の装置。
  8. 前記獲得サブユニットは特に、前記ターゲットビデオストリームの前記リンクアドレスに従って、対応するm3u8インデックスファイルをダウンロードし、前記m3u8インデックスファイルに従って、対応するビデオデータを獲得するように構成された、請求項5に記載の装置。
  9. 請求項5によるビデオストリームのデータを処理するための装置を備えた、ビデオストリームのデータを処理するためのシステム。
  10. ビデオストリームデータを処理するための装置のコンピュータによって実行されるコンピュータプログラムであって、
    多数の解像度を有するビデオストリームのビデオソース情報を獲得するステップと、
    前記ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、前記ターゲットビデオストリームを再生するステップと、
    再生処理中に、デコードエラーが発生した場合、再生のために、より低い解像度のビデオストリームへ切り替え、前記より低い解像度のビデオストリームを再生するステップと、を行うために、プロセッサによって実行可能な命令を記憶した、コンピュータ可読記憶媒体であって、
    前記ビデオソース情報が、解像度情報、および前記解像度に対応するビデオストリームのリンクアドレスを備えているのであれば、前記ビデオソース情報に従って、最高の解像度を有するビデオストリームを、ターゲットビデオストリームとして選択し、前記ターゲットビデオストリームを再生するステップは、
    プレーヤを生成し、前記ビデオソース情報に従って、前記最高の解像度を有する前記ビデオストリームを、前記ターゲットビデオストリームとして選択するステップと、
    前記ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得するステップと、
    前記対応するビデオデータに従って、前記プレーヤのデコーダを生成するステップと、を備える、
    コンピュータプログラム。
  11. 再生のために、より低い解像度のビデオストリームへ切り替える前記ステップは、
    プレーヤリソースおよび前記デコーダをリリースするステップと、
    前記ビデオソース情報に従って、前記より低い解像度を有する前記ビデオストリームを、前記ターゲットビデオストリームとして選択するステップと、
    前記ターゲットビデオストリームの前記リンクアドレスに従って、前記対応するビデオデータを獲得する前記ステップへ戻るステップとを備える、請求項10に記載のコンピュータプログラム。
  12. プレーヤリソースおよび前記デコーダをリリースするステップはさらに、
    より低い解像度を有するビデオストリームが存在するか否かを判定するステップと、
    前記より低い解像度を有する前記ビデオストリームが存在するのであれば、前記プレーヤリソースおよび前記デコーダをリリースするステップ、または
    前記より低い解像度を有するビデオストリームが存在しないのであれば、エラープロンプトを送信するステップを備える、請求項11に記載のコンピュータプログラム。
  13. 前記ターゲットビデオストリームのリンクアドレスに従って、対応するビデオデータを獲得する前記ステップは、
    前記ターゲットビデオストリームの前記リンクアドレスに従って、対応するm3u8インデックスファイルをダウンロードするステップと、
    前記m3u8インデックスファイルに従って、前記対応するビデオデータを獲得するステップとを備える、請求項12に記載のコンピュータプログラム。
JP2017550581A 2015-04-15 2016-03-29 ビデオストリームのデータを処理するための方法、装置、およびシステム Active JP6877808B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510176628.1 2015-04-15
CN201510176628.1A CN106162316A (zh) 2015-04-15 2015-04-15 一种视频流的数据处理方法、装置和系统
PCT/CN2016/077717 WO2016165556A1 (zh) 2015-04-15 2016-03-29 一种视频流的数据处理方法、装置和系统

Publications (2)

Publication Number Publication Date
JP2018512814A JP2018512814A (ja) 2018-05-17
JP6877808B2 true JP6877808B2 (ja) 2021-05-26

Family

ID=57125779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550581A Active JP6877808B2 (ja) 2015-04-15 2016-03-29 ビデオストリームのデータを処理するための方法、装置、およびシステム

Country Status (5)

Country Link
US (1) US20170302990A1 (ja)
JP (1) JP6877808B2 (ja)
KR (1) KR101954012B1 (ja)
CN (1) CN106162316A (ja)
WO (1) WO2016165556A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
CN108055554A (zh) * 2017-12-14 2018-05-18 深圳Tcl数字技术有限公司 视频播放方法、电视、服务器及计算机可读存储介质
CN110572712B (zh) * 2018-06-05 2021-11-02 杭州海康威视数字技术股份有限公司 一种解码方法和装置
WO2020061731A1 (zh) * 2018-09-25 2020-04-02 深圳市欢太科技有限公司 资源处理方法、电子设备和计算机可读存储介质
CN109688465B (zh) 2018-11-27 2020-12-29 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备
CN109996116B (zh) * 2019-03-27 2021-07-16 深圳创维－Rgb电子有限公司 提升视频分辨率的方法、终端及可读存储介质
CN112118487B (zh) * 2019-06-21 2022-01-28 腾讯科技（深圳）有限公司 一种视频播放控制方法、装置、设备、及介质
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
CN110290430A (zh) * 2019-07-31 2019-09-27 腾讯科技（深圳）有限公司 视频播放方法、装置、设备及存储介质
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN110753266A (zh) * 2019-10-23 2020-02-04 深圳市酷开网络科技有限公司 视频清晰度的调整方法、装置和存储介质
CN112995738A (zh) * 2019-12-13 2021-06-18 南京酷派软件技术有限公司 视频播放方法、装置、存储介质和电子设备
CN111866433B (zh) * 2020-07-31 2021-06-29 腾讯科技（深圳）有限公司 视频源切换方法、播放方法、装置、设备和存储介质
KR20220032938A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 전자 장치 및 그 동작 방법
CN112468874B (zh) * 2020-11-26 2023-01-10 北京天融信网络安全技术有限公司 一种视频播放方法、终端设备及系统
CN113422995B (zh) * 2021-02-04 2023-06-23 郑州大学 基于ai模型的视频处理方法、便携式电子装置
CN113038278B (zh) * 2021-03-22 2023-07-07 王昊 一种数据处理方法、设备及存储介质
CN113596585A (zh) * 2021-08-16 2021-11-02 杭州华橙软件技术有限公司 视频处理方法和装置、存储介质及电子设备
CN113891111B (zh) * 2021-09-29 2023-11-21 北京拙河科技有限公司 十亿像素视频的直播方法、装置、介质及设备
CN114071190B (zh) * 2021-11-16 2023-10-31 北京百度网讯科技有限公司 云应用视频流处理方法、相关装置及计算机程序产品
CN115209222B (zh) * 2022-06-15 2024-02-09 深圳市锐明技术股份有限公司 一种视频播放方法、装置、电子设备及可读存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631079B2 (ja) * 2000-01-27 2005-03-23 三洋電機株式会社 放送受信装置及びディジタル放送方法
JP4306747B2 (ja) * 2001-12-26 2009-08-05 株式会社日立製作所 映像処理装置及びテレビジョン受像機
KR100781512B1 (ko) * 2005-08-24 2007-12-03 삼성전자주식회사 임베디드 디바이스에서 재생 가능한 멀티미디어 파일을선별하여 재생하는 장치 및 방법
JP2007274445A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd デジタル放送受信端末
WO2008129649A1 (ja) * 2007-04-13 2008-10-30 Pioneer Corporation 受信装置、受信方法、受信プログラムおよびコンピュータに読み取り可能な記録媒体
WO2009032214A2 (en) * 2007-08-29 2009-03-12 The Regents Of The University Of California Network and device aware video scaling system, method, software, and device
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
US8578272B2 (en) * 2008-12-31 2013-11-05 Apple Inc. Real-time or near real-time streaming
KR20110059429A (ko) * 2009-11-27 2011-06-02 주식회사 아이티컨트롤 아이폰을 위한 분산 미디어 스트리밍 방법과 장치 및 그 시스템
CN102761736A (zh) * 2011-04-29 2012-10-31 腾讯科技（深圳）有限公司 视频解码方法和装置
US8856283B2 (en) * 2011-06-03 2014-10-07 Apple Inc. Playlists for real-time or near real-time streaming
CN102307302B (zh) * 2011-07-06 2014-07-30 杭州华三通信技术有限公司 一种保持视频图像连续性的方法和装置
EP2566172A1 (en) * 2011-09-02 2013-03-06 Thomson Licensing Method and apparatus for adaptive transcoding of multimedia stream
CN103051937A (zh) * 2011-10-12 2013-04-17 腾讯科技（深圳）有限公司 一种视频播控方法及装置
TWI516104B (zh) * 2012-09-04 2016-01-01 緯創資通股份有限公司 網路影片播放的方法及其電子裝置
CN103220585B (zh) * 2012-11-26 2016-04-20 佛山络威网络技术有限公司 一种支持QoS的网络视频传输方法
CN103812853A (zh) * 2013-07-05 2014-05-21 上海帕科软件科技有限公司 网络拥堵视频自适应系统
CN103517143A (zh) * 2013-08-29 2014-01-15 小米科技有限责任公司 网络视频的播放方法、装置及终端设备
CN103491427A (zh) * 2013-09-11 2014-01-01 天脉聚源(北京)传媒科技有限公司 一种视频的处理方法和装置
CN103763618A (zh) * 2013-12-27 2014-04-30 乐视网信息技术（北京）股份有限公司 一种清晰度切换方法及电子设备
CN104010232B (zh) * 2014-05-23 2017-12-12 惠州Tcl移动通信有限公司 一种智能播放在线视频的方法、系统、播放器及移动终端
US10021434B2 (en) * 2014-05-30 2018-07-10 Apple Inc. Movie package file format
US9503714B2 (en) * 2014-12-29 2016-11-22 Echostar Technologies L.L.C. Programming disruption diagnostics

Also Published As

Publication number Publication date
WO2016165556A1 (zh) 2016-10-20
JP2018512814A (ja) 2018-05-17
KR101954012B1 (ko) 2019-03-04
KR20170130512A (ko) 2017-11-28
CN106162316A (zh) 2016-11-23
US20170302990A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6877808B2 (ja) ビデオストリームのデータを処理するための方法、装置、およびシステム
CN106792120B (zh) 视频画面的显示方法、装置和终端
US10643666B2 (en) Video play method and device, and computer storage medium
CN106412681B (zh) 弹幕视频直播方法及装置
CN107360458B (zh) 播放控制方法、装置、存储介质及终端
JP7043562B2 (ja) インタラクティブ情報を獲得するための方法、端末、サーバ、およびシステム
CN103391473B (zh) 一种提供及获取音视频的方法和装置
US20150019694A1 (en) Method for Screen Sharing, Related Device, and Communications System
CN111866433B (zh) 视频源切换方法、播放方法、装置、设备和存储介质
US11202066B2 (en) Video data encoding and decoding method, device, and system, and storage medium
US9367125B2 (en) Terminal apparatus for shooting and distributing video data and video-data distribution method
US20150304701A1 (en) Play control method and device
CN110536175B (zh) 一种码率切换方法和装置
CN105828160A (zh) 视频播放方法及装置
CN104935955A (zh) 一种传输直播视频流的方法、装置和系统
US9781380B2 (en) Method, apparatus and terminal for playing multimedia content
WO2019076250A1 (zh) 推送消息的管理方法及相关产品
CN111741352A (zh) 一种投屏控制的方法、投屏播放的方法以及相关装置
CN109495769B (zh) 视频通信方法、终端、智能电视、服务器及存储介质
WO2015024466A1 (en) Remote control method and mobile terminal using same
CN107622234B (zh) 一种显示萌脸礼物的方法和装置
CN112732250A (zh) 界面处理方法、装置及存储介质
CN107623788B (zh) 应用启动速度的提高方法、装置及计算机可读存储介质
CN112203116A (zh) 一种视频生成方法、播放方法及相关设备
CN111372127B (zh) 一种数据传输方法和相关装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200227

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200227

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200306

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200309

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200612

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200622

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200629

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200914

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210301

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210329

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210422

R150 Certificate of patent or registration of utility model

Ref document number: 6877808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150