JP2023526934A - ビデオデータ処理方法、装置と電子機器 - Google Patents

ビデオデータ処理方法、装置と電子機器 Download PDF

Info

Publication number
JP2023526934A
JP2023526934A JP2022570710A JP2022570710A JP2023526934A JP 2023526934 A JP2023526934 A JP 2023526934A JP 2022570710 A JP2022570710 A JP 2022570710A JP 2022570710 A JP2022570710 A JP 2022570710A JP 2023526934 A JP2023526934 A JP 2023526934A
Authority
JP
Japan
Prior art keywords
data packet
packet
data
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022570710A
Other languages
English (en)
Inventor
江民 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of JP2023526934A publication Critical patent/JP2023526934A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本出願は、ビデオデータ処理方法、装置と電子機器を開示し、通信技術分野に属し、ビデオデータのパケットロスが深刻である時、ユーザのビデオ視聴体験への影響を解決することができる。この方法は、電子機器が、ターゲットビデオフレームを構成する第一のデータパケットを受信することと、この電子機器が、上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定することとを含み、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。本出願の実施例は、ビデオデータのデコーディングシナリオに適用される。【選択図】図2

Description

(関連出願の相互参照)
本出願は、2020年05月26日に中国で提出された中国特許出願番号202010457827.0の優先権を主張しており、同出願の内容のすべては、ここに参照として取り込まれる。
本出願は、通信技術分野に属し、具体的にビデオデータ処理方法、装置と電子機器に関する。
電子機器技術の発展に伴い、電子機器(例えば携帯電話、タブレットパソコンなど)の機能がますます多くなり、ユーザは、電子機器を用いてリアルタイムビデオ伝送(例えば、ビデオ通話、ビデオ生中継など)を行うことができる。送信端電子機器と受信端電子機器との間でリアルタイムビデオ伝送を行うプロセスにおいて、送信端は、受信端にビデオデータパケットを送信し、受信端は、ビデオデータパケットを受信した後に、ビデオデータパケットをデコーディングすることによって、受信端のディスプレイにビデオインタフェースが表示される。
関連技術では、ネットワーク環境と帯域幅リソースが不十分であるシナリオにおいて、受信端によって受信されたビデオデータパケットにパケットロス現象が発生するため、受信端は、ビデオデータパケットを受信した後に、一般的には強制デコーディング方式に従って受信されたビデオデータパケットを強制的にデコーディングする。
このように、ビデオデータパケットのパケットロスが深刻である時、ビデオデータ品質が比較的悪いため、それによって受信端のディスプレイに表示されるビデオに大面積のぼやけが現れ、ユーザのビデオ視聴体験に影響を与える。
本出願の実施例の目的は、ビデオデータのパケットロスが深刻である時、ユーザのビデオ視聴体験への影響を解決できるビデオデータ処理方法、装置と電子機器を提供することにある。
上記技術問題を解決するために、本出願は、以下のように実現される。
第一の態様によれば、本出願の実施例は、ビデオデータ処理方法を提供し、この方法は、電子機器が、ターゲットビデオフレームを構成する第一のデータパケットを受信することと、この電子機器が、上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定することとを含み、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
第二の態様によれば、本出願の実施例は、ビデオデータ処理装置を提供し、前記装置は、受信モジュールと実行モジュールとを含み、上記受信モジュールは、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、上記実行モジュールは、上記受信モジュールによって受信された上記ターゲットビデオフレームが破損フレームであると決定される場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定するために用いられ、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
第三の態様によれば、本出願の実施例は、電子機器を提供し、この電子機器は、プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。
第四の態様によれば、本出願の実施例は、可読記憶媒体を提供し、前記可読記憶媒体にはプログラム又は命令が記憶され、前記プログラム又は命令がプロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。
第五の態様によれば、本出願の実施例は、チップを提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、第一の態様に記載の方法を実現するために用いられる。
本出願の実施例では、電子機器が第一のデータパケットを受信した後に、この第一のデータパケットによって構成されるターゲットビデオフレームが破損フレームであると判定する場合に、第二のデータパケットが、電子機器が第一のデータパケットを受信する前の所定時間帯内に受信されたデータパケットであり、且つデータパケットのパケットロス率が、現在のネットワーク環境の品質を示すことができるため、電子機器は、直接にこの第二のデータパケットのパケットロス率に基づいて、第一のデータパケットをデコーディングするかどうかを決定することができ、即ち電子機器は、ターゲットビデオフレームが現在のネットワーク環境で最適なビデオ効果を提示することができるように、第二のデータパケットのパケットロスの状況に基づいて、ターゲットビデオフレームの処理方式を柔軟に調整することができ、それによってユーザのビデオ効果体験を向上させる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
本出願の実施例に関わる通信システムの一つの可能な構造概略図である。 本出願の実施例によるビデオデータ処理方法のフローチャート概略図のその一である。 本出願の実施例によるビデオデータ処理方法のフローチャート概略図のその二である。 本発明の実施例によるビデオデータ処理装置の構造概略図である。 本発明の実施例による電子機器の構造概略図である。
以下は、本出願の実施例における添付図面を結び付けながら、本出願の実施例における技術案を明瞭且つ完全に記述し、明らかに、記述された実施例は、本出願の一部の実施例であり、すべての実施例ではない。本出願における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本出願の保護範囲に属する。
本出願の明細書と特許請求の範囲における用語である「第一の」、「第二の」などは、類似している対象を区別するものであり、特定の順序又は前後手順を記述するためのものではない。理解すべきこととして、このように使用されるデータは、適切な場合に交換可能であり、それにより本出願の実施例は、ここで図示又は記述されたもの以外の順序で実施されることが可能である。なお、明細書及び請求項における「及び/又は」は、接続される対象の少なくともそのうちの一つを表し、キャラクタである「/」は、一般的には前後関連対象が「又は」の関係であることを表す。
以下は、本出願の実施例に出現された名詞について以下のような解釈を行う。
1、パケットロス率
パケットロス率とは、データ伝送プロセスにおいて、送信されたデータパケットに対して、紛失したデータパケットの数が占める割合をいう。
説明すべきこととして、パケットロスとは、一つのデータパケット全体の紛失を指し、このデータパケットの一部のデータ紛失ではない。
ここでは、上記ターゲットビデオフレームにおける第一のデータパケットを送信する前に、送信端電子機器は、データパケットに番号を事前識別しておく方式で、受信端電子機器がパケットロス現象の有無を検出することを容易にすることができる。例えば、送信端電子機器が受信端に10個のデータパケットを含む1フレームのデータを送信する時、送信前にこの上記10個のデータパケットに1-10の番号が順に付けられ、受信端電子機器は、上記1フレームのデータを受信した時、この1フレームのデータにおけるデータパケットに番号1、4、5、10の4つのデータパケットしかないことを検出した場合に、電子機器は、番号に基づいてこのフレームのデータにパケットロス現象が存在し、パケットロス率が(10-4)/10×100%=60%であると決定することができる。
2、データパケットとビデオフレーム
ビデオは、若干の静止画面から構成され、電子機器は、単位時間内に、高速、連続的に上記若干の静止画面(例えば、再生ビデオの1秒あたりのフレームレートは24フレーム/秒である)を再生し、最終的にビデオ画面を生成する。
上記ビデオ伝送のプロセスにおいて、このビデオにおけるビデオデータが比較的に多いため、電子機器は、一般的には一つの統一された通信プロトコル(例えば、TCP/IPプロトコル)を予め設定しておき、受信端と送信端は、いずれもこの通信プロトコルに基づいてデータ伝送を行う。具体的には、送信端は、通信プロトコルに基づいて、伝送しようとするビデオデータを若干のデータパケットに分け、その後、上記若干のデータパケットをグルーピングしてパッケージングし、各組のデータパケットを一つのビデオフレームとしてパッケージングし、各ビデオフレームにX個のデータパケットが含まれ、伝送を行い、デコーディングプロセスにおいて、電子機器は、データパケットをビデオフレームの伝送順序に従って順にデコーディングし、最終的に所定フレームレートに従って受信端でビデオを再生する。
以下では、図面を結び付けながら、具体的な実施例及びその応用シナリオによって、本出願の実施例によるビデオデータ処理方法を詳細に説明する。
図1は、本出願の実施例によるビデオデータ処理案に使用される通信システム概略図である。この通信システムは、少なくとも二つの電子機器a(図には2台のみが示されている)とサーバbとを含み、ここで、
上記少なくとも二つの電子機器がリアルタイムビデオ通話を行うプロセスにおいて、送信端は、リアルタイムビデオデータをパッケージングし、ビデオデータパケットを得て、そして受信端にこのビデオデータパケットを送信し、受信端は、ビデオデータパケットを受信した後に、ビデオデータパケットをデコーディングすることによって、受信端のディスプレイ上にビデオインタフェースが表示される。
説明すべきこととして、本出願の実施例によるビデオデータ処理方法は、受信端に適用される。
本出願の実施例によるビデオデータ処理方法は、ビデオ通話シナリオ又は生中継シナリオに適用することができ、以下は、ビデオ通話シナリオを例にして説明する。
関連技術では、ビデオ通話のプロセスにおいて、ネットワーク環境が比較的悪いと、電子機器が受信したビデオデータパケットにパケットロス現象が発生し、電子機器は、一般的には所定処理ポリシーに従って処理する。
ここで、上記所定処理ポリシーは、一般的には以下のような二つを含む。
第一の処理ポリシー:強制デコーディング方式であって、即ち電子機器は、受信されたビデオデータパケットにパケットロス現象が存在することを検出した場合に、受信されたビデオデータパケットを強制的にデコーディングして再生する。このように、電子機器が受信したビデオデータパケットのパケットロスが深刻である時、電子機器のディスプレイに大面積のぼやけが現れ、ユーザの通話効果と使用体験に深刻な影響を与える。
第二の処理ポリシー:非デコーディング方式であって、即ち電子機器は、受信されたビデオデータパケットにパケットロス現象が存在することを検出した場合に、受信されたビデオデータパケットを廃棄し、このビデオデータパケットをデコーディングせず、この時、電子機器のディスプレイ画面には、引っかかり現象が発生する。このように、電子機器が受信したビデオデータパケットのパケットロスが深刻である時、電子機器に頻繁な引っかかり現象が発生し、それによってユーザの通話品質と体験が著しく低下する。
本出願の実施例では、電子機器は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、電子機器は第二のデータパケットのパケットロス率に基づいて、電子機器が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的に電子機器のディスプレイで再生されるビデオは、電子機器が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
図2に示すように、本出願の実施例は、ビデオデータ処理方法を提供し、この方法は、ステップ201とステップ202とを含む。
ステップ201:ビデオデータ処理装置は、ターゲットビデオフレームを構成する第一のデータパケットを受信する。
本出願の実施例では、上記第一のデータパケットには、複数のデータパケットが含まれてもよい。
本出願の実施例では、上記ターゲットビデオフレームは、一つのビデオフレームであってもよく、複数のビデオフレームであってもよく、本出願の実施例は、これを限定しない。
例示的には、ビデオデータ処理装置は、第一のデータパケットを受信する時、第一のデータパケットの終了データパケットを受信したかどうかを検出することによって、この第一のデータパケットの受信が完了しているかどうかを判定することができる。
ステップ202:ビデオデータ処理装置は、上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定する。
本出願の実施例では、上記破損フレームは、パケットロス現象が存在するターゲットビデオフレームである。
本出願の実施例では、ビデオデータ処理装置は、第二のデータパケットのパケットロス率を計算する前に、まずターゲットビデオフレームが破損フレームであるかどうかを決定する必要があり、ターゲットビデオフレームが破損フレームではなく、即ちビデオデータ処理装置がこのターゲットデータパケットにおけるすべてのデータパケットを受信した場合に、ビデオデータ処理装置は、その後の第二のデータパケットのパケットロス率を計算し、さらに処理ポリシーを決定するステップを行う必要がなく、直接にこのターゲットビデオフレームをデコーディングしてもよい。
選択的に、本出願の実施例では、上記パケットロス率は、パケットロス数と第一の数との比である。ここで、上記パケットロス数は、第二の数と上記第一の数との差であり、上記第一の数は、送信端が送信した上記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、上記ターゲット数は、上記第二のデータパケットのデータパケット数である。
選択的に、本出願の実施例では、ビデオデータ処理装置は、第二のデータパケットのパケットロス率に基づいて、第一のデータパケットに対して異なる処理ポリシー(例えば、デコーディング又は廃棄)を実行してもよい。具体的には、上記ターゲットビデオフレームが破損フレームである場合に、ビデオデータ処理装置は、第二のデータパケットのパケットロス率を取得し、この第二のデータパケットのパケットロス率に基づいて上記第一の処理ポリシー(即ち強制デコーディング方式)と上記第二の処理ポリシー(即ち非デコーディング方式)から一つを選択して実行してもよい。
本出願の実施例では、上記第二のデータパケットは、上記ビデオデータ処理装置が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
選択的に、本出願の実施例では、上記所定時間帯の下限は、予め定義されたものであってもよく、ビデオデータ処理装置が履歴ネットワーク環境に基づいて決定したものであってもよく、本出願の実施例は、これを限定しない。
例示的には、上記所定時間帯の下限と第一のデータパケットの終了データパケットの受信時刻との間隔は、所定間隔であってもよい。ここで、上記所定間隔は、所定時間間隔であってもよく、所定データフレーム数の間隔であってもよい。
説明すべきこととして、上記所定間隔は、予め定義されたものであってもよく、電子機器がデータパケットの受信の履歴状況によって決定したものであってもよい。さらに、上記所定時間帯の下限と第一のデータパケットの終了データパケットの受信時刻との間の間隔が所定最大間隔を超えた時、第二のデータパケットのパケットロス率は、現在のネットワーク環境の優劣を正確に反映することができず、さらに上記第一のデータパケットの処理ポリシーを正確に決定することができないため、上記所定間隔は、この所定最大間隔よりも小さい値となる。
一例では、上記第二のデータパケットは、電子機器が上記第一のデータパケットを受信する前の数個前のデータパケットであってもよく、上記第二のデータパケットは、ターゲットビデオフレームよりも1フレーム前又は数フレーム前のビデオフレームのデータパケットであってもよい。即ち、上記所定間隔が0である時、上記第二のデータパケットは、第一のデータパケットの隣接データパケットであってもよい。
一例では、第二のデータパケットと第一のデータパケットとの間のデータパケットは、一つ又は若干のデータフレームを構成することができ、このデータフレームは、完全なデータフレームであってもよく、破損フレームであってもよい。理解できるように、第二のデータパケットと第一のデータパケットとの間のデータフレームが少ないほど、電子機器が第二のデータパケットのパケットロス率によって決定される処理ポリシーに基づいて第一のデータパケットを処理した後に、ディスプレイにおける再生効果が良くなる。
一例では、上記第二のデータパケットは、第一のデータパケットを含んでもよく、即ち第二のデータパケットに対応するビデオフレームには、上記ターゲットビデオフレームが含まれる。例えば、フレームレートが24フレーム/秒であるビデオを例にして、所定時間帯が2秒であり、xフレーム目のビデオフレームが破損フレームであれば、電子機器がこのxフレーム目のビデオフレームに対応するデータパケットの処理ポリシーを決定する時、xフレーム目のビデオフレーム及びxフレーム目のビデオフレームの前の48フレームにおけるすべてのデータパケットのパケットロス率の状況に基づいて、xフレーム目のビデオフレームに対応するデータパケットの処理ポリシーを決定する。
このように、ビデオデータ処理装置によって選択された第二のデータパケットが第二のデータパケットに近いほど、現在のネットワーク環境状態を反映することができ、さらに最終的に決定される処理ポリシーの正確度が高くなる。
選択的に、本出願の実施例では、上記所定時間帯の時間長は、予め定義されたものであってもよく、ビデオデータ処理装置が履歴ネットワーク環境に基づいて決定したものであってもよく、本出願の実施例は、これを限定しない。
一例では、ビデオデータ処理装置がビデオのリアルタイム伝送を行う前に、ビデオデータ処理装置は、複数の時間帯を設定してもよく、そして、ビデオのリアルタイム伝送プロセスにおいて、ビデオデータ処理装置は、第一のデータパケットのパケットロスを検出した場合に、上記複数の時間帯から一つの時間帯を所定時間帯として選択し、そして、この所定時間帯に基づいて第二のデータパケットを決定してもよい。
さらに、上記複数の時間帯のうちの各時間帯は、一種の伝送シナリオに対応し、各種のシナリオに対応する影響要因が異なる。ここで、上記の影響要因は、伝送ネットワーク品質、ハードウェアパラメータ、実際シナリオ環境などの少なくとも一つを含む。
このように、ビデオデータ処理装置は、現在の伝送シナリオに最も適合する一種の所定時間帯を選択して、最終的に第一のデータパケットの処理ポリシーを決定することができ、それによって最終的に得られる処理ポリシーは、現在の伝送シナリオにおけるビデオ再生の効果が最も高い処理ポリシーとなる。
選択的に、本出願の実施例では、ビデオデータ処理装置が位置するビデオのリアルタイム伝送シナリオの変化速度が、ビデオ伝送速度に比べて、比較的に遅いため、ビデオデータ処理装置は、ターゲットビデオフレームに近いビデオフレームのパケットロス率に基づいて、ターゲットビデオフレームが位置するビデオのリアルタイム伝送シナリオの伝送環境を決定することにより、ターゲットビデオフレームに対応する第一のデータパケットの処理ポリシーを決定することができる。言い換えれば、上記所定時間帯は、ビデオデータ処理装置が第一のデータパケットの処理ポリシーを決定する時に必要なバランス時間帯であると考えられる。
例示的には、上記所定時間帯は、ターゲットビデオフレームが伝送プロセスにおいて受ける影響要因に関連してもよい。ここで、上記影響要因は、伝送ネットワーク品質、ハードウェアパラメータ、実際シナリオ環境などを含んでもよく、上記パケットロス率は、電子機器が上記影響要因によるターゲットビデオフレーム伝送プロセスへの影響の大きさを評価する重要なパラメータであり、パケットロス率と上記影響の大きさは比例関係にあり、即ち、パケットロス率が大きいほど、影響が大きくなり、パケットロス率が小さいほど、影響が小さくなる。
例を挙げて説明すると、ビデオデータ処理装置は、3つの異なるネットワーク速度で、パケットロス率を決定するための時間帯を常時調整し、そしてビデオデータ処理装置は、ターゲットビデオフレームのディスプレイにおけるぼやけの割合を自動的に記録し、ある時間帯を超えた時とある時間帯未満の時、ぼやけの割合がいずれも所定ぼやけ面積よりも高い場合に、この時間帯がこのネットワーク速度での所定時間帯であると考えられる。
例1では、ユーザが携帯電話を用いてビデオ通話を行うことを例にして、ビデオ通話のプロセスにおいて、受信端携帯電話がビデオフレーム1(即ち上記ターゲットビデオフレーム)のデータパケット1(即ち上記第一のデータパケット)を受信した後に、ネットワーク伝送速度が遅く、ネットワーク品質が悪いため、受信端携帯電話は、受信されたビデオフレーム1にパケットロス現象が発生し、破損フレームであることを確認する。この時、携帯電話によってこの前に予め設定された検出時間3秒(即ち上記所定時間帯)に基づいて、受信端携帯電話は、ビデオフレーム1及びビデオフレーム1よりも3秒前のデータパケットのパケットロス率(第二のデータパケットのパケットロス率)を計算し、このパケットロス率に基づいて上記データパケット1の処理ポリシーを決定する。
本出願の実施例によるビデオデータ処理方法では、ビデオデータ処理装置は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、ビデオデータ処理装置は第二のデータパケットのパケットロス率に基づいて、ビデオデータ処理装置が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的にビデオデータ処理装置ディスプレイで再生されるビデオは、ビデオデータ処理装置が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
選択的に、本出願の実施例では、図3に示すように、上記ステップ202において、本出願の実施例によるビデオデータ処理方法は、以下のようなステップA1又はステップA2を含んでもよい。
ステップA1:第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、ビデオデータ処理装置は、上記第一のデータパケットを廃棄する。
ステップA2:上記パケットロス率が上記予め設定される閾値以下である場合に、ビデオデータ処理装置は、上記第一のデータパケットをデコーディングする。
例示的には、上記予め設定される閾値は、ビデオデータ処理装置が異なるパケットロス率と最終的にディスプレイに表示される表示状況に基づいて予め得られたリファレンス閾値である。ここで、上記予め設定される閾値は、ビデオデータ処理装置によって予め設定されたものであってもよく、ユーザがカスタマイズして設定したものであってもよい。
一例では、ビデオデータ処理装置には、複数のパケットロス率閾値が予め記憶されており、各パケットロス率閾値は、一つのぼやけの割合に対応する。このように、ビデオデータ処理装置は、第二のデータパケットのパケットロス率を取得した後に、ユーザがビデオを視聴する時に許容可能なぼやけの割合と合わせて、上記複数のパケットロス率閾値から、ユーザがビデオを視聴する時に許容可能なぼやけの割合に適合するパケットロス率閾値を、上記予め設定される閾値として選択する。
例示的には、第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい時、第一のデータパケットのパケットロス率が大きすぎると考えられ、この時、ビデオデータ処理装置は、第一のデータパケットを解析した後に、ディスプレイ全体の面積に対して、ディスプレイに表示されるぼやけの面積が占める割合が大きすぎ、画面全体が乱雑になりすぎ、ユーザの画面視聴の効果に深刻な影響を与える。そのため、ビデオデータ処理装置は、上記第一のデータパケットを解析せず、即ち上記第一のデータパケットを廃棄する。
さらに、上述した、上記第一のデータパケットを廃棄することとは、上記第一のデータパケットを放棄し、第一のデータパケットにおけるデータをデコーディングしないことをいう。
さらに、ビデオデータ処理装置が上記第一のデータパケットに対するデコーディングを廃棄した後に、ビデオデータ処理装置のディスプレイには、ターゲットビデオフレームよりも1フレーム前のデコーディングされたビデオが継続的に表示される。実際の応用では、ディスプレイには、画面引っかかりが表示される。
例示的には、第二のデータパケットのパケットロス率が予め設定される閾値以下である時、第一のデータパケットのパケットロス率が予め設定される範囲内であると考えられ、この時、ビデオデータ処理装置は、第一のデータパケットを解析した後に、データパケットのパケットロスが発生するが、ディスプレイ全体の面積に対して、最終的にディスプレイに表示されるぼやけの面積が占める割合がユーザの許容可能な範囲内であり、この第一のデータパケットにおける大部分のデータは完全に受信可能であり、ユーザの視聴体験に影響を与えないため、ビデオデータ処理装置は、上記第一のデータパケットをデコーディングする。
さらに、ビデオデータ処理装置が上記第一のデータパケットをデコーディングした後に、ビデオデータ処理装置のディスプレイには、ターゲットビデオフレームのデコーディングされたビデオが表示される。実際の応用では、ディスプレイには画面の中に軽微なぼやけがあるように表示される。
例2:上記例1を結び付けて、ビデオフレーム1及びビデオフレーム1よりも3秒前のデータパケットのパケットロス率が予め設定される閾値よりも小さい時、携帯電話は、ビデオフレーム1をデコーディングせず、この時、携帯電話のディスプレイには、ビデオフレーム1の前のビデオフレームの発生した静止画面が表示され、ビデオフレーム1及びビデオフレーム1よりも3秒前のデータパケットのパケットロス率が予め設定される閾値よりも大きい時、携帯電話は、ビデオフレーム1をデコーディングし、この時、ディスプレイには、ビデオフレーム1をデコーディングした後の画面1が表示され、この画面1には、軽微なぼやけがあるが、ユーザが主なコンテンツを視聴することに影響を与えない。
このように、ビデオデータ処理装置は、現在の伝送環境を結び付けてユーザの視聴習慣に合うビデオ表示方式を決定することができ、パケットロス率が大きすぎる時、ビデオデータ処理装置は、第一のデータパケットに対するデコーディングを放棄し、引っかかり画面の形式でビデオインタフェースを表示し、それによってビデオインタフェースのクリーンさが維持され、ユーザの視聴の快適さを向上させ、一方、パケットロス率が比較的小さい時、ビデオデータ処理装置は、この第一のデータパケットを表示し、それによってユーザの視聴の快適さに影響を与えることなく、ユーザがビデオリアルタイムインタフェースを継続的に視聴することを最大限確保することができる。
選択的に、本出願の実施例では、上記ステップ202において、本出願の実施例によるビデオデータ処理方法は、以下のようなステップB1とステップB2、又は、ステップB1とステップB3を含んでもよい。
ステップB1:ビデオデータ処理装置は、上記第二のデータパケットのパケットロス率に基づいて、上記ターゲットビデオフレームの破損程度を決定する。
ステップB2:上記破損程度が第一の条件を満たす場合に、ビデオデータ処理装置は、上記第一のデータパケットをデコーディングする。
ステップB3:上記破損程度が第二の条件を満たす場合に、ビデオデータ処理装置は、上記第一のデータパケットを廃棄する。
例示的には、上記ターゲットビデオフレームの破損程度は、上記ビデオデータ処理装置が第一のデータパケットをデコーディングするか又はデコーディングしない時の判断根拠である。
例示的には、上記ターゲットビデオフレームの破損程度は、第二のデータパケットのパケットロス率の大きさに比例し、即ち、上記ターゲットビデオフレームの破損程度は、第二のデータパケットのパケットロス率に基づいて定量化されることができる。第二のデータパケットのパケットロス率が大きいほど、ビデオデータ処理装置は、上記ターゲットビデオフレームの破損程度が深刻であると判定し、逆に、第二のデータパケットのパケットロス率が小さいほど、ビデオデータ処理装置は、上記ターゲットビデオフレームの破損程度が軽微であると判定する。
例示的には、上記第一の条件は、ターゲットビデオフレームの破損程度が所定破損程度以下であることを含み、上記第二の条件は、ターゲットビデオフレームの破損程度が所定破損程度よりも大きいことを含む。
このように、ビデオデータ処理装置は、第二のデータパケットのパケットロス率に基づいて第一のデータパケットの破損程度を判定し、さらに第一のデータパケットの処理ポリシーを決定することができ、それによってユーザは、最適なリアルタイムビデオ伝送の視聴効果を得ることができる。
選択的に、本出願の実施例では、上記第一のデータパケットは、N個のデータパケットを含む。その上では、上記ステップ201の後に、本出願の実施例によるビデオデータ処理方法は、以下のようなステップCをさらに含んでもよい。
ステップC:電子機器が上記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、上記ターゲットビデオフレームが破損フレームであると決定する。
ここで、上記ターゲットデータパケットは、上記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である。
例示的には、ビデオデータ処理装置は、上記第一のデータパケットの処理ポリシーを決定する前に、ターゲットビデオフレームの受信が完了しているかどうかを先行して判断する必要があり、受信完了と確認すれば、さらに上記ターゲットビデオフレームが破損フレームであると決定する。
一例では、送信端は、ビデオデータを送信する前に、第一のデータパケットをパッケージングする時、すでに第一のデータパケットにおけるすべてのデータのために異なる番号識別子を記述したとともに、終了データパケットと開始データパケットを明記している。ここで、上記番号識別子は、連続した番号識別子である。そのため、ビデオデータ処理装置は、終了データパケットを識別するだけでこのターゲットデータフレームの受信が完了したことを確認できるとともに、ビデオデータ処理装置は、上記番号識別子の番号が連続しているかどうかによって、パケットロス現象の有無を検出することを容易にすることができ、即ち、このターゲットデータフレームが破損フレームであるかどうかを検出する。
説明すべきこととして、いくつかのターゲットビデオフレームには、終了データパケットの紛失現象が存在する可能性があるが、各フレームデータに対していずれも終了データパケットと開始データパケットをパッケージングするため、終了データパケットが紛失しても、電子機器は、次のフレームの開始データパケットを識別することによって異なるビデオフレームにおけるデータパケットを分割することもできる。電子機器は、終了データパケットと開始データパケットとも紛失した場合に、ビデオデータ処理装置が異なるビデオフレームデータを区別し、識別することができるまで、一つ前のビデオフレームを処理する処理ポリシーに従ってこのターゲットビデオフレームを処理する。
選択的に、本出願の実施例では、ビデオのリアルタイム伝送プロセスにおいて、ターゲットビデオフレームの前に伝送されたデータパケットの総伝送時間が上記予め設定される時間帯よりも小さい時、ビデオデータ処理装置は、予め設定される処理ポリシーを用いてターゲットビデオフレームをデコーディングする。
例示的には、所定時間帯がSである時、ビデオデータ処理装置がビデオ伝送を開始する開始時刻T0から現在のビデオフレームの終了データパケットの時刻T1までの時間帯がS以下である場合に、ビデオデータ処理装置は、予め設定される処理ポリシーに基づいてT0からT1までの時間帯内に受信したデータパケットを処理する。即ち、ビデオデータ処理装置は、T0からT2(ここで、T0からT2までの時間長をSとする)までの時間帯内に受信したデータパケットの処理ポリシーを、強制デコーディング方式(即ち上記第一の処理ポリシー)又は非デコーディング方式(即ち上記第二の処理ポリシー)に設定することができる。
例示的には、上記予め設定される処理ポリシーは、ユーザがカスタマイズしたものであってもよく、電子機器によって予め設定されるものであってもよく、本出願の実施例は、これを制限しない。
説明すべきこととして、本出願の実施例では、上記各方法の図面に示すビデオデータ処理方法は、いずれも本出願の実施例のうちの一つの図面と組み合わせる例示的説明である。具体的に実現される時、上記各方法の図面に示すビデオデータ処理方法は、上記実施例に示す他の組合せ可能ないずれかの図面と組み合わせて実現することもでき、ここでこれ以上説明しない。
説明すべきこととして、本出願の実施例によるビデオデータ処理方法では、実行本体は、ビデオデータ処理装置、又はこのビデオデータ処理装置におけるビデオデータ処理方法のロードを実行するための制御モジュールであってもよい。本出願の実施例では、ビデオデータ処理装置がビデオデータ処理方法のロードを実行することを例にして、本出願の実施例によるビデオデータ処理方法を説明する。
図4は、本出願の実施例によるビデオデータ処理装置を実現する可能な構造概略図であり、図4に示すように、ビデオデータ処理装置600は、受信モジュール601と実行モジュール602とを含み、ここで、上記受信モジュール601は、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、上記実行モジュール602は、上記受信モジュール601によって受信された上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定するために用いられ、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
選択的に、本出願の実施例では、上記実行モジュール602は、具体的に、上記受信モジュール601によって受信された上記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、上記第一のデータパケットを廃棄するために用いられ、具体的に、上記受信モジュール601によって受信された上記パケットロス率が上記予め設定される閾値以下である場合に、上記第一のデータパケットをデコーディングするためにも用いられる。
選択的に、本出願の実施例では、上記実行モジュール602は、具体的に、第二のデータパケットのパケットロス率に基づいて、上記ターゲットビデオフレームの破損程度を決定し、上記破損程度が第一の条件を満たす場合に、上記第一のデータパケットをデコーディングし、上記破損程度が第二の条件を満たす場合に、上記第一のデータパケットを廃棄するために用いられる。
選択的に、本出願の実施例では、上記第一のデータパケットは、N個のデータパケットを含み、上記実行モジュール602は、上記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、上記ターゲットビデオフレームが破損フレームであると決定するためにも用いられ、ここで、上記ターゲットデータパケットは、上記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である。
選択的に、本出願の実施例では、上記パケットロス率は、パケットロス数と第一の数との比であり、上記パケットロス数は、第二の数と上記第一の数との差であり、上記第一の数は、送信端が送信した上記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、上記ターゲット数は、上記第二のデータパケットのデータパケット数である。
本出願の実施例におけるビデオデータ処理装置は、装置であってもよく、端末における部品、集積回路、又はチップであってもよい。この装置は、モバイル電子機器であってもよく、非モバイル電子機器であってもよい。例示的には、モバイル電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載電子機器、ウェアラブルデバイス、ウルトラモバイルパーソナルコンピュータ(ultra-mobile personal computer、UMPC)、ネットブック又はパーソナルデジタルアシスタント(personal digital assistant、PDA)などであってもよく、非モバイル電子機器は、サーバ、ネットワーク接続型ストレージ(Network Attached Storage、NAS)、パーソナルコンピュータ(personal computer、PC)、テレビ(television、TV)、預入支払機又はセルフサービス機などであってもよく、本出願の実施例に対して具体的に限定しない。
本出願の実施例におけるビデオデータ処理装置は、オペレーティングシステムを有する装置であってもよい。このオペレーティングシステムは、アンドロイド(登録商標)(Android(登録商標))オペレーティングシステムであってもよく、iOSオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本出願の実施例は具体的に限定しない。
本出願の実施例によるビデオデータ処理装置は、図2から図3の方法の実施例によるビデオデータ処理装置によって実現される各プロセスを実現することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。
本出願の実施例によるビデオデータ処理装置は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、ビデオデータ処理装置は第二のデータパケットのパケットロス率に基づいて、ビデオデータ処理装置が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的にビデオデータ処理装置のディスプレイで再生されるビデオは、ビデオデータ処理装置が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
選択的に、本出願の実施例は、電子機器をさらに提供し、プロセッサ1010と、メモリ1009と、メモリ1009に記憶され、且つ前記プロセッサ1010上で運行できるプログラム又は命令とを含み、このプログラム又は命令がプロセッサ1010によって実行される時、上記ビデオデータ処理方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。
注意すべきこととして、本出願の実施例における電子機器は、以上に記載のモバイル電子機器と非モバイル電子機器を含む。
図5は、実現本出願の実施例の電子機器のハードウェア構造概略図である。
この電子機器1000は、無線周波数ユニット1001、ネットワークモジュール1002、オーディオ出力ユニット1003、入力ユニット1004、センサ1005、表示ユニット1006、ユーザ入力ユニット1007、インターフェースユニット1008、メモリ1009、及びプロセッサ1010などの部品を含むが、それらに限らない。
当業者であれば理解できるように、電子機器1000は、各部品に給電する電源(例えば、電池)をさらに含んでもよく、電源は、電源管理システムを介してプロセッサ1010にロジック的に接続されてもよく、それにより電源管理システムによって充放電管理及び消費電力管理などの機能を実現することができる。図5に示す電子機器構造は、電子機器に対する限定を構成せず、電子機器は、図示された部材の数よりも多く又は少ない部品、又はいくつかの部品の組み合わせ、又は異なる部品の配置を含んでもよく、ここでこれ以上説明しない。
ここで、無線周波数ユニット1001は、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、上記プロセッサ1010は、上記無線周波数ユニット1001によって受信された上記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、上記第一のデータパケットをデコーディングするかどうかを決定するためにも用いられ、ここで、上記第二のデータパケットは、上記電子機器が上記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである。
選択的に、上記プロセッサ1010は、具体的に、上記プロセッサ1010によって受信された上記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、上記第一のデータパケットを廃棄するために用いられ、具体的に、上記プロセッサ1010によって受信された上記パケットロス率が上記予め設定される閾値以下である場合に、上記第一のデータパケットをデコーディングするためにも用いられる。
選択的に、上記プロセッサ1010は、具体的に、第二のデータパケットのパケットロス率に基づいて、上記ターゲットビデオフレームの破損程度を決定するために用いられ、上記プロセッサ1010によって決定された上記破損程度が第一の条件を満たす場合には、具体的に、上記第一のデータパケットをデコーディングするために用いられ、上記プロセッサ1010によって決定された上記破損程度が第二の条件を満たす場合に、上記第一のデータパケットを廃棄するために用いられる。
選択的に、上記第一のデータパケットは、N個のデータパケットを含み、上記プロセッサ1010は、上記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号を決定する場合に、上記ターゲットビデオフレームが破損フレームであると決定するためにも用いられ、ここで、上記ターゲットデータパケットは、上記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である。
選択的に、上記パケットロス率は、パケットロス数と第一の数との比であり、上記パケットロス数は、第二の数と上記第一の数との差であり、上記第一の数は、送信端が送信した上記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、上記ターゲット数は、上記第二のデータパケットのデータパケット数である。
本出願の実施例による電子機器では、電子機器は、第一のデータパケットを受信した後に、第一のデータパケットにおけるターゲットビデオフレームが破損フレームであるかどうかを判定し、ターゲットデータパケットが破損フレームである時、電子機器は第二のデータパケットのパケットロス率に基づいて、ビデオデータ処理装置が位置するネットワーク環境に適合する処理方式を選択して第一のデータパケットを処理し、即ち、第一のデータパケットをデコーディングするか又は第一のデータパケットをデコーディングしない。このように、最終的にビデオデータ処理装置のディスプレイで再生されるビデオは、電子機器が、受信された第一のデータパケットが軽微なパケットロス現象を備える時にも正常なビデオ通話が依然として可能であることを確保できるとともに、第一のデータパケットのパケットロス現象があまりにも深刻である時、表示効果があまりにも悪く、ユーザに不快な体験を与えることを回避することもできる。例えば、データパケットのパケットロスが比較的多い時、破損フレームを解析せず、電子機器のディスプレイに大面積のぼやけが現れることを回避し、逆に、データパケットのパケットロスが比較的少ない時、破損フレームをデコーディングして再生することで、電子機器のディスプレイに局所的なぼやけだけが現れるようにする。
本出願の実施例は、可読記憶媒体をさらに提供し、前記可読記憶媒体にはプログラム又は命令が記憶されており、このプログラム又は命令がプロセッサにより実行される時、上記ビデオデータ処理方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。
ここで、前記プロセッサは、上記実施例に記載の電子機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ可読記憶媒体、例えばコンピュータリードオンリーメモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクなどを含む。
本出願の実施例は、チップをさらに提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、上記ビデオデータ処理方法の実施例の各プロセスを実現するために用いられ、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。
理解すべきこととして、本出願の実施例に言及されたチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップなどと呼ばれてもよい。
説明すべきこととして、本明細書では、用語である「含む」、「包含」又はその他の任意の変形は、非排他的な「含む」を意図的にカバーするものであり、それによって一連の要素を含むプロセス、方法、物品又は装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有の要素も含む。それ以上の制限がない場合に、「……を一つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品又は装置には他の同じ要素も存在することが排除されるものではない。なお、指摘すべきこととして、本出願の実施の形態における方法と装置の範囲は、図示又は討論された順序で機能を実行することに限らず、関わる機能に基づいて基本的に同時である方式又は逆の順序で機能を実行することを含んでもよく、例えば記述されたものとは異なる手順で、記述された方法を実行することができるとともに、様々なステップを追加、省略又は組み合わせることができる。また、いくつかの例を参照して記述された特徴は、他の例で組み合わせられることができる。
以上の実施の形態の記述によって、当業者であればはっきりと分かるように、上記実施例の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームの形態によって実現されてもよい。無論、ハードウェアによって実現されてもよいが、多くの場合、前者は、より好適な実施の形態である。このような理解を踏まえて、本出願の技術案は、実質には又は従来の技術に寄与した部分がソフトウェア製品の形式によって具現化されてもよい。このコンピュータソフトウェア製品は、一つの記憶媒体(例えばROM/RAM、磁気ディスク、光ディスク)に記憶され、一台の端末(携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク機器などであってもよい)に本出願の各実施例に記載の方法を実行させるための若干の命令を含む。
以上は、図面を結び付けながら、本出願の実施例を記述したが、本出願は、上記の具体的な実施の形態に限らない。上記の具体的な実施の形態は、例示的なものに過ぎず、制限性のあるものではない。当業者は、本出願の示唆で、本出願の趣旨と請求項が保護する範囲から逸脱しない限り、多くの形式を行うこともでき、それらはいずれも本出願の保護範囲に属する。

Claims (15)

  1. 電子機器に用いられるビデオデータ処理方法であって、
    ターゲットビデオフレームを構成する第一のデータパケットを受信することと、
    前記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定することとを含み、
    ここで、前記第二のデータパケットは、前記電子機器が前記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである、ビデオデータ処理方法。
  2. 前記の、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定することは、
    前記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、前記第一のデータパケットを廃棄することと、
    前記第二のデータパケットの前記パケットロス率が前記予め設定される閾値以下である場合に、前記第一のデータパケットをデコーディングすることとを含む、請求項1に記載の方法。
  3. 前記の、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定することは、
    前記第二のデータパケットのパケットロス率に基づいて、前記ターゲットビデオフレームの破損程度を決定することと、
    前記破損程度が第一の条件を満たす場合に、前記第一のデータパケットをデコーディングすることと、
    前記破損程度が第二の条件を満たす場合に、前記第一のデータパケットを廃棄することとを含む、請求項1に記載の方法。
  4. 前記第一のデータパケットは、N個のデータパケットを含み、
    前記の、第一のデータパケットを受信した後に、前記方法は、
    前記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、前記ターゲットビデオフレームが破損フレームであると決定することをさらに含み、
    ここで、前記ターゲットデータパケットは、前記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である、請求項1に記載の方法。
  5. 前記パケットロス率は、パケットロス数と第一の数との比であり、前記パケットロス数は、第二の数と前記第一の数との差であり、前記第一の数は、送信端が送信した前記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、前記ターゲット数は、前記第二のデータパケットのデータパケット数である、請求項1から4のいずれか1項に記載の方法。
  6. ビデオデータ処理装置であって、受信モジュールと実行モジュールとを含み、
    前記受信モジュールは、ターゲットビデオフレームを構成する第一のデータパケットを受信するために用いられ、
    前記実行モジュールは、前記受信モジュールによって受信された前記ターゲットビデオフレームが破損フレームである場合に、第二のデータパケットのパケットロス率に基づいて、前記第一のデータパケットをデコーディングするかどうかを決定するために用いられ、
    ここで、前記第二のデータパケットは、前記電子機器が前記第一のデータパケットを受信する前の所定時間帯内に受信したデータパケットである、ビデオデータ処理装置。
  7. 前記実行モジュールは、具体的に、
    前記受信モジュールによって受信された前記第二のデータパケットのパケットロス率が予め設定される閾値よりも大きい場合に、前記第一のデータパケットを廃棄し、
    前記受信モジュールによって受信された前記第二のデータパケットの前記パケットロス率が前記予め設定される閾値以下である場合に、前記第一のデータパケットをデコーディングするために用いられる、請求項6に記載の装置。
  8. 前記実行モジュールは、具体的に、
    第二のデータパケットのパケットロス率に基づいて、前記ターゲットビデオフレームの破損程度を決定し、
    前記決定モジュールによって決定された前記破損程度が第一の条件を満たす場合に、前記第一のデータパケットをデコーディングし、
    前記決定モジュールによって決定された前記破損程度が第二の条件を満たす場合に、前記第一のデータパケットを廃棄するために用いられる、請求項6に記載の装置。
  9. 前記第一のデータパケットは、N個のデータパケットを含み、
    前記実行モジュールは、前記N個のデータパケットのうちのターゲットデータパケットのデータパケット番号が不連続であると決定される場合に、前記ターゲットビデオフレームが破損フレームであると決定するためにも用いられ、
    ここで、前記ターゲットデータパケットは、前記ターゲットビデオフレームの終了データパケットであり、Nは、正の整数である、請求項6に記載の装置。
  10. 前記パケットロス率は、パケットロス数と第一の数との比であり、前記パケットロス数は、第二の数と前記第一の数との差であり、前記第一の数は、送信端が送信した前記第二のデータパケットに対応する第一のビデオフレームのデータパケット数であり、前記ターゲット数は、前記第二のデータパケットのデータパケット数である、請求項6から9のいずれか1項に記載の装置。
  11. 電子機器であって、プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、請求項1から5のいずれか1項に記載のビデオデータ処理方法のステップを実現する、ことを特徴とする電子機器。
  12. 可読記憶媒体であって、前記可読記憶媒体にはプログラム又は命令が記憶され、前記プログラム又は命令がプロセッサにより実行される時、請求項1から5のいずれか1項に記載のビデオデータ処理方法のステップを実現する、ことを特徴とする可読記憶媒体。
  13. コンピュータプログラム製品であって、前記プログラム製品が不揮発性記憶媒体に記憶され、前記プログラム製品が少なくとも一つのプロセッサによって実行されることにより請求項1から5のいずれか1項に記載のビデオデータ処理方法を実現する、ことを特徴とするコンピュータプログラム製品。
  14. 電子機器であって、前記電子機器は、請求項1から5のいずれか1項に記載のビデオデータ処理方法を実行するように構成される、ことを特徴とする電子機器。
  15. チップであって、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、請求項1から5のいずれか1項に記載のビデオデータ処理方法を実現するために用いられる、ことを特徴とするチップ。
JP2022570710A 2020-05-26 2021-05-25 ビデオデータ処理方法、装置と電子機器 Pending JP2023526934A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010457827.0A CN111601178B (zh) 2020-05-26 2020-05-26 视频数据处理方法、装置和电子设备
CN202010457827.0 2020-05-26
PCT/CN2021/095884 WO2021238940A1 (zh) 2020-05-26 2021-05-25 视频数据处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
JP2023526934A true JP2023526934A (ja) 2023-06-26

Family

ID=72186274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022570710A Pending JP2023526934A (ja) 2020-05-26 2021-05-25 ビデオデータ処理方法、装置と電子機器

Country Status (6)

Country Link
US (1) US20230066899A1 (ja)
EP (1) EP4161013A4 (ja)
JP (1) JP2023526934A (ja)
KR (1) KR20230008122A (ja)
CN (1) CN111601178B (ja)
WO (1) WO2021238940A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601178B (zh) * 2020-05-26 2022-09-23 维沃移动通信有限公司 视频数据处理方法、装置和电子设备
CN112911365B (zh) * 2021-02-02 2024-03-29 卡莱特云科技股份有限公司 一种音频同步播放方法及装置
CN114422866B (zh) * 2022-01-17 2023-07-25 深圳Tcl新技术有限公司 一种视频处理方法、装置、电子设备和存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155311B (zh) * 2006-09-27 2012-09-05 中兴通讯股份有限公司 一种视频通信中的视频码流错误检测和处理方法
DE602007007587D1 (de) * 2007-05-25 2010-08-19 Psytechnics Ltd Videoqualitätsbestimmung
EP2019522B1 (en) * 2007-07-23 2018-08-15 Polycom, Inc. Apparatus and method for lost packet recovery with congestion avoidance
JP5141197B2 (ja) * 2007-11-13 2013-02-13 富士通株式会社 符号化装置
CN102056004B (zh) * 2009-11-03 2012-10-03 华为技术有限公司 一种视频质量评估方法、设备及系统
US8885050B2 (en) * 2011-02-11 2014-11-11 Dialogic (Us) Inc. Video quality monitoring
US8896652B2 (en) * 2011-02-28 2014-11-25 Soryn Technologies Llc System and method for real-time video communications
CN103269260A (zh) * 2013-06-03 2013-08-28 腾讯科技(深圳)有限公司 数据传输方法、数据接收端、数据发送端和数据传输系统
CN104703053A (zh) * 2015-03-11 2015-06-10 青岛海尔智能家电科技有限公司 一种视频传输过程中丢包处理方法、装置和系统
CN106303693B (zh) * 2015-05-25 2019-02-05 视联动力信息技术股份有限公司 一种视频数据解码的方法及装置
CN105897845A (zh) * 2015-12-15 2016-08-24 乐视云计算有限公司 Cdn服务节点的调度方法及服务器
CN105916059A (zh) * 2016-04-29 2016-08-31 北京奇虎科技有限公司 视频传输处理方法及装置
CN108184166A (zh) * 2017-12-26 2018-06-19 桂林远望智能通信科技有限公司 一种视频质量分析方法及系统
CN108881775B (zh) * 2018-05-30 2021-05-28 维沃移动通信有限公司 一种视频通信方法和移动终端
CN109246486B (zh) * 2018-10-16 2021-01-22 视联动力信息技术股份有限公司 一种组帧方法和装置
CN109743628A (zh) * 2019-01-10 2019-05-10 四川长虹电器股份有限公司 一种ip机顶盒促进视频实时播放流畅的方法
CN110138608B (zh) * 2019-05-09 2022-08-30 网宿科技股份有限公司 网络业务服务质量管理的方法及服务器
CN111010617B (zh) * 2019-11-05 2021-07-09 网宿科技股份有限公司 一种传输质量检测方法、系统及设备
CN110996035B (zh) * 2019-12-17 2021-11-02 紫光展讯通信(惠州)有限公司 信息发送方法及装置
CN111128203B (zh) * 2020-02-27 2022-10-04 北京达佳互联信息技术有限公司 音频数据编码、解码方法、装置、电子设备及存储介质
CN111601178B (zh) * 2020-05-26 2022-09-23 维沃移动通信有限公司 视频数据处理方法、装置和电子设备

Also Published As

Publication number Publication date
EP4161013A4 (en) 2023-09-06
EP4161013A1 (en) 2023-04-05
KR20230008122A (ko) 2023-01-13
CN111601178B (zh) 2022-09-23
CN111601178A (zh) 2020-08-28
US20230066899A1 (en) 2023-03-02
WO2021238940A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
JP2023526934A (ja) ビデオデータ処理方法、装置と電子機器
CN106993234A (zh) 弹幕显示方法和装置
EP3657787A1 (en) Video quality assessment method and apparatus
CN113992967B (zh) 一种投屏数据传输方法、装置、电子设备及存储介质
US20170134461A1 (en) Method and device for adjusting definition of a video adaptively
US20110201328A1 (en) Content-based handover method and system
US20050021827A1 (en) Data processing device, data processing system, data processing method, data processing program and recording medium storing the program
CN109862377B (zh) 视频传输方法、装置、系统及计算机可读存储介质
CN112423074B (zh) 音视频同步处理方法、装置、电子设备及存储介质
CN109981482B (zh) 音频处理方法及装置
US20240107531A1 (en) Data network uplink scheduling method apparatus and electronic device
CN112866804B (zh) 一种投屏自适应方法、移动终端及可读存储介质
CN109309805B (zh) 一种视频会议的多窗口显示方法、装置、设备和系统
CN115002819B (zh) 网络质量评估方法及装置
CN115278319A (zh) 一种投屏数据传输方法、装置、电子设备和存储介质
CN106254810A (zh) 一种视频通话方法和装置
US11870831B2 (en) Method and apparatus for playing multimedia streaming data
CN112422370B (zh) 语音通话质量的确定方法和装置
CN112312370B (zh) 切换门限值处理方法、装置
CN114710804A (zh) 数据传输调节方法、装置、电子设备及可读存储介质
US8791981B2 (en) Bit rate control apparatus and method thereof
CN113727186B (zh) 一种实时视频通话的视频播放方法及系统
CN115225207B (zh) 数据传输方法及相关装置
CN108271071B (zh) 一种提高视频清晰度的方法及装置
CN117411990A (zh) 视频通话处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604