JP6483850B2

JP6483850B2 - データ処理方法および装置

Info

Publication number: JP6483850B2
Application number: JP2017550612A
Authority: JP
Inventors: ▲増▼才 ▲孫▼
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2015-03-27
Filing date: 2015-03-27
Publication date: 2019-03-13
Anticipated expiration: 2035-03-27
Also published as: EP3264284A4; WO2016154816A1; RU2662648C1; EP3264284A1; CN107004018B; CN107004018A; EP3264284B1; JP2018514133A

Description

本発明は、データ処理の分野に関し、特に、データ処理方法および装置に関する。

共有によるマルチ画面表示とは、表示バッファ内の画像フレームを第2の装置の第1の装置に同時に表示する技術をいう。第1の装置が画像フレームを共有する前に、画像フレームを符号化する必要がある。

第1の装置は、予め符号化品質を決定する。符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される復元度を示すために使用される。符号化品質と復元度とは正の相関がある。すなわち、符号化品質が高いほど符号化後のデータ量が多くなり、符号化された画像フレームをより高い復元度で符号化されていない画像フレームに復元することができる。第1の装置は、画像フレームの符号化品質および重要度に従って、画像フレームをIフレームデータまたはPフレームデータまたはBフレームデータに処理し、表示用の第2の装置と符号化された画像フレームを共有する。Iフレームデータは、画像フレーム内のキーフレームを符号化することによって得られる。Pフレームデータは、PフレームデータとIフレームデータとの差、またはPフレームデータの前のPフレームデータを符号化したものである。Bフレームデータは、BフレームデータとIフレームデータとの差、またはBフレームデータと、Bフレームデータより前のPフレームデータとの差およびBフレームデータとBフレームデータの後のPフレームデータとの差を符号化したものである。

画像フレームが動的表示シナリオで生成された画像フレームである場合、動的表示シナリオでは画像フレーム間の差は比較的大きい。この場合、符号化品質が高すぎると、符号化された画像フレームのデータ量が送信中に相対的に大きくなり、符号化された画像フレームを送信するのに要する時間が相対的に長くなる。その結果、共有による表示のリアルタイム性が低下する。

動的表示シナリオで生成される画像フレームの差が比較的大きく、符号化品質が高すぎる場合、共有による表示のリアルタイム性が低下するという問題を解決するために、本発明の実施形態はデータ処理方法および装置を提供する。技術的な解決策は次の通りである。

第1の態様によれば、データ処理方法が提供され、この方法は、
第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、ステップと、
現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第1の符号化品質に従って符号化するステップであって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、ステップと、
現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第2の符号化品質に従って符号化するステップであって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、ステップと、
表示用の第2の装置と符号化された現在の画像フレームを共有するステップとを含む。

第1の態様の第1の可能な実施方法では、表示用の第2の装置と符号化された現在の画像フレームを共有するステップの後、本方法は、
現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するステップであって、静止表示条件は、表示されている現在の画像フレームが変更されないままである、ステップと、
第1の装置による現在の画像フレームの表示が静止表示条件を満たす場合、第2の符号化品質に従って現在の画像フレームを再び符号化するステップと、
表示用の第2の装置と再び符号化された現在の画像フレームを共有するステップとを含む。

第1の態様の第1の可能な実施方法によれば、第1の態様の第2の可能な実施方法において、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するステップは、
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するステップ、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するステップを含む。

第1の態様または第1の態様の第1の可能な実施態様または第1の態様の第2の可能な実施態様に従って、第1の態様の第3の可能な実施態様において、第1の装置によって、画像フレーム内の現在の画像フレームが、動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップは、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するステップであって、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む、ステップ、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するステップであって、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む、ステップ、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される、ステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定するステップ、または、
画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップを含む。

第1の態様または第1の態様の第1の可能な実施方法または第1の態様の第2の可能な実施方法または第1の態様の第3の可能な実施方法に従って、第1の態様の第4の可能な実施方法では、第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップの前に、本方法は、
第2の装置の解像度を取得するステップと、
第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するステップとをさらに含む。

第1の態様または第1の態様の第1の可能な実施方法または第1の態様の第2の可能な実施方法または第1の態様の第3の可能な実施方法または第1の態様の第4の可能な実施方法に従って、第1の態様の第5の可能な実施方法では、方法は、
符号化された現在の画像フレームが送信されるネットワークの品質を取得するステップと、
ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するステップ、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するステップとを含み、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。

第1の態様の第6の可能な実施方法では、第2の符号化品質は可逆圧縮方式に対応し、表示用の第2の装置と符号化された現在の画像フレームを共有するステップは、
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用される、ステップと、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、ステップとを含む。

第2の態様によれば、データ処理装置が提供され、この装置は、
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュールであって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュールと、
現在の画像フレームが動的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュールであって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュールと、
現在の画像フレームが静的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュールであって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、第2の符号化モジュールと、
第1の符号化モジュールまたは第2の符号化モジュールによって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュールとを含む。

第2の態様の第1の可能な実施方法では、本装置は、
第1の共有モジュールが、表示用の第2の装置と符号化された現在の画像フレームを共有した後、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するように構成された表示検出モジュールであって、静止表示条件は、表示されている現在の画像フレームが変更されないままである、表示検出モジュールと、
第1の装置による現在の画像フレームの表示が静止表示条件を満たすと表示検出モジュールが検出した場合、第2の符号化品質に従って現在の画像フレームを再び符号化する第3の符号化モジュールと、
第3の符号化モジュールによって再び符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第2の共有モジュールとを含む。

第2の態様の第1の可能な実施方法によれば、第2の態様の第2の可能な実施方法において、表示検出モジュールは、具体的には、
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。

第2の態様または第2の態様の第1の可能な実施態様または第2の態様の第2の可能な実施態様に従って、第2の態様の第3の可能な実施態様において、画像検出モジュールは、具体的に、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。

第2の態様または第2の態様の第1の可能な実施方法または第2の態様の第2の可能な実施方法または第2の態様の第3の可能な実施方法に従って、第2の態様の第4の可能な実施方法では、本装置は、
画像フレーム処理モジュールであって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、第2の装置の解像度を取得して、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するように構成された画像フレーム処理モジュールをさらに含む。

第2の態様または第2の態様の第1の可能な実施方法または第2の態様の第2の可能な実施方法または第2の態様の第3の可能な実施方法または第2の態様の第4の可能な実施方法に従って、第2の態様の第5の可能な実施方法では、装置は、
符号化された現在の画像フレームが送信されるネットワークの品質を取得するように構成されたネットワーク品質取得モジュールと、
ネットワーク品質取得モジュールによって取得されたネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成されたパラメータ調整モジュールとを含み、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。

第2の態様の第6の可能な実施方法では、第2の符号化品質は可逆圧縮方式に対応し、第1の共有モジュールは、特に、
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。

第3の態様によれば、データ処理装置が提供され、ここで、装置は、バスと、バスに接続されたプロセッサ、メモリ、送信機および受信機を含み、メモリはいくつかの命令を記憶するように構成され、命令はプロセッサによって実行されるように構成され、
プロセッサは、第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオであり、
プロセッサは、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第1の符号化品質に従って符号化するようにさらに構成され、ここで、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用され、
プロセッサは、現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第2の符号化品質に従って符号化するようにさらに構成され、ここで、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高く、
送信機は、プロセッサによって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成される。

第3の態様の第1の可能な実施方法では、送信機が、表示用の第2の装置と符号化された現在の画像フレームを共有した後、
プロセッサは、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するようにさらに構成され、静止表示条件は、表示されている現在の画像フレームが変更されないままであり、
プロセッサは、第1の装置による現在の画像フレームの表示が静止表示条件を満たすと表示検出モジュールが検出した場合、第2の符号化品質に従って現在の画像フレームを再び符号化するようにさらに構成され、
送信機は、プロセッサによって再び符号化された現在の画像フレームを、表示用の第2の装置と共有するようにさらに構成される。

第3の態様の第1の可能な実施方法によれば、第3の態様の第2の可能な実施方法において、プロセッサは、具体的には、
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。

第3の態様または第3の態様の第1の可能な実施態様または第3の態様の第2の可能な実施態様に従って、第3の態様の第3の可能な実施態様において、プロセッサは、具体的に、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。

第3の態様または第3の態様の第1の可能な実施方法または第3の態様の第2の可能な実施方法または第3の態様の第3の可能な実施方法に従って、第3の態様の第4の可能な実施方法では、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、
プロセッサは、第2の装置の解像度を取得して、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するようにさらに構成される。

第3の態様または第3の態様の第1の可能な実施方法または第3の態様の第2の可能な実施方法または第3の態様の第3の可能な実施方法または第3の態様の第4の可能な実施方法に従って、第3の態様の第5の可能な実施方法では、
プロセッサは、符号化された現在の画像フレームが送信されるネットワークの品質を取得するようにさらに構成され、
プロセッサは、ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成され、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。

第3の態様の第6の可能な実施方法では、第2の符号化品質は可逆圧縮方式に対応し、送信機は、特に、
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。

本発明の実施形態で提供される技術的解決策は、以下の有益な効果を有する。

表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかが検出され、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームが、第1の符号化品質に従って符号化され、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用され、現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームが、第2の符号化品質に従って符号化され、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い。このように、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームは、第1の符号化品質を用いて符号化されてもよい。第1の符号化品質が示す第1の復元度は、第2の符号化品質が示す第2の復元度よりも低いため、符号化された現在の画像フレームのデータ量はより小さく、これにより、動的表示シナリオで生成された画像フレームの差が比較的大きく、符号化品質が示す復元度が高すぎる場合、共有による表示のリアルタイム性が低下するという問題を解決し、共有により表示のリアルタイム性を向上させる効果が得られる。

本発明の実施形態の技術的解決策をより明確に説明するために、実施形態を説明するために必要な添付図面を簡単に説明する。明らかに、以下の説明における添付の図面は、本発明のいくつかの実施形態を示しているだけであり、当業者は創造的な努力なしにこれらの添付図面から他の図面を得ることができる。

本発明の実施形態に係る、データ処理方法の方法フローチャートである。本発明の実施形態に係る、他のデータ処理方法の方法フローチャートである。本発明の実施形態に係る、データ処理装置の概略構成図である。本発明の実施形態に係る、他のデータ処理装置の概略構成図である。本発明の実施形態に係る、データ処理装置の概略構成図である。

本発明の目的、技術的解決方法、および利点をより明確にするために、添付の図面を参照して本発明の実施形態をさらに詳しく説明する。

図1を参照すると、図1は、本発明の一実施形態によるデータ処理方法の方法フローチャートである。データ処理方法は、以下を含んでもよい。

ステップ101：第1の装置は、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出し、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、画像フレームが設定時間内に変化しない表示シナリオである。

ステップ102：現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、第1の符号化品質に従って現在の画像フレームを符号化し、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される。

ステップ103：現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、第2の符号化品質に従って現在の画像フレームを符号化し、第2の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い。

ステップ104：表示用の第2の装置と符号化された現在の画像フレームを共有する。

要約すると、本発明のこの実施形態で提供されるデータ処理方法により、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかが検出され、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームが、第1の符号化品質に従って符号化され、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用され、現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームが、第2の符号化品質に従って符号化され、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い。このように、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームは、第1の符号化品質を用いて符号化されてもよい。第1の符号化品質が示す第1の復元度は、第2の符号化品質が示す第2の復元度よりも低いため、符号化された現在の画像フレームのデータ量はより小さく、これにより、動的表示シナリオで生成された画像フレームの差が比較的大きく、符号化品質が示す復元度が高すぎる場合、共有による表示のリアルタイム性が低下するという問題を解決し、共有により表示のリアルタイム性を向上させる効果が得られる。

図2を参照すると、図2は、本発明の一実施形態によるデータ処理方法の方法フローチャートである。データ処理方法は、以下のステップを含んでもよい。

ステップ201：第1の装置は、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出し、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、画像フレームが設定時間内に変化しない表示シナリオである。

表示バッファは、第1の装置によって現在表示されている画像フレームを格納するために使用されるバッファである。現在の画像フレームは、第1の装置によって現在表示されているファイルのスクリーンショットであってもよい。たとえば、ファイルは、テキスト、写真、ウェブページ、スライド、デスクトップ、ビデオ、またはゲームであってもよい。

一般に、表示バッファは3つの画像フレームをバッファリングし、表示バッファ内の画像フレームのバッファリング期間は、表示バッファのタイプおよびファイルのタイプに関連する。表示バッファの種類には、固定型とリフレッシュ型がある。その違いは以下の通りである。第1の装置が連続的に写真を表示する場合、固定型の表示バッファにバッファリングされた画像フレームは変わらず、すなわち第1の装置によって表示された画像フレームは表示バッファに連続的にバッファされる。しかし、リフレッシュ方式の表示バッファにバッファリングされた画像フレームは、同じ画像フレームに周期的にリフレッシュされ、すなわち、第1の装置によって表示された画像フレームは次の同じ画像フレームに周期的にリフレッシュされる。

理解を容易にするために、たとえばファイルがビデオであり、この実施形態の説明では、ビデオの25画像フレームが1秒で表示される。第1の装置が通常ビデオを再生するとき、各画像フレームが表示バッファ内に留まるバッファリング期間は25／60秒である。第1の装置がビデオを一時停止するとき、第1の装置が一時停止したときに表示される画像フレームが固定型の表示バッファに留まるバッファリング期間は一時停止期間に等しく、第1の装置が一時停止したときに表示される各画像フレームがリフレッシュタイプの表示バッファに留まるバッファリング期間は、25／60秒である。

動的表示シナリオは、画像フレームが設定時間内に動的に変化する表示シナリオであり、たとえば、設定時間内にテキストのページをめくり、設定時間内にスライドのページをスライドし、設定時間内にウェブページをリフレッシュし、設定時間内にビデオを再生し、設定時間内にゲーム画像をリフレッシュし、設定時間内にデスクトップアイコンをリフレッシュし、または、デスクトップボタンを設定時間内にリフレッシュする。静的表示シナリオは、画像フレームが設定時間内に変化しない、たとえば設定時間内に画像を表示する、または設定時間内にウェブページを表示する表示シナリオである。設定時間は、ユーザが設定した経験値であってもよいし、別の値であってもよい。これは、本実施形態では限定されない。

本実施形態では、第1の装置によって、画像フレーム内の現在の画像フレームが、動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップは、
1）現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するステップであって、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む、ステップ、または、
2）現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するステップであって、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む、ステップ、または、
3）現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される、ステップ、または、
4）現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップ、または、
5）現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップを含む。

第1の検出方法では、ユーザは、動的プログラムリストおよび静的プログラムリストを予め設定しておき、アプリケーションプログラムによって実現される機能に応じて対応するリストにアプリケーションプログラムを追加することができる。動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む。たとえば、プレーヤはビデオを再生するために使用され、ビデオ再生は動的表示シナリオであり、プレーヤは動的プログラムリストに追加されてもよい。別の例では、ゲームは動的表示シナリオであり、ゲームプログラムを動的プログラムリストに追加することができる。

この実施形態では、ユーザは、アプリケーションプログラムを手動で分類することによって動的プログラムリストおよび静的プログラムリストを取得することができる。また、動的プログラムリストおよび静的プログラムリストにそれぞれ対応するプログラムタイプを予め設定しておき、特定の種類のアプリケーションプログラムを対応するリストに自動的に追加してもよい。プログラムタイプは、開発者によって設定されてもよいし、アプリケーションストアによって設定されてもよいし、ユーザによって手動で設定されてもよい。

番組タイプは、テキストタイプ、画像タイプ、およびビデオタイプを含むことができる。リーダまたはテキストエディタ等のアプリケーションプログラムは、テキストタイプに属してもよく、画像ビューアや画像エディタ等のアプリケーションプログラムは、画像タイプに属してもよく、プレーヤまたはゲーム等のアプリケーションプログラムは、ビデオタイプに属してもよい。ビデオタイプが動的プログラムリストに対応すると仮定すると、プレーヤまたはゲームのようなアプリケーションプログラムが動的プログラムリストに自動的に追加されてもよい。

現在の画像フレームは、アプリケーションプログラムによって生成されるので、第1の装置は、現在の画像フレームを生成するアプリケーションプログラムを決定することができる。アプリケーションプログラムが動的プログラムリストに属する場合、第1の装置は、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定する。アプリケーションプログラムが静的プログラムリストに属する場合、第1の装置は、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定する。

任意選択的に、第1の装置は、現在の各画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出することができる。現在の各画像フレームを検出するためには、比較的多くの処理リソースを消費する必要がある。このため、第1の装置は、アプリケーションプログラムによって生成された画像フレームシーケンス内の画像フレームが、動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出することもできる。画像フレームが動的表示シナリオで生成された画像フレームである場合、第1の装置は、画像フレームシーケンス内の各画像フレームが動的表示シナリオで生成された画像フレームであると判定する。画像フレームが静的表示シナリオで生成された画像フレームである場合、第1の装置は、画像フレームシーケンス内の各画像フレームが静的表示シナリオで生成された画像フレームであると判定する。

第2の検出方法では、ユーザは、動的インターフェースリストまたは静的インターフェースリストを予め設定することができ、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む。たとえば、第1の装置のシステムがアニメーションを作成し、フォアグラウンドでアニメーションが表示されたときに呼び出される制御インターフェースを動的インターフェースリストに追加することができる。システムは、アニメーションの作成および終了を検出することができる。

現在の画像フレームが表示されているときに制御インターフェースを呼び出す必要があるため、第1の装置は、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出することができる。制御インターフェースプログラムが動的インターフェースに属する場合、第1の装置は、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定する。制御インターフェースが静的インターフェースリストに属する場合、第1の装置は、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定する。

第3の検出方法では、新たに符号化インターフェースをシステムに追加し、符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用される第1の符号化インターフェースと、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される第2の符号化インターフェースとを含む。

アプリケーションプログラムが現在の画像フレームを符号化するために符号化インターフェースを呼び出す場合、現在の画像フレームが、動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかは、アプリケーションプログラムによって呼び出される符号化インターフェースに従って決定されてもよい。具体的には、アプリケーションプログラムが第1の符号化インターフェースを呼び出して現在の画像フレームを符号化する場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定される。アプリケーションプログラムが第2の符号化インターフェースを呼び出して現在の画像フレームを符号化する場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定される。

第4の検出方法では、表示バッファ内の現画像フレームに含まれる全ての画像データと、現在の画像フレームに隣接する表示バッファ内の画像フレームとを取得することができる。全ての画像データが同一であるか否かが検出される。全ての画像データが異なる場合、現在の画像フレームは動的表示シナリオで生成された画像フレームであると判定される。全ての画像データが同じであれば、現在の画像フレームは静的表示シナリオで生成された画像フレームであると判定される。画像データは、画像フレーム内の各画素の階調値を数値で表現した後のセットである。

第1の装置は、現在の画像フレームと、現在の画像フレームに隣接する画像フレームとの全体的な比較を実行する。画像データに含まれるデータ量は比較的大きく、全ての画像データを比較する場合には比較的多くの処理リソースを消費する必要がある。したがって、画像フレームの特徴を抽出することができ、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを、取得された画像特徴に従って検出することができる。画像特徴のデータ量は比較的小さい。したがって、処理リソースを節約することができる。画像特徴は、画像フレームの画像データの一部であってもよいし、特定のアルゴリズムを用いて画像フレームに対して生成されたダイジェスト情報であってもよいし、他の情報であってもよい。この実施形態では、画像特徴は限定されない。

第5の検出方法では、特徴抽出のアルゴリズムを予め定めておいてもよい。現在の画像フレームに隣接する表示バッファ内の画像フレームを取得することができる。現在の画像フレームと隣接する画像フレームのそれぞれの特徴を抽出して、同じタイプの2つの画像特徴を取得することができる。2つの画像特徴が同じであるかどうかが検出されてもよい。2つの画像特徴が異なる場合、現在の画像フレームは動的表示シナリオで生成された画像フレームであると判定される。2つの画像特徴が同じである場合、現在の画像フレームは静的表示シナリオで生成された画像フレームであると判定される。

確かに、前述の5つの検出方法に加えて、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかは、別の方法を用いて検出することもできる。これは、本実施形態では限定されない。

なお、第1の装置は、動的表示シナリオおよび静的表示シナリオのオプションをユーザに提供することもできる。ユーザが動的表示シナリオのオプションを選択すると、第1の装置は、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定する。ユーザが静的表示シナリオのオプションを選択すると、第1の装置は、現在の画像フレームが静止表示シナリオで生成された画像フレームであると判定する。

この実施形態では、第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、本方法は、第2の装置の解像度を取得するステップと、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するステップとを含む。

具体的には、第1の装置への接続を確立した後、第2の装置は、その接続を使用することによって、第2の装置の解像度を第1の装置に送信することができる。あるいは、ユーザは、第1の装置内の第2の装置の解像度を設定することができる。本実施形態では、第2の装置の解像度を取得する方法は限定されない。

超解像処理は、非線形動的伸張アルゴリズムまたは超解像アルゴリズムを用いて行うことができる。処理のプロセスは既にかなり成熟しており、詳細はここでは説明しない。

第1の装置の処理能力が第2の装置の処理能力よりも強いと仮定すると、第1の装置は、第2の装置の代わりに現在の画像フレームに対して超解像処理を実行する。このようにして、現在の画像フレームに対する処理効率を向上させることができる。

ステップ202：現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、第1の符号化品質に従って現在の画像フレームを符号化し、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される。

動的表示シナリオでは、表示される画像フレームは比較的迅速に更新される。この場合、画像フレームがリアルタイムで表示されることが保証される必要がある。すなわち、第1の電子装置は、より悪い第1の符号化品質を用いて現在の画像フレームを符号化することができ、第1の符号化品質を用いて現在の画像フレームのデータ量を減少でき、これにより、現在の画像フレームを表示するリアルタイム性を向上させることができる。第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される。復元度とは、一般的に、復元後の画像フレームと復元前の画像フレームとの類似性を指す。

なお、この実施形態は、第3の符号化品質をさらに提供する。第3の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第3の復元度を示すために使用される。第2の復元度は第3の復元度よりも高く、第3の復元度は第1の復元度よりも高い。現在の画像フレームが、スライドを表示する、テキストのページをめくる、またはウェブページを更新する等のインタラクティブな動的表示シナリオにおける画像フレームである場合、現在の画像フレームは、第1の符号化品質に従って符号化されてもよい。現在の画像フレームが、ビデオまたはアニメーション等の動的表示シナリオにおける画像フレームである場合、現在の画像フレームは、第3の符号化品質に従って符号化されてもよい。

ステップ203：現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、第2の符号化品質に従って現在の画像フレームを符号化し、第2の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い。

静的表示シナリオでは、表示される画像フレームは変更されない。この場合、画像フレームの表示効果を確保する必要がある。すなわち、第1の電子装置は、より良い第2の符号化品質を使用することによって現在の画像フレームを符号化することができ、第2の符号化品質を用いて現在の画像フレームのデータ量を増加させることができ、現在の画像フレームの表示効果を向上させることができる。

ステップ204：表示用の第2の装置と符号化された現在の画像フレームを共有する。

第1の電子装置は、ステップ202またはステップ203で符号化された現在の画像フレームを第2の装置と共有する。第2の装置は、符号化された現在の画像フレームを復号して表示する。

本実施形態では、第2の符号化品質は可逆圧縮方式に対応し、表示用の第2の装置と符号化された現在の画像フレームを共有するステップは、
1）可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用される、ステップと、または、
2）不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、ステップとを含む。

一部の地域では、専用の送信技術を使用して可逆圧縮データを送信することはできない。したがって、可逆圧縮方式の使用範囲には限界がある。この問題を解決するために、この実施形態は、可逆圧縮データを送信するための2つの方法を提供する。これらの方法は、具体的には以下の通りである。

第1の送信方式では、不可逆圧縮データチャネルのみが存在する既存のシナリオにおいて、可逆圧縮データチャネルが新たに追加されてもよい。すなわち、相互に独立した非可逆圧縮データチャネルと可逆圧縮データチャネルとが設定される。不可逆圧縮データチャネルは、不可逆符号化プロトコルを使用して符号化によって得られた画像フレームを送信するために使用される。可逆圧縮データチャネルは、可逆符号化プロトコルを用いて符号化された可逆圧縮データを送信するために用いられる。

第2の送信方式では、可逆圧縮方式に対応する符号化プロトコルを設定して、第1の装置に可逆圧縮方式で符号化を指示してもよく、次いで、符号化プロトコルが不可逆符号化プロトコルに追加される。すなわち、不可逆圧縮方式で得られたIフレーム、Pフレーム、Bフレームに加えて、不可逆符号化プロトコルは可逆フレームをさらにサポートする。可逆フレームは、画像フレームを可逆圧縮方式で符号化した画像フレームである。この場合、不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを用いて可逆フレームを送信することができる。

ステップ205：画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出し、ここで、静止表示条件は、表示されている現在の画像フレームが変更されないままであることである。

符号化された現在の画像フレームが第1の符号化品質で符号化されて得られたものである場合、符号化された現在の画像フレームのデータ量は比較的少なく、表示効果は比較的悪い。ユーザが符号化された現在の画像フレームに関心がある場合、符号化された現在の画像フレームの表示効果を改善する必要がある。ユーザが符号化された現在の画像フレームに関心があるかどうかを、第1の装置による現在の画像フレームの表示が静止表示条件を満たしているかどうかを検出することによって判定することができ、ここで、静止表示条件は、表示されている現在の画像フレームが変化しない状態である。

具体的には、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するステップは、
1）第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するステップ、または、
2）第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するステップを含む。

第1の検出方法では、ユーザは、現在の画像フレームが表示されている期間を制御することができる。ユーザが特定の画像フレームに興味を持っている場合、ユーザは、第1の装置を制御して、画像フレームを長時間表示することができる。したがって、第1の装置は、現在の画像フレームが表示されている期間が予め設定された閾値よりも大きいかどうかを検出することができる。現在の画像フレームが表示されている期間が予め設定された閾値より大きい場合、第1の装置は、ユーザが現在の画像フレームに関心がある、すなわち、第1の装置による現在の画像フレームの表示が静止表示条件を満たすと判定する。現在の画像フレームが表示されている期間が予め設定された閾値より小さい場合、第1の装置は、ユーザが現在の画像フレームに関心がない、すなわち、第1の装置による現在の画像フレームの表示が静止表示条件を満たさないと判定する。

たとえば、画像フレームはスライドであり、ユーザは、ページフリップ命令をトリガすることによって、現在表示されているスライドを次のスライドに切り替えるための第1の装置を制御する。この場合、ページフリップ命令を受信した後、第1の装置は、前のスライドを現在のスライドに切り替えてタイミングを開始することができる。時間が予め設定された閾値に達し、ページフリップ命令が受信されない場合、第1の装置によるスライドの表示は静止表示条件を満たす。時間が予め設定された閾値に達する前にページ反転命令が受信された場合、第1の装置によるスライドの表示は静止表示条件を満足しない。

第2の検出方法では、第1の装置は、現在の画像フレームを、設定時間間隔で次の画像フレームに切り替える。ユーザが特定の画像フレームに興味を持っている場合、ユーザは、第1の装置を制御して、画像フレームを長時間表示することができる。したがって、第1の装置は、休止命令が受信されたかどうかを検出することができる。第1の装置が休止命令を受信した場合、第1の装置は、ユーザが現在の画像フレームに関心がある、すなわち、第1の装置による現在の画像フレームの表示が静止表示条件を満たすと判定する。第1の装置が休止命令を受信しない場合、第1の装置は、ユーザが現在の画像フレームに関心がない、すなわち、第1の装置による現在の画像フレームの表示が静止表示条件を満たさないと判定する。

たとえば、画像フレームはスライドであり、現在表示されているスライドは、設定時間間隔で次のスライドに切り替わる。この場合、第1の装置は、スライドを表示した後にタイミングを開始し、その時間間隔内に休止命令が受信されたかどうかを検出することができる。時間間隔内に休止命令が受信された場合、第1の装置によるスライドの表示は静止表示条件を満たす。時間間隔内に休止命令が受信されない場合、第1の装置によるスライドの表示は静止表示条件を満たさない。

ステップ206：第1の装置による現在の画像フレームの表示が静止表示条件を満たす場合、第2の符号化品質に従って現在の画像フレームを再び符号化する。

ステップ207：表示用の第2の装置と再び符号化された現在の画像フレームを共有する。

なお、第1の装置はまた、第2の符号化品質に従って現在の画像フレーム内の部分コンテンツを符号化し、表示用の第2の装置と符号化された部分コンテンツを共有してもよい。たとえば、部分コンテンツは、ウェブサイトに埋め込まれたアニメーション、インターフェースボタンの変更などであってもよい。

第1の装置は現在の画像フレーム内の部分コンテンツのみを更新するため、現在の画像フレーム全体を更新する代わりに、符号化に費やされる時間と符号化されたデータを送信するために費やされる時間の両方を低減することができ、共有による表示のリアルタイム性を向上することができる。

第2の符号化品質が可逆圧縮方式に対応する場合、第2の装置と再び符号化された現在の画像フレームを共有するプロセスのために、ステップ204の説明を参照し、詳細はここでは説明しない。

任意選択的に、本実施形態において提供されたデータ処理方法は、
1）符号化された現在の画像フレームが送信されるネットワークの品質を取得するステップと、
2）ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するステップ、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するステップとを含み、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。

この実施形態では、第1の装置はまた、ネットワークの品質に従って、第1の符号化品質に対応する符号化パラメータを調整してもよく、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整してもよく、符号化品質を確保しながら、現在の画像フレームのデータ量を調整してもよい。第1の装置によるネットワークの品質を得るための技術は既にかなり成熟しており、詳細はここでは再度説明しない。

たとえば、ネットワークの品質が比較的良好である場合、表示効果を改善するために、損失のない圧縮を高品質の非可逆圧縮に調整することができる。ネットワークの品質が比較的悪い場合、キーフレームの量を減らしてデータ量を減らし、共有によって表示のリアルタイム性を向上させることができる。

また、第1の装置による現画像フレームの表示が静止表示条件を満たす場合には、現在の画像フレームは第2の符号化品質に従って再び符号化され、再び符号化された現在の画像フレームは表示用の第2の装置と共有される。このように、ユーザが表示されている現在の画像フレームに興味を持っているとき、現在の画像フレームは、第2の符号化品質を用いて再び符号化され、再び共有され、第2の装置による現在の画像フレームの表示する効果を改善してもよい。

図3を参照すると、図3は、本発明の実施形態に係る、データ処理装置の概略構成図である。データ処理装置は、
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュール301であって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュール301と、
現在の画像フレームが動的表示シナリオで生成された画像フレームであると画像フレーム検出モジュール301が検出した場合、現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュール302であって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュール302と、
現在の画像フレームが静的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュール303であって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、第2の符号化モジュール303と、
第1の符号化モジュール302または第2の符号化モジュール303によって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュール304とを含む。

要約すると、本発明のこの実施形態で提供されるデータ処理装置により、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかが検出され、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームが、第1の符号化品質に従って符号化され、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用され、現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームが、第2の符号化品質に従って符号化され、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い。このように、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームは、第1の符号化品質を用いて符号化されてもよい。第1の符号化品質が示す第1の復元度は、第2の符号化品質が示す第2の復元度よりも低いため、符号化された現在の画像フレームのデータ量はより小さく、これにより、動的表示シナリオで生成された画像フレームの差が比較的大きく、符号化品質が示す復元度が高すぎる場合、共有による表示のリアルタイム性が低下するという問題を解決し、共有により表示のリアルタイム性を向上させる効果が得られる。

図4を参照すると、図4は、本発明の実施形態に係る、データ処理装置の他の概略構成図である。データ処理装置は、
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュール401であって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュール401と、
現在の画像フレームが動的表示シナリオで生成された画像フレームであると画像フレーム検出モジュール401が検出した場合、現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュール402であって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュール402と、
現在の画像フレームが静的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュール403であって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、第2の符号化モジュール403と、
第1の符号化モジュール402または第2の符号化モジュール403によって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュール404とを含む。

任意選択的に、本装置は、
第1の共有モジュール404が、表示用の第2の装置と符号化された現在の画像フレームを共有した後、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するように構成された表示検出モジュール405であって、静止表示条件は、表示されている現在の画像フレームが変更されないままである、表示検出モジュール405と、
第1の装置による現在の画像フレームの表示が静止表示条件を満たすと表示検出モジュール405が検出した場合、第2の符号化品質に従って現在の画像フレームを再び符号化する第3の符号化モジュール406と、
第3の符号化モジュール406によって再び符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第2の共有モジュール407とを含む。

任意選択的に、表示検出モジュール405は、具体的には、
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。

任意選択的に、画像検出モジュール401は、具体的に、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。

任意選択的に、装置は、
画像フレーム検出モジュール401が、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、第2の装置の解像度を取得し、第2の装置の解像度が第1の装置の解像度より高い場合、現在の画像フレームに対して超解像度処理を実行するように構成された、画像フレーム処理モジュール408をさらに含む。

任意選択的に、装置は、
符号化された現在の画像フレームが送信されるネットワークの品質を取得するように構成されたネットワーク品質取得モジュール409と、
ネットワーク品質取得モジュール409によって取得されたネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成されたパラメータ調整モジュール410とを含み、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。

任意選択的に、第2の符号化品質は、可逆圧縮方式に対応しており、第1の共有モジュール404は、特に、
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。

また、第1の装置による現画像フレームの表示が静止表示条件を満たす場合には、現在の画像フレームは第2の符号化品質に従って再び符号化され、再び符号化された現在の画像フレームは表示用の第2の装置と共有される。このように、ユーザが表示されている現在の画像フレームに興味を持っているとき、現在の画像フレームは、第2の符号化品質を用いて再び符号化され、再び共有され、第2の装置による現在の画像フレームの表示効果を改善してもよい。

図5を参照すると、図5は、本発明の実施形態に係る、データ処理装置の概略構成図である。データ処理装置は、バス501と、バス501に接続されたプロセッサ502と、メモリ503と、送信機504と、受信機505とを含むことができる。メモリ503は、命令がプロセッサ502によって実行されるように構成された複数の命令を格納するように構成される。

プロセッサ502は、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、画像フレームが設定時間内に変化しない表示シナリオである。

プロセッサ502は、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、第1の符号化品質に従って現在の画像フレームを符号化するようにさらに構成され、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される。

プロセッサ502は、現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、第2の符号化品質に従って現在の画像フレームを符号化するようにさらに構成され、第2の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い。

送信機504は、表示用の第2の装置とプロセッサ502によって符号化された現在の画像フレームを共有するように構成される。

図5を参照すると、本発明の実施形態は、別のデータ処理装置を提供する。データ処理装置は、バス501と、バス501に接続されたプロセッサ502と、メモリ503と、送信機504と、受信機505とを含むことができる。メモリ503は、命令がプロセッサ502によって実行されるように構成された複数の命令を格納するように構成される。

任意選択的に、プロセッサ502は、送信機504が、表示用の第2の装置と符号化された現在の画像フレームを共有した後、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静止表示条件を満たすかどうかを検出し、ここで、静止表示条件は、表示されている現在の画像フレームが変更されないままであることである。

プロセッサ502は、さらに、第1の装置による現在の画像フレームの表示が静止表示条件を満たす場合、第2の符号化品質に従って現在の画像フレームを再び符号化するように構成される。

送信機504は、表示用の第2の装置とプロセッサ502によって再び符号化された現在の画像フレームを共有するようにさらに構成される。

任意選択的に、プロセッサ502は、具体的には、
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。

任意選択的に、プロセッサ502は、具体的に、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。

任意選択的に、プロセッサ502は、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、第2の装置の解像度を取得し、第2の装置の解像度が第1の装置の解像度より高い場合、現在の画像フレームに対して超解像度処理を実行するように構成される。

任意選択的に、プロセッサ502は、符号化された現在の画像フレームが送信されるべきネットワークの品質を取得するようにさらに構成される。

プロセッサ502は、さらに、ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するように構成され、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる、ステップとをさらに含む。

任意選択的に、第2の符号化品質は、可逆圧縮方式に対応しており、送信機504は、
特に、可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。

なお、上記各実施の形態で示したデータ処理装置がデータ処理を行う場合には、前述の機能モジュールの分割は単に説明のための例として使用される。実際の用途において、前述の機能は、異なる機能モジュールに割り当てられ、要件に従って実施されてもよい。すなわち、データ処理装置の内部構成は、上述した機能の全部または一部を実現するために、異なる機能モジュールに分割されている。また、上記実施形態で提供されるデータ処理装置は、データ処理方法の実施形態と同じ概念を共有する。特定の実施プロセスについては、方法の実施形態を参照し、詳細はここでは再び説明しない。

本発明の前述の実施形態のシーケンス番号は、単に例示のためのものであり、実施形態の優先順位を示すことを意図するものではない。

当業者であれば、本明細書に開示された実施形態に記載された実施例と組み合わせて、ユニットおよびアルゴリズムステップが、電子ハードウェアまたはコンピュータソフトウェアと電子ハードウェアの組み合わせによって実施されてもよいことを認識することができる。機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、技術的ソリューションの特定のアプリケーションおよび設計制約条件に依存する。当業者であれば、特定の用途ごとに記載された機能を実施するために異なる方法を使用することができるが、その実施は本発明の範囲を超えていると考えるべきではない。

当業者には明らかなように、上記のシステム、装置、およびユニットの詳細な作業プロセスのために、簡潔かつ簡単な説明のために、前述の方法の実施形態における対応するプロセスを参照し、詳細はここで再び説明されない。

本出願で提供されるいくつかの実施形態において、開示されたシステム、装置および方法は、他の方法で実施されてもよいことを理解されたい。たとえば、説明された装置の実施形態は単なる例である。たとえば、ユニット分割は単に論理的な機能分割であってもよく、実際の実施では他の分割であってもよい。たとえば、複数のユニットまたは構成要素を組み合わせて、別のシステムに統合してもよく、または一部の機能を無視してもよいし、実行しなくてもよい。さらに、表示または議論された相互結合または直接結合または通信接続は、いくつかのインターフェースを使用して実施されてもよい。装置またはユニット間の間接的結合または通信接続は、電子的、機械的、または他の形態で実施することができる。

別個の部品として記載されたユニットは、物理的に分離していてもいなくてもよく、ユニットとして表示される部品は、物理的ユニットであってもなくてもよく、1つの位置に配置されていてもよいし、複数のネットワークユニットに分散されていてもよい。ユニットの一部または全部は、実施形態の解決策の目的を達成するために実際の必要に応じて選択されてもよい。

また、本発明の実施形態における機能部は、1つの処理部に統合されていてもよいし、物理的に単独で存在していてもよいし、2つ以上が一体化されていてもよい。

機能がソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用される場合、機能はコンピュータ可読記憶媒体に格納されてもよい。このような理解に基づいて、本質的に本発明の技術的解決策、または先行技術に寄与する部分、または技術的解決策の一部は、ソフトウェア製品の形態で実施することができる。このソフトウェア製品は、記憶媒体に格納されており、本発明の実施形態に記載された方法のステップの一部を実行するようにコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスであり得る）に命令するためのいくつかの命令を含む。上記記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（Read−Only Memory、略してROM）、ランダムアクセスメモリ（Random Access Memory、略してRAM）、磁気ディスクまたは光ディスク等のプログラムコードを格納することができる任意の媒体を含む。

以上の説明は、本発明の特定の実施形態に過ぎず、本発明の保護範囲を限定するものではない。本発明に開示された技術的範囲内において、当業者が容易に想到するあらゆる変形や置換は、本発明の保護範囲内に入るものである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に属するものとする。

301 画像フレーム検出モジュール
302 第1の符号化モジュール
303 第2の符号化モジュール
304 第1の共有モジュール

Claims

第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、前記動的表示シナリオは、設定時間内に一連の画像フレームが動的に変化する表示シナリオであり、前記静的表示シナリオは、設定時間内に一連の画像フレームが変化しない表示シナリオである、ステップと、
前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第1の符号化品質に従って符号化するステップであって、前記第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、ステップと、
前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第2の符号化品質に従って符号化するステップであって、前記第2の符号化品質は、符号化されていない前記画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、前記第2の復元度は前記第1の復元度よりも高い、ステップと、
表示用の第2の装置と符号化された前記現在の画像フレームを共有するステップと、
前記現在の画像フレームを前記第1の符号化品質で符号化して符号化された前記現在の画像フレームが得られた場合、前記第1の装置による前記現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するステップであって、前記静止表示条件は、前記現在の画像フレームが表示されたままであるときに満たされる、ステップと、
前記第1の装置による前記現在の画像フレームの表示が前記静止表示条件を満たす場合、前記第2の符号化品質に従って前記現在の画像フレームを再び符号化するステップと、
前記表示用の第2の装置と再び符号化された前記現在の画像フレームを共有するステップとを備える、データ処理方法。
前記第1の装置による前記現在の画像フレームの表示が静止表示条件を満たすかどうかを検出する前記ステップは、
前記第1の装置が前記現在の画像フレームを表示する期間を取得して、前記期間が予め設定された閾値よりも大きいかどうかを検出するステップ、または、
前記第1の装置に、前記表示バッファ内の前記現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するステップを備える、請求項1に記載の方法。
第1の装置によって、画像フレーム内の現在の画像フレームが、動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップは、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するステップであって、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む、ステップ、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するステップであって、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む、ステップ、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される、ステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップを備える、請求項1または2に記載の方法。
第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、本方法は、第2の装置の解像度を取得するステップと、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するステップとを備える、請求項1から3のいずれか一項に記載の方法。
符号化された前記現在の画像フレームが送信されるネットワークの品質を取得するステップと、
前記ネットワークの前記品質に応じて、前記第1の符号化品質に対応する符号化パラメータを調整するステップ、または、前記ネットワークの前記品質に応じて、前記第2の符号化品質に対応する符号化パラメータを調整するステップとをさらに備え、前記ネットワークの前記品質と符号化された前記現在の画像フレームのデータ量との間に正の相関があり、符号化された前記現在の画像フレームは、前記符号化パラメータに従って符号化されて得られる、請求項1から4のいずれか一項に記載の方法。
前記第2の符号化品質は可逆圧縮方式に対応し、表示用の第2の装置と符号化された前記現在の画像フレームを共有する前記ステップは、
可逆圧縮データチャネルを生成し、前記可逆圧縮データチャネルを使用して、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するステップであって、前記可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用される、ステップと、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、不可逆号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、ステップとを備える、請求項1に記載の方法。
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュールであって、前記動的表示シナリオは、設定時間内に一連の画像フレームが動的に変化する表示シナリオであり、前記静的表示シナリオは、前記設定時間内に一連の画像フレームが変化しない表示シナリオである、画像フレーム検出モジュールと、
前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると前記画像フレーム検出モジュールが検出した場合、前記現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュールであって、前記第1の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュールと、
前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると前記画像フレーム検出モジュールが検出した場合、前記現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュールであって、前記第2の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第2の復元度を示すために使用され、前記第2の復元度は前記第1の復元度よりも高い、第2の符号化モジュールと、
前記第1の符号化モジュールまたは前記第2の符号化モジュールによって符号化された前記現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュールと、
前記第1の共有モジュールが、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有した後、前記現在の画像フレームを前記第1の符号化品質で符号化して符号化された前記現在の画像フレームが得られた場合、前記第1の装置による前記現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するように構成された表示検出モジュールであって、前記静止表示条件は、前記現在の画像フレームが表示されたままであるときに満たされる、表示検出モジュールと、
前記第1の装置による前記現在の画像フレームの表示が前記静止表示条件を満たすと前記表示検出モジュールが検出した場合、前記第2の符号化品質に従って前記現在の画像フレームを再び符号化する第3の符号化モジュールと、
前記第3の符号化モジュールによって再び符号化された前記現在の画像フレームを、前記表示用の第2の装置と共有するように構成された第2の共有モジュールとを備える、データ処理装置。
前記表示検出モジュールは、
前記第1の装置が前記現在の画像フレームを表示する期間を取得して、前記期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
前記第1の装置に、前記表示バッファ内の前記現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される、請求項7に記載の装置。
前記画像フレーム検出モジュールは、
前記現在の画像フレームを生成するアプリケーションプログラムを決定して、前記アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、前記動的プログラムリストは、前記動的表示シナリオを提供するアプリケーションプログラムを備え、前記静的プログラムリストは、前記静的表示シナリオを提供するアプリケーションプログラムを含み、または、
前記現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、前記制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、前記動的インターフェースリストは、前記動的表示シナリオで呼び出される制御インターフェースを含み、前記静的インターフェースリストは、前記静的表示シナリオで呼び出される制御インターフェースを含み、または、
前記現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、前記符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、前記第1の符号化インターフェースは、前記第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、前記第2の符号化インターフェースは、前記第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームと前記隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、前記画像データが異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像データが同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームおよび前記隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された前記画像特徴が同じであるかどうかを検出し、前記画像特徴が異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像特徴が同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成される、請求項7または8に記載の装置。
前記画像フレーム検出モジュールが、前記表示バッファ内の前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、前記第2の装置の解像度を取得し、
前記第2の装置の解像度が前記第1の装置の解像度より高い場合、前記現在の画像フレームに対して超解像度処理を実行するように構成された、画像フレーム処理モジュールをさらに備える、請求項7から9のいずれか一項に記載の装置。
符号化された前記現在の画像フレームが送信されるネットワークの品質を取得するように構成されたネットワーク品質取得モジュールと、
前記ネットワーク品質取得モジュールによって取得された前記ネットワークの前記品質に応じて、前記第1の符号化品質に対応する符号化パラメータを調整するように、または、前記ネットワークの前記品質に応じて、前記第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成されたパラメータ調整モジュールとを備え、ここで、前記ネットワークの前記品質と符号化された前記現在の画像フレームのデータ量との間に正の相関があり、符号化された前記現在の画像フレームは、前記符号化パラメータに従って符号化されて得られる、請求項7から10のいずれか一項に記載の装置。
前記第2の符号化品質は、可逆圧縮方式に対応しており、前記第1の共有モジュールは、
可逆圧縮データチャネルを生成し、前記可逆圧縮データチャネルを使用して、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、前記不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記不可逆符号化プロトコルは、前記可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、前記不可逆圧縮データチャネルは、前記不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、請求項7に記載の装置。
バスと、バスに接続されたプロセッサ、メモリ、送信機および受信機を備えたデータ処理装置であって、前記メモリはいくつかの命令を記憶するように構成され、前記命令はプロセッサによって実行されるように構成され、
前記プロセッサは、第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、前記動的表示シナリオは、設定時間内に一連の画像フレームが動的に変化する表示シナリオであり、前記静的表示シナリオは、前記設定時間内に一連の画像フレームが変化しない表示シナリオであり、
前記プロセッサは、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第1の符号化品質に従って符号化するようにさらに構成され、ここで、前記第1の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第1の復元度を示すために使用され、
前記プロセッサは、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第2の符号化品質に従って符号化するようにさらに構成され、ここで、前記第2の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第2の復元度を示すために使用され、前記第2の復元度は前記第1の復元度よりも高く、前記送信機は、前記プロセッサによって符号化された現在の前記画像フレームを、表示用の第2の装置と共有するように構成され、
前記プロセッサは、前記送信機が、前記表示用の第2の装置と符号化された現在の画像フレームを共有した後、前記現在の画像フレームを前記第1の符号化品質で符号化して符号化された前記現在の画像フレームが得られた場合、前記第1の装置による前記現在の画像フレームの表示が静止表示条件を満たすかどうかを検出するようにさらに構成され、前記静止表示条件は、前記現在の画像フレームが表示されたままであるときに満たされ、
前記プロセッサは、前記第1の装置による前記現在の画像フレームの表示が前記静止表示条件を満たす場合、前記第2の符号化品質に従って前記現在の画像フレームを再び符号化するようにさらに構成され、
前記送信機は、前記プロセッサによって再び符号化された前記現在の画像フレームを、前記表示用の第2の装置と共有するようにさらに構成される、データ処理装置。
前記プロセッサは、
前記第1の装置が前記現在の画像フレームを表示する期間を取得して、前記期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
前記第1の装置に、前記表示バッファ内の前記現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される、請求項13に記載の装置。
前記プロセッサは、
前記現在の画像フレームを生成するアプリケーションプログラムを決定して、前記アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、前記動的プログラムリストは、前記動的表示シナリオを提供するアプリケーションプログラムを備え、前記静的プログラムリストは、前記静的表示シナリオを提供するアプリケーションプログラムを含み、または、
前記現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、前記制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、前記動的インターフェースリストは、前記動的表示シナリオで呼び出される制御インターフェースを含み、前記静的インターフェースリストは、前記静的表示シナリオで呼び出される制御インターフェースを含み、または、
前記現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、前記符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、前記第1の符号化インターフェースは、前記第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、前記第2の符号化インターフェースは、前記第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームと前記隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、前記画像データが異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像データが同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームおよび前記隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された前記画像特徴が同じであるかどうかを検出し、前記画像特徴が異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像特徴が同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成される、請求項13または14に記載の装置。
前記プロセッサは、前記表示バッファ内の前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、前記第2の装置の解像度を取得し、前記第2の装置の解像度が前記第1の装置の解像度より高い場合、前記現在の画像フレームに対して超解像度処理を実行するように構成された、請求項13から15のいずれか一項に記載の装置。
前記プロセッサは、符号化された前記現在の画像フレームが送信されるネットワークの品質を取得するようにさらに構成され、
前記プロセッサは、前記ネットワークの前記品質に応じて、前記第1の符号化品質に対応する符号化パラメータを調整するように、または、前記ネットワークの前記品質に応じて、前記第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成され、ここで、前記ネットワークの前記品質と符号化された前記現在の画像フレームのデータ量との間に正の相関があり、符号化された前記現在の画像フレームは、前記符号化パラメータに従って符号化されて得られる、請求項13から16のいずれか一項に記載の装置。
前記第2の符号化品質は、可逆圧縮方式に対応しており、前記送信機は、
可逆圧縮データチャネルを生成し、前記可逆圧縮データチャネルを使用して、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、前記不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記不可逆符号化プロトコルは、前記可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、前記不可逆圧縮データチャネルは、前記不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、請求項13に記載の装置。
命令が記録されたコンピュータ読み取り可能な記録媒体であって、前記命令が装置によって実行される時、前記装置は請求項1から6のいずれか一項に記載の方法を実行する、コンピュータ読み取り可能な記録媒体。