JP5593514B2 - スクリーンフレームの符号化方法、及び、それを応用した電子装置 - Google Patents

Description

本発明は、スクリーンフレーム(screen frame)の符号化方法（encoding method）、及び、それを応用した電子装置に関するものであって、特に、画像品質を適応的に変化させる（adaptively changing）スクリーンフレームの符号化方法、及び、それを用いた電子装置に関するものである。

スクリーンフレーム共有は、情報技術の重要なアプリケーションの一つである。スクリーンフレーム共有の例は、リモートディスクトップにより、遠隔制御を実行する、又は、コンピュータが、ワイヤレス方式で、プロジェクタと連接されて、プレゼンテーションを実行すること等である。通常、スクリーンフレームデータは、操作システムにより、ソフトウェアプログラムを通じて得られるので、得られるスクリーンデータは無損失（lossless）である。しかし、通信帯域幅の制限のため、スクリーンフレームデータは、伝送前に、符号化により圧縮されなければならない。

スクリーンフレームは、例えば、長方形フレーム、曲線、又は、フォント等、多くの規則的なパターンを有し、画像品質の少しの損失も、ユーザーにより観察されやすいので、復号、及び、回復されたスクリーンフレームの画像品質の要求は高い。この他、スクリーンフレーム共有時、ユーザーが、主に、遠隔制御やプレゼンテーション等の別の作業にかかっているので、スクリーン符号器（screen encoder）が多くのシステムリソースを占有して、主要作業の進行に影響するのを回避すべきである。また、伝送端から伝送されるスクリーンフレームから、受信端により表示されるスクリーンフレームへの遅延が短くなると、遠隔ユーザーの即時制御感が良くなる。

しかし、公知のスクリーン符号器が、ビデオ領域を含むスクリーンフレームを処理する時、無損失、又は、低損失符号化を使用する場合、データ量が、ネットワーク、又は、受信システムの負荷を超えてしまい、受信端のフレームレート（frame rate）不足により、ビデオに不連続が生じる。反対に、公知技術のスクリーン符号器が、高損失の符号化により、データを圧縮する時、スクリーンフレームの静止領域も、高い損失の画像品質を有する。この他、公知のビデオ符号器により処理される時、スクリーンフレームの規則的なパターンも、損失が多い。また、公知のビデオ符号器により採用される複雑な演算法、例えば、動き判断（motion estimation）、動き補正（motion compensation）等は、多くのシステムリソースを占有し、遅延が長い。

これにより、システムリソースの占有が少なく、共有されるスクリーンフレームが、短い遅延時間内に、同時に、滑らかなビデオ、及び、高品質の静止画像を表現するスクリーンフレーム符号化方法が必要である。

本発明は、スクリーンフレームの符号化方法、及び、それを応用した電子装置を提供し、画像品質を適応的に変化させる方式で、システムリソースの占有が少ない状況下で、短い遅延時間内に共有されるスクリーンフレームが、同時に、滑らかなビデオ、及び、高品質の静止画像を表現することができるようにすることを目的とする。

本発明の実施例による画像品質を適応的に変化させるスクリーンフレームの符号化方法は、少なくとも一つの変動領域及び、少なくとも一つの静止領域を識別するステップであって、当該変動領域が二つの連続したスクリーンフレームの対応する複数の画素のそれぞれが同じであるか否かを決定することによって得られる、識別するステップと、変動領域を被覆する一つまたはそれ以上の変動符号化領域を選択的に決定するステップと、変動画像品質を決定するステップと、変動符号化領域を符号化するステップと、変動符号化領域を歴史リストに加入するステップと、静止領域を被覆する少なくとも一つの静止符号化領域を決定するステップと、静止画像品質を決定し、静止符号化領域を符号化するステップと、を備え、静止画像品質は、変動画像品質よりもよく、静止領域は歴史リスト中の前記変動符号化領域から識別される。

本発明のもう一つの実施例による画像品質を適応的に変化させるスクリーンフレームを伝送する電子装置は、スクリーンフレームの伝送方法を実行し、受信端にスクリーンフレームを表示させるプロセッサユニットを備え、伝送方法は、少なくとも一つの変動領域を識別するステップであって、当該変動領域が二つの連続したスクリーンフレームの対応する複数の画素のそれぞれが同じであるか否かを決定することによって得られる、識別するステップと、変動領域を被覆する一つまたはそれ以上の変動符号化領域を選択的に決定するステップと、変動画像品質を決定するステップと、変動符号化領域を符号化、及び、伝送するステップと、変動符号化領域を歴史リストに加入するステップと、変動符号化領域で、少なくとも一つの静止領域を識別するステップと、静止領域を被覆する少なくとも一つの静止符号化領域を決定するステップと、静止画像品質を決定し、静止符号化領域を符号化、及び、伝送するステップと、を有し、静止画像品質は、変動画像品質よりもよく、静止領域は歴史リスト中の前記変動符号化領域から識別される。

以下で、実施例と図面により、詳細に説明し、本発明の目的、技術内容、特徴、及び、達成される効果を理解しやすくする。

システムリソースの占有が少なく、遅延が短い。

本発明の一つの実施例によるスクリーンフレームの符号化方法のステップを示すフローチャート図である。 本発明の一つの実施例によるスクリーンフレームの符号化方法のステップを示す図である。 本発明の一つの実施例によるスクリーンフレームの符号化方法のステップを示す図である。 本発明のもう一つの実施例によるスクリーンフレームの符号化方法のステップを示すフローチャート図である。 本発明の一つの実施例による電子装置により実行される伝送方法のステップを示すフローチャート図である。

図１、及び、図２ａを参照すると、本発明の実施例による画像品質を適応的に変化させるスクリーンフレームの符号化方法は、以下のステップを含む。まず、スクリーンフレーム２中の少なくとも一つの変動領域２１、２１'と、少なくとも一つの静止領域と、を識別する（ステップ１１）。実施例によると、静止領域は、変動領域２１、２１'以外のスクリーンフレーム２の領域である。注意すべきことは、一つのスクリーンフレームには、複数の変動領域と静止領域を有することもある。実施例によると、変動領域２１、２１'は、二つの特定期間で、スクリーンフレームの各画素間の差異を比較することにより得られる。例えば、二つの連続したスクリーンフレームの各対応画素が、XOR操作を実行されてから、後のスクリーンフレームの変動領域が識別される。

その後、ステップ１１で識別される変動領域を被覆する少なくとも一つの変動符号化領域を決定する（ステップ１２）。図２ａで示されるように、変動領域２１は、変動符号化領域２２により被覆される。実施例によると、変動符号化領域２２は長方形である。注意すべきことは、単一の変動符号化領域は、複数の変動領域を被覆することができるが、これに限定されないことである。単一の変動領域は、複数の変動符号化領域により被覆されてもよい。図２ａで示されるように、変動領域２１'は、変動符号化領域２２ａ、２２ｂ、２２ｃ、２２ｄ及び、２２ｅにより被覆される。言い換えると、変動符号化領域は、複数の変動領域の一部分、又は、複数の変動領域を被覆する。

次に、変動画像品質が決定され、変動符号化領域２２、及び、２２ａ〜２２ｅが、変動画像品質に基づいて、符号化される（ステップ１３）。実施例によると、変動符号化領域のサイズは、変動画像品質の決定要因の一つである。例えば、変動画像品質は、変動符号化領域のサイズに反比例し、つまり、変動符号化領域が大きくなると、符号化のために選択される変動画像品質が低くなる。この他、異なる画像品質が、複数の変動符号化領域のために選択される。

再度、図１を参照すると、静止領域を被覆する少なくとも一つの静止符号化領域を決定する（ステップ１４）。上述と同じ理由により、静止符号化領域は長方形で、且つ、単一静止符号化領域は、複数の静止領域を被覆、又は、単一の静止領域は、複数の静止符号化領域により被覆されることができる。次に、静止画像品質を決定し、静止画像品質に基づいて、静止符号化領域を符号化する（ステップ１５）。注意すべきことは、「変動画像品質」は「変動符号化領域」の画像品質であり、「静止画像品質」は「静止符号化領域」の画像品質であり、静止画像品質は、変動画像品質よりもよいことである。簡潔には、本実施例のスクリーンフレームの符号化方法は、画像品質を適応的に変化させ、スクリーンフレームの変動領域は、低画像品質で符号化され、スクリーンフレームの静止領域は、高画像品質で符号化される。実施例によると、静止画像品質は無損失の画像品質であり、スクリーンフレームの規則的なパターンを表現するが、これに限定されない。

上述のステップを繰り返し、順に、スクリーンフレームを処理すると、同じスクリーンフレーム中のビデオ領域が滑らかに再生され、静止領域は、好ましい画像品質でも表示される。本実施例の符号化方法は、例えば、動き判断（motion estimation）、動き補正（motion compensation）等の複雑な演算法を使用せず、よって、占有するシステムリソースが少なく、遅延が短い。

図３と図２ｂで示される別の実施例によると、スクリーンフレームの符号化方法は、適応的に画像品質を変化させ、以下のステップを有する。まず、スクリーンフレーム２'中で、少なくとも一つの変動領域２１が識別される（ステップ３１）。その後、変動領域２１を被覆する少なくとも一つの変動符号化領域２２が決定される（ステップ３２）。その後、変動画像品質が決定され、変動画像品質に基づいて、変動符号化領域が符号化される（ステップ３３）。ステップの詳細は、前述したので、ここでは省略する。

上述の説明を継続すると、スクリーンフレームの符号化方法は、更に、以下のステップを有する。まず、変動符号化領域が、歴史リスト（historical list）中に加入される（ステップ３４）。その後、少なくとも一つの静止領域が、歴史リスト中の変動符号化領域から識別される（ステップ３５）。例えば、歴史リストは、変動符号化領域２２の範囲及び座標等の情報と、変動符号化領域２２に相応するタイムスタンプを含む。これにより、特定期間後、まだ変化していない変動符号化領域２２の全部、又は、一部は、静止領域であると識別される。図２ｂで示されるように、静止内容を有するウィンドウ２３は、変動符号化領域２２と部分的に重畳する。特定期間後、斜線部分の重畳領域は、静止領域２４とみなされる。

その後、静止領域２４を被覆する少なくとも一つの静止符号化領域が決定される（ステップ３６）。この実施例中、静止符号化領域は、静止領域２４に等しい。その後、静止画像品質が決定され、静止画像品質に基づいて、静止符号化領域が符号化され（ステップ３７）、静止画像品質は、変動画像品質よりもよい。最後に、静止符号化領域に対応する変動符号化領域が、歴史リストから除去される（ステップ３８）。図２ｂで示されるように、実施例によると、変動符号化領域２２と静止符号化領域は非重畳領域で、重畳領域上で、操作が重複されるのを回避する。

図４の実施例によると、電子装置は、スクリーンフレームの符号化方法を、画像品質を適応性変化させるスクリーンフレームの伝送に応用する。電子装置は、スクリーンフレームの伝送方法を実行するプロセッサユニットを有し、受信端は、電子装置により伝送されるスクリーンフレームを表示する。他の実施例によると、電子装置は、有線、又は、無線通信により、スクリーンフレームを伝送することができる。伝送方法は、以下のステップを有する。まず、少なくとも一つの変動領域を識別する（ステップ４２）。変動領域を被覆する少なくとも一つの変動符号化領域を決定する（ステップ４３）。変動画像品質を決定し、変動画像品質に基づいて、変動符号化領域を符号化、及び、伝送する（ステップ４４）。変動符号化領域で、少なくとも一つの静止領域を識別する（ステップ４６）。静止領域を被覆する少なくとも一つの静止符号化領域を決定する（ステップ４７）。静止画像品質を決定し、静止画像品質に基づいて、静止符号化領域を符号化、及び、伝送する（ステップ４８）。静止画像品質は、変動画像品質よりもよい。ステップの詳細は前述したので、ここでは省略する。

本発明の実施例によると、伝送方法は、更に、以下のステップを有する。変動符号化領域が伝送された後、変動符号化領域が、歴史リストに加入される（ステップ４５）。その後、ステップ４６の静止領域が、歴史リスト中の変動符号領域から識別される。この他、静止符号化領域が符号化され、伝送された後、静止符号化領域に対応する変動符号化領域が、歴史リストから除去される（ステップ４９）。

図４の実施例によると、電子装置は、最初、フルスクリーンフレームを伝送することができる（ステップ４１）。これにより、電子装置は、ステップ４２〜ステップ４９により、更新が必要である変動符号化領域と静止符号化領域だけを伝送することができる。受信端は、初期フルスクリーンフレームと後続の変動符号化領域と、静止符号化領域を受信し、スクリーンフレームを再構築する。例えば、図２ｂのウィンドウ２３は、最初は、変動符号化領域２２の下層にあるとする。よって、フルスクリーンフレーム２'が伝送された後、ビデオを含む変動符号化領域２２だけ伝送されるのが必要である。ウィンドウ２３が変動符号化領域の上層に移動する時、スクリーンフレーム２'にとって、斜線の静止領域２４だけが更新の領域である。これにより、伝送端は、静止符号化領域とウィンドウ２３により被覆されない変動符号化領域２２だけを受信端に伝送して、受信端がスクリーンフレームを再構築する。

上述を総合すると、スクリーンフレームの符号化方法とそれを用いた電子装置は、低画像品質で、スクリーンフレームの変動領域を符号化し、滑らかなビデオが受信端で表現され、スクリーンフレームの静止領域を高画像品質で符号化し、高品質静止画像が、同時に受信端で表現される。この他、本実施形態のスクリーンフレームの符号化方法は、動き判断、動き補正等の複雑な演算法を使用せず、よって、システムリソースが少なくて済み、背景の実行に適し、ユーザーの別の作業に影響するのを回避し、低遅延なので、即時性の応用に更に適する。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

２、２'…スクリーンフレーム
２１、２１'…変動領域
２２…変動符号化領域
２２ａ〜２２ｅ…変動符号化領域
２３…ウィンドウ
２４…静止領域

Claims (18)

1. 画像品質を適応的に変化させるスクリーンフレームの符号化方法であって、
   スクリーンフレームで少なくとも一つの変動領域及び、少なくとも一つの静止領域を識別するステップであって、当該変動領域が二つの連続したスクリーンフレームの対応する複数の画素のそれぞれが同じであるか否かを決定することによって得られる、識別するステップと、
   前記変動領域を被覆する一つまたはそれ以上の変動符号化領域を選択的に決定するステップと、
   変動画像品質を決定し、前記変動符号化領域を符号化するステップと、
   前記変動符号化領域を歴史リストに加入するステップと、
   前記静止領域を被覆する少なくとも一つの静止符号化領域を決定するステップと、
   静止画像品質を決定し、前記静止符号化領域を符号化するステップと
   を備え、
   前記静止画像品質は、前記変動画像品質よりもよく、
   前記静止領域は、前記歴史リスト中の前記変動符号化領域から識別される、画像品質を適応的に変化させるスクリーンフレームの符号化方法。
2. 前記歴史リストは、前記変動符号化領域に相応するタイムスタンプを備えることを特徴とする請求項１に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
3. 更に、
   前記静止領域に対応する前記変動符号化領域を、前記歴史リストから除去するステップを有することを特徴とする請求項１または２に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
4. 前記変動符号化領域は、前記変動領域の一部分、又は、複数の変動領域を被覆することを特徴とする請求項１から３の何れかの１項に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
5. 前記静止符号化領域は、前記静止領域の一部分、又は、複数の静止領域を被覆することを特徴とする請求項１から４の何れかの１項に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
6. 前記変動画像品質は、前記変動符号化領域のサイズに反比例することを特徴とする請求項１から５の何れかの１項に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
7. 前記静止画像品質は無損失か、又は、高品質であることを特徴とする請求項１から６の何れかの１項に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
8. 前記変動符号化領域、及び前記静止符号化領域の少なくとも一方は長方形であることを特徴とする請求項１から７の何れかの１項に記載の画像品質を適応的に変化させるスクリーンフレームの符号化方法。
9. 画像品質を適応的に変化させるスクリーンフレームを伝送する電子装置であって、前記スクリーンフレームの伝送方法を実行し、受信端に前記スクリーンフレームを表示させるプロセッサユニットを備え、前記伝送方法は、
   前記スクリーンフレームで少なくとも一つの変動領域を識別するステップであって、当該変動領域が二つの連続したスクリーンフレームの対応する複数の画素のそれぞれが同じであるか否かを決定することによって得られる、識別するステップと、
   前記変動領域を被覆する一つまたはそれ以上の変動符号化領域を選択的に決定するステップと、
   変動画像品質を決定し、前記変動符号化領域を符号化、及び、伝送するステップと、
   前記変動符号化領域を歴史リストに加入するステップと、
   前記変動符号化領域で、少なくとも一つの静止領域を識別するステップと、
   前記静止領域を被覆する少なくとも一つの静止符号化領域を決定するステップと、
   静止画像品質を決定し、前記静止符号化領域を符号化、及び、伝送するステップと
   を備え、
   前記静止画像品質は、前記変動画像品質よりもよく、
   前記静止領域は、前記歴史リスト中の前記変動符号化領域から識別される、電子装置。
10. 前記伝送方法は、更に、
    フルスクリーンフレームを伝送するステップを有することを特徴とする請求項９に記載の電子装置。
11. 前記歴史リストは、前記変動符号化領域に相応するタイムスタンプを備えることを特徴とする請求項９または１０に記載の電子装置。
12. 前記伝送方法は、更に、
    前記静止領域に対応する前記変動符号化領域を、前記歴史リストから除去するステップを有することを特徴とする請求項９から１１のいずれか１項に記載の電子装置。
13. 前記変動符号化領域は、前記変動領域の一部分、又は、複数の変動領域を被覆することを特徴とする請求項９から１２の何れかの１項に記載の電子装置。
14. 前記静止符号化領域は、前記静止領域の一部分、又は、複数の静止領域を被覆することを特徴とする請求項９から１３の何れかの１項に記載の電子装置。
15. 前記変動画像品質は、前記変動符号化領域のサイズに反比例することを特徴とする請求項９から１４の何れかの１項に記載の電子装置。
16. 前記静止画像品質は無損失か、又は、高品質であることを特徴とする請求項９から１５の何れかの１項に記載の電子装置。
17. 前記変動符号化領域、及び前記静止符号化領域の少なくとも一方は長方形であることを特徴とする請求項９から１６の何れかの１項に記載の電子装置。
18. 有線、又は、無線通信により、前記スクリーンフレームを前記受信端に伝送することを特徴とする請求項９から１７の何れかの１項に記載の電子装置。

Images