JP5200979B2 - 画像転送装置、方法及びプログラム - Google Patents

Description

本発明は、画像転送装置、方法及びプログラムに関し、特に、ＧＵＩ（グラフィカル・インターフェース）の画面を効率的に転送する技術に関する。

画面の送信方法として、ＭＰＥＧのような動画像圧縮方式を用いる方式がある。この方式は、最新のフレーム（画面）全体を一つ前に送信したフレーム（つまり、一つ前のフレームを符号化し、さらにそれを復号した画像）と比較し、その差分を圧縮して送信するというものである。この方式では、フレーム間の差分のデータ量が送信用の帯域より大きい場合には、圧縮時の量子化ステップを大きくすることで画質を下げ、差分が小さく帯域が空いてくると、画質を上げるよう量子化ステップを小さくすること行われる。この方式によると、画面転送に利用可能な帯域の制約によって実際の画面の更新頻度に比べて送信する画像データの更新頻度が大きく下がることはなく、かつ、画面の変化が小さくなると高い画質での画像送信が可能になる。

本発明に関連する技術として、特許文献１，２に記載の技術がある。特許文献１では、画面をブロックごとに分割し、画面の変化の生じた回数に応じてブロックごとに優先度を設定し、画面の変化の生じた回数の少ないブロックの画面を優先して送信する方式について述べられている。

また、特許文献２には、送信画像データ決定部にて、一定の時間周期で更新画像データの生成結果の情報を取得し、この取得した情報と送信結果情報に基づいて、更新画像データ又は画面保持部に保持された最新の画面の画像データのどちらを送信するか、最新の画面の画面の画像データを送信する場合にはその画像データのどの領域を送信するか、及び送信する画像データの画質を決定する、画面転送装置について記載がある（段落００２８，００３５−００４１等参照）。

特開２００４−０８６５５０号公報 特開２００６−２４６１５３号公報

前述したＭＰＥＧのような動画像圧縮方式では、送信したフレームと現在のフレームとの差を得るために、符号化したデータを復号する処理が発生し、その負担が大きかった。また、特許文献１のような制御を行った場合においても、所定の矩形領域単位で更新矩形を計算していることから、無駄が生じてしまう可能性があった。

従来の画面転送の方法は、全画面キャプチャを行ったあと、前画面データと比較し更新データを生成していた。この方式では、全描画領域に及ぶ前画面データを保持しておくためのメモリ領域を確保しておく必要がある。さらに、更新領域を計算する負荷がかかる。なお、上述のような、一定の時間周期で表示画面のキャプチャを行い、キャプチャした画像データを前画像データと比較することによって更新データを生成し、更新データに基づいて動画像データを圧縮して他端末に転送する方式を、以下、「差分転送方式」ということがある。

ＧＵＩの画面をネットワークを介して接続された画像表示端末に転送し、表示させるような画像転送装置の技術分野においては、利用できるネットワークの帯域には限りがあり、転送するデータの情報量を圧縮することが求められる。そこで、上述のような差分転送方式や、予測符号化によるデータ圧縮の技術を用いて転送データの圧縮を行う。

しかしながら、利用できるハードウェア資源が不十分なものであるような場合には、とりわけＧＵＩ画面のキャプチャ等に時間がかかり、画像転送に遅延が生じるといった問題があった。また、一方で、画像転送遅延を回避することを重視して、表示画面をキャプチャする時間周期を大きく取り、画質を下げると、ユーザにとって使い易さを損ねることになる。

そこで本発明は、上記実情に鑑みて、ＧＵＩの表示画面の画像を転送する画像転送技術において、ユーザにとっての使い易さを損なわずに更新データの計算負担を減らして効率のよい画像転送を実現する画像転送装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するために下記の構成を特徴とする画像転送装置、方法及びプログラムを提供する。

本発明に係る画像転送装置は、オペレーティングシステムのＧＵＩ（グラフィカル・インターフェース）の画像を画像表示端末に転送する転送手段と、前記ＧＵＩのアクティブウィンドウを検出するアクティブウィンドウ検出手段と、検出された前記アクティブウィンドウの描画領域をキャプチャするキャプチャ手段と、前記キャプチャ手段が一定の時間周期でキャプチャした前記アクティブウィンドウの画像について、画像内の変化を抽出し、抽出した画像内の変化を利用して、転送する画像を圧縮する圧縮手段と、を有することを特徴とする。

本発明に係る画像転送方法は、オペレーティングシステムのＧＵＩ（グラフィカル・インターフェース）におけるアクティブウィンドウを検出するアクティブウィンドウ検出ステップと、一定の時間周期で、検出された前記アクティブウィンドウの描画領域をキャプチャするキャプチャステップと、キャプチャした前記アクティブウィンドウの画像について、画像内の変化を抽出し、抽出した画像内の変化を利用して、画像を圧縮する圧縮ステップと、圧縮した画像を画像表示端末に転送する転送ステップと、を含むことを特徴とする。

本発明に係る画像転送プログラムは、コンピュータに、オペレーティングシステムのＧＵＩ（グラフィカル・インターフェース）におけるアクティブウィンドウを検出するアクティブウィンドウ検出処理と、一定の時間周期で、検出された前記アクティブウィンドウの描画領域をキャプチャするキャプチャ処理と、キャプチャした前記アクティブウィンドウの画像について、画像内の変化を抽出し、抽出した画像内の変化を利用して、画像を圧縮する圧縮処理と、圧縮した画像を画像表示端末に転送する転送処理を実行させることを特徴とする。

本発明によれば、ＧＵＩの表示画面の画像を転送する画像転送技術において、ユーザにとっての使い易さを損なわずに更新データの計算負担を減らして効率のよい画像転送を実現することが可能となる。

本発明による第１の実施形態に係る画像転送装置の構成を示すブロック図である。 本発明による第２の実施形態に係る画像転送装置の構成を示すブロック図である。 本発明による第２の実施形態に係る画像転送装置の動作を説明するためのＧＵＩ画面の一例を示す図である。 本発明による第２の実施形態に係る画像転送装置の動作を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照して説明する。

＜第１の実施形態＞
図１を参照すると、本実施形態に係る画像転送装置１００が画像表示端末２００とともに示されている。図１に示す画像転送装置１００は、例えば中央演算装置、記憶装置、入力装置等を備える一般的なコンピュータに、本実施形態に係るプログラムを実行させることによって実現させる。

画像転送装置１００は、グラフィカル・インターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：以下、「ＧＵＩ」という）を有するオペレーティングシステムを備えており、図示しない表示装置に当該ＧＵＩを表示する機能を備える。この表示装置に表示される情報を以下、「ＧＵＩ画面」という。

また、画像転送装置１００は、ＧＵＩ画面に係る画像データを圧縮符号化し、有線又は無線通信によりネットワークを介して接続された画像表示端末２００に転送する機能を有する。画像表示装置２００は、転送された画像データを復号化し、ＧＵＩ画面を生成してユーザに提供する。

図１に示すように、画像転送装置１００は、アクティブウィンドウ検出部１０１、キャプチャ部１０２、前画像データ記憶部１０３、更新データ生成部１０４、圧縮部１０５、通信部１０６を有する。各部は概略、次の機能を備える。

アクティブウィンドウ検出部１０１は、ＧＵＩにおけるアクティブウィンドウを検出する機能を備える。ここで、「アクティブウィンドウ」とは、ＧＵＩ画面において入力フォーカスを持っているウィンドウのことをいうこととする。検出の具体的方法としては、オペレーティングシステムから入力フォーカスに関する情報を得る方法等を用いることができる。

キャプチャ部１０２は、ＧＵＩ画面の一部又は全部をキャプチャして、画像データとする機能を備える。キャプチャ部１０２によるキャプチャ動作は、一定の時間周期（例えば、数ミリ秒間隔）で継続して行われる。

本実施形態において、キャプチャ部１０２は、ＧＵＩ画面全体、すなわち、ＧＵＩ描画領域の全体をキャプチャすることができるが、アクティブウィンドウ検出部１０１によりアクティブウィンドウが検出された場合は、アクティブウィンドウの描画領域のみをキャプチャする。

前画像データ記憶部１０３は、キャプチャ部１０２にてキャプチャした画像データを後段の圧縮処理のために一次保存しておく記憶領域として機能する。

更新データ生成部１０４は、キャプチャ部１０２にてキャプチャした画像データを、前画像データ記憶部１０３にて一次保存した前画像データと比較して、更新データを生成する機能を備える。

圧縮部１０５は、キャプチャ部１０２にてキャプチャした画像データに基づく静止画像や、更新データ生成部１０４にて生成した更新データに基づいて動画像データを圧縮する機能を備える。キャプチャ部１０２〜圧縮部１０５は、予測符号化による効率的な動画圧縮を実現するための手段として機能する。

通信部１０６は、圧縮符号化した動画像データを画像表示端末２００へと送信・転送する機能を備える。通信インターフェースとしては、有線又は無線の別を問わず、種々の形態のものが使える。画像表示端末２００は、圧縮された動画像データを展開・復号化して、表示する機能を備える。

以下、本実施形態の効果について説明する。

従来の画面転送の方法は、全画面キャプチャを行ったあと、前画面データと比較し更新データを生成していた。この方式では、全描画領域に及ぶ前画面データを保持しておくためのメモリ領域を確保しておく必要がある。さらに、更新領域を計算する負荷がかかる。一方で、上記実施形態は、はじめにアクティブウィンドウを検出し、その部分のみをキャプチャするため、次のようなメリットが得られる。

まず、前画面キャプチャ処理からアクティブウィンドウのみキャプチャになったことでその分のキャプチャ時間を減らすことができる。次に、前画面データを保持しておくためのメモリ領域を節約することができる。さらに、最も大きいメリットが、更新データを生成する処理をしなくても済むことである。すなわち、上記実施形態によれば、アクティブウィンドウを検知して、その領域のみ更新することにより更新領域を検出する計算負担を大きく減らすことができる。

なお、上記実施形態によれば、アクティブウィンドウを除いた描画領域については、描画を更新しないこととしているが、ユーザが現在、主に操作している可能性が高いアクティブウィンドウの描画は一定の時間周期で更新しているため、ユーザにとっての使い易さが大幅に損なわれることはない。

すなわち、上記実施形態によれば、ＧＵＩの表示画面の画像を転送する画像転送技術において、ユーザにとっての使い易さを損なわずに更新データの計算負担を減らして効率のよい画像転送が可能となる。

＜第２の実施形態＞
本実施形態は、上記第１の実施形態の構成に加え、ＧＵＩにおけるポインタ（マウスポインタ等）の描画・表示に関して下記の構成及び動作を備え、上記第１の実施形態よりもユーザにとっての使い易さをさらに向上するものである。

上記第１の実施形態において問題となるのは、アクティブウィンドウのみの更新であると、マウスポインタをアクティブウィンドウではない部分にユーザが持っていったとしても、その部分はアクティブウィンドウとは認識されず、更新されないため、マウスポインタも表示されないことである。

そこで、本実施形態においては、マウスポインタがアクティブウィンドウではない部分に動いたときは一度前画面を送信することとする。また、その後またマウスポインタがアクティブウィンドウ上に動いたときには、アクティブウィンドウのみの更新を行う。

図２を参照すると、本実施形態に係る画像転送装置１００が画像表示端末２００とともに示されている。図２に示す画像転送装置１００は、図１に示した構成に加え、ポインタ位置判断部１０７を有する。なお、上記第１の実施形態の説明で一度説明したものと同等の機能を備える部位については、説明を省略する。

ポインタ位置判断部１０７は、ＧＵＩにおけるポインタの位置を検出し、アクティブウィンドウ上にあるか否かを判断する機能を備える。ポインタ位置検出の具体的方法としては、オペレーティングシステムからＧＵＩ表示画面におけるポインタの座標を得るといった方法が使える。

図３を参照すると、本実施形態に係る画像転送装置１００の動作を説明するためのＧＵＩ表示画面の一例が示されている。図示のように、本実施形態に係る画像表示端末２００において、転送されたＧＵＩ表示画面は、画像表示部２０１全体に表示され、アクティブウィンドウ２０２や非アクティブウィンドウ２０３が任意に配置される。

本実施形態においては、ポインタがアクティブウィンドウ上にあるときは（例えば、図３中、ポインタ２０４の位置）、アクティブウィンドウ内のみの部分キャプチャを行い更新データを生成し、圧縮・転送処理を行う。一方、アクティブウィンドウ外にあるときは（例えば、図３中、ポインタ２０５の位置）、ＧＵＩの全描画領域（全画面）についてキャプチャを行い更新データを生成する。図４のフローチャートを参照して、さらに詳しく説明する。

図４を参照すると、本実施形態に係る画像転送装置１００の動作が示されている。図４に示す動作は、１回の画像転送（リモートスクリーン）動作である。図４において、本実施形態の画像転送が開始されると、まずいったん全描画領域の描画を更新して（ステップＳ１０１）、ポインタ位置判断部１０７は、ポインタがアクティブウィンドウ上にあるか否かを判断する（ステップＳ１０２）。

ポインタがアクティブウィンドウ上にある場合は、キャプチャ部１０２がアクティブウィンドウの描画領域のみの部分キャプチャを行い（ステップＳ１０３）、その結果に基づき更新データの生成や圧縮処理や転送処理が行われる（ステップＳ１０５）。

一方で、ポインタがアクティブウィンドウ上にない場合は、キャプチャ部１０２がＧＵＩの全描画領域をキャプチャし（ステップＳ１０４）、その結果に基づき更新データの生成や圧縮処理や転送処理が行われる（ステップＳ１０５）。

上記のステップＳ１０２〜ステップＳ１０５は、画像転送が終了されるまで続けられる（ステップＳ１０６／Ｙｅｓ）。

以下、本実施形態の効果について説明する。

上記実施形態によれば、ＧＵＩの表示画面の画像を転送する画像転送技術において、ユーザにとっての使い易さを損なわずに更新データの計算負担を減らして効率のよい画像転送が可能になることに加え、ポインタがアクティブウィンドウ外に出た場合に生じうる問題（ポインタが行方不明になる等）も解決することが可能になる。すなわち、ユーザにとっての使い易さが向上する。

＜その他の実施形態＞
上述した各実施形態においては、アクティブウィンドウを検出し、検出したアクティブウィンドウの描画領域内の変化を更新データとして抽出し、抽出した当該変化に基づいて転送する動画像データを圧縮するものであるが、アクティブウィンドウの描画領域外のデータ圧縮の態様については特に言及していない。

しかしながら、アクティブウィンドウが検出される場合であっても、アクティブウィンドウの描画領域外の領域の画像を転送すると、ユーザにとっての使い易さが向上し、有利である。そこで、第２の実施形態において、アクティブウィンドウ検出部１０１がアクティブウィンドウを検出している場合であってもキャプチャ部１０２が一定の時間周期でＧＵＩの全描画領域をキャプチャし、キャプチャした画像データの変化に基づいて動画像データを圧縮する構成とする。ここで、ＧＵＩの全描画領域をキャプチャする時間周期は、アクティブウィンドウの描画領域をキャプチャする時間周期よりも長いものとする。

この構成によれば、ＧＵＩの全描画領域をキャプチャして画像転送するため、ユーザにとっての使い易さが向上する一方で、ＧＵＩの全描画領域をキャプチャする時間周期がアクティブウィンドウの描画領域をキャプチャする時間周期よりも長いため、画像転送における負荷軽減及び転送データ量削減の効果を抑制することがない。

また、画像転送における負荷軽減及び転送量削減について、アクティブウィンドウとそれ以外について圧縮率を変更し、アクティブウィンドウのみ高画質で送信してもよい。この構成は、アクティブウィンドウの描画領域に係る画像を、それ以外の描画領域に係る画像と比して、低圧縮で圧縮して、転送する構成である。

この構成においても、ＧＵＩの全描画領域をキャプチャして画像転送するため、ユーザにとっての使い易さが向上する一方で、アクティブウィンドウを除く領域の画像を高圧縮で圧縮して転送するため、画像転送における負荷軽減及び転送データ量削減の効果を抑制することがない。

以上、本発明の好適な実施の形態について説明したが、本発明はこれに限定されるものではなく、要旨を逸脱しない範囲内で種々の変形実施が可能である。なお、上記各実施形態で開示した構成は、互いに組み合わせて実施することができる。

１００ 画像転送装置
１０１ アクティブウィンドウ検出部
１０２ キャプチャ部
１０３ 前画像データ記憶部
１０４ 更新データ生成部
１０５ 圧縮部
１０６ 通信部
１０７ ポインタ位置判断部
２００ 画像表示端末
２０１ 画像表示部
２０２ アクティブウィンドウ
２０３ 非アクティブウィンドウ
２０４，２０５ ポインタ

Claims (6)

1. オペレーティングシステムのＧＵＩ（グラフィカル・インターフェース）の画像を画像表示端末に転送する転送手段と、
   前記ＧＵＩのアクティブウィンドウを検出するアクティブウィンドウ検出手段と、
   前記ＧＵＩの描画領域をキャプチャするキャプチャ手段と、
   前記ＧＵＩのポインタが前記アクティブウィンドウ上にあるか否かを判断するポインタ位置判断手段と、を有し、
   前記キャプチャ手段は、前記ポインタ位置判断手段により前記ポインタが前記アクティブウィンドウ上にあると判断された場合に、前記アクティブウィンドウの描画領域をキャプチャし、ないと判断された場合に、前記ＧＵＩの全描画領域をキャプチャすることを特徴とする、画像転送装置。
2. 前記キャプチャ手段が一定の時間周期でキャプチャした前記アクティブウィンドウの画像について、画像内の変化を抽出し、抽出した画像内の変化を利用して、転送する画像を圧縮する圧縮手段を有することを特徴とする、請求項１記載の画像転送装置。
3. 前記キャプチャ手段は、前記アクティブウィンドウの描画領域をキャプチャする前記一定の時間周期よりも長い周期で前記ＧＵＩの全描画領域をキャプチャし、
   前記圧縮手段は、キャプチャした前記ＧＵＩの全描画領域について、画像内の変化を抽出し、抽出した画像内の変化を利用して、転送する画像を圧縮することを特徴とする、請求項２記載の画像転送装置。
4. 前記圧縮手段は、前記アクティブウィンドウの画像を、前記アクティブウィンドウを除く領域の画像と比して、低圧縮で圧縮することを特徴とする、請求項３記載の画像転送装置。
5. オペレーティングシステムのＧＵＩ（グラフィカル・インターフェース）の画像を画像表示端末に転送する転送ステップと、
   前記ＧＵＩのアクティブウィンドウを検出するアクティブウィンドウ検出ステップと、
   前記ＧＵＩの描画領域をキャプチャするキャプチャステップと、
   前記ＧＵＩのポインタが前記アクティブウィンドウ上にあるか否かを判断するポインタ位置判断ステップと、を含み、
   前記キャプチャステップは、前記ポインタ位置判断ステップにおいて前記ポインタが前記アクティブウィンドウ上にあると判断された場合に、前記アクティブウィンドウの描画領域をキャプチャし、ないと判断された場合に、前記ＧＵＩの全描画領域をキャプチャする
   ことを特徴とする、画像転送方法。
6. コンピュータに、
   オペレーティングシステムのＧＵＩ（グラフィカル・インターフェース）の画像を画像表示端末に転送する転送処置と、
   前記ＧＵＩのアクティブウィンドウを検出するアクティブウィンドウ検出処理と、
   前記ＧＵＩの描画領域をキャプチャするキャプチャ処理と、
   前記ＧＵＩのポインタが前記アクティブウィンドウ上にあるか否かを判断するポインタ位置判断処理と、を実行させ、
   さらに、前記キャプチャ処理が、前記ポインタ位置判断処理において前記ポインタが前記アクティブウィンドウ上にあると判断された場合に、前記アクティブウィンドウの描画領域をキャプチャし、ないと判断された場合に、前記ＧＵＩの全描画領域をキャプチャすることを特徴とする、画像転送プログラム。

Images