JP3954581B2 - 情報転送装置、情報転送方法及びプログラム - Google Patents

Description

ＰＣやＰＤＡなどの画面をネットワークを介して他のＰＣやプロジェクターの画面にリアルタイムに転送、表示するシステムに関する。

近年、ノート型ＰＣやプロジェクターの普及が進み、プレゼンテーションにおいてはノート型ＰＣとプロジェクターをケーブルで接続し、ＰＣの画面をプロジェクターに拡大投影することで発表資料を提示する方法が一般的となっている。また、プロジェクターの低価格化や小型化が進み、フォーマルなプレゼンテーションのみでなく通常の会議においても資料の提示や議事録の共有などで利用する機会も増えてきている。

しかしながら，プロジェクターはスクリーン等に投影する必要があるため設置場所の制約を受けやすい。そのため，プロジェクターを利用するには，プロジェクターの近くに移動しなければならなかったり、複数人が交代で投影する場合には，各々がＰＣをプロジェクターの近くまで持ち運んでから繋ぎかえるか，そうならないようにあらかじめ一台のＰＣにデータをまとめるなどといった準備が必要となっていた。

そこで最近は，ＩＥＥＥ ８０２．１１ｂ無線ＬＡＮやＢｌｕｅｔｏｏｔｈなど無線でプロジェクターとＰＣを接続するシステムが発売されている。無線で接続すれば投影者が自分のＰＣをプロジェクターの近くまで持ち運ぶ必要がなくなり，室内の任意の場所から接続することが可能になる。また，複数人が交代で投影する場合にも、投影者のＰＣを繋ぎかえる作業が容易になる。さらに、複数のプロジェクターに同時に投影することも容易となった。

ＰＣの画面データを無線等、ネットワークを介して転送する場合は、ＲＧＢケーブルのような専用の有線接続する場合とは異なり利用可能な帯域が限られているため画像データの圧縮が必要となる。ＰＣ画面の転送の場合、転送するデータが予め分かっているわけではなく、また、画面サイズもＸＧＡ（１０２４＊７６８）かそれ以上と大きいく、任意のＰＣでの利用を考えた場合、エンコード用の特別なハードウェアの利用を仮定することは難しいことから、変更のあった領域の画像データを静止画の連続として転送する方式が一般的である。

静止画の圧縮方法としては大きく、例えばｚｌｉｂ（例えば非特許文献１に詳しく開示されている）等を利用した圧縮歪のない可逆圧縮とＪＰＥＧ（例えば非特許文献２に詳しく開示されている）等圧縮歪のある非可逆圧縮がある。従来は、このどちらか一方を用いて画面を転送していた。可逆圧縮方式を用いる場合には、文字通り受信側でデコードすると元の画像がそのまま得られるものの、グラデーションの多い画像等では圧縮に時間がかかったり、圧縮後のデータサイズが大きく、転送に時間がかかったりするデメリットがあった。一方、非可逆圧縮方式を利用した場合には画像の内容に依らず安定した圧縮時間や圧縮後のデータサイズが得られるものの、元の画像そのままは得られず、ノイズが発生するという問題があった。
zlib Home Site、平成１６年１月２３日検索、インターネット＜URL: http://www.gzip.org/zlib/＞ official JPEG homepage、平成１６年１月２３日検索、インターネット＜URL: http://www.jpeg.org/＞

従来、機器の画面を別の機器へリアルタイムに転送するシステムにおいては、受信側において素早い画面の更新の再現性を実現するためには画質を落としてデータ量を減らすようにしなければならず、逆に、高い画質を実現するには画面の更新の再現性が義性とならざるを得なかった。

本発明は、上記事情を考慮してなされたもので、情報転送装置から転送先装置へ画面表示のための情報を転送する場合に、転送先装置側における素早い画面の更新の再現性と高い画質を効果的に実現することのできる情報転送装置、情報転送方法及びプログラムを提供することを目的とする。

本発明に係る情報転送装置は、表示画面内の全部又は一部の領域の画像更新を行う更新手段と、前記画像更新に係る前記表示画面内の画像更新位置及びその更新画像を取得する取得手段と、前記更新画像を圧縮する更新画像圧縮手段と、前記圧縮により得られた圧縮後更新画像及び前記画像更新位置を含む更新画像情報を転送先装置へ転送する第１の転送手段と、前記圧縮後更新画像を、前記圧縮に係る圧縮方式に対応するデコード方式でデコードするデコード手段と、圧縮の対象となった元の更新画像と、該元の更新画像に係る前記圧縮後更新画像をデコードして得られた更新画像とに基づいて、それらの間の圧縮誤差を計算する計算手段と、前記圧縮誤差を含む誤差情報を前記転送先装置へ転送することの決定を行う決定手段と、この決定手段により決定された前記誤差情報を前記転送先装置へ転送する第２の転送手段とを備え、前記決定手段は、前記誤差情報を未だ転送しておらず、且つ、表示画面内における前記誤差情報に係る前記更新画像の表示領域が、当該更新画像に係る更新以降、基準時間以上にわたって画像更新されていない場合に、前記圧縮誤差を転送すると決定することを特徴とする。

なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手段を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。

本発明によれば、情報転送装置から転送先装置へ画面表示のための情報を転送する場合に、転送先装置側における素早い画面の更新の再現性と高い画質を効果的に実現することができる。

以下、図面を参照しながら本発明の実施形態について説明する。

（第１の実施形態）
図１に、本発明の第１の実施形態に係る情報転送装置の構成例を示す。

図１に示されるように、本情報転送装置１００は、表示画像生成部１、ディスプレイ２、更新画像情報取得部３、更新画像圧縮部４、圧縮誤差計算部５、更新画像転送部６、転送画像復元部７、データ転送部８、圧縮誤差保持部９、圧縮誤差送信領域決定部１０、誤差情報転送部１１を備えている。

図２に、本実施形態の情報転送装置を利用したシステムの構成例を示す。この例は、本情報転送装置１００がパーソナルコンピュータ（ＰＣ）を用いて構成され、ＰＣ１００が更新画像情報や誤差情報を転送する転送先装置１０１はプロジェクターであり、プロジェクター１０１はＰＣ１００から転送された情報に基づいて画面を生成し、これをスクリーン１０２に投影して表示させる場合の構成例である。この例では、ユーザが操作するＰＣ１００の画面と同じ画面がプロジェクター１０１によりスクリーン１０２に表示される。なお、この例では、ＰＣ１００とプロジェクター１０１とは例えばＩＥＥＥ８０２．１１ｂ等の無線を用いて接続されている。

図３に、本実施形態の情報転送装置を利用したシステムの他の構成例を示す。この例では、無線ではなくインターネット／イントラネット１０３を用いることにより、複数の情報転送装置たるＰＣ１００−１，１００−２と、転送された画面を表示するＰＣ（図示せず）やプロジェクター１０１が接続される。この例によれば、画面の転送を行う装置同士が近接に存在する必要が無く、互いに離れた遠隔地に存在する装置同士でも画面の転送を行うことができる。

以下、図１の各部について説明する。

表示画像生成部１は、ディスプレイ２に表示する画像を生成する部分である。通常は、表示する最新の画像を蓄えておくために、画面の解像度に応じたサイズのフレームバッファ（図示せず）を用意する。表示画像の生成自体は、アプリケーションやＯＳ、ディスプレイドライバの協調により行われ、生成された画像はフレームバッファに書き込まれる。書き込まれたフレームバッファの内容は、ディスプレイ２に送られる。

ディスプレイ２は、表示画像生成部１で生成された画像を表示する部分である。

更新画像情報取得部３は、例えば表示更新される画像のデータやその更新位置のデータなどを含む更新画像情報を取得する部分である。画面の更新は、画面全体の単位で行うものであっても、画面の特定の一部の単位（例えば、ウィンドウの単位、ウィンドウ内の全部又は一部の単位など）で行うものであってもよいし、画面の任意の一部分の単位で行うものであってもよい。

更新画像情報取得部３による更新画像情報の取得方法としては、表示画像生成部１から表示更新するために生成した更新情報を全て受け取り、そのまま利用してもよい。あるいは、定期的に表示画像生成部１から最新の表示画像を取得し、取得した最新の表示画像と前回取得した画像と比較することで、更新のあった部分を抽出してもよい。その他、利用しているシステムで利用される画面更新等の描画系のイベントをフックすることにより、どの部分が更新されたかを監視し、得られた更新部分の画像のみをフレームバッファより取得する方法も可能である。取得した更新画像情報は、更新画像圧縮部４および圧縮誤差計算部５に渡す。更新画像情報取得部３から更新画像圧縮部４および圧縮誤差計算部５へ渡される画像データは、静止画データの連続となる。

更新画像圧縮部４は、更新画像情報取得部３から渡された更新画像情報のうち、更新画像データを圧縮する部分である。圧縮方法は、特に限定されるものではなく、例えば、静止画圧縮で最も一般的に用いられているＪＰＥＧ方式を用いてもよい。ただし、本実施形態では、圧縮方法として非可逆圧縮を用いる場合を想定している。本実施形態では、圧縮画像を転送先装置（例えば、プロジェクター）に送信した後に、或る条件が成立した場合に圧縮誤差を送信するものであるが、可逆圧縮では圧縮誤差が発生しないからである。圧縮後のデータは、画像の更新位置情報とともに、更新画像転送部６および転送画像復元部７に渡す。

更新画像転送部６は、更新画像データが圧縮された更新画像情報を転送先装置に送る部分である。更新画像転送部６は、更新位置および圧縮された更新画像データを含む更新画像情報の転送先装置への転送を、データ転送部８に依頼する。その際、転送先装置側での復元、表示に必要な場合には、更新画像情報に、圧縮前後の更新画像データのデータサイズの情報等が付加される。

データ転送部８は、転送先装置へ上記更新画像情報を転送する部分である。

転送画像復元部７は、圧縮された画像データをデコードする部分である。デコードした画像データは、圧縮誤差計算部５へ渡す。デコードは、転送先装置が受信した圧縮画像データをデコードする方法と同じ方法により行う。これにより、転送先装置側で表示される画像に対する予測画像が得られる。

圧縮誤差計算部５は、更新画像情報取得部３から渡された更新画像データと、転送画像復元部７から渡されたデコード後の画像データとの差（すなわち、圧縮誤差）を計算する部分である。圧縮方式として非可逆圧縮を用いると、圧縮前の画像と、圧縮データをデコードした画像との間には差分が生じ、これが圧縮誤差となる。得られた圧縮誤差は、圧縮誤差保持部９へ渡す。

圧縮誤差保持部９は、圧縮誤差計算部５で得られた圧縮誤差を一定期間保持しておく部分である。また、圧縮誤差保持部９は、保持している圧縮誤差の情報を圧縮誤差送信領域決定部１０へ渡したり、圧縮誤差送信領域決定部１０より圧縮誤差を送信すべき領域を通知されると、通知された領域の圧縮誤差を誤差情報転送部１１へ渡すことを行う。

誤差情報転送部１１は、圧縮誤差保持部９より渡された圧縮誤差データと、圧縮誤差の位置情報とを含む誤差情報を、転送先装置に送る部分である。圧縮誤差保持部９は、誤差情報を、転送先装置側で圧縮誤差を正しく表示画像に反映することが可能なように、更新画像転送部６により転送される更新画像情報と区別がつくようにして、転送先装置への転送をデータ転送部８に依頼する。なお、更新画像情報と誤差情報との区別はどのような方法によってもよく、例えば、更新画像情報か誤差情報かを示すフラグ情報を更新画像情報や誤差情報に付加して転送してもよい。

圧縮誤差送信領域決定部１０は、圧縮誤差を送信するか否かを画面の更新領域情報に基づいて判断し、圧縮誤差を送信する領域を決定する部分である。

圧縮誤差を送信する領域は、例えば、最も単純な方法としては、ある領域の画像更新がなされ、その後一定時間更新されていないことにより判断する方法が考えられる。すなわち、短時間表示されるに過ぎない画面については圧縮誤差は送信せず、一定時間以上表示が保持されてはじめて圧縮誤差を送信するようにする。また、その領域の画像が更新されてしまえば、圧縮誤差は送信しない（もはや圧縮誤差を送信する意味がない）。この場合、一定時間更新されていない領域の圧縮誤差を送信すべく、圧縮誤差保持部９に通知する。もちろん、これは一例であり、圧縮誤差を送信する領域を決定する方法としては、他にも種々の方法が可能である。

次に、図４に、本情報転送装置の動作手順の一例を示す。

更新画像のデータを入力すると（ステップＳ１）、これを所定の方式で非可逆圧縮し（ステップＳ２）、圧縮画像データを含む更新画像情報を転送先装置へ転送する（ステップＳ３）。

そして、転送した圧縮画像データを、上記圧縮方法に対応するデコード方法によりデコードし（ステップＳ４）、圧縮の対象となった元の更新画像データと、デコードの結果得られた画像データとから圧縮誤差を求める（ステップＳ５）。

ここで、一定時間の経過を待ち（ステップＳ６）、所定の条件が成立する場合（例えば、一定時間経過しても、上記転送した更新画像情報に係る更新領域が、依然として更新されてない場合）には（ステップＳ７）、圧縮誤差を含む誤差情報を上記転送先装置へ転送する（ステップＳ８）。

なお、ステップＳ３の更新画像情報送信は、ステップＳ４の後に行ってもよいし、ステップＳ５の後に行ってもよい。

図５に、本情報転送装置の動作手順の他の例を示す。各処理は基本的には図４の例と同様であるが、図４の例では、誤差情報を送信するか否かにかかわらずに、デコード及び圧縮誤差計算（ステップＳ４，５）を行ったのに対して、図５の例では、ステップＳ１５で誤差情報を転送することが決定されてから、デコード及び圧縮誤差計算（ステップＳ１６，１７）を行うようにしたものである。

次に、本実施形態の情報転送装置における情報転送動作について具体例を用いて説明する。ここでは、情報転送装置は例えばノート型あるいはラップトップ型等のＰＣであり（デスクトップ型等のＰＣであっても構わない）、転送先装置がプロジェクターである場合を例にとって説明する
情報転送装置たるＰＣでは、ユーザの操作等に伴い画面が更新される。例えば、新しくテキストエディタのウィンドウを２つ開いた場合を想定する。表示画像生成部１により２つのウィンドウ矩形の画像が生成され、ディスプレイ２に表示される。この様子を図６に示す。更新画像情報取得部３は、表示画像生成部１から、２つの矩形を更新画像として取得する。２つの画像は、更新画像圧縮部４により圧縮され、更新画像転送部６により、転送先装置たるプロジェクターへ転送される。

プロジェクター側では、転送された圧縮画像をデコードし表示する。このとき、圧縮に非可逆圧縮が用いられると、圧縮誤差が発生し、元の画像とは多少異なる画像となる。圧縮誤差が発生したプロジェクターで表示される画像のイメージを図７に示す。なお、図７では圧縮誤差の存在する領域をハッチングで示しているが、実際には例えば文字の輪郭に歪が生じたりする。

ＰＣ側では、圧縮した画像をプロジェクター側と同様にデコードし、デコード後の画像データと圧縮前の画像データとの差分を取ることで圧縮誤差を求める。この場合、２つの矩形の誤差画像が得られる。これを図８にハッチング領域で示す。得られた誤差画像は、取得した時刻とともに一定期間保持しておく。誤差画像を保持しておく方法としては、画面サイズ分の誤差画像バッファを用意し、そのバッファへ得られた誤差画像を更新していく方法でもよいし、あるいは得られた誤差画像のリストをそのまま保持しておいてもよい。

圧縮誤差送信領域決定部１０では、画像更新のあった領域を常にチェックしておき、更新がなされてから一定時間後に同じ領域に更なる更新があったかどうかをチェックする。例えば、２つの矩形が更新されて以後、ＰＣの画面更新は無かったものとすると、圧縮誤差送信領域決定部１０は、この２つの領域を、誤差画像を送信すべき領域とする。これにより、保存していた２つの誤差画像が、プロジェクターに送信されることになる。

プロジェクターでは、受信した誤差画像を表示画像に反映することにより、図６に示すような圧縮誤差の無いＰＣでの表示画像と同じ画像が表示されることとなる。

次いで、２つのテキストエディタ矩形の画面更新以後に、図９に示すように、一方の矩形上にのみ新たな更新画像が表示された場合を考える。この場合、圧縮誤差送信領域決定部１０は、一定時間後の誤差送信領域の決定時に、２つの領域のうち、右側の誤差画像は（当該領域が更新されてしまったので）送信の必要がないと判断し、左側の誤差画像の領域のみを誤差画像送信領域とする。これにより、無駄な誤差画像データを送信しなくて済むことになる。

また、図９の２つの領域のうち、右側の新たに表示されたグラフ画像についても、その後の一定時間後に誤差画像を送信するか否か判断されることになる。

なお、例えば１つの矩形領域の下半分が他の画像で更新されている場合には、当該矩形領域について保持している誤差画像の上半分の領域のみを送信する方法も可能である。このように、誤差画像の部分領域を送信することも可能で、無駄に送信するデータ量を減らすことが可能となる。

圧縮誤差送信領域決定部１０で圧縮誤差の送信領域を決定する条件としては、様々なバリエーションが考えられる。

最も単純な条件としては、既に述べたような「画像更新がなされてから画像更新が一定時間更新されていない」というものが考えられる。

さらに、より高度な制御として、画像更新から圧縮誤差転送開始までの時間を可変とする方法が考えられる。圧縮誤差転送までの待ち時間を可変にする際の具体的な制御方法としては、例えば、画像更新が頻繁になされている場合には待ち時間を長くし、画像更新の間隔が広くなった場合には待ち時間を短くするという方法が考えられる。

画像更新の間隔が広い、すなわち画面更新があまりなされていない場合には、一定時間後に圧縮誤差を送る確率は高くなると予想される。結局、圧縮誤差を送ることになるのであれば早く圧縮誤差を送っておく方が、転送先装置側で早く綺麗な（高画質な）画像を見ることができるようになる。

逆に、画像更新の間隔が狭い、すなわち画像更新が頻繁に起きている場合には、圧縮誤差を送信しても直ぐその後に画像更新が行われ、圧縮誤差を送信した意味があまり無くなってしまう可能性が高くなる。よって、圧縮誤差送信までの時間を長めにすることにより、無駄な圧縮誤差の送信を減らす効果を期待できる。

また、更新画像の特性によって待ち時間を変える方法も考えられる。例えば、使われている色数が非常に多い（基準数以上である）場合には、自然画や非常に複雑な絵であり圧縮誤差が目立ちにくいと考え圧縮誤差送信までの時間を長い目にする。逆に、使われている色数が少ない（基準数未満である）場合は、テキストエディタなどで圧縮誤差が目立ちやすいと考え、圧縮誤差送信までの時間を短い目にする。また、例えば、更新画像を生成しているアプリケーションの情報を取得することが可能であれば、その情報を利用することも考えられる。つまり、アプリケーションがエディタであれば早い目に圧縮誤差を送るようにしたり、画像ビューアであれば圧縮誤差送信までの時間を長くしたりすることが考えられる。

（第２の実施形態）
第１の実施形態では、圧縮画像データを転送した後に、所定の条件が成立したならば、圧縮誤差を転送するものであったが、第２の実施形態では、圧縮誤差についても、圧縮して転送するようにしたものである。

図１０に、本発明の第２の実施形態に係る情報転送装置の構成例を示す。

図１０に示されるように、本情報転送装置１００は、表示画像生成部１、ディスプレイ２、更新画像情報取得部３、更新画像圧縮部４、圧縮誤差計算部５、更新画像転送部６、転送画像復元部７、データ転送部８、圧縮誤差保持部９、圧縮誤差送信領域決定部１０、誤差情報転送部１１、圧縮誤差圧縮部１２、圧縮誤差復元１３、残存誤差計算１４を備えている。

すなわち、本構成例は、図１の構成例に、圧縮誤差圧縮部１２、圧縮誤差復元１３、残存誤差計算１４を付加したものである。

以下では、第１の実施形態と相違する点を中心に説明する。

圧縮誤差圧縮部１２は、圧縮誤差保持部９から渡された送信すべき圧縮誤差のデータを圧縮する部分である。圧縮に用いる方式は、特に限定されるものではない。前述したように、本実施形態では、更新画像データの圧縮には、非可逆圧縮を用いる場合を想定しているが、圧縮誤差の圧縮には、可逆圧縮方式を用いてもよいし、非可逆圧縮方式を用いてもよい。また、圧縮誤差の圧縮方式には、更新画像データの圧縮方式と同じ圧縮方式且つ同じ圧縮パラメータを用いてもよいし、更新画像データの圧縮方式と同じ圧縮方式且つ異なる圧縮パラメータを用いてもよいし、更新画像データの圧縮方式と異なる圧縮方式を用いてもよい。

図１０の構成例は、圧縮誤差の圧縮に非可逆圧縮方式を用いる場合の構成例であり、非可逆圧縮方式を用いる場合は、圧縮誤差データの圧縮誤差が生じることとなるので、所定の条件が成立した場合に、圧縮誤差データに対する圧縮誤差を転送するようにしている。

なお、圧縮誤差の圧縮に可逆圧縮方式を用いる場合には、送信する圧縮誤差の圧縮誤差無く送信することができるので、圧縮誤差データに対する圧縮誤差（残存誤差）を転送する必要はない。この場合、図１０の構成例から圧縮誤差復元１３及び残存誤差計算１４を削除して構わない。

圧縮誤差復元１３は、圧縮誤差の圧縮に非可逆圧縮方式を用いる場合に、圧縮された圧縮誤差データをデコードする部分である。

残存誤差計算１４は、圧縮誤差の圧縮に非可逆圧縮方式を用いる場合に、圧縮前の圧縮誤差とデコード後の圧縮誤差との差分（残存誤差）を計算する部分である。計算結果のデータは、圧縮誤差保持部９に渡す。あるいは、計算した結果が、ある閾値より小さい場合には、そのデータを破棄することとしてもよい。

圧縮誤差保持部９では、残存誤差計算１４から渡された残存誤差データを他の圧縮誤差と同様に保持しておき、その情報を圧縮誤差送信領域決定部１０に通知する。そして、圧縮画像データに対する圧縮誤差の転送と同様、所定の条件が成立した場合（例えば、一定期間画像更新が無い場合）には、保存している残存誤差が送信されることとなる。圧縮誤差送信領域決定部１０で残存誤差の送信領域を決定する条件としては、圧縮誤差の送信領域を決定する条件について前述したものと同様に、様々なバリエーションが考えられる。

圧縮誤差の圧縮に可逆圧縮方式を用いる場合の動作手順例は、図４のステップＳ５または図５のステップＳ１７で、圧縮誤差を計算した後に、圧縮誤差を圧縮し、図４のステップＳ８または図５のステップＳ１８で、圧縮した圧縮誤差を送信すればよい。

圧縮誤差の圧縮に非可逆圧縮方式を用いる場合の動作手順例は、例えば、図４のステップＳ５または図５のステップＳ１７で、圧縮誤差を計算した後に、圧縮誤差を圧縮し、図４のステップＳ８または図５のステップＳ１８で、圧縮した圧縮誤差を送信し、図４のステップＳ８または図５のステップＳ１８の後で、図１１の手順を実行すればよい。

すなわち、転送した圧縮した圧縮誤差を、上記圧縮方法に対応するデコード方法によりデコードし（ステップＳ２１）、圧縮前の圧縮誤差と、デコードの結果得られた圧縮誤差とから残存誤差を求める（ステップＳ２２）。

ここで、一定時間の経過を待ち（ステップＳ２３）、所定の条件が成立する場合（例えば、一定時間経過しても、上記転送した更新画像情報に係る更新領域が、依然として更新されてない場合）には（ステップＳ２４）、残存誤差を送信する（ステップＳ２５）。

もちろん、上記手順は一例あり、これ以外の手順も可能である。

なお、上記の残存誤差をさらに圧縮して転送する方法も可能である。また、残存誤差の圧縮に非可逆圧縮方式を用いる場合には、圧縮前の残存誤差と、圧縮後の残存誤差をデコードしたものとの差（再残存誤差と呼ぶものとする）を、所定の条件が成立したときに転送するようにする方法も可能である。また、再残存誤差を圧縮して転送する方法も可能である。

（第３の実施形態）
第１の実施形態では、圧縮画像データを転送した後に、所定の条件が成立したならば、圧縮誤差を転送するものであったが、第２の実施形態では、圧縮誤差についても、圧縮して転送するようにしたものである。

図１２に、本発明の第３の実施形態に係る情報転送装置の構成例を示す。

図１２に示されるように、本情報転送装置１００は、表示画像生成部１、ディスプレイ２、更新画像情報取得部３、更新画像圧縮部４、圧縮誤差計算部５、更新画像転送部６、転送画像復元部７、データ転送部８、圧縮誤差送信領域決定部１０、誤差情報転送部１１、表示画像保持１５、転送画像保持部１６を備えている。

すなわち、本構成例は、図１の構成例から、圧縮誤差保持部９を削除し、表示画像保持１５と転送画像保持部１６を付加したものである。

本実施形態の情報転送装置の動作手順の一例は図５と同様である。

以下では、第１の実施形態と相違する点を中心に説明する。

表示画像保持部１５は、現在表示中の画像を保持しておく部分である。表示画像を保持しておく方法としては、例えば、画面の解像度分のフレームバッファ（図示せず）を用意しておき、画面更新があればその位置に画像を上書きしておけばよい。

転送画像保持部１６は、転送した圧縮済み画像を一定期間保持しておく部分である。一定期間経過後は、圧縮誤差の送信に用いられることがないと判断し、保持している転送画像を破棄する。また、画像領域を完全に含むような新たな転送画像が保存された場合にも、圧縮誤差の送信に用いられることがないと判断し、破棄してもよい。これにより、より利用するメモリ量を少なくすることができる。圧縮誤差計算部５から指定領域の転送画像を要求されるとその領域に関する転送画像を渡す。

本実施形態では、圧縮誤差送信領域決定部１０は、圧縮誤差の送信を決定した領域を圧縮誤差計算部５に通知する。通知を受けた圧縮誤差計算部５は、その領域の表示画像を表示画像保持１５から、転送済みの画像を転送画像保持部１６から取得する。転送画像は圧縮された画像のため、転送画像復元部７を用いて画像を復元する。得られた表示画像と復元画像との差分を求めることにより、圧縮誤差を得る。得られた圧縮誤差は、誤差情報転送部１１に渡す。

本実施形態においては、更新のあった画像全てについて圧縮画像の復元や圧縮誤差の計算をする必要が無く、圧縮誤差の転送を行うことが決定された領域のみの圧縮誤差を求めるため処理量が少なくて済む。

なお、第２の実施形態は、第１の実施形態に、圧縮誤差を圧縮して転送する機能を設けたものであるが、第３の実施形態に、第２の実施形態の圧縮誤差を圧縮して転送する機能を設けた実施形態ももちろん可能である。

なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る情報転送装置の構成例を示す図 本発明の各実施形態の情報転送装置を利用したシステムの構成例を示す図 本発明の各実施形態の情報転送装置を利用したシステムの他の構成例を示す図 同実施形態に係る情報転送装置の動作手順の一例を示すフローチャート 同実施形態に係る情報転送装置の動作手順の他の例を示すフローチャート 同実施形態に係る情報転送装置のディスプレイに表示される画像の一例を示す図 プロジェクターで表示される圧縮誤差が発生した画像の一例を示す図 図６の画像と図７の画像との間の誤差画像について説明するための図 同実施形態に係る情報転送装置のディスプレイに表示される画像の一部分の更新について説明するための図 本発明の第２の実施形態に係る情報転送装置の構成例を示す図 同実施形態に係る情報転送装置の動作手順の一例を示すフローチャート 本発明の第３の実施形態に係る情報転送装置の構成例を示す図

符号の説明

１…表示画像生成部、２…ディスプレイ、３…更新画像情報取得部、４…更新画像圧縮部、５…圧縮誤差計算部、６…更新画像転送部、７…転送画像復元部、８…データ転送部、９…圧縮誤差保持部、１０…圧縮誤差送信領域決定部、１１…誤差情報転送部、１２…圧縮誤差圧縮部、１３…圧縮誤差復元、１４…残存誤差計算、１５…表示画像保持、１６…転送画像保持部

Claims (12)

1. 表示画面内の全部又は一部の領域の画像更新を行う更新手段と、
   前記画像更新に係る前記表示画面内の画像更新位置及びその更新画像を取得する取得手段と、
   前記更新画像を圧縮する更新画像圧縮手段と、
   前記圧縮により得られた圧縮後更新画像及び前記画像更新位置を含む更新画像情報を転送先装置へ転送する第１の転送手段と、
   前記圧縮後更新画像を、前記圧縮に係る圧縮方式に対応するデコード方式でデコードするデコード手段と、
   圧縮の対象となった元の更新画像と、該元の更新画像に係る前記圧縮後更新画像をデコードして得られた更新画像とに基づいて、それらの間の圧縮誤差を計算する計算手段と、
   前記圧縮誤差を含む誤差情報を前記転送先装置へ転送することの決定を行う決定手段と、
   この決定手段により決定された前記誤差情報を前記転送先装置へ転送する第２の転送手段とを備え、
   前記決定手段は、前記誤差情報を未だ転送しておらず、且つ、表示画面内における前記誤差情報に係る前記更新画像の表示領域が、当該更新画像に係る更新以降、基準時間以上にわたって画像更新されていない場合に、前記圧縮誤差を転送すると決定することを特徴とする情報転送装置。
2. 前記決定手段は、前記誤差情報に係る前記更新画像に関連する属性情報に基づいて前記基準時間を調整する基準時間調整手段を含むことを特徴とする請求項１に記載の情報転送装置。
3. 前記基準時間調整手段は、前記更新手段により前記画像更新が頻繁になされている場合には前記基準時間を長く調整し、そうでない場合には前記基準時間を短く調整することを特徴とする請求項２に記載の情報転送装置。
4. 前記基準時間調整手段は、前記誤差情報に係る前記更新画像に使われている色数が基準数以上である場合には前記基準時間を長く調整し、そうでない場合には前記基準時間を短く調整することを特徴とする請求項２に記載の情報転送装置。
5. 前記更新手段が１又は複数のアプリケーションプログラムによるものである場合に、前記基準時間調整手段は、前記誤差情報に係るアプリケーションプログラムが画像ビューアである場合には前記基準時間を長く調整し、エディタである場合には前記基準時間を短く調整することを特徴とする請求項２に記載の情報転送装置。
6. 前記デコード手段及び前記計算手段は、前記決定手段による決定に先立って、前記デコード及び前記計算を行うことを特徴とする請求項１に記載の情報転送装置。
7. 前記デコード手段及び前記計算手段は、前記決定手段により前記転送先装置へ転送すると決定された誤差情報についてのみ、前記デコード及び前記計算を行うことを特徴とする請求項１に記載の情報転送装置。
8. 前記圧縮誤差を圧縮する圧縮誤差圧縮手段を更に備え、
   前記第２の転送手段は、前記決定手段により決定された前記誤差情報について、前記圧縮誤差圧縮手段により得られた圧縮後圧縮誤差を含む誤差情報を前記転送先装置へ転送することを特徴とする請求項１に記載の情報転送装置。
9. 前記圧縮誤差圧縮手段は、前記更新画像圧縮手段が前記更新画像を圧縮する際に用いる圧縮方式とは異なる圧縮方式又は同じ圧縮方式且つ異なる圧縮パラメータを用いて、前記圧縮誤差を圧縮することを特徴とする請求項１に記載の情報転送装置。
10. 前記圧縮後圧縮誤差を、前記圧縮に係る圧縮方式に対応するデコード方式でデコードする手段と、
    圧縮の対象となった元の圧縮誤差と、該元の圧縮誤差に係る前記圧縮後圧縮誤差をデコードして得られた圧縮誤差とに基づいて、それらの間の圧縮誤差を計算する手段と、
    前記圧縮誤差間の圧縮誤差を含む残存情報を前記転送先装置へ転送することの決定を行う手段と、
    この手段により決定された前記残存情報を前記転送先装置へ転送する手段とを更に備えたことを特徴とする請求項８または９に記載の情報転送装置。
11. 表示画面内の画像更新に係る前記表示画面内の画像更新位置及びその更新画像を取得する取得ステップと、
    前記更新画像を圧縮する更新画像圧縮ステップと、
    前記圧縮により得られた圧縮後更新画像及び前記画像更新位置を含む更新画像情報を転送先装置へ転送する第１の転送ステップと、
    前記圧縮後更新画像を、前記圧縮に係る圧縮方式に対応するデコード方式でデコードするデコードステップと、
    圧縮の対象となった元の更新画像と、該元の更新画像に係る前記圧縮後更新画像をデコードして得られた更新画像とに基づいて、それらの間の圧縮誤差を計算する計算ステップと、
    前記圧縮誤差を含む誤差情報を前記転送先装置へ転送することの決定を行う決定ステップと、
    この決定ステップにより決定された前記誤差情報を前記転送先装置へ転送する第２の転送ステップとを有し、
    前記決定ステップは、前記誤差情報を未だ転送しておらず、且つ、表示画面内における前記誤差情報に係る前記更新画像の表示領域が、当該更新画像に係る更新以降、基準時間以上にわたって画像更新されていない場合に、前記圧縮誤差を転送すると決定するものであることを特徴とする情報転送方法。
12. 情報転送装置としてコンピュータを機能させるためのプログラムにおいて、
    前記プログラムは、
    表示画面内の画像更新に係る前記表示画面内の画像更新位置及びその更新画像を取得する取得ステップと、
    前記更新画像を圧縮する更新画像圧縮ステップと、
    前記圧縮により得られた圧縮後更新画像及び前記画像更新位置を含む更新画像情報を転送先装置へ転送する第１の転送ステップと、
    前記圧縮後更新画像を、前記圧縮に係る圧縮方式に対応するデコード方式でデコードするデコードステップと、
    圧縮の対象となった元の更新画像と、該元の更新画像に係る前記圧縮後更新画像をデコードして得られた更新画像とに基づいて、それらの間の圧縮誤差を計算する計算ステップと、
    前記圧縮誤差を含む誤差情報を前記転送先装置へ転送することの決定を行う決定ステップと、
    この決定ステップにより決定された前記誤差情報を前記転送先装置へ転送する第２の転送ステップとをコンピュータに実行させるものであるとともに、
    前記決定ステップは、前記誤差情報を未だ転送しておらず、且つ、表示画面内における前記誤差情報に係る前記更新画像の表示領域が、当該更新画像に係る更新以降、基準時間以上にわたって画像更新されていない場合に、前記圧縮誤差を転送すると決定するものであることを特徴とするプログラム。

Images