JP5241030B2 - 画像送信装置、方法およびプログラム、画像出力装置ならびに画像送信システム - Google Patents

Description

本発明は、部分的な圧縮符号化画像データの送信技術に関する。

特許文献１のシステムは、画像を表示するための表示部と、表示部に画像を表示するために画像を一時的に格納するフレームメモリ領域と、表示部に表示するための画像がフレームメモリ領域に格納されているか否かを判断する判断部と、判断部によって画像がフレームメモリ領域に格納されていないと判断された場合、サーバー装置に対して画像の送信を要求する画像要求部と、サーバー装置から送信されてきた画像を受信する画像受信部と、画像受信部によって受信した画像をフレームメモリ領域に格納するメモリ制御部と、フレームメモリ領域に格納された画像を表示部に表示するよう制御する表示制御部とを備える。

特許文献２のシステムは、表示部に表示されている画像を拡大表示するための指示が所定の倍率以上であるのか否かを判断し、所定の倍率以上の場合、サーバー装置に対して所定の倍率に拡大したサーバー拡大画像の送信を要求し、サーバー装置から送信されてきたサーバー拡大画像を受信し、受信したサーバー拡大画像を、表示部に画像を表示するために画像を一時的に格納するフレームメモリ領域に格納し、所定の倍率未満の場合、フレームメモリ領域に格納された画像を所定倍率で拡大したクライアント拡大画像を算出し、フレームメモリ領域に格納されたサーバー拡大画像または算出されたクライアント拡大画像を表示部に表示するよう制御する。

特開２００７−２００１４５号公報 特開２００７−２１３２７３号公報

特許文献１によると、サーバベースコンピューティングシステムにおいて、クライアント装置のフレームメモリ領域に格納されていない画面が生成されたときのみ、クライアントからサーバに対して画像の送信要求を行うことで、クライアント装置においてＣＰＵや通信の負荷を軽減することができるとする。しかし、クライアント装置にて何らかの操作によって画面が変更される場合には、画面の一部だけが書き換えられるケースが多い。従来の技術においては画面の一部だけが書き換えられた場合でも全画面分のデータを通信させ、ＣＰＵや通信の負荷軽減の効率が悪くなってしまうという問題がある。

本発明は、クライアント装置での画面変更に伴う処理やサーバ装置からの通信の負荷軽減を実現する。

本発明は、変更前の画像と変更後の画像の差分を示す差分画像を特定する差分画像特定部と、差分画像を包含する１または複数の矩形のパターンのうち、差分画像の圧縮符号化および圧縮符号化された差分画像の送信を最適化するパターンを決定するパターン決定部と、パターン決定部の決定したパターンを構成する個々の矩形を圧縮符号化単位として差分画像を圧縮符号化する圧縮符号化部と、圧縮符号化された差分画像を送信する送信部と、を備える画像送信装置を提供する。

好ましくは、画像出力装置が現在出力している変更前の画像から所望の変更後の画像の出力への変更指示を受け付ける変更指示部を備え、差分画像特定部は、画像出力装置が現在出力している変更前の画像から所望の変更後の画像の差分を示す差分画像を特定し、送信部は圧縮符号化された差分画像を画像出力装置に送信する。

好ましくは、送信部は差分画像の位置情報を画像出力装置に送信する。

本発明は、コンピュータが、変更前の画像と変更後の画像の差分を示す差分画像を特定するステップと、差分画像を包含する１または複数の矩形のパターンのうち、差分画像の圧縮符号化および圧縮符号化された差分画像の送信を最適化するパターンを決定するステップと、決定したパターンを構成する個々の矩形を圧縮符号化単位として差分画像を圧縮符号化するステップと、圧縮符号化された差分画像を送信するステップと、を実行する画像送信方法を提供する。

この画像送信方法をコンピュータに実行させるための画像送信プログラムも本発明に含まれる。

本発明は、上記の画像送信装置から差分画像および差分画像の位置情報を受信する受信部と、画像を出力する出力部と、差分画像を復号化および伸長する伸長部と、変更前の画像のうち差分画像の位置情報で示される部分を復号化および伸長した差分画像で置換して出力するよう出力部を制御する制御部と、を備える画像出力装置を提供する。

本発明は、変更前の画像と変更後の画像の差分を示す差分画像を特定する差分画像特定部と、差分画像を包含する１または複数の矩形のパターンのうち、差分画像の圧縮符号化および圧縮符号化された差分画像の送信を最適化するパターンを決定するパターン決定部と、パターン決定部の決定したパターンを構成する個々の矩形を圧縮符号化単位として差分画像を圧縮符号化する圧縮符号化部と、圧縮符号化された差分画像および差分画像の位置情報を送信する送信部と、差分画像および差分画像の位置情報を受信する受信部と、画像を出力する出力部と、差分画像を復号化および伸長する伸長部と、変更前の画像のうち差分画像の位置情報で示される部分を復号化および伸長した差分画像で置換して出力部に出力する制御部と、を備える画像送信システムを提供する。

本発明によると、クライアントで必要とされる部分の画像のデータを圧縮符号化して送信するため、クライアントは受信した部分画像を伸長して表示を更新すれば足り、クライアントの表示処理の負荷が少なくて済む。

画像表示システムの概略構成図 クライアント装置１の内部構成を示す図 サーバ装置２の内部構成を示す図 第１実施形態に係る画像表示処理のフローチャート 画面表示に関する入力操作の一例を示す図 変更前画像の一例を示す図 変更後画像の一例を示す図 差分画像の一例を示す図 第２実施形態に係る画像表示処理のフローチャート 差分のある網目の一例を示す図 差分がない小さな矩形の一例を示す図 差分がない小さな矩形を大きい２矩形に分割する一例を示す図 面積が最も切り出されるパターンの一例を示す図

図１は本発明の好ましい実施形態に係る画像表示システムの概略構成を示す。このシステムは、クライアント装置１とサーバ装置２を含む。クライアント装置１とサーバ装置２は、ネットワークで接続されている。ネットワークは、移動体通信網、インターネット、ＬＡＮ、赤外線通信やBluetoothなどの無線ネットワーク、ＵＳＢケーブルなどの有線ネットワークなどの公知の通信手段、あるいはそれらのうちの一部または全部の組み合わせで構築されることができる。また、ネットワークとは、オンデマンド接続のデータ通信経路であれば足り、常時通信可能でなければならないものではない。

図２はクライアント装置１の内部構成を示す。クライアント装置１は、表示装置１２（液晶ディスプレイとそのドライバなど）、入力装置１３（キー、ボタン、スイッチ、タッチパネルなど）、制御装置１５（ＣＰＵ，ＲＡＭ，ＲＯＭなど撮影設定処理、検査処理、制御処理に必要な回路）、記憶装置１６（ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＳＤＲＡＭ、ＶＲＡＭ、メモリカードなど）、通信装置１７（Ir,Bluetooth, LANネットワークアダプタなど）などを備えている。クライアント装置１は、携帯電話やＰＤＡやモバイルパソコンなど公知の携帯情報端末で構成することができる。

図３はサーバ装置２の内部構成を示す。サーバ装置２は、処理装置２１（ＣＰＵ，ＲＡＭ，ＲＯＭなど、演算処理および各部の制御処理に必要な回路）、入力装置２２（キー、ボタン、スイッチ、タッチパネルなど）、記憶装置２３（ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＳＤＲＡＭ、ＶＲＡＭ、メモリカードなど）、表示装置２４（液晶ディスプレイとそのドライバなど）、通信装置２５（Ir,Bluetooth, LANネットワークアダプタなど）などを備えている。

サーバ装置２は、クライアント装置１からの所望の画像の配信要求に基づき、要求で示された画像の識別情報（ハイパーリンク、画像ファイル名など）に対応する圧縮記録画像を記憶装置２３から取得する。圧縮記録画像は、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ（動画）などの圧縮方式に従い、オリジナル画像データが複数領域に分割されて個別に圧縮処理を施された圧縮画像データである。ＪＰＥＧ圧縮の場合、オリジナル画像データを離散コサイン変換（ＤＣＴ）し、量子化を行う。ベースライン方式の場合、量子化データをハフマン符号化により符号化して符号化データを得る。ＪＰＥＧ２０００圧縮の場合、オリジナル画像データを離散ウェーブレット変換（ＤＷＴ）し、量子化およびEBCOT方式によるエントロピー符号化（ビットプレーンを単位としたエントロピー符号化）を行う。

ＪＰＥＧ画像ファイルの構造は以下の通りである。まず、ＪＰＥＧデータの開始を示すＳＯＩマーカー（２バイトの特定のデータ列）の後、ＤＱＴやＤＨＴなどと呼ばれる圧縮のパラメータなどを表すセグメントがある。セグメントの先頭には、セグメント種類を表す２バイトのマーカーの後、２バイトのセグメント長が記載されているため、セグメントのデータが不要であれば読みとばすことも可能である。セグメントの中にはなくてもよいものもある。いくつかのセグメントの後、ＳＯＳマーカーがあり、それ以降が画像データ本体となる。

ＳＯＳマーカー以降は、ＭＣＵと呼ばれるマクロブロック単位で画像データが格納されている。ＪＰＥＧ方式では、ＭＣＵは８×８画素単位または１６×１６画素単位となる。具体的には、ＳＯＦセグメントの中に、色数とサンプリング比の記述があり、そこを参照することで画素単位を判定できる。例えば、色数が１のときや色数が３でサンプリング比が４：４：４のときはＭＣＵは８×８画素単位であり、色数が３でサンプリング比が４：２：０のときはＭＣＵは１６×１６画素単位である。

組み合わせの色数が３でサンプリング比が４：２：０のとき、色数はＹ，Ｃｂ，Ｃｒの３色であれば、元画像１６×１６画素のマクロブロックから、Ｙの８×８画素ブロック４つと、ＣｂとＣｒをそれぞれサンプリング（または縮小）した８×８画素のブロック２つの計６つのブロックデータでＭＣＵが構成される。

個々のブロックのデータでは、低周波成分（左上）から高周波成分（右下）に至るジグザグ順序に沿った０番から６３番までの６４個のＤＣＴ（離散コサイン変換）係数の量子化代表値が記述されている。すなわち６４個の各ＤＣＴ係数は、所定の量子化表に対応する量子化幅あるいは量子化ステップで除算され、その値の小数以下の桁を丸めることで、各ＤＣＴ係数が量子化されている。

量子化されたＤＣＴ係数はハフマン符号などで可変長符号化（エントロピー符号化）されているため、「何バイト後にブロックが終了する」というような形で出力に不要なブロックを読みとばすことはできない。また、ブロックのＤＣＴ係数で、ある番号以降のＤＣＴ係数が全て０である場合は、ＥＯＢマーカーを記述することで、その番号以降のＤＣＴ係数を記述しなくて済む。

ＥＯＢは、ブロック内の後続のＤＣＴ係数の量子化代表値は全てゼロであるという意味のコードである。ＤＣＴを行って得られるＤＣＴ係数テーブルにおいては、左上に画質の劣化が顕在化しやすい低い空間周波数のＤＣＴ係数が配置され、右下に向かうほど画質の劣化が顕在化しにくい高い空間周波数のＤＣＴ係数が配置される。量子化代表値は、左上から右下に向かってジグザグの順序でエントロピー符号化されることから、この順序がジグザグ順序と呼ばれる。従って、このジグザグ順序の順にエントロピー復号化を行うと、低い空間周波数のＤＣＴ係数を表す量子化代表値ほど先に復元される。そして、ゼロの量子化代表値の列の先頭には、ＥＯＢが付加される。

サーバ装置２は、取得した圧縮画像をクライアント装置１に送信する。クライアント装置１は、受信した画像を復号化および伸長し、この画像の全体あるいは一部を表示装置１２に表示したり、外部のプリンタに転送したりするなどして画像を出力することができる。

図４は画像表示システムの実行する画像表示処理のフローチャートを示す。この処理のＳ１〜６をクライアント装置１の制御装置１５に実行させるためのプログラムおよびＳ１１〜１５をサーバ装置２の処理装置２１に実行させるためのプログラムは、それぞれ記憶装置１６および記憶装置２３に記憶されている。

Ｓ１では、クライアント装置１は、画面表示に関する入力操作を入力装置１３を介して受け付ける。画面表示に関する入力操作は、ドロップダウンリストの表示開始の指示、テキストボックス入力開始指示、テキストボックスへのテキスト入力指示、ハイパーリンクのポイント（選択）指示、アイコンの選択指示、ボタンの押下指示、ダイアログボックスの表示指示、メッセージボックスの表示指示、アイコンの消去指示、アイコンのハイライト指示、ポップアップウィンドウの表示指示、ツリーの展開指示といったＧＵＩ操作に関する入力操作を含む（図５参照）。あるいは、画面表示に関する入力操作は、画面のスクロール、拡大、縮小といった画面全体の変更に関する入力操作を含む。あるいは、画面表示に関する入力操作は、上記のようなＧＵＩ操作の他、各種の画面の一部の変更に関する入力操作を含む。

Ｓ２では、クライアント装置１は、Ｓ１で受け付けた画面表示に関する入力操作が画面表示の変更に関する入力操作であるか否かを判別する。クライアント装置１は、当該操作が画面表示の変更に関する入力操作であると判別した場合、さらに、当該入力操作が画面全体の変更に関する入力操作か画面の一部の変更に関する入力操作であるかを判別する。クライアント装置１は、上記画面表示に関する入力操作が画面の一部の変更に関する入力操作であると判別した場合、Ｓ３に進む。

なお、クライアント装置１は、上記画面表示に関する入力操作が画面の全部の変更に関する入力操作であると判別した場合、入力操作に対応する画像全体の送信をサーバ装置２に要求する。

Ｓ３では、クライアント装置１は、Ｓ１で受け付けた画面表示に関する入力操作によって変更すべき部分の位置を示す情報（変更位置情報）および入力操作の種別とともに画像の送信要求をサーバ装置２に送信する。一例として変更位置情報は、クリック入力があったときのポインタの位置に最も近接するテキストボックス、ボタン、アイコンの位置座標などを含む。変更位置の座標は矩形の対角点を含んでもよい。一例として入力操作の種別は、アイコンクリック、ドロップダウンリスト選択、テキストボックステキストなどを含む。サーバ装置２はこの変更位置情報と入力操作の種別と要求を受信すると、後述のＳ１１〜Ｓ１５を実行し、部分画像情報をクライアント装置１に送信する。部分画像情報は変更部分の画像である差分画像と当該差分画像を配置すべき位置を示す座標とを含む。部分画像情報は、ＪＰＥＧファイルやＥｘｉｆファイルなどの公知のファイル形式で記述されることができる。例えば、Ｅｘｉｆファイルのタグ情報に座標が記録され、Ｅｘｉｆファイルの圧縮画像データとしてＪＰＥＧ圧縮符号化された差分画像が記録される。このＥｘｉｆファイルが部分画像情報としてクライアント装置１に送信される。

Ｓ４では、クライアント装置１は、サーバ装置２から送信された部分画像情報を受信する。

Ｓ５では、クライアント装置１は、受信した部分画像情報から差分画像と座標を分離する。例えば、画像ファイルのヘッダやタグ情報から座標を取得し、画像ファイルの本体から差分画像を取得する。クライアント装置１は、差分画像を復号化および伸長する。

Ｓ６では、クライアント装置１は、差分画像を現在表示装置１２に表示されている画像のうちＳ５で分離した座標の示す画像部分を差分画像に置換する。

Ｓ１１では、サーバ装置２は、Ｓ３におけるクライアント装置１からの変更位置情報および入力操作の種別を含む送信要求を受信する。

Ｓ１２では、サーバ装置２は、以前にクライアント装置１に送信した画像のうち直近に送信したもの（変更前画像）を記憶装置２３から特定する。サーバ装置２は、クライアント装置１から受信した変更位置情報と入力操作の種別と変更前画像とに基づき、部分画像情報を作成する。

具体的には、まずサーバ装置２は、クライアント装置１から通知された変更位置情報と入力操作の種別に対応する変更後画像を記憶装置２３から取得する。例えば、入力操作がドロップダウンリスト選択であれば、対応する変更後画像は変更位置情報にドロップダウンリストが配置されその他の部分は変更前画像と同じ内容の画像である。入力操作がハイパーリンクへのポインタセットであれば、対応する変更後画像は、変更位置情報に下線の付与されたハイパーリンクと指形のポインタが配置されその他の部分は変更前画像と同じ内容の画像である。あるいは、入力操作がヘルプメニューへのポインタセットであれば、対応する変更後画像は、変更位置情報にヘルプメニューのメッセージボックスが配置されその他の部分は変更前画像と同じ内容の画像である。図６は変更前画像の一例、図７は変更後画像の一例を示す。

サーバ装置２は、変更前画像と変更後画像とを比較し、両者の間で異なる画像部分である差分画像を特定する。図８は差分画像の一例を示す。この図に示すように、差分画像は連続しない異なる２以上の領域を含んでもよいが、１つの領域だけを含んでもよい。

サーバ装置２は、差分画像を包含する最小面積の矩形（長方形）もしくはその集合である包含矩形群のパターンを決定する。サーバ装置２からクライアント１への画像送信時、矩形はマクロブロックすなわち画像圧縮の単位となる。パターンを構成する各矩形の縦横サイズは全て同一であれば足り、ある所定の最小単位を下回らない限り任意のサイズである。各矩形の所定の最小単位は、ＪＰＥＧ方式で採用されている標準のマクロブロックのサイズ、すなわち８×８画素単位または１６×１６画素単位のうち任意の一方とする。

サーバ装置２は、包含矩形群のパターンの中から、以下の（式）に従って応答時間を最小にする包含矩形群のパターンである最適矩形群を特定する。

（式）応答時間＝Ｃ１×Ｓ（面積）×通信速度＋Ｃ２×Ｎ（矩形数）＋本処理の時間
ここで、Ｃ１およびＣ２は記憶装置２３に保存された固定値であるが、Ｃ２はクライアント装置１のＪＰＥＧ画像処理能力（機種や機器構成により定まる）に依存する値である。また面積とは、包含矩形群に含まれる全てのマクロブロックの総面積である。通信速度とは、クライアント装置１とサーバ装置２を接続するネットワーク上で画像を通信する速度である。

包含矩形群のパターンが差分画像でない画像を包含する面積が多ければそれだけクライアント装置１に不要な画像データを伝送することになる。逆に、包含矩形群のパターンが変更部分でない画像を包含する面積が少なければそれだけクライアント装置１に不要な画像データを伝送しないことになる。（式）の「Ｃ１×面積×通信速度」の値は、不要な部分も含めた画像の伝送量を意味する。

一方、包含矩形群のパターンに含まれる矩形の数が多いと、クライアント装置１での矩形ごとの伸長処理のルーチンの実行回数が増加することになる。これは、矩形が画像の圧縮／伸長処理の単位とされるからである。（式）の「Ｃ２×矩形数」の値は、伸長処理のルーチンの実行回数を意味する。

包含矩形群のパターンを構成する個々の矩形が変更部分でない不要画像を包含する面積が多ければ、個々の矩形のサイズが大きくなる一方矩形数は減る。逆に、矩形数を増やせば、不要画像を包含する面積は減るが、ルーチンの回数は増える。つまり、不要画像の伝送量と伸長処理のルーチンの実行回数は、トレードオフの関係にある。応答時間を最小化するＳおよびＮは、２次の最適化問題の解法で求めることができる。なお、応答時間を最小化する解を求めるのではなく、圧縮符号化された差分画像の送信データ量を最適化するような解を求めてもよい。

Ｓ１３では、サーバ装置２は、Ｓ１２で特定された最適矩形群を構成する個々の矩形をマクロブロックの単位に設定する。

Ｓ１４では、サーバ装置２は、Ｓ１３で設定された単位で、差分画像を圧縮符号化する。

Ｓ１５では、サーバ装置２は、Ｓ１４で圧縮符号符号化された差分画像と当該差分画像の座標を含む部分画像情報をクライアント装置１に送信する。なお、サーバ装置２は、画像全体の送信要求を受けた場合、あるいは初めて送信要求を受信した場合は、要求された画像の全体を送信する。また、クライアント装置１とサーバ装置２の双方で共通の符号化／復号化規則（ハフマン符号表など）を記憶しておけば、サーバ装置２が画像の変更部分とともにいちいち規則をクライアント装置１に送る必要がない。

以上のように、サーバ装置２はクライアント装置１が必要とする部分の画像のデータを圧縮符号化して送信するため、クライアント装置１は受信した部分画像を伸長して表示を更新すれば足り、クライアント装置１の表示処理の負荷が少なくて済む。また、サーバ装置２はクライアント装置１が必要とする部分の画像のデータの圧縮と伝送時間が最適となるような単位で圧縮符号化して送信するため、サーバ装置２およびクライアント装置１の通信の負荷が少なくて済む。

＜第２実施形態＞
図９は画像表示システムの実行する画像表示処理のフローチャートを示す。この処理のＳ２１〜２５をクライアント装置１の制御装置１５に実行させるためのプログラムおよびＳ３１〜３５をサーバ装置２の処理装置２１に実行させるためのプログラムは、それぞれ記憶装置１６および記憶装置２３に記憶されている。

Ｓ２１では、クライアント装置１は、画面表示に関する入力操作を入力装置１３を介して受け付ける。これはＳ１と同様である。

Ｓ２２では、クライアント装置１は、上記画面表示に関する入力操作に対応する画像の送信をサーバ装置２に要求する。この要求は、上記画面表示に関する入力操作によって変更すべき部分の位置を示す情報（変更位置情報）および入力操作の種別を含む。

Ｓ２３では、クライアント装置１は、サーバ装置２から送信された部分画像情報を受信する。

Ｓ２４では、クライアント装置１は、受信した部分画像情報から差分画像と座標を分離する。

Ｓ２５では、クライアント装置１は、差分画像を現在表示装置１２に表示されている画像のうちＳ２４で分離した座標の示す画像部分を差分画像に置換する。

Ｓ３１はＳ１１と同様である。

Ｓ３２では、サーバ装置２は、Ｓ２１で受け付けた画面表示に関する入力操作が画面表示の変更に関する入力操作であるか否かを判別する。サーバ装置２は、当該操作が画面表示の変更に関する入力操作であると判別した場合、さらに、サーバ装置２は、当該入力操作が画面全体の変更に関する入力操作か画面の一部の変更に関する入力操作であるかを判別する。サーバ装置２は、上記入力操作が画面の一部の変更に関する入力操作であると判別した場合、Ｓ３３に進む。

Ｓ３３はＳ１２およびＳ１３と同様である。またＳ３４〜Ｓ３５はＳ１４〜Ｓ１５と同様である。ただし、Ｓ３２でサーバ装置２が、上記入力操作が画面の全部の変更に関する入力操作であると判別した場合、サーバ装置２は入力操作に対応する画像全体をクライアント装置１に送信する。このように、サーバ装置２が入力操作に対応する画像の変更が画像の一部に対するか全部に対するかを判定してもよい。

＜第３実施形態＞
サーバ装置２は、包含矩形群のパターンの中から、応答時間を最小にする包含矩形群のパターンである最適矩形群を次のように特定することができる。

まず、サーバ装置２は、画像全体で各網目（網目サイズは例えば１６×１６画素）を作成し、差分がある網目すなわち差分画像を保存する。なお、各網目で偶数行を先にスキャンして、奇数行を後にスキャンすることで処理時間を削減できる。

次にサーバ装置２は、差分画像に相当する網目を矩形で囲む（図１０）。

次にサーバ装置２は、大きな矩形の４辺に沿って、差分がない小さな矩形（横辺１６画素、縦辺≧３２画素）を探索する。デフォルトとして、差分がない矩形（横辺１６画素、縦辺１６画素）は探索の対象としない。

例えば、図１１の淡色部分が探索された差分がない小さな矩形である。

次にサーバ装置２は、差分がない部分の矩形に基づいて、大きい矩形を２矩形に分ける。２矩形に分ける全てのパターンは図１２（ａ）〜（ｃ）の通りである。

サーバ装置２が横辺で大きい矩形を２つの小さい矩形に分けると、図１２（ａ）・（ｂ）のようになる。サーバ装置２が縦辺で大きい矩形を２つの小さい矩形に分けると図１２（ｃ）のようになる。サーバ装置２は２つの小さい矩形に分けるパターンのなかで、面積が最も切り出されるパターンを選択する。例えば、図１３のように２つの小さい矩形に分けると、（ａ）のパターンを選択する。

次にサーバ装置２は、面積が最も切り出されるパターンに従って画像を分割する。分割したら、２つの新しい矩形ができる。そして、サーバ装置２は、差分がない小さな矩形を探索する処理に戻り、上記と同様この新しい矩形を引き続き２つの矩形に分割できるか判断することを、面積が削減できなくなるまで繰り返す。

１：クライアント装置、２：サーバ装置

Claims (11)

1. 変更前の画像と変更後の画像の差分を示す差分画像を特定する差分画像特定部と、
   前記差分画像を包含する複数の矩形のパターンのうち、前記差分画像の圧縮符号化および前記圧縮符号化された差分画像の送信を最適化する矩形のパターンを決定するパターン決定部と、
   前記パターン決定部の決定したパターンを構成する個々の矩形を圧縮符号化単位として前記差分画像を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された差分画像を送信する送信部と、
   を備える画像送信装置。
2. 画像出力装置が現在出力している変更前の画像から所望の変更後の画像の出力への変更指示を受け付ける変更指示部を備え、
   前記差分画像特定部は、前記画像出力装置が現在出力している変更前の画像から前記所望の変更後の画像の差分を示す差分画像を特定し、
   前記送信部は前記圧縮符号化された差分画像を前記画像出力装置に送信する請求項１に記載の画像送信装置。
3. 前記送信部は前記差分画像の位置情報を前記画像出力装置に送信する請求項２に記載の画像送信装置。
4. コンピュータが、
   変更前の画像と変更後の画像の差分を示す差分画像を特定するステップと、
   前記差分画像を包含する複数の矩形のパターンのうち、前記差分画像の圧縮符号化および前記圧縮符号化された差分画像の送信を最適化する矩形のパターンを決定するステップと、
   前記決定したパターンを構成する個々の矩形を圧縮符号化単位として前記差分画像を圧縮符号化するステップと、
   前記圧縮符号化された差分画像を送信するステップと、
   を実行する画像送信方法。
5. 請求項４に記載の画像送信方法をコンピュータに実行させるための画像送信プログラム。
6. 請求項３に記載の画像送信装置から前記差分画像および前記差分画像の位置情報を受信する受信部と、
   画像を出力する出力部と、
   前記差分画像を復号化および伸長する伸長部と、
   前記変更前の画像のうち前記差分画像の位置情報で示される部分を前記復号化および伸長した差分画像で置換して出力するよう前記出力部を制御する制御部と、
   を備える画像出力装置。
7. 変更前の画像と変更後の画像の差分を示す差分画像を特定する差分画像特定部と、
   前記差分画像を包含する複数の矩形のパターンのうち、前記差分画像の圧縮符号化および前記圧縮符号化された差分画像の送信を最適化する矩形のパターンを決定するパターン決定部と、
   前記パターン決定部の決定したパターンを構成する個々の矩形を圧縮符号化単位として前記差分画像を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された差分画像および前記差分画像の位置情報を送信する送信部と、
   前記差分画像および前記差分画像の位置情報を受信する受信部と、
   画像を出力する出力部と、
   前記差分画像を復号化および伸長する伸長部と、
   前記変更前の画像のうち前記差分画像の位置情報で示される部分を前記復号化および伸長した差分画像で置換して前記出力部に出力する制御部と、
   を備える画像送信システム。
8. 前記パターン決定部は、前記差分画像の圧縮符号化および前記圧縮符号化された差分画像の送受信の応答時間を最適化する矩形のパターンを決定する請求項１〜３のいずれか１項に記載の画像送信装置。
9. 前記応答時間を最適化する矩形のパターンは、前記矩形の総面積Ｓに依存する画像データの伝送量と、前記矩形の数Ｎに依存する前記圧縮符号化された差分画像の伸張処理のルーチンの実行回数と、を変数とする２次最適化問題の解である請求項８に記載の画像送信装置。
10. 前記パターン決定部は、
    応答時間＝Ｃ１×Ｓ×通信速度＋Ｃ２×Ｎ＋本処理の時間（Ｃ１、Ｃ２は固定値）
    に従って前記応答時間を最小にする矩形のパターンを決定する請求項９に記載の画像送信装置。
11. 前記パターン決定部は、前記圧縮符号化された差分画像の送信データ量を最適化する矩形のパターンを決定する請求項１〜３のいずれか１項に記載の画像送信装置。

Images