JP4205634B2 - 画像送信装置で使用される方法、およびプログラム - Google Patents

画像送信装置で使用される方法、およびプログラム Download PDF

Info

Publication number
JP4205634B2
JP4205634B2 JP2004157897A JP2004157897A JP4205634B2 JP 4205634 B2 JP4205634 B2 JP 4205634B2 JP 2004157897 A JP2004157897 A JP 2004157897A JP 2004157897 A JP2004157897 A JP 2004157897A JP 4205634 B2 JP4205634 B2 JP 4205634B2
Authority
JP
Japan
Prior art keywords
image
range
transmission
rectangular
ranges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004157897A
Other languages
English (en)
Other versions
JP2005339256A5 (ja
JP2005339256A (ja
Inventor
栄作 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Priority to JP2004157897A priority Critical patent/JP4205634B2/ja
Priority to EP20050009042 priority patent/EP1601202A3/en
Priority to CNB2005100743715A priority patent/CN100448256C/zh
Priority to US11/137,536 priority patent/US7633641B2/en
Publication of JP2005339256A publication Critical patent/JP2005339256A/ja
Publication of JP2005339256A5 publication Critical patent/JP2005339256A5/ja
Application granted granted Critical
Publication of JP4205634B2 publication Critical patent/JP4205634B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimiles In General (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は画像伝送システムに関し、特に伝送画像のデータ量を削減するための手段を有する画像伝送システムと画像送信装置に関する。
近年、例えばパーソナルコンピュータなどで作成した画像を有線あるいは無線ネットワークを経由してプロジェクタなどの画像表示装置に送信して画像表示を行うような、画像を表示端末に送信する用途が増加している。この場合データをファイル方式で送信し、受信側で画像データに展開して表示する方法が行なわれているが、プレゼンテーションソフトウエアのバージョンアップがあった場合に備えて画像表示端末にCD−ROMドライブなどの部品を設ける必要があり、プロジェクタなどの画像表示端末の小型化、低価格化の要請に反する。そのためパーソナルコンピュータ側でデータを画像データに展開して送信する方法も行なわれているが、一般に画像データ量は極めて多く、通常のネットワークではデータ転送に数秒を要してしまうという問題点がある。転送時間を短縮する方法として画面をビットマップデータとしてブロック分割し色数が少ない場合にはインデックスの数を少なくしてビット数のより少ないインデックスに変換し圧縮して送信する方法が開示されている(特許文献1参照)。また、表示データをブロックに分割し、表示されるべき画像の変化を検出し、変化のあったブロックに対応する画像データのみを送信して表示画像を変更させることによりデータ転送量を少なくするシステムが開示されている(特許文献2参照)
特開平10−74173号公報 特開2003−50694号公報
しかし、これらの特許文献1、特許文献2に記載のシステムでは、画像送信装置と画像受信装置との間のネットワーク伝送能力に応じて伝送遅延を少なくするように画像伝送量を制御することが困難であった。また、それを実現するためには、伝送データ量を減らすために画質を落として高圧縮する必要があった。さらに、伝送遅延時間を減らすために画像を高圧縮しすぎると、ネットワーク帯域幅を有効に使えずに画質を落としてしまうという問題点があった。
また、従来の画像伝送装置では、画像の全部または一部が頻繁に変化した場合には画面全体の画像データをその都度送信しなければならないので、伝送情報量が大幅に増加する。このとき、一般的な画像圧縮手法を用いて伝送情報量を削減したとしても、ネットワークの伝送能力を超えた情報を伝送した場合には、受信画像に伝送遅延が大きく発生するという問題があった。また、このような状況下の画像伝送において受信画像表示の応答性を向上させるために、画像圧縮手法によりネットワーク帯域幅に見合うような高圧縮処理によって伝送情報量の削減を行えば大幅に画質が劣化するという問題があった。
本発明の目的は、ネットワーク帯域幅の大小に応じて、伝送する画像の情報量を調整することが簡単な方法で実現できる画像伝送システムと画像送信装置を提供することにある。
本発明の画像受信装置に対しネットワーク経由で画像データを送信する画像送信装置で使用される方法は、
(a)新たに描画された画像領域の範囲を受け取り、
(b)前記新たに描画された画像領域の前記範囲に従って範囲情報を蓄積し、
(c)前記画像送信装置が送信可能になるまで前記処理(a)及び(b)を繰り返し、
(d)前記画像送信装置が送信可能になった時に、前記範囲情報に対応する領域の画像データを圧縮し、
(e)前記画像送信装置が送信可能な時に、前記圧縮データを送信し、
(f)前記範囲情報は範囲の集合からなり、前記範囲の集合の各要素は複数の変化した画像領域のうち二以上を包含しうるものであり、
前記処理(b)は、
f(Sin)+f(S(i))+f(S)がf(S')より大きい又はf(S')と等しい場合に、
前記範囲の集合の要素を前記範囲情報から削除し、
前記新たに描画された画像領域の前記範囲と前記要素との双方を包含する新たな範囲を前記範囲情報に追加することを含み、ここで、
f(Sin)、f(S(i))、及びf(S')は、前記新たに描画された画像領域、前記要素に対応する領域、及び前記新たな範囲に対応する領域の画像圧縮時間をそれぞれ表し、
f(S)は予め定められた画像圧縮時間を表すことを特徴とする。
また、本発明の画像受信装置に対しネットワーク経由で画像データを送信するコンピュータで実行されるプログラムは、
(a)新たに描画された画像領域の範囲を受け取り、
(b)前記新たに描画された画像領域の前記範囲に従って範囲情報を蓄積し、
(c)前記コンピュータが送信可能になるまで前記処理(a)及び(b)を繰り返し、
(d)前記コンピュータが送信可能になった時に、前記範囲情報に対応する領域の画像データを圧縮し、
(e)前記コンピュータが送信可能な時に、前記圧縮データを送信し、
(f)前記範囲情報は範囲の集合からなり、前記範囲の集合の各要素は複数の変化した画像領域のうち二以上を包含しうるものであり、
前記処理(b)は、
f(Sin)+f(S(i))+f(S)がf(S')より大きい又はf(S')と等しい場合に、
前記範囲の集合の要素を前記範囲情報から削除し、
前記新たに描画された画像領域の前記範囲と前記要素との双方を包含する新たな範囲を前記範囲情報に追加することを含み、ここで、
f(Sin)、f(S(i))、及びf(S')は、前記新たに描画された画像領域、前記要素に対応する領域、及び前記新たな範囲に対応する領域の画像圧縮時間をそれぞれ表し、
f(S)は予め定められた画像圧縮時間を表すことを特徴とする。
第1の効果は、画像送信中などのネットワークが混雑している間に、その間に変化した描画範囲の情報を蓄積する手段を設けることにより、その間は送信するための画像情報を生成することを停止させ、画像が送信可能になったときに蓄積された描画範囲の情報に対応した部分の画像のみを読み出して画像情報を生成するので、ネットワーク帯域幅の大小に応じて、伝送する画像の情報量を調整することが簡単な方法で実装できることである。
第2の効果は、ネットワークに送信可能になった場合に送信する画像の最大情報量は、変化した描画範囲に蓄積される最大範囲、つまり送信元画像1枚分以下であるので、画像送信装置で表示された画像が受信側装置にて表示されるまでの画像伝送遅延時間は、送信元画像1枚を圧縮・展開する処理時間とネットワーク伝送時間を合わせたもの以下にできることである。
第3の効果は、高いCPU負荷がかかる画像圧縮処理を行う前に対象となる画像情報量を削減することにより、ネットワーク帯域幅に見合わない画像変化に対する画像圧縮処理が行われないようにすることができるので、画像送信装置での画像処理にともなうCPU負荷を削減できることである。
第4の効果は、受信側装置において一般的に用いられる通信フロー制御によって、伝送速度が調整されて画像伝送中の状態が継続すれば、その間は画像伝送量が削減されるので、ネットワーク帯域幅の大小だけでなく、受信側装置の画像表示処理能力の大小に応じても、全く同じ手法で伝送する画像の情報量を調整することができることである。
第5の効果は、新たに描画された範囲に対応して蓄積する所定の領域を矩形範囲とすることにより、新たに入力される領域と既に記憶されている領域との比較と重複部分に対する調整が容易となる。
本発明は、ネットワークが混雑して画像の送信が行なわれないでいる状態の場合には、画面でその間に変化した画像の変化した描画範囲の情報を送信元に蓄積しておき、送信する場合には変化した描画範囲に対応する画像のみを読み出して画像データを圧縮することによって、変化しない部分や変化の過程の画像を送信する必要がなくなり、送信する画像の伝送情報量を大幅に削減することができ、伝送手段であるネットワークの伝送能力に応じて伝送画像のデータ量を削減することができる。ユーザの操作によって経時的に変化する画像等を伝送する場合には、伝送遅延を多く発生させてまで描画途中の画像を忠実に伝送することよりも、たとえ描画途中の画像が伝送されなかったとしても、伝送遅延を少なくした方がユーザにとって有益なことが多い。本発明は、頻繁に変化した送信元の画像の情報をネットワークの伝送能力に合わせて一部を省くことにより、送信元画像と受信画像との伝送遅延を少なくし、受信画像表示の応答性を良くすることを可能にする。
本発明の画像伝送システムは、コンピュータに表示されている画面を有線、または無線のネットワークを介してプロジェクタ等の表示機器に画像として表示する用途に適用できる。さらに、ネットワークを介して接続された複数のコンピュータ間での遠隔操作機能を実現する用途にも適用できる。
次に、本発明の第1の実施の形態の画像伝送システムについて図面を参照して説明する。図1は本発明の第1の実施の形態の画像伝送システムの模式的ブロック構成図である。本発明の第1の実施の形態の画像伝送システムは、ネットワーク99で接続される画像送信装置1(例えばコンピュータ、およびディスプレイ)、および画像受信装置2(例えばプロジェクタ等の表示機器)から構成されている。
画像送信装置1は、画像描画部11、画像処理装置12、記憶装置13、および画像送信部14を備える。画像処理装置12は、描画範囲入力部121、描画範囲限定部122、描画範囲集合出力部123、および画像圧縮部124を有し、記憶装置13は、画像記憶部131、描画範囲集合記憶部132、および画像圧縮データ記憶部133を有する。
画像描画部11は、画面に新たに描画された画像を画像記憶部131に書き込むとともに、描画範囲入力部121に入力する。
描画範囲入力部121は、画像描画部11より入力した画像をもとに描画された画像を包含する所定の領域である矩形範囲を識別して描画範囲限定部122に入力する。本実施の形態では説明を容易にするために所定の領域を矩形範囲としているがこれに限定されるものではなく、画像を包含することのできる所定の領域であればどのような形状であってもよい。通常、表示画面は長方形なので矩形範囲で描画範囲を識別することが表示画面全体を対象とすることができ、また位置・範囲情報の付与も容易となる。
描画範囲限定部122は、描画範囲入力部121から受け取った矩形範囲と、描画範囲集合記憶部132から読み出した既に記憶されている矩形範囲との比較を行い、受け取った矩形範囲に以前に記憶されている矩形範囲と重複する範囲のない場合は、受け取った矩形範囲を矩形範囲のそれぞれの位置・範囲情報として描画範囲集合記憶部132に書き込み、また以前に記憶されている矩形範囲と重複する範囲がある場合には、両方の範囲を含んで生成した新しい矩形範囲を矩形範囲のそれぞれの位置・範囲情報として描画範囲集合記憶部132に書き込む。描画範囲集合出力部123は、画像送信部14より画像送信が可能になったことが通知されると、描画範囲集合記憶部132から記憶されている矩形範囲の集合(複数の矩形範囲)の情報を読み出し、画像圧縮部124に受け渡すとともに描画範囲集合記憶部132に記憶されていた矩形範囲の集合の情報を初期化する。画像圧縮部124は、入力した矩形範囲の集合の情報に基づいて画像記憶部131からそれぞれの矩形範囲に対応する画像を読み出して画像データを圧縮処理し、それぞれの矩形範囲の位置・範囲情報とともに画像圧縮データ記憶部133に書き出すとともに、画像送信部14に圧縮画像データを送信するよう要求する。
画像記憶部131は、画像描画部11によって描画された現在の画像を記憶している。描画範囲集合記憶部132は、前回送信した後に画面に描画された画像の範囲を矩形範囲の位置・範囲情報の集合として記憶している。画像圧縮データ記憶部133は、画像圧縮部124で圧縮された画像データをそれぞれの矩形範囲の位置・範囲情報とともに記憶している。
画像送信部14は、画像圧縮データ記憶部133に記憶された圧縮画像データを矩形範囲の位置・範囲情報とともにネットワーク99を経由して画像受信装置2に送信し、画像圧縮データ記憶部133に記憶されていた圧縮画像データの送信が完了すると、画像範囲集合出力部123に対して、圧縮画像データの送信完了通知を出す。画像圧縮部124から圧縮画像データの送信要求を受けると再び圧縮画像データを送信する。画像送信部14がネットワーク99に画像圧縮データを送信中であったり、ネットワークが輻輳して伝送能力が低下していたりしている間は、画像描画部11の描画によって変化した画面中の描画範囲は、矩形範囲の集合の位置・範囲情報として描画範囲集合記憶部132に蓄え続けられる。
画像受信装置2は、画像受信部21と、画像圧縮データ記憶部23と、画像展開表示部22と、画像記憶部24とを有する。画像受信部21は、ネットワーク99を経由して画像送信装置1から画像圧縮データを受信して画像圧縮データ記憶部23に書き込む。画像展開表示部22は、画像圧縮データ記憶部23から画像圧縮データを読み出し、画像を展開してそれぞれの矩形範囲の位置・範囲情報に基づいて画像記憶部24の画面の画像データに書き込むことにより受信画像が不図示の表示画面に表示される。
このようにして、画像伝送システムを構成する画像送信装置1の描画範囲限定部122により、前回の読み出し後に描画された範囲のみを限定して、その範囲の画像のみを圧縮して画像受信装置2に伝送するので、画像圧縮手段およびネットワーク帯域幅に見合う伝送情報を生成することができ、画像伝送における遅延時間を減らし受信画像の応答性を改善することができる。
次に、図1のブロック図および図2のフローチャートを参照して本発明の第1の実施の形態の画像伝送システムの動作について詳細に説明する。図2は本発明の第1の実施の形態の画像送信装置の動作を示すフローチャートであり、(a)は描画範囲入力部121と描画範囲限定部122の動作、(b)は描画範囲集合出力部123と画像圧縮部124の動作、(c)は画像送信部14の動作を表しており、それぞれが独立して並列に動作する。
画像送信装置1の画像描画部11は、描画した画面の画像を画像記憶部131に記憶するとともに、その描画した画像を描画範囲入力部121に出力し、描画範囲入力部121は、描画された画像の領域を画像を包含する矩形範囲として識別して描画範囲限定部122に出力する(ステップS11)。描画範囲限定部122は、描画範囲集合記憶部132のまだ送信されずに記憶されている矩形範囲の集合からそれぞれの矩形範囲を読み出して、識別された矩形範囲と比較し、重複部分のある場合は双方を包含する矩形範囲を生成し、新しい矩形範囲の集合を再構築して(ステップS12)、新たな矩形範囲の集合を描画範囲集合記憶部132に書き込む(ステップS13)。さらに、描画範囲限定部122は、画像送信部14から送信可能の通知が描画範囲集合出力部123に行なわれて、矩形範囲の集合の入力待ち状態にあるかを調べ(ステップS14)、送信可能の通知を受け取っている場合は(ステップS14Y)、描画範囲集合出力部123に矩形範囲の集合が入力されたことを通知してステップS11に戻り(ステップS15)、送信可能の通知を受け取っていない場合は(ステップS14N)、ステップS11に戻って、描画範囲入力部121と描画範囲限定部122とが、ステップS11〜S15の動作を継続的に繰り返す。
描画範囲集合出力部123は、画像伝送部14からの送信可能通知(ネットワークが空いた状態になったこと)により矩形範囲の集合の入力待ち状態となったことを受け付けると、描画範囲集合記憶部132に矩形範囲の集合が記憶されているかを調べる(ステップS21)。前回の送信を開始してから後に画像描画が行われていない場合には(ステップS21N)、描画範囲集合記憶部132に矩形範囲の集合が記憶されていないので、描画範囲集合出力部123は、矩形範囲の集合の入力待ち状態になったことを描画範囲限定部122に通知し(ステップS22)、描画範囲限定部122によって新しい矩形範囲の集合が入力されるまで待ち(ステップS23N)、新しい矩形範囲の集合が入力されるとステップS24に進む(ステップS23Y)。描画範囲集合出力部123は、矩形範囲の集合が記憶されていた場合(ステップS21Y)および新しい矩形範囲の集合が入力された場合(ステップS23Y)には、描画範囲集合記憶部132から矩形範囲の集合を読み出して、画像圧縮部124に送り(ステップS24)、画像圧縮部124は、画像送信部14に送信開始要求を通知するとともに(ステップS25)、画像記憶部131から矩形範囲に対応する画像を読み出して(ステップS26)、矩形範囲内のその画像を圧縮して、その結果を画像圧縮データ記憶部133に書き出し(ステップS27)、その後、矩形範囲の集合に含まれる矩形範囲の画像の全部の圧縮が終了するまで画像を圧縮する処理を繰り返す(ステップS28)。
画像送信部14は、画像圧縮部124から送信開始要求を受け付けると、画像圧縮データ記憶部133から画像圧縮データを読み出し、画像圧縮データがなくなるまでネットワーク99を経由して画像受信装置2へ画像圧縮データを送信し続ける(ステップS31およびステップS32N)。送信が完了すると(S32Y)、画像送信部14は、描画範囲集合出力部123に対して送信完了を通知する(ステップS33)。
画像受信装置2の画像受信部21は、ネットワーク99を経由して画像送信装置1から画像圧縮データを受信し、画像圧縮データ記憶部23に書き込む。画像展開表示部22は、画像圧縮データ記憶部23から画像圧縮データを読み出し、画像圧縮データを展開しそれぞれの矩形範囲の位置・範囲情報に基づいて画像記憶部24に記憶された画面の画像データに書き込むことにより受信した画像が画面に表示される。
次に、図3、図4を参照して本発明の実施の形態における描画範囲集合記憶部132の描画矩形範囲記憶方法と描画範囲限定部122における描画範囲集合の矩形範囲結合動作について詳細に説明する。図3、図4は描画範囲集合記憶部の描画矩形範囲記憶方法と描画範囲限定部における描画範囲集合の矩形範囲結合動作を説明するための模式図であり、図3は結合判定3まで、図4は結合判定4以降を示す。
描画範囲集合記憶部132は、画像記憶部131に持つ送信側画像に前回送信された後に新たに描画された範囲を複数の矩形範囲の集合R(1)、R(2)、・・・R(i)・・・R(N−1)、R(N)として記憶している。また、それぞれの描画矩形範囲は、X−Y座標上において、各矩形範囲の左上の起点により、上下方向、左右方向へ順番に並べられている。これは、矩形範囲の集合が、一度に取り出されて伝送された場合に、画像受信装置2において画面の上から下に向かって変化した範囲のみが順番に表示されるようにするためである。
描画範囲限定部122は、描画範囲入力部121から与えられた描画矩形範囲Rinと描画範囲集合記憶部132から読み出した矩形範囲の集合の各要素R(i)について、図3、図4に示す結合判定処理1〜5による矩形範囲の集合の再構成処理を順番に行う。
先ず、矩形範囲の集合の要素R(i)のいずれかが、描画範囲入力部121より与えられた矩形範囲 Rin を包含するかどうかを調べる。この条件が満たされた場合は、描画範囲集合記憶部132に記憶されている矩形範囲の集合は、すでに矩形範囲Rinを包含しているので描画範囲集合記憶部132の矩形範囲の集合は更新されずに結合判定処理は終了する。(結合判定1)。一方、この条件が満たされない場合は、結合判定2の処理に移行する。
次に描画範囲入力部121より与えられた矩形範囲Rinが、矩形範囲の集合の要素R(i)のいずれかを含むかどうかを調べる。この条件が満たされた場合は、矩形範囲の集合から要素R(i)を取り除き、矩形範囲Rinを新しい矩形範囲矩形範囲Rin’とする(結合判定2)。矩形範囲の集合の複数の要素が、矩形範囲Rinに含まれる可能性があるため、R(1)〜R(N)のすべての要素について調べる。
次に描画範囲入力部121より与えられた矩形範囲Rinが、矩形範囲の集合の要素R(i)のいずれかと隣接するかどうかを調べる。画面の上から下へ向けて矩形範囲の結合が行われるように、上下の隣接よりも左右の隣接を優先する。この条件が満たされた場合は、矩形範囲RinとR(i)を結合して矩形範囲 Rin’を生成し、矩形範囲の集合から要素R(i)を取り除く(結合判定3)。このとき結合してできた矩形範囲Rin’を新しい Rinとして、結合判定2に戻って結合判定処理を継続する。一方、この条件が満たされない場合は、結合判定4の処理に移行する。
次に描画範囲入力部121より与えられた矩形範囲Rinと、矩形範囲の集合の要素R(i)とを含む最小矩形範囲R’を求め、各矩形範囲の面積をSin、S(i)、S’としたとき、画像圧縮時間関数T=f(S)において、
f(Sin)+f(S(i))+f(ΔS)≧f(S’)
が満たされた場合は、矩形範囲RinとR(i)を結合して矩形範囲Rin’を生成し、矩形範囲の集合から要素R(i)を取り除く(結合判定4)。このとき結合してできた矩形範囲Rin’を新しいRinとして、結合判定2に戻って結合判定処理を継続する。一方、この条件が満たされない場合は、結合判定5の処理に移行する。ΔSは、画像圧縮手法に依存する値である。一般的な画像圧縮時間は、面積(画素数)により増加するので、
f(Sin)+f(S(i))≧f(S’)
が成り立つことがある。使用する画像圧縮手法から
f(Sin)+f(S(i))=f(S”)
を求め、
f(S”)−f(S’)=f(ΔS)
を導き出し、画像圧縮手法のオーバーヘッドを考慮することで圧縮効率を上げることが期待できる。
次に描画範囲入力部121より与えられた矩形範囲Rinと、矩形範囲の集合の要素R(i) を含む最小矩形範囲R’を求め、矩形範囲R’の面積をS’としたとき、
S’≦Sminが満たされた場合は、矩形範囲RinとR(i)を結合して矩形範囲Rin’を生成し、矩形範囲の集合から要素R(i)を取り除く(結合判定5)。Sminは、画像圧縮手法に依存する値である。一般的に画像圧縮では、画像圧縮時間T=f(s)とすると、Tmin=f(Smin)となるしきい値が存在する。このとき結合してできた矩形範囲 Rin’ を新しい Rin として、結合判定2に戻って結合判定処理を継続する。一方、この条件が満たされない場合は、矩形範囲 Rin を矩形範囲の集合の要素として追加する。
次に、本発明の第2の実施の形態の画像伝送システムの構成について図面を参照して詳細に説明する。図5は本発明の第2の実施の形態の画像伝送システムの模式的ブロック構成図である。本発明の第2の実施の形態の画像伝送システムは、図1に示された第1の実施の形態の画像伝送システムの構成に加え、複数の画像受信装置2〜nを有する点で異なる。複数の画像受信装置2〜nは、複数のプロジェクタ、またはコンピュータおよびディスプレイの組み合わせであってもよい。その他の構成と動作は第1の実施の形態と同じなので同じ符号を付して説明を省略する。
画像送信装置1は、画像描画部11と、画像処理装置12と、記憶装置13と、画像送信部14とを備える。画像描画部11と、画像処理装置12と、記憶装置13とは、第1の実施の形態と同一の構成を持ち、同一の処理を実行する。
画像送信部14は、画像処理装置12と記憶装置13とで形成された圧縮画像データをネットワーク99を介して、複数の画像受信装置2〜nに同時に送信する。複数の画像受信装置に同時に画像を伝送することと、または複数の画像受信装置が異なる処理能力を持つ装置であることにより、第1の実施の形態と比較して画像送信が完了するまでに時間がかかった場合でも、第1の実施の形態と全く同一の処理で画像処理装置12の画像伝送量は削減される。
画像表示装置2〜nは、第1の実施例の画像表示装置2と全く同一の処理を実行する。
本発明の第1の実施の形態の画像伝送システムの模式的ブロック構成図である。 本発明の第1の実施の形態の画像送信装置の動作を示すフローチャートである。(a)は描画範囲入力部と描画範囲限定部の動作を表す。(b)は描画範囲集合出力部と画像圧縮部の動作を表す。(c)は画像送信部14の動作を表す。 描画範囲集合記憶部の描画矩形範囲記憶方法と描画範囲限定部における描画範囲集合の矩形範囲結合動作を説明するための模式図であり、結合判定3までを示す。 描画範囲集合記憶部の描画矩形範囲記憶方法と描画範囲限定部における描画範囲集合の矩形範囲結合動作を説明するための模式図であり、結合判定4以降を示す。 本発明の第2の実施の形態の画像伝送システムの模式的ブロック構成図である。
符号の説明
1 画像送信装置
2、3、n 画像受信装置
11 画像描画部
12 画像処理装置
13 記憶装置
14 画像送信部
21 画像受信部
22 画像展開表示部
23 画像圧縮データ記憶部
24 画像記憶部
99 ネットワーク
121 描画範囲入力部
122 描画範囲限定部
123 描画範囲集合出力部
124 画像圧縮部
131 画像記憶部
132 描画範囲集合記憶部
133 画像圧縮データ記憶部
S11〜S15、S21〜S28、S31〜S33 ステップ

Claims (2)

  1. 画像受信装置に対しネットワーク経由で画像データを送信する画像送信装置で使用される方法であって、
    (a)新たに描画された画像領域の範囲を受け取り、
    (b)前記新たに描画された画像領域の前記範囲に従って範囲情報を蓄積し、
    (c)前記画像送信装置が送信可能になるまで前記処理(a)及び(b)を繰り返し、
    (d)前記画像送信装置が送信可能になった時に、前記範囲情報に対応する領域の画像データを圧縮し、
    (e)前記画像送信装置が送信可能な時に、前記圧縮データを送信し、
    (f)前記範囲情報は範囲の集合からなり、前記範囲の集合の各要素は複数の変化した画像領域のうち二以上を包含しうるものであり、
    前記処理(b)は、
    f(Sin)+f(S(i))+f(S)がf(S')より大きい又はf(S')と等しい場合に、
    前記範囲の集合の要素を前記範囲情報から削除し、
    前記新たに描画された画像領域の前記範囲と前記要素との双方を包含する新たな範囲を前記範囲情報に追加することを含み、ここで、
    f(Sin)、f(S(i))、及びf(S')は、前記新たに描画された画像領域、前記要素に対応する領域、及び前記新たな範囲に対応する領域の画像圧縮時間をそれぞれ表し、
    f(S)は予め定められた画像圧縮時間を表すことを特徴とする方法。
  2. 画像受信装置に対しネットワーク経由で画像データを送信するコンピュータで実行されるプログラムであって、
    (a)新たに描画された画像領域の範囲を受け取り、
    (b)前記新たに描画された画像領域の前記範囲に従って範囲情報を蓄積し、
    (c)前記コンピュータが送信可能になるまで前記処理(a)及び(b)を繰り返し、
    (d)前記コンピュータが送信可能になった時に、前記範囲情報に対応する領域の画像データを圧縮し、
    (e)前記コンピュータが送信可能な時に、前記圧縮データを送信し、
    (f)前記範囲情報は範囲の集合からなり、前記範囲の集合の各要素は複数の変化した画像領域のうち二以上を包含しうるものであり、
    前記処理(b)は、
    f(Sin)+f(S(i))+f(S)がf(S')より大きい又はf(S')と等しい場合に、
    前記範囲の集合の要素を前記範囲情報から削除し、
    前記新たに描画された画像領域の前記範囲と前記要素との双方を包含する新たな範囲を前記範囲情報に追加することを含み、ここで、
    f(Sin)、f(S(i))、及びf(S')は、前記新たに描画された画像領域、前記要素に対応する領域、及び前記新たな範囲に対応する領域の画像圧縮時間をそれぞれ表し、
    f(S)は予め定められた画像圧縮時間を表すことを特徴とするプログラム。
JP2004157897A 2004-05-27 2004-05-27 画像送信装置で使用される方法、およびプログラム Expired - Fee Related JP4205634B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004157897A JP4205634B2 (ja) 2004-05-27 2004-05-27 画像送信装置で使用される方法、およびプログラム
EP20050009042 EP1601202A3 (en) 2004-05-27 2005-04-25 Image transmission apparatus using information on rendered range
CNB2005100743715A CN100448256C (zh) 2004-05-27 2005-05-26 使用再现范围内信息的图像传输装置
US11/137,536 US7633641B2 (en) 2004-05-27 2005-05-26 Image transmission apparatus using information on rendered range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004157897A JP4205634B2 (ja) 2004-05-27 2004-05-27 画像送信装置で使用される方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008228424A Division JP5036666B2 (ja) 2008-09-05 2008-09-05 画像送信装置で使用される方法

Publications (3)

Publication Number Publication Date
JP2005339256A JP2005339256A (ja) 2005-12-08
JP2005339256A5 JP2005339256A5 (ja) 2007-12-06
JP4205634B2 true JP4205634B2 (ja) 2009-01-07

Family

ID=34981124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004157897A Expired - Fee Related JP4205634B2 (ja) 2004-05-27 2004-05-27 画像送信装置で使用される方法、およびプログラム

Country Status (4)

Country Link
US (1) US7633641B2 (ja)
EP (1) EP1601202A3 (ja)
JP (1) JP4205634B2 (ja)
CN (1) CN100448256C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509730B2 (en) 2008-09-19 2019-12-17 Microsoft Technology Licensing, Llc Aggregation of write traffic to a data store

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7490197B2 (en) 2004-10-21 2009-02-10 Microsoft Corporation Using external memory devices to improve system performance
JP2006338226A (ja) * 2005-06-01 2006-12-14 Hitachi Ltd リモート操作システム
US8914557B2 (en) 2005-12-16 2014-12-16 Microsoft Corporation Optimizing write and wear performance for a memory
JP4642697B2 (ja) * 2006-05-24 2011-03-02 Necディスプレイソリューションズ株式会社 画像キャッシュメモリを有する画像表示装置
JP4375449B2 (ja) * 2007-06-28 2009-12-02 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理プログラム、および画像処理方法
US9032151B2 (en) 2008-09-15 2015-05-12 Microsoft Technology Licensing, Llc Method and system for ensuring reliability of cache data and metadata subsequent to a reboot
JP5278048B2 (ja) * 2009-03-04 2013-09-04 セイコーエプソン株式会社 画像供給装置、画像供給システム、画像供給方法、及び画像供給用プログラム
US20150077512A1 (en) * 2011-06-30 2015-03-19 Google Inc. Substantially Real-Time Feedback in Mobile Imaging Operations
JP6507467B2 (ja) 2013-03-13 2019-05-08 株式会社リコー 情報処理装置
US20140362098A1 (en) * 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression
JP6603984B2 (ja) * 2014-11-07 2019-11-13 セイコーエプソン株式会社 画像供給装置、画像供給方法およびプログラム
WO2017199284A1 (ja) 2016-05-16 2017-11-23 Necディスプレイソリューションズ株式会社 画像表示装置、フレーム伝送間隔制御方法および画像表示システム
CN107734300A (zh) * 2017-10-19 2018-02-23 歌尔科技有限公司 图像传输方法及设备
WO2023053943A1 (ja) * 2021-09-28 2023-04-06 住友電気工業株式会社 車載装置及びその動作方法、並びにコンピュータプログラム
WO2024136881A1 (en) * 2022-12-23 2024-06-27 Telefonaktiebolaget L M Ericsson (Publ) Bitrate adaptation for edge-assisted localization based on map availability for mobile devices

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638498A (en) 1992-11-10 1997-06-10 Adobe Systems Incorporated Method and apparatus for reducing storage requirements for display data
JPH0715609A (ja) 1993-06-17 1995-01-17 Toshiba Corp 画像伝送方法並びに画像送信装置、画像受信装置および画像伝送装置
JP3432009B2 (ja) 1993-08-31 2003-07-28 キヤノン株式会社 通信方法及び装置
GB2299233A (en) * 1995-03-21 1996-09-25 Ibm Video compression method involving conditional replenishment
JPH09190392A (ja) 1996-01-11 1997-07-22 Canon Inc 画像処理システムおよび画像処理システムのデータ処理方法
JP3837841B2 (ja) 1996-06-14 2006-10-25 セイコーエプソン株式会社 データ送信装置およびデータ受信装置ならびにデータ圧縮方法
JP4341078B2 (ja) 1997-02-14 2009-10-07 株式会社デンソー 動画像情報の符号化装置
KR100601615B1 (ko) * 1999-08-20 2006-07-14 삼성전자주식회사 네트워크 대역폭에 적응적인 영상 압축 장치
JP3833483B2 (ja) * 2001-03-06 2006-10-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示システム、画像データ送信装置、表示画像データ送信方法、差分転送方法、プログラム、および記憶媒体
JP2001306059A (ja) 2000-04-24 2001-11-02 Ricoh Co Ltd 表示制御方法
JP4401542B2 (ja) 2000-07-04 2010-01-20 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及び記録媒体
DE60106137T2 (de) * 2001-04-12 2006-02-23 Agilent Technologies, Inc. (n.d.Ges.d.Staates Delaware), Palo Alto Entfernte Datenverarbeitungsverwaltung mit Darstellungsmöglichkeit
JP4592998B2 (ja) * 2001-04-25 2010-12-08 パナソニック株式会社 画像情報の伝送方法及び伝送装置
JP3959263B2 (ja) 2001-05-31 2007-08-15 松下電器産業株式会社 プレゼンテーションシステム、画像表示装置、プログラム及び記録媒体
US7180475B2 (en) * 2001-06-07 2007-02-20 Infocus Corporation Method and apparatus for wireless image transmission to a projector
CN1455372A (zh) * 2003-05-29 2003-11-12 上海交通大学 基于ip网络的屏幕共享和同步录制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509730B2 (en) 2008-09-19 2019-12-17 Microsoft Technology Licensing, Llc Aggregation of write traffic to a data store

Also Published As

Publication number Publication date
EP1601202A2 (en) 2005-11-30
CN1703069A (zh) 2005-11-30
CN100448256C (zh) 2008-12-31
EP1601202A3 (en) 2010-10-06
US7633641B2 (en) 2009-12-15
JP2005339256A (ja) 2005-12-08
US20050264843A1 (en) 2005-12-01

Similar Documents

Publication Publication Date Title
JP4205634B2 (ja) 画像送信装置で使用される方法、およびプログラム
EP2857957A1 (en) Master Device, Client Device, and Screen Mirroring Method Thereof
JP6366458B2 (ja) 情報処理装置、その制御方法、プログラム
US8331766B2 (en) Image supply apparatus, image supply system, image supply method, and computer program product
JP2006211006A (ja) 画像処理装置
US20130002521A1 (en) Screen relay device, screen relay system, and computer -readable storage medium
CN112948151A (zh) 程序界面图像传输方法、基板管理控制器及远程控制设备
US20170371614A1 (en) Method, apparatus, and storage medium
WO2016016607A1 (en) Managing display data for display
US9037749B2 (en) Information processing apparatus and image transmission method
JP4222982B2 (ja) 画像復号縮小装置および方法
US8463062B2 (en) Image transmission apparatus, method, recording medium, image output apparatus and image transmission system including pattern determination unit
US20150099492A1 (en) Information processing apparatus that controls transfer of image, control method therefor, and storage medium
JP5036666B2 (ja) 画像送信装置で使用される方法
JP4100359B2 (ja) 信号伝送システム、データ送信装置、及びデータ受信装置
JP4675944B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4804161B2 (ja) 画像処理装置、画像処理システム及び画像処理装置の制御方法
CN107318021B (zh) 一种远程显示的数据处理方法及系统
JP3954581B2 (ja) 情報転送装置、情報転送方法及びプログラム
KR20050006063A (ko) 화상 신장표시방법, 화상 신장표시장치, 및화상신장표시용 프로그램
JP5171655B2 (ja) 画像送信装置、方法及び記憶媒体
US9646403B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2007243838A (ja) 情報転送装置、情報受信装置およびコンピュータプログラム
JP4888120B2 (ja) 画像データを処理する方法および画像処理装置
US20080030608A1 (en) Electronic camera and combined program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080905

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081008

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081016

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4205634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees