JP4518331B2 - 表示装置への画像データの送信を制御するシステムおよび方法 - Google Patents

Description

本開示は、概して、データの送信を制御する装置、システム、および方法に関し、特に、表示装置への画像データの送信を制御する装置、システム、および方法に関する。

本出願は、2003年12月16日に出願された米国仮特許出願第60/530,465号から優先権を主張するものであり、参照によってすべての目的のためにその全体をここに取り込む。

本開示は、添附図面の図への限定ではなく例示として示されており、同様の参照符号は、同様の要素を表わしている。

図１は、概して10で、本願発明の第１の実施の形態にかかる画像処理システムの模式図を示している。画像処理システム10は、表示面14上に画像を表示するように構成された表示装置12を備えている。表示装置12は、任意の適切な種類の表示装置であることが可能である。本例は、液晶表示装置（LCD）およびデジタル光処理技術（DLP）プロジェクタ、テレビジョン・システム、コンピュータ・モニタなどを含んでいるが、これらに限定されるものではない。

さらに、画像処理システム10は、表示装置12に関連付けられた画像レンダリング装置16と、該画像レンダリング装置16と電気通信する一又は複数の画像ソース18とを備えている。画像レンダリング装置16は、画像ソース18によって送信される画像データを受信し、表示装置12による表示用に受信した画像データを処理するように構成されている。画像レンダリング装置16は、表示装置12と一体とされることが可能であり、または、表示装置に接続可能な個別の要素として提供されることも可能である。適切な画像レンダリング装置の一例は、2003年6月2日に出願された米国特許出願第10/453,905号において開示されており、それは参照によってここに援用される。

表示装置12および画像レンダリング装置16は、それぞれここでは「画像表示装置」と称されることがあり、また、ここでは総じて「表示システム17」と称されることがある。したがって、当然のことながら、表示システム17上で実施されるようなここで開示されるシステムおよび方法は、表示装置12および画像レンダリング装置16のうちの一方で、あるいは両方で実施されることが可能である。

画像データは、ラップトップもしくはデスクトップ・コンピュータ、携帯情報端末（PDA）、または他の演算装置などの画像ソースを介して表示装置に提供されることが可能である。そのような表示装置は、たとえば、802.11b（あるいは他の802.11プロトコル）、Bluetooth（登録商標）などのような通信プロトコルにより画像ソースから無線で画像データを受信するように構成されることが可能である。これらの表示装置は、画像ソースが、会議室内のほとんど任意の位置から高速に接続されることを可能にし、したがって、単一の表示装置での複数の画像ソースの使用を容易にすることが可能である。

しかしながら、単一の表示装置での複数の画像ソースの使用をサポートすることは、様々な障害を提起することがある。たとえば、異なる画像ソースは、異なる画像処理および送信能力を有していることが可能であり、異なる速度で表示装置にデータを送信することが可能である。或る画像ソースは、表示装置が表示用にデータを処理することが可能な速度よりも速い速度で表示装置にデータを送信することが可能である。これは、表示装置上のデータ入力バッファをデータで圧倒することがあり、データ送信および画像表示におけるエラーに導くことがある。

画像ソース18は、表示システム17に画像データを提供することが可能な任意の適切な装置を含むことが可能である。本例は、デスクトップ・コンピュータおよび／またはサーバ18a、ラップトップ・コンピュータ18b、携帯情報端末（PDA）18c、携帯電話機18dなどを含んでいるが、これらに限定されるものではない。これに加えて、画像ソース18は、任意の適切な方法で表示システム17と電気的に通信することが可能である。図示された実施の形態においては、各画像ソース18は、無線ネットワーク20を通じて表示システム17と電気的に通信する。しかしながら、画像ソース18は、有線ネットワークを通じて、無線もしくは有線の直接接続など、またはその任意の組み合わせを通じて、表示システム17と通信することも可能である。

図２は、表示システム17および画像ソース18の１つのブロック図を示している。画像ソース18は、メモリ30、プロセッサ32、および入力／出力ポート34を備えている。メモリ30は、入力／出力ポート34およびフォワード通信チャネル36を介して表示システム17に画像データを送信するためにプロセッサ32によって実行可能な、その上に記憶されたコードを含むことが可能である。画像ソース18は、任意の適切な方法およびフォーマットで表示システム17に画像データを送信するように構成されることが可能である。たとえば、画像ソース18は、画像ソース・ディスプレイ（たとえば、デスクトップ・コンピュータ18a用のモニタ画面、ラップトップ18bの画面など）上に表示される画像のビットマップを生成し、その後、ビットマップを圧縮し、表示用に表示システム17に送信するために、実行可能なメモリ30に記憶されたソフトウェアを含むことが可能である。さらに、画像ソース18は、変更された画像の部分を識別し、その後、画像の変更された部分だけを符号化し、圧縮し、そして送信するように構成されたソフトウェアを含むことが可能である。当然のことながら、画像データを送信するこれらの方法が単に典型的であり、画像ソース18が上述したもの以外の任意の他の適切な方法および／またはフォーマットで表示システム17にデータを送信するように構成されることが可能である。

次に、表示システム17は、さらに、画像ソース18と通信する入力／出力ポート40と、画像ソース18から受信した未解凍および未処理の圧縮画像データを一時的に記憶する入力バッファ44を備えている。さらに、表示システム17は、バッファ44内に受信されたデータを処理し、且つ、ここで記述される他の操作を実行するためにプロセッサ42によって実行可能なコードを記憶するプロセッサ42およびメモリ46を備えている。

上述したように、画像ソース18および表示システム17の相対的な処理能力に依存して、バッファ44内の未処理の画像データが処理用にバッファから読み出される速度よりも速い速度で画像ソースが表示システム17に画像データを転送するときに、状況が発生することがある。表示システム17が画像データで圧倒されるのを防ぐために、表示システム17は、バッファ44内の未処理の画像データ量を監視するように、また、バッファ内の未処理の画像データ量を表わす値を表示システム17からバックワード通信チャネル48を通じて画像ソースに送信するように構成されたソフトウェア（あるいはファームウェアまたはハードウェア）を含むことが可能である。画像ソース18は、未処理の画像データ量を表わす値があらかじめ選択された閾値に関するあらかじめ選択された条件を満たす場合に、画像表示装置への画像データの送信を調整するように構成されることが可能である。

図３は、概して100で、画像ソース18と表示システム17との間の画像データの送信を制御する方法の第１の典型的な実施の形態を示している。さらに、図３は、概して102で、画像ソース18から表示システム17への画像データの送信、および表示システムによる画像データの処理を示している。画像表示システム17上で実行されるように図３に示された様々な操作は、メモリ46内に記憶されたコードのプロセッサ42による実行によってなされることが可能である一方、画像ソース18上で実行されるように示されたものは、メモリ30内に記憶されたコードのプロセッサ32による実行によってなされることが可能である。コードは、磁気ディスク、CD-ROM、ハード・ディスク・ドライブなどのコンピュータが読み取り可能な記憶媒体上に記憶され、画像ソース18および／または表示システム17に転送可能である。

102での画像データの送信および処理は、104で画像ソースから表示システムに画像データを送信すること、106で画像データを表示システム上のバッファ内に受信すること、その後、108で表示システムによる処理用にバッファから画像データを読み出すことを含んでいる。104で画像データを送信することは、いくつかの可能なサブステップのうちのいずれかを含むことが可能である。これらの可能なサブステップは、下記のうちのいずれか、あるいはすべてを含むことが可能であるが、これらに限定されるものではない。画像ソース上に表示される画像のビットマップを生成すること、コンピュータ・グラフィックス・データ圧縮器での非コンピュータ・グラフィックス・データの圧縮を改善するためにビットマップから低変化データをフィルタリングすること、画像データの副標本を抽出すること、および、一又は複数の圧縮ステップを介して画像データを圧縮すること。これらのサブステップは、全体画像、または直前の画像に対して画素を変更した画像の一部でのみ実行されることが可能である。

104での画像データを送信することが一又は複数の圧縮ステップを含んでいる場合、任意の適切な圧縮方法を使用することが可能である。たとえば、画像データをリアルタイムの適切な圧縮方法で圧縮することが望まれる動画データの圧縮および送信のような用途においては、それは、LZO圧縮技術、同様に、ピラミッド状圧縮のような階層的圧縮技術を含むが、これらに限定されるものではない。

102での画像データの送信、受信、および処理中に、表示システム17は、110で、バッファ内の未処理の画像データ量を検知または監視することが可能である。表示システム17は、さらに、112で、バッファ内の未処理の画像データ量を表わす値を画像ソース18に送信することが可能である。バッファ内の未処理の画像データ量を表わす値は、バッファ内の未処理の画像データ量との従属関係を持つ任意の適切な量であることが可能である。たとえば、バッファ内の未処理の画像データ量を表わす値は、バッファ内の未処理の画像データの絶対量であることが可能であるか、または未処理の画像データによって占められないバッファ内のメモリの絶対量であることが可能である。これに代えて、バッファ内の未処理の画像データ量を表わす値は、未処理の画像データによって占められている、あるいは占められていないバッファの割合であることが可能である。

画像ソース18は、114で、バッファ内の未処理の画像データ量を表わす値を受信する。次に、画像ソース18は、116で、バッファ内の未処理の画像データ量を表わす値をあらかじめ選択された閾値と比較し、また、バッファ内の未処理の画像データ量を表わす値が閾値に関するあらかじめ選択された条件を満たす場合には、画像ソースは、表示システム17を過多の画像データで圧倒することから防ぐために画像データの送信を調整する。

あらかじめ選択された条件は、所定値に関する任意の適切な関係に対応することが可能である。図示された実施の形態においては、画像ソース18は、118で、バッファ内の未処理の画像データ量を表わす値が閾値よりも大きいか否かを判断する。これに代えて、画像ソース18は、未処理の画像データ量を表わす値が閾値以上であるか否かを判断することも可能である。これらの代替の比較は、バッファ内の未処理の画像データ量を表わす値が、バッファ内の未処理の画像データの絶対量、未処理の画像データによって占められたバッファの割合のいずれかである場合に使用されることが可能である。これに代えて、画像ソース18は、バッファ内の未処理の画像データ量を表わす値が絶対量であるか、または画像データによって占められないバッファの割合である場合に、この値が閾値よりも小さい（または、これに代えて、閾値以下）であるか否かを判断することが可能である。

118で画像ソース18がバッファ内の未処理の画像データ量を表わす値が閾値よりも大きくないと判断した場合には、120で示されるように、画像ソース18は、通常の、より速い速度で画像データを送信し続ける。一方、画像ソース18が118でバッファ内の未処理の画像データ量を表わす値が閾値よりも大きいと判断した場合には、画像ソース18は、122で、画像データで表示システムを圧倒するを防ぐために、より低い速度で表示システム17に画像データを送信し始めることが可能である。これに代えて、バッファ内の未処理の画像データ量を表わす値が、占有されていないバッファの絶対量または占有されていないバッファの割合のいずれかである場合には、画像データの送信速度は、これらの値があらかじめ選択された閾値よりも小さい（または、閾値以下の）ときに、引き下げられることも可能である。

画像ソース18は、任意の適切な方法で画像データの送信速度を引き下げることが可能である。たとえば、画像ソース18が該画像ソース上に表示される各画像の送信ビットマップを生成する場合に（上述したように）、画像ソースは、ビットマップが生成される速度に引き下げることが可能である。これに代えて、画像ソース18が画像データを階層的に符号化する場合に、バッファ内の未処理の画像データ量を表わす値が閾値よりも大きいときに、階層的画像データの一部だけが、選択された画像のために転送されることが可能である。これは、送信速度が増加されるまで、送信される画像データの解像度を有効に低下させる。

矢符130によって示されるように、表示システム17は、バッファ内の未処理の画像データ量を表わす値を、周期的に、且つ、繰り返し検出および送信するように構成されることが可能である。この値は、任意の所望する間隔で検出および送信されることが可能である。たとえば、この値は、規則的な時間間隔で送信されることが可能である。適切な時間間隔の例は、約0.05秒と0.2秒との間の範囲を含んでいるが、これらに限定されるものではない。この範囲内の適切な時間間隔の特定の例は、約0.1秒である。当然のことながら、上記の時間間隔は、単に典型的であり、他の適切な時間間隔が使用されることも可能である。さらに、時間以外の量で測定される間隔が使用されることも可能である。たとえば、未処理の画像データ量を表わす値は、画像ソース18から特定の量の画像データを受信するのに際して、画像ソース18に送信されることが可能である。

上述したように、１つの実施の形態においては、方法は、画像ソースから画像表示装置への画像データの送信を制御するために提供される。ここでは、その方法は、画像ソースから画像表示装置に画像データを送信すること、画像表示装置上のバッファ内に画像データを受信すること、画像表示装置による処理用にバッファから画像データのうちの少なくともいくつかを読み出すこと、バッファ内の未処理の画像データ量を監視すること、バッファ内の未処理の画像データ量を表わす値を画像表示装置から画像ソースに送信すること、および、未処理の画像データ量を表わす値があらかじめ選択された条件を満たす場合に、画像表示装置への画像データの送信を画像ソースによって調整することを含んでいる。

本開示は、特定の実施の形態を含んでいるが、特定の実施の形態は、多数の変形が可能であるので、限定された意味で考慮されるべきではない。本開示の主題は、ここに開示された種々の要素、特徴、機能、および／または特性の新規且つ非自明なコンビネーションおよびサブコンビネーションをすべて含んでいる。請求項は、新規且つ非自明であると見なされた或るコンビネーションおよびサブコンビネーションを特に指し示している。これらの請求項は、「１つの」要素もしくは「第１の」要素、またはその均等物を参照することがある。そのような請求項は、一又は複数のそのような要素の援用を、複数のそのような要素を除外することも要求することもなく含むと解釈されるべきである。特徴、機能、要素、および／または特性の他のコンビネーションおよびサブコンビネーションは、現在の請求項の補正、あるいはこのもしくは関連する出願において新しい請求項を提示することを通じて請求されることが可能である。そのような請求項は、元の請求項の範囲より広く、より狭く、等しく、あるいは異なっても、本開示の主題に含まれると見なされる。

本願発明の実施の形態にかかる画像処理および表示システムの模式図である。 本願発明の別の実施の形態にかかる画像ソースおよび画像表示装置のブロック図である。 本願発明の別の実施の形態にかかる、画像ソースから画像表示装置への画像データの送信を制御する方法のフローチャートである。

符号の説明

10 画像処理システム
12 表示装置
16 画像レンダリング装置
17 画像表示システム
18 画像ソース
18a サーバ（デスクトップ・コンピュータ）
18b ラップトップ・コンピュータ
18c 携帯情報端末（PDA）
18d 携帯電話機
20 無線ネットワーク
30，46 メモリ
32，42 プロセッサ
34，40 入力／出力ポート
36 フォワード通信チャネル
44 入力バッファ
48 バックワード通信チャネル
100 方法

Claims (19)

1. 画像ソースから画像表示装置への画像データの送信を制御する方法であって、
   前記画像表示装置に前記画像ソースから前記画像データを送信すること、
   前記画像表示装置上のバッファ内に画像データを受信すること、
   処理用に前記バッファから前記画像データのうちの少なくともいくつかを読み出すこと、
   前記バッファ内の未処理の画像データ量を監視すること、
   前記バッファ内の未処理の画像データ量を表わす値を前記画像表示装置から前記画像ソースに送信すること、
   前記未処理の画像データ量を表わす値があらかじめ選択された条件を満たす場合に、前記画像ソースによる前記画像表示装置への前記画像データの送信を調整することを含み、
   前記バッファ内の未処理の画像データ量を表わす値を送信することは、前記バッファ内の未処理の画像データの絶対量を表わす値を送信することを含んでおり、
   前記未処理の画像データ量を表わす値があらかじめ選択された条件を満たす場合に前記画像表示装置への画像データの送信を調整することは、前記バッファ内の未処理の画像データの絶対量が閾値量以上である場合に送信速度を引き下げることを含んでおり、
   前記画像の送信速度を引き下げることは、前記画像ソースによって送信された画像データの解像度の程度を低下させることを含んでいる方法。
2. 前記表示装置に前記画像データを送信することは、前記画像ソース上に画像のビットマップを周期的に生成し、圧縮画像データを形成するために前記ビットマップを圧縮し、その後、前記画像表示装置に圧縮した前記画像データを送信することを含んでいる請求項１記載の方法。
3. 前記画像データの送信を調整することは、前記ビットマップが生成される速度を遅くすることを含んでいる請求項２記載の方法。
4. 前記バッファ内の未処理の画像データ量を表わす値を送信することは、前記画像データによって占められた前記バッファの割合を表わす値を送信することを含んでいる請求項１記載の方法。
5. 前記未処理の画像データ量を表わす値があらかじめ選択された条件を満たす場合に前記画像表示装置への前記画像データの送信を調整することは、前記画像データによって占められた前記バッファの割合が閾値割合以上である場合に送信速度を引き下げることを含んでいる請求項４記載の方法。
6. 前記送信速度を引き下げることは、前記画像ソースによる画像データの取得速度を引き下げることを含んでいる請求項１記載の方法。
7. 前記バッファ内の未処理の画像データ量を表わす値を送信することは、前記画像データによって占められない前記バッファのサイズを表わす値を送信することを含んでいる請求項１記載の方法。
8. 前記未処理の画像データ量を表わす値があらかじめ選択された条件を満たす場合に前記画像表示装置への前記画像データの送信を調整することは、前記画像データによって占められない前記バッファのサイズが、閾値サイズ以下である場合に送信速度を引き下げることを含んでいる請求項７記載の方法。
9. 前記バッファ内の未処理の画像データ量を表わす値を送信することは、前記バッファ内の未処理の画像データ量を表わす値を周期的に送信することを含んでいる請求項１記載の方法。
10. 画像ソース上で、画像表示装置への画像データの送信を制御する方法であって、
    前記画像表示装置に前記画像データを送信すること、
    前記画像表示装置から前記画像表示装置上のバッファ内の未処理のデータ量を表わす値を受信すること、および
    前記バッファ内の未処理のデータ量を表わす値を受信するのに応じて、前記表示装置への前記画像データの送信を調整することを含み、
    前記表示装置に前記画像データを送信することは、前記画像ソース上の画像のビットマップを周期的に生成すること、圧縮画像データを形成するために前記ビットマップを圧縮すること、および、その後、前記画像表示装置に前記圧縮画像データを送信することを含んでおり、
    前記表示装置への前記画像データの送信を調整することは、前記表示装置への画像データの送信速度を引き下げることを含んでおり、
    前記バッファ内の未処理の画像データ量を表わす値を受信することは、前記バッファ内の画像データの絶対量を表わす値を受信することを含んでおり、
    前記表示装置への前記画像データの送信を調整することは、前記ビットマップが取得される解像度を低下させることを含んでいる方法。
11. 前記バッファ内の未処理の画像データ量を表わす値を受信することは、前記画像データによって占められた前記バッファの割合を表わす値を受信することを含んでいる請求項１０記載の方法。
12. 前記バッファ内の未処理の画像データ量を表わす値を受信することは、前記未処理の画像データによって占められない前記バッファ内のメモリ量を表わす値を受信することを含んでいる請求項１０記載の方法。
13. 前記未処理の画像データ量を表わす値を受信することは、前記バッファ内の未処理の画像データ量を表わす値を周期的に受信することを含んでいる請求項１０記載の方法。
14. 前記表示装置への前記画像データの送信を調整することは、前記ビットマップが生成される速度を遅くすることを含んでいる請求項１０記載の方法。
15. メモリと、プロセッサと、前記メモリ内に記憶され、前記画像ソースから画像表示装置への画像データの送信を制御するためにプロセッサによって実行可能なコードとを備える画像ソースであって、
    前記コードは、
    前記画像表示装置に前記画像データを送信するためのコードと、
    前記画像表示装置から前記画像表示装置上のバッファ内の未処理のデータ量を表わす値を受信するコードと、
    前記バッファ内の未処理のデータ量を表わす値を受信するのに応じて、前記表示装置への前記画像データの送信を調整するためのコードを含み、
    前記バッファ内の未処理の画像データ量を表わす値を受信するためのコードは、前記バッファ内の画像データの絶対量を表わす値を受信するためのコードを含んでおり、
    前記表示装置に前記画像データを送信するためのコードは、前記画像ソース上で画像のビットマップを周期的に生成するためのコードと、圧縮画像データを形成するために前記ビットマップを圧縮するためのコードと、前記画像表示装置に前記圧縮画像データを送信するためのコードとを含んでおり、
    前記表示装置への前記画像データの送信を調整するためのコードは、前記表示装置への前記画像データの送信速度を引き下げるためコードを含んでおり、
    前記表示装置への前記画像データの送信に関するパラメータを調整するためのコードは、前記ビットマップが送信される解像度を低下させるためコードを含んでいる画像ソース。
16. 前記バッファ内の未処理の画像データ量を表わす値を受信するためのコードは、前記画像データによって占められた前記バッファの割合を表わす値を受信するのためのコードを含んでいる請求項１５記載の画像ソース。
17. 前記バッファ内の未処理の画像データ量を表わす値を受信するコードは、未処理の画像データによって占められない前記バッファ内のメモリ量を表わす値を受信するためのコードを含んでいる請求項１５記載の画像ソース。
18. 前記未処理の画像データ量を表わす値を受信するためのコードは、前記バッファ内の未処理の画像データ量を表わす値を周期的に受信するためのコードを含んでいる請求項１５記載の画像ソース。
19. 前記表示装置への前記画像データの送信に関するパラメータを調整するためのコードは、前記ビットマップが生成される速度を遅くするためのコードを含んでいる請求項１５記載の画像ソース。

Images