JP4100359B2 - 信号伝送システム、データ送信装置、及びデータ受信装置 - Google Patents

Description

本発明は、例えば、静止画像信号をプロジェクタ又はＰＤＰ等の大型映像表示装置に伝送するデータ送信装置、この伝送信号を受信するデータ受信装置、及びこれらを用いた信号伝送システムに関する。

現在、コンピュータで扱う画像データは、精細度が上がる一方で、表示素子の解像度も着実に上がってきている。これらの技術の傾向から、近年、コンピュータの画像信号を液晶プロジェクタに入力し、これを投射しプレゼンテーションを行うことが盛んになってきている。しかしながら、コンピュータの画像信号をプロジェクタに入力するためのケーブルは、一般的にはＲＧＢの３本の画像信号用線、水平同期及び垂直同期の２本の同期信号用線の計５本の線が束になったものが用いられ、またその信号の帯域幅からケーブルが太くて短いものが用いられている。このため、コンピュータ及びプロジェクタの配置位置が制限され、プレゼンテーションの妨げになっている。これを解決するため、画像信号を無線で伝送する画像伝送システムが提案されている（例えば、特許文献１参照）。

この画像伝送システムでは、送信側のフレームメモリに入力画像データを記憶させ、このデータをシリアルで読み出し、赤外線若しくは無線により伝送し、受信側でシリアル信号からパラレル信号に戻し、このパラレル信号を受信側のフレームメモリに記憶し、このメモリを読み出すことによりＲＧＢの画像データ信号を復元している。

ところで、プレゼンテーション等で汎用な画像信号としてＸＧＡと呼ばれる映像信号形式がある。ＸＧＡは、画像サイズが水平方向１０２４画素×垂直方向７６８画素、フレーム周波数が６０Ｈｚのものはクロック周波数が６５ＭＨｚであり、これらがＲＧＢ各８ビット必要であることから、シリアル信号で伝送するときの伝送レートは、約１．６ＧＨｚとなる。一例として、帯域幅が約１００ＭＨｚの赤外線通信にて空間伝送する場合、上述の画像伝送システムでは、複数のフレーム期間を用いて伝送することが可能であるが、伝送レートから勘案すると１６フレームに１枚の画像しか伝送できず、発表者（プレゼンタ）がマウスを動かしても画面上のカーソルの動きがぎこちなく不自然になる等の問題があった。

一般的な画像伝送システムには、ＭＰＥＧ(Moving Picture Experts Group)、ＪＰＥＧ(Joint Photographic Expert Group) 等の画像圧縮符号化方式が使われるが、このとき問題となるのが画品位である。ＭＰＥＧ及びＪＰＥＧは、主として自然画像（ビデオデータ）を符号化するのに適した画像圧縮符号化方式であり、コンピュータ出力（特に高精細なテキスト画面など）には不向きである。更に、ＭＰＥＧエンコードには画像データから動きベクトルを求める動き検出、離散コサイン変換（ＤＣＴ:Discrete Cosine Transform）演算が必要になり、回路規模が大きくなる。その結果、規模が大きく高コストのシステムになってしまう。

また、コンピュータからの出力の場合、表示画像のファイルそのものをＬＡＮ(Local Area Network)経由で伝送することも可能である。最近、２．４ＧＨｚ帯の無線ＬＡＮの商品も出てきているが、この場合、画品位はオリジナルのままであるが、次のような問題が発生する。例えば、送信側をコンピュータ、受信側をディスプレイ（モニタ、プロジェクタ）とした場合、送信側にとって問題はないが、受信側であるディスプレイがＬＡＮ機能をもたせることが必要になる。ディスプレイにＬＡＮ機能がない場合、受信側にコンピュータを用意することが必要になり、結果としてコストアップになる。また、ＬＡＮ接続は、コンピュータとディスプレイとをＶＧＡケーブルで接続するだけでは使用できず、設定方法が煩雑である。

そこで、煩雑な設定作業を必要とせず、配置位置又は伝送レートに関わらず、確実に画像データを再生する手法として、入力されている画像データが前のフレームの画像データに比べて変化があったか否かを判別し、判別結果に応じて伝送する画像データの領域を設定し、変化に相当する画像データの差分を示すデータを付加し伝送する信号伝送システムが提案されている（例えば、特許文献２参照）。

ところが、入力されている元の画像データの大部分が変化する場合、又はページチェンジのように表示画像データの変化量が大きくなる場合、伝送データ量が増え、画像データを伝送し始めてから画像が表示されるまでに、やはりタイムラグが生じることになる。このように従来、画像データによって画像表示までの応答時間に差が出るため、プレゼンテーション時などにはプレゼンテーション画像が表示待ち状態になって説明のタイミングに合わせて表示されないと、円滑なプレゼンテーションの妨げになってしまっていた。

特開平１１−００４４６１号公報 特開２００１−１０３４９１号公報

本発明は、上述した従来の実情に鑑みてなされたものであり、画面の更新要求があってから画像が表示されるまでの応答時間のばらつきを解消することができる信号伝送システム、このシステムを構成するデータ送信装置及びデータ受信装置を提供することを目的とする。

本発明に係る信号伝送システムは、入力した画像データの前フレームの画像データを一時的に記憶する一時記憶手段と、入力された画像データと一時記憶手段に記憶された該画像データの前フレームの画像データとを比較し各画素の画像データの差分を算出するとともにその画像データの差分を加算した差分加算値を算出する比較手段と、比較手段で算出された画像データの差分に応じて画像データのうち伝送する画像データの領域を設定するとともに、その伝送領域を表すデータを、該領域の画像データの差分を表すデータに付加した差分画像データを生成する差分画像データ生成手段と、入力した画像データから粗画像データを生成する粗画像データ生成手段と、各画像データを外部に送信する送信手段と、比較手段にて算出された差分加算値が所定値より小のとき差分画像データを外部に送信する差分伝送モードと、差分加算値が所定値以上のとき粗画像データを外部に送信し続いて入力した元の画像データを送信する２段階伝送モードとを切換制御する送信画像データ制御手段と有するデータ送信装置と、データ送信装置から送られたデータを受信する受信手段と、受信手段にて受信した差分画像データに応じて再生画像データを生成する差分画像データ再生手段と、受信手段にて受信した粗画像データを再生する粗画像データ再生手段と、受信手段にて受信した元の画像データを再生する画像データ再生手段と、受信した画像データに応じて再生手段を切り換える再生データ切換制御手段とを有するデータ受信装置とを備える。

また、データ送信装置から送られたデータを受信する受信手段と、受信手段にて受信した差分画像データに応じて再生画像データを生成する差分画像データ再生手段と、受信手段にて受信した粗画像データを再生する粗画像データ再生手段と、受信手段にて受信した元の画像データを再生する画像データ再生手段と、受信した画像データに応じて再生手段を切り換える再生データ切換制御手段とを有するデータ受信装置を備え、これらがネットワークにより互いに接続されている。

これにより、この信号伝送システムは、差分に応じて表示画像の差分のみ更新するか、全データを置き換えるかを判別する。全データを更新する場合には、画像データから生成した粗画像データをまず出力し、元の画像データが表示可能になったときに粗画像データと切り換える。

ここで、粗画像データ生成手段は、１フレームの総伝送容量が送信手段における伝送レートで所定期間で送信可能な伝送容量を超えないデータサイズで粗画像データを生成する。また、粗画像データ生成手段は、入力した画像データの階調を減じた画像データを生成する。或いは粗画像データ生成手段は、入力した画像データを高圧縮率で圧縮することにより粗画像データを生成する。また、ネットワークは、ＩＥＥＥ８０２．１１ｂに準拠する無線通信ネットワークである。

また、本発明に係るデータ送信装置は、入力した画像データの前フレームの画像データを一時的に記憶する一時記憶手段と、入力された画像データと一時記憶手段に記憶された該画像データの前フレームの画像データとを比較し各画素の画像データの差分を算出するとともにその画像データの差分を加算した差分加算値を算出する比較手段と、比較手段で算出された画像データの差分に応じて画像データのうち伝送する画像データの領域を設定するとともに、その伝送領域を表すデータを、該領域の画像データの差分を表すデータに付加した差分画像データを生成する差分画像データ生成手段と、入力した画像データから粗画像データを生成する粗画像データ生成手段と、各画像データを外部に送信する送信手段と、比較手段にて算出された差分加算値が所定値より小のとき差分画像データを外部に送信する差分伝送モードと、差分加算値が所定値以上のとき粗画像データを外部に送信し続いて入力した元の画像データを送信する２段階伝送モードとを切換制御する送信画像データ制御手段とを備える。

更にまた、本発明に係るデータ受信装置は、外部のデータ送信装置から送られたデータをネットワークを介して受信する受信手段と、受信手段にて受信した伝送領域を表すデータを該領域の画像データの差分を表すデータに付加した差分画像データに応じて再生画像データを生成する差分画像データ再生手段と、受信手段にて受信した粗画像データを再生する粗画像データ再生手段と、受信手段にて受信した元の画像データを再生する画像データ再生手段と、データ送信装置に入力された画像データと該画像データの前フレームの画像データとを比較して算出された各画素の画像データの差分を加算した差分加算値が所定値より小の差分伝送モードのときにデータ送信装置から送られてくる差分画像データを差分画像データ再生手段によって再生画像データとし、差分加算値が所定値以上の２段階伝送モードのときにデータ送信装置から送られる粗画像データを粗画像データ再生手段によって再生させた後にデータ送信装置から送られる元の画像データを画像データ再生手段によって再生させるように、受信した画像データに応じて再生手段を切り換える再生データ切換制御手段とを備える。

本発明の信号伝送システムによれば、画面更新の要求から画面を表示するまでの時間を短縮することができる。また、固定伝送レートの通信方式のもとで安定した画像データ伝送を実現することができる。特に、ＸＧＡ以上の高精細画像信号形式に用いて好適である。

本発明の具体例として示す信号伝送システムは、ＰＣ（パーソナルコンピュータ）等の情報処理端末と周辺機器とを接続するシステムであって、ここでは特に、周辺機器として画像投影装置（以下、プロジェクタと記す。）を用いて、ＰＣとプロジェクタをネットワークで接続し、ＰＣのモニタに表示される画像データをプロジェクタに送信してスクリーンに投影できるようにした画像表示システムである。したがって、本例にて扱う画像データとは、主として、ＰＣのソフトウェアにて作成及び加工が可能な図表によって構成された画面、更にはこれらにテキストデータが組み込まれた画面等のようなコンピュータ画面の静止画像であり、写真又は映像の一部を切り出した画像データよりも抽象的な静止画像を表す。

このようにＰＣとプロジェクタとをネットワーク接続したシステムにおいて、１フレーム分の画像データのサイズとネットワークの伝送レートとを考慮すると、画像更新が要求されたときに更新領域が大きいと、画像データが伝送され表示されるまでにタイムラグが生じる。そこで、本発明の具体例として示す信号伝送システムは、表示画像の差分のみを更新するか、画像データから生成した粗画像データをまず出力し元の画像データが表示可能になったときに粗画像から元画像に切り換えるかを判別することにより、画像が表示されるまでの応答時間のばらつきを解消することを可能とした。

以下、本発明の具体例として示す画像表示システムについて図面を参照して詳細に説明する。画像表示システム１は、図１に示すように、ＰＣ２とプロジェクタ３とを備えており、ＰＣ２とプロジェクタ３は、送受信装置としてデータ送信装置１０及びデータ受信装置２０を備え、これにより相互のネットワーク通信が可能になっている。このデータ送受信装置１０は、例えば、ＵＳＢにてＰＣ２と接続可能になっている。データ受信装置２０は、プロジェクタ３に対して専用スロットルにて着脱可能になっている。また、いわゆるＰＣカードタイプになっていてもよい。

本具体例では、ＰＣ２とプロジェクタ３は、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）の定めるＩＥＥＥ８０２．１１ｂに準拠した無線通信ネットワークにより接続されている。これにより、ＰＣ２のモニタに表示される画像データは、ネットワークを介してプロジェクタ３に送られ、スクリーン４にも投影される。図１では、ＰＣ２のモニタ上の画像５がプロジェクタ３によってスクリーン４上に画像６として表示されている。なお、本具体例では、画像信号としてＸＧＡと呼ばれる高精細の映像信号形式を用いる。ＸＧＡは、画像サイズが水平方向１０２４画素×垂直方向７６８画素である。

次に、このシステムにおいて画像データを送受信するためのデータ送信装置１０及びデータ受信装置２０について説明する。図２に示すデータ送信装置１０は、入力した画像データを１フレーム毎に一時的に記憶するメモリ１１ａ及びメモリ１１ｂと、１つ前のフレームの画像データと次に入力された画像データとを比較して画像データの差分を各画素について算出するとともにその画像データの差分を全画面について加算した値を算出する画像比較回路１２と、算出された画像データの差分がゼロではない領域を表すデータをその領域の画像データの差分を表すデータに付加した差分画像データを生成する伝送領域データ処理回路１３と、入力した画像データから粗画像データを生成する粗画像データ処理回路１４と、入力したＸＧＡ形式の画像データを送信するための高精細画像データ処理回路１５と、ＩＥＥＥ８０２．１１ｂに準拠した無線通信パケットを生成し各画像データをデータ受信装置に送信する送信回路１６とを備え、上述の各部は、図示しないＣＰＵ及びＰＣ２からの同期信号に基づいた制御信号によって統括制御されている。

図３に示すデータ受信装置２０は、データ送信装置１０から送られたデータを、ネットワークを介して受信する受信回路２１と、受信回路２１にて受信した差分画像データに基づき、その伝送領域の画像データの差分を直前の画像データに重畳することにより再生画像データを生成する伝送領域データ再生回路２２と、受信回路２１にて受信した受信した粗画像データを再生する粗画像データ再生回路２３と、受信回路２１にて受信したＸＧＡ形式の元画像データを再生する高精細画像データ再生回路２４とを備えている。また、伝送された画像データを表示メモリ２６に書き込む画像データ書込回路２５と、表示メモリ２６から画像データを読み出す画像データ読出回路２７を有している。

これらの各回路は、図示しない制御部に制御され、データ送信装置１０に入力されたＸＧＡ形式の画像データと該画像データの１つ前のフレームとの全画面における差分が所定値より小のときにデータ送信装置１０によって送られる差分画像データを伝送領域データ再生回路２２で再生し、全画面における差分が所定値以上のときに送られる粗画像データを粗画像データ再生回路２３で再生するように、受信した画像データに応じて切り換えられる。

送信回路１６にて生成された無線通信パケットには、伝送領域データか、粗画像データか、高精細画像データかに応じたヘッダ情報が書き込まれている。したがって、受信回路２１は、受信した無線通信パケットをこのヘッダ情報に基づいて最適な再生回路に振り分けている。

続いて、図４を用いて、データ送信装置１０における画面データの送信処理について具体的に説明する。

データ送信装置１０において、画像比較回路１２は、表示画像の更新が要求されると、制御部の制御のもと、メモリ１１ａ又はメモリ１１ｂに格納された１つ前のフレームの画像データと現在入力されている画像データとを比較し画像データの差分を算出する。画像比較回路１２において算出された全画面における差分が所定値より小のとき、すなわち画面データの更新量が小さいとき（ステップＳ１；Ｎｏ）、制御部は、差分を表すデータのみを生成する制御信号を生成する。伝送領域データ処理回路１３は、これを受けて、画像データの差分から画像データのうち伝送する領域の画像データ及び該領域を表すデータを生成して送信する。このとき送信されるデータは、通常の２４ビットデータとする（ステップＳ２）。

一方、差分が所定値以上のとき、すなわち画面データの更新量が大きいとき（ステップＳ１；Ｙｅｓ）、制御部は、粗画像データを生成する制御信号を生成する。粗画像データ処理回路１４は、これを受けて２４ビットデータのうち上位１／３（８ビット）で構成された粗画像データを生成して送信し、続いて、高精細画像データ処理回路１５は、フルサイズの画像データを送信する（ステップＳ４）。

上述の画像表示処理において、粗画像データ処理回路１４にて粗画像データを生成する際には、ＸＧＡ形式の標準的な画像データの階調を低減する処理、ＪＰＥＧ圧縮等の不可逆圧縮処理等を施してもよい。

図５は、画像表示システム１における、画像が表示されるまでにかかる画像表示時間と画像データ伝送量との関係を示す図である。画面データの更新量に応じて差分を表すデータのみを送る場合と、粗画像データ分を先に送信する場合とで画像が表示されるまでの時間を表している。差分データのみを送る場合、画像データの差分が大きくなるにつれ、すなわち画像データの伝送量が増加するにつれて画像表示時間が大きくなる。そこで、ある表示時間或いはある差分値で差分を表すデータのみを送る処理から粗画像データと高精細画像データとを２段階で送信する処理に切り換える。この値としては、例えば、ＸＧＡ形式の画像信号を約１００ＭＨｚの無線帯域にて伝送する場合、１フレームの画像データが表示されるまでにかかる期間（約０．２５秒）としてもよい。

上述した画像の送信処理によって、画像表示システム１は、画像データの差分に応じて表示画像の差分のみを更新するか全データを置き換えるかを判別し、全データを更新する場合には、画像データから生成した粗画像データをまず出力し、元の画像データが表示可能になったときに粗画像データと切り換えるという２段階の画像データ伝送を行うことになる。

すなわち、全データを置き換える場合、スクリーン４に投影される画像（コンピュータ画面）は、図６に示すようになる。図６に模式的に示すように、画像表示システム１ではまず、ＸＧＡ形式の画像データに比べれば粗いが、視聴者にとって視認可能な程度の画像が違和感のない時間間隔で表示され、その後、高精細画像データが表示可能になったときに高精細画面に切り換えられる。

特に、画像データがプレゼンテーション等に使用する図表データ又はテキストデータ程度のコンピュータ画面の場合には、粗画像データは、視聴者が粗画像であることが視認できない程度の画質になるため、視聴者にとっては、通常の高精細画面と遜色のない画面が欠落なしに即応的に表示されることになり、円滑なプレゼンテーションを行うに効果的である。

本発明は、低伝送レートの伝送路に総伝送容量の大きい画像データを伝送する場合に有効である。伝送レートが低いために正規画像が表示されるまでに相当の時間がかかるような場合、この手法を適用することによって画像が表示されるまでのタイムラグを解消することができる。

本発明の具体例として示す画像表示システムを説明する模式図である。 上記画像表示システムにおけるデータ送信装置を説明する構成図である。 上記画像表示システムにおけるデータ受信装置を説明する構成図である。 上記画像表示システムにおけるデータ送信装置における画面データの送信処理を説明するフローチャートである。 上記画像表示システムにおける画像が表示されるまでにかかる画像表示時間と画像データ伝送量との関係を示す図である。 上記画像表示システムにて粗画像データと通常画像データとが２段階で表示されるときの様子を説明する模式図である。

符号の説明

１ 画像表示システム、 ２ ＰＣ、 ３ プロジェクタ、 ４ スクリーン、
１０ データ送信装置、 １１ａ，１１ｂ メモリ、 １２ 画像比較回路、
１３ 伝送領域データ処理回路、 １４ 粗画像データ処理回路、
１５ 高精細画像データ処理回路、 １６ 送信回路、
２０ データ受信装置、 ２１ 受信回路、 ２２ 伝送領域データ再生回路、
２３ 粗画像データ再生回路、 ２４ 高精細画像データ再生回路、
２５ 画像データ書込回路、 ２６ 表示メモリ、 ２７ 画像データ読出回路

Claims (7)

1. 入力した画像データの前フレームの画像データを一時的に記憶する一時記憶手段と、
   入力された画像データと上記一時記憶手段に記憶された該画像データの前フレームの画像データとを比較し各画素の画像データの差分を算出するとともにその画像データの差分を加算した差分加算値を算出する比較手段と、
   上記比較手段で算出された上記画像データの差分に応じて画像データのうち伝送する画像データの領域を設定するとともに、その伝送領域を表すデータを、該領域の画像データの差分を表すデータに付加した差分画像データを生成する差分画像データ生成手段と、
   上記入力した画像データから粗画像データを生成する粗画像データ生成手段と、
   上記各画像データを外部に送信する送信手段と、
   上記比較手段にて算出された上記差分加算値が所定値より小のとき上記差分画像データを外部に送信する差分伝送モードと、上記差分加算値が所定値以上のとき上記粗画像データを外部に送信し続いて上記入力した元の画像データを送信する２段階伝送モードとを切換制御する送信画像データ制御手段と
   を有するデータ送信装置と、
   上記データ送信装置から送られたデータを受信する受信手段と、
   上記受信手段にて受信した上記差分画像データに応じて再生画像データを生成する差分画像データ再生手段と、
   上記受信手段にて受信した粗画像データを再生する粗画像データ再生手段と、
   上記受信手段にて受信した元の画像データを再生する画像データ再生手段と、
   受信した画像データに応じて再生手段を切り換える再生データ切換制御手段と
   を有するデータ受信装置と
   がネットワークにて互いに接続されてなる信号伝送システム。
2. 上記粗画像データ生成手段は、１フレームの総伝送容量が上記送信手段における伝送レートで所定期間で送信可能な伝送容量を超えないデータサイズで粗画像データを生成することを特徴とする請求項１記載の信号伝送システム。
3. 上記粗画像データ生成手段は、上記入力した画像データの階調を減じた画像データを生成することを特徴とする請求項２記載の信号伝送システム。
4. 上記粗画像データ生成手段は、上記入力した画像データを高圧縮率で圧縮することを特徴とする請求項２記載の信号伝送システム。
5. 上記ネットワークは、ＩＥＥＥ８０２．１１ｂに準拠する無線通信ネットワークであることを特徴とする請求項１記載の信号伝送システム。
6. 入力した画像データの前フレームの画像データを一時的に記憶する一時記憶手段と、
   入力された画像データと上記一時記憶手段に記憶された該画像データの前フレームの画像データとを比較し各画素の画像データの差分を算出するとともにその画像データの差分を加算した差分加算値を算出する比較手段と、
   上記比較手段で算出された上記画像データの差分に応じて画像データのうち伝送する画像データの領域を設定するとともに、その伝送領域を表すデータを、該領域の画像データの差分を表すデータに付加した差分画像データを生成する差分画像データ生成手段と、
   上記入力した画像データから粗画像データを生成する粗画像データ生成手段と、
   上記各画像データを外部に送信する送信手段と、
   上記比較手段にて算出された上記差分加算値が所定値より小のとき上記差分画像データを外部に送信する差分伝送モードと、上記差分加算値が所定値以上のとき上記粗画像データを外部に送信し続いて上記入力した元の画像データを送信する２段階伝送モードとを切換制御する送信画像データ制御手段と
   を備えることを特徴とするデータ送信装置。
7. 外部のデータ送信装置から送られたデータをネットワークを介して受信する受信手段と、
   上記受信手段にて受信した伝送領域を表すデータを該領域の画像データの差分を表すデータに付加した差分画像データに応じて再生画像データを生成する差分画像データ再生手段と、
   上記受信手段にて受信した粗画像データを再生する粗画像データ再生手段と、
   上記受信手段にて受信した元の画像データを再生する画像データ再生手段と、
   上記データ送信装置に入力された画像データと該画像データの前フレームの画像データとを比較して算出された各画素の画像データの差分を加算した差分加算値が所定値より小の差分伝送モードのときに上記データ送信装置から送られてくる差分画像データを上記差分画像データ再生手段によって再生画像データとし、上記差分加算値が所定値以上の２段階伝送モードのときに上記データ送信装置から送られる粗画像データを上記粗画像データ再生手段によって再生させた後に上記データ送信装置から送られる元の画像データを上記画像データ再生手段によって再生させるように、受信した画像データに応じて再生手段を切り換える再生データ切換制御手段と
   を備えることを特徴とするデータ受信装置。

Images