以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
<第1の実施の形態>
本実施の形態に係るデータ送受信システムは、データ送信装置である送信機側端末と、送信機側端末と通信可能なデータ受信装置である受信機側端末とを含むコンピュータに搭載される。送信機側端末は、無線通信を用いて少なくとも画像データを含むデータを受信機側端末に伝送する。
以下、図1を用いて本実施の形態における送信機側端末の構成について説明する。図1に示すように、送信機側端末100は、CPU102と、メモリコントローラ104と、I/O(インプット/アウトプット)コントローラ106と、メインメモリ108と、ハードディスク116と、送信機側無線部124とを含む。
CPU102は、メインメモリ108からメモリコントローラ104を介して読み出されるプログラムの演算処理を行なう。メモリコントローラ104は、メインメモリ108を制御して、メインメモリ108に記憶されたデータを読み出してCPU102に転送したり、CPU102の演算結果をメインメモリ108の記憶領域に書き込んだりする。
メインメモリ108は、画像データあるいは音声データを記憶する記憶装置である。メインメモリ108は、たとえば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性のメモリが用いられるが特にこれらに限定されるものではない。メインメモリ108の記憶領域は、テクスチャ(1)〜テクスチャ(n)が記憶される記憶領域(1)110と、描画コマンドおよび描画物体データが記憶される記憶領域(2)112と、描画データが記憶される記憶領域(3)114と、音声データが記憶される記憶領域(4)142とを含む。記憶領域(1)110〜(4)142の領域は、たとえば、予め定められた開始アドレスと予め定められたアドレス範囲により特定されるものとする。
I/Oコントローラ106は、送信機側端末100に接続されるハードディスク116を制御して、ハードディスク116に記憶されたデータを読み出したり、ハードディスク116の記憶領域にデータを書き込んだりする。また、I/Oコントローラ106は、ハードディスク116から読み出したデータをメモリコントローラ104に送信したり、メモリコントローラ104からデータを受信したりする。ハードディスク116は、メインメモリ108よりも大容量の記憶領域を有する固定ディスクであるが、特に限定されるものでなく、たとえば、不揮発性のメモリや脱着可能な記憶媒体であってもよい。ハードディスク116の記憶領域は、テクスチャ(1)〜テクスチャ(n)が記憶される記憶領域(1)118と、描画コマンドおよび描画物体データが記憶される記憶領域(2)120と、描画データが記憶される記憶領域(3)122と、音声データが記憶される記憶領域(4)144とを含む。なお、記憶領域(2)120には、EPG、ウィンドウ、アイコンおよびフォント等のグラフィクス系の表示要素(描画物体)を「線を引く」あるいは「点を打つ」などして描画する手順を示す描画コマンドと描画物体の頂点座標で構成される描画物体データとが記憶される。テクスチャの記憶領域(1)118には、頂点座標により構成される描画物体の輪郭の内側の面に貼り付ける模様などのがテクスチャの画像として必要とされるn個の画像データが記憶される。なお、表示要素としては、EPG、ウィンドウ、アイコンおよびフォントに特に限定されるものではない。
送信機側無線部124は、メモリコントローラ104あるいはI/Oコントローラ106からデータを受信したり、後述する受信機側端末に無線通信を用いてデータを送信したりする。送信機側無線部124は、送信部(1)130と、送信部(2)126とを含む。
送信部(2)126は、画像データ分離部128を含む。画像データ分離部128は、メモリコントローラ104から受信する画像データを分離して、分離したデータを、送信部(1)130に含まれる画像可逆圧縮部132および画像非可逆圧縮部134のそれぞれに送信する。
送信部(1)130は、画像可逆圧縮部132と、画像非可逆圧縮部134と、音声非可逆圧縮部136と、多重化部138と、無線送信部140とを含む。
画像可逆圧縮部132は、画像データ分離部128から受信したデータを可逆圧縮する。「可逆圧縮」とは、圧縮伸長後のデータが圧縮前のデータと同一性が保持されるデータの圧縮方法である。すなわち、可逆圧縮したデータは、可逆伸長されると圧縮前のデータに対して欠落する部分のない同一のデータに復元される。この圧縮方法としては、たとえば、ハフマン符号化あるいはランレングス符号化等の方法があるが、特にこれらに限定されるものではない。
画像非可逆圧縮部134は、画像データ分離部128から受信したデータを非可逆圧縮する。「非可逆圧縮」とは、たとえば、動画や静止画などの画像データから、人間の視覚的に欠落が許容されるデータ(たとえば、画像データの高周波成分)を削除して圧縮率を向上させたデータの圧縮方法である。すなわち、非可逆圧縮したデータは、非可逆伸長されると圧縮前のデータに対して同一性が保持されない。この圧縮方法としては、たとえば、動画であればフレーム内圧縮によるMotion JPEG画像圧縮方法、フレーム間圧縮によるMPEG−1,2,4画像圧縮方法もしくはH.264/AVC画像圧縮方法が挙げられ、また、静止画であれば非可逆圧縮方式のJPEG画像圧縮方法等が挙げられるが、特にこれらに限定されるものではない。
音声非可逆圧縮部136は、I/Oコントローラ106から受信する音声等を含む音データ(以下、音声データともいう)を非可逆圧縮する。「音声データの非可逆圧縮」とは、たとえば、音声データから、人間の聴覚的に欠落が許容されるデータ(たとえば、音声データの高周波成分)を削除して圧縮率を向上させた圧縮方法である。この圧縮方法としては、たとえば、MPEGオーディオや、AAC(Advanced Audio Coding)、G.728勧告などの音声データ圧縮方法が一般的であるが特にこれらに限定されるものではない。
多重化部138は、画像可逆圧縮部132、画像非可逆圧縮部134および音声非可逆圧縮部136からそれぞれ受信した圧縮データを複合した複合データを生成する、すなわち、複数のデータを多重化する。複数のデータを多重化することにより、1つの伝送経路で複数の情報を通信することができる。生成される複合データのデータ構造の詳細のについては後述する。
無線送信部140は、多重化部138から受信した複合データを受信機側端末に送信する。無線送信部140は、図2に示すように、ECCエンコード部150と、変調器152と、周波数変換器154と、送信アンプ156と、アンテナ158とを含む。
ECCエンコード部150は、多重化部138から受信した複合データにエラー訂正符号を付加する。変調器152は、エラー訂正符号が付加された複合データを変調する。周波数変換器154は、変調された複合データをRF信号に変換する。送信アンプ158は、変換されたRF信号を増幅して、アンテナ158を介して無線送信出力する。なお、多重化部138から受信した複合データの無線通信を用いた送信方法としては、上述した構成に特に限定されるものではない。
以下、図3を用いて本実施の形態に係る受信機側端末の構成について説明する。受信機側端末200は、モニタ242と受信機側無線部202とを含む。受信機側無線部202は、受信部(1)204と受信部(2)216とグラフィクス描画器220とオーディオデコーダ240とD/Aコンバータ244とスピーカ246とを含む。
受信部(1)204は、無線受信部206と分離部208と画像可逆伸長部210と画像非可逆伸長部212と音声非可逆伸長部214とを含む。
無線受信部206は、図4に示すようにアンテナ250と受信アンプ252と周波数変換器254と復調器256とECCデコーダ258とを含む。受信アンプ252は、アンテナ250を介して受信された信号を増幅する。周波数変換器254は、増幅された信号を周波数変換する。復調器256は、周波数変換された信号を復調する。そして、ECCデコーダ258は、復調された信号に対して、エラー訂正をするとともにエラー訂正符号を除去した後、分離部208に送信する。
図3に戻って、分離部208は、受信した複合データを分離して、可逆圧縮された画像データを画像可逆伸長部210に送信し、非可逆圧縮された画像データを画像非可逆伸長部212に送信し、非可逆圧縮された音声データを音声非可逆伸長部214に送信する。
画像可逆伸長部210は、分離部208から受信した可逆圧縮された画像データを可逆伸長する。なお、「可逆伸長」とは、可逆圧縮されたデータを圧縮前と同一のデータに復元するデータの伸長方法である。
画像非可逆伸長部212は、分離部208から受信した非可逆圧縮された画像データを非可逆伸長する。音声非可逆伸長部214は、分離部208から受信した非可逆圧縮された音声データを非可逆伸長する。なお、「非可逆伸長」とは、非可逆圧縮されたデータを伸長するデータの伸長方法である。非可逆伸長されたデータは、圧縮前のデータに対して同一性は保持されない。
受信部(2)216は、画像データ多重部218を含む。画像データ多重部216は、画像可逆伸長部210および画像非可逆伸長部212からそれぞれ受信した画像データを多重化する。画像データ多重部216は、多重化された画像データをグラフィクス描画器220に送信する。
グラフィクス描画器220は、描画用プロセッサ222と、ビデオメモリ制御部224と、ビデオスケーラ226と、D/Aコンバータ228と、ビデオメモリ230とを含む。
描画用プロセッサ222は、ビデオメモリ230からビデオメモリ制御部224を介して読み出される画像データをモニタ242の画面に描画する演算処理を行なう。
ビデオメモリ制御部224は、ビデオメモリ230を制御して、ビデオメモリ230に記憶されたデータを読み出して描画用プロセッサ232に転送したり、描画用プロセッサの演算結果をビデオメモリ230の記憶領域に書き込んだりする。
ビデオメモリ230は、画像データを記憶する記憶装置である。ビデオメモリ230の記憶領域は、描画データが記憶される記憶領域(1)232と、テクスチャ(1)〜テクスチャ(n)が記憶される記憶領域(2)234と、描画コマンドおよび描画物体データが記憶される記憶領域(3)236と、フレームバッファ238とを含む。
ビデオスケーラ226は、ビデオメモリ制御部224から受信した画像データをスケーリング処理を施した後、D/Aコンバータ228に送信する。D/Aコンバータ228は、ビデオスケーラ226から受信したデジタル信号をアナログ信号に変換してモニタ242に出力する。モニタ242は、D/Aコンバータ228から入力されたアナログ信号に基づいて、画面に画像を表示する。
オーディオデコーダ240は、音声非可逆伸長部214から受信した音声データをデコードして、D/Aコンバータ244に送信する。D/Aコンバータ244は、オーディオデコーダ240から受信したデジタル信号をアナログ信号に変換してスピーカ246に送信する。
以上のような構成を有する送信機側端末100および受信機側端末200を含むデータ送受信システムが搭載されるコンピュータに対して、有線でモニタ242まで接続される一般的なコンピュータの構成は、メモリコントローラ104からグラフィクス描画器220のビデオメモリ制御部224までの間の構成が省略され、メモリコントローラ104からビデオメモリ制御部224に対して直接データが送信される構成(図1および図3の破線の矢印)である。
このような一般的なコンピュータの構成において、様々な描画処理が行なわれるが、代表される動作は、オペレーティングシステム、または、アプリケーションソフトウェアを処理するCPU102が、描画する内容を直接描画するか、CPU102が描画する内容を描画用プロセッサ222に指示して、描画用プロセッサ222が描画するかに分かれる。
一般的なコンピュータの構成において、CPU102が描画する内容を直接描画する場合、CPU102は、オペレーティングシステムかアプリケーションソフトウェアにしたがって、描画する内容をメインメモリ108上の描画データの記憶領域(3)114に描画する。その後、CPU102は、描画データを、メモリコントローラ104を介してグラフィクス描画器220上のビデオメモリ230上の描画データの記憶領域(1)232に転送する。描画用プロセッサ222は、記憶領域(1)232に転送された描画データを、ビデオメモリ制御部224を介してビデオメモリ230上のフレームバッファ領域238に転送する。
ビデオメモリ制御部224は、表示のタイミングを生成する。生成された表示のタイミングに合わせて、ビデオメモリ230内のフレームバッファ238から順次、描画データを読み出す。読み出された描画データは、ビデオスケーラ226に送信される。ビデオスケーラ226は、受信した描画データにスケーリング処理を施す。ビデオスケーラ226から受信した描画データに対応するデジタル信号は、D/Aコンバータ228によりアナログ信号に変換される。D/Aコンバータ228は、変換したアナログ信号をモニタ224に出力する。
CPU102が画面描画を行なう際、具体的にはウィンドウのフレームやマウスポインタなどを個々にCPU102が描画することはなく、CPU102が描画用プロセッサ222に対して描画コマンドにより描画指示を行なって、描画用プロセッサ222が描画指示に基づいてウィンドウのフレーム等の表示要素を描画することが一般的である。したがって、本実施の形態において、描画データとは、ビットマップデータやJPEGデータの展開後の写真や絵画の静止画あるいは動画を構成する画像を指す。
CPU102が描画する内容を描画用プロセッサ222に指示し、描画用プロセッサ222が描画する場合、CPU102は、描画する手順と描画物体の頂点座標データとをメインメモリ108における描画コマンドおよび描画物体データの記憶領域(2)112に書き込む。描画物体は、描画用プロセッサ222により、頂点によって構成された面にテクスチャを張られるが、テクスチャは別途、テクスチャの記憶領域(1)110に書き込まれる。なお、テクスチャは、一般的には物体の表面を表す模様であって、写真や絵画などをビットマップデータ化した画像データである。
描画コマンドおよび描画物体データの記憶領域(2)112とテクスチャの記憶領域(2)110において、描画に必要なデータが揃うと、メモリコントローラ104は、ビデオメモリ230における、描画コマンドおよび描画物体データの記憶領域(3)236とテクスチャの領域(2)234とにデータを転送する。
描画用プロセッサ222は、描画コマンドおよび描画物体データの記憶領域(3)236から転送されたデータを読み出して、描画物体を描画する。描画用プロセッサ222は、描画した描画物体にテクスチャの記憶領域(2)234から読み出したテクスチャを物体の輪郭内側の面に張り付ける。描画用プロセッサ222は、テクスチャを貼り付けた描画物体をフレームバッファ238に書き込む。
ビデオメモリ制御部224は、表示のタイミングを生成する。生成された表示のタイミングに合わせて、ビデオメモリ230内のフレームバッファ238から順次、描画物体を読み出す。読み出された描画物体は、ビデオスケーラ226に送信される。ビデオスケーラ226は、受信した描画物体にスケーリング処理を施す。ビデオスケーラ226から受信した描画物体に対応するデジタル信号は、D/Aコンバータ228によりアナログ信号に変換される。D/Aコンバータ228は、変換したアナログ信号をモニタ224に送信する。なお、CPU102が描画する内容を直接描画する場合も、描画用プロセッサ222が描画する場合も、液晶モニタなどに搭載されているDVI−Dなどのデジタル端子に接続される場合は、D/Aコンバータ228を介さず、モニタ242にグラフィクス描画器220からのデジタル信号が直接出力される。
また、CPU102が、描画する内容を直接描画する場合も、CPU102の描画指示に基づいて描画用プロセッサ222が描画する場合も、メモリコントローラ104を介してビデオメモリ230に転送される際には、転送データは転送先のビデオメモリ230におけるアドレスと転送するべきデータがパケット化された状態でメモリコントローラ104から送信される。ビデオメモリ制御部224は、パケット内の転送先のアドレスを参照して、ビデオメモリ230内の参照されたアドレスの領域にデータを書き込む。
しかしながら、本発明の構成のように、送信機側端末100から受信機側端末200に対して無線通信を用いて画像データを伝送して、モニタ224に画像を表示させるような構成においては、装置間の無線通信に用いられる通信帯域は、有線に比べて使用可能な帯域が制限される(狭い)ため、データの伝送速度は、有線の場合と比較して遅くなる傾向にある。
一般的にデータ伝送を考えた場合、有線を用いる場合であれば、伝送可能なデータ帯域は、伝送媒体の性能や、通信機器の能力に依存し、近年では1ギガビット/秒相当のデータ転送が可能となっている。
一方、無線通信においては、伝送媒体の性能や通信機器の能力とは別に、法令上の制限から、大きなデータ帯域は取れない。具体的には、民生機器で開放されている2.4GHz帯を用いたIEEE(The Institute of Electrical and Electrical Engineers Inc.)802.11b規格では11メガビット/秒、IEEE802.11g規格で54メガビット/秒、5GHz帯を用いたIEEE802.11a規格で54メガビット/秒である。
ところが、コンピュータの画像を伝送するには、たとえば、横方向1024ドット×縦方向768ドット、各画素がR(赤)G(緑)B(青)で24ビットで構成され、30フレーム/秒の更新頻度であるとすると、540メガビット/秒のデータ帯域が必要となる。
そのため、たとえば、動画等の転送量の大きな画像データを無線通信により伝送しようとしても、伝送速度が遅いと、伝送先の表示モニタにおいて画像が適切に表示できないという問題がある。
したがって、コンピュータ画像を無線伝送しようとする場合には、伝送する前にデータを圧縮する必要がある。データ圧縮の方法としては、上述したように、圧縮伸長後のデータが圧縮前のデータと完全に一致するデータを得ることが可能な可逆圧縮方法と、完全に元のデータに復元しない非可逆圧縮方法とがある。
可逆圧縮方法として代表的なランレングス付号化は、一様に同じ色の四角形などのグラフィクスデータについて高い圧縮率を得られる。一方、このような可逆圧縮方法により写真や自然画像などの静止画の画像データを圧縮する場合の圧縮率は、1/2〜1/4程度であり、高い圧縮率を得ることができない。
非可逆圧縮方法では、人間の視覚特性を利用し、圧縮の前後で完全に復元されなくとも人間が見た場合に品質がほぼ同等であれば良く、1フレーム毎のフレーム内圧縮方法ではJPEG圧縮方法が、さらにフレーム間にまたがる動画像ではMPEG圧縮方法が代表的である。JPEG圧縮方法においては、圧縮率は約1/10であり、MPEG圧縮方法においては、圧縮率は約1/40であるが、圧縮伸長後の画像は、元の画像に対して人間の視覚的にほぼ同等の品質を保つことができる。
しかしながら、このようなJPEG圧縮方法、MPEG圧縮方法は、画像の周波数成分の高い要素を切り捨てる方法である。そのため、CPU102あるいは描画用プロセッサ222により描画されるウィンドウの縁やマウスカーソルなどのグラフィクス系の表示要素の画像に対しては、多くのノイズ成分を発生させ、画像品質の低下が起きる。
したがって、メインメモリ108あるいはハードディスク116に記憶された画像データに上述の表示要素を重畳した後のデータを非可逆圧縮して、無線通信を用いて伝送する場合を想定すると、伝送されたデータが非可逆伸長されたときには、表示要素に対応する画像にノイズが発生するという問題が起こる。これは、CPU102が描画するEPG、アイコン、ウィンドウおよびフォントなどの表示要素には、エッジ成分(すなわち、画像の周波数成分の高い部分)を多く含むためである。
そこで、本発明は、送信機側端末100において、1フレームに対応する画像の画像データを、表示要素を構成するデータと、圧縮伸長時のデータの同一性が要求されない動画あるいは静止画等の画像データとを分離して、分離されたデータに応じて、可逆圧縮方法あるいは非可逆圧縮方法のいずれかによりそれぞれを圧縮して、圧縮されたデータを無線通信を用いて受信機側端末200に送信する点に特徴を有する。
本発明は、さらに、受信機側端末200において、受信されたデータから可逆圧縮されたデータと、非可逆圧縮されたデータとを分離して、分離された可逆圧縮されたデータを可逆伸長し、分離された非可逆圧縮されたデータを非可逆伸長して、可逆伸長されたデータおよび非可逆伸長されたデータに基づいて、1フレームに対応する画像をモニタ242に出力する点に特徴を有する。
以下に、送信機側端末100のメインメモリ108あるいはハードディスク116に記憶された画像データが受信機側端末200に無線通信を用いて伝送されて、受信機側端末200のモニタ242に画像が表示されるときのデータ送受信システムの動作について説明する。
送信機側端末100において、メインメモリ108あるいはハードディスク116に記憶された写真や絵画あるいは映画等の静止画あるいは動画を構成するビットマップデータやJPEGデータの展開後の画像に表示要素の画像を描画する画像データを受信機側端末200に無線通信により伝送する場合において、受信機側端末200のモニタ242に表示する画像と音声と表示要素などのデータの種類に応じてデータ圧縮方法を選択的に適用させる。
なお、本実施の形態においては、メモリ空間上のアドレスを管理することによりデータ圧縮方法を選択するようにしてもよいし、データに圧縮方法を識別するための識別フラグを付与するようにしてもよい。
また、本実施の形態においては、メインメモリ108に記憶される描画データ、描画コマンド描画物体データ、テクスチャ、音声データを受信機側端末200に送信することとするが、メインメモリ108上に設けられた領域に置かれる描画データ、描画コマンド描画物体データ、テクスチャ、音声データは、別途、ハードディスク装置116内の、描画データの記憶領域(3)122、描画コマンド描画物体データの記憶領域(2)120、テクスチャの記憶領域(1)118、音声データの記憶領域(4)144からメインメモリ108に転送されるようにしてもよい。
メインメモリ108に記憶されたデータは、送信機側無線部130の画像分離部128を経由して、無線通信を用いて受信機側端末200のグラフィクス描画器220に含まれるビデオメモリ230に伝送される。画像データ分離部128では、画像データにより圧縮方法を選択するため、画像データの識別が行なわれる。このとき、画像分離部128では、画像データの描画開始時に、CPU102により初期化処理が行なわれる。
以下、図5を参照して、CPU102により実行される画像分離部128の初期化処理のプログラムの制御構造について説明する。
ステップ(以下、ステップをSと記載する)100にて、CPU102は、描画コマンドおよび描画物体データの転送先の開始アドレスとアドレス範囲を画像データ分離部128の内部に有する描画コマンドおよび描画物体データ領域レジスタに転送する。
S102にて、CPU102は、テクスチャの転送先の開始アドレスとアドレス範囲を画像データ分離部128の内部に有するテクスチャ領域レジスタに転送する。
S104にて、CPU102は、描画データの転送先の開始アドレスとアドレス範囲を画像分離部128の内部に有する描画データ領域レジスタに転送する。なお、S100〜S104の処理の順序に依存関係はない。
メインメモリ108に記憶される描画データ、描画コマンドおよび描画物体データ、テクスチャは、メモリコントローラ104により、転送先のビデオメモリ220におけるアドレスと転送されるべきデータとがパケット化されて転送される。パケット化されたデータは、画像データ分離部128で、可逆圧縮されるべきデータか、非可逆圧縮されるべきデータかが選別される。
画像分離部128は、メモリコントローラ104から受信したパケットデータの識別を行なう。パケットデータの識別は、パケットデータが最終的に転送されるビデオメモリ230上のどの領域に転送されるかにより識別する。
メモリコントローラ104から受信したモニタ242の画面に表示する1フレームに対応する画像のパケットデータのうち、ビデオメモリ230の、描画データの記憶領域(1)232に転送される画像データは、画像非可逆圧縮部134に送信される。同様に、テクスチャの記憶領域(2)234に転送される画像データは、画像非可逆圧縮部134に送信される。さらに、描画コマンドおよび描画物体データの記憶領域(3)236に転送されるデータは、画像可逆圧縮部132に送信される。
以下、図6を参照して、画像データ分離部128がメモリコントローラ104から受信したパケットデータを分離するときに実行する処理について説明する。
S200にて、画像データ分離部128は、メモリコントローラ104からパケットデータを受け取る。S202にて、画像データ分離部128は、パケットデータに含まれるビデオメモリ230への転送先アドレスが描画データ領域であるか否かを判定する。具体的には、画像データ分離部128は、転送先アドレスと初期化時にセットされた描画データ領域レジスタとの比較結果に基づいて転送先アドレスが描画データ領域であるか否かを判定する。転送先アドレスが描画データ領域であると(S202にてYES)、処理はS206に移される。もしそうでないと(S202にてNO)、処理はS204に移される。
S204にて、画像データ分離部128は、パケットデータに含まれるビデオメモリ230への転送先アドレスがテクスチャ領域であるか否かを判定する。具体的には、画像データ分離部128は、転送先アドレスと初期化時にセットされたテクスチャ領域レジスタとの比較結果に基づいて転送先アドレスがテクスチャ領域であるか否かを判定する。転送先アドレスがテクスチャ領域であると(S204にてYES)、処理はS206に移される。もしそうでないと(S204にてNO)、処理はS208に移される。
S206にて、画像データ分離部128は、パケットデータを画像非可逆圧縮部134に転送する。S208にて、画像データ分離部128は、パケットデータを画像可逆圧縮部132に転送する。
したがって、画像データ分離部128は、パケットデータを受け取った後(S200)、パケットデータに含まれる転送先アドレスが描画データ領域であると(S202にてYES)、あるいはテクスチャ領域であると(S202にてNO、S204にてYES)、パケットデータを画像非可逆圧縮部134に転送する(S206)。そうでないと(S202にてNO、S204にてNO)、画像データ分離部128は、パケットデータを画像可逆圧縮部132に転送する(S208)。
次に、図7を参照して、画像可逆圧縮部132が受信したパケットデータを可逆圧縮するときに実行する処理について説明する。
S300にて、画像可逆圧縮部132は、画像データ分離部128からパケットデータを受け取る。S302にて、画像可逆圧縮部132は、パケットデータ内の転送先アドレスとデータとを分離する。S304にて、画像可逆圧縮部132は、分離されたデータを圧縮の対象として、可逆圧縮する。このとき、可逆圧縮方法は、ランレングス符号化やハフマン符号化などが例として挙げられるが特にこれらに限定されるものではない。
S306にて、画像可逆圧縮部132は、圧縮後のデータ量をカウントする。S308にて、画像可逆圧縮部132は、画像可逆圧縮識別フラグと圧縮後のデータサイズと転送先アドレスと圧縮されたデータとにより構成されるパケット(画像可逆圧縮データ)を生成する。S310にて、画像可逆圧縮部132は、生成されたパケットを多重化部138に送信する。
続いて、図8を参照して、画像非可逆圧縮部134が受信したパケットデータを非可逆圧縮するときに実行する処理について説明する。
S400にて、画像非可逆圧縮部134は、画像データ分離部128からパケットデータを受け取る。S402にて、画像非可逆圧縮部134は、パケットデータ内の転送先アドレスとデータとを分離する。S404にて、画像非可逆圧縮部134は、分離されたデータを圧縮の対象として、非可逆圧縮する。非可逆圧縮方法は、たとえば、JPEG符号化などが例として挙げられるが特にこれに限定されるものではない。
S406にて、画像非可逆圧縮部134は、圧縮後のデータ量をカウントする。S408にて、画像非可逆圧縮部134は、画像非可逆圧縮識別フラグと圧縮後のデータサイズと転送先アドレスと圧縮されたデータとにより構成されるパケット(画像非可逆圧縮データ)を生成する。S410にて、画像非可逆圧縮部134は、生成されたパケットを多重化部128に送信する。
一方、音声データについては、画像データとは、別にメインメモリ108上の記憶領域(4)142からメモリコントローラ104およびI/Oコントローラ106を介して音声非可逆圧縮部136に送信される。
以下、図9を参照して、音声非可逆圧縮部136が音声データを非可逆圧縮するときに実行する処理について説明する。
S500にて、音声非可逆圧縮部136は、I/Oコントローラ106から音声データを受け取る。S502にて、音声非可逆圧縮部136は、受け取ったデータに対して音声圧縮符号化を行なう。音声非可逆圧縮符号化の方法としては、MPEG Audio、AAC(Advanced Audio Coding)、G.728勧告、あるいは、G.723勧告等が例として挙げられるが特にこれらに限定されるものではない。また、上述した方法は、周知の技術であり、その詳細な説明は行なわない。
S504にて、音声非可逆圧縮部136は、圧縮された音声データのデータ量をカウントする。S506にて、音声非可逆圧縮部136は、音声非可逆圧縮識別フラグと圧縮後のデータサイズと圧縮後のデータとを含むパケット(音声非可逆圧縮データ)を生成する。S508にて、音声非可逆圧縮部136は、生成されたパケットを多重化部128に送信する。
なお、画像可逆圧縮部132、画像非可逆圧縮部134および音声非可逆圧縮部136において生成されるパケットに含まれる画像可逆圧縮識別フラグ、画像非可逆圧縮識別フラグおよび音声非可逆圧縮識別フラグは、図10に示すように、10進数もしくは2進数の値に対応させて予め設定しておく。
画像可逆圧縮部132、画像非可逆圧縮部134および音声非可逆圧縮部136から送信された画像可逆圧縮データ、画像非可逆圧縮データおよび音声非可逆圧縮データは、多重化部138が有するFIFO(First-in First-out:先入れ先出しのメモリ)に入力される。
具体的には、図11に示すように、多重化部138は、画像可逆圧縮データおよび画像可逆圧縮部132からデータ書き込み信号が入力されるFIFO(1)302と、画像非可逆圧縮データおよび画像非可逆圧縮部134からデータ書き込み信号が入力されるFIFO(2)304と、音声非可逆圧縮データおよび音声非可逆圧縮部136からデータ書き込み信号が入力されるFIFO(3)306と、FIFO(1)302〜(3)306においてデータを読み出す優先順位を設定する優先順位エンコーダ312と、設定された優先順位にしたがってFIFO(1)302〜(3)306のいずれかに対して読み出し信号を送信するFIFO読み出し信号生成部310と、FIFO(1)302〜(3)306のそれぞれから出力されるデータのデータ数を読み出すデータ数リーダ(1)314〜データ数リーダ(3)318と、FIFO(1)302〜(3)306から入力されるデータの論理和を出力する演算器320とを含む。
以上のような構成を有する多重化部138において、画像可逆圧縮データはFIFO(1)302に入力され、画像非可逆圧縮データはFIFO(2)304に入力され、音声非可逆圧縮データはFIFO(3)306に入力される。
FIFO302(1)〜(3)306のそれぞれにおいて、データが書き込まれるときには、画像可逆圧縮部132、画像非可逆圧縮部134および音声非可逆圧縮部136からそれぞれ入力されるデータ書き込み信号に合わせてデータが書き込まれる。
FIFO(1)302〜(3)306にデータが書き込まれると、FIFO(1)302〜(3)306から優先順位エンコーダ312に出力されるフラグが変化する。すなわち、FIFO(1)302〜(3)306のそれぞれから空ではないことを示すフラグが優先順位エンコーダ312に出力される。
優先順位エンコーダ312は、FIFO(1)302〜(3)306のそれぞれから出力されるフラグに基づいて、いずれのFIFOからデータを読み出すか示す信号をFIFO読み出し信号生成部318に出力する。このとき、FIFO(1)302〜(3)306のフラグが同時に変化していた場合は、優先順位エンコーダ312は、予め定められた優先順位に従って、優先順位の高いFIFOからデータを読み出すことを示す信号をFIFO読み出し信号生成部318に出力する。したがって、FIFO(1)302〜(3)306に同時にデータが書き込まれた場合においても、1つのFIFOからデータが読み出される。
図12(A)に示すように、FIFO(1)302〜(3)306に書き込まれるパケットデータのそれぞれは、データタイプ識別ヘッダと、データ部のデータ数と、データ部とを含む。
すなわち、画像可逆圧縮データに対応するパケットデータ(1)352は、データ部(1)370とデータ部データ数(1)364とデータタイプ識別ヘッダ(1)358とを含む。
画像非可逆圧縮データに対応するパケットデータ(2)354は、データ部(2)372とデータ部データ数(2)366とデータタイプ識別ヘッダ(2)360とを含む。
音声非可逆圧縮データに対応するパケットデータ(3)356は、データ部(3)374とデータ部データ数(3)368とデータタイプ識別ヘッダ(3)362とを含む。
図11に戻って、データ数リーダ(1)314〜(3)318は、FIFO(1)302〜(3)306から演算器320に出力されるパケットデータのデータ部データ数(1)364〜(3)368を読み出して、FIFO読み出し信号生成部310に出力する。
FIFO読み出し信号生成部310は、データ数リーダ(1)314〜(3)318から入力されたデータ部データ数(1)364〜(3)368に基づいて、読み出すべきデータ数分の読み出し信号を生成する。FIFO読み出し信号生成部310は、FIFO(1)302〜(3)306に生成した読み出し許可信号を出力する。FIFO(1)302〜(3)306は、FIFO読み出し信号生成部310から入力される読み出し信号に基づいて、データを演算器320に出力する。
演算器320は、FIFO(1)302〜(3)306のそれぞれの出力の論理和を出力するが、本実施の形態において、FIFO(1)302〜(3)306の出力は、優先順位エンコーダ312およびFIFO読み出し信号生成部310により、必ず1つのFIFOのみが選択されたデータが出力されるようになっているため、常に1つのFIFOにより出力されたデータが演算器320の出力とされる。
したがって、多重化部138は、図12(B)に示すように、たとえば、音声非可逆圧縮データに対応するパケットデータ(3)356、画像非可逆圧縮データに対応するパケットデータ(2)354および画像可逆圧縮データに対応するパケットデータ(1)352の順序を優先順序として複合されたパケットデータを無線送信部140に対して送信する。
無線送信部140は、受信したパケットデータに対して、ECCエンコード部150によりエラー訂正符号を付与して、変調器152により変調し、周波数変換器154により周波数変換した後、送信アンプ156により増幅されて、アンテナ158を介して出力する。
送信機側端末100から出力されたパケットデータは、受信側端末200の無線受信部206において受信される。無線受信部206は、アンテナ250を介して受信した信号を受信アンプ252により増幅し、周波数変換器254により周波数変換した後、復調器256により復調し、ECCデコーダ258によりエラー訂正をした後、エラー訂正符号を削除する。
無線受信部206は、受信したパケットデータを分離部208に送信する。分離部208に送信されるパケットデータは、図13(A)に示すように、パケットデータ(1)352〜(3)356が複合された複合データである。
分離部208は、受信したパケットデータに含まれる識別フラグを読み込む。分離部208は、読み込んだ識別フラグに応じて、図13(B)に示すように、パケットデータ(1)352〜(3)356を、画像可逆伸長部210、画像非可逆伸長部212および音声非可逆伸長部214のいずれかを選択して送信する。このとき、分離部208は、パケットデータに含まれるデータ部データ数をさらに読み込む。分離部208は、読み込んだデータ数の分だけデータ部に含まれる圧縮データを読み出して、識別フラグに対応する画像可逆伸長部210、画像非可逆伸長部212および音声非可逆伸長部214のいずれかにパケットデータを送信した後、次のパケットデータの識別ヘッダの識別フラグを読み込む。
分離部208において分離されたパケットデータ(1)352〜(3)356は、画像化逆伸長部210、画像非可逆伸長部212および音声非可逆伸長部214においてそれぞれ伸長処理される。
以下、図14を参照して、画像可逆伸長部210がパケットデータに含まれる圧縮データを可逆伸長するときに、画像可逆伸長部210で実行される処理について説明する。
S600にて、画像可逆伸長部210は、分離部208からパケットデータ(1)352に含まれる画像可逆圧縮識別フラグを受け取る。S602にて、画像可逆伸長部210は、画像可逆圧縮識別フラグを除去する。
S604にて、画像可逆伸長部210は、パケットデータ(1)252に含まれるデータサイズを読み込む。S606にて、画像可逆伸長部210は、圧縮データのデータ数のカウンタをリセットする。すなわち、画像可逆伸長部210は、カウンタをゼロに設定する。S608にて、画像可逆伸長部210は、パケットデータ(1)352に含まれる圧縮データを読み込む。S610にて、画像可逆伸長部210は、読み込んだ圧縮データのデータ数をカウントアップする。
S612にて、画像可逆伸長部210は、読み込んだ圧縮データに対して可逆復号化処理を行なう。S614にて、画像可逆伸長部210は、復号化されたデータを順次、画像データ多重部218に送信する。
S616にて、画像可逆伸長部210は、読み込んだデータサイズの分だけ圧縮データを読み込んだかどうかを判定する。すなわち、画像可逆伸長部210は、読み込まれたデータサイズとカウントしたデータ数とに基づいて、読み込んだデータサイズの分だけ圧縮データが読み込まれたか否かを判定する。読み込んだデータサイズの分だけ圧縮データを読み込んだと判定されると(S616にてYES)、この処理は終了する。もしそうでないと(S616にてNO)、処理はS608に戻される。なお、これらの処理は分離部208からパケットデータを受信するごとに行なわれる。
続いて、図15を参照して、画像非可逆伸長部212がパケットデータに含まれる圧縮データを非可逆伸長するときに、画像非可逆伸長部212で実行される処理について説明する。
S700にて、画像非可逆伸長部212は、分離部208からパケットデータ(2)354に含まれる画像非可逆圧縮識別フラグを受け取る。S702にて、画像非可逆伸長部212は、画像非可逆圧縮識別フラグを除去する。
S704にて、画像非可逆伸長部212は、パケットデータ(2)354に含まれるデータサイズを読み込む。S706にて、画像非可逆伸長部212は、圧縮データのデータ数のカウンタをリセットする。すなわち、画像非可逆伸長部212は、カウンタをゼロに設定する。S708にて、画像非可逆伸長部212は、パケットデータ(2)354に含まれる圧縮データを読み込む。S710にて、画像非可逆伸長部212は、読み込んだ圧縮データのデータ数をカウントアップする。
S712にて、画像非可逆伸長部212は、読み込んだ圧縮データに対して非可逆復号処理を行なう。本実施の形態においては、画像データはJPEG圧縮されているため、JPEG復号される。S714にて、画像非可逆伸長部212は、復号化されたデータを順次、画像データ多重部218に送信する。
S716にて、画像非可逆伸長部212は、読み込んだデータサイズの分だけ圧縮データを読み込んだかどうかを判定する。すなわち、画像非可逆伸長部212は、読み込まれたデータサイズとカウントしたデータ数とに基づいて、読み込んだデータサイズの分だけ圧縮データが読み込まれたか否かを判定する。読み込んだデータサイズの分だけ圧縮データを読み込んだと判定されると(S716にてYES)、この処理は終了する。もしそうでないと(S716にてNO)、処理はS708に戻される。なお、これらの処理は分離部208からパケットデータを受信するごとに行なわれる。
次に、図16を参照して、音声非可逆伸長部214がパケットデータに含まれる圧縮データを非可逆伸長するときに、音声非可逆伸長部214で実行される処理について説明する。
S800にて、音声非可逆伸長部214は、分離部208から受信したパケットデータ(3)356に含まれる音声非可逆圧縮識別フラグを受け取る。S802にて、音声非可逆伸長部部214は、音声非可逆圧縮識別フラグを除去する。
S804にて、音声非可逆伸長部214は、パケットデータ(3)356に含まれるデータサイズを読み込む。S806にて、音声非可逆伸長部214は、圧縮データのデータ数のカウンタをリセットする。すなわち、音声非可逆伸長部214は、カウンタをゼロに設定する。S808にて、音声非可逆伸長部214は、パケットデータ(3)356に含まれる圧縮データを読み込む。S810にて、音声非可逆伸長部214は、読み込んだ圧縮データのデータ数をカウントアップする。
S812にて、音声非可逆伸長部214は、読み込んだ圧縮データに対して音声非可逆復号化処理を行なう。S814にて、音声非可逆伸長部214は、復号化されたデータを順次、オーディオデコーダ240に送信する。
S816にて、音声非可逆伸長部214は、読み込んだデータサイズの分だけ圧縮データを読み込んだかどうかを判定する。すなわち、音声非可逆伸長部214は、読み込まれたデータサイズとカウントしたデータ数とに基づいて、読み込んだデータサイズの分だけ圧縮データが読み込まれたか否かを判定する。読み込んだデータサイズの分だけ圧縮データを読み込んだと判定されると(S816にてYES)、この処理は終了する。もしそうでないと(S816にてNO)、処理はS808に戻される。なお、これらの処理は分離部208からパケットデータを受信するごとに行なわれる。
画像データ多重部228は、画像可逆伸長部210と画像非可逆伸長部212とから受信したパケットデータを、時系列で多重化する。このようにして得られたパケット列は、上述した有線で接続される一般的なコンピュータの構成において、メモリコントローラ104がビデオメモリ制御部224に対して直接データを送信する場合に出力されるパケット列と比較して、描画データとテクスチャとがJPEG圧縮伸長後のデータであること以外は同じ構成となる。
画像データ多重部228から送信されたパケットデータは、パケットデータに含まれる転送先アドレスに従って、ビデオメモリ制御部224を介して、ビデオメモリ230内の描画データの記憶領域(1)232、テクスチャの記憶領域(2)234および描画コマンドおよび描画物体データの記憶領域(3)236のいずれかに転送される。
描画用プロセッサ222は、ビデオメモリ制御部224を介して、描画データの記憶領域(1)232に記憶された描画データをフレームバッファ238に転送する。ビデオメモリ制御部224は、表示のタイミングを生成する。描画用プロセッサ222は、生成されたタイミングに基づいて、フレームバッファ238から順次描画データを読み出して、ビデオスケーラ226に転送する。ビデオスケーラ226は、転送された描画データに対してスケーリング処理を施した後、D/Aコンバータ228に送信する。D/Aコンバータ228は、ビデオスケーラ226から受信したデジタル信号をアナログ信号に変換して、モニタ242に出力する。
また、描画用プロセッサ222は、描画コマンドおよび描画物体データの記憶領域(3)236から描画コマンドおよび描画物体データを読み出して、描画物体を描画する。描画用プロセッサ222は、テクスチャの記憶領域(2)234に記憶されたテクスチャ(1)〜(n)のうちのいずれか1つを読み出して、描画された描画物体の輪郭の内側の面にテクスチャを貼り付ける。描画用プロセッサ222は、テクスチャが貼り付けられた描画物体をフレームバッファ238に書き込む。ビデオメモリ制御部224は、表示のタイミングを生成する。描画用プロセッサ222は、生成されたタイミングに基づいて、フレームバッファ238から順次描画物体の表示データを読み出して、ビデオスケーラ226に転送する。ビデオスケーラ226は、転送された描画データに対してスケーリング処理を施した後、D/Aコンバータ228に送信する。D/Aコンバータ228は、ビデオスケーラ226から受信したデジタル信号をアナログ信号に変換して、モニタ242に出力する。
描画とは別に、音声データは、オーディオデコーダ240によりデコードされた後、D/Aコンバータ228でアナログ信号となり、スピーカ246に送られる。
以上のようにして、本実施の形態に係るデータ送受信システムによると、CPUにより描画されるEPG、ウィンドウ、アイコンおよびフォント等のグラフィクス系の表示要素の画像データについては、可逆圧縮することにより、可逆伸長時の同一性を保持させることができる。したがって、送信機側端末において可逆圧縮された画像可逆圧縮データが無線で伝送された後、受信機側端末において可逆伸長されたときに、グラフィクス系の表示要素の画像を非可逆圧縮した場合の、エッジ成分(高周波成分)の歪に起因して発生するノイズを抑制することができる。一方、グラフィクス系の表示要素よりも圧縮伸長時のデータの同一性が要求されない動画あるいは静止画の画像データについては、非可逆圧縮することにより、圧縮率が向上するため、帯域の狭い無線通信を用いてデータを伝送するようなデータ転送速度が遅い場合においても、画像データを遅滞なく送信し、受信することができる。その結果、効率的にデータ量を削減し、かつ、著しい画像劣化を防ぐことができる。したがって、無線伝送の際に、ノイズの発生を抑制するデータ送受信システム、データ送信装置、データ受信装置、データ送信方法、データ受信方法、データ送受信システムが搭載されたコンピュータを提供することができる。
<第2の実施の形態>
以下、第2の実施の形態に係るデータ送受信システムについて説明する。本実施の形態に係るデータ送受信システムは、データ送信装置である送信機側端末と、送信機側端末と通信可能なデータ受信装置である受信機側端末とを含むデジタルテレビに搭載される。送信機側端末は、無線通信を用いて少なくとも画像データを含むデータを受信機側端末に伝送する。
以下、図17を用いて本実施の形態における送信機側端末の構成について説明する。図17に示すように、送信機側端末400は、チューナ406と、復調器408と、TS(Transport Stream)デコーダ410と、音声デコーダ412と、画像デコーダ414と、I/O部418と、NVRAM(Non Volatile RAM)420と、ROM(Read Only Memory)422と、RAM(Random Access Memory)424と、CPU426と、モデム428と、データバス430と、送信部440とを含む。
データバス430は、TSデコーダ410と、画像デコーダ426と、送信部440に含まれる画像可逆圧縮部132と、I/O部418と、NVRAM420と、ROM422と、RAM424と、CPU426と、モデム428とにそれぞれ接続される。
CPU426は、RAM424、ROM422あるいはNVROM420からデータバス430を介して転送されるプログラム等の演算処理を行なう。RAM424は、データの読み出しあるいは書き込みを行なう記憶装置である。RAM424は、たとえば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性のメモリが用いられる。ROM424は、読み出し専用の記憶装置であって、たとえば、フォント等のデータが予め記憶されている。NVRAM420は、不揮発性のメモリであって、送信機側端末400の電源が遮断されても、記憶されたデータを保持する。NVRAM420は、たとえば、フラッシュメモリである。I/O部418は、リモコン416から送信される信号を受信する。モデム428は、図示しない通信回線と接続する。
チューナ406は、送信機側端末400に接続されるアンテナ404を介して、デジタルテレビ放送信号を受信する。デジタルテレビ放送信号は、放送局において、デジタルの映像および音声データがアナログ信号に変調されて送信される。復調器408は、受信したRF信号を復調する。復調されたRF信号は、デジタルの画像データと音声データとが多重化されたTS信号となる。TSデコーダ410は、復調器408から受信したTS信号を、圧縮符号化された音声データと圧縮符号化された画像データと、セクションデータとに分離する。
TSデコーダ410は、分離した圧縮音声データを音声デコーダ412に送信する。音声デコーダ412は、圧縮符号化された音声データをデジタルの音声データに伸長する。音声デコーダ412は、伸長された音声データを送信部440の音声非可逆圧縮部136に送信する。
TSデコーダ410は、分離した圧縮画像データを画像デコーダ414に送信する。画像デコーダ414は、圧縮符号化された画像データをデジタルの画像信号に伸長する。画像デコーダ414は、伸長されたデジタルの画像信号を送信部440の画像非可逆圧縮部134に送信する。
TSデコーダ410は、分離したセクションデータをデータバス430を介してRAM424に送信する。CPU426は、RAM424に転送されたセクションデータに基づくグラフィクス系の表示要素を描画するために必要な描画命令と描画データとをデータバス430を介して送信部440の画像可逆圧縮部132に送信する。
送信部440は、音声デコーダ412、画像デコーダ414およびデータバス430を介して送信されるデータを受信したり、後述する受信機側端末にデータを送信したりする。なお、送信部440の構成は、上述の第1の実施の形態に係る送信機側端末100の送信部(1)130の構成と同じ構成である。それらについては同じ参照符号が付してある。それらの機能も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
以下、図18を用いて本実施の形態における受信機側端末の構成について説明する。図18に示すように、受信機側端末500は、モニタ528と、スピーカ526と、D/Aコンバータ(1)522と、D/Aコンバータ(2)524と、重畳器520と、グラフィクス系画面描画器516と、グラフィクス系画面用フレームメモリ518と、受信部514とを含む。なお、受信部514は、上述の第1の実施の形態に係る受信機側端末300の受信部(1)304の構成と同じ構成である。それらについては同じ参照符号が付してある。それらの機能も同じである。したがって、それらについての詳細な説明はここでは繰り返さない。
音声非可逆伸長部314は、非可逆伸長された音声データをD/Aコンバータ(1)522に送信する。画像非可逆伸長部312は、非可逆伸長された画像データを重畳器520に送信する。画像可逆伸長部310は、可逆伸長された画像データをグラフィクス系画面描画器516に送信する。
グラフィクス系画面描画器516は、画像可逆伸長部310から受信した描画指令や描画データに基づいてグラフィクス系の画像を生成する。グラフィクス系画面描画器516は、グラフィクス系画面用フレームメモリ518に生成した画像を記憶させる。また、グラフィクス系画面描画器516は、表示のタイミングを生成して、グラフィクス系画面用フレームメモリに記憶されたグラフィクス系の画像を生成したタイミングに基づいて重畳器520に送信する。
D/Aコンバータ(1)522およびD/Aコンバータ(2)524は、受信したデジタル信号をアナログ信号に変換した後、スピーカ526あるいはモニタ528に送信する。スピーカ526において、D/Aコンバータ(1)522から受信したアナログ信号に応じて、音が発生する。モニタ528において、D/Aコンバータ(2)524から受信したアナログ信号に応じて画面に画像が表示される。なお、本実施の形態において、モニタ528は、アナログ信号により画面に画像を表示するとしたが、デジタル信号により画面に画像を表示するようにしてもよい。この場合、重畳器520から送信されるデジタル信号はD/Aコンバータ(2)524を介さずにモニタ528に送信される。
以上のような構成を有する本実施の形態に係る送信機側端末400および受信機側端末500を含むデータ送受信システムが搭載されるデジタルテレビにおいて、チューナ406において受信するデジタルテレビ放送信号に含まれる動画を構成する画像データを、送信機側端末400から受信機側端末500に無線通信を用いて伝送する場合を想定する。このとき、動画を構成する画像データとセクションデータに基づくEPG(電子番組表)表示やデータ放送受信時のアイコンや文字などのグラフィクス系の画像とを重畳して生成される画像データを非可逆圧縮して伝送すると、上述の第1の実施の形態に係るデータ送受信システムが搭載されたコンピュータにおける問題点と同様に、圧縮伸長後のグラフィクス系の画像において、多くのノイズ成分を発生させ、画像品質が低下するという問題が起きる。
そこで、本発明は、送信機側端末400において、1フレームに対応する画像の画像データから、グラフィクス系の画像を描画するために必要な描画指令および描画データと、圧縮伸長時のデータの同一性が要求されない動画あるいは静止画の画像データとを分離して、描画指令及び描画データは可逆圧縮し、動画あるいは静止画を構成する画像データは非可逆圧縮して、受信機側端末500に送信する点に特徴を有する。
本発明は、さらに、受信機側端末500において、受信されたデータから可逆圧縮されたデータと非可逆圧縮されたデータとを分離して、分離された可逆圧縮されたデータを可逆伸長し、分離された非可逆圧縮されたデータを非可逆伸長して、可逆伸長されたデータおよび非可逆伸長されたデータに基づいて、1フレームに対応する画像をモニタ528に出力する点に特徴を有する。
以下に、送信機側端末400が、デジタルテレビ放送信号に含まれる画像データと、音声データと、セクションデータに基づく描画指令および描画データとを無線通信を用いて伝送して、受信機側端末500がモニタ528の画面に画像を表示するときのデータ送受信システムの動作について説明する。
送信機側端末400は、受信されたTS信号に含まれる画像データと、音声データと、セクションデータに基づく描画指令および描画データとに応じて圧縮方法を選択的に適用する。すなわち、送信機側端末400は、音声デコーダ412が送信する音声データおよび画像デコーダ414が送信する画像データに対しては、非可逆圧縮を適用し、セクションデータに基づく描画指令および描画データに対しては、可逆圧縮を適用する。なお、セクションデータに基づく描画指令および描画データにより、EPG、ウィンドウ、アイコンおよびフォント等を含むグラフィクス系の画像が生成される。
デジタルテレビ放送においては、デジタルデータがアナログ変調され、放送局より送信される。送信されたデータは、アンテナ404を介してチューナ406において受信され、復調器408によりデジタルのTS信号に復調される。復調されたTS信号は、TSデコーダ410により圧縮音声データと圧縮画像データとセクションデータとに分離される。
TSデコーダ410で分離された音声データは、音声デコーダ412で伸長処理され音声デジタルデータとなり、送信部440内の音声非可逆圧縮部136に送信される。音声非可逆圧縮部136が音声データを非可逆圧縮するときに実行する処理のフローチャートは、上述の第1の実施の形態において説明した図9と同じフローチャートである。したがって、その詳細な説明は繰り返さない。
音声非可逆圧縮部136は、音声データを受け取ると(S500)、音声圧縮符号化を行なう(S502)。音声非可逆圧縮符号化の具体例としては、MPEG AudioやAAC、G.728勧告やG.723勧告等が挙げられる。圧縮された音声データは、データ量がカウントされ(S504)、音声非可逆圧縮識別フラグと圧縮後のデータサイズと圧縮後のデータで構成されるパケットが生成される(S506)。音声非可逆圧縮部136は、生成されたパケットを多重化部138に送信する(S508)。
一方、TSデコーダ410で分離された圧縮画像データは、画像デコーダ414で伸長処理され、デジタルの画像信号となり送信部440内の画像非可逆圧縮部134に送信される。以下、図19を参照して、画像非可逆圧縮部134がデジタルの画像信号を非可逆圧縮するときに実行する処理について説明する。なお、本実施の形態においては、デジタルの画像信号をMPEG圧縮するものとする。
S900にて、画像非可逆圧縮部134は、画像デコーダ414から画像のパケットデータを受け取る。S902にて、画像非可逆圧縮部134は、画像のパケットデータをMPEG圧縮する。S904にて、画像非可逆圧縮部134は、圧縮が終了した後のデータ数をカウントする。
S906にて、画像非可逆圧縮部134は、画像可逆圧縮識別フラグと圧縮後のデータサイズと圧縮後のデータとにより構成されるパケットを生成する。S908にて、画像非可逆圧縮部134は、生成されたパケットを多重化部138に送信する。
画像可逆圧縮部132は、データバス430を介して、セクションデータに基づく画像の描画命令や描画データを受信する。グラフィクス系画面描画器516で描画される画像の描画命令や描画データは、グラフィクス系描画器516内に設けられる処理用のメモリに転送されるため、転送先のアドレスと描画指令および描画データにより構成されるパケットデータとなる。画像可逆圧縮部132が描画命令や描画データを可逆圧縮するときに実行する処理のフローチャートは、上述の第1の実施の形態において説明した図7と同じフローチャートである。したがって、その詳細な説明は繰り返さない。
画像可逆圧縮部132は描画指令および描画データのパケットデータを受け取ると(S300)、パケット内の転送先アドレスとデータが分離される(S302)。画像可逆圧縮部132は、描画指令および描画データのパケットデータを可逆圧縮する(S304)。このときの可逆圧縮方法は、具体例としてはランレングス符号化や、ハフマン符号化などが挙げられる。圧縮されたパケットデータのデータ量がカウントされ(S306)、画像可逆圧縮識別フラグと圧縮後のデータサイズと転送先アドレスと圧縮後のデータとにより構成されるパケットが生成される(S308)。画像可逆圧縮部132は、生成されたパケットデータを多重化部138に送信する(S310)。
なお、画像可逆圧縮部132、画像非可逆圧縮部134および音声非可逆圧縮部136において生成されるパケットに含まれる画像可逆圧縮識別フラグ、画像非可逆圧縮識別フラグおよび音声非可逆圧縮識別フラグは、図10に示すように、10進数もしくは2進数の値に対応させて予め設定しておく。
画像可逆圧縮部132、画像非可逆圧縮部134および音声非可逆圧縮部136から送信された画像可逆圧縮データ、画像非可逆圧縮データおよび音声非可逆圧縮データは、多重化部138が有するFIFO(First-in First-out:先入れ先出しのメモリ)に入力される。なお、多重化部138については、上述の第1の実施の形態において説明した多重化部138と同様の構成および動作であるため、その詳細な説明は繰り返さない。
多重化部138において、複合されたパケットデータは、無線送信部140に入力される。無線送信部140は、受信したパケットデータに対して、ECCエンコード部150によりエラー訂正符号を付与して、変調器152により変調し、周波数変換器154により周波数変換した後、送信アンプ156により増幅されて、アンテナ158を介して出力される。
送信機側端末400から出力されたパケットデータは、受信側端末500の受信部514において受信される。無線受信部206は、アンテナ350を介して受信した信号を受信アンプ252により増幅し、周波数変換器254により周波数変換した後、復調器256により復調し、ECCデコーダ258によりエラー訂正をした後、エラー訂正符号を削除する。
分離部208は、無線受信部206から送信されたパケットデータを受信する。分離部208は、受信した複合されたパケットデータを、データタイプ識別ヘッダに記憶される識別フラグに応じて分離する。分離部208は、分離したパケットデータを、識別されたデータタイプに応じて画像可逆伸長部210、画像非可逆伸長部212、音声非可逆伸長部214のいずれかに送信する。なお、分離部208については、上述の第1の実施の形態において説明した分離部208と同様の構成および動作であるため、その詳細な説明は繰り返さない。
分離部208で分離されたパケットデータは、画像可逆伸長部210、画像非可逆伸長部212、音声非可逆伸長部214のそれぞれにおいて伸長される。
画像可逆伸長部210が画像データを可逆伸長するときに実行する処理のフローチャートは、上述の第1の実施の形態において説明した図14と同じフローチャートである。したがって、その詳細な説明は繰り返さない。
画像可逆伸長部210は、分離部308から描画指令もしくは描画データのパケットデータに含まれる画像可逆圧縮識別フラグを受け取ると(S600)、可逆圧縮識別フラグを除去する(S602)。画像可逆伸長部210は、データサイズ領域を受信して(S604)、圧縮データのカウンタをリセットする(S606)。画像可逆伸長部210は、パケットデータから圧縮されたデータを受信して(S608)、圧縮データ数をカウントアップするとともに(S610)、圧縮データの可逆復号処理が行なわれる(S612)。画像可逆伸長部210は、復号化されたデータをグラフィクス系画面描画器516に送信して(S614)、受信したデータサイズ領域の分だけ圧縮データを受け取っていれば(S616にてYES)、処理を終了し、受け取っていなければ(S616にてNO)、圧縮データの受信処理(S608)から処理を繰り返す。なお、これらの処理は分離部208からパケットデータを受信するごとに行なわれる。
画像非可逆伸長部212は、分離部208から受信した画像のパケットデータを非可逆伸長する。以下、図20を参照して、画像非可逆伸長部212が画像のパケットデータを非可逆伸長するときに実行する処理について説明する。
S1000にて、画像非可逆伸長部212は、分離部208から受信したパケットデータに含まれる画像非可逆圧縮識別フラグを受け取る。S1002にて、画像非可逆伸長部212は、画像非可逆圧縮識別フラグを除去する。
S1004にて、画像非可逆伸長部212は、データサイズを受信する。S1006にて、画像非可逆伸長部212は、圧縮データ数のカウンタをリセットする。S1008にて、画像非可逆伸長部212は、圧縮データを受信する。S1010にて、画像非可逆伸長部212は、圧縮データ数をカウントアップする。S1012にて、画像非可逆伸長部212は、圧縮データに対して非可逆復号処理を行なう。本実施の形態においては、圧縮データは、MPEG圧縮されているため、MPEG復号化される。
S1014にて、画像非可逆伸長部212は、復号化されたデータを、順次、重畳器520に送信する。S1016にて、画像非可逆伸長部212は、受信したデータサイズの分だけ圧縮データを受け取ったか否かを判定する。データサイズの分だけ圧縮データを受け取ったと判定されると(S1016にてYES)、この処理は終了する。もしそうでないと(S1016にてNO)、処理はS1008に移される。なお、これらの処理は分離部208からパケットデータを受信するごとに行なわれる。
音声非可逆伸長部214は、分離部208から入力される音声データのパケットデータを非可逆伸長する。音声非可逆伸長部214が音声データを非可逆伸長するときに実行する処理のフローチャートは、上述の第1の実施の形態において説明した図17と同じフローチャートである。したがって、その詳細な説明は繰り返さない。
音声非可逆伸長部214は、音声非可逆識別フラグを受け取ると(S800)、パケットデータに含まれる音声非可逆圧縮識別フラグを除去する(S802)。音声非可逆伸長部214は、データサイズ領域を受信して(S804)、圧縮データ数のカウンタをリセットする(S806)。音声非可逆伸長部214は、圧縮データを受信して(S808)、圧縮データ数をカウントアップするとともに(S810)、圧縮データに対して音声可逆伸長処理を行なう(S812)。音声非可逆伸長部214は、復号化されたデータを、順次、D/Aコンバータ(1)522に送信する(S814)。音声非可逆伸長部214は、データサイズ領域の分だけ圧縮データを受け取っていれば(S816にてYES)、そうでなければ(S816にてNO)、圧縮データの受信処理(S808)からを繰り返す。なお、これらの処理は分離部208からパケットデータを受信するごとに行なわれる。
D/Aコンバータ(1)522は、音声非可逆伸長部214から受信した音声データのデジタル信号をアナログ信号に変換した後スピーカ526に送信する。
一方、画像非可逆伸長部212は、圧縮画像データを伸長処理した後、デジタルの画像信号を重畳器520に送信する。画像可逆伸長部210は、可逆伸長された描画指令および描画データをグラフィクス系画面描画器516に送信する。グラフィクス系画面描画器516は、受信した描画指令および描画データに基づいて、画像を描画して、グラフィクス系画面描画用フレームメモリ518に記憶する。グラフィクス系画面描画器516は、表示のタイミングを生成して、生成されたタイミングに基づいて、グラフィクス系画面用フレームメモリ518に記憶された画像データを重畳器520に送信する。重畳器520は、画像非可逆伸長部212から受信した画像データとグラフィクス系画面描画器516から受信した画像データとを重畳して1つの画面データをD/Aコンバータ(2)524に送信する。D/Aコンバータ(2)は、重畳器520から受信した画面データのデジタル信号をアナログ信号に変換して、モニタ528に送信する。近年普及が始まっている液晶モニタなどでは、液晶パネルがデジタルの画像入力インターフェースを持つため、D/Aコンバータ(2)524を介さず、パネルに重畳器520の出力を直接送信する。
以上のようにして、本実施の形態に係るデータ送受信システムによると、セクションデータに基づくEPG、ウィンドウ、アイコンおよびフォント等のグラフィクス系の表示要素の画像データについては、可逆圧縮することにより、可逆伸長時の同一性を保持させることができる。したがって、送信機側端末において可逆圧縮された画像可逆圧縮データが無線で伝送された後、受信機側端末において可逆伸長されたときに、グラフィクス系の表示要素の画像を非可逆圧縮した場合の、エッジ成分(高周波成分)の歪に起因して発生するノイズを抑制することができる。一方、グラフィクス系の表示要素よりも圧縮伸長時のデータの同一性が要求されない動画あるいは静止画の画像データについては、非可逆圧縮することにより、圧縮率が向上するため、帯域の狭い無線通信を用いてデータを伝送するようなデータ転送速度が遅い場合においても、画像データを遅滞なく送信し、受信することができる。その結果、効率的にデータ量を削減し、かつ、著しい画像劣化を防ぐことができる。したがって、無線伝送の際に、ノイズの発生を抑制するデータ送受信システム、データ送信装置、データ受信装置、データ送信方法、データ受信方法、データ送受信システムが搭載されたデジタルテレビを提供することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
100,400 送信機側端末、102,426 CPU、104 メモリコントローラ、106 I/Oコントローラ、108 メインメモリ、110,112,114,118,120,122,142,144,232,234,236 記憶領域、116 ハードディスク、124 送信機側無線部、126,130,440 送信部、128 画像データ分離部、132 画像可逆圧縮部、134 画像非可逆圧縮部、136 音声非可逆圧縮部、138 多重化部、140 無線送信部、150 ECCエンコード部、152 変調器、154 周波数変換器、156 送信アンプ、158,250,404 アンテナ、200,500 受信機側端末、202 受信機側無線部、204,216,514 受信部、206 無線受信部、208 分離部、210 画像可逆伸長部、212 画像非可逆伸長部、214 音声非可逆伸長部、218 画像データ多重部、220 グラフィクス描画器、222 描画用プロセッサ、224 ビデオメモリ制御部、226 ビデオスケーラ、228,244,522,524 D/Aコンバータ、230 ビデオメモリ、238 フレームバッファ、240 オーディオデコーダ、242,528 モニタ、246,526 スピーカ、252 受信アンプ、254 周波数変換器、256,408 復調器、258 ECCデコーダ、302,304,306 FIFO、310 FIFO読み出し信号生成部、312 優先順位エンコーダ、314〜318 データ数リーダ、320 演算器、352,354,356 パケットデータ、358,360,362 データタイプ識別ヘッダ、364,366,368 データ部データ数、370,372,374 データ部、406 チューナ、410 TSデコーダ、412 音声デコーダ、414 画像デコーダ、416 リモコン、418 I/O部、420 NVRAM、422 ROM、424 RAM、428 モデム、430 データバス、516 グラフィクス系画面描画器、518 グラフィクス系画面用フレームメモリ、520 重畳器。