JPH10304380A - 圧縮画像データの伸長／表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 互いに非同期な複数の圧縮画像データを同時
に伸長，表示させる。 【解決手段】 端子１からのディジタル放送信号は、チ
ューナで処理された後、マルチプレクサ／デマルチプレ
クサ５で圧縮画像データと圧縮音声データとに分離さ
れ、また、端子２からの電話線を介したテレビ電話信号
は、モデム４で復調された後、マルチプレクサ／デマル
チプレクサ５で圧縮画像データと圧縮音声データとに分
離され、これら圧縮画像データは時分割で画像圧縮／伸
長回路７に供給される。ここでは、ディジタル放送とテ
レビ電話との圧縮画像データがこのディジタル放送の基
準フレームレートで伸長され、これらディジタル放送と
テレビ電話の伸長画像データがフレーム同期される。そ
して、これら伸長画像データは画像／入力表示回路９で
表示に適したフレーム順に並べ替えられ、端子１１から
出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フレーム間相関を
利用した高能率符号化手段で生成された圧縮画像データ
を伸長する伸長／表示装置に係り、特に、互いに非同期
な画像信号から生成された複数の圧縮画像データを同時
に伸長・表示する圧縮画像データの伸長／表示装置に関
する。

【０００２】

【従来の技術】画像データは、伝送あるいは記録するに
際し、データ量の多さ故に、高能率符号化手段により冗
長性などが除去されて圧縮され、伝送もしくは記録コス
トの低減が図られる。この高能率符号化手段の例として
は、ISO/SC29/WG11で標準化しているMPEG方式がよく知
られており、MPEG方式で圧縮された圧縮画像データの伸
長／表示装置の例が、本願発明者等による特開平６−１
５７０７９２号公報に開示されている。

【０００３】この従来例では、表示のフレームに同期し
て所定期間伸長処理を停止させることにより、伸長処理
で必要となる参照画面を保持するフレームメモリと表示
処理で必要となる表示画面を保持するフレームメモリを
兼用させ、最小容量のメモリで圧縮画像データの伸長／
表示装置を実現している。

【０００４】一方、情報のブラウジングのために、１つ
のテレビジョン画面あるいはモニタ画面上に複数のウイ
ンドウを設け、これらのウインドウに互いに独立な画像
を表示させるユーザインタフェースが一般的になりつつ
ある。具体的には、テレビジョン放送受信端末におい
て、複数チャンネルをウインドウ表示させ、ユーザが見
たい番組へのアクセスを容易にさせる。さらに、テレビ
電話などの小さな画面をテレビジョン放送の画面に嵌め
込んで表示させたり、ビデオディスクの再生画像をウィ
ンドウ表示させるなどの高機能化を図ることも可能とな
る。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の圧縮画像データの伸長／表示装置では、１つの圧縮
画像データの伸長・表示を実現しているのみであり、２
つの圧縮画像データを同時に伸長させることはできな
い。一般に、独立して生成される複数の圧縮画像データ
間では、画像信号のフレームレートが僅かに異なってお
り、一方のフレームレートに合わせて伸長・表示を行な
うと、他方の圧縮画像データの伸長・表示処理は、上記
の僅かなフレームレートの差分の累積により、破綻して
しまう。

【０００６】本発明の目的は、かかる問題を解消し、独
立に生成された非同期の複数の圧縮画像データを同時に
伸長・表示可能とし、テレビ電話やディジタルビデオデ
ィスクの再生といった他の機能の付加も可能とした圧縮
画像データの伸長／表示装置を提供することにある。

【０００７】

【課題を解決するための手段】上記課題を達成するため
に、本発明は、テレビ電話システムの圧縮画像データの
ように、入力圧縮画像データの実効フレームレートがテ
レビジョン放送システムの圧縮画像データのフレームレ
ートよりも低いことが自明である場合のものであって、
この入力圧縮画像データをテレビジョン放送システムの
圧縮画像データのフレームレートに同期させて、テレビ
ジョン放送システムの圧縮画像データと受信するテレビ
電話システムの圧縮画像データを同時に伸長し、かつ送
信するテレビ電話システムの圧縮画像データを生成する
画像圧縮・伸長手段と、受信・伸長したテレビ電話の圧
縮画像データの表示繰り返し、並びに送信するテレビ電
話の圧縮画像データの実効フレームレートを制御する同
期化制御手段と、該同期化制御手段により表示の繰り返
しなどが制御される画像表示手段とを備える。

【０００８】また、本発明は、複数のディジタル放送の
圧縮画像データ同士やディジタル放送の圧縮画像データ
とディジタルビデオディスクの圧縮画像データの関係の
ように、互いのフレームレートが非常に近接していて、
どちらが高いか低いか自明でない場合のものであって、
基準とする圧縮画像データのフレームレートに同期して
複数の圧縮画像データを同時に伸長する画像伸長手段
と、基準でない圧縮画像データの伸長処理のスキップ、
もしくは伸長した画像の表示の繰返しを制御する同期化
制御手段と、圧縮画像データ間のフレームレートの高低
を判断するフレームレート判定手段と、前記同期化制御
手段により表示の繰返し，スキップなどが制御される画
像表示手段とを備える。

【０００９】

【発明の実施の形態】以下、本発明の実施形態を図面を
用いて説明する。

【００１０】図１はディジタル放送受信端末にテレビ電
話の機能が付加された本発明による圧縮画像データの伸
長／表示装置の第１の実施形態を示すブロック図であっ
て、１は受信端子、２は電話線端子、３はチューナ、４
はモデム、５はマルチプレクサ/デマルチプレクサ、６
は同期化制御回路、７は画像圧縮/伸長回路、８は音声
圧縮/伸長回路、９は画像入力/表示回路、１０は音声入
力/出力回路、１１は出力端子、１２はカメラ端子、１
３は電話端末端子である。

【００１１】同図において、図示しないアンテナに接続
された受信端子１から入力されるディジタル放送信号
は、チューナ３で復調，伝送エラーの訂正などの処理が
なされた後、ディジタル放送システムの圧縮データとし
て、マルチプレクサ/デマルチプレクサ５に供給され
る。

【００１２】このマルチプレクサ/デマルチプレクサ５
では、このディジタル放送システムの圧縮データが解析
されて圧縮画像データと圧縮音声データと分離され、圧
縮画像データは画像圧縮/伸長回路７に、圧縮音声デー
タは音声圧縮/伸長回路８に夫々分配されるが、これと
同時に、マルチプレクサ/デマルチプレクサ５から供給
される圧縮データに含まれる基準時刻情報が解析され
て、クロック信号が生成される。このクロック信号は、
他の回路へも供給されて装置の動作の基本となるもので
あるが、説明などの煩雑さを避けるために、図示してい
ない。

【００１３】画像圧縮/伸長回路７では、圧縮画像デー
タが伸長され、画像入力/表示回路９を介してテレビ出
力端子１１から出力される。また、音声圧縮／伸長回路
８では、圧縮音声データが伸長され、音声入力/出力回
路１０を介してテレビ出力端子１１から出力される。

【００１４】ここで、画像表示の基準となるフレームレ
ート(以下、基準フレームレートという）及び音声信号
のサンプリングレートは、マルチプレクサ/デマルチプ
レクサ５で生成される上記のクロック信号から生成さ
れ、伸長された画像データ，音声データともに送信側の
情報レートと受信側の情報レートの同一化がなされる。

【００１５】この第１の実施形態は、さらに、テレビ電
話機能を持たせるものであり、このために、図示しない
ビデオカメラに接続されたカメラ端子１２と図示しない
電話線に接続された電話線端子２と電話端末端子１３と
が設けられている。

【００１６】カメラ端子１２から入力される画像信号は
画像入力/表示回路９に、同じく入力される音声信号は
音声入力/出力回路１０に夫々供給される。画像入力/表
示回路９では、同期化制御回路６からの制御信号に応じ
て画像信号が間欠的に内蔵のメモリに蓄えられ、上記デ
ィジタル放送での圧縮画像データの基準フレームレート
に合わせて画像圧縮/伸長回路７へ送出されて圧縮さ
れ、テレビ電話での送信用の圧縮画像データが得られ
る。また、音声入力/出力回路１０から出力される音声
信号は音声圧縮/伸長回路８で圧縮され、テレビ電話で
の送信用の圧縮音声データが得られる。これら送信用の
圧縮音声データと圧縮画像データとはマルチプレクサ/
デマルチプレクサ５ で多重化され、さらに、モデム４
で変調されて、電話線端子２から電話線を介して送出さ
れる。

【００１７】また、電話線端子２から受信されたテレビ
電話の受信信号は、モデム４で復調された後、圧縮デー
タとしてマルチプレクサ/デマルチプレクサ５に供給さ
れ、テレビ電話での圧縮画像データと圧縮音声データと
に分離される。この圧縮画像データは画像圧縮/伸長回
路７に、この圧縮音声データは音声圧縮/伸長回路８に
夫々分配される。このとき、マルチプレクサ/デマルチ
プレクサ５により、テレビ電話の圧縮画像データはディ
ジタル放送の圧縮画像データに、テレビ電話の圧縮音声
データはディジタル放送の圧縮音声データに夫々時分割
多重されている。

【００１８】画像圧縮/伸長回路７と音声圧縮/伸長回路
８では、夫々、テレビ電話の圧縮画像データと圧縮音声
データとの伸長処理を行なうが、これらの伸長処理は、
ディジタル放送の圧縮画像データと圧縮音声データとの
伸長処理との間で時分割で行なわれる。即ち、画像圧縮
/伸長回路７ と音声圧縮/伸長回路８とは、テレビ電話
とディジタル放送システムとに共有化される。

【００１９】画像圧縮/伸長回路７の伸長処理で得られ
た伸長画像データは画像入力/表示回路９に供給され、
ディジタル放送の伸長画像データとテレビ電話での伸長
画像データとが、後者によるテレビ電話画像が前者によ
る放送画像でウインドウ表示されるように、多重化さ
れ、出力端子１１から出力される。また、音声圧縮/伸
長回路８の伸長処理によって得られた伸長音声データは
音声入力/出力回路１０に供給され、ディジタル放送の
音声データとテレビ電話での音声データとに分離され
る。ディジタル放送の音声データは出力端子１１から出
力され、テレビ電話での音声データは電話端末端子１３
から出力される。

【００２０】図２は図１における画像圧縮/伸長回路７
の一具体例を示すブロック図であって、７１は入出力回
路、７２はバッファメモリ、７３は可変長復号回路、７
４は可変長符号化回路、７５は量子化／逆量子化回路、
７６は離散コサイン変換／逆離散コサイン変換回路(以
下、ＤＣＴ/逆ＤＣＴ回路という）、７７は動き補償回
路、７８は参照画像メモリ、７９は動きベクトル検出回
路である。

【００２１】この画像圧縮／伸長回路７は、上記のよう
に、ディジタル放送の圧縮画像データの伸長処理と、受
信したテレビ電話の圧縮画像データの伸長処理と、さら
に、テレビ電話の送信用圧縮画像データを生成する圧縮
処理とを基準フレームレートで時分割的に行なうもので
ある。

【００２２】図２において、ディジタル放送の圧縮画像
データの伸長処理と受信したテレビ電話の圧縮画像デー
タの伸長処理とは全く同一の経路でなされる。

【００２３】即ち、入力されたこれら圧縮画像データ
は、入出力回路７１を介し、バッファメモリ７２に一時
蓄えられる。ここで、圧縮画像データはその情報量がフ
レーム毎に異なっており、送信側では、これを一度バッ
ファメモリ７２に蓄えて一定の伝送レートとなるように
読み出すことにより、伝送フレームレートの均一化が図
られている。圧縮画像データをバッファメモリ７２に一
時蓄えるのは、その読出しを制御して各フレームの時間
幅を一定とし、夫々のフレームでの情報量をもとに戻
し、圧縮画像データを伸長して表示のための画像データ
を得るためである。

【００２４】バッファメモリ７２に蓄えられた圧縮画像
データは入出力回路７１で読み出され、可変長復号回路
７４に供給される。この圧縮画像データは符号長が符号
語毎に異なっている可変長データに動きベクトルなどの
付加情報が付加されたデータであり、この可変長復号回
路７４では、この可変長データが固定長の係数データに
復号されるとともに、付加情報も同時に復号される。復
号された係数データは量子化／逆量子化回路７５で逆量
子化処理され、さらに、ＤＣＴ/逆ＤＣＴ回路７６で逆
離散コサイン変換処理される。そして、このＤＣＴ/逆
ＤＣＴ回路７６の出力データは、動き補償回路７７にお
いて、可変長復号回路７４で復号された動きベクトルを
用い、参照画像メモリ７８から読み出される参照画像デ
ータとで動き補償処理がなされて伸長された画像データ
が得られる。この伸長された画像データは、そのフレー
ム間相関を利用した高能率符号化のタイプにより、参照
画像データとして再び用いるものでなければ、画像信号
としてそのまま出力されるが、参照画像データとして再
び用いるものであれば、参照画像メモリ７８に書き込ま
れ、同時に表示のために、既に伸長が完了して参照画像
メモリ７８に格納している参照画像データが読み出され
て出力される。

【００２５】一方、テレビ電話の送信用圧縮画像データ
を生成する場合には、画像入力/表示回路９（図１）か
らの画像データが動きベクトル検出回路７９に供給さ
れ、局所伸長画像データを参照画像メモリ７８に格納し
たものを基準画像データとし、この基準画像データとの
差分の情報が最も少なくなるような動きベクトルが求め
られ、これが画像データとともに動き補償回路７７に送
出される。動き補償回路７７では、この画像データに動
き補償が行なわれ、この動き補償処理がなされた画像デ
ータが ＤＣＴ/逆ＤＣＴ回路７６に送出される。

【００２６】なお、動き補償回路７７では、あるフレー
ム全体を動き補償を行なわないモードに設定することも
行なわれる。これは、一般に、イントラフレーム符号化
モードと呼ばれるものであって(このモードで符号化さ
れたフレームをＩピクチャという)、周期的にイントラ
フレーム符号化モードとすることにより（即ち、周期的
にＩピクチャを送ることにより）、伝送エラーが必要以
上に伝搬するのを防止できる。

【００２７】動き補償回路７７で動き補償された画像デ
ータは、さらに、ＤＣＴ/逆ＤＣＴ回路７６で離散コサ
イン変換され、これにより、係数データが得られる。こ
の係数データは量子化/逆量子化回路７５で量子化さ
れ、さらに、可変長符号化回路７４で可変長符号化さ
れ、バッファメモリ７２に格納した後、ビットレートが
平滑化された圧縮画像データとして入出力回路７１から
出力される。

【００２８】また、入出力回路７１からは、バッファメ
モリ７２に格納させているテレビ電話の受信圧縮画像デ
ータや送信用画像データのデータ量がステータス情報と
して出力される。

【００２９】図３は図１における画像入力／表示回路９
の一具体例を示すブロック図であって、９１は伸長画像
データ入力回路、９２は入力/表示メモリ、９３はブロ
ック化回路、９４は画像出力回路、９５は画像入力回路
である。

【００３０】同図において、画像圧縮／伸長回路７（図
１）で伸長された画像データは、伸長画像データ入力回
路９１によって入力/表示メモリ９２に書き込まれ、画
像出力回路９４によって表示のための走査順に従って読
み出され、画像信号として出力される。

【００３１】ここで、図４により、上記のディジタル放
送の圧縮画像データを伸長して得られた画像データ（以
下、単に伸長画像データという）と受信したテレビ電話
の圧縮画像データの伸長画像データとによるウインドウ
表示の一具体例について説明する。

【００３２】図４（ａ）はディジタル放送の圧縮画像デ
ータの伸長画像データに対する表示領域を示し、図４
（ｂ）は受信したテレビ電話の圧縮画像データの伸長画
像データに対する表示領域を示している。受信したテレ
ビ電話の圧縮画像データの伸長画像データは、電話線を
用いて伝送可能にビットレートを低くしているため、そ
の表示領域を小さくすることができるし、また、フレー
ムレートも低い。

【００３３】図４（ｃ）はこれら２つの伸長画像データ
をウインドウ表示した場合の夫々の表示領域を示すもの
であって、ディジタル放送の伸長画像データに対する表
示領域の一部に受信したテレビ電話の伸長画像データに
対する表示領域が嵌め込まれる。

【００３４】これにより、受信したテレビ電話の伸長画
像データに対して専用のモニタを設ける必要がなく、装
置全体の構成の簡略化，コスト削減が可能になる。ま
た、かかるウインドウ表示を伸長画像データ入力回路９
１で伸長画像データを入力/表示メモリ９２に書き込む
段階で行なうことにより、入力/表示メモリ９２のメモ
リ容量も削減可能である。

【００３５】一方、テレビ電話の送信用画像データは、
画像入力回路９５を介して入力/表示メモリ９２に書き
込まれる。ブロック化回路９３は、入力/表示メモリ９
２からこの画像データを読み出すに際し、次段の画像圧
縮/伸長回路７（図１）で処理しやすいように、この画
像データを表示の走査順からブロック順に並び替えて読
み出すようにする。

【００３６】図５はこの第１の実施形態での各部の処理
動作を示すタイミング図であって、その動作タイミング
をディタル放送の圧縮画像データの伸長処理の上記基準
フレームレートを基準に示したものである。

【００３７】図５（ａ）はディジタル放送の圧縮画像デ
ータの伸長タイミングを示すものである。この圧縮画像
データの各フレームの伸長は、送信側の情報レートと受
信側の情報レートが一致するように合わせた基準フレー
ムレートに基づいて、約１フレーム期間に１フレームの
圧縮画像データを伸長する。これらフレームの境界が基
準フレームレートでのフレームのタイミングを表わして
おり、また、図示するI２，Ｂ０，Ｂ１，Ｐ５などにお
いて、Ｉはイントラフレーム符号化モードのピクチャ
（フレーム：即ち、Ｉピクチャ）を、Ｐは時間的に片方
向の動き補償を行なう符号化モードのピクチャ（即ち、
Ｐピクチャ）を、Ｂは時間的に双方向の動き補償を行な
う符号化モードのピクチャ（即ち、Ｂピクチャ）を夫々
表わし、数字は各符号化モードのピクチャの表示順から
みた配列順序を表わしている。

【００３８】図５（ｂ）は図５（ａ）に示したタイミン
グで伸長された画像データの各フレームの表示タイミン
グを示している。周知のように、双方向の動き補償を行
なう符号化モードを採用すると（即ち、Ｂピクチャも設
けると）、圧縮画像データを伸長するときのフレーム順
と表示するときのフレーム順とは異なる。このため、伸
長された画像データの各フレームを表示に適した順次に
並び替える必要があるが、この並び替えのために、参照
画像メモリ７８（図２）が用いられる。また、インタレ
ース表示を可能とするために、この表示のタイミング
は、図５（ｂ）に示すように、図５（ａ）に示す基準タ
イミングから１/２フレームずれたものとなる。

【００３９】図５（ｃ）はテレビ電話の送信用圧縮画像
データの入力タイミングを示しており、st は符号化し
ないスキップフレームを、it はＩピクチャを、pt はＰ
ピクチャを夫々表わしており、これらに付された数字は
これらフレームの配列順を表わしている。この送信用圧
縮画像データのフレームレートと各フレームのタイミン
グとはディジタル放送の圧縮画像データと極く僅かに差
異があり、この差異の累積によってこれらが非同期にな
る。

【００４０】図５（ｄ）はテレビ電話の送信用画像デー
タの入力/表示メモリ９２（図３）への書込みタイミン
グを示している。テレビ電話においては、送受の応答が
早いことが望ましく、フレームの並び替えによる遅れが
伴う双方向の動き補償を行なう符号化モード（即ち、Ｂ
ピクチャ）は一般に用いられない。

【００４１】図１における同期化制御回路６は、バッフ
ァメモリ７２（図２）に格納されている圧縮画像データ
が所定量を超えない場合のみ、符号化可能状態として、
入力/表示メモリ９２ に１フレーム分の画像データを取
り込む。

【００４２】そして、図５（ｅ）に示すように、このと
き、画像データ取込みが開始された以降の最初のフレー
ムタイミングで画像データが読み出され、画像圧縮/伸
長回路７（図１）で圧縮画像データの生成が行なわれ
る。通常、電話線の伝送レートは、例えば、28.8kbpsと
低く、全てのフレームを圧縮して伝送することは不可能
である。このため、１フレームの画像データを圧縮する
度に、バッファメモリ７２内に格納される圧縮データの
データ量が増大し、フレームのスキップが自動的に行な
われる。

【００４３】図５（ｆ）はテレビ電話の圧縮画像データ
の受信タイミングを示している。１フレーム分の圧縮画
像データの多くは、基準フレームでの１フレーム期間以
上の期間で受信される。特に、データ量の多いイントラ
フレーム符号化したフレーム（即ち、Ｉピクチャ）の圧
縮画像データは、長い期間を要して受信される。なお、
ir はＩピクチャを、pr はＰピクチャを夫々表わしてい
る。

【００４４】図５（ｇ）は受信したテレビ電話の圧縮画
像データの伸長タイミングを示している。この伸長に際
しては、伸長の開始に当たってバッファメモリ７２（図
２）に１フレーム分のデータが格納された状態にあるこ
と、さらには、圧縮画像データに多重されるスキップし
たフレーム数などの情報を入出力回路７１（図２）で確
認し、画像圧縮/伸長回路７の伸長動作を制御する。

【００４５】また、この伸長処理は、基準となるフレー
ムタイミングの１フレーム期間において、上記送信用画
像データの圧縮動作と重ならないように排他的に行なわ
れるようにする。これは、局所的に処理が重なり、画像
圧縮/伸長回路７の高いピーク処理量が必要となって回
路規模が増大してしまうことを防止するためである。ま
た、フレームタイミングを割り込みとして処理タイミン
グを定めながら、ソフトウェアにより、画像圧縮/伸長
回路７の機能を実現する場合においても、圧縮処理と伸
長処理とが大きな単位で分割されることになり、圧縮処
理と伸長処理との間の処理切換時間を少なくするという
効果がある。

【００４６】同期化制御回路６は、表示の繰返しを画像
表示回路９に指示する。これにより、図５（ｈ）に示す
ように、送信側でスキップして除かれたフレームの部分
で受信されたフレームが繰り返し表示されることにな
る。

【００４７】なお、以上説明した第１の実施形態は、デ
ィジタル放送信号とは明らかにフレームレートが異なる
システムの機能も持たせることを可能にようにしたもの
であって、その一例としてテレビ電話システムを挙げた
が、同様の他のシステムであっても同様である。

【００４８】図６はディジタル放送受信端末にＤＶＤ
（ディジタル・ビデオ・ディスク）の再生画像を表示で
きるようにした本発明による圧縮画像データの伸長／表
示装置の第２の実施形態を示すブロック図であって、１
４は入力端子、１５は復調回路、１６はデマルチプレク
サ、１７は画像伸長回路、１８は音声伸長回路、１９は
画像表示回路、２０は音声出力回路、２１は出力端子で
あり、図１に対応する部分には同一符号を付けている。

【００４９】この第２の実施形態は、ディジタル放送と
フレームレートがわずかに異なるシステムの機能も持た
せるものであり、ここでは、かかるシステムをＤＶＤシ
ステムとするものであるが、本発明はかかるシステムの
みに限るものではない。

【００５０】また、この第２の実施形態では、ディジタ
ル放送の圧縮画像データとＤＶＤから再生される圧縮画
像データとを同時に伸長して、これらをウインドウ表示
させるものであり、ディジタル放送の圧縮画像データを
基準として伸長するものとするが、逆に、ＤＶＤの再生
圧縮画像データを基準に伸長する場合も同様であり、ま
た、どちらを基準に伸長するかを選択可能に構成するこ
ともできる。

【００５１】図６において、図１に示した第１の実施形
態と同様に、図示しないアンテナで受信されて受信端子
１から入力されるディジタル放送信号は、チューナ３に
よって選局，復調され、伝送エラーの訂正がなされた
後、ディジタル放送の圧縮データとしてデマルチプレク
サ１６に供給される。デマルチプレクサ１６では、この
ディジタル放送の圧縮データが解析されて圧縮画像デー
タと圧縮音声データに分離され、圧縮画像データは画像
伸長回路１７に、圧縮音声データは音声伸長回路１８に
夫々分配供給される。

【００５２】また、これと同時に、これら圧縮画像デー
タと圧縮音声データとの多重化情報に含まれる基準時刻
情報も解析されて、各回路の動作の基準となるクロック
信号が生成される。

【００５３】画像伸長回路１７では、圧縮画像データが
伸長され、また、音声伸長回路１８では、圧縮音声信号
が伸長される。これら伸長された画像データ，音声デー
タは夫々、画像表示回路１９，音声出力回路２０を介し
て出力端子１２から出力される。この場合、画像表示の
基準となる基準フレームレート及び音声信号のサンプリ
ングレートは上記のクロック信号から生成され、伸長さ
れた画像データ，音声データとも送信側の情報レートと
受信側の情報レートの同一化がなされる。

【００５４】また、入力端子１４から入力されるＤＶＤ
の再生信号（以下、ＤＶＤ信号という）は、復調回路４
で復調や誤り訂正などの処理がなされた後、ＤＶＤの圧
縮データとしてデマルチプレクサ１６に供給される。こ
のデマルチプレクサ１６以降のＤＶＤの圧縮画像データ
の伸長，表示のための処理は、上記のディジタル放送の
圧縮データの伸長，表示のための処理と同様であり、デ
ィジタル放送の圧縮画像データの伸長処理とＤＶＤの圧
縮画像データの伸長処理とがディジタル放送の圧縮画像
データの基準フレームレートに基づいて行なわれ、これ
ら２種類の伸長された画像データによる画像がウインド
ウ表示されるように画像表示回路１９で処理されて、出
力端子１２から出力される。

【００５５】なお、デマルチプレックサ１６では、ＤＶ
Ｄ信号の圧縮音声データも分離されるが、ディジタル放
送の圧縮データから分離された圧縮音声データと選択的
に出力されるようにしている。このＤＶＤ信号の圧縮音
声データとディジタル放送の圧縮音声データとの選択
は、ユーザの所定操作によって行なわれる。

【００５６】図７は図６における画像伸長回路１７の一
具体例を示すブロック図であって、１７１は入力回路、
１７２はバッファメモリ、１７３は可変長復号回路、１
７４は逆量子化回路、１７５は逆離散コサイン変換回路
（以下、逆ＤＣＴ回路という）、１７６は動き補償回
路、１７７は参照画像メモリである。

【００５７】同図において、画像伸長回路１７は、上記
のように、ディジタル放送の圧縮画像データの伸長処理
とＤＶＤの圧縮画像データの伸長処理とを基準フレーム
レートで時分割的に行なう。これら２つの圧縮画像デー
タは、入力回路１７１からバッファメモリ１７２に一時
蓄えられる。このバッファメモリ１７２から再び入力回
路１７１に読み出された圧縮画像データは、可変長復号
回路１７４に供給されて、符号長が符号語毎に異なって
いる可変長データから固定長の係数データが得られると
ともに、動きベクトルなどの付加情報も同時に復号され
る。この係数データは逆量子化回路１７５で逆量子化さ
れ、さらに、逆ＤＣＴ回路１７６で逆離散コサイン変換
する。この逆ＤＣＴ回路１７６の出力データは、さら
に、動き補償回路１７６において、上記の動きベクトル
を用い、参照画像メモリ１７７から読み出す参照画像デ
ータとで動き補償が行なわれ、伸長された画像データ
（即ち、伸長画像データ）が得らせれる。この伸長画像
データは、そのフレーム間相関を利用した高能率符号化
のタイプにより参照画像データとして再び用いるもので
なければ、そのまま出力するが、参照画像データとして
再び用いるものであれば、参照画像メモリ１７７に書き
込み、これと同時に、表示のために、既に伸長が完了し
て参照画像メモリ１７７に格納してある参照画像データ
が読み出されて出力される。

【００５８】図８は図６における画像表示回路１９の一
具体例を示すブロック図であって、１９１は伸長画像デ
ータ入力回路、９２は表示メモリ、１９３は画像出力回
路である。

【００５９】同図において、画像伸長回路１７（図１）
で得られた伸長画像データは、伸長画像データ入力回路
１９１により、表示メモリ１９２に書き込まれ、画像出
力回路１９３により、各フレームが表示順となるように
読み出されて、画像信号として出力される。

【００６０】図９はディジタル放送の伸長画像データと
ＤＶＤの伸長画像データとによるウインドウ表示の一具
体例を示すものである。

【００６１】図９（ａ）はディジタル放送の伸長画像デ
ータの画像（以下、ディジタル放送画像という）を表示
画面全体に表示した場合を、図９（ｂ）はＤＶＤの伸長
画像データの画像（以下、ＤＶＤ画像という）を表示画
面全体に表示した場合を夫々示している。これら画像は
縦，横４８０×７２０画素であって、アスペクト比は
４：３としている。

【００６２】図９（ｃ）はこれら画像のウインドウ表示
の一具体例を示している。この表示例では、表示画面の
左半分にディジタル放送画像を、右半分にＤＶＤ画像を
夫々互いに重ならないように縮小表示するものである。
ここで、全体の表示画面はアスペクト比１６：９のワイ
ド画面であり、ディジタル放送画像とＤＶＤ画像とをこ
のワイド画面に上記のように表示するために、これらの
水平方向の画素数と垂直方向の画素数（水平ライン数）
とを２／３に間引いて縮小表示している。これにより、
図９（ａ），（ｂ）と図９（ｃ）とでの表示では、同じ
画質で表示されることになる。

【００６３】図９（ｄ）はディジタル放送画像とＤＶＤ
画像とのウインドウ表示の他の具体例を示している。こ
の表示例では、ディジタル放送画像を、上記ワイド画面
に、垂直幅をこのワイド画面一杯とし、かつ左側に寄せ
て表示し、ＤＶＤ画像は縦横１／２倍に縮小し、かつデ
ィジタル放送画像と一部重なるが、ワイド画面の右下隅
に寄せて表示したものである。この場合、ディジタル放
送画像の画素数は、図９（ａ）と同様に、縦横４８０×
７２０であるが、ＤＶＤ画像については、縦横１／２倍
に縮小されている分、垂直水平の画素数が１／２に間引
きされて２４０×３６０となっている。これにより、縮
小表示されるＤＶＤ画像も、図９（ｂ）に示すワイド画
面一杯に表示されるのと画質が同等となる。

【００６４】このような各画像のサイズの変換は伸長画
像データ入力回路１９１で行なわれ、ウインドウ表示を
表示メモリ９２に書き込む段階でウインドウ表示のため
の処理が行なわれる。これにより、表示メモリ１９２の
メモリ容量も削減できる。

【００６５】なお、図９（ｄ）において、縮小された画
像のワイド画面での表示位置は、図示したものに限ら
ず、右上隅などの他の場所でもよいし、また、ディジタ
ル放送画像の方を縮小画像として表示するようにするこ
ともできる。

【００６６】図１０は図６に示した第２の実施形態での
各部の処理動作を示すタイミング図であって、その動作
タイミングもディジタル放送の圧縮画像データの伸長処
理の上記基準フレームレートを基準に示している。ま
た、図示される各フレームの符号も、図５で用いたのと
同様であるが、ＤＶＤの画像データについては、Ｉピク
チャをｉ、Ｐピクチャをｐ、Ｂピクチャをｂと夫々示し
ている。

【００６７】図１０（ａ），（ｂ）はディジタル放送の
圧縮画像データの伸長タイミングと伸長された画像の表
示タイミングとを示すものであって、先の第１の実施形
態でのディジタル放送の圧縮画像データについての図５
（ａ），（ｂ）の説明と同様である。

【００６８】図１０（ｃ）はＢピクチャを含んだＤＶＤ
の圧縮画像データをそのフレームレートで伸長を行なっ
た場合の理想的な伸長タイミングを示している。この場
合、ＤＶＤの圧縮画像データのフレームレートがディジ
タル放送の圧縮画像データのフレームレートより高いも
のとしている。ここでは、これを図１０（ａ）と比較し
て明らかなように、この場合のＤＶＤの伸長されて画像
データの６フレームの期間がディジタル放送の伸長され
た画像データの５フレームの期間に相当し、これら伸長
画像データのフレームは非同期となっている。

【００６９】これに対し、図１０（ｄ）はＤＶＤの圧縮
画像データをディジタル放送の基準タイミングで実際に
伸長した場合の伸長タイミングを示している。この場
合、Ｂピクチャは、参照フレームとして用いることがな
く、スキップしても後に影響を及ぼすことがないため
（即ち、例えば、Ｂピクチャｂ１はＩピクチャｉ２とＰ
ピクチャｐ５とを用いて形成されたものであり、これを
除いても画像データの復号にはなんら影響がない）、こ
れを適宜スキップすることにより、ディジタル放送の伸
長画像データと同期合わせを行なっている。図１０
（ｄ）の場合、図１０（ｃ）と比較して明らかなよう
に、図１０（ｃ）に示すフレーム列において、６フレー
ム毎に１フレーム、即ち、Ｂピクチャｂ１，ｂ７，ｂ１
３，……がスキップされており、図１０（ａ）に示すフ
レームレートと等しくしてフレーム同期している。

【００７０】このスキップ動作は、バッファメモリ１７
２（図７）に格納されているＤＶＤの圧縮画像データが
多いときに自動的に行なう。図１０（ｅ）はこのときの
ＤＶＤの伸長画像データの表示タイミングを示してい
る。

【００７１】図１０（ｆ）はＩ，Ｐピクチャのみからな
るＤＶＤの圧縮画像データをそのフレームレートで伸長
した場合の理想的な伸長タイミングを示するものであっ
て、この場合も、ＤＶＤの圧縮画像データのフレームレ
ートがディジタル放送の圧縮画像データのフレームレー
トより高いものとしている。

【００７２】この場合には、圧縮画像データの伸長のス
キップの影響を少なくするために、図１０（ｇ)に示す
ように、Ｉピクチャ（例えば、フレームi９)の直前のＰ
ピクチャ（ここでは、フレームｐ７，ｐ８）の伸長をス
キップさせることにより、ディジタル放送の伸長画像デ
ータとの伸長タイミング合わせを行なっている。なお、
図１０（ｈ）は、図１０（ｇ）に示す伸長画像データの
表示タイミングを示す図である。

【００７３】図１０（ｉ）はＢピクチャも含んだＤＶＤ
の圧縮画像データをそのフレームレートで伸長した場合
の理想的な伸長タイミングを示しており、ここでは、Ｄ
ＶＤの圧縮画像データのフレームレートがディジタル放
送の圧縮画像データのフレームレートより低いものとし
ており、図１０（ａ）と比較して、このＤＶＤの伸長画
像の６フレーム期間がディジタル放送の伸長画像データ
の７フレーム期間に相当するものとしている。この場合
には、ＤＶＤの圧縮画像データの全てのフレームを伸長
する。Ｂピクチャの有無は、伸長タイミングを同期化さ
せる動作とは直接関係ない。

【００７４】このような場合には、圧縮画像データの伸
長を開始するに当たって、バッファメモリ１７２（図
７）に１フレーム分の圧縮画像データがないとき、図１
０（ｊ）に示すように、１基準フレーム期間伸長処理を
停止させ、同期化回路６により、図１０（ｋ）に示すよ
うに、画像表示回路１９（図６）がその直前のフレーム
（この場合、フレームｂ６）の伸長画像データを繰り返
し表示するように動作させる。

【００７５】以上、本発明の実施形態について説明した
が、本発明はこれら実施形態にのみ限定されるものでは
ない。例えば、上記各実施形態では、２つの独立なフレ
ームレートで生成される圧縮画像データを同期して伸
長，表示するものであってが、３個以上の同様に独立し
た圧縮画像データについても、同様に、同期化して伸
長，表示させるようにすることもできる。

【００７６】

【発明の効果】以上説明したように、本発明によれば、
２以上の独立したフレームレートで生成される圧縮画像
データを互いに同期して伸長し、画像表示されることが
できるし、また、画像データの圧縮も可能となる。この
ため、画像データの伸長，表示及び圧縮といった処理を
行なうための回路をこれら独立に画像データに共通にす
ることができるし、ソフトウェアの時分割処理を容易に
させることになる。

【００７７】また、このことから、ディジタルテレビ受
信端末にテレビ電話やＤＶＤの再生といった機能を付加
することも容易となる。

【図面の簡単な説明】

【図１】本発明による圧縮画像データの伸長／表示装置
の第１の実施形態を示すブロック図である。

【図２】図１における画像圧縮／伸長回路の一具体例を
示すブロック図である。

【図３】図１における画像入力／表示回路の一具体例を
示すブロック図である。

【図４】図１に示した第１の実施形態によるディジタル
放送の受信画面とテレビ電話の受信画面との一表示例を
示す図である。

【図５】図１に示した第１の実施形態での圧縮画像デー
タの伸長及び表示動作を示すタイミング図である。

【図６】本発明による圧縮画像データの伸長／表示装置
の第１の実施形態を示すブロック図である。

【図７】図６における画像伸長回路の一具体例を示すブ
ロック図である。

【図８】図６における画像表示回路の一具体例を示すブ
ロック図である。

【図９】図６に示した第２の実施形態によるディジタル
放送の受信画面とＤＶＤの再生画面との一表示例を示す
図である。

【図１０】図６に示した第２の実施形態での圧縮画像デ
ータの伸長及び表示動作を示すタイミング図である。

【符号の説明】

５ マルチプレクサ／デマルチプレクサ ６ 同期化制御回路 ７ 画像圧縮／伸長回路 ８ 音声圧縮／伸長回路 ９ 画像入力／表示回路 １０ 音声入力／出力回路 １６ デマルチプレクサ １７ 画像伸長回路 １８ 音声伸長回路 １９ 画像表示回路 ２０ 音声出力回路 ７１ 入出力回路 ７２ バッファメモリ ７８ 参照画像メモリ ９１ 伸長画像データ入力回路 ９２ 入力／表示メモリ ９４ 画像出力回路 ９５ 画像入力回路 １７１ 入力回路 １７２ バッファメモリ １７７ 参照画像メモリ １９１ 伸長画像データ入力回路 １９２ 表示メモリ １９３ 画像出力回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 稲田 圭介 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像信号のフレーム間相関を利用した高
   能率符号化によってデータ量を圧縮した圧縮画像データ
   を伸長・表示する圧縮画像データの伸長／表示装置であ
   って、 第１の圧縮画像データを入力する手段と、 実効フレームレートが該第１の圧縮画像データのフレー
   ムレートよりも低い第２の圧縮画像データを入力する手
   段と、 第１の圧縮画像データのフレーム同期に同期させ、第１
   の圧縮画像データと第２の圧縮画像データとを伸長する
   画像伸長手段と、 該画像伸長手段で伸長して得る第１画像データと第２画
   像データとを多重し、該第１の圧縮画像データのフレー
   ムレートで表示させる画像表示手段と、 第２の伸長画像データの表示繰り返しを制御する同期化
   制御手段とを備えたことを特徴とする圧縮画像データの
   伸長／表示装置。
2. 【請求項２】 請求項１記載の圧縮画像データの伸長／
   表示装置において、 第３の画像データを入力する手段と、 該第３の画像データのフレームレートを前記第１の圧縮
   画像データのフレームレートよりも低くさせるフレーム
   レート低減手段と、 該フレームレートを低減させた第３の画像データを第１
   の圧縮画像データのフレーム同期に同期させ、高能率符
   号化によりデータ量を圧縮して第３の圧縮画像データを
   得る画像圧縮手段と、 該第３の圧縮画像データを送信する圧縮画像データの送
   信手段とを備えたことを特徴とする圧縮画像データの伸
   長／表示装置。
3. 【請求項３】 請求項２記載の圧縮画像データの伸長／
   表示装置において、 前記画像伸長手段による第２の圧縮画像データの伸長と
   前記画像圧縮手段による第３の画像データの圧縮が、前
   記第１の圧縮画像データのフレーム同期に関して排他的
   に動作することを特徴とする圧縮画像データの伸長／表
   示装置。
4. 【請求項４】 画像信号のフレーム間相関を利用した高
   能率符号化によってデータ量を圧縮した圧縮画像データ
   を伸長・表示する圧縮画像データの伸長／表示装置であ
   って、 第１の圧縮画像データを入力する手段と、 第２の圧縮画像データを入力する手段と、 該第１の圧縮画像データのフレーム同期に同期させ、該
   第１の圧縮画像データと該第２の圧縮画像データとを伸
   長する画像伸長手段と、 該画像伸長手段で伸長して得られる該第１画像データと
   該第２画像データとを多重し、該第１の圧縮画像データ
   のフレームレートで表示させる画像表示手段と該第２の
   伸長画像データの表示繰返しを制御する同期化制御手段
   とを有し、該画像伸長手段は、該第２の圧縮画像データ
   の一部の伸長をスキップさせる機能を有することを特徴
   とする圧縮画像データの伸長／表示装置。
5. 【請求項５】 請求項４記載の圧縮画像データの伸長／
   表示装置において、 前記画像伸長手段は、前記第２の圧縮画像データの一部
   の伸長のスキップが画像のピクチャ単位で行なうもので
   あって、双方向の動き補償を行なう符号化モードで圧縮
   された圧縮画像データもしくは動き補償を行なわない符
   号化モードで圧縮された圧縮画像データの前にある片方
   向の動き補償を行なう符号化モードで圧縮された圧縮画
   像データであることを特徴とする圧縮画像データの伸長
   ／表示装置。