JPH0738898A - 画像復号装置 - Google Patents

Abstract

(57)【要約】 【目的】 必要とするフレームメモリの数を減らす。 【構成】 第２のフレームメモリはダブルバッファ構成
であり、第１のフレームメモリではフレーム間予測符号
化された画像の再生が最大で３０×１０００／１００１
フレーム／秒などの受信フレームレートで行われ、第１
のフレームメモリから第２のフレームメモリへ３０フレ
ーム／秒など受信フレームレートより早く画像が転送さ
れ、第２のフレームメモリからは２５フレーム／秒で画
像が出力されることが特徴である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化された画像信号
を復号する装置に関する。

【０００２】

【従来の技術】ディジタル表現された画像データを伝送
又は蓄積する場合、データ量を削減するために符号化が
行われる。符号化の方法としては、画像情報の時間的又
は空間的相関性を利用して冗長度を少なくする方法があ
る。

【０００３】時間的相関性を利用する方法として、２画
面（フレーム）の差分を符号化したり、画像の動きを検
出して、動き補償を行なったりするものがある。また空
間的相関性を利用する方法として、画像を所定の大きさ
のブロックに分けて、ブロック内のデータを直交変換
し、交換係数をジグザグ変換し（低周波成分から高周波
成分への順に並びかえる）可変長符号化を行なうものが
ある。テレビ会議、テレビ電話のための画像符号化方式
に関する勧告として、ＣＣＩＴＴの定めたＨ．２６１
“Video Codec for Audiovisual Services at p × 64k
bps ”においては、上記２つの方法を併用するものとな
っている。

【０００４】図４は、この様な方法により符号化された
データを復号する装置の構成例である。受信データは受
信バッファ１に蓄積される。バッファから出力されたデ
ータはＶＬＤ２により可変長復号され、逆量子化器３に
よって逆量子化された後、逆ＺＺ４によりジグザグ変換
の逆変換が行われる。更に、逆ＤＣＴ５により逆離散コ
サイン変換される。フレーム間の差分を受信した場合
は、１フレーム前のデータを予測フレームメモリＢ７か
ら読出し、受信データと加算後、予測フレームメモリＡ
６に再生画像を書込む。フレーム内で符号化されたデー
タを受信した場合は、受信データをそのまま予測フレー
ムメモリＡ６に書込む。この様に２つの予測メモリ６、
７はダブルバッファとして動作し、画像を再生する。表
示のためには再生画像を読出しモードとなっている予測
フレームメモリから読出し、フォーマット変換が行われ
る。フォーマット変換とは、縦・横の画素数の変換やフ
レームレートの変換を意味する。

【０００５】さて、Ｈ．２６１によれば、フレームは最
大で毎秒３０×１０００／１００１枚送られる。更に１
フレーム、２フレーム、３フレーム飛ばして符号化する
モードも規定されている。最大毎秒３０×１０００／１
００１枚送るモードの場合でもフレームを飛ばして符号
化することは可能であるが、復号装置としては、すべて
のフレームが送られてくることを想定して設計する必要
がある。

【０００６】表示装置としてはＮＴＳＣ又はＰＡＬ方式
のテレビ受像機が用いられることが多い。ＮＴＳＣ方式
では毎秒３０×１０００／１００１枚表示するために、
Ｈ．２６１で受信したフレームをそのまま表示可能であ
る。フレーム飛ばしされた画像を受信した時は、同じフ
レームを複数回表示する方法などがとられる。ＰＡＬ方
式では毎秒２５枚表示するので、フレームレートの変換
が必要となる。

【０００７】図５に図４の逆ＤＣＴ後の部分の従来技術
の詳細を示す。今予測フレームメモリＢ７が読出しモー
ドになっているとし、再生画像が読出されてフォーマッ
ト変換部８に入力されているとする。前述した予測フレ
ームメモリＡ、Ｂのダブルバッファなどの制御は制御部
Ａ（９）で行われる。さてフォーマット変換部内のライ
ン変換部１０では、縦方向の画素数がテレビ受像機に合
う様に変換される。その後フレームメモリＣ、Ｄ、Ｅの
いずれかに書込まれる。１フレーム書込みが完成したフ
レームメモリは読出し可能となり、読出されたデータは
水平補間１２で横方向画素数をテレビ受像機に合う様に
変換される。制御部Ｂ（１１）はフレームメモリＣ、
Ｄ、Ｅの制御を行なう。

【０００８】ＰＡＬ受像機に表示するためにフレームメ
モリが３個必要となるのは次の理由による。

【０００９】図６に示す様に、予測フレームメモリＡ、
Ｂに交互にフレームＦ０、Ｆ１、Ｆ２‥‥が書込まれる
とする。書込みが行われるタイミングは受信データに依
存するが、平均として３０×１０００／１００１フレー
ム／秒である。従来技術では書込みの完了したＦ０、Ｆ
１、Ｆ２‥‥では３０×１０００／１００１フレーム／
秒で予測フレームメモリＡ、Ｂから読出されてライン変
換後フレームメモリＣ〜Ｅに書込まれる。ＰＡＬ受像機
には２５フレーム／秒で出力されるが、３０×１０００
／１００１と２５が簡単な整数比で表されないので、フ
レームメモリＣ〜Ｅの書込み、読出しのタイミングが少
しずつずれることになる。図６のタイミング図により説
明すれば、次の様になる。フレームＦ０の読出し開始時
点では、フレームＦ０はフレームメモリＣに完全に書込
まれていて、フレームＦ１がフレームメモリＤに書込ま
れているところである。従ってフレームＦ０は読出し可
能である。同様にフレームＦ１の読出し開始時点では、
フレームＦ１はフレームＤに完全に書込まれていて、フ
レームＦ２がフレームメモリＥに書込まれているところ
である。この様にしてフレームＦ２も読出される。しか
し、フレームＦ２の読出しを完了した時点ではフレーム
Ｆ３のフレームメモリＣに対する書込みもフレームＦ４
のフレームメモリＤに対する書込みも終了しているため
に、フレームＦ３の読出しを中止し最新のフレームＦ４
の読出しを開始させる。以上の様にして、フレームメモ
リＣ〜Ｅの３個を用いてフレームレートの変換が可能と
なっていた。

【００１０】

【本発明が解決しようとする課題】従来の技術では、フ
レームレートの変換にフレームメモリ３個を必要とし
た。フレームメモリは高価であるために、産業上の観点
からは少ない数量にすることが強く望まれた。

【００１１】

【課題を解決するための手段】本発明は請求項１に記載
のとおりである。本発明はフレームメモリの新規な制御
法を提供し、フレームレートの変換をフレームメモリ２
個で実現するものである。なお、本発明におけるフレー
ムメモリの個数は物理的な個数を意味するものではな
く、何個分のフレームを記憶しうるかという記憶容量を
意味する。

【００１２】

【作用】本発明では復号器内の予測メモリから平均３０
フレーム／秒でフォーマット変換部内のフレームメモリ
にデータ転送し、該フレームメモリから２５フレーム／
秒でデータを読出す様にメモリを制御する。受信フレー
ムレート３０×１０００／１００１フレーム／秒と上記
予測メモリからのフレーム読出しレート平均３０フレー
ム／秒のレート交換は、受信バッファメモリと予測メモ
リによって行う様に制御する。

【００１３】また、受信データが最大１５×１０００／
１００１フレーム／秒以下であるときは、復号器内の予
測メモリから平均１５フレーム／秒でフォーマット変換
部内のフレームメモリにデータ転送し、該フレームメモ
リから２５フレーム／秒でデータを読出す様にメモリを
制御する。

【００１４】

【実施例】第１の実施例 図１、図２により本発明の第１の実施例を説明する。図
１は、図４に示した復号器の構成の逆ＤＣＴより後の部
分の本発明によるブロック図である。また、図１は図５
に示した従来例に相当する部分であり、同じ符号のブロ
ックは図５に示したものに相当する機能を有する。

【００１５】逆ＤＣＴから送られてきた入力データは、
予測フレームメモリから読出された１フレーム前のデー
タと加算されて、上記予測フレームメモリとは別に設け
られた予測フレームメモリに書込まれる。図１では前者
の予測フレームメモリを予測フレームメモリＢ（７）、
後者の予測フレームメモリを予測フレームメモリＡ
（６）として示した。これらの予測フレームメモリはダ
ブルバッファとして動作し、制御部Ａ（９）がこれを制
御する。予測フレームメモリＢが読出しモードにあると
き、このメモリのデータはフォーマット変換部８にも転
送される。ただし、入力データと加算して画像を再生す
るためのデータ読出しと、フォーマット変換部に送るた
めのデータ読出は、読出し順序が異なっている。一般的
には、画像再生のためにはブロック単位で、フォーマッ
ト変換のためにはライン単位で読出される。さて、フォ
ーマット変換部内では、ライン変換１０により受像機に
合うライン数に変換され、フレームメモリに書込まれ
る。このデータは再度読出し後、水平補間１２により横
方向画素数の変換をされた後出力される。

【００１６】図２はフレームメモリ間のデータの転送タ
イミングを示したものである。受信データは平均３０×
１０００／１００１フレーム／秒で再生されて、予測フ
レームメモリに書込まれる。フレームＦ０、Ｆ２、Ｆ４
‥‥が予測フレームメモリＡに、フレームＦ１、Ｆ３、
Ｆ５‥‥が予測フレームメモリＢに書込まれるとする。
書込終了時点は受信データに依存するが、図２の様にほ
ぼ等間隔であったとする。

【００１７】フォーマット変換部８内の制御部Ｂ（１
１）は同期信号を発生し、制御部Ａにデータの転送を要
求する。この同期信号は平均３０フレーム／秒で発生さ
れる。図２の最初の同期信号パルスが発生された時、フ
レームＦ０は読出し可能になっているので、フレームＦ
０はフォーマット変換部内のフレームメモリＣに転送さ
れる。受信フレームレートが平均３０×１０００／１０
０１フレーム／秒であり、予測フレームメモリＡ、Ｂか
らフレームメモリＣ、Ｄへの転送レートが平均３０フレ
ーム／秒であるので、タイミングが少しずつずれてく
る。図２では１回めにフレームＦ７を転送後、同期信号
パルスが発生した時、フレームＦ８はまだ予測フレーム
メモリＡに書込み終了しておらず、フレームメモリＡは
読出しモードにはなっていない。この場合は、フレーム
Ｆ７が再度転送される。フレームＦ８は２回めのフレー
ムＦ７の転送中に書込み終了となるが、予測フレームメ
モリＢは読出し中であるのでフレームＦ９の再生はフレ
ームＦ７の読出し終了を待って実行される。その間に受
信されたデータは受信バッファに蓄積可能である。

【００１８】以上の様に平均３０フレーム／秒でフレー
ムメモリＣ、Ｄへの転送が可能である。フレームメモリ
Ｃ、Ｄから２５フレーム／秒で読出す方法は以下の通り
である。３０フレームと２５フレームは６対５の関係で
あるので、図２の様にフレームＦ１〜Ｆ６の６フレーム
が書込まれる期間に５フレームが読出される。インタレ
ース表示では奇数フィールドと偶数フィールドがあるの
で１０フィールド読出されることになる。図２では奇数
フィールドをＯの符号で、そして偶数フィールドをＥの
符号で表してある。フレームＦ０のフレームメモリＣへ
の書込み終了後、フレームＦ０データは奇数フィールド
と偶数フィールドに振り分けられて読出される。フレー
ムＦ１も同様である。フレームＦ２の奇数フィールドの
読出しが終了した時点で、フレームＦ３の書込みも終了
するので、フレームＦ２の偶数フィールド読出しを行わ
ずにフレームＦ３の偶数フィールド読出しを行なう。そ
の後、フレームＦ４、Ｆ５はフレームＦ０と同様に読出
される。以上の方法により、フレームメモリのデータ書
込みが、データ読出しを追越すことなく制御可能とな
る。

【００１９】本実施例の利点は次の通りである。第１に
受信フレーム全てを用いた表示が可能であり、画質劣下
の少ないフレームレート変換が可能となる（６フレーム
のうちの１フレームを落して５フレームにすると画質が
大きく劣下する）。第２に図６に示された従来例より変
換遅延時間が短い。第３に２フレーム分のメモリ容量で
変換が可能である。

【００２０】第２の実施例以下、図３を用いて本発明の
第２の実施例を説明する。本実施例のブロック図は第１
の実施例と同じである（図１参照）。本実施例は、少な
くとも１フレーム飛ばしで送られてくるデータを復号す
る装置に関する。即ち、最大フレームレートは１５×１
０００／１００１フレーム／秒とする。この場合は、予
測フレームメモリＡ、Ｂでの画像再生は平均１５×１０
００／１００１フレーム／秒であり、フレームメモリ
Ａ、Ｂへの書込みタイミングは図３の様であるとする。
制御部Ｂが発する同期信号は図３に示す様に平均１５フ
レーム／秒とする。第１の実施例と同様に、書込みが完
了している予測フレームメモリからデータが読出されて
フォーマット変換部８に転送され、フレームメモリＣ、
Ｄに書込まれる。受像機への読出しは２５フレーム／秒
である。フレームＦ１、Ｆ２、Ｆ３がそれぞれフレーム
メモリＤ、Ｃ、Ｄに書込まれる期間に、フレームＦ０を
２回、フレームＦ１を１回、フレームＦ２を２回読出す
ことによりフレームレートの変換が可能である。

【００２１】

【発明の効果】本発明の効果は以下の通りである。第１
に受信したフレーム全てを用いた表示が可能であり、高
画質のフレームレート変換である。第２に変換による遅
延時間が短い。第３に２フレーム分のメモリ容量で変換
が可能である。

【図面の簡単な説明】

【図１】本発明の実施例を示すフレームレート変換部の
ブロック図である。

【図２】本発明の第１の実施例を示すタイミング図であ
る。

【図３】本発明の第２の実施例を示すタイミング図であ
る。

【図４】画像復号装置の構成図である。

【図５】従来技術によるフレームレート変換部のブロッ
ク図である。

【図６】従来技術によるフレームレート変換のタイミン
グ図である。

【符号の説明】

１ 受信バッファ ２ 可変長復号器（ＶＬＤ） ３ 逆量子化器 ４ 逆ジグザグ変換器（逆ＺＺ） ５ 逆離散コサイン変換器（逆ＤＣＴ） ６ 予測フレームメモリ ７ 予測フレームメモリ ８ フォーマット変換部 ９ 制御部 １０ ライン変換部 １１ 制御部 １２ 水平補間部 １３ フレームメモリ １４ フレームメモリ １５ フレームメモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 服部 正 東京都港区南青山６丁目11番１号 ジー・ シー・テクノロジー株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 第１のフレームメモリと第２のフレーム
   メモリを有する画像復号装置において、 少くとも第２のフレームメモリはダブルバッファ構成で
   あり、 第１のフレームメモリではフレーム間予測符号化された
   画像の再生が最大で３０×１０００／１００１フレーム
   ／秒、１５×１０００／１００１フレーム／秒などの受
   信フレームレートで行われ、 第１のフレームメモリから第２のフレームメモリへ３０
   フレーム／秒、１５フレーム／秒などの上記受信フレー
   ムレートより速く画像が転送され、 第２のフレームメモリからは２５フレーム／秒で画像が
   出力されることを特徴とする画像復号装置。