JP2864761B2 - 動き補償フレーム間予測符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＴＶ信号等の高能率符号
化装置に関し、特にＴＶ信号の冗長度の圧縮率が高いが
装置規模が大きい問題がある動き補償フレーム間予測符
号化装置の小型化を図るものである。

【０００２】

【従来の技術】周知の様にＴＶ信号を直接ディジタル信
号で伝送するためにはおよそ１００Ｍｂ／ｓの伝送速度
を必要とする。これの伝送速度を低下し、伝送コストを
低減するために高能率符号化方式が提案されている。高
能率符号化とは、伝送済みの前画面（参照フレーム）
や、伝送済みの直上走査線の信号等を用いて現在符号化
するＴＶ信号を予測し、その予測値と真の信号との差分
（予測誤差）を求め、これを伝送するものである。参照
フレームから予測する方式をフレーム間予測と呼び、直
上走査線等の符号化するフレームからのみ予測する方式
をフレーム内予測と呼ぶ。

【０００３】ＴＶ信号は被写体や背景部が動かない場合
が多いので、一般にフレーム間の予測誤差がフレーム内
予測の誤差よりも小さい事が知られる。このためフレー
ム間予測はフレーム内予測よりも冗長度の圧縮率が高
く、伝送速度を例えば数Ｍｂ／ｓ程度にまで圧縮可能で
ある。

【０００４】動き補償フレーム間予測は、通常のフレー
ム間予測に加えて、被写体が動いた時にはその動き量を
補償した後にフレーム間予測するので、フレーム間予測
よりも予測誤差電力を低減でき、高い冗長度圧縮率が得
られる事も知られる。

【０００５】動き補償フレーム間予測を用いた符号化は
次の通りである。

【０００６】１）伝送済みの参照フレームのＴＶ信号と
現在符号化するＴＶ信号との相関から、被写体の動き量
を検出し、 ２）その動き量を補償した後の位置にある参照フレーム
に格納されているＴＶ信号から現在符号化するＴＶ信号
を予測し、 ３）その予測値と真値との差分である予測誤差を求め、
これを符号化伝送する。上記の動作を可能とするために
は参照フレームのＴＶ信号を格納する参照フレームメモ
リ（以降単に参照ＦＭと略記）が必要となる。さらに現
在符号化しているフレームのＴＶ信号は、次のフレーム
を予測するために必要なので、現在の符号化フレームの
ＴＶ信号を現在の参照ＦＭとは別のＦＭに格納しておく
必要がある。従って実際には、参照ＦＭは２面必要とな
る。動き補償フレーム間予測は高い冗長度圧縮率を得ら
れる反面、このようなフレームメモリが必要となるので
回路規模が大きくなる問題もある。

【０００７】また、上記とは別に、符号化するフレーム
を格納するために、２面のＦＭ（以降符号化用ＦＭ）を
バッファメモリとして持つ場合が多い。この場合の動作
は図１に示す通りである。即ち、 １）２面のＦＭの内の一方のＦＭ−ＡにはＴＶカメラ等
から伝送されたＴＶ信号を書込み、他方のＦＭ−Ｂは符
号化のための読出用に用いる。

【０００８】２）１フレームの符号化が終了した時に上
記の２個のＦＭの役割を交替させ、ＴＶ信号の書込みに
用いられていたＦＭ−Ｂを符号化用に、符号化読出し用
に用いていたＦＭ−ＡをＴＶ信号の書込み用にする。

【０００９】この時次の問題が有る。即ち、ＴＶカメラ
から転送されたフレームが実際に符号化されるまでに、
図６中にＬと表示した期間が生じる。ＴＶカメラで撮像
されたＴＶ信号が受信者に対して表示されるまでの遅延
時間が長いと、心理的な負担を増加させることが知られ
る。遅延時間が発生する原因は多数有るが、上記のＬと
表示した期間もその原因の一つとなる。

【００１０】このＬを実効的に無くす手段が、特開平2
−203689 に開示されている。本従来例の特徴は、図２
に例示するように、２面バッファメモリ方式において、
書込み用とされたＦＭ−Ｂには繰り返しＴＶカメラで撮
像された信号が書込まれ、１フレームの符号化が終了後
に該ＦＭ−Ｂが符号化信号の読出し用に切り替えられた
後にも、そのフレームの書込みが終了するまでは、ＴＶ
カメラで撮像されたＴＶ信号を書込みを続けることにあ
る。そして、書込みアドレスが読出しアドレスに追い付
かれた場合のみ符号化を停止し、上記のアドレスが一致
する事を防止している。

【００１１】また、小型経済化のために符号化用フレー
ムメモリの面数を１面とする場合も知られる。但しこの
場合には、図３に例示するように、１フレームの符号化
終了後に次のフレームのＴＶ信号を転送するための「転
送待ち時間」や「転送時間」が必要となる。その期間は
符号化処理が出来ないので、符号化装置の稼働率が低下
し、処理能力が低下する問題が生じる。この内「転送時
間」に関しては、上記開示特許を用い、図４に例示する
ようにＦＭ−Ａへの書込み中に読出しを開始することに
より、実効上無視できる。

【００１２】

【発明が解決しようとする課題】上記に述べたように、
従来符号化装置の処理能力を維持するためには、参照用
と符号化用で各々２面で計４面のフレームメモリ（Ｆ
Ｍ）が必要とされ、装置の小型化が困難となる問題が有
る。そこで本発明では、従来と同等の処理能力を維持し
つつ、ＦＭの面数を低減する事を課題とする。

【００１３】

【課題を解決するための手段】本課題を達成するため、
ＦＭの構成を以下のようにする。

【００１４】１）ＴＶカメラ等から伝送されたＴＶ信号
を書き込み、１フレームの符号化が終了した時に例えば
上記の書込み速度と同一の速度でＴＶ信号を読出して下
記の符号化用ＦＭに最新のＴＶ信号を転送するためのＦ
Ｍ（以降中間バッファ用ＦＭと呼ぶ）を１面用い、 ２）参照用と符号化用のＦＭとを１フレーム符号化する
毎に交代することにより、符号化処理を行うＦＭを計２
面とする。

【００１５】以上により、計３面のフレームメモリによ
り従来と同等の処理能力を達成する。また、その変型と
して上記１）の中間バッファ用ＦＭを省略し、参照用と
符号化用の２面のＦＭのみで符号化装置を構成する事も
可能である。

【００１６】

【作用】本発明によれば、以下の作用によって、計３面
のフレームメモリにより従来の４面のフレームメモリと
同等の処理能力が可能となる。

【００１７】１）中間バッファ用ＦＭには常時最新の画
像が取り込まれ、かつ符号化の終了時にそれが符号化用
ＦＭに転送されるので、符号化ＦＭへの転送待ち時間が
生じない。かつ、常に最新の画像が転送されるので、画
像の遅延時間が少なく、受信者の心理的な負担を軽減で
きる。

【００１８】２）符号化の終了時に、符号化用ＦＭと参
照用ＦＭとを切り替えるので、従来のように参照ＦＭと
して２面持つ必要がなくなる。

【００１９】

【実施例】本発明の説明を容易とするために、図５を用
いて従来の動き補償フレーム間予測装置の動作を簡単に
述べる。

【００２０】１）ＴＶカメラ１で撮像されたＴＶ信号は
Ａ／Ｄ変換器２によりアナログ／ディジタル変換され、
符号化用ＦＭ３′に格納される。ＦＭ３′に格納された
ＴＶ信号は次のフレームの符号化時に符号化すべきＴＶ
信号として使われる。

【００２１】２）１）の動作と並行して、符号化用ＦＭ
３と参照用ＦＭ４に格納されているＴＶ信号は各々読出
され、動き量算出回路５により両ＴＶ信号間の相関が計
算され、それに従って被写体の動き量が求められる。

【００２２】３）上記の動き量が参照用ＦＭ４のアドレ
ス端子Ａに与えられ、所定量ズレた位置の参照用ＦＭの
信号が読出されて予測値となる。この予測値と符号化用
ＦＭ３から読出した真値とは、減算回路６により減算さ
れ予測誤差が計算される。 ４）その予測誤差は量子化回路８により量子化された後
に、可変長符号化回路９により符号化されたり、 ５）又は直交変換回路７により離散コサイン変換等の手
法で直交変換された後に、量子化回路８により量子化さ
れ、可変長符号化回路９により符号化される。符号化結
果は伝送路１０に送出され、受信側に伝送される。

【００２３】６）受信側にある復号化装置では、上記と
逆の手段により元のＴＶ信号を復号化する。即ち、解読
回路１１は可変長符号化回路９により符号化された信号
を解読し、量子化信号を求める。量子化信号は逆量子化
回路１２により逆量子化され、必要に応じて逆直交変換
回路１３により元の予測誤差値が計算される。

【００２４】７）さらに参照用ＦＭ１４に格納されてい
る参照フレームのＴＶ信号を予測値として読出す。但し
読出す位置は、送信側で検出された動き量補償した位置
である。これにより送信側と同一の予測値が求められ
る。

【００２５】８）上記６）で求めた予測誤差値と上記
７）で求めた予測値とを加算回路１５により加算し、表
示用ＦＭ１６と参照用ＦＭ１７とに格納する。参照用Ｆ
Ｍ１７に格納されたＴＶ信号は次のフレームにおいてス
イッチ２０が切り替えられる事により読出され、予測値
が生成される。

【００２６】９）表示用ＦＭ１６に格納されたＴＶ信号
は、モニタ１９のタイミングに合わせて読出され、ディ
ジタル／アナログ変換器１８を通してアナログ信号に復
元され、モニタ１９に表示される。

【００２７】10）さて受信側では、量子化により歪が加
わっている予測誤差値を用いて元の画像を復元する。従
って、この復元された信号から生成される予測値も上記
の量子化歪が加わっている。そこで送信側でも受信側と
同一の予測値を生成するために、直交変換や量子化した
信号を逆量子化回路１２や逆直交変換１３を用いて予測
誤差を求め、これと参照用ＦＭ４から読出された予測値
とを加算回路１５により加算し、受信側と同一の復号化
信号を生成する。該復号化信号を次のフレームで参照用
ＦＭとなるＦＭ４′に格納する。

【００２８】次に本発明の特徴であるＦＭの構成法を図
１を用いて説明する。図５と同一の番号を付与した回路
は同等の機能を有する。

【００２９】１）中間バッファ用ＦＭ２１には、Ａ／Ｄ
変換されたＴＶ信号を常時書込む。そして、符号化が終
了した時に、例えば中間バッファ用ＦＭ２１への書込み
と同等の速度で読出し、スイッチ２２を通して次のフレ
ームで符号化用ＦＭとなるＦＭ３に転送する。

【００３０】２）１）の転送と並行して、転送されたＴ
Ｖ信号をＦＭ３から読出し、符号化するＴＶ信号として
スイッチ２３を通して動き量算出回路５に与える。同様
に参照ＦＭ４から読出した信号を参照フレームのＴＶ信
号としてスイッチ２４経由で動き量算出回路５に入力す
る。

【００３１】３）動き量算出回路５は両ＴＶ信号の相関
を計算し、被写体の動き量を算出する。動き量算出回路
５により算出された動き量がスイッチ２５を通して参照
ＦＭ４のアドレス端子Ａに与えられ、動き量を補償した
位置にある参照用ＦＭの信号が読出され予測値となる。
符号化ＦＭのアドレス端子Ａにはスイッチ２６により位
置ズレ無しの信号が与えられるので、ズレ無しの位置に
あるＴＶ信号が読出される。各々の信号は再びスイッチ
２３，２４を通して減算回路６に入力され、従来と同様
に予測誤差が求められる。

【００３２】４）上記の予測誤差に対して直交変換回路
７や量子化回路８を用いて直交変換や量子化し、可変長
符号化回路９により高能率符号化して伝送路１０に送出
する。それと同時に逆量子化回路１２や逆直交変換回路
１３により逆量子化や逆直交変換を行い予測誤差値を求
める。この予測誤差値と上記の動き補償フレーム間予測
により生成した予測値とを加算回路１５により加算して
復号値を求める。求められた復号値はスイッチ２２を通
して現在符号化用ＦＭとしているＦＭ３に格納される。

【００３３】５）１画面の符号化が終了するとスイッチ
２２とスイッチ２７の機能が切り替わり、スイッチ２
３，２４，２５，２６の接続端子が反転する。即ちＦＭ
３が参照ＦＭとなり、ＦＭ４が符号化ＦＭとなり、次の
フレームの符号化が開始される。

【００３４】上記の実施例において送信側での復号化値
を符号化用ＦＭに格納できる理由は次の通りである。周
知のように動き補償フレーム間予測では、符号化される
信号に対して上下左右にズラした位置から参照用ＦＭの
信号が読出され動き補償フレーム間予測信号となる。こ
のため、ある位置の符号化が終了した後にもその位置の
参照用ＦＭの信号が再び読出される可能性が有る。この
ため、上記で求めた復号化値を現在の参照用ＦＭに書込
む事が出来ない。それに対して符号化用ＦＭは、一度符
号化のために読出された後に再び読出されることは無
い。よって、上記の様に符号化のために読出された後
に、復号化信号を格納する事が可能である。なお、本発
明を説明した上記の２）の項において、符号化の開始時
期や符号化の中止制御の有無に対して、次の変型が有
る。上記の実施例ではｂ)ないしはｃ)を想定して説明し
た。

【００３５】ａ）上記の転送が開始され、１フレームの
信号が符号化用ＦＭに格納された後に、次のフレームの
符号化を開始（図７）。

【００３６】ｂ）予め定められた量以上のＴＶ信号が符
号化用ＦＭに格納された後に符号化を開始。符号化用Ｆ
Ｍへの書き込みより読み出しの速度が早い場合には、上
記「２面バッファメモリ方式に対して開示された特許」
の場合と同様に、書込みと読出しのアドレスを比較し
て、これが一致する時には、符号化のための読出しを中
止する制御を適用する（図８）。

【００３７】ｃ）ｂ）において符号化用ＦＭへの書込み
速度が読出し速度と同等以下の場合には、アドレスの一
致の検出や符号化の中止等の制御が不要となる。

【００３８】上記のいずれの変型においても、最新のＴ
Ｖ信号を符号化できるので遅延時間を減少でき、受信者
の心理的な負担を軽減できる。またいずれの場合にも
「転送待ちの時間」が無い。さらにｂ）やｃ）の場合に
は「転送時間」も実効上無いので符号化装置の処理能力
を維持できる。

【００３９】以上により、わずか３面のＦＭで画像符号
化装置を構成できる。

【００４０】次に本発明の第２の実施例を説明する。第
２の実施例では、上記のバッファ用ＦＭ２１を省略し、
符号化用・参照用ＦＭの計２面のみを用いる。この場合
には図９に例示するように「転送待ちの時間」が生じる
ので、符号化装置の処理能力は低下する。しかし、例え
ば伝送速度が低く毎秒伝送するフレーム数が少ない場合
や処理装置の能力が十分に高い場合等では、処理能力の
低下は許容できるので、本実施例を実用に供することも
可能である。

【００４１】

【発明の効果】本発明により、従来の画像の遅延時間や
符号化装置の処理能力を維持したままフレームメモリの
面数を３面に減少したり、さらには多少の処理能力の低
減を許容して面数を２面にできる。

【００４２】但し本発明では符号化用と参照用ＦＭを切
り替えるために、スイッチ類が増加する問題も生じる。
しかし、近年のＬＳＩ化技術の進捗により上記のスイッ
チ類はＬＳＩの中に収容できる。それに対してフレーム
メモリは１面でも例えば２Ｍbits程度は必要なので、当
面これをＬＳＩの中に収容する事は困難である。本発明
はこれらのＬＳＩの発展動向に従い、装置の小型経済化
を達成するものである。

【図面の簡単な説明】

【図１】本発明の実施例による動き補償フレーム間予測
符号化装置のブロック構成図。

【図２】従来のフレームメモリ構成におけるタイミング
チャート。

【図３】従来のフレームメモリ構成におけるタイミング
チャート。

【図４】従来のフレームメモリ構成におけるタイミング
チャート。

【図５】従来の動き補償フレーム間予測符号化・復号化
装置のブロック構成図。

【図６】従来のフレームメモリ構成におけるタイミング
チャート。

【図７】本発明の実施例によるタイミングチャート。

【図８】本発明の実施例によるタイミングチャート。

【図９】本発明の実施例によるタイミングチャート。

【符号の説明】

１…ＴＶカメラ、２…アナログ／ディジタル変換器、
３，４，１４，１６，１７，２１…フレームメモリ、５
…動き量算出回路、６…減算回路、７…直交変換回路、
８…量子化回路、９…可変長符号化回路、１０…伝送
路、１１…解読回路、１２…逆量子化回路、１３…逆直
交変換回路、１５…加算回路、１８…ディジタル／アナ
ログ変換器、１９…モニタテレビ、２０，２２，２３，
２４，２５，２６，２７…スイッチ。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】動き補償フレーム間予測符号化装置におい
   て、参照フレームのＴＶ信号を格納し、予測値を出力す
   る第１のフレームメモリと、符号化するフレームのＴＶ
   信号を格納し符号化される真値を出力する第２のフレー
   ムメモリとを有し、１フレームの符号化を終了する毎に
   上記の２個のフレームメモリの参照と符号化の機能を交
   代させる制御回路を有する事を特徴とする動き補償フレ
   ーム間予測符号化装置。