JPH036187A - フレーム間符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はフレーム間符号化装置、特にテレビ会議・テレ
ビ電話システムなどにおいて信号系列間に存在する画像
データ特有の相関を利用して圧縮の効率化を図る高能率
符号化伝送記録方式を採用したフレーム間符号化装置に
関する。

［従来の技術］ 情報化社会の進展に伴い、通信メディアにおける音声と
画像の統合、すなわちオーディオビジュアル化の要請が
非常に強くなる傾向にあり、その−例としてテレビ会議
・テレビ電話システムなどが実用化されている。

このようなシステムにおいて、経済的な画像通信を早期
実現するには画像符号化が必須の技術として重要な条件
であり、これに関する精力的な研究活動が続けられてい
る。

第３図は村上篤道「高能率符号化技術テレビジョン学会
誌ｖｏ１．４２．Ｎｏ、１１　（１９８８）」の１１９
８〜１２０４頁に開示された従来のフレーム間符号化装
置を示す。

図において、不図示のテレビカメラから出力された入力
映像信号（１）はＡ／Ｄ変換器（２）へ供給される。Ａ
／Ｄ変換器（２）には該Ａ／Ｄ変換器（２）でデジタル
化された入力映像信号（１）をフレーム単位に一時的に
蓄積保持する入力フレームメモリ（ＦＭ）が一体内に接
続されている。

入力フレームメモリ（３）から読み出された入力映像デ
ータ（４）はフレーム内符号化のために符号化器（５）
へ送られると共に、同時に動き補償部（１４）にも供給
される。符号化器（５）は入力映像データ（４）をその
ままフレーム内に符号化するかあるいは動き補償部（１
４）からの最適予測ベクトルとのフレーム間差分を高能
率符号化する。

符号化器（５）の出力である符号化データ（６）はビデ
オ多重部（９）に向けて出力される。該ビデオ多重部（
９）には同時に動き補償部（１４）からの動きベクトル
（７）人力されている。

前記符号化器（５）からの符号化データ（６）は又局部
復号器（８）にも供給され、ここで、次フレームの符号
化参照データが求められる。

ビデオ多重部（９）は符号化データ（６）と動きベクト
ルを動きベクトル（７）とを可変長符号化して所定のシ
リアルデータ系列に多重化し、該ビデオ多重部、（９）
の出力がフレーム構成部（１０）において所定の伝送路
は記憶フォーマットに従ったフレームに構成される。そ
して、フレーム構成部（１０）の出力は符号化出力（１
１）から伝送路あるいは記憶媒体に送出されていく。

また、フィルタ（１２）では局部復号器（８）からの出
力と動き補償部（１４）からの最適予測ベクトルとを加
算した結果の符号化雑音を低減する作用を果し、該フィ
ルタ（１２）の出力はループ内フレームメモリ（１３）
へ供給されてここで該フィルタ（１２）からの次フレー
ム符号化参照データが記憶される。

そして、動き補償部（１４）では入力映像データ（４）
のフレーム内位置に対応したループ内フレームメモリ（
１３）内の過去の符号化済みフレームにおける１シフト
ブロツクから最適予測ベクトル及び動きベクトル（７）
が求められる。

次に動作について説明する。

入力映像信号（１）はＡ／Ｄ変換器（２）においてデジ
タル信号に変換された後、前処理を施されてから所定の
形式でフレーム単位に一旦入力ＦＭ（３）に記憶される
。

そして、動き補償部（１４）は入力ＦＭ　（３）からフ
レーム単位に読み出された入力映像データ（４）に基づ
き、ループ内ＦＭ　（１３）から読み出された既に符号
化されている過去のフレーム中の位置シフトブロック群
から最も近似度の大きなブロックを抽出し、これによっ
て動きベクトル（７）が求められることになる。

この動きベクトル（７）に対応した最適予１１１Ｊベク
トルとの差分（予測誤差）が符号器（５）において高能
率符号化を受け、符号化データ（６）が得られることに
なる。

この符号化データ（６）及び動きベクトル（７）は通常
発生頻度にある程度偏りが生じ易いので、これをハフマ
ン符号等の可変長符号に変換した後、ビデオ多重部（９
）において映像フレーム毎に所定の伝送フォーマットに
従ったＣＲデータに多重される。該シリアルデータはフ
レーム構成部（１０）において伝送フレームを構成する
ことになり、伝送路あるいは記憶媒体へ送出される符号
化出力（１１）が得られる。

他方、符号化出力（６）は局部復号器（８）において復
号され、動き補償部（１４）からの最適予測ベクトルと
加算した後、局部復号データが得られる。この局部復号
データはフィルタ（１２）で符号化雑音の低減処理が施
され、次フレーム符号化参照データとしてフレーム単位
にループ内ＦＭ　（１３）に記憶された状態で次フレー
ムの符号化に備えるという形になる。

以上の処理がフレーム単位で繰り返されて連続したフレ
ーム処理が行われ、動画像の高能率符号化がなされるわ
けである。受信側ではこの逆の走査により映像信号再生
、すなわち復号する。

ここで、送信側での符号化と受信側での復号化の際、送
信側のループ内ＦＭ　（１３）と受信側のループ内ＦＭ
との内容が完全に一致することが正常な画像を得るため
の条件となる。このため、符号化処理を開始後、送受両
側のループ内ＦＭ（１３）内容が不一致であることが検
出された時点あるいは任意の時点において動き補償部（
１４）からの最適予測ベクトルと内容を強制的にゼロと
し、フレーム間符号化を中断して符号器（５）によるフ
レー内符号化を行った後、再び前述のフレーム間符号化
処理に戻るという手法が採用されていた。

第６図はこの開始シーケンスを表したものである。

第１フレームにてフレーム内符号化を行りた後、第１フ
レームからｍｎフレーム（ｎは１以上の整数）まで連続
的な符号化動作が行われている。この時のフレーム間符
号化処理は連続する２フレーム間で行われるので、例え
ば第ｎフレームの符号化データに伝送誤りや欠落が発生
したとすると、送受両側のループ内ＦＭ　（１３）の内
容は永久に一致しないことになり、正常な復号が不能と
なって前述の最大θフレームのフレーム内符号化から再
び符号化動作を開始しなければならなくなる。

また、符号化データ（１１）は処理された順序、すなわ
ち時系列的に復号される必要があるので、例えば記憶媒
体からこの符号化データ（１１）を時間的に逆の順序で
読み出し、あるいは任意の位置から読み出しを開始して
復号動作を行うなど、乃至は特定のフレームを読み出さ
ずに復号を行うなどのいわゆるランダムアクセス動作な
ど到底望み得ない。

［発明が解決しようとする課題］ この結果、上記従来のフレーム符号化装置では低品質の
伝送路や伝送データの欠落が発生する可能性のあるパケ
ット伝送に適用しようとするならば、フレーム構成部（
１０）において伝送データの誤りや欠落によるフレーム
内符号化処理の必要性を検知したり、あるいはその開度
を減少させるための措置を取らなければならず、必然的
に装置構成が複雑化してしまうという問題があった。

また、前述したようにランダム再生が不可能であるから
、映像信号を高能率符号化して記憶する記憶装置などに
は適用できないという不都合があった。

本発明は上記従来の課題に鑑みなされたものであり、そ
の目的は符号化データの復号作用を任意の時点から開始
できると共に伝送データの誤りや欠落があったとしても
これを有効に補償して正常に復号可能であり、また記憶
装置にも適用できるフレーム間符号化装置を提供するこ
とにある。

［課題を解決するための手段］ 上記目的を達成するために本発明は、フレーム間符号化
を行う場合にはフレーム間減算結果をそしてフレーム内
符号化を行う場合は入力映像信号をそれぞれそのまま高
能率符号化する符号化器と、該符号化器の出力を可変長
符号に変換して映像フレーム単位にシリアルデータ列に
多重する多重部と、同時に前記符号化器の出力が前記入
力映像信号をそのまま符号化した結果である場合にのみ
フレーム内復号化する局部復号部と、このフレーム内復
号結果のみを記憶するループ内フレームメモリと、前記
多重部から出力されるシリアルデータ列を前記フレーム
内符号化出力とそれに続く複数のフレーム間符号化出力
を単位とするクラスタ毎に伝送フレームを構成するクラ
スタ構成部と、を備え、前記符号化器において一定の映
像フレーム間隔毎に前記フレーム内符号化を行い、この
フレ−ム内符号化済みの映像フレームと後続する映像フ
レームとの間で前記フレーム間符号化を行うことを特徴
とする。

［作用］ 以上のごとく構成される本発明装置によれば、フレーム
内符号化データが定期的に更新され、これと後続するフ
レームとの間でフレーム間符号化が行われるので、ルー
プ内フレームメモリにはフレーム内符号化されたデータ
のみが記憶され、−定の間隔でそのデータが更新されて
いく。

この結果、フレーム内符号化データ中の伝送誤りはこの
一定期間単位で処理でき、特別な伝送誤り対策を取るこ
となく送受データを自立的に一致させ得る。

［実施例］ 以下、図面に基づき本発明の好適な実施例を説明する。

なお、図中、前記従来装置と同等の構成要素には同一符
号を付し、その説明を省略する。

第１図に本発明装置の構成をブロック図で示す。

本発明において特徴的なことは、フレーム単位に−Ｈ入
力フレームメモリ（３）に記憶された入力映像データを
そのままフレーム単位毎にシーケンシャルに符号化して
いくのではなく、１フレーム内の映像データを複数のブ
ロックに分け、各ブロック毎にフレーム内符号化とフレ
ーム間符号化とを交互に行うことで伝送路誤りの影響を
最小限に止め、事実的なエラー復帰とランダムアクセス
制御を実現したことにある。

すなわち、図において符号化器（５）と動き補償部（１
４）との間にはスイッチ（２０）が接続されており、該
スイッチ（２０）は一定のフレーム数ごとあるいは１フ
レーム中の任意の間隔で“Ｏ”側に選択され、フレーム
内符号化データを符号化器（５）へ送出する。

そして、符号化器（５）内でフレーム内符号化により得
られるフレーム内符号化データ（６）は動きベクトル（
７）と共にその発生頻度の偏りに基づいて上記従来装置
同様ハフマン符号化などの可変長符号化が施された後に
ビデオ多重部（９）にてシリアルデータ列に多重化され
クラスタ構成部（２２）へ送出されると共に、局部復号
器（８）においてフレーム内復号処理を施され、フィル
タ（１２）によって符号化雑音を低減した後スイッチ（
２１）へ送出されていく。

スイッチ（２１）はフレーム内復号データを局部復号器
（８）が出力した場合にのみオンすなわち閉止され、ル
ープ内ＦＭ　（１３）に記憶されたフレーム内符号化済
みデータの更新を行う。

クラスタ構成部（２２）は符号化器（５）から出力され
るフレーム内符号化データ（６）を始めとする一連のフ
レーム間符号化データ群を単位としてクラスタ（群また
は房）を構成し、所定の伝送フレームフォーマットに従
って符号化出力（１１）を出力する。

ここで、フレーム間符号化を行う参照符号化済みフレー
ムは同一のフレーム内符号化データのみに対応している
。

通常、フレーム間符号化を行う時間間隔が第となるほど
動き補償部（１４）での予測精度が低下するので、全体
の符号化効率が低下する。このため、前述の如く一定の
間隔でフレーム内符号化を行ってループ内ＦＭ　（１３
）のフレーム内符号化済みデータを更新して符号化効率
の低下防止を図っている。

第２図に本発明に係る一連のフレーム内／フレーム間符
号化シーケンスを示す。図より明らかなように、単一の
フレームｎを構成する映像データが複数の群ａＳｂＳｃ
、・・・毎にフレーム内符号化とフレーム間符号化とを
定期的に交互に行うことが理解される。

この結果、クラスタ構成部（２２）より出力される符号
化出力（１１）は例えば第３図のように表される。

ここで、１クラスタ中のフレーム内符号化データが復号
済みであればフレーム間復号化データは全てこれとの間
のフレーム間符号化を行っているので、任意のフレーム
のみを復号可能であり、伝送誤りやデータ欠落による影
響は他のフレーム間符号化に伝播することはない。

また、フレーム内符号化データはクラスタ毎に更新され
ているので、フレーム内符号化データ中の伝送誤りの影
響はクラスタ内に止まる。

この結果、特別な伝送路誤り対策を取る必要なく送受両
側におけるループ内ＦＭ　＜１３）の内容は正常にクラ
スタ内のフレーム内符号化データ受信が行われることで
自律的に一致させ得る。

更に、ループ内ＦＭ　（１３）の更新データを作るため
の局部復号器（８）内で動き補償部（１４）の最適予測
ベクトルとの加算を行う必要がなく、符号器（５）の構
成を部品化できるという効果もある。

また、これを記憶装置に適用する場合には、第４図に示
すうに１クラスタの先頭と終りに各々同一のフレーム内
符号化データを配置すればクラスタ単位にランダム再生
を実行でき、フレームを飛した再生や逆再生などもフレ
ーム単位で自由に行い得る。

なお、上記実施例ではフレーム内符号化を同一フレーム
内で全て同時に行い参照フレーム内符号化済みデータを
得る場合を示したが、同一クラスタ内で順次時間的に異
なるフレーム毎に１フレーム分のフレーム内符号化を行
うことも可能である。

［発明の効果］ 以上説明したように本発明によれば、フレーム内符号化
データを定期的に更新し、これと後続するフレームとの
間でフレーム間符号化を行うように構成したので、伝送
路誤りや欠落の影響を最小限に止め、また記憶装置に適
用した場合にはランダム再生が可能となり、高性能のフ
レーム間符号化装置を容易に実現できる。

【図面の簡単な説明】

第１図は本発明の一実施例によるフレーム間符号化装置
の構成を示すブロック図、第２図は第１図に示すフレー
ム間符号化装置の動作説明図、第３図は第１図中の符号
化出力（１１）の構成例を示す図、第４図は第図中の符
号化出力（１１）を記憶装置に適応させた場合の説明図
、第５図は従来のフレーム間符号化装置の構成を示すブ
ロック図、第６図は第５図に示すフレーム間符号化装置
の動作説明図である。 図において、（１）は入力映像信号、（２）はＡ／Ｄ変
換器、（３）は入力フレームメモリ、（４）は入力映像
データ、（５）は符号化器、（６）は符号化データ、（
７）は動きベクトル、（８）は局部復号器、（９）はビ
デオ多重部、（１１）は符号化出力、（１２）はフィル
タ、（１３）はループ内フレームメモリ、（１４）は動
き補償部、（２０）はフレーム内り帰化スイッチ、（２
１）はループ内フレームメモリ更新スイッチ、（２２）
はクラスタ構成部である。 なお、図中、同一符号は同一、又は相当部分を示す。

Claims (1)

1. 【特許請求の範囲】 入力映像信号をデジタル化するＡ／Ｄ変換器と、デジタ
   ル化された入力映像信号を少なくとも１映像フレーム分
   記憶する入力フレームメモリと、符号化済みの過去の映
   像フレームから入力映像信号に最も近似したフレーム間
   予測信号を探索する動き補償部と、 前記入力フレームから読み出された入力映像信号から前
   記動き補償部によって求められたフレーム間予測信号を
   減算するフレーム間減算器と、フレーム間符号化を行う
   場合にはこのフレーム間減算結果を、フレーム内符号化
   を行う場合は前記入力映像信号を、それぞれそのまま高
   能率符号化する符号化器と、 該符号化器の出力を可変長符号に変換して映像フレーム
   単位にシリアルデータ列に多重する多重部と、 同時に前記符号化器の出力が前記入力映像信号をそのま
   ま符号化した結果である場合にのみフレーム内復号化す
   る局部復号部と、 このフレーム内復号結果のみを記憶するループ内フレー
   ムメモリと、 前記多重部から出力されるシリアルデータ列を前記フレ
   ーム内符号化出力とそれに続く複数のフレーム間符号化
   出力を単位とするクラスタ毎に伝送フレームを構成する
   クラスタ構成部と、を備え、前記符号化器において一定
   の映像フレーム間隔毎に前記フレーム内符号化を行い、
   このフレーム内符号化済みの映像フレームと後続する映
   像フレームとの間で前記フレーム間符号化を行うことを
   特徴とするフレーム間符号化装置。