JP2602550B2 - フレーム間符号化装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明はフレーム間符号化装置、特にテレビ会議・テ
レビ電話システムなどにおいて信号系列間に存在する画
像データ特有の相関を利用して圧縮し、パケット伝送路
に適用するフレーム間符号化装置、または、高能率符号
化記録装置に適用するフレーム間符号化方式に関する。

［従来の技術］ 情報化社会の進展に伴い、通信メディアにおける音声
と画像の統合、すなわちオーディオビジュアル化の要請
が非常に強くなる傾向にあり、その一例としてテレビ会
議・テレビ電話システムなどが実用化されている。

このようなシステムにおいて、経済的な画像通信を早
期実現するには画像符号化が必須の技術として重要な条
件であり、これに関する精力的な研究活動が続けられて
いる。

第５図は村上篤道「高能率符号化技術テレビジョン学
界誌vol.42,No,11（1988）」の1198〜1204頁に開示され
た従来のフレーム間符号化装置を示す。

図において、不図示のテレビカメラから出力された入
力映像信号（１）はA/D変換器（２）へ供給される。A/D
変換器（２）には該A/D変換器（２）でデジタル化され
た入力映像信号（１）をフレーム単位に一時的に蓄積保
持する入力フレームメモリ（FM）が一体的に接続されて
いる。入力フレームメモリ（３）から読み出された入力
映像データ（４）はフレーム内符号化のために符号化器
（５）へ送られると共に、同時に動き補償部（14）にも
供給される。符号化器（５）は入力映像データ（４）を
そのままフレーム内に符号化するかあるいは動き補償部
（14）からの最適予測ベクトルとのフレーム間差分を高
能率符号化する。

符号化器（５）の出力である符号化データ（６）はビ
デオ多重部（９）に向けて出力される。該ビデオ多重部
（９）には同時に動き補償部（14）からの動きベクトル
（７）入力されている。

前記符号化器（５）からの符号化データ（６）は又局
部復号器（８）にも供給され、ここで、次フレームの符
号化参照データが求められる。

ビデオ多重部（９）は符号化データ（６）と動きベク
トルを動きベクトル（７）とを可変長符号化して所定の
シリアルデータ系列に多重化し、該ビデオ多重部（９）
の出力がフレーム構成部（10）において所定の伝送路は
記憶フォーマットに従ったフレームに構成される。そし
て、フレーム構成部（10）の出力は符号化出力（11）か
ら伝送路あるいは記憶媒体に送出されていく。

また、フィルタ（12）では局部復号器（８）からの出
力と動き補償部（14）からの最適予測ベクトルとを加算
した結果の符号化雑音を低減する作用を果し、該フィル
タ（12）の出力はループ内フレームメモリ（13）へ供給
されてここで該フィルタ（12）からの次フレーム符号化
参照データが記憶される。

そして、動き補償部（14）では入力映像データ（４）
のフレーム内位置に対応したループ内フレームメモリ
（13）内の過去の符号化済みフレームにおける１シフト
ブロックから最適予測ベクトル及び動きベクトル（７）
が求められる。

次に動作について説明する。

入力映像信号（１）はA/D変換器（２）においてデジ
タル信号に変換された後、前処理を施されてから所定の
形式でフレーム単位に一旦入力FM（３）に記憶される。

そして、動き補償部（14）は入力FM（３）からフレー
ム単位に読み出された入力映像データ（４）に基づき、
ループ内FM（13）から読み出された既に符号化されてい
る過去のフレーム中の位置シフトブロック群から最も近
似度の大きなブロックを抽出し、これによって動きベク
トル（７）が求められることになる。

この動きベクトル（７）に対応した最適予測ベクトル
との差分（予測誤差）が符号器（５）において高能率符
号化を受け、符号化データ（６）が得られることにな
る。

この符号化データ（６）及び動きベクトル（７）は通
常発生頻度に偏りがあるため、その頻度に応じて、これ
をハフマン符号等の可変長符号に変換した後、ビデオ多
重部（９）において映像フレーム毎に所定の伝送フォー
マットに従ったシリアルデータに多重される。該シリア
ルデータはフレーム構成部（10）において伝送フレーム
を構成することになり、伝送路あるいは記憶媒体へ送出
される符号化出力（11）が得られる。

他方、符号化出力（６）は局部復号器（８）において
復号され、動き補償部（14）からの最適予測ベクトルと
加算した後、局部復号データが得られる。この局部復号
データはフィルタ（12）で符号化雑音の低減処理が施さ
れ、次フレーム符号化参照データとしてフレーム単位に
ループ内FM（13）に記憶された状態で次フレームの符号
化に備えるという形になる。

以上の処理がフレーム単位で繰り返されて連続したフ
レーム処理が行われ、動画像の高能率符号化がなされる
わけである。受信側ではこの逆の操作により映像信号再
生、すなわち復号する。

ここで、送信側での符号化と受信側での復号化の際、
送信側のループ内FM（13）と受信側のループ内FMとの内
容が完全に一致することが正常な画像を得るための条件
となる。このため、符号化処理を開始後、送受両側のル
ープ内FM（13）内容が不一致であることが検出された時
点あるいは任意の時点において動き補償部（14）からの
最適予測ベクトルと内容を強制的にゼロとし、フレーム
間符号化を中断して符号器（５）によるフレーム内符号
化を行った後、再び前述のフレーム間符号化処理に戻る
という手法が採用されていた。

第６図はこの開始シーケンスを表したものである。

第０フレームにてフレーム内符号化を行った後、第１
フレームから第ｎフレーム（ｎは１以上の整数）まで連
続的な符号化動作が行われている。この時のフレーム間
符号化処理は連続する２フレーム間で行われるので、例
えば第ｎフレームの符号化データに伝送誤りや欠落が発
生したとすると、送受両側のループ内FM（13）の内容は
永久に一致しないことになり、正常な復号が不能となっ
て前述の最大０フレームのフレーム内符号化から再び符
号化動作を開始しなければならなくなる。

また、符号化データ（11）は処理された順序、すなわ
ち時系列的に復号される必要があるので、例えば記憶媒
体からこの符号化データ（11）を時間的に逆の順序で読
み出し、あるいは任意の位置から読み出しを開始して復
号動作を行うなど、乃至は特定のフレームを読み出さず
に復号を行うなどのいわゆるランダムアクセス動作など
到底望み得ない。

［発明が解決しようとする課題］ この結果、上記従来のフレーム符号化装置では低品質
の伝送路や伝送データの欠落が発生する可能性のあるパ
ケット伝送に適用しようとするならば、フレーム構成部
（10）において伝送データの誤りや欠落によるフレーム
内符号化処理の必要性を検知したり、あるいはその頻度
を減少させるための措置を取らなければならず、必然的
に装置構成が複雑化してしまうという問題があった。

また、前述したようにランダム再生が不可能であるか
ら、映像信号を高能率符号化して記憶する記憶装置など
には適用できないという不都合があった。

本発明は上記従来の課題に鑑みなされたものであり、
その目的は符号化データの復号作用を任意の時点から開
始できると共に伝送データの誤りや欠落があったとして
もこれを有効に補償して正常に復号可能であり、また記
憶装置にも適用できるフレーム間符号化装置を提供する
ことにある。

［課題を解決するための手段］ 上記目的を達成するため本発明は、フレーム内符号化
手段が一定の映像フレーム間隔毎に入力映像信号の映像
フレームをフレーム内符号化し、復号手段がフレーム内
符号化手段で生成されたフレーム内符号化データを復号
する。さらに、記憶手段が復号手段にて復号された基準
映像フレームを記憶し、フレーム間符号化手段が、この
記憶手段に記憶された基準映像フレームと、前記フレー
ム内符号化される映像フレームの後に入力される映像フ
レームとの間でフレーム間符号化を行う。そして、この
ような構成において、フレーム内符号化データに対応す
る基準映像フレームに基づいてフレーム間符号化された
フレーム間符号化データ列の前後に、同一のフレーム内
符号化データを多重化することを特徴とする。

［作用］ 以上のごとく構成される本発明装置によれば、フレー
ム内符号化データが一定の映像フレーム間隔毎に生成さ
れ、このフレーム内符号化データに係る基準映像フレー
ムと、このフレーム内符号化データの後に入力される映
像フレームとの間で、フレーム間符号化が行われる。こ
のため記憶手段には、上記基準映像フレームのみが記憶
され、一定の映像フレーム間隔に対応した期間毎にこの
基準映像フレームが更新されていく。

この結果、例えばフレーム内符号化データに伝送誤り
等による符号誤りが発生しても、一定周期毎にフレーム
内符号化データが形成されるので、一つの単位期間内で
あっても符号誤りを処理できると共に、最長でも、次の
単位期間には次のフレーム内符号化データに基づいて正
常にデータを復号することができる。従って、特別な伝
送誤り対策を取ることなく送受信データを自立的に一致
させ得る。

［実施例］ 以下、図面に基づき本発明の好適な実施例を説明す
る。なお、図中、前記従来装置と同等の構成要素には同
一符号を付し、その説明を省略する。

第１図は本発明装置の構成をブロック図で示す。

本発明において特徴的なことは、フレーム単位に一旦
入力フレームメモリ（３）に記憶された入力映像データ
をそのままフレーム単位毎にシーケンシャルに符号化し
ていくのではなく、１フレーム内の映像データを複数の
ブロックに分け、各ブロック毎にフレーム内符号化とフ
レーム間符号化とを交互に行うことで伝送路誤りの影響
を最小限に止る。更に、同一のフレーム内符号化データ
をこのフレーム内符号化に対応する基準映像フレームに
基づいてフレーム間符号化して得られたデータ列の前後
に多重することにより事実的なエラー復帰とランダムア
クセス制御を実現し、また符号誤りに対する耐性の向上
を図る。

すなわち、図において符号化器（５）と動き補償部
（14）との間にはスイッチ（20）が接続されており、該
スイッチ（20）は一定のフレーム数ごとあるいは１フレ
ーム中の任意の間隔で“0"側に選択され、フレーム内符
号化データを符号化器（５）へ送出する。

そして、符号化器（５）内でフレーム内符号化により
得られるフレーム内符号化データ（６）は動きベクトル
（７）と共にその発生頻度の偏りに基づいて上記従来装
置同様ハフマン符号化などの可変長符号化が施された後
にビデオ多重部（９）にてシリアルデータ列に多重化さ
れクラスタ構成部（22）へ送出されると共に、局部復号
器（８）においてフレーム内復号処理を施され、フィル
タ（12）によって符号化雑音を低減した後スイッチ（2
1）へ送出されていく。ここで、フレーム内符号化時は
動き補償を行わないため、動ベクトルデータは必ずしも
伝送する必要はない。

スイッチ（21）はフレーム内復号データを局部復号器
（８）が出力した場合にのみオンすなわち閉止され、ル
ープ内FM（13）に記憶されたフレーム内符号化済みデー
タの更新を行う。

クラスタ構成部（22）は符号化器（５）から出力され
るフレーム内符号化データ（６）を始めとする一連のフ
レーム間符号化データ群を単位としてクラスタ（群また
は房）を構成し、所定の伝送フレームフォーマットに従
って符号化出力（11）を出力する。

ここで、フレーム間符号化を行う参照符号化済みフレ
ームは同一のフレーム内符号化データのみに対応してい
る。

通常、フレーム間符号化を行う時間間隔が大となるほ
ど動き補償部（14）での予測精度が低下するので、全体
の符号化効率が低下する。このため、前述の如く一定の
間隔でフレーム内符号化を行ってループ内FM（13）のフ
レーム内符号化済みデータを更新して符号化効率の低下
防止を図っている。

第２図に本発明に係る一連のフレーム内／フレーム間
符号化シーケンスを示す。図より明らかなように、単一
のフレームｎを構成する映像データが複数の群ａ、ｂ、
ｃ、…毎にフレーム内符号化とフレーム間符号化とを定
期的に交互に行うことが理解される。

この結果、クラスタ構成部（22）より出力される符号
化出力（11）は例えば第３図のように表される。

ここで、１クラスタ中のフレーム内符号化データが復
号済みであればフレーム間復号化データは全てこれとの
間のフレーム間符号化を行っているので、任意のフレー
ムのみを復号可能であり、伝送誤りやデータ欠落による
影響は他のフレーム間符号化に伝播することはない。

また、フレーム内符号化データはクラスタ毎に更新さ
れているので、フレーム内符号化データ中の伝送誤りの
影響はクラスタ内に止まる。

この結果、特別な伝送路誤り対策を取る必要なく送受
両側におけるループ内FM（13）の内容は正常にクラスタ
内のフレーム内符号化データ受信が行われることで自律
的に一致させ得る。

更に、ループ内FM（13）の更新データを作るための局
部復号器（８）内で動き補償部（14）の最適予測ベクト
ルとの加算を行う必要がなく、符号器（５）の構成を簡
易化できるという効果もある。

また、これを記憶装置に適用する場合には、第４図に
示すように１クラスタの先頭と終りに各々同一のフレー
ム内符号化データを配置する。これによりクラスタ単位
にランダム再生を実行でき、フレームを飛ばした再生や
逆再生などもフレーム単位で自由に行うことを可能とす
る。

なお、上記実施例ではフレーム内符号化を同一フレー
ム内で全て同時に行い参照フレーム内符号化済みデータ
を得る場合を示したが、同一クラスタ内で順次時間的に
異なるフレーム毎に１フレーム分のフレーム内符号化を
行うことも可能である。

［発明の効果］ 以上説明したように、本発明によれば、フレーム内符
号化データを一定の映像フレーム間隔毎に生成し、この
フレーム内符号化データに係る基準映像フレームと、フ
レーム内符号化データに後続する各映像フレームとの間
でフレーム間符号化を行うように構成した。このため、
符号化データの伝送誤りやデータ欠落等によるデータ誤
りを一定期間以内に止め、これらの誤りを最小限とする
ことができ、記憶装置に適用した場合には、高速再生や
ランダム再生が可能となり高性能のフレーム間符号化装
置を容易に実現できる。

その上、本発明においては、一単位フレーム間隔に対
応するフレーム間符号化データ列の前後に同一フレーム
内符号化データを多重する。従って、符号誤りに対する
耐性が格段に向上する。また、例えば得られた符号化デ
ータ列を逆転再生する場合には、このデータ列の後に多
重されたフレーム内符号化データに基づいて復号すれば
良く、符号化データに対するアクセス性が格段に向上す
る。

【図面の簡単な説明】

第１図は本発明の一実施例によるフレーム間符号化装置
の構成を示すブロック図、第２図は第１図に示すフレー
ム間符号化装置の動作説明図、第３図は第１図中の符号
化出力（11）の構成例を示す図、第４図は第図中の符号
化出力（11）を記憶装置に適応させた場合の説明図、第
５図は従来のフレーム間符号化装置の構成を示すブロッ
ク図、第６図は第５図に示すフレーム間符号化装置の動
作説明図である。 図において、（１）は入力映像信号、（２）はA/D変換
器、（３）は入力フレームメモリ、（４）は入力映像デ
ータ、（５）は符号化器、（６）は符号化データ、
（７）は動きベクトル、（８）は局部復号器、（９）は
ビデオ多重部、（11）は符号化出力、（12）はフィル
タ、（13）はループ内フレームメモリ、（14）は動き補
償部、（20）はフレーム内符号化スイッチ、（21）はル
ープ内フレームメモリ更新スイッチ、（22）はクラスタ
構成部である。 なお、図中、同一符号は同一、又は相当部分を示す。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】一定の映像フレーム間隔毎に入力映像信号
   の映像フレームをフレーム内符号化するフレーム内符号
   化手段と、 前記フレーム内符号化手段で生成されたフレーム内符号
   化データを復号する復号手段と、 前記復号手段にて復号された基準映像フレームを記憶す
   る記憶手段と、 前記記憶手段に記憶された基準映像フレームと、前記フ
   レーム内符号化される映像フレームの後に入力される映
   像フレームとの間でフレーム間符号化を行うフレーム間
   符号化手段と、 を備え、 同一の前記フレーム内符号化データを、このフレーム内
   符号化データに対応する前記基準映像フレームに基づい
   てフレーム間符号化して得られたフレーム間符号化デー
   タ列の前後に多重化することを特徴とするフレーム間符
   号化装置。