JPH01300781A - 動画像信号の符号化・復号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像信号の符号化・復号化方式に関する。

（従来の技術） 動画像信号を低いビットレートで符号化する方式として
フレーム間予測符号化方式がある。これは動画像を構成
する各隣接フレーム間の差分信号を符号化する方式であ
る。例えば１９８７年度画像符号化シンポジウム予稿集
掲載の６−１、大久保栄、「テレビ会議・テレビ電話用
符号化の国際標準化動向］に示されている通り、この方
式を基本とした動画像の低ビツトレート伝送が一般的で
ある。フレーム間予測符号化方式を基本として、テレビ
ジョン学会誌、　ｖｏｌ、３９．１９８５年１０月号掲
載の古閑敏夫他「動き補償フレーム間・フレーム内適応
予測とエントロピー符号化］記載の動きベクトルを用い
た動き補償フレーム間予測符号化方式、またフレーム間
予測符号化方式とフレーム内予測符号化方式とを適応的
に切１灸えるフレーム間ｌフレーム内適応予測符号化方
式、また前出の「テレビ会議・テレビ電話用符号化の国
際標準化動向ｊに記載のフレーム間予測誤差信号に直交
変換符号化方式を用いるハイブリッド符号化方式等が用
いられている。

以上の技術は主に伝送を目的とした符号化方式に用いら
れている。しかしこのフレーム間予測符号化方式は記録
、再生を目的とした用途にも応用できる。すなわちある
記録媒体に符号化した画像信号を記憶させ必要に応じて
信号を読取り復号化して画像を再生するというものであ
る。

フレーム間予測符号化方式を記録システムに適用する際
に問題となるのは現在ヴイデオ・テープ・レコーダーな
どで実現されている逆転再生の実現方法である。逆転再
生とは本来記録されている時間列とは逆方向に画像フレ
ームを再生して行くもので、早送り機能、低速再生機能
などと共に動画像再生機の利用に幅広い応用を与えるも
のである。

フレーム間予測符号化方式で符号化した信号を逆転再生
する方式については特貯頁昭６２−１０８３５０号明細
書［画像の圧縮記録システム］と特願昭６２−１０８３
５２号明細書［画像の圧縮記録システム」でその構成方
法が明らかにされている。しかしながらこの方式ではフ
レーム間予測符号化方式を基礎とした他の符号化方式、
例えば動き補償フレーム間予測符号化方式、フレーム間
ｌフレーム内適応予測符号化方式、また直交変換符号化
方式やベクトル量子化符号化方式と組合せたハイブリッ
ド符号化方式における逆転再生は行なえない。本発明の
目的はこれらのフレーム間予測符号化方式を基礎とした
符号化方式についても逆転再生を可能にすることにある
。

まずフレーム間予測符号化方式について簡単に述べる。

Ｘ（ｉ、ｊ、ｋ）で第ｉフレームの第（ｊ、ｋ）画素を
表すとする。フレーム間予測符号化方式とはＥ（ｉ、ｊ
、ｋ）＝Ｘ（ｉ、ｊ、ｋ）−Ｘ（ｉ−１，ｊ、ｋ）　　
　　　　　（１）で定義されるフレーム間予測誤差信号
（フレーム間差分信号ともいう）Ｅ（ｉ、ｊ、ｋ）を順
次符号化して行く方式である。このフレーム間予測誤差
信号から復号を行なうのには（１）式を変形させた以下
に示す式（２）を用いればＸ（ｉ、ｊ、ｋ）を順次求め
て行く事が出来る。

Ｘ（ｉ、ｊ、ｋ）＝Ｅ（ｉ、ｊ、ｋ）＋Ｘ（ｉ−１，ｊ
、ｋ）　　　　　　　（２）ただしこの式で復号化でき
る条件としてＸ（０，ｊ、ｋ）が復号器側で初期値とし
て与えられていなければならない。−船釣にはフレーム
内予測符号化方式などフレーム間予測符号化方式ではな
い符号化方式を用いて符号化・復号化するか、もしくは
ある初期画像を決めておくかする。

次にこのフレーム間予測誤差符号化方式における逆転再
生の方式について説明を行なう。特願昭６２−１０８３
５２号明細書［画ｆ象の圧縮記録システム」記載の方式
では式（１）を変形させた式（３）の式によってｉの大
きな画像信号Ｘ（ｉ、ｊ、　ｋ）から順々に復号化する
ものである。

Ｘ（ｉ−１，ｊ、ｋ）　＝−Ｅ（ｉ、ｊ、ｋ）＋Ｘ（ｉ
、ｊ、ｋ）　　　　　（３）この場合は画像シーフェン
スの最終フレームの信号Ｘ（ｎ、ｊ、　ｋ）を復号器側
で生成する必要がある。そこで前記の発明においてはフ
レーム間予測符号化方式とは別方式のフレーム内符号化
方式でこの、Ｘ（ｎ。

ｊ、ｋ）を符号化している。またＰＣＭ符号化方式でも
直交変換符号化方式でもベクトル量子化方式などフレー
ム間の相関を用いない符号化方式を用いれば同様に逆転
再生を可能にする。

上記の発明、特願昭６２−１０８３５２号明細書［画像
の圧縮記録システム」においては第１フレームとシーフ
ェンス最後のフレーム以外は全てフレーム間予測符号化
方式を用いていることを前提としている。しかしながら
変化の（敷しい画（象においてはフレーム間予測符号化
方式だけではなくそれを基礎とした符号化方式、例えば
動き補償フレーム間予測符号化方式、フレーム間／フレ
ーム内適応予測符号化方式、また直交変換符号化方式や
ベクトル量子化符号化方式とフレーム間予測符号化方式
を組合せたハイブリッド符号化方式が効率的な符号化を
与えることが知られている。次にこれらの符号化方式に
ついて復号化装置を中心に説明する。

まず第２図（ａ）にフレーム間予測符号化方式とＰＣＭ
符号化方式を適応的に切り替える符号化方式を用いた場
合の復号装置の例を示す。この方式ではフレーム間予測
誤差信号Ｅ（ｉ、ｊ、　ｋ）とＰＣＭ信号Ｐ（ｉ、ｊ。

ｋ）とモード信号Ｓ（ｉ、ｊ、　ｋ）が多重化された状
態で記録されている。これらの信号は逆多重化回路で分
離され、その後ＰＣＭ信号Ｐ（ｉ、ｊ、　ｋ）はそのま
ま選択スイッチ８０へ、予測誤差信号Ｅ（ｉ、ｊ、　ｋ
）はフレーム遅延素子９０でフレーム遅延された１フレ
ーム前の信号Ｘ（ｉ−１，ｊ、ｋ）、これをフレーム間
予測信号と呼ぶ、に加え合わされてスイッチ８０へ供給
されモード信号Ｓ（ｉ、ｊ、　ｋ）がそれらの信号から
一方の信号を選択する。スイッチ８０の出力が復号画像
信号Ｘ（ｉ、ｊ、　ｋ）となる。この方式において全て
のｊ、ｋに対してＥ（ｉ、ｊ、　ｋ）。

Ｐ（ｉ、ｊ、　ｋ）信号が多重化されている必要はなく
復号化に必要な信号のみが多重化されていればよい。

次に第２図（ｂ）にフレーム間予測符号化方式と直交変
換回路を適応的に切り替える符号化方式を用いた場合の
復号装置の例を示す。この方式ではフレーム間予測誤差
信号Ｅ（ｉ、ｊ、ｋ）と直交変換符号化信号Ｔ（ｉ、ｊ
、　ｋ）とモード信号Ｓ（ｉ、ｊ、ｋ）が多重化された
状態で記録されている。第２図（ａ）のフレーム間予測
符号化方式とＰＣＭ符号化方式を適応的に切り替える符
号化方式での復号化装置と異なるのはＴ（ｉ、ｊ、　ｋ
）をＰＣＭ信号Ｐ（ｉ、ｊ、　ｋ）に変換する逆変換回
路６０が加わっている部分である。この回路によってＰ
（ｉ、ｊ、　ｋ）を得ることが出来るのであとは第２図
の（ａ）と同様の構成となる。また直交変換の代りにベ
クトル量子化を用いても同様の構成となる。

フレーム間予測符号化方式とフレーム内予測符号化方式
を適応的に切り替えるフレーム間ｌフレーム内予測符号
化方式もほぼ同様の構成となる。それを第２図（ｃ）に
示す。この場合はフレーム間予測誤差信号Ｅ（ｉ、ｊ、
　ｋ）とフレーム内予測誤差信号ＥＰ（ｉ、ｊ。

ｋ）とモード信号Ｓ（ｉ、ｊ、　ｋ）が多重化された状
態で記録されている。ＥＰ（ｉ、ｊ、　ｋ）に対しては
加算器６２とフレーム内予測器６１が復号化を行ないＰ
ＣＭ信号Ｐ（ｉ＋Ｊ＋ｋ）を生成する。予測器の入力と
して復号化信号Ｘ（ｉ。

ｊ、ｋ）を用いている。フレーム内予測器としては１画
素遅延を行なうなら前値予測、１ライン遅延を行なうな
ら前ライン予測となる。あとは第２図の（ａ）と同様の
構成となる。

またハイブリッド符号化方式と呼ばれる方式はフレーム
間予測誤差信号Ｅ（ｉ、ｊ、　ｋ）を直交変換符号化も
しくはベクトル量子化符号化するものであるが、その場
合は上に示した３つの例において、逆多重化回路２０と
加算器７０の間に直交変換もしくはベクトル量子化の復
号器を置くことで復号器が構成可能である。

これらの復号化装置において共通するのは多重化されて
いる信号を分離し、３つの信号、フレーム間予測誤差信
号Ｅ（ｉ、ｊ、　ｋ）とＰＣＭ信号Ｐ（ｉ、ｊ、　ｋ）
とモード信号Ｓ（ｉ、ｊ、ｋ）を得て、モード信号Ｓ（
ｉ、ｊ、　ｋ）によってＰＣＭ信号Ｐ（ｉ、ｊ、　ｋ）
とフレーム間予測誤差信号とフレーム間予測信号の加算
料Ｘ（ｉ−１，ｊ、ｋ）＋Ｅ（ｉ、ｊ、ｋ）を切り替え
ることにある。従って第２図の（ａ）に示したフレーム
間予測符号化方式とＰＣＭ符号化方式を適応的に切り替
える場合の構成が最も基本的な構成と考えられる。以上
の説明で用いたＰＣＭ符号化、フレーム内予測符号化、
直交変換符号化、ベクトル量子化符号化方式などをフレ
ーム間予測符号化と対比させる意味でフレーム内符号化
と総称することとし、また以上に説明したフレーム間予
測符号化方式と適応的に切り替える方式を、ハイブリッ
ド符号化方式の場合も含めてフレーム間ｌフレーム内適
応符号化方式と総称することにする。

そしてフレーム間ｌフレーム内適応符号化方式を代表し
て以下では第２図の（ａ）で説明したフレーム間予測符
号化方式とＰＣＭ符号化方式を適応的に切り替える符号
化方式を用いて説明を行なう。他のフレーム間／フレー
ム内適応符号化方式に対する適用は第２図の（ａ）　（
ｂ）　（ｃ）を比較すれば簡単である。

このフレーム間ｌフレーム内適応符号化方式の場合、シ
ーフェンスの途中で切換えスイッチがフレーム内符号に
切換わるとそこで式（１）　（２）　（３）の関係が成
立しなくなるために上記特願昭６２−１０８３５２号明
細書「画像の圧縮記録システム］の発明をそのまま用い
て逆転再生を行なうことは出来ない。またモード信号を
逆転再生時にどう扱うかも明らかでない。本発明の目的
のひとつはフレーム内／フレーム間予測符号化方式にお
いて逆転再生が可能になる符号化方式を明らかにし、そ
の符号化方式に基づく符号を復号する復号化装置とその
符号化方式を実現する符号化装置を与えることにある。

次にフレーム間ｌフレーム内適応符号化方式に動き補償
フレー４間予測符号化方式を適用した場合について説明
する。動き補償フレーム間符号化方式とは動きベクトル
を用いてフレーム間予測信号を生成する画素位置を補正
する方式である。

まず式で説明する。Ｐ（ｉ、ｊ、　ｋ）における動きベ
クトルをＶ（ｉ、ｊ、　ｋ）＝（ｖｘ（ｉ、ｊ、　ｋ）
、　ｖｙ（ｉ、ｊ、　ｋ））とする。ｖｘ（４＋ｊｙｋ
）を動きベクトルの水平成分、ｖｙ（ｉ、ｊ、ｋ）を垂
直成分としている。普通のフレーム間予測符号化におい
てフレーム間予測誤差信号をＸ（ｉ−１，ｊ、　ｋ）と
するのに対して動き補償フレーム間予測符号化方式では
動きベクＩ・ルを用いてＸ（ｉ　−１，ｊ　−ｖｘ（ｉ
、　ｊ、　ｋ）、　ｋ　−ｖｙ（ｉ乱ｋ））とする。従
って予測誤差信号は Ｅ（ｉ、ｊ、　ｋ） ＝Ｘ（ｉ、ｊ、　ｋ）−Ｘ（ｉ−１，ｊ　−ｖｘ（ｉ、
ｊ、　ｋ）、　ｋ−ｖｙ（ｉ、ｊ、　ｋ））で定義され
る。復号化に当っては Ｘ（ｉ、ｊ、　ｋ） ＝Ｅ（ｉｌｊｊｋ）＋Ｘ（ｉ−１１ｊ−ＶＸ（ｉｌｊｌ
ｋ）ｌｋ−ｖｙ（ｉ、ｊ、ｋ））の式によってＸ（ｉ、
ｊ、ｋ）を順次求めて行く。この動き補償フレーム間予
測符号化方式をフレーム間ｌフレーム内適応符号化方式
に適用した例を第２図の（ｄ）に示す。すなわち動き補
償フレーム間符号化方式ではフレーム内ｌフレーム間適
応符号化方式で説明した信号の他に動きベクトル信号が
多重化されており逆多重化回路からはフレーム間予測誤
差信号Ｅ（ｉ、ｊ、　ｋ）、フレーム内符号化信号Ｐ（
ｉｌｊ）ｋ）、それらのうちどちらの信号を用いるかを
示すモード信号Ｓ（ｉ、ｊ、　ｋ）、そして動きベクト
ルＶ（ｉ、ｊ、　ｋ）が分離されて出てくる。フレーム
間予測信号を生成するためのフレーム遅延素子９０の出
力に対して動きベクトルに応じた遅延が可変遅延器９１
でかけられて動き補償が行なわれる。

逆転再生復号化に当っては Ｘ（１１，ｊｖｘ（ｉｙＪ＋　ｋ）、に−■３’（ｉ＋
Ｊ＋　ｋ））＝　−Ｅ（ｉ、ｊ、　ｋ）　＋　Ｘ（ｉ、
ｊ、　ｋ）　　　　　　　　　　　（６）の式によって
ｉの大きな画像信号Ｘ（ｉ、ｊ、　ｋ）から順々に復号
化を行なうことが出来る。この場合問題になるのはｊ−
ｖＸ（ｉ、ｊ、ｋ）、に−ｖｙ（ｉ、ｊ、ｋ）によって
全ての画素位置が尽くされていれば逆転復号化は行なわ
れるがそれが保証されていないためにある画素位置に。

よっては逆転再生が不可能になってしまうことである。

また第２図（ｄ）で示される復号器では（６）式で表さ
れる逆転復号化再生を行なうことは出来ない。

本発明のもうひとつの目的は動き補償フレーム間予測符
号化方式において逆転再生が可能になる゛符号化方式を
明らかにし、その符号化方式に基づく符号を復号する復
号化装置とその符号化方式を実現する符号化装置を与え
ることにある。またその際に冗長な符号を発生させない
ような符号化方式を与えることにある。

（発明が解決しようとする課題） 本発明の目的はフレーム内ｌフレーム間予測符号化方式
において逆転再生が可能になる符号化方式を明らかにし
、その符号化方式に基づく符号を復号する復号化装置と
その符号化方式を実現する符量化装置を与えることにあ
る。更に動き補償フレーム間予測符号化方式において逆
転再生が可能になる符号化方式を明らかにし、そＱ符号
化方式に基づく符号を復号する復号化装置とその符号化
方式を実現する符号化装置を与える。またフレーム内符
号化方式とし゛〔直交変換符号化方式を用いる場合にお
いても効率的な符号化を保証するような符号化方式を与
える。

（課題を解決するための手段） 本発明によれば次フレームでフレーム内符号化が行なわ
れる画素についてはフレーム間予測符号化が行なわれる
場合でもフレーム内符号化も行ない、その符号を符号化
信号列に多重化することで動画像の逆転再生を可能にす
る。

また本発明によればフレーム間／フレーム内適応符号化
方式の復号化装置において逆転再生時にはフレーム内符
号化信号から得られた画像信号とフレーム間予測誤差信
号と選択信号の３つの信号のうちモード信号とフレーム
間予測誤差信号については１フレーム遅延させる手段と
逆転再生時にフレーム間予測誤差信号の正負を逆転させ
る手段とを持つことで逆転再生可能な復号化装置を構成
することが出来る。

また本発明によれば画像信号からフレーム間予測符号化
信号とフレーム内符号化信号とを同時に発生する手段と
そのフレーム間予測誤差信号とフレーム内符号化信号か
らどちらかを選択し選択結果を示すモード信号を発生す
る手段とそのモード信号でフレーム間予測誤差信号のう
ち符号化に必要な信号を選択する手段と前記モード信号
から通常再生と逆転再生にフレーム内符号化信号を必要
とする画素を決定する手段とそのフレーム内符号化信号
を必要とする画素に関してフレーム内符号化信号から該
当する画素信号を選択する手段と前記選択されたフレー
ム間予測誤差信号と前記選択されたフレーム内符号化信
号とモード信号とを多重化する手段とを有する二とで逆
転再生も可能な符号化信号を生成する符号化装置を可能
にする。

また本発明によれば動きベクトルを用いた動き補償フレ
ーム間予測符号化方式において次フレームでの動き補償
フレーム間予測符号化で参照されることの無い画素につ
いては必ずフレーム内符号化によっても符号化を行ない
その符号化信号を符号化信号列に多重化することで動画
像の逆転再生を可能にする。

また本発明によれば逆転再生時には動き補償フレーム間
予測誤差信号の正負を逆転させ動きベクトルを用いて可
変遅延させる手段と逆転再生時にはフレーム間予測誤差
信号を１フレーム遅延させる手段と逆転再生時には動き
ベクトルの成分を正負反転しかつ動きベクトルを適応し
なければならない画素を決定しその画素の復号時にその
動きベクトルを供給する手段と逆転再生時には動きベク
トルとモード信号からフレーム内符号化が必要な画素位
置を決定して逆転再生時のためのモード信号を発生する
手段とを有することで逆転再生が可能になる動画像の復
号化装置が構成できる。

また本発明によれば逆転再生時には動き補償フレーム間
予測誤差信号の正負を逆転させる手段と逆転再生時には
フレーム間予測誤差信号から復号化された信号に対して
動きベクトルを用いて可変遅延させる手段と逆転再生時
にはフレーム遅延素子より供給される前フレーム信号を
動きベクトルを用いて可変遅延させることを停止させる
手段と逆転再生時にはモード信号とフレーム間予測誤差
信号については１フレーム遅延させる手段と逆転再生時
には逆転再生時には動きベクトルの成分を正負反転しか
つ動きベクトルを適応しなければならない画素を決定し
その画素の復号時にその動きベクトルを供給する手段と
逆転再生時には動きベクトルとモード信号からフレーム
内符号化が必要な画素位置を決定して逆転再生時のため
のモード信号を発生する手段とを有することで逆転再生
が可能になる動画像の復号化装置が構成できる。

また本発明によれば入力された動きベクトル成分の正負
を反転させて記憶する手段と、記憶する動きベクトルに
対応する画素位置から動きベクトルの成分を減算し記憶
アドレスを決定する手段と、逆転再生時のモード信号を
生成するために常にフレーム間予測モードを示す信号を
前記動きべクトルとは別に記録する手段と、入力された
モード信号がフレーム内符号化モードの場合は前記動き
ベクトルとフレーム間予測モードを示す信号をメモリに
入力しないように制御する手段と、このメモリの内容を
書込まれてから１フレーム遅延した後、順次読みだし逆
転再生用に変換された動きベクトル信号と逆転再生時の
モード信号を得る手段と、読み出した後、逆転再生時の
モード信号を記録していた部分についてはフレーム内符
号化モードを示す信号に書き換える手段を有することで
逆転再生時にフレーム内符号化信号が必要な画素を求め
てモード信号を発生し、かつフレーム間モードの場合に
はその画素の復号に必要な動きベクトルを得ることが出
来る。

また本発明によれば画像信号からフレーム間予測誤差信
号と動きベクトル信号とフレーム内符号化信号とを同時
に発生する手段とそのフレーム間予測誤差信号とフレー
ム内符号化信号からどちらかを選択し選択結果を示すモ
ード信号を発生する手段と、モード信号からフレーム間
予測誤差信号と動きベクトルのうち符号化に必要な信号
を選択する手段とモード信号と動きベクトルから通常再
生と逆転再生にフレーム内符号化信号を必要とする画素
を決定する手段とそのフレーム内符号化信号を必要とす
る画素に関してはフレーム内符号化信号から必要な信号
を選択する手段とそれらの選択されたフレーム間予測誤
差信号と動きベクトルとフレーム内符号化信号とモード
信号とを多重化する手段とを有すること逆転再生のでき
る符号化信号を生成することのできる符号化装置が構成
できる。

また本発明によれば画像信号からフレーム間予測誤差信
号と動きベクトル信号と直交変換符号化信号とを同時に
発生する手段とそのフレーム間予測誤差信号と直交変換
符号化信号からどちらかを選択し選択結果を示すモード
信号を発生する手段と、そのモード信号でフレーム間予
測誤差信号と動きベクトル信号のうち符号化に必要な信
号を選択する手段とモード信号と動きベクトルから通常
再生と逆転再生に直交変換符号化信号を必要とする画素
を決定する手段とその直交変換符号化信号を必要とする
画素に関しては前記１フレーム遅延した入力信号から符
号発生量を抑えるように線形計画法を用いた方式で直交
変換を再び行ない符号化を行なう手段とその直交変換符
号化信号と前記選択されたフレーム間予測誤差信号と動
きベクトル信号と前記１フレーム遅延したモード信号と
を多重化する手段とを有すること逆転再生のできる符号
化信号を生成することのできる符号化装置が構成できる
。

（作用） 本発明の詳細な説明する。

まず第３図でフレーム間ｌフレーム内適応符号化方式に
おいて逆転再生が出来なくなる例を説明する。画像フレ
ームは２次元信号であるがこの図では簡単のために１次
元信号として扱っている。この図においてＰ（ｉ、ｊ）
は第ｉフレームの第１画素におけるフレーム内符号化信
号でありＥ（ｉｊ）は第ｉフレームの第１画素における
フレーム間予測誤差信号である。第０フレームは全ての
画素についてフレーム内符号化が行なわれる。第２画素
と第４画素においてはその他のフレームで常にフレーム
間予測符号化が行なわれる。また第１画素においては第
２フレームでフレーム内符号化モードが選択され、第３
画素においては第３フレームでフレーム内符号化モード
が選択される。従って順方向の復号化においては第３図
の（ｂ）の上段に示すような信号が必要となる。しかし
ながら逆転再生を行なう場合、Ｅ（２，１）、　Ｅ（３
，３）が存在しないために式（３）より第１フレームの
第１画素、また第２フレームの第３画素で復号化が不可
能となる。第３図（ａ）にその様子を図示している。こ
の事を解決するためには第１画素、第１フレーム、と第
３画素、第２フレームにおいてフレーム内゛符号化を行
ない、Ｐ（１，１）、　Ｐ（２，３）を得て、この信号
を信号列に多重化することで解決が着く。すなわち逆転
再生時には第３図（ｂ）下段に示す信号で復号化を行な
えばよい。また最終フレームの画素についてもフレーム
内符号化を行なう必要がある。第３図（ａ）中、順方向
再生には必要無いが逆転再生に必要な信号について本を
つけである。

以上の例から定式化を行なうと以下のようになる。Ｓ（
ｉ、ｊ）を第ｉフレームの第５画素におけるモード信号
とする。Ｓ（ｉ、ｊ）がフレーム内符号モードを示す場
合にはＥ（ｉ、ｊ）が存在しないために逆転再生時に第
ｉ−１フレームの第５画素における復号化が出来ないの
で第ｉ−１フレームの第５画素においてはフレーム内符
号化も行ないＰ（ｉ−１，ｊ）を生成し符号化信号列に
多重化すれば逆転再生が可能となる。すなわち本発明に
よれば次フレームでフレーム内符号化が行なわれる画素
についてはフレーム間予測符号化が行なわれる場合でも
フレーム内符号化も行ない、その符号を符号化信号列に
多重化するので逆転再生が可能になる。第３図（Ｃ）に
上記の例の場合に多重化しなければならない信号を示す
。

この多重化された信号から通常再生と逆転再生を行なう
には以下に示すような復号器を構成すればよい。すなわ
ち通常再生の場合は第２図（ａ）で示す従来技術を用い
た復号器を用いれば上記の多重化された信号に対しても
復号化を行なう。逆転再生の場合はまず記録媒体よりフ
レーム番号について逆順に信号が読み出される。（３）
式によれば第ｉ−１フレームの信号Ｐ（ｉ−１，ｊ、　
ｋ）を復号化するためには第ｉフレームのフレーム間予
測誤差信号Ｅ（ｉ、ｊ、ｋ）を復号器の信号Ｐ（ｉ、ｊ
、　ｋ）から減算する必要がある。またフレーム内符号
化の場合は直接Ｐ（ｉ−１，ｊ、ｋ）の信号が生成され
る。また上記の検討結果から逆転再生時、ｕｉ−１フレ
ームの信号がフレーム内符号化モードで復号化されるか
否かは第ｉフレームのモード信号Ｓ（ｉ、、ｊ、ｋ）で
判定することが出来る。すなわちモード信号と予測誤差
信号については逆転再生時に１フレーム遅延した信号を
用いなくてはならない。ここで逆転再生の場合には第ｉ
フレームは第ｉ−１フレームより遅延した信号であるこ
とに注意する。すなわち本発明のように逆転再生時には
フレーム内符号化信号から得られた画像信号とフレーム
間予測誤差信号とモード信号の３つの信号のうちモード
信号と予測誤差信号についてはエフレーム遅延させる手
段と逆転再生時にフレーム間予測誤差信号の正負を逆転
させる手段とを持つことで逆転再生可能な復号化装置を
構成することが出来る。

また逆転再生を可能にする信号列を発生するための符号
化装置について解説する。フレーム間予測符号化信号と
フレーム内符号化信号とを同時に発生し、そのフレーム
間予測誤差信号とフレーム内符号化信号からどちらかを
選択し選択結果を示すモード信号を発生し、そのモード
信号を用いてフレーム間予測誤差信号とフレーム内符号
化信号のうち符号化に必要な信号を選択してモード信号
と多重化する順方向再生のみを考慮した従来方式の符号
器に対して、本発明ではモード信号から通常再生と逆転
再生にフレーム内符号化信号を必要とする画素を決定す
る手段と、その決定にしたがってフレーム内符号化信号
から順方向再生と逆転再生に必要な信号を選択する手段
を有するので逆転再生可能な符号化信号を生成する符号
化装置を可能にする。

次に動き補償フレーム間予測符号化を用いた場合の逆転
再生に関して述べる。

第４図（ａ）で動き補償フレーム間予測符号化において
逆転再生が出来なくなる例を説明する。画像フレームは
２次元信号であるがこの図では簡単のために１次元信号
として扱っている。この図においてＰ（ｉ、’　ｊ）　
Ｅ（ｉ、ｊ）　Ｖ（ｉ、ｊ）は第ｉ　７　’ｖ　−ム（
７）第５画素におけるフレーム内符号化信号、フレーム
間予測誤差信号、動きベクトル信号である。この図にお
いて例えば第２フレームの第１画素は第１フレームの第
２画素を参照して復号化が行なわれることが示されてい
る。また第３フレームでは第２画素と第３画素のふたつ
の画素が第２フレームの第３画素を参照している。第１
フレームでは全ての画素についてフレーム内符号化が行
なわれる。また第４画素の第２フレームでフレーム内符
号化モードが選択され、これ以外の画素についてはフレ
ーム間予測モードが選択されている。

順方向の復号化においては第４図の（ｂ）に示すような
信号が必要となる。しかしながら逆転再生を行なう場合
には第１フレームの第１画素と、第２フレームの第１画
素の復号を行なうことが出来ない。なぜならこの２つの
画素は次フレームにおける動き補償符号化で参照された
いからである。従って逆転再生を可能にするためにはこ
の２つの画素についてフレーム内符号化を行ない、フレ
ーム内符号化信号１）（Ｌ　１）、　Ｐ（２，１）を得
る必要がある。第４図（Ｃ）に逆転再生時に復号化が必
要な信号を示す。ここで第２フレームの第３画素に関し
てはＥ（３，２）　Ｖ（３，２）ではなくＥ（３，３）
　Ｖ（３，３）を用いてもよい。また最終フレームの画
素についてもフレーム内符号化を行なう必要がある。従
って動き補償フレーム間予測符号化方式においては第ｉ
−１フレームを逆転再生する場合、第２フレームで順方
向再生の時参照されたい画素についてフレーム内符号化
を行なう必要がある。

式を使って説明すると（６）式に対してＸ、（ｉ−１，
ｊ−ｖｘ（ｉ、ｊ、ｋ）、に−ｖｙ（ｉ、ｊ、ｋ））＝
　−Ｅ（ｉ、ｊ、　ｋ、）　＋　Ｘ（ｉ、ｊ、　ｋ）　
　　　　　　　　　　（６）ｍ＝ｊ−ｖｘ（ｉ、ｊ、　
ｋ）、　ｎ＝に−Ｖｙ（ｉｊ＋　ｋ）　　　　　　（７
）とおくと Ｘ（ｉ−１，ｍ、ｎ）＝−Ｅ（ｉ、ｍ＋ｖｘ（ｉ、ｊ、
ｋ）、ｎ＋ｖｙ（ｉ、Ｌｋ））＋Ｘ（ｉ、ｍ＋ｖｘ（ｉ
、ｊ、ｋ）、ｎ＋ｖｙ（ｉ、ｊ、ｋ））となる。したが
っであるｍ、ｎに対して（７）式の成立するｊ、ｋをま
ず求める。もしあるｍ、ｎに対して（７）式の成立する
ｊ、ｋが求められない場合はフレーム間予測符号化でＸ
（ｉ　−１，ｍ、　ｎ）を参照しな力じたことを意味し
ており、Ｘ、（ｉ　−１，、ｍ、　ｎ）についてフレー
ム内符号化を行ない符号化信号を多重化すれば逆転再生
が可能になる。また予測誤差信号Ｅ（ｉ、　ｍ、　ｎ）
の正負反転させた信号と復号信号Ｘ（ｉ、　ｍ、　ｎ）
をＶ（ｉ、ｊ、　ｋ）に応じてそれぞれ可変遅延させた
信号を加え合わせれば逆転再生を行なう復号器が可能に
なる。

つまり本発明のように次フレームでの動き補償フレーム
間予測符号化で参照されることの無い画素については必
ずフレーム内符号化によっても符号化を行ないその符号
化信号を符号化信号列に多重化すれば動画像の逆転再生
が可能になる。

また本発明のように逆転再生時には動き補償フレーム間
予測誤差信号の正負を逆転させ動きベクトルを用いて可
変遅延させる手段と逆転再生時には予測誤差信号につい
ては１フレーム遅延させる手段と逆転再生時には動きベ
クトルの成分を正負反転しかつ動きベクトルを適応しな
ければならない画素を決定しその画素の復号時にその動
きベクトルを出力する手段と逆転再生時には動きベクト
ルとモード信号からフレーム内符号化が必要な画素位置
を決定して逆転再生時のためのモード信号を発生する手
段とを有すれば逆転再生が可能な復号化装置が構成でき
る。

また（８）式によればＸと−Ｅを加え合わせてからＶ（
ｉ、ｊ、　ｋ）に応じて可変遅延させても復号化は可能
である。すなわち本発明のように逆転再生時にはフレー
ム間予測誤差信号から復号化された信号に対して動きベ
クトルを用いて可変遅延させる手段と通常再生時にはフ
レーム間予測信号にのみ動きベクトルを用いて可変遅延
させる手段とを有すれば逆転再生が可能な復号化装置が
構成できる。

前記の逆転再生時には動きベクトルの成分を正負反転し
かつ動きベクトルを適応しなければならない画素を決定
しその画素の復号時にその動きベクトルを出力する手段
と逆転再生時には動きベクトルとモード信号からフレー
ム内符号化が必要な画素位置を決定して逆転再生時のた
めのモード信号を発生する手段に関しては次のように構
成が可能である。つまり本発明のように逆転再生の際、
入力された動きベクトル成分の正負を反転させて記憶す
るがその際に動きベクトル信号の画素位置から動きベク
トルの成分を減算し記憶アドレスを決定する、つまり（
８）式で画素位置（ｊ、ｋ）の正負反転された動きベク
トル信号−Ｖ（ｉ、ｊ、　ｋ）をｍ、ｎの画素位置の動
きベクトル信号として記憶する。この動きベクトル信号
を１フレームの期間の後読み出せば上記の復号化に必要
な動きベクトル信号として用いることが出来る。また本
発明のように逆転再生時のモード信号を生成するために
入力モード信号がフレーム間モードの時フレーム間モー
ドを示す信号を前記画素位置（ｍ、　ｎ）のモード信号
として前記動きベクトルとは別にメモリ入力するように
しておき、入力されたモード信号がフレーム内符号化モ
ードの場合はメモリに何も入力しないようにしておき、
１フレ一ム期間の後モード信号を読みだし、そのあとそ
れらのメモリの内容をフレーム内モードを示す信号にリ
セットするようにしておけば次フレームにおいて動き補
償フレーム間予測符号化方式で参照されることの無い画
素に関してはフレーム内モードを出力し、次フレームに
おいて動き補償フレーム間予測符号化方式で参照される
画素に関してはフレーム間モードを出力するので逆転再
生用の動きベクトル信号とモード信号とを発生すること
ができる。

またフレーム内モードの場合は動きベクトルが存在しな
いことを利用して本発明による別の構成のようにモード
信号を動きベクトル信号に多重化する方式を用いても逆
転再生用の動きベクトル信号とモード信号とを発生する
ことができる。この方式では例えば動きベクトル信号が
（±７．±７）に制限されていた場合フレーム内モード
を表す信号として（−１６，−１６）を用い、動きベク
トル信号の特殊信号として扱う。逆転再生の際！よ、入
力された動きベクトル成分の正負を反転させて上記のフ
レーム内モード信号を多重化させ、動きベクトル信号の
画素位置から動きベクトルの成分を減算したアドレスに
記憶する。この動きベクトル信号を１フレームの期間の
後読み出し、そのあとそれらのメモリの内容をフレーム
内モードを示す信号、上記の例では（−１６，−１６）
にリセットするようにしておき、メモリ読み出し後に動
きベクトル信号からフレーム内モード信号を分離するよ
うにする、すなわち上記の例では（−１６，−１６）な
らフレーム内モード信号を発生し、それ以外ならフレー
ム間モード信号を発生する。このように構成することで
次フレームに参照されることの無い画素に関しては逆転
再生時にフレーム内モード信号が発生される。

またそれ以外の画素については逆転再生用の動きベクト
ル信号を発生する。

また動き補償フレーム間予測符号化において逆転再生を
可能にする信号列を発生する符号器は次のようにして構
成される。すなわち画像信号からフレーム間予測符号化
信号と動きベクトル信号とフレーム内符号化信号とを同
時に発生させ、そのフレーム間予測誤差信号とフレーム
内符号化信号からどちらかを選択しその結果を示すモー
ド信号を発生し、モード信号からフレーム間予測誤差信
号と動きベクトルあるいはフレーム内符号のうち符号化
に必要な信号を選択しそれらの信号を多重化する従来の
動き補償フレーム間予測符号化方式に対して、本発明の
ようにモード信号と動きベクトルから通常再生と逆転再
生にフレーム内符号化信号を必要とする画素を決定し、
そのフレーム内符号化信号を必要とする画素に関しては
フレーム内符号化信号から必要な信号を選択するように
することで逆転再生のできる符号化信号を生成すること
のできる符号化装置が構成できる。

以上の発明では逆転再生用にフレーム内符号化信号が画
素単位で多重化される１、従ってフレーム内符号化方式
としてブロック単位で符号化を行なう直交変換符号化方
式の場合はこの発明を用いると不必要な符号を大量に発
生することになる。例えばあるブロック内で１画素だけ
の符号化を行なうのに８×８画素からなるブロック全て
を符号化しなくてはならない。従って直交変換を用いた
場合上記の発明では効率的な符号化を行なうことが出来
ない。この問題を解決するために本発明では別の構成に
よる符号器の構成例を与える。

その符号器の構成を示す前に例を用いて説明する。例え
ばあるブロックで１画素のみが復号化に必要な場合を考
える。この場合注目する１画素以外の信号は復号化には
まったく用いられないのでどう復号化されても影響を与
えない。従ってこの注目画素以外の画素信号を適当に変
化させれば、発生符号量を抑えることができる。例えば
上記の１画素のみが復号化に必要ならブロック内の画素
全てが注目画素の信号レベルを持つように変形する。す
るとこのブロックの直交変換した結果は直流成分のみが
ゼロでなく他は全てゼロの信号となり発生符号量は極め
て小さく抑えられる。

直交変換された信号を変換係数、そのうちゼロでない信
号を有意変換係数と呼ぶことにする。また直交変換計数
は直流成分と低周波から高周波に至る周波数成分に分け
ることが出来るっ一般により少ない有意変換係数で符号
化すると発生符号量を低く抑えることができ、またより
低周波成分の変換係数で符号化すると発生符号量を低く
抑える、二とができる。

もしあるブロック中に符号化しなければならない画素が
幾つか存在するとき、その他の画素を適当に変形するこ
とでそのブロックに対する直交変換符号化信号の符号量
を抑えることが可能であれば本発明のもうひとつの符号
化構成例が有効となる。すなわち、上記の逆転再生を可
能にする動き補償フレーム間予測符号化装置において通
常再生と逆転再生にフレーム内符号化信号を必要とする
画素に関しては入力信号をフレーム遅延させた入力信号
からその該当画素を選び、ブロック化して再び直交変換
を行なうがその際に復号化に必要無いブロック内の他の
画素については発生符号量を抑えるように変形する。

上記の復号化に用いられない画素を適当に変形すること
でそのブロックに対する直交変換符号化信号の符号量を
抑える方式は線形計画法によって与えられるので実現可
能である。それを以下に解説する。すなわちある画像ブ
ロックＸ＝（ｘ（１）。

ｘ（２）、・・・・・、　Ｘ（ｎ））に対して直交変換
は式（９）で定義される。また（９）を展開すると（１
０）となる。

Ｆ　：　ｃｘ　　　　　　　　　　　　　　　　　　　
（９）ｆ（ｊ）　＝Σｃ（ｉ、ｊ）・Ｘ（ｉ）　　　　
　　　　　　　　　　（１０）ここでＣ＝ｃ（ｉ、ｊ）
は直交行列である。Ｆは変換係数ベクトルと呼ばれＦ＝
げ（１）、　ｆ（２）、　・曲、　ｆ（ｎ））である。

ｆ’（ｉ）のｉが小さければ低周波成分を表し、ｉが大
きければ高周波数成分を表す。画像符号化において画像
ブロックは２次元が一般的であるがここでは簡単のため
に１次元ブロックで表記している。直交変換符号化方式
とはＦ　＝　（ｆ（１）、　ｆ（２）、　・−、ｆ（ｎ
））を°符号化する方式であり、有意なｆ（ｉ）が少な
く、かつ低周波成分であれば発生符号量が／］１さくな
る。

あるブロックＸにおいてｘ（ｉｌ）、ｘ（ｉ２）、−−
−−−２ｘ（ｉ＋）。

１≦ｉ、　ｉ２．・・・・・、１１≦ｎの１個の画素の
み復号化する必要がありその他の画素成分はどう復号化
されても構わないとする。つまり（１１）が成立する。

Ｘ（ｉｌ）ｌ　Ｘ（ｉ２）ｊ　””’ｌ　Ｘ（ｉρ、１
≦１１．　ｉ２．　”””、　１１≦ｎは定数また直交
変換された信号としてｆ（ｊｌ）、　ｆ（ｊ２）、　・
・・・・、ｆ（ｊｒｌｌ）。

１≦Ｊ１＋Ｊ２＋・・・・・、ｊｍ≦ｎのｍ個の変換係
数のみが有意な変換係数で他はすべてゼロだったとする
と（１２）式が成立する。

ｆ（ｊ）＝Ｏ，ｊ≠ＪＩＪ２＋　”””ｓ　ｆｆＪ、、
、）、１≦ｊ１．ｊ２＋　””’、ｊｍ≦ｎこのとき、
より効率的な符号化をおこなうための上記の条件は（ａ
）最小のｍ、（ｂ）最小のＪ１１Ｊ２１・・・・・Ｊｍ
と書き改められる。またＸ（ｉ）、　ｆ（ｊ）は装置に
よりダイナミックレンジが定められているので式（１３
）、（１４）が成立する。ここでｍ１ｎｘ、　ｍａｘｘ
、　ｍ１ｎｆ、　ｍａｘｆはダイナミックレンジを定義
する定数である。

ｍ１ｎｘ≦Ｘ（ｉ）≦ｍａｘｘ　　　　　　　　　　　
　（１３）ｍ１ｎｘ≦Ｘ（ｊ）≦ｍａｘｆ　　　　　　
　　　　　　　（１４）あるｍ、　ｊ、ｊ２．・・、・
・、ｊｍに対して（１０）　（１１）　（１２）　（１
３）　（１４）を満たすＸ（ｉ）、ｆ（ｉ）が存在する
がどうかは線形計画法の問題に帰着する。またｍ、　ｊ
、、ｊ２．・・・・・、ｊｍの取り得る値は有限個であ
るから（１０）　（１１）　（１２）　（１３）　（１
４）を満たしかつ条件（ａ）　（ｂ）を満たすＸ（ｉ）
、ｆ（ｊ）を求めることは可能である。

（実施例） 本発明によって逆転再生が可能となるフレーム間ｌフレ
ーム内適応符号化方式の復号化装置の構成例を第１図の
（ａ）に示す。記録媒体１０からフレーム間予測誤差信
号Ｅとフレーム内符号化信号Ｐとモード信号Ｓの多重化
された信号が読み出され、復号化回路２０でそれらの信
号が分離される。逆転再生の場合は記録媒体１０からこ
れらの信号がフレーム番号が大きい順から小さい順へ出
力される。タイミング補正回路３０は逆転再生の場合モ
ード信号Ｓとフレーム間予測誤差信号Ｅを１フレーム遅
延させて出力し、フレーム内符号化信号Ｐとのタイミン
グを合せる。正負反転回路５０は逆転再生時にフレーム
間予測誤差信号Ｅの正負を反転させる。フレーム遅延素
子９０は復号化された画像信号を１フレーム遅延させ加
算器７０においてフレーム間予測誤差信号Ｅと加え合わ
される。スイッチ８０がフレーム内信号Ｐから得られた
画像信号と加算器７０から得られた画像信号とをモ：ド
信号Ｓをもちいて切り替え、復号画像を得る。制御回路
が記録媒体１０、タイミング補正回路３０、正負反転回
路５０の逆転再生時の動作を制御する。

また本発明によって逆転再生が可能となる動き補償フレ
ーム間符号化方式の復号機の構成例を第１図の（ｂ）に
示す。第１図の（ａ）と異なるのは動きベクトル信号Ｖ
が更に多重化されており、復号化回路２０でフレーム間
予測誤差信号Ｅと動きベクトル信号Ｖとフレーム内符号
化信号Ｐとモード信号Ｓの多重化された信号が分離され
る。またタイミング補正回路３０は逆転再生の場合、フ
レーム間予測誤差信号Ｅを１フレーム遅延させて出力し
、フレーム内符号化信号Ｐとのタイミングを合せる。ま
たモード信号Ｓと動きベクトル信号Ｖが動きベクトル・
モード信号展開回路４０へ供給され逆転再生の場合は逆
転再生用の動きベクトル信号Ｖ′とモード信号Ｓ′を出
力する。この動きベクトル・モード信号展開回路４０は
制御回路１５の制御を受けており、通常再生の場合は入
力された信号をそのまま出力する。また逆転再生時に正
負反転回路５０で正負を反転された予測誤差信号更に可
変遅延回路９２で動きベクトルに対応した遅延を受ける
。この可変遅延回路に供給される動きベクトルは制御回
路１５によって制御されるゲート９３を通過してきてお
り、通常再生の場合可変遅延回路９２への動きベクトル
の供給は停止され可変遅延回路９２は、信号を遅延せず
に出力する。

また本発明によって逆転再生が可能となる動き補償フレ
ーム間符号化方式の復号機の別の構成例を第１図の（Ｃ
丹こ示す。第１図の（ｂ）と異なるのはまず可変遅延器
９２の位置が加算の後に位置しており、反転されたフレ
ーム間予測誤差信号にではなく、フレーム間予測復号化
された信号に対して可変遅延が行なわれることである。

また１フレーム遅延された復号信号に対して可変遅延を
行なう可変遅延器９１に対して、動きベクトル信号の供
給が通常再生時にしか行なわれないように制御回路１５
によって制御されるゲート９５が設けられている。

上記の復号器で用いた動きベクトル、モード信号展開回
路４０を本発明を用いて構成した回路例を第５図の（ａ
）に示す。動きベクトル信号の水平・垂直成分Ｖｘ、　
Ｖｙに対して乗算器４４．４５が−１を乗じて正負を反
転させる。この正負を反転された動きベクトル信号の水
平・垂直信号Ｖｘ、　Ｖｙはメモリ４１に記憶される。

その際、記憶アドレスは動きベクトル信号の画素位置を
示す画素アドレス信号ｉ、ｊから動きベクトル信号の水
平・垂直成分Ｖｘ、Ｖｙを減じたものとする。この減算
は減算器４２．４３によって行なわれる。また逆転再生
時のモード信号Ｓ′を生成するためにフレーム間モード
を示す信号、例えば１が上記動きベクトルと同時にメモ
リ４１へ入力される。これらの正負反転された動きベク
トル信号の水平・垂直成分Ｖｘ、　Ｖｙと、フレーム間
モードを示す信号はモード信号Ｓがフレーム内モードを
示す時にはメモリ４１に記憶されたいように制御される
必要があるために、モード信号Ｓがメモリ４１のイネー
ブル端子へ入力される。すなわちフレーム内モードの場
合、動きベクトル信号の水平・垂直成分Ｖｘ、　Ｖｙと
、フレーム間モードを示す信号はメモリ４１へ記憶され
たい。１フレ一ム期間の後これらの信号が逆転再生用動
きベクトル信号Ｖ′と逆転再生用モード信号Ｓ′とｌ−
で読み出される。逆転再生用モード信号が読み出された
後、次の逆転再生時のモード信号を生成するためにフレ
ーム内モードを示す信号、この場合では０をメモリ４１
へ書込む必要があるため、フレームパルスを用いてメモ
リのクリアを行なう。

こうして得られた逆転再生用モード信号Ｓ′と動きベク
トル信号Ｖ′はセレクタ４６へ供給される。セレクタ４
６へはこの動きベクトル・モード信号展開回路４０へ入
力されたままのモード信号Ｓと動きベクトル信号Ｖも同
時には供給されている。セレクタ４６は制御回路からの
制御信号にしたがって通常再生の場合はこの動きベクト
ル・モード信号展開回路４０へ入力されたままのモード
信号Ｓと動きベクトル信号Ｖをそのまま出力し、逆転再
生の場合には逆転再生用のモード信号Ｓ′と動きベクト
ル信号ｖ′を出力する。

また動きベクトル、モード信号展開回路４０を本発明を
用いて構成した別の回路例を第５図の（ｂ）に示す。第
５図の（ａ）と異なるのはモード信号Ｓが−１を乗じた
後の動きベクトル信号に多重化されており、またメモリ
４１から読み出された後モード信号Ｓ′が動きベクトル
信号Ｖ′から分離されていることである。

多重化の方法としては、フレーム内モードの場合は動き
ベクトルが存在しないことを利用して、存在しない動き
ベクトル信号をフレーム内モードを示すモード信号とし
て、例えば範囲が（±１５、±１５）と決まっている時
に（−１６、−１６）をフレーム内モードを示すモード
信号として動きベクトル信号の特殊例として扱えばよい
。この場合、信号がメモリ４１から言売み出された後、
フレームパルスによってメモリの内容をフレーム内モー
ドを示すモード信号に書き直すのに（−１６、−１６）
をメモリに書き直す必要がある。

また第６図の（ａ）に本発明を用いて構成した逆転再生
を可能にするフレーム間ｌフレーム内適応符号化方式の
符号化装置の構成例を示す。フレーム間予測符号化器］
０１でフレーム間予測符号化が、フレーム内符号化器１
０３でフレーム内符号化がそれぞれ行なわれフレーム間
予測誤差信号Ｅとフレーム内符号化信号Ｐが出力かれる
。フレーム間予測誤差信号Ｅとフレーム内符号化信号Ｐ
をフレーム間／フレーム内判定回路１１０が比較し、ど
ちらの符号什信号を選択するかを決定してモード信号Ｓ
を出力する。もしこのモード信号Ｓがその後の符号化に
用いられる場合はフレーム間予測符号化器１０１とフレ
ーム内符号化器１０３−＼このモード信号が供給される
。またこのモード信号は拡張モード信号生成回路１５０
へ供給され逆転再生と通常再生に必要なフレーム内符号
化信号を示す拡張モード信号ＳＩ＋を１フレーム遅延の
後、出力する。フレーム間予測誤差信号Ｅはフレーム遅
延素子１２０で１フレーム遅延された後スイッチ１２１
へ入りフレーム遅延素子１４０で１フレーム遅延された
モード信号Ｓに従って復号化に必要な信号のみが選択さ
れる。またフレーム内符号化信号Ｐはフレーム遅延素子
１３０で１フレーム遅延された後スイッチ１３１へ入り
拡張モード信号ＳＩ＋に従って逆転再生を含めた復号化
に必要な信号のみが選択される。これら選択されたフレ
ーム間予測誤差信号、フレーム内符号化信号、１フレー
ム遅延したモード信号は多重化回路１６０で多重化され
る。

またこの符号器で用いられる拡張モード信号生成回路１
５０の構成例を第６図（ｂ）に示す。フレーム遅延素子
１５１でモード信号Ｓを１フレーム遅延させたものをモ
ード信号Ｓとし、それとは別に遅延させないモード信号
を作る。この遅延しないモード信号が逆転再生用モード
信号Ｓ′となる。このモード信号Ｓと逆転再生用モード
信号Ｓ′の論理和をとれば拡張モード信号８＋１が得ら
れる。この論理和はＯＲゲート１５２で行なわれる。

また第６図の（ｃ）に本発明を用いて構成した逆転再生
を可能にする動き補償フレーム間予測符号化方式の符号
化装置の構成例を示す。第６図の（ａ）と異なるのはフ
レーム間予測符号化器１．０１の代りに動き補償フレー
ム間予測符号器１０２が置かれ、フレーム間予測誤差信
号Ｅと動きベクトル信号Ｖを生成すること、また拡張モ
ード信号生成回路１５０がモード信号Ｓと動きベクトル
信号Ｖから拡張モード信号Ｓ′”を２フレーム遅延の後
生成すること、よってフレーム遅延素子１２０．１３０
．１２２では２フレームの遅延が行なわれること、動き
ベクトル信号Ｖがフレーム間予測誤差信号Ｅと同様にフ
レーム遅延素子１２２で２フレーム遅延された後スイッ
チ１２３へ入りフレーム遅延素子１４０で２フレーム遅
延されたモード信号Ｓに従って復号化に必要な信号のみ
が選択される。Ｐは拡張モード信号生成回路１５０の出
力である拡張モード信号８１１に従って符号化に必要な
信号のみが選択される。最後にこれら選択されたフレ・
−ム間予測誤差信号、動きベクトル信号、フし・−ム内
符号化信号、２フレーム遅延したモード信号は多重化回
路１６０で多重化される。

またこの符号器で用いられる拡張モー　ド侶号生成回路
１５０の構成例を第６図（ｄ）に示す。第６図（ｂ）と
異なるの（１第５図の（ａ）で用いたのと同様、メモリ
１５３と減算器１５４．１５５を用いてモード信号と動
きベクトル信号から逆転用モード信号を求めていること
、逆転用モード信号を求めるのに１フレーノ・の遅延が
かかるのでフレーム遅延素子１５１が２フレーム遅延素
子に置き換わっていることである。

また第６図の（ｅ）に本発明を用いて構成した逆転再生
を可能にする動き補償フレーム間予測符号化方式の符号
化装置の別の構成例を示す。この例ではフレーム内符号
として直交変換を用いている。第６図の（Ｃ）と異なる
のは拡張モード信号Ｓｏ＋を用いてフレーム遅延素子１
３０で２フレーム遅延した入力信号から復号化に必要な
信号を選択し再び直交変換を行なう点である。この２回
目の直交変換は最小変換係数発生回路１７０で行なわれ
る。この最少変換係数発生回路１７０では線形計画法に
基づいて発生符号量を少なく抑えるような符号化が行な
われる。

（発明の効果） 本発明によってフレーム内／フレーム間予測符号化方式
、また動き補償フレーム間予測符号化方式において逆転
再生が可能になる符号化方式が明らかになった。またそ
の符号化方式に基づく符号を復号する復号化装置とその
符号化方式を実現する符号化装置の構成が与えられる。

またフレーム内符号化方式として直交変換符号化方式を
用いる場合においても効率的な符号化が保証される。

【図面の簡単な説明】

第１図の（ａ）は本発明に従って構成された逆転再生可
能なフレーム間／フレーム内適応符号化方式の復号化装
置例、第１図の（ｂ）　（ｃ）は本発明に従って構成さ
れた逆転再生可能な動き補償フレーム間予測符号化方式
の復号化装置例、第２図の（ａ）　（ｂ）　（ｃ）は従
来技術によるフレーム間／フレーム内適応符号化方式の
復号化装置例、第２図の（ｄ）は従来技術による動き補
償フレーム間予測符号化方式の復号化装置例、第３図の
（ａ）　（ｂ）　（ｃ）はフレーム間ｌフレーム内適応
符号化方式における逆転再生を可能にする方式の原理を
説明した図、第４図の（ａ）　（ｂ）　（ｃ）は動き補
償フレーム間予測符号化における逆転再生を可能にする
方式の原理を説明した図、第５図の（ａ）　（ｂ）は逆
転再生可能な動き補償フレーム間予測符号化方式の復号
機で用いられる動きベクトル・モード信号展開回路の構
成例、第６図の（ａ）は本発明に従って構成された逆転
再生可能なフレーム間ｌフレーム内適応符号化方式の符
号化装置の例、第６図の（ｂ）はそのなかで用いられる
拡張モード信号生成回路の構成例、第６図の（ｃ）　（
ｅ）は本発明に従って構成された逆転再生可能な動き補
償フレーム間予測符号化方式の符号化装置の例、第６図
の（ｄ）はそのなかで用いられる拡張モード信号生成回
路の構成例である。 また図中、５０は正負反転回路、７０．６２は加算器、
４２、４３．１５４．１５５は減算器、８ｏ、　１２１
．１２３．１３１はスイッチ、４４．４５は乗算器を示
している。

Claims (10)

【特許請求の範囲】
1. （１）フレーム間予測誤差信号と、フレーム内の画素間
   相関を用いて符号化したフレーム内符号化信号と、それ
   らを選択するモード信号とを用いる動画像信号符号化方
   式において、次フレームでフレーム内符号化が行なわれ
   る画素についてはフレーム間予測符号化が行なわれる場
   合でもフレーム内符号化も行ない、その符号を符号化信
   号列に多重化することで動画像の逆転再生を可能にする
   動画像の符号化方式。
2. （２）フレーム間予測誤差信号とフレーム内の画素間相
   関を用いて符号化したフレーム内符号化信号とそれらを
   選択するモード信号とが多重化された信号を記録媒体か
   ら読み出し、画素ごとに前記３信号を並列に発生する手
   段と、フレーム内符号化信号を復号化する手段と最終的
   に復号化された画像信号を１フレーム遅延させ前記フレ
   ーム間予測誤差信号を加え合わせることで新しい画像信
   号を得るフレーム間予測復号器と前記フレーム内符号化
   信号から得られた画像信号と前記フレーム間予測誤差か
   ら得られた画像信号とを前記モード信号によって切換え
   る手段とを有するフレーム間／フレーム内適応符号化方
   式の復号化装置において前記記録媒体からフレームごと
   に通常に読み出すのとは逆の順序で信号を読み出す手段
   と、前記フレーム間予測誤差信号の正負を逆転させる手
   段と前記並列に出力されたフレーム内符号化信号から得
   られたフレーム内符号化信号とフレーム間予測誤差信号
   とモード信号の３つの信号のうちモード信号と予測誤差
   信号については１フレーム遅延させるタイミング補正手
   段と逆転再生時には前記記録媒体から逆順序での読み出
   しと前記フレーム間予測誤差信号の正負を逆転させる手
   段とタイミング補正とを動作させ、通常の順方向再生の
   場合には動作させないようにこれらの手段を制御する手
   段を有することを特徴とする請求項（１）記載の符号化
   方法による信号系列の復号化を可能にする動画像の復号
   化装置。
3. （３）画像信号からフレーム間予測誤差信号とフレーム
   内の画素間相関を用いて符号化したフレーム内符号化信
   号とを同時に発生する手段とそのフレーム間予測誤差信
   号とフレーム内符号化信号からどちらかを選択し選択結
   果を示すモード信号を発生する手段と、そのモード信号
   とフレーム間予測誤差信号とフレーム内符号化信号を１
   フレーム遅延させる手段とその１フレーム遅延したモー
   ド信号で１フレーム遅延したフレーム間予測誤差信号の
   うち符号化に必要な信号を選択する手段と前記フレーム
   遅延していないモード信号から逆転再生にフレーム内符
   号化信号を必要とする画素を、また前記フレーム遅延し
   たモード信号から通常再生にフレーム内符号化信号を必
   要とする画素を判定し、前記１フレーム遅延したフレー
   ム内符号化信号から該当する画素信号を選択する手段と
   前記選択されたフレーム間予測誤差信号と前記選択され
   たフレーム内符号化信号と前記１フレーム遅延したモー
   ド信号とを多重化する手段とを有することで請求項（１
   ）の符号化方式を実現する符号化装置。
4. （４）動きベクトルを用いた動き補償フレーム間予測誤
   差信号とフレーム内符号化信号とそれらを選択するモー
   ド信号とを用いる動画像信号符号化方式において次画像
   での動き補償フレーム間予測符号化で参照されることの
   無い画素についてはフレーム内符号化によっても符号化
   を行ないその符号化信号を符号化信号列に多重化するこ
   とで動画像の逆転再生を可能にする請求項（１）記載の
   動画像の符号化方式。
5. （５）動き補償フレーム間予測誤差信号と動きベクトル
   信号とフレーム内符号化信号とモード信号とが多重化さ
   れた信号を記録媒体から読み出し画素ごとに前記４信号
   を並列に発生する手段と、フレーム内符号化信号を復号
   化する手段と、最終的に復号化された画像信号を１フレ
   ーム遅延させ更に前記動きベクトル信号に応じた可変遅
   延を行ない動き補償フレーム間予測信号を得る手段と、
   その動き補償フレーム間予測信号に前記動き補償フレー
   ム間予測誤差信号を加え合わせることで新しい画像信号
   を得る手段とその動き補償フレーム間予測誤差信号から
   得られた画像信号と前記フレーム内符号化信号から得ら
   れた画像信号とを前記モード信号によって切換える手段
   とを有する動き補償フレーム間予測符号化方式の復号化
   装置において前記記録媒体からフレームごとに通常に読
   み出すのとは逆の順序で信号を読み出す手段と、前記並
   列に出力されたフレーム内符号化信号と動き補償フレー
   ム間予測誤差信号と動きベクトル信号とモード信号のう
   ち動き補償フレーム間予測誤差信号については１フレー
   ム遅延させるタイミング補正と呼ばれる手段と前記選択
   信号と動きベクトル信号について通常再生の場合には変
   化させず、逆転再生を行なう時には動きベクトル信号の
   水平、垂直成分を正負反転し、かつそれぞれの動きベク
   トル信号に対してそれを適応しなければならない画素を
   決定しその画素の復号時に前記正負反転した、動きベク
   トル信号を出力し、また対応する動きベクトル信号が存
   在しない画素についてはフレーム内符号化信号が必要な
   画素としてフレーム内符号化を示すモード信号を発生す
   る動きベクトル・モード信号展開と呼ばれる手段と、逆
   転再生時には前記タイミング補正された動き補償フレー
   ム間予測誤差信号を正負反転させ、更に前記動きベクト
   ル・モード信号展開から出力された動きベクトルを用い
   てその正負反転された動き補償フレーム間予測誤差信号
   を可変遅延させる手段とを有することを特徴とする請求
   項（４）記載の符号化方式による信号系列の復号化を可
   能にする動画像の復号化装置。
6. （６）請求項（５）で記載の動き補償フレーム間予測符
   号化方式の復号化装置において逆転再生時には動き補償
   フレーム間予測誤差信号を正負反転し動きベクトル信号
   を用いて可変遅延させる手段において正負反転は行なう
   が可変遅延を行なわず、最終的に複合化された画像信号
   を１フレーム遅延させ更に前記動きベクトル信号に応じ
   た可変遅延を行ない動き補償フレーム間予測信号を得る
   手段において逆転再生の場合には可変遅延を行なわず、
   逆転再生の場合には動き補償フレーム間予測信号と動き
   補償フレーム間予測誤差信号を加え合わせることで得ら
   れた画像信号を動きベクトル信号に応じて可変遅延させ
   る手段とを有する、ことを特徴とする請求項（４）記載
   の符号化方式による信号系列の復号化を可能にする動画
   像の復号化装置。
7. （７）通常再生の場合は入力された動きベクトル信号と
   モード信号をそのまま出力し、逆転再生の場合には動き
   ベクトルの水平成分と垂直成分とモード信号を記憶する
   メモリ手段を有し、このメモリに対してフレーム毎にメ
   モリ内のモード信号をフレーム内モードを示す信号に書
   き改める手段と、入力された動きベクトル成分の正負を
   反転させて記憶させる手段と、記憶する動きベクトルに
   対応する画素位置から動きベクトルの成分を減算し記憶
   アドレスを決定する手段と、入力されたモード信号がフ
   レーム間モードを示す場合は前記動きベクトルをメモリ
   へ入力しまたフレーム間モードを示す信号をメモリに入
   力する手段と、このメモリの内容を書込まれてから１フ
   レームの遅延の後、順次読みだし逆転再生用に変換され
   た動きベクトル信号とモード信号を得る手段とを有する
   ことを特徴とした請求項（５）の動きベクトル・モード
   信号展開を行なう回路。
8. （８）請求項（７）記載の動きベクトル・モード信号展
   開を行なう回路に対して動きベクトル信号とは別にモー
   ド信号をメモリに記憶せず、入力されたモード信号を動
   きベクトルに多重化する手段と、メモリから読みだされ
   た動きベクトル信号とモード信号が多重化された信号か
   ら動きベクトル信号とモード信号を分離する手段と、フ
   レーム毎にメモリ内の信号をフレーム内モードを示す多
   重化信号に書き改める手段と、を有することを特徴とし
   た請求項（６）記載の動きベクトル・モード信号展開を
   行なう回路。
9. （９）画像信号からフレーム間予測誤差信号と動きベク
   トル信号とフレーム内符号化信号とを同時に発生する手
   段とそのフレーム間予測誤差信号とフレーム内符号化信
   号からどちらかを選択し選択結果を示すモード信号を発
   生する手段と、そのモード信号とフレーム間予測誤差信
   号と動きベクトル信号とフレーム内符号化信号を２フレ
   ーム遅延させる手段とその２フレーム遅延したモード信
   号で２フレーム遅延したフレーム間予測誤差信号と動き
   ベクトルのうち符号化に必要な信号を選択する手段と前
   記２フレーム遅延したモード信号から通常再生時にフレ
   ーム内符号化信号を必要とする画素を決定し請求項（７
   ）（８）と同一の構成により前記２フレーム遅延してい
   ないモード信号と動きベクトル信号から逆転再生時にフ
   レーム内符号化信号を必要とする画素を決定し前記２フ
   レーム遅延したフレーム内符号化信号のうち通常再生・
   逆転再生に必要な信号を選択する手段と前記選択された
   フレーム間予測誤差信号と前記選択された動きベクトル
   信号と前記選択されたフレーム内符号化信号と前記２フ
   レーム遅延したモード信号とを多重化する手段とを有す
   ることで請求項（４）の符号化方式を実現する符号化装
   置。
10. （１０）画像信号からフレーム間予測符号化信号と動き
    ベクトル信号と直交変換符号化信号とを同時に発生する
    手段とそのフレーム間予測誤差信号と直交変換符号化信
    号からどちらかを選択し選択結果を示すモード信号を発
    生する手段と、そのモード信号とフレーム間予測誤差信
    号と動きベクトル信号と符号化されていない入力画像信
    号とを２フレーム遅延させる手段とその２フレーム遅延
    したモード信号で２フレーム遅延したフレーム間予測誤
    差信号と動きベクトル信号のうち符号化に必要な信号を
    選択する手段と前記２フレーム遅延したモード信号から
    通常再生時にフレーム内符号化信号を必要とする画素を
    決定し前記２フレーム遅延していないモード信号と２フ
    レーム遅延していない動きベクトル信号から請求項（７
    ）（８）と同一の構成により逆転再生時にフレーム内符
    号化信号を必要とする画素を決定する手段と上記フレー
    ム内符号化信号を、必要とする画素を含む画素ブロック
    に対して符号発生量を抑えるように線形計画法を用いた
    方式で直交変換を行ない符号化を行なう手段とその直交
    変換符号化信号と前記選択されたフレーム間予測誤差信
    号と動きベクトルと前記２フレーム遅延したモード信号
    とを多重化する手段とを有することで請求項（４）の符
    号化方式を実現する符号化装置。