JPH08107558A - 動画符号化および復号の方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】符号量を大幅に低減しても画質の劣化を防止
し、より効率的な符号化および復号を行うことが可能な
動画符号化および復号の方法および装置を提供するこ
と。 【構成】フレーム内符号化画像Ｉを起点にして、複数フ
レームおきにワーピング動き補償フレーム間符号化を行
う。即ち、動きベクトルと予測誤差とを符号化する。こ
のフレーム間符号化した画像をＰとする。ＩもしくはＰ
の間の画像Ｆは、Ｐ画像の符号化に用いられた動きベク
トルのみを用いて復号する。これにより、符号量を大幅
に低減できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画符号化および復号の
方法および装置に関し、特にテレビ信号に代表される動
画信号の蓄積記録、伝送、放送に使用する動画符号化お
よび復号の方法および装置に関する。

【０００２】

【従来の技術】従来の動画符号化および復号の方法およ
び装置には、近年動き補償フレーム間予測符号化方式が
動画符号化の標準方式の一部として盛んに用いられてい
る。特に、この動き補償フレーム間予測符号化方式に、
離散コサイン符号化方式（以下ＤＣＴと記す）を組み合
わせたハイブリッド符号化方式などが最もよく使われて
いる。それらのシステムでは、ブロックマッチングを用
いた動き補償と、視覚特性を考慮した量子化を行うＤＣ
Ｔ符号化が用いられるのが常である。

【０００３】本願発明に使用するワーピング動き補償予
測は、動き補償予測の一種で、ブロック単位で求めた動
きベクトルを内挿して画素単位に求め、画素単位の動き
補償を行う方式である。この技術に関しては、ジェー・
ニーウェロゥスキー等（J.Niewglowski,T.G.Campbell,a
nd P.Haavisto,）のア・ノベル・ビデオ・コーディング
・スキーム・ベースド・オン・テンポラル・プリディク
ション・ユーシング・ディジタル・イメージ・ワーピン
グ（A novel video codingscheme based on temporal p
rediction using digital image warping,）と題した、
１９９３年６月８〜１０日に米国・シカゴ市で開催され
たアイイーイーイー・インターナショナル・コンファレ
ンス・オン・コンシュマ・エレクトロニクス（IEEE Int
ernational Conference on Consumer Electronics ）で
の発表や、本願発明の発明者による出願番号平成５−３
３０５５６号（「コントロールグリッドを用いた動画符
号化方式」）に、「コントロールグリッド動き補償」と
いう名称で詳細な記述がある。また、ジー・ウォルバー
グ（G. Wolberg）によるディジタル・イメージ・ワーピ
ング（Digital Image Warping,）と題した、１９９０年
に米国・カリフォルニア州・ロスアラミトス社で発行さ
れたアイイーイーイー・コンピュータ・ソサィヤティ・
プレス（IEEE Computer Society Press,）での説明など
も知られている。さらにこの方式は、モーフィング動き
補償とも呼ばれ、ジー・ジェー・サリバン等（G.J. Sul
livan and R. L. Baker,）のモーション・コンペンセー
ション・フォー・ビデオ・コンプレッション・ユーシン
グ・コントロール・グリッド・インターポレーション
（Motion compensation for video compression using
control grid interpolation, ）と題した、１９９１年
５月にカナダ国トロント市で開催されたインターナショ
ナル・コンファレンス・オン・アコーステックス・スピ
ーチ・アンド・シグナル・プロセッシング（Int. Conf.
Acoustics, Speech, and Signal Processing,）でのア
イイーイーイー・プロシーディングス（IEEEProc.）の
２７１３〜２７１６頁に記載されているものや、中谷と
原島によるモーション・コンペンセーション・ベースド
・オン・セグメンテーション・バイ・インテグレーショ
ン・オブ・トライアンギュラ・パッチズ（Motion compe
nsation based on segmentation by integration of tr
iangular patches, ）と題した９１年画像符号化シンポ
ジウム予稿集、３―１などによって具体的な提案がなさ
れている。

【０００４】次に、ワーピング動き補償の概要を説明す
る。図６はワーピング動き補償で動きベクトルがどうい
うふうに用いられるかを説明する説明図である。

【０００５】まず画面の中に等間隔の格子を設定する。
それぞれの格子点での動きベクトルが求められ、格子点
以外の画素では最寄りの複数の格子点の動きベクトルか
ら画素ごとの動きベクトルを内挿計算で求める。

【０００６】この、ワーピング動き補償は、従来のブロ
ック単位の動き補償と置き換え可能である。従って、容
易にDCT等とのハイブリッド符号化方式にも対応でき
る。例えば、従来の動画像符号化装置としては、図７の
ブロック図に示すように、複数のフレームからなる動画
像データの過去のフレームを格納する第１のフレームメ
モリ１１と、第１のフレームメモリ１１からの出力と現
在のフレームとから動きベクトルを推定する動きベクト
ル推定手段１２と、動きベクトル推定手段１２の推定す
る動きベクトルを基にワーピング動き補償演算を行うワ
ーピング動き補償手段１３と、ワーピング動き補償手段
１３の補償演算結果と現在入力中のフレームの差分を計
算する差分器１４と、差分器１４の出力である予測誤差
信号を予測誤差符号として符号化する予測誤差符号化手
段１５と、そこで得られた局所復号信号をワーピング動
き補償手段１３の補償演算結果に加算し出力する加算器
１６と、加算器１６の出力を次のフレームのワーピング
動き補償演算に用いるために格納する第２のフレームメ
モリ１７と、動きベクトル推定手段１２が推定した動き
ベクトルを符号化する動きベクトル符号化手段１８と、
動きベクトル符号化手段１８の出力と予測誤差符号と各
フレームの量子化特性とを多重化し符号列として出力す
る多重化手段１９と、多重化手段１９の出力する符号列
を平滑化して一定速度で転送するバッファ２０と、現在
入力中のフレームとバッファでの発生符号量とを解析し
量子化特性を決定し予測誤差符号化手段１５と多重化手
段１９とに供給する解析器２１とを備えるものがある。

【０００７】この動画像符号化装置の動作は、複数のフ
レームからなる動画像データを受信し、第１のフレーム
メモリ１１に格納した過去のフレームと現在入力中のフ
レームとから動きベクトル推定手段１２が動きベクトル
を推定し、この動きベクトルを基にワーピング動き補償
手段１３がワーピング動き補償演算を行う。次に、この
ワーピング動き補償演算結果と現在入力中のフレームと
の差分である予測誤差信号を差分器１４で算出し、算出
した予測誤差信号を予測誤差符号化手段１５で予測誤差
符号として符号化する。続いて加算器１６でこの予測誤
差符号をワーピング動き補償演算結果に加算し、この加
算結果を次のフレームのワーピング補償演算に用いるた
め、第２のフレームメモリ１７に記憶する。先に動きベ
クトル推定手段１２が推定した動きベクトルは転送する
ため動きベクトル符号化手段１８で符号化する。次に、
多重化手段１９は、動きベクトル符号化手段１８の出力
と予測誤差符号と各フレームの量子化特性とを多重化し
符号列として出力する。続いてバッファ２０は多重化手
段１９の出力する符号列を平滑化して一定速度で転送す
る。さらに、解析器２１は現在入力中のフレームとバッ
ファ２０での発生符号量とを解析し量子化特性を決定し
予測誤差符号化手段１５と多重化手段１９とに供給す
る。

【０００８】これに対して従来の動画像復号装置として
は、図８のブロック図に示すように、受信した符号列を
一時蓄積するバッファ３１と、バッファ３１を介して受
信した符号列を動きベクトルの符号化信号と予測誤差信
号符号と量子化特性とを含む複数の要素に分離する逆多
重化手段３２と、逆多重化手段３２の出力する予測誤差
符号と量子化特性とから予測誤差信号を復号する予測誤
差復号手段３３と、動きベクトルの符号化信号から動き
ベクトルを復号する動きベクトル復号手段３４と、復号
した動きベクトルを用いてワーピング動き補償を行うワ
ーピング動き補償手段３５と、予測誤差信号とワーピン
グ動き補償の結果とを加算する加算器３６と、加算器３
６の出力を次のフレームのワーピング動き補償に用いる
ために格納するフレームメモリ３７とを備えるものがあ
る。

【０００９】この復号器の動作は、まず、バッファ３１
が受信した符号列を逆多重化手段３２により動きベクト
ルの符号化信号と予測誤差符号と量子化特性とを含む複
数の要素に分離し、続いて予測誤差復号手段３３が予測
誤差符号と量子化特性とから差分を復号する。同時に動
きベクトル復号手段３４が動きベクトルの符号化信号か
ら動きベクトルを復号し、続いてワーピング動き補償手
段３５がこの動きベクトルとフレームメモリに記憶され
ている過去のフレームとを用いてワーピング動き補償を
行う。次に、加算器３６がワーピング動き補償の結果と
差分とを加算し複数のフレームからなる動画像データを
復号し、出力する。フレームメモリ３７は、加算器３６
の出力を次のフレームのワーピング動き補償に用いるた
めに格納する。

【００１０】

【発明が解決しようとする課題】上述した従来の動画符
号化および復号装置は、動作原理が、動き補償予測符号
化方式であっても、あるいはワーピング動き補償予測符
号化方式であっても、低ビットレートの符号化に適用し
た場合には、画質が劣化するという問題点があった。

【００１１】本発明の目的は、ワーピング動き補償を飛
び越しフレームの相互間に内挿あるいは外挿法によるフ
レームを補完することにより、符号量を大幅に低減して
も画質の劣化を防止し、より効率的な符号化および復号
を行うことが可能な動画符号化および復号の方法および
装置を提供することにある。

【００１２】

【課題を解決するための手段】本発明の動画符号化方法
は、複数のフレームからなる動画像データの過去のフレ
ームと現在入力中のフレームとから動きベクトルを推定
し、この動きベクトルを基にワーピング動き補償演算を
行い、このワーピング動き補償演算結果と現在入力中の
フレームとの差分である予測誤差信号を符号化し、この
予測誤差符号を前記ワーピング動き補償演算結果に加算
し、この加算結果を次のフレームのワーピング補償演算
に用いるためフレームメモリに記憶し、前記動きベクト
ルを符号化し量子化特性を含めて前記予測誤差符号と多
重化し符号列として出力する動画符号化方法において、
現在入力中のフレームと前記符号列とを解析することで
前記複数のフレーム中で量子化すべきフレームを定める
ための飛び越しフレーム数を定め、前記現在入力中のフ
レームに対し飛び越しフレーム数分飛び越しながら該当
するフレームごとにワーピング動き補償演算を行い現在
入力中のフレームとの差分である予測誤差信号を予測誤
差符号として符号化すると共に飛び越した前記フレーム
数を符号化し、前記動きベクトルの符号化信号および前
記該当するフレームの予測誤差符号と前記フレーム数の
符号化信号とを多重化し符号列として出力する構成であ
る。

【００１３】本発明の動画復号方法は、受信した符号列
を逆多重化手段により動きベクトルの符号化信号と予測
誤差符号と量子化特性とを含む複数の要素に分離し、前
記動きベクトルの符号化信号から動きベクトルを復号
し、この動きベクトルとフレームメモリに記憶されてい
る過去のフレームとを用いてワーピング動き補償を行
い、前記予測誤差符号と前記量子化特性とから差分を復
号し、前記ワーピング動き補償の結果と前記差分とを加
算し複数のフレームからなる動画像データを復号する動
画復号方法において、前記受信した符号列を復号したデ
ータの定めるフレーム数分飛び越しながら抽出した複数
のフレームとこの飛び越したフレーム数に従って、前記
動きベクトルを復号した隣接するフレーム間の距離に応
じて内挿し、この内挿した動きベクトルでワーピング動
き補償のみを行って前記複数のフレームのそれぞれの間
に存在し前記受信した符号列に存在しない複数のフレー
ムを再構成する構成である。

【００１４】本発明の動画復号方法は、受信した符号列
を逆多重化手段により動きベクトルの符号化信号と予測
誤差符号と量子化特性とを含む複数の要素に分離し、前
記動きベクトルの符号化信号から動きベクトルを復号
し、この動きベクトルとフレームメモリに記憶されてい
る過去のフレームとを用いてワーピング動き補償を行
い、前記予測誤差符号と前記量子化特性とから差分を復
号し、前記ワーピング動き補償の結果と前記差分とを加
算し複数のフレームからなる動画像データを復号する動
画復号方法において、前記受信した符号列を復号したデ
ータの定めるフレーム数分飛び越しながら抽出した複数
のフレームとこの飛び越したフレーム数に従って、前記
動きベクトルを復号した隣接するフレーム間の距離に応
じて内挿および外挿し、この内挿および外挿した動きベ
クトルでワーピング動き補償のみを行って前記複数のフ
レームのそれぞれの間に存在し前記受信した符号列に存
在しない複数のフレームを再構成する構成である。

【００１５】本発明の動画符号化装置は、複数のフレー
ムからなる動画像データの過去のフレームを格納する第
１のフレームメモリと、前記第１のフレームメモリから
の出力と現在のフレームとから動きベクトルを推定する
動きベクトル推定手段と、前記動きベクトル推定手段の
推定する動きベクトルを基にワーピング動き補償演算を
行うワーピング動き補償手段と、前記ワーピング動き補
償手段の補償演算結果と現在入力中のフレームの差分を
計算する差分器と、この差分器の出力である予測誤差信
号を予測誤差符号として符号化する予測誤差符号化手段
と、前記予測誤差符号を前記ワーピング動き補償手段の
補償演算結果に加算し出力する加算器と、この加算器の
出力を次のフレームのワーピング動き補償演算に用いる
ために格納する第２のフレームメモリと、前記動きベク
トルを符号化する動きベクトル符号化手段と、この動き
ベクトル符号化手段の出力と前記予測誤差符号と各フレ
ームの量子化特性とを多重化し符号列として出力する多
重化手段と、この多重化手段の出力する符号列を平滑化
して一定速度で転送するバッファと、現在入力中のフレ
ームと前記バッファでの発生符号量とを解析し量子化特
性を決定し前記予測誤差符号化手段と多重化手段とに供
給する解析器とを備える動画符号化装置において、前記
解析器が現在入力中のフレームと発生符号量とを監視し
ながら飛び越しフレーム数を決定し出力する機能を備
え、前記多重化手段が前記飛び越しフレーム数を符号化
して他の符号と多重化する機能を備え、前記飛び越しフ
レーム数に従って符号化するフレームを選出するタイミ
ングを生成するタイミング生成器と、このタイミング生
成器の出力を受け連続して入力する複数のフレームから
符号化するフレームのみを取込むスイッチとを有する構
成である。

【００１６】本発明の動画復号装置は、受信した符号列
を一時蓄積するバッファと、このバッファを介して受信
した符号列を動きベクトルの符号化信号と予測誤差信号
符号と量子化特性とを含む複数の要素に分離する逆多重
化手段と、この逆多重化手段の出力する予測誤差符号と
量子化特性とから予測誤差信号を復号する予測誤差復号
手段と、動きベクトルの符号化信号から動きベクトルを
復号する動きベクトル復号手段と、復号した動きベクト
ルを用いてワーピング動き補償を行うワーピング動き補
償手段と、前記予測誤差信号と前記ワーピング動き補償
の結果とを加算する加算器と、この加算器の出力を次の
フレームのワーピング動き補償に用いるために格納する
フレームメモリとを備える動画復号装置において、前記
逆多重化手段が出力に含まれる飛び越しフレーム数の符
号化信号を復号する機能を備え、復号された前記飛び越
しフレーム数と前記ワーピング動き補償手段からワーピ
ング動き補償実行時のフレームごとの終了信号とを受け
処理中のフレームと直前に処理したフレームとの距離を
計数するフレームカウンタと、前記動きベクトル復号手
段の復号した動きベクトルを記憶するメモリと、このメ
モリから動きベクトルを受け前記フレームカウンタから
フレーム間距離および飛び越しフレーム数を受け処理中
のフレームの動きベクトルを内挿計算で求め前記ワーピ
ング動き補償手段に供給する動きベクトル内挿手段と、
送信時に符号化され受信時に復号すべきフレームの出力
時にのみ接続し前記加算器に予測誤差信号を加える第１
のスイッチと、前記第１のスイッチの接続時にのみ接続
し前記加算器の出力を前記フレームメモリに格納する第
２のスイッチとを有する構成である。

【００１７】本発明の動画復号装置は、前記動きベクト
ル内挿手段を、前記メモリから動きベクトルを受け前記
フレームカウンタからフレーム間距離および飛び越しフ
レーム数を受け処理中のフレームの動きベクトルを外挿
および内挿計算で求め前記ワーピング動き補償手段に供
給する動きベクトル内挿／外挿手段で置換してもよい。

【００１８】

【作用】この発明では、動画像を構成するフレームは３
種類に分類される。１つ目は、フレーム間予測符号化を
行わない、フレーム内符号化フレームで、Ｉフレームと
表記する。Ｉフレームは符号化もしくは復号を開始する
ために必要なフレームであり、用途に応じて挿入頻度が
変わる。

【００１９】２つ目は、通常の予測符号化フレームで、
これは従来の技術で説明した通り符号化される。これを
Ｐフレームと表記する。本発明では、数フレームずつ飛
ばしながら、このＰフレームを設定する。図３はＩフレ
ームおよびＰフレームとその他の符号化されないフレー
ムとの関係を説明するための説明図である。図３に示す
ように、飛ばされたフレームは符号化されない。飛び越
しフレーム数は任意に変化して良い。そのために、動画
復号装置側で飛び越しフレーム数が必要とされ、動画符
号化装置側で飛び越しフレーム数を符号化多重する。こ
れが、請求項１および４の発明である。

【００２０】動画復号装置側ではＰフレームの動きベク
トルと予測誤差と飛び越しフレーム数のみが復号され
る。ここで飛び越されたフレームをＦフレームと表記す
る。このＦフレームを如何に再構成させるかにより、請
求項２および５、あるいは請求項３および６のいずれか
の発明となる。

【００２１】Ｆフレームを再構成するに当ってＰフレー
ム用の動きベクトルをＦフレームの位置に応じて内挿し
てＦフレーム用の動きベクトルとすることができる。こ
の内挿された動きベクトルでワーピング動き補償を行
い、予測誤差を加えずにそのままＦフレームの再構成信
号として表示する。図４は復号時内挿法で処理するＩフ
レームおよびＰフレームと再構成されたＦフレームとの
関係を説明するための説明図である。図４に示す例で
は、Ｉフレームと直後のＰフレームとの間には１枚のＦ
フレームがはさまっている。このＦフレームはＰフレー
ム用の動きベクトルv0を内挿した(1/2)v0 によってワー
ピング動き補償で再構成される。更にこのＰフレームと
次のＰフレームの間には２枚のＦフレームがはさまって
おり、次のＰフレーム用の動きベクトルv1を用いた、(1
/3)v1,(2/3)v1 によって、ワーピング動き補償で再構成
される。これが請求項２および５の発明である。

【００２２】一般に、動画像の動きは連続しており、こ
うした処理でも自然な画像を再構成できる。特にワーピ
ング動き補償は従来のブロック動き補償と違って、動き
補償結果に不連続点を発生させない。そのために、こう
した時間方向の動き内挿を行っても、不自然感を発生さ
せない。請求項２および５の発明ではＰフレーム用の動
きベクトルの復号を待って、Ｆフレームの復号が開始さ
れるので、復号遅延が生じてしまう。この問題を抑制す
るのが請求項３および６の発明である。ここでは、動き
ベクトルの内挿法だけではなく、外挿法も導入してい
る。図５は復号時内挿法および外挿法で処理するＩフレ
ームおよびＰフレームと再構成されたＦフレームとの関
係を説明するための説明図である。図５に示す例では、
第１のＰフレームと次のＰフレームの間には２枚のＦフ
レームがはさまっているが、最初のＦフレームの動きベ
クトルは請求項２および５の発明で用いた(1/3)v1では
なく、ひとつ前で用いた動きベクトルv0を用いた(2/3)v
0として、Ｉフレームからワーピング動き補償してい
る。これによって、復号遅延を抑制できるのである。こ
れが請求項３および６の発明である。

【００２３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２４】図１は本発明の動画符号化装置の一実施例
のブロック図である。

【００２５】従来の動画符号化装置と異なるのは、解析
器１が、現在入力中のフレームと発生符号量とを監視し
ながら飛び越しフレーム数を決定し出力する機能を備
え、多重化手段２が、飛び越しフレーム数を符号化して
他の符号と多重化する機能を備え、さらに、飛び越しフ
レーム数に従って符号化するフレームを選出するタイミ
ングを生成するタイミング生成器３と、タイミング生成
器３の出力を受け連続して入力する複数のフレームから
符号化するフレームのみを取込むため遅延器４と組合せ
たスイッチ５とを追加した点である。その他、名称およ
び符号が従来の動画符号化装置と同一のものは、機能も
同一であるため説明を省略する。

【００２６】次に動作について説明する。なお、説明が
冗長となることを防ぐため、主に従来の動画符号化装置
と異なる動作を行う部分について説明を行うこととす
る。

【００２７】一般に、データ圧縮を行う場合、動きが単
調で少なければ飛び越しフレーム数は大きくしてよく、
動きが激しかったり、シーンチェンジが起こったりすれ
ば、飛び越しフレーム数を小さくする必要がある。この
ため、解析器１が、現在入力中のフレームとバッファ２
０の符号列とを監視し、これら２つの信号の量的変化を
解析することで、複数のフレーム中で量子化すべきフレ
ームを定めるための飛び越しフレーム数を定め、多重化
手段２とタイミング生成器３とに通知する。タイミング
生成器３は、現在入力中のフレームに対し飛び越しする
か否かを判別しながら、指定されたフレーム数分飛び越
したフレームをスイッチ５を操作して取込む。以後取込
んだフレームを従来の動画符号化装置と同様に動作し、
該当するフレームごとにワーピング動き補償演算を行
い、現在入力中のフレームとの差分である予測誤差信号
を予測誤差符号として符号化すると共に、多重化手段２
で飛び越したフレーム数を符号化し、動きベクトルの符
号化信号および該当するフレームの予測誤差符号とフレ
ーム数の符号化信号とを多重化し符号列として出力す
る。

【００２８】図２は本発明の動画復号装置の一実施例の
ブロック図である。図２分図（ａ）は本発明の動画復号
装置の第１の実施例のブロック図で、図２分図（ｂ）は
本発明の動画復号装置の第２の実施例のブロック図であ
る。

【００２９】本発明の動画復号装置の第１の実施例が従
来の動画復号装置と異なるのは、逆多重化手段２２が出
力に含まれる飛び越しフレーム数の符号化信号を復号す
る機能を備え、さらに、復号された飛び越しフレーム数
とワーピング動き補償手段からワーピング動き補償実行
時のフレームごとの終了信号とを受け、処理中のフレー
ムと直前に処理したフレームとの距離を計数するフレー
ムカウンタ２３と、動きベクトル復号手段３４の復号し
た動きベクトルを記憶するメモリ２４と、メモリ２４か
ら動きベクトルを受けフレームカウンタ２３からフレー
ム間距離および飛び越しフレーム数を受け処理中のフレ
ームの動きベクトルを内挿計算で求めワーピング動き補
償手段３５に供給する動きベクトル内挿手段２５と、送
信時に符号化され受信時に復号すべきフレームの出力時
にのみ接続し加算器３６に予測誤差信号を加える第１の
スイッチ２６と、第１のスイッチ２６の接続時にのみ接
続し加算器３６の出力をフレームメモリ３７に格納する
第２のスイッチ２７とを追加した点である。その他、名
称および符号が従来の動画復号装置と同一のものは、機
能も同一であるため説明を省略する。

【００３０】次に動作について説明する。なお、説明が
冗長となることを防ぐため、主に従来の動画復号装置と
異なる動作を行う部分について説明を行うこととする。

【００３１】受信した符号列から動きベクトルを動きベ
クトル復号手段３４で復号した後、この動きベクトルを
数フレームにわたって使うためにメモリ２４に格納し、
動きベクトル内挿手段２５が、フレームカウンタ２３か
らフレーム間距離および飛び越しフレーム数を受け、こ
の飛び越しフレーム数に従って、メモリ２４の動きベク
トルを復号した隣接するフレーム間の距離に応じて内挿
する。ワーピング動き補償手段３５は、この内挿した動
きベクトルでワーピング動き補償のみを行い、加算器３
６がワーピング動き補償の結果と差分とを、フレームカ
ウンタ２３の制御の下で第１のスイッチ２６を介して加
算し、送信側での実際のフレームのそれぞれの間に存在
し、受信した符号列には存在しなかった複数フレームを
含む動画像データを復号し出力する。このとき、フレー
ムメモリ３７は、加算器３６の出力を次のフレームのワ
ーピング動き補償に用いるために格納する。

【００３２】本発明の動画復号装置の第２の実施例が第
１の実施例と構成は全く同一で、唯一異なる点は、第１
の実施例では、動きベクトル内挿手段２５を用いていた
個所に、メモリ２４から動きベクトルを受けフレームカ
ウンタ２３からフレーム間距離および飛び越しフレーム
数を受け、処理中のフレームの動きベクトルを外挿およ
び内挿計算で求め、ワーピング動き補償手段３５に供給
する動きベクトル内挿／外挿手段２８に置換した点であ
る。

【００３３】次に動作について説明する。

【００３４】受信した符号列から動きベクトルを動きベ
クトル復号手段３４で復号した後、この動きベクトルを
数フレームにわたって使うためにメモリ２４に格納し、
動きベクトル内挿／外挿手段２８が、フレームカウンタ
２３からフレーム間距離および飛び越しフレーム数を受
け、この飛び越しフレーム数に従って、メモリ２４の動
きベクトルを復号した隣接するフレーム間の距離に応じ
て内挿および外挿する。ワーピング動き補償手段３５
は、この内挿および外挿した動きベクトルでワーピング
動き補償のみを行い、加算器３６がワーピング動き補償
の結果と差分とを、フレームカウンタ２３の制御の下で
第１のスイッチ２６を介して加算し、送信側での実際の
フレームのそれぞれの間に存在し、受信した符号列には
存在しなかった複数フレームを含む動画像データを復号
し出力する。このとき、フレームメモリ３７は、加算器
３６の出力を次のフレームのワーピング動き補償に用い
るために格納する。

【００３５】

【発明の効果】以上説明したように、本発明は、動画符
号化装置側では入力中のフレームと出力する符号列とを
解析することで飛び越しフレーム数を定め、現在入力中
のフレームの該当するフレームごとにワーピング動き補
償演算を行い、現在入力中のフレームとの差分である予
測誤差信号を予測誤差符号として符号化すると共に飛び
越したフレーム数を符号化し、動きベクトルの符号化信
号および該当するフレームの予測誤差符号とフレーム数
の符号化信号とを多重化し符号列として出力し、動画復
号装置側では受信した符号列を復号し抽出したフレーム
と飛び越したフレーム数とに従って、復号した動きベク
トルの隣接するフレーム間の距離に応じて内挿および外
挿し、この内挿および外挿した動きベクトルでワーピン
グ動き補償のみを行い、受信した符号列に存在しない飛
び越した複数のフレームを再構成することにより、符号
量を大幅に低減しても画質の劣化を防止し、より効率的
な符号化および復号を行うことが可能になるという効果
が有る。

【図面の簡単な説明】

【図１】本発明の動画符号化装置の一実施例のブロック
図である。

【図２】本発明の動画復号装置の一実施例のブロック図
である。

【図３】ＩフレームおよびＰフレームとその他の符号化
されないフレームとの関係を説明するための説明図であ
る。

【図４】復号時内挿法で処理するＩフレームおよびＰフ
レームと再構成されたＦフレームとの関係を説明するた
めの説明図である。

【図５】復号時内挿法および外挿法で処理するＩフレー
ムおよびＰフレームと再構成されたＦフレームとの関係
を説明するための説明図である。

【図６】ワーピング動き補償で動きベクトルがどういう
ふうに用いられるかを説明する説明図である。

【図７】従来の動画像符号化装置のブロック図である。

【図８】従来の動画像復号装置のブロック図である。

【符号の説明】

１，２１ 解析器 ２，１９ 多重化手段 ３ タイミング生成器 ４ 遅延器 ５ スイッチ １１ 第１のフレームメモリ １２ 動きベクトル推定手段 １３，３５ ワーピング動き補償手段 １４ 差分器 １５ 予測誤差符号化手段 １６，３６ 加算器 １７ 第２のフレームメモリ １８ 動きベクトル符号化手段 ２０，３１ バッファ ２２，３２ 逆多重化手段 ２３ フレームカウンタ ２４ メモリ ２５ 動きベクトル内挿手段 ２６ 第１のスイッチ ２７ 第２のスイッチ ２８ 動きベクトル内挿／外挿手段 ３３ 予測誤差復号手段 ３４ 動きベクトル復号手段 ３７ フレームメモリ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 複数のフレームからなる動画像データの
   過去のフレームと現在入力中のフレームとから動きベク
   トルを推定し、この動きベクトルを基にワーピング動き
   補償演算を行い、このワーピング動き補償演算結果と現
   在入力中のフレームとの差分である予測誤差信号を予測
   誤差符号として符号化し、この予測誤差符号を前記ワー
   ピング動き補償演算結果に加算し、この加算結果を次の
   フレームのワーピング補償演算に用いるためフレームメ
   モリに記憶し、前記動きベクトルを符号化し量子化特性
   を含めて前記予測誤差符号と多重化し符号列として出力
   する動画符号化方法において、現在入力中のフレームと
   前記符号列とを解析することで前記複数のフレーム中で
   量子化すべきフレームを定めるための飛び越しフレーム
   数を定め、前記現在入力中のフレームに対し飛び越しフ
   レーム数分飛び越しながら該当するフレームごとにワー
   ピング動き補償演算を行い現在入力中のフレームとの差
   分である予測誤差信号を予測誤差符号として符号化する
   と共に飛び越した前記フレーム数を符号化し、前記動き
   ベクトルの符号化信号および前記該当するフレームの予
   測誤差符号と前記フレーム数の符号化信号とを多重化し
   符号列として出力することを特徴とする動画符号化方
   法。
2. 【請求項２】 受信した符号列を逆多重化手段により動
   きベクトルの符号化信号と予測誤差符号と量子化特性と
   を含む複数の要素に分離し、前記動きベクトルの符号化
   信号から動きベクトルを復号し、この動きベクトルとフ
   レームメモリに記憶されている過去のフレームとを用い
   てワーピング動き補償を行い、前記予測誤差符号と前記
   量子化特性とから差分を復号し、前記ワーピング動き補
   償の結果と前記差分とを加算し複数のフレームからなる
   動画像データを復号する動画復号方法において、前記受
   信した符号列を復号したデータの定めるフレーム数分飛
   び越しながら抽出した複数のフレームとこの飛び越した
   フレーム数に従って、前記動きベクトルを復号した隣接
   するフレーム間の距離に応じて内挿し、この内挿した動
   きベクトルでワーピング動き補償のみを行って前記複数
   のフレームのそれぞれの間に存在し前記受信した符号列
   に存在しない複数のフレームを再構成することを特徴と
   する動画復号方法。
3. 【請求項３】 受信した符号列を逆多重化手段により動
   きベクトルの符号化信号と予測誤差符号と量子化特性と
   を含む複数の要素に分離し、前記動きベクトルの符号化
   信号から動きベクトルを復号し、この動きベクトルとフ
   レームメモリに記憶されている過去のフレームとを用い
   てワーピング動き補償を行い、前記予測誤差符号と前記
   量子化特性とから差分を復号し、前記ワーピング動き補
   償の結果と前記差分とを加算し複数のフレームからなる
   動画像データを復号する動画復号方法において、前記受
   信した符号列を復号したデータの定めるフレーム数分飛
   び越しながら抽出した複数のフレームとこの飛び越した
   フレーム数に従って、前記動きベクトルを復号した隣接
   するフレーム間の距離に応じて内挿および外挿し、この
   内挿および外挿した動きベクトルでワーピング動き補償
   のみを行って前記複数のフレームのそれぞれの間に存在
   し前記受信した符号列に存在しない複数のフレームを再
   構成することを特徴とする動画復号方法。
4. 【請求項４】 複数のフレームからなる動画像データの
   過去のフレームを格納する第１のフレームメモリと、前
   記第１のフレームメモリからの出力と現在のフレームと
   から動きベクトルを推定する動きベクトル推定手段と、
   前記動きベクトル推定手段の推定する動きベクトルを基
   にワーピング動き補償演算を行うワーピング動き補償手
   段と、前記ワーピング動き補償手段の補償演算結果と現
   在入力中のフレームの差分を計算する差分器と、この差
   分器の出力である予測誤差信号を予測誤差符号として符
   号化する予測誤差符号化手段と、前記予測誤差符号を前
   記ワーピング動き補償手段の補償演算結果に加算し出力
   する加算器と、この加算器の出力を次のフレームのワー
   ピング動き補償演算に用いるために格納する第２のフレ
   ームメモリと、前記動きベクトルを符号化する動きベク
   トル符号化手段と、この動きベクトル符号化手段の出力
   と前記予測誤差符号と各フレームの量子化特性とを多重
   化し符号列として出力する多重化手段と、この多重化手
   段の出力する符号列を平滑化して一定速度で転送するバ
   ッファと、現在入力中のフレームと前記バッファでの発
   生符号量とを解析し量子化特性を決定し前記予測誤差符
   号化手段と多重化手段とに供給する解析器とを備える動
   画符号化装置において、前記解析器が現在入力中のフレ
   ームと発生符号量とを監視しながら飛び越しフレーム数
   を決定し出力する機能を備え、前記多重化手段が前記飛
   び越しフレーム数を符号化して他の符号と多重化する機
   能を備え、前記飛び越しフレーム数に従って符号化する
   フレームを選出するタイミングを生成するタイミング生
   成器と、このタイミング生成器の出力を受け連続して入
   力する複数のフレームから符号化するフレームのみを取
   込むスイッチとを有することを特徴とする動画符号化装
   置。
5. 【請求項５】 受信した符号列を一時蓄積するバッファ
   と、このバッファを介して受信した符号列を動きベクト
   ルの符号化信号と予測誤差信号符号と量子化特性とを含
   む複数の要素に分離する逆多重化手段と、この逆多重化
   手段の出力する予測誤差符号と量子化特性とから予測誤
   差信号を復号する予測誤差復号手段と、動きベクトルの
   符号化信号から動きベクトルを復号する動きベクトル復
   号手段と、復号した動きベクトルを用いてワーピング動
   き補償を行うワーピング動き補償手段と、前記予測誤差
   信号と前記ワーピング動き補償の結果とを加算する加算
   器と、この加算器の出力を次のフレームのワーピング動
   き補償に用いるために格納するフレームメモリとを備え
   る動画復号装置において、前記逆多重化手段が出力に含
   まれる飛び越しフレーム数の符号化信号を復号する機能
   を備え、復号された前記飛び越しフレーム数と前記ワー
   ピング動き補償手段からワーピング動き補償実行時のフ
   レームごとの終了信号とを受け処理中のフレームと直前
   に処理したフレームとの距離を計数するフレームカウン
   タと、前記動きベクトル復号手段の復号した動きベクト
   ルを記憶するメモリと、このメモリから動きベクトルを
   受け前記フレームカウンタからフレーム間距離および飛
   び越しフレーム数を受け処理中のフレームの動きベクト
   ルを内挿計算で求め前記ワーピング動き補償手段に供給
   する動きベクトル内挿手段と、送信時に符号化され受信
   時に復号すべきフレームの出力時にのみ接続し前記加算
   器に予測誤差信号を加える第１のスイッチと、前記第１
   のスイッチの接続時にのみ接続し前記加算器の出力を前
   記フレームメモリに格納する第２のスイッチとを有する
   ことを特徴とする動画復号装置。
6. 【請求項６】 前記動きベクトル内挿手段を、前記メモ
   リから動きベクトルを受け前記フレームカウンタからフ
   レーム間距離および飛び越しフレーム数を受け処理中の
   フレームの動きベクトルを外挿および内挿計算で求め前
   記ワーピング動き補償手段に供給する動きベクトル内挿
   ／外挿手段で置換したことを特徴とする請求項５記載の
   動画復号装置。