JPH0738899A

JPH0738899A - 画像符号化装置

Info

Publication number: JPH0738899A
Application number: JP5163394A
Authority: JP
Inventors: Masahiro Tatsumi; 正弘辰巳
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1993-07-01
Filing date: 1993-07-01
Publication date: 1995-02-07

Abstract

(57)【要約】【目的】映像信号に含まれる情報量を圧縮して符号化
する画像符号化装置に関し、動き補償予測符号化方式を
改良して動きの早い動画像にも対処できるようにするこ
とを目的とする。【構成】次の符号化対象映像フレームと数フレーム先
の適当な映像フレームとの間で動き補償予測を行う第１
の動き補償予測手段と、符号化対象映像フレームと先の
映像フレームとの間で動き補償予測を行う第２の動き補
償手段と、第２の動き補償予測手段で予測した予測値に
対して背景の合成を行う背景合成手段と、これらの各予
測結果を比較して先の映像フレームに対する相関を求め
次の映像フレームの予測に有効な情報のみを分離して出
力する選択手段とから構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像信号に含まれる情
報量を圧縮して符号化する画像符号化装置に関し、特に
動き補償予測符号化方式を利用した画像符号化装置に関
するものである。

【０００２】

【従来の技術】近年、高速ディジタル信号処理技術、画
像処理技術、これらのための半導体集積回路技術等の発
展によって画像情報の有効な活用が期待されるようにな
ってきた。特に通信の分野では、画像情報を効率的に伝
送できる高機能なネットワークシステムの研究が活発に
行われており、次世代広帯域通信網であるＢ−ＩＳＤＮ
では高品質な映像伝送サービスが提供されることが期待
されている。

【０００３】ところで、一般に映像信号に含まれる情報
量は膨大であるため、そのままディジタル化して伝送す
ることは現実的ではない。例えば、現行のＮＴＳＣ方式
のテレビジョン信号をそのままディジタル化すると、約
１00Ｍbit/sec の伝送速度を必要とする。また、１フレ
ーム分の映像信号を記憶するには約２〜４Ｍbit のメモ
リ容量を必要とする。

【０００４】しかし、映像信号には多くの冗長成分が含
まれているので、この冗長成分を取り除くことによって
情報量を大幅に圧縮することができる。例えば、映像信
号には動きや変化等を表す時間的な情報と、１枚の映像
フレームの内容に関する空間的な情報とが含まれてお
り、それぞれが冗長性を有している。特に映像信号は連
続するフレーム間での相関が強いため、時間的な冗長成
分を除去することによって大幅に情報量を圧縮すること
ができる。

【０００５】このような時間的な相関を利用して冗長成
分を除去するようにした画像符号化方式としてフレーム
（またはフィールド）間予測符号化方式、およびその改
良方式として動き補償フレーム間予測符号化方式があ
る。

【０００６】動き補償フレーム間予測符号化方式は、符
号化対象の移動量（動きベクトル）を推定し、その動き
量分だけ前の画面中で予測に用いる画素の位置を補正す
る方式で、フレーム間予測符号化方式の欠点である動画
像における情報量の増加を低減させるようにしたもので
ある。

【０００７】例えば、図４に示すように、球形の像Ｇが
移動する画像の場合、連続する映像フレームＦ１，Ｆ２
をそれぞれ適当な矩形ブロック領域に分割し、各ブロッ
ク領域毎に比較することで映像信号に含まれる動きベク
トルＶを検出する。そして、この動きベクトルＶで映像
信号に含まれる動きの情報を表し、映像フレームＦ１中
の移動前のブロック位置Ｂ１を、映像フレームＦ２中の
対象ブロック位置Ｂ２に対する予測値とする。

【０００８】図５は、動き補償フレーム間予測符号化方
式による従来の画像符号化装置の一例を示すブロック図
である。この装置において、ディジタル化された入力映
像信号Ｘi は動き補償予測部５１に供給され、フレーム
メモリ部５２に格納されているｎフレーム前の映像信号
Ｘi-n と映像フレーム毎に重複しない矩形領域単位で動
き補償予測処理される。

【０００９】動き補償予測部５１は、この予測処理結果
に基づいて動きベクトルＶi を出力し、またフレームメ
モリ部５２は、動き補償予測部５１での予測処理結果に
従って適当な領域を予測値Ｙi として読み出す。予測値
Ｙi は差分演算部５３において入力映像信号Ｘi と差分
が取られ、予測誤差信号Ｅi （＝Ｘi −Ｙi ）として誤
差符号化部５４へ送られる。

【００１０】誤差符号化部５４では、予測誤差信号Ｅi
の映像フレーム内での相関を利用してＤＣＴ（離散コサ
イン変換）等の直交変換符号化を行い、その結果は符号
化信号Ｑ(Ei)として前述の動きベクトルＶi と共に外部
に出力される。

【００１１】符号化信号Ｑ(Ei)は、誤差復号化部５５で
局部復号され、予測誤差復号信号Ｒ(Ei)として復号され
る。この予測誤差復号信号Ｒ(Ei)は加算部５６でフレー
ムメモリ部５２から読み出された予測値Ｙi と加算さ
れ、再生された映像信号Ｚi としてフレームメモリ部５
２へ格納される。この映像信号Ｚi は入力映像信号Ｘi
に量子化誤差を加えた信号となる。

【００１２】こうして、１フレーム分の映像信号の符号
化が終了すると、フレームメモリ部５２内には、当該映
像フレームが局部復号されて再生された映像信号が格納
され、次の符号化対象映像フレームの動き補償予測の予
測値として利用される。

【００１３】

【発明が解決しようとする課題】前述した従来の画像符
号化装置では、符号化し終わった映像フレームが順にフ
レームメモリ部に格納され、次の映像フレームの予測符
号化に利用される。ところが、一般に物体が移動すると
物体の陰に隠れていた背景画像が現れるため、動きの早
い物体がある映像では差分情報量が増大してしまい、動
き補償の予測が必ずしも情報量の削減にはならないとい
った不都合が生じる。

【００１４】そこで、本発明は、従来の動き補償予測符
号化方式を改善し、動きの早い物体がある映像にも対処
できる画像符号化装置を提供することを目的とする。

【００１５】

【課題を解決するための手段】本発明による画像符号化
装置は、符号化されて局部復号された数フレーム前の映
像信号を格納するフレームメモリ手段と、入力映像信号
とフレームメモリ手段に格納されている映像信号との間
で動き補償予測を行う第１の動き補償予測手段と、遅延
手段によって数フレーム遅延分された入力映像信号とフ
レームメモリ手段に格納されている映像信号との間で動
き補償予測を行う第２の動き補償予測手段と、動画像の
陰の背景画像が現れる度に該背景画像の映像信号を格納
する背景メモリ手段と、遅延された入力映像信号とフレ
ームメモリ手段に格納されている映像信号との間で背景
画像を検出し、当該背景画像の映像信号を背景メモリ手
段から読み出して第２の動き補償予測手段で予測した予
測値に合成する背景合成手段と、第１および第２の動き
補償手段ならびに背景合成手段の予測結果を比較して先
の映像フレームに対する相関を求め次の映像フレームの
予測に有効な情報を選択して出力する選択手段とを備え
る。

【００１６】この場合、選択手段は遅延された入力映像
信号と第１および第２の動き補償手段ならびに背景合成
手段からの各予測値との誤差をそれぞれ求め、誤差が最
小の予測値を選択して出力し、該選択した予測値と遅延
された入力映像信号との差分を第１の予測誤差信号とし
て出力し、第１の動き補償手段からの予測値と遅延され
た入力映像信号との差分を第２の予測誤差信号として出
力する。

【００１７】

【作用】本発明による画像符号化装置は、第１の動き補
償予測手段で次の符号化対象映像フレームと数フレーム
先の適当な映像フレームとの間で動き補償予測を行い、
第２の動き補償手段で符号化対象映像フレームと先の映
像フレームとの間で動き補償予測を行い、背景合成手段
で第２の動き補償予測手段で予測した予測値に対して背
景の合成を行い、選択手段でこれらの各予測結果を比較
して先の映像フレームに対する相関を求め次の映像フレ
ームの予測に有効な情報のみを分離して出力する。

【００１８】

【実施例】図１は、本発明による画像符号化装置の一実
施例を示すブロック図である。本実施例において、ディ
ジタル化された入力映像信号Ｘi は第１の動き補償予測
部１１およびフレーム遅延部１２に入力され、フレーム
遅延部１２で数フレーム分遅延された後に、第２の動き
補償予測部１３、背景合成部１４および予測信号選択部
１５に入力される。

【００１９】第１の動き補償予測部１１は入力映像信号
（以下、原映像信号、という）Ｘｉとフレームメモリ部
１６に格納されている数フレーム前の映像信号との間で
動き補償予測処理を行い、動きベクトルＶａｉを出力す
る。第２の動き補償予測部１３は遅延された入力映像信
号（以下、遅延映像信号、という）Ｘi'とフレームメモ
リ部１６に格納されている１フレーム前の映像信号との
間で動き補償予測処理を行い、動きベクトルＶbiを出力
する。この２つの動きベクトルＶai，Ｖbiは予測信号選
択部１５に供給される。

【００２０】フレームメモリ部１６は第１の動き補償予
測部１１での予測結果に従って予測値Ｙaiを出力し、第
２の動き補償予測部１３での予測結果に従って予測値Ｙ
biを出力する。この２つの予測値Ｙai，Ｙbiは予測信号
選択部１５に供給される。

【００２１】背景合成部１４は遅延された入力映像信号
Ｘi'とフレームメモリ部１６に格納されている映像信号
とを比較し、相関の弱い部分を背景画像として検出す
る。そして、背景画像に対応する映像信号を後述する背
景メモり部１７から読み出し、第２の動き補償予測部１
３で予測した予測値Ｖbiにこの背景画像を合成して予測
値Ｈi として予測信号選択部１５に供給する。

【００２２】こうして予測信号選択部１５には、第１の
動き補償予測部１１から動きベクトルＶaiが供給され、
第２の動き補償予測部１３から動きベクトルＶbiが供給
され、フレームメモリ部１６から予測値Ｙai，Ｙbiが供
給され、背景合成部１４から予測値Ｈi が供給され、さ
らに遅延映像信号Ｘi'が供給される。予測信号選択部１
５はこれらの各信号に基づいて２種類の予測誤差信号Ｅ
ai，Ｅbiと、動きベクトルＶi と、予測値Ｙi とを出力
する。

【００２３】予測誤差信号Ｅai，Ｅbiは誤差符号化部１
８でそれぞれ符号化され、符号化信号Ｑ(Eai) ，Ｑ(Eb
i) として外部に出力される。また、一方の符号化信号
Ｑ(Eai) は誤差復号化部１９で局部復号され、予測誤差
復号信号Ｒ(Eai) として加算部２０で予測値Ｙi と加算
され、再生された映像信号Ｚi としてフレームメモリ部
１６へ格納される。他方の符号化信号Ｑ(Ebi) は背景メ
モリ部１７に供給され、動き補償等を行わずに符号化し
た映像信号（以下、イントラ信号、という）の背景を表
す映像信号を格納し、動きのある物体の陰に隠れていた
背景が現れる度に背景画像の映像信号を背景合成部１４
に供給する。

【００２４】次に、図２に示す流れ図を参照しながら、
本実施例の動作について説明する。まず、ディジタル化
された映像信号Ｘi が入力されると（ステップ１０）、
原映像信号Ｘi はフレーム遅延部１２で数フレーム分遅
延され、遅延映像信号Ｘi'として出力される（ステップ
１１）。

【００２５】また、原映像信号Ｘi は第１の動き補償予
測部１１でフレームメモリ部１６に格納されている数フ
レーム前の映像信号との間で、映像フレーム毎に重複し
ない矩形領域単位で動き補償予測処理が行われる。その
結果、動き補償予測部１１から動きベクトルＶaiが出力
され、フレームメモリ部１６から適当な領域が予測値Ｙ
aiとして出力される（ステップ１２）。

【００２６】また、遅延映像信号Ｘi'は第２の動き補償
予測部１３でフレームメモリ部１６に格納されている数
フレーム前の映像信号との間で、映像フレーム毎に重複
しない矩形領域単位で動き補償予測処理が行われる。そ
の結果、動き補償予測部１３から動きベクトルＶbiが出
力され、フレームメモリ部１６から適当な領域が予測値
Ｙbiとして出力される（ステップ１３）。

【００２７】また、遅延映像信号Ｘi'は背景合成部１４
でフレームメモリ部１６に格納されている映像信号との
間で相関の弱い部分を背景部分として検出し（ステップ
１４）、この検出した背景部分に対応する映像信号を背
景メモり部１７から抽出し（ステップ１５）、この抽出
した背景画像を第２の動き補償予測部１３で予測した予
測値Ｖbiに合成して予測値Ｈi を出力する（ステップ１
６）。

【００２８】こうして得られた３つの予測値Ｙai，Ｙb
i，Ｈi は予測信号選択部１５で比較され（ステップ１
７）、後述する図３に示す流れ図に従い、２種類の予測
誤差信号Ｅai，Ｅbi、予測値Ｙi 、動きベクトルＶi を
出力する（ステップ１８）。

【００２９】予測誤差信号Ｅai，Ｅbiは誤差符号化部１
８で映像フレーム内での相関を利用してＤＣＴ（離散コ
サイン変換）等の符号化が行われ（ステップ１９）、符
号化信号Ｑ(Eai) ，Ｑ(Ebi) として出力される（ステッ
プ２０）。

【００３０】また、ステップ１９で符号化された一方の
符号化信号Ｑ(Eai) は、誤差復号化部１９で符号化とは
逆の処理によって復号化され（ステップ２１）、予測誤
差復号信号Ｒ(Eai) として加算部２０に出力される。加
算部２０では、予測誤差復号信号Ｒ(Eai) と予測信号選
択部１５から出力される予測値Ｙi とを加算し（ステッ
プ２２）、符号化後の再生された映像信号Ｚi としてフ
レームメモリ部１６に出力する（ステップ２３）。この
映像信号Ｚi は次の符号化対象映像フレームの動き補償
予測の予測値として前述したステップ１２，１３，１４
の処理に利用される。

【００３１】また、ステップ１０において入力された映
像信号Ｘi の中で、イントラ映像信号(動き補償等を行
わずに符号化した映像信号)として送出される映像信号
と背景メモリ部１７に格納された映像とを比較し、背景
画像を抽出する（ステップ２４）。この抽出した背景画
像は背景メモリ部１７に格納し（ステップ２５）、この
格納した背景画像はステップ１５およびステップ２４に
おける背景画像の抽出に利用する。

【００３２】次に、予測信号選択部１５の動作、すなわ
ち図２に示すステップ１７，１８における処理を、図３
に示す流れ図を参照しながら説明する。

【００３３】予測信号選択部１５には、前述したように
第１の動き補償予測部１１から原映像信号Ｘi に対する
予測値Ｙaiが入力され（ステップ３０）、第２の動き補
償予測部１３から遅延された入力映像信号Ｘi'に対する
予測値Ｙbiが入力され（ステップ３１）、背景合成部１
４から背景合成された予測値Ｈi が入力され（ステップ
３２）、さらにフレーム遅延部１２から遅延された入力
映像信号Ｘi'が入力される（ステップ３３）。

【００３４】ここで、本実施例では、遅延映像信号Ｘi'
を現在の符号化対象映像フレームとしており、次に符号
化する時間的に後の映像フレーム（すなわち原映像信号
Ｘi）の相関を利用しているため、原映像信号Ｘi に対
する予測値Ｙaiに適当な動き内挿処理を施し（ステップ
３４）、映像信号Ｘi'との時間合わせを行う。

【００３５】次いで、内挿処理した予測値Ｙaiと遅延映
像信号Ｘi'との差分を取り（ステップ３５）、その差分
の２乗和（誤差エネルギー）を計算する（ステップ３
６）。同様にして映像信号Ｘi'と予測値Ｙbiとの差分を
取り（ステップ３７）、その差分の２乗和を計算し（ス
テップ３８）、さらに映像信号Ｘi'と予測値Ｈi との差
分を取り（ステップ３９）、その差分の２乗和を計算す
る（ステップ４０）。

【００３６】次いで、こうして求めた３種類の差分２乗
和を比較し（ステップ４１）、差分２乗和の小さい予測
値、すなわち誤差の小さい予測値を選択する（ステップ
４２）。次いで、選択した予測値を予測値Ｙi として出
力し（ステップ４３）、この予測値Ｙi と遅延映像信号
Ｘi'との差分を予測誤差信号Ｅaiとして出力する（ステ
ップ４４）。

【００３７】このとき、これと共に原映像信号Ｘi の予
測値Ｙaiと遅延映像信号Ｘi'との差分も予測誤差信号Ｅ
biとして出力される。これは、原映像信号の予測値の方
が次に符号化される映像フレームとの相関が強いが、全
てこの予測値を選択すると現在の符号化対象映像フレー
ムにおける符号化効率が低下してしまうため、これを避
けながら次の映像フレームとの相関を残して利用するた
めである。

【００３８】なお、動きベクトルＶi は選択された予測
値Ｙi に伴うものが抽出される。つまり予測値Ｙaiが選
択されれば動きベクトルＶaiが抽出され、予測値Ｙbiが
選択されれば動きベクトルＶbiが抽出される。ただし、
予測値Ｈi が選択された場合は動きべクトルがないため
抽出されないことになる。

【００３９】

【発明の効果】本発明によれば、符号化対象映像フレー
ムに含まれる画像情報のうち、次の映像フレームとの相
関の強い画像情報のみを分離し、相関の弱い画像情報に
対しては相関が強い画像情報を選択して動き補償予測に
利用するため、符号化効率を向上させることができ、映
像情報を対象とするシステムにおいて、より良い符号化
映像品質を得ることができる。また、実現が期待されて
いる高品質映像符号化装置においては、動き補償予測符
号化が非常に効果的に働くため、本発明の適用を図るこ
とによる大きな符号化効率を得ることができる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一実施例を示す
ブロック図である。

【図２】本発明の動作を説明するための流れ図である。

【図３】図１に示す予測信号選択部の動作を説明するた
めの流れ図である。

【図４】動き補償予測符号化方式の原理を説明するため
の図である。

【図５】従来の画像符号化装置の一例を示すブロック図
である。

【符号の説明】

１１第１の動き補償予測部１２フレーム遅延部１３第２の動き補償予測部１４背景合成部１５予測信号選択部１６フレームメモリ部１７背景メモリ部１８誤差符号化部１９誤差復号化部２０加算部

Claims

【特許請求の範囲】

【請求項１】符号化され局部復号された数フレーム前
の映像信号を格納するフレームメモリ手段と、入力映像信号と前記フレームメモリ手段に格納されてい
る映像信号との間で動き補償予測を行う第１の動き補償
予測手段と、遅延手段によって数フレーム分遅延分された前記入力映
像信号と前記フレームメモリ手段に格納されている映像
信号との間で動き補償予測を行う第２の動き補償予測手
段と、動画像の陰の背景画像が現れる度に該背景画像の映像信
号を格納する背景メモリ手段と、前記遅延された入力映像信号と前記フレームメモリ手段
に格納されている映像信号との間で背景画像を検出し、
当該背景画像の映像信号を前記背景メモリ手段から読み
出して前記第２の動き補償予測手段で予測した予測値に
合成する背景合成手段と、前記第１および第２の動き補償手段ならびに前記背景合
成手段の予測結果を比較して先の映像フレームに対する
相関を求め次の映像フレームの予測に有効な情報を選択
して出力する選択手段と、を備えることを特徴とする画像符号化装置。
【請求項２】前記選択手段は、前記遅延された入力映
像信号と前記第１および第２の動き補償手段ならびに前
記背景合成手段からの各予測値との誤差をそれぞれ求
め、誤差が最小の予測値を選択して出力し、該選択した
予測値と前記遅延された入力映像信号との差分を第１の
予測誤差信号として出力し、前記第１の動き補償手段か
らの予測値と前記遅延された入力映像信号との差分を第
２の予測誤差信号として出力することを特徴とする請求
項１記載に画像符号化装置。