JP3115651B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像（動画像）信号に含
まれる情報量を削減して、符号化するための画像符号化
装置に関する。

【０００２】

【従来の技術】近年、高速ディジタル信号処理及びその
ためのＬＳＩ技術の発展、画像処理技術の進歩によっ
て、画像情報の有効な活用が期待されている。特に、通
信の分野では、画像情報を効率的に伝送できるような高
機能なネットワークの研究が活発に進められており、次
世代広帯域通信網であるＢ−ＩＳＤＮにおいては、非常
に高品質な映像伝送サービスが提供されることが期待さ
れている。

【０００３】一般に、映像情報に含まれる情報量は非常
に多いため、映像信号をそのまま扱うことは現実的では
ない。しかし、映像信号にはその情報量に多くの冗長性
が含まれているため、この冗長度を取り除くことによっ
て、情報量を削減することが可能である。そこで、映像
情報を効率的に取り扱うためには、映像の（圧縮）符号
化技術が非常に重要である。そのための映像符号化方式
の検討も活発に行われている。

【０００４】映像信号には、動きや変化等の時間的な情
報と、１枚の映像フレームの内容に関する空間的な情報
とが含まれており、それぞれが冗長性を有している。特
に映像（動画像）信号では連続する映像フレーム間の相
関が強く、時間的な冗長度を削減することによって大幅
に情報量を減らすことができる。このような時間的な相
関を利用した符号化方式として動き補償フレーム（フィ
ールド）間予測符号化方式が広く一般的に用いられてい
る。

【０００５】図４に動き補償予測符号化方式の原理を示
す。該動き補償予測符号化方式では、符号化対象映像フ
レームと以前に符号化された映像フレームとをそれぞれ
適当な矩形ブロック領域に分割し、該ブロック領域ごと
に比較を行う。符号化対象ブロックによく合致するブロ
ックを以前に符号化された映像フレームの中から見つけ
だし、以前に符号化された映像フレーム内において、合
致ブロックが対象ブロックと同一位置にあるブロックか
らみてどの方向に位置するかを表す動きベクトルを検出
する。そして、該動きベクトルを利用して映像信号に含
まれる動きの情報を表し、前映像フレーム中の合致ブロ
ックを対象ブロック領域に対する予測値とする。

【０００６】図５に従来の画像符号化装置の一構成例を
示す。入力された映像信号は、映像フレーム毎に重複し
ない矩形領域単位で動き補償予測部５１へ送られる。動
き補償予測部５１では該入力映像信号とフレームメモリ
部５２に格納された該入力映像信号以前に入力された映
像信号との間で動き補償予測処理が行われ、動きベクト
ルが検出されて出力される。前記動き補償予測処理の結
果に従って、フレームメモリ部５２から最も適切と判断
された領域が予測値として読み出される。該予測値は、
差分演算部５３において前記入力映像信号との差が求め
られて、予測誤差信号が出力される。該予測誤差信号
は、誤差符号化部５４へ送られる。誤差符号化部５４で
は予測誤差信号の映像フレーム内での相関を利用して、
ＤＣＴ符号化等の適当な符号化が行われる。その結果は
符号化信号として、前記動き補償予測部５１からの動き
ベクトルとともに装置外部へ出力される。

【０００７】一方、符号化信号は、誤差復号化部５５に
おいて局部復号され、予測誤差復号信号が出力される。
該予測誤差復号信号は、加算部５６において前記フレー
ムメモリ部５２から読み出された予測値と再び加算さ
れ、符号化後の再生された映像信号が得られる。該再生
された映像信号は、前記フレームメモリ部５２へ送られ
て格納される。１映像フレームの符号化が終了すると、
フレームメモリ部５２には、当該映像フレームの局部復
号され再生された映像信号が格納されており、次の符号
化対象映像フレームの動き補償予測の予測値として利用
される。

【０００８】

【発明が解決しようとする課題】しかしながら、前記従
来の画像符号化装置では、符号化し終わった映像フレー
ムが順に次の映像フレームの予測符号化に利用されてい
くが、現在符号化対象となっている映像フレームに含ま
れる情報との相関が強いとは限らず、その場合、フレー
ム間予測には有効ではないため、動き補償予測符号化が
必ずしも効果的に機能するとは限らないという問題点が
あった。

【０００９】本発明の画像符号化装置は、前記問題点に
鑑み、映像フレームを動き補償予測符号化する際に、次
の映像フレームとの相関が強い情報を分離して、次の映
像フレームの予測に利用することによって、動き補償予
測符号化の効率の改善を図ることができる画像符号化装
置を提供することを目的とするものである。

【００１０】

【課題を解決するための手段】本発明の画像符号化装置
は、映像フレーム信号を格納するためのフレームメモリ
手段と、入力された映像信号と前記フレームメモリ手段
に格納されている映像信号との間で動き補償予測を行う
第１の動き補償予測手段と、入力された映像信号を遅延
するためのフレーム遅延手段と、該フレーム遅延手段で
遅延した映像信号と前記フレームメモリ手段に格納され
ている映像信号との間で動き補償予測を行う第２の動き
補償予測手段と、前記第１の動き補償予測手段から出力
される予測値に対して動き内挿処理を施した第１の予測
値と、前記第２の動き補償予測手段から出力される第２
の予測値とを比較選択して、該選択された第１又は第２
の予測値を出力するとともに、前記第１及び第２の予測
値の各々と前記フレーム遅延手段で遅延した映像信号と
の差分を、２種類の予測誤差信号として出力する予測値
選択手段と、前記予測値選択手段より出力された２種類
の予測誤差信号を符号化する誤差符号化手段と、前記誤
差符号化手段で符号化された２種類の予測誤差符号化信
号のうちの一方を復号する誤差復号化手段と、前記誤差
復号化手段で得られた予測誤差復号信号と、前記予測値
選択手段より出力された第１又は第２の予測値とを加算
して、前記フレームメモリ手段に格納する加算手段とを
備えた画像符号化装置であって、前記予測値選択手段
は、前記第１の動き補償予測手段から出力される予測値
に対して動き内挿処理を施した第１の予測値と、前記フ
レーム遅延手段で遅延した映像信号との誤差エネルギー
を計算するとともに、前記第２の動き補償予測手段から
出力される第２の予測値と、前記フレーム遅延手段で遅
延した映像信号との誤差エネルギーを計算し、前記計算
された各々の誤差エネルギーを比較して、誤差エネルギ
ーが小さい方に対応する第１又は第２の予測値を選択す
ることを特徴とする。

【００１１】

【作用】上記第２の動き補償予測手段は、従来と同様に
隣接映像フレーム間での動き補償予測を行う。上記第１
の動き補償予測手段は前記フレームメモリ手段に格納さ
れている映像フレーム信号と、符号化対象映像フレーム
より数フレーム先の適当な映像フレームとの間で動き補
償予測を行う。上記予測値選択手段は、前記二つの動き
補償予測手段での予測結果を比較して先の映像フレーム
に対する相関を求めて、先の映像フレームの予測に有効
な情報を分離して出力することによって動き補償予測を
効率よく行う。

【００１２】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１に、本発明の画像符号化装置の構成例を示
す。

【００１３】図１の画像符号化装置は、第１の動き補償
予測手段である第１動き補償予測部１１、フレームメモ
リ手段であるフレームメモリ部１２、フレーム遅延手段
であるフレーム遅延部１３、第２の動き補償予測手段で
ある第２動き補償予測部１４、予測値選択手段である予
測信号選択部１５、誤差符号化部１６、誤差復号化部１
７、加算部１８とから構成されている。

【００１４】第１動き補償予測部１１では、入力映像信
号とフレームメモリ部１２に格納された映像信号との間
で動き補償予測処理が行われる。フレーム遅延部１３
は、入力映像信号を適当なフレーム分だけ時間遅延して
出力する。第２動き補償予測部１４は、遅延した映像信
号と前記フレームメモリ部１２に格納された映像信号と
の間で動き補償予測処理を行う。予測信号選択部１５
は、前記第１動き補償予測部１１から出力される予測値
と、前記第２動き補償予測部１４から出力される予測値
とを比較して適当に選択して、２種類の予測誤差信号を
出力する。誤差符号化部１６は、該予測誤差信号を適当
に符号化して、それぞれの予測誤差信号に対応した符号
化信号を出力する。誤差復号化部１７は、一方の符号化
信号を局部復号して予測誤差復号信号を出力する。加算
部１８は、予測誤差復号信号と予測値とを加算して、符
号化後の再生された映像信号を出力する。該再生された
映像信号は、前記フレームメモリ部１２に送られて格納
される。

【００１５】次に本発明の画像符号化装置の動作を、図
２のフローチャートに従って説明する。入力された映像
信号（ステップ２０１）はフレーム遅延部１３において
適当な数フレーム時間遅延される（ステップ２０３）。
第２動き補償予測部１４では、遅延された映像信号とフ
レームメモリ部１２に格納された映像信号との間で動き
補償予測処理が行われ（ステップ２０４）、適当な領域
が予測値として読み出される。これと並行して第１動き
補償予測部１１では、入力された映像信号とフレームメ
モリ部１２に格納された映像信号との間で動き補償予測
処理が行われ（ステップ２０２）、同様に予測値が読み
出される。これら双方の予測値は、予測信号選択部１５
において比較され（ステップ２０５）、次に符号化され
る映像フレームと相関の強い予測誤差信号と、相関の弱
い予測誤差信号とが分離されて選択される（ステップ２
０６）。予測誤差信号は誤差符号化部１６で映像フレー
ム内での相関を利用したＤＣＴ符号化等の適当な符号化
が行われ（ステップ２０７）、符号化信号として装置外
部へ出力される（ステップ２０８）。

【００１６】前記相関の強い予測誤差信号に対応した符
号化信号は、誤差復号化部１７で前記誤差符号化部１６
での符号化とは逆の処理によって復号される（ステップ
２０９）。こうして得られた予測誤差復号信号は、加算
部１８において予測値と再び加算され（ステップ２１
０）、符号化後の再生された映像信号が得られる。該再
生された映像信号は、前記フレームメモリ部１２へ送ら
れて格納されて（ステップ２１１）、次の符号化対象映
像フレームの動き補償予測の予測値として利用される。

【００１７】次に、予測信号選択部１５の動作を図３の
フローチャートを参照して説明する。予測信号選択部１
５へは前記入力された映像信号に対する予測値と、前記
入力され遅延された映像信号に対する予測値とが入力さ
れる（ステップ３０１、ステップ３０２）。また、遅延
された原映像信号も入力される（ステップ３０３）。本
発明では、次に符号化されるべき映像フレームと時間的
に先の映像フレームとの相関を利用するため、該遅延さ
れた映像信号が現在の符号化対象映像フレーム信号とな
る。この後、（遅延されていない）入力映像信号の予測
値と符号化対象映像フレームとの時間位置が合うように
該予測値に対して適当な動き内挿処理が施される（ステ
ップ３０４）。次に、前記双方の予測値と原映像信号と
の差分がそれぞれ求められ（ステップ３０５、ステップ
３０７）、それぞれ差分２乗和（誤差エネルギー）が計
算される（ステップ３０６、ステップ３０８）。

【００１８】前記それぞれの差分２乗和は比較され（ス
テップ３０９）、該差分２乗和の小さい方の予測値が選
択されて出力される（ステップ３１０）と共に、該選択
された予測値と遅延された原映像信号との差分が予測誤
差信号として出力される（ステップ３１１）。

【００１９】

【発明の効果】以上説明してきたように、本発明の画像
符号化装置によれば、符号化対象の映像フレームに含ま
れる情報のうち、次の映像フレームとの相関の強い情報
のみを分離して動き補償予測に利用するため、符号化効
率を向上させることができ、従って、映像情報を対象と
するシステムにおいて、より良い符号化映像品質を得る
ことができる。また、実現が期待されている高品質映像
符号化装置においては、動き補償予測符号化が非常に効
果的に働くため、本発明の適用を図ることによる符号化
効率の改善効果は非常に大きい。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一実施例を示す
概略ブロック図である。

【図２】本発明による画像符号化装置の一実施例の動作
を示すフローチャートである。

【図３】本発明による画像符号化装置の一実施例におけ
る予測信号選択部１５の動作を示すフローチャートであ
る。

【図４】動き補償予測符号化方式の原理を説明するため
の説明図である。

【図５】従来の画像符号化装置の一構成例を示す概略ブ
ロック図である。

【符号の説明】

１１ 第１動き補償予測部 １２ フレームメモリ部 １３ フレーム遅延部 １４ 第２動き補償予測部 １５ 予測信号選択部 １６ 誤差符号化部 １７ 誤差復号化部

フロントページの続き (56)参考文献 特開 平３−114384（ＪＰ，Ａ) 特開 平３−129986（ＪＰ，Ａ) 特開 平５−37919（ＪＰ，Ａ) 特開 平５−56275（ＪＰ，Ａ) 特開 平３−46483（ＪＰ，Ａ) 特開 昭63−73786（ＪＰ，Ａ) 1991年画像符号化シンポジウム（ＰＣ ＳＪ91）Ｐ．267−270

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 映像フレーム信号を格納するためのフレ
   ームメモリ手段と、 入力された映像信号と前記フレームメモリ手段に格納さ
   れている映像信号との間で動き補償予測を行う第１の動
   き補償予測手段と、 入力された映像信号を遅延するためのフレーム遅延手段
   と、 該フレーム遅延手段で遅延した映像信号と前記フレーム
   メモリ手段に格納されている映像信号との間で動き補償
   予測を行う第２の動き補償予測手段と、 前記第１の動き補償予測手段から出力される予測値に対
   して動き内挿処理を施した第１の予測値と、前記第２の
   動き補償予測手段から出力される第２の予測値とを比較
   選択して、該選択された第１又は第２の予測値を出力す
   るとともに、前記第１及び第２の予測値の各々と前記フ
   レーム遅延手段で遅延した映像信号との差分を、２種類
   の予測誤差信号として出力する予測値選択手段と、 前記予測値選択手段より出力された２種類の予測誤差信
   号を符号化する誤差符号化手段と、 前記誤差符号化手段で符号化された２種類の予測誤差符
   号化信号のうちの一方を復号する誤差復号化手段と、 前記誤差復号化手段で得られた予測誤差復号信号と、前
   記予測値選択手段より出力された第１又は第２の予測値
   とを加算して、前記フレームメモリ手段に格納する加算
   手段とを備えた画像符号化装置であって、 前記予測値選択手段は、前記第１の動き補償予測手段か
   ら出力される予測値に対して動き内挿処理を施した第１
   の予測値と、前記フレーム遅延手段で遅延した映像信号
   との誤差エネルギーを計算するとともに、 前記第２の動き補償予測手段から出力される第２の予測
   値と、前記フレーム遅延手段で遅延した映像信号との誤
   差エネルギーを計算し、 前記計算された各々の誤差エネルギーを比較して、誤差
   エネルギーが小さい方に対応する第１又は第２の予測値
   を選択する ことを特徴とする画像符号化装置。