JP4507742B2 - 動画像符号化装置 - Google Patents

Description

本発明は、参照画像用として複数の復号画像を保存することができる動画像符号化装置に関する。

近年、動画像データを伝送、記録するために様々な画像圧縮方式が用いられているが、高圧縮率を実現する手段の一つとして、例えば、入力画像内のブロックと相関性の高いブロック（参照画像）を復号画像メモリ内の復号画像の中から選択し、これらの差分を伝送する、いわゆるフレーム間予測がある（例えば、特許文献１参照）。

ここに、例えば、ＭＰＥＧ−２のフレーム間予測処理では、フレーム間予測に使用するために、２枚の復号画像を保存することができたが、近年の高圧縮率への要求を実現するために、より多くの復号画像を保存することができるＨ．２６４のような動画像符号化方式が登場した。
特開平９−１２１３５８号公報

多数の復号画像を保存できる動画像符号化方式で低ビットレートを実現するためには、入力画像内のブロックの符号化に用いる参照画像を決定する動きベクトル検出処理を、保存している全ての復号画像の全領域を対象として行うことが望ましい。しかし、このようにすると、時間的、回路的リソースが、保存している復号画像の枚数に比例して増加してしまうという問題点がある。

本発明は、かかる点に鑑み、動きベクトル検出処理に要する時間的、回路的リソースの増加を小さく抑え、低ビットレートを実現することができるようにした動画像符号化装置を提供することを目的とする。

本発明の動画像符号化装置は、復号画像を記憶する復号画像メモリと、参照したフレーム又はフィールド単位の復号画像及び動きベクトルを示す情報であって、前記復号画像を得る際に用いた予測情報を記憶する予測情報メモリと、前記復号画像メモリ内の所定の復号画像から、入力ブロックと相関性の高い画像領域を参照画像候補領域として探し出した後、前記予測情報が示す画像領域を新たに参照画像候補領域とすることを繰り返し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う動き検出部とを有するものである。

本発明によれば、動き検出部は、復号画象メモリ内の複数の復号画像の全領域を対象として動きベクトル検出処理を行うことはせず、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う。したがって、動きベクトル検出処理に要する時間的、回路的リソースの増加を小さく抑え、低ビットレートを実現することができる。

図1は本発明の一実施形態の要部のブロック回路図である。図１中、１は入力画像内のブロックと、後述する予測画像生成部から出力される予測画像との差分である予測誤差信号を生成する予測誤差信号生成部、２は予測誤差信号生成部１から出力される予測誤差信号に直交変換を施して直交変換係数を出力する直交変換部である。

３は直交変換部２から出力される直交変換係数を量子化して量子化直交変換係数を出力する量子化部、４は量子化部３から出力される量子化直交変換係数を動きベクトル等と共にエントロピー符号化して符号化データを出力するエントロピー符号化部である。

５は量子化部３から出力される量子化直交変換係数を逆量子化して直交変換係数を出力する逆量子化部、６は逆量子化部５から出力される直交変換係数に逆直交変換を施して予測誤差信号を復元する逆直交変換部である。

７は逆直交変換部６から出力される予測誤差信号と、後述する予測画像生成部から出力される予測画像を加算して入力ブロックの復号画像を生成する復号画像生成部、８は復号画像生成部７から出力される復号画像を記憶する復号画像メモリである。

９は入力ブロックに対応する参照画像候補領域を復号画像メモリ８内の復号画像から探し出し、探し出した参照画像候補領域に対して動きベクトル検出処理を行う動き検出部、１０は復号画像メモリ８から選択された参照画像と動き検出部９から出力される動きベクトルから予測画像を生成する予測画像生成部である。

１１は入力ブロックを符号化する際に使用した予測情報（参照したフレーム又はフィールド単位の復号画像及び動きベクトルを示す情報）、即ち、入力ブロックに対応する復号画像を得る際に用いた予測情報を記憶する予測情報メモリである。なお、予測情報は動き検出部９で生成される。

図２は動き検出部９で行われる処理を示すフローチャートである。即ち、動き検出部９では、例えば、画像内の全領域内を検索する方法を使用し、入力ブロックと相関性の高い画像領域を、参照画像候補領域として、復号画像メモリ８内に存在する最後に復号化された画像（最新の復号画像）から探し出し、探し出した参照画像候補領域を参照画像候補領域リストに載せる（ステップＳ１）。

次に、ステップＳ１で探し出した参照画像候補領域又はこれと重なるブロックのうち、重なっている割合が最も大きいブロックの予測情報を予測情報メモリ１１から取得し、予測情報を取得した参照画像候補領域又はブロックがフレーム間予測で符号化されているか、フレーム内予測で符号化されているかを判断する（ステップＳ２）。

ここに、予測情報を取得した参照画像候補領域又はブロックがフレーム間予測で符号化されている場合には、予測情報が示す画像領域が復号画像メモリ８に存在しているか否かを判断し（ステップＳ３）、存在している場合は、これを新たに参照画像候補領域とし、参照画像候補領域リストに追加し（ステップＳ４）、ステップＳ２に戻る。

以下、予測情報の取得及び参照画像候補領域の探し出し、探し出した参照画像候補領域の参照画像候補領域リストへの追加を繰り返す。これによって、入力ブロックと相関性の高い画像領域を、参照画像候補領域として、参照画像候補領域リストに列挙することができる。

そして、ステップＳ２で予測情報を取得した参照画像候補領域又はブロックがフレーム内予測で符号化されていると判断した場合又はステップＳ３で予測情報が示す画像領域が復号画像メモリ８に存在していない（既に消去されている）と判断した場合には、参照画像候補領域リストに列挙されている参照画像候補領域に対して動きベクトル検出処理を行い、動きベクトルの中で最も符号化効率の高くなるものが選択される（ステップＳ５）。

なお、この場合、動き検出部９が予測情報から探し出した参照画像候補領域については、これを拡張して、より相関性の高い参照画像候補領域を探し出し、この新たに探し出した参照画像候補領域を拡張前の参照画像候補領域に代えて、動きベクトル検出処理を行うようにしても良い。

図３は動き検出部９で行われる処理例を示す図である。図３中、１２は入力画像、１３は入力ブロック、１４−１〜１４−３は復号画像メモリ８内のフレーム又はフィールド単位の復号画像、１５−１〜１５−３は探し出された参照画像候補領域、１６−１〜１６−３は予測情報メモリ１１内の予測情報であり、１６−１は参照画像候補領域１５−１の予測情報、１６−２は参照画像候補領域１５−２の予測情報、１６−３は参照画像候補領域１５−３の予測情報である。

図３の処理例では、入力ブロック１３と相関性の高い画像領域を復号画像メモリ８に存在する最後に復号化された画像（最新の復号画像）１４−１から探し出し、これを参照画像候補領域１５−１としている（ステップＳ１）。

次に、参照画像候補領域１５−１の予測情報１６−１を予測情報メモリ１１から取得し、参照画像候補領域１５−１がフレーム間予測で符号化されているか、フレーム内予測で符号化されているかを判断している（ステップＳ２）。

そして、参照画像候補領域１５−１がフレーム間予測で符号化されていること、及び、予測情報１６−１が示す画像領域が復号画像メモリ８の復号画像１４−２に存在していることを確認し（ステップＳ３）、予測情報１６−１が示す画像領域を参照画像候補領域１５−２として探し出している（ステップＳ４）。

次に、参照画像候補領域１５−２の予測情報１６−２を予測情報メモリ１１から取得し、参照画像候補領域１５−２がフレーム間予測で符号化されているか、フレーム内予測で符号化されているかを判断している（ステップＳ２）。

そして、参照画像候補領域１５−２がフレーム間予測で符号化されていること、及び、予測情報１６−２が示す画像領域が復号画像メモリ８の復号画像１４−３に存在していることを確認し（ステップＳ３）、予測情報１６−２が示す画像領域を参照画像候補領域１５−３として探し出している（ステップＳ４）。

このようにして、入力ブロック１３と相関性の高い画像領域を参照画像候補領域１５−１〜１５−３として復号画像メモリ８に保存されている復号画像１４−１〜１４−３の中から探し出している。したがって、この場合には、参照画像候補領域１５−１〜１５−３に対して動きベクトル検出処理が行われることになる（ステップＳ５）。

なお、探し出した参照画像候補領域が、予測情報が付与される単位ブロックと一致するとは限らない。そこで、本実施形態では、探し出した参照画像候補領域又はこれと重なるブロックのうち、重なっている割合が最も大きいブロックの予測情報を予測情報メモリ１１から取得するとしているが、この代わりに、入力ブロックを分割し（例えば、参照画像候補領域がまたがるブロックの分割に従うように入力ブロックを分割し）、それぞれに対して、以後の予測情報の参照と、参照画像候補領域の探し出しを行うようにしても良い。

以上のように、本実施形態によれば、動き検出部９は、復号画象メモリ８内の複数の復号画像の全領域を対象として動きベクトル検出処理を行うことはせず、入力ブロックと相関性の高い複数の参照画像候補領域を探し出し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行うとしているので、動きベクトル検出処理に要する時間的、回路的リソースの増加を小さく抑え、低ビットレートを実現することができる。

本発明の一実施形態の要部のブロック回路図である。 本発明の一実施形態が備える動き検出部で行われる処理を示すフローチャートである。 本発明の一実施形態が備える動き検出部で行われる処理例を示す図である。

符号の説明

１…予測誤差信号生成部
２…直交変換部
３…量子化部
４…エントロピー符号化部
５…逆量子化部
６…逆直交変換部
７…復号画像生成部
８…復号画像メモリ
９…動き検出部
１０…予測画像生成部
１１…予測情報メモリ
１２…入力画像
１３…入力ブロック
１４−１〜１４−３…復号画像
１５−１〜１５−３…参照画像候補領域
１６−１〜１６−３…予測情報

Claims (3)

1. 復号画像を記憶する復号画像メモリと、
   参照したフレーム又はフィールド単位の復号画像及び動きベクトルを示す情報であって、前記復号画像を得る際に用いた予測情報を記憶する予測情報メモリと、
   前記復号画像メモリ内の所定の復号画像から、入力ブロックと相関性の高い画像領域を参照画像候補領域として探し出した後、該探し出した参照画像候補領域又は該探し出した参照画像候補領域と重なるブロックのうち、該探し出した参照画像候補領域と重なる割合が最も大きいブロックの予測情報が示す画像領域を新たに参照画像候補領域とすることを繰り返し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う動き検出部と
   を有することを特徴とする動画像符号化装置。
2. 復号画像を記憶する復号画像メモリと、
   参照したフレーム又はフィールド単位の復号画像及び動きベクトルを示す情報であって、前記復号画像を得る際に用いた予測情報を記憶する予測情報メモリと、
   前記復号画像メモリ内の所定の復号画像から、入力ブロックと相関性の高い画像領域を参照画像候補領域として探し出した後、該探し出した参照画像候補領域又は該探し出した参照画像候補領域と重なるブロックのうち、該探し出した参照画像候補領域と重なる割合が最も大きいブロックの予測情報が示す画像領域を新たに参照画像候補領域とすることを繰り返し、更に、探し出した複数の参照画像候補領域を拡張し、より相関性の高い参照画像候補領域を探し出し、該探し出した参照画像候補領域に対して動きベクトル検出処理を行う動き検出部と
   を有することを特徴とする動画像符号化装置。
3. 復号画像を記憶する復号画像メモリと、
   参照したフレーム又はフィールド単位の復号画像及び動きベクトルを示す情報であって、前記復号画像を得る際に用いた予測情報を記憶する予測情報メモリと、
   入力ブロックを分割し、前記復号画像メモリ内の所定の復号画像から、該分割した入力ブロックのそれぞれと相関性の高い画像領域を参照画像候補領域として探し出した後、該探し出した参照画像候補領域又は該探し出した参照画像候補領域と重なるブロックのうち、該探し出した参照画像候補領域と重なる割合が最も大きいブロックの予測情報が示す画像領域を新たに参照画像候補領域とすることを繰り返し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う動き検出部と
   を有することを特徴とする動画像符号化装置。

Images