JP4571173B2

JP4571173B2 - 動画像復号化装置

Info

Publication number: JP4571173B2
Application number: JP2007233011A
Authority: JP
Inventors: 隆浩福原; 光太郎浅井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-11-02
Filing date: 2007-09-07
Publication date: 2010-10-27
Anticipated expiration: 2016-10-22
Also published as: JP2008017527A

Description

この発明は、入力画像を能率よく符号化及び復号化を行う画像復号化装置に関するものである。

図２０は例えば非特許文献１に示された従来の画像符号化器を示す構成図であり、図において、１は入力画像Ｇｉから予測画像Ｇｅを減算して差分画像Ｇｓを算出する減算器、２は減算器１により算出された差分画像Ｇｓを離散コサイン変換し、その変換結果を差分画像Ｇｓの変換係数Ｇｓｔとして出力する変換部、３は変換部２から出力された変換係数Ｇｓｔを量子化し、量子化係数Ｇｑを出力する量子化部、４は量子化部３から出力された量子化係数Ｇｑを符号化して符号化画像Ｇｃを出力する符号化部である。

また、５は量子化部３から出力された量子化係数Ｇｑを逆量子化し、変換係数Ｇｑｔを出力する逆量子化部、６は逆量子化部５から出力された変換係数Ｇｑｔを逆離散コサイン変換し、誤差画像Ｇｇを出力する逆変換部、７は逆変換部６から出力された誤差画像Ｇｇに予測画像Ｇｅを加算し、局部復号化画像Ｇｋを出力する加算器、８は加算器７から出力された局部復号化画像Ｇｋを参照して入力画像Ｇｉの動き補償を実行し、予測画像Ｇｅを決定する予測部である。

次に動作について説明する。
まず、符号化する入力画像Ｇｉが減算器１に入力されると、減算器１が入力画像Ｇｉから予測部８が出力する予測画像Ｇｅを減算して差分画像Ｇｓを求め、差分画像Ｇｓを出力する。
差分画像Ｇｓ＝入力画像Ｇｉ−予測画像Ｇｅ

そして、減算器１から差分画像Ｇｓが出力されると、変換部２が差分画像Ｇｓの情報量を圧縮すべく、差分画像Ｇｓを離散コサイン変換し、その変換結果を差分画像Ｇｓの変換係数Ｇｓｔとして出力する。
そして、変換部２から変換係数Ｇｓｔが出力されると、量子化部３が変換係数Ｇｓｔを量子化し、量子化係数Ｇｑを出力する。

このようにして、量子化部３から量子化係数Ｇｑが出力されると、符号化部４が量子化係数Ｇｑを符号化して符号化画像Ｇｃを生成し、符号化画像Ｇｃを画像復号化器（図示せず）に出力するが、次回の画像の符号化に備えて、逆量子化部５が量子化係数Ｇｑを逆量子化して変換係数Ｇｑｔを求めたのち、逆変換部６が変換係数Ｇｑｔを逆離散コサイン変換して誤差画像Ｇｇを生成する。

そして、逆変換部６から誤差画像Ｇｇが出力されると、加算器７が誤差画像Ｇｇに予測画像Ｇｅを加算して局部復号化画像Ｇｋを生成し、局部復号化画像Ｇｋを出力する。
そして、加算器７から局部復号化画像Ｇｋが出力されると、局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行することにより、予測画像Ｇｅを決定し、当該予測画像Ｇｅを減算器１に出力する。
以上により、一連の処理を終了する。

画像符号化シンポジウム（ＰＣＳＪ８９）の予稿集「テレビ会議／電話用符号化の標準化動向」（第４３頁〜第４８頁）

従来の画像符号化器は以上のように構成されているので、入力画像Ｇｉの１フレーム中に複数の対象物が存在していても、各対象物の動きが同一であれば入力画像Ｇｉと予測画像Ｇｅとの誤差を比較的小さくすることができるが、入力画像Ｇｉの動き補償をフレーム単位で実行しているため、各対象物の動きが互いに異なる場合には、入力画像Ｇｉと予測画像Ｇｅとの誤差が大きくなってしまう課題があった。
また、局部復号化画像Ｇｋでは対象物の背後に背景画像が隠れているが、今回入力した入力画像Ｇｉでは対象物の背後に背景画像が現れてきたような場合には、参照画像である局部復号化画像Ｇｋに背景画像が存在しないため、入力画像Ｇｉと予測画像Ｇｅとの誤差が大きくなってしまう課題もあった。

この発明は上記のような課題を解決するためになされたもので、入力画像と予測画像との誤差を小さくできる画像符号化器を得ることを目的とする。
また、この発明は、画像符号化器が出力する符号化画像から精度よく復号化画像を生成できる画像復号化器を得ることを目的とする。

この発明に係る動画像復号化装置は、動き補償予測に用いる参照画像を、時刻の異なる複数の画像フレームとして格納する複数のフレームバッファと、入力ビットストリームから、圧縮符号化の単位となるブロックごとに、該領域の動き補償予測を行う単位となる領域を定める動き補償予測単位領域識別情報と、動き補償予測単位領域識別情報によって定まる動き補償予測単位ごとに、対応する動きベクトルおよび動き補償予測に使用したフレームバッファを指定するフレームバッファ識別情報を復号する復号手段と、フレームバッファに格納される参照画像と復号した動きベクトルとに基づき、動き補償予測の単位となる領域に対応する予測画像を生成する動き補償手段と、フレームバッファに参照画像を格納するにあたり、復号化画像を参照画像として格納するタイミングを制御して、復号化画像をフレームバッファに格納する制御手段とを備え、動き補償手段は、復号手段で復号されたフレームバッファ識別情報で指定されるフレームメモリに格納された参照画像を用いて予測画像の生成を行うことを特徴とする。

この発明によれば、動き補償予測に用いる参照画像を、時刻の異なる複数の画像フレームとして格納する複数のフレームバッファと、入力ビットストリームから、圧縮符号化の単位となるブロックごとに、該領域の動き補償予測を行う単位となる領域を定める動き補償予測単位領域識別情報と、動き補償予測単位領域識別情報によって定まる動き補償予測単位ごとに、対応する動きベクトルおよび動き補償予測に使用したフレームバッファを指定するフレームバッファ識別情報を復号する復号手段と、フレームバッファに格納される参照画像と復号した動きベクトルとに基づき、動き補償予測の単位となる領域に対応する予測画像を生成する動き補償手段と、フレームバッファに参照画像を格納するにあたり、復号化画像を参照画像として格納するタイミングを制御して、復号化画像をフレームバッファに格納する制御手段とを備え、動き補償手段は、復号手段で復号されたフレームバッファ識別情報で指定されるフレームメモリに格納された参照画像を用いて予測画像の生成を行うように構成したので、画像符号化器から送られてくる符号化ビットストリームから精度よく復号化画像を生成できる効果がある。

以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化器を示す構成図であり、図において、１は入力画像Ｇｉから予測画像Ｇｅを減算して差分画像Ｇｓを算出する減算器（局部復号化画像生成手段）、２は減算器１により算出された差分画像Ｇｓを離散コサイン変換し、その変換結果を差分画像Ｇｓの変換係数Ｇｓｔとして出力する変換部（局部復号化画像生成手段）、３は変換部２から出力された変換係数Ｇｓｔを量子化し、量子化係数Ｇｑを出力する量子化部（局部復号化画像生成手段）、５は量子化部３から出力された量子化係数Ｇｑを逆量子化し、変換係数Ｇｑｔを出力する逆量子化部（局部復号化画像生成手段）、６は逆量子化部５から出力された変換係数Ｇｑｔを逆離散コサイン変換し、誤差画像Ｇｇを出力する逆変換部（局部復号化画像生成手段）、７は逆変換部６から出力された誤差画像Ｇｇに予測画像Ｇｅを加算し、局部復号化画像Ｇｋを出力する加算器（局部復号化画像生成手段）である。

また、１１は加算器７から出力された局部復号化画像Ｇｋを記憶するＳＴＦＭ（第１の記憶手段）であり、ＳＴＦＭはＳｈｏｒｔＴｅｒｍＦｒａｍｅＭｅｍｏｒｙ（ショートターム・フレームメモリ）の略である。１２は加算器７から出力された局部復号化画像Ｇｋを一時的に保持し、加算器７から局部復号化画像Ｇｋが出力されたのち所定時間経過後に局部復号化画像ＧｋをＬＴＦＭ１３に記憶させる遅延時間制御部（第２の記憶手段）、１３はＳＴＦＭ１１により記憶された局部復号化画像Ｇｋよりも所定時間前に、加算器７から出力された局部復号化画像Ｇｋを記憶するＬＴＦＭ（第２の記憶手段）であり、ＬＴＦＭはＬｏｎｇＴｅｒｍＦｒａｍｅＭｅｍｏｒｙ（ロングターム・フレームメモリ）の略である。

また、１４はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行し、予測画像Ｇｅ，動きベクトルＵｖ及び予測誤差Ｅｇを生成する第１の予測部としてのブロックベース予測部（予測手段）、１５はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレームを構成するセグメント領域毎に動き補償を実行し、予測画像Ｇｅ，動きベクトルＵｖ及び予測誤差Ｅｇを生成する第２の予測部としてのセグメントベース予測部（予測手段）、１６はブロックベース予測部１４により生成された予測誤差Ｅｇとセグメントベース予測部１５により生成された予測誤差Ｅｇとの偏差を求め、その偏差に応じてブロックベース予測部１４又はセグメントベース予測部１５により生成された予測画像Ｇｅ及び動きベクトルＵｖを選択する選択部（予測手段）である。

また、１７は量子化部３から出力された量子化係数Ｇｑと選択部１６から出力された動きベクトルＵｖ及び予測モードＥｍとセグメントベース予測部１５から出力された予測用パラメータＥｐとを可変長符号化して可変長符号語Ｇｃｋを生成する可変長符号化部（符号化手段）、１８は可変長符号化部１７により生成された可変長符号語Ｇｃｋを蓄積し、その蓄積量が閾値に到達すると画像復号化器に可変長符号語Ｇｃｋを符号化ビットストリームＣＢＳとして出力するバッファ（量子化制御手段）、１９はバッファ１８のバッファ残量Ｂｚ（可変長符号語Ｇｃｋの蓄積量）に応じて量子化部３の量子化値ｑを制御する量子化制御部（量子化制御手段）である。

図２はブロックベース予測部１４の詳細を示す構成図であり、図において、２１はＳＴＦＭ１１に記憶された局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行することにより、予測誤差Ｅｇａが最小となるような予測画像Ｇｅａを生成し、当該予測画像Ｇｅａと動きベクトルＵｖａを出力する予測画像生成部、２２は入力画像Ｇｉから予測画像Ｇｅａを減算し、その減算結果の絶対値を予測誤差Ｅｇａとして算出する誤差算出部、２３はＬＴＦＭ１３に記憶された局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行することにより、予測誤差Ｅｇｃが最小となるような予測画像Ｇｅｃを生成し、当該予測画像Ｇｅｃと動きベクトルＵｖｃを出力する予測画像生成部、２４は入力画像Ｇｉから予測画像Ｇｅｃを減算し、その減算結果の絶対値を予測誤差Ｅｇｃとして算出する誤差算出部、２５は予測画像生成部２１により生成された予測画像Ｇｅａと予測画像生成部２３により生成された予測画像Ｇｅｃの平均画像（補間画像）を生成し、その補間画像を予測画像Ｇｅｂとして出力する補間画像生成部、２６は入力画像Ｇｉから予測画像Ｇｅｂを減算し、その減算結果の絶対値を予測誤差Ｅｇｂとして算出する誤差算出部である。

また、２７は誤差算出部２２，２６，２４から出力された予測誤差Ｅｇａ〜Ｅｇｃのうちの最小の予測誤差を選択し、その最小の予測誤差を予測誤差Ｅｇとして出力するとともに、その選択結果Ｅｇｘを出力する誤差値比較部、２８は予測画像Ｇｅａ〜Ｇｅｃのうち、予測誤差が最小となる予測画像を誤差値比較部２７が出力する選択結果Ｅｇｘに基づいて選択する予測画像選択部、２９は予測画像選択部２８により予測画像Ｇｅａが選択される場合には動きベクトルＵｖａを選択して出力し、予測画像Ｇｅｃが選択される場合には動きベクトルＵｖｃを選択して出力し、予測画像Ｇｅｂが選択される場合には動きベクトルＵｖａと動きベクトルＵｖｃを出力する動きベクトル選択部である。

図３はセグメントベース予測部１５の詳細を示す構成図であり、図において、３１〜３４はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレームを構成するセグメント領域毎に動き補償を実行することにより、それぞれ予測誤差Ｅｇ１〜Ｅｇｎが最小となるような予測画像Ｇｅ１〜Ｇｅｎを生成し、当該予測画像Ｇｅ１〜Ｇｅｎと動きベクトルＵｖ１〜Ｕｖｎとセグメント組み合わせ情報Ｓｊ１〜Ｓｊｎとを出力する予測画像決定部（詳細は図４を参照）、３５は予測画像決定部３１〜３４から出力された予測誤差Ｅｇ１〜Ｅｇｎのうちの最小の予測誤差を選択し、その最小の予測誤差を予測誤差Ｅｇとして出力するとともに、その選択結果Ｅｇｚを出力する予測誤差比較部、３６は予測画像Ｇｅ１〜Ｇｅｎのうち、予測誤差が最小となる予測画像を選択結果Ｅｇｚに基づいて選択する予測画像選択部、３７はセグメント組み合わせ情報Ｓｊ１〜Ｓｊｎと選択結果Ｅｇｚを入力し、予測用パラメータＥｐを決定するパラメータ決定部、３８は動きベクトルＵｖ１〜Ｕｖｎのうち、予測誤差が最小となる予測画像に係る動きベクトルを選択結果Ｅｇｚに基づいて選択する動きベクトル選択部である。

図４はセグメントベース予測部１５の予測画像決定部３１〜３４の詳細を示す構成図であり、図において、４１はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して、予め定められたセグメントパターンにおける所定のセグメント領域において動き補償を実行することにより、予測誤差Ｅｇａが最小となるような予測画像Ｇｅａを生成し、当該予測画像Ｇｅａと動きベクトルＵｖａを出力する予測画像生成部、４２は入力画像Ｇｉから予測画像Ｇｅａを減算し、その減算結果の絶対値を予測誤差Ｅｇａとして算出する誤差算出部、４３はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して、予め定められたセグメントパターンにおける所定のセグメント領域において動き補償を実行することにより、予測誤差Ｅｇｂが最小となるような予測画像Ｇｅｂを生成し、当該予測画像Ｇｅｂと動きベクトルＵｖｂを出力する予測画像生成部、４４は入力画像Ｇｉから予測画像Ｇｅｂを減算し、その減算結果の絶対値を予測誤差Ｅｇｂとして算出する誤差算出部である。

また、４５はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して、予め定められたセグメントパターンにおける所定のセグメント領域において動き補償を実行することにより、予測誤差Ｅｇｃが最小となるような予測画像Ｇｅｃを生成し、当該予測画像Ｇｅｃと動きベクトルＵｖｃを出力する予測画像生成部、４６は入力画像Ｇｉから予測画像Ｇｅｃを減算し、その減算結果の絶対値を予測誤差Ｅｇｃとして算出する誤差算出部、４７はＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して、予め定められたセグメントパターンにおける所定のセグメント領域において動き補償を実行することにより、予測誤差Ｅｇｄが最小となるような予測画像Ｇｅｄを生成し、当該予測画像Ｇｅｄと動きベクトルＵｖｄを出力する予測画像生成部、４８は入力画像Ｇｉから予測画像Ｇｅｄを減算し、その減算結果の絶対値を予測誤差Ｅｇｄとして算出する誤差算出部である。

また、４９は誤差算出部４２，４４，４６，４８から出力された予測誤差Ｅｇａ〜Ｅｇｄのうちの最小の予測誤差を選択し、その最小の予測誤差及びセグメント組み合わせ情報Ｓｊ１を出力するとともに、その選択結果Ｅｇｘを出力する誤差値比較部、５０は予測画像Ｇｅａ〜Ｇｅｄのうち、予測誤差が最小となる予測画像を選択結果Ｅｇｘに基づいて選択する予測画像選択部、５１は動きベクトルＵｖａ〜Ｕｖｄのうち、予測誤差が最小となる予測画像に係る動きベクトルを選択結果Ｅｇｘに基づいて選択する動きベクトル選択部である。

図５は選択部１６の詳細を示す構成図であり、図において、６１はブロックベース予測部１４から出力された予測誤差Ｅｇから閾値を減算した結果と、セグメントベース予測部１５から出力された予測誤差Ｅｇを比較し、その比較結果を予測モードＥｍとして出力する閾値処理部、６２は閾値処理部６１が出力する予測モードＥｍに基づいてブロックベース予測部１４が出力する予測画像Ｇｅ又はセグメントベース予測部１５が出力する予測画像Ｇｅの何れか一方を選択する予測画像選択部、６３は閾値処理部６１が出力する予測モードＥｍに基づいてブロックベース予測部１４が出力する動きベクトルＵｖ又はセグメントベース予測部１５が出力する動きベクトルＵｖの何れか一方を選択する動きベクトル選択部である。

次に動作について説明する。
まず、符号化する入力画像Ｇｉが減算器１に入力されると、減算器１が入力画像Ｇｉから選択部１６が出力する予測画像Ｇｅ（予測画像Ｇｅについては後述する）を減算して差分画像Ｇｓを求め、差分画像Ｇｓを出力する。
差分画像Ｇｓ＝入力画像Ｇｉ−予測画像Ｇｅ・・・（１）

このようにして、量子化部３から量子化係数Ｇｑが出力されると、可変長符号化部１７が量子化係数Ｇｑ等を可変長符号化するが、次回の画像の符号化に備えて、逆量子化部５が量子化係数Ｇｑを逆量子化して変換係数Ｇｑｔを求めたのち、逆変換部６が変換係数Ｇｑｔを逆離散コサイン変換して誤差画像Ｇｇを生成する。

そして、逆変換部６から誤差画像Ｇｇが出力されると、加算器７が誤差画像Ｇｇに予測画像Ｇｅを加算して局部復号化画像Ｇｋを生成し、局部復号化画像Ｇｋを出力する。
そして、加算器７から出力された局部復号化画像Ｇｋは、直ちにＳＴＦＭ１１に記憶されるが、ＬＴＦＭ１３には直ちに記憶されず、所定時間経過後に記憶される。

その理由は、例えば、ＳＴＦＭ１１に記憶される１つの局部復号化画像Ｇｋにおいては、対象物の背後に背景画像が隠れているが、今回入力した入力画像Ｇｉでは対象物の背後に背景画像が現れてきたような場合でも、遅延時間制御部１２が、加算器７から局部復号化画像Ｇｋが出力されたのち所定時間経過後に、当該局部復号化画像Ｇｋをもう一つの参照画像としてＬＴＦＭ１３に記憶させるようにすると、２つの参照画像の時間的なずれによって、対象物の背後に背景画像が存在する参照画像（符号化する画像に対して相関の高い参照画像）が得られる場合もあるので、ＬＴＦＭ１３には直ちに記憶させず、所定時間経過後に記憶させるようにしている。

なお、遅延時間制御部１２は、記憶機能をもっている必要はなく、所定時間経過後に局部復号化画像ＧｋをＬＴＦＭ１３に書き込むためのスイッチの役割をしていると考えてもよい（書き込みタイミング以外の時間ではオフになっている）。

このようにして、ＳＴＦＭ１１及びＬＴＦＭ１３に参照画像である局部復号化画像Ｇｋが記憶されると、当該局部復号化画像Ｇｋを参照してブロックベース予測部１４及びセグメントベース予測部１５が予測画像Ｇｅ等を決定する。

最初に、図２を用いてブロックベース予測部１４の動作から説明する。
まず、ＳＴＦＭ１１に局部復号化画像Ｇｋが記憶されると、予測画像生成部２１が、当該局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行することにより、予測誤差Ｅｇａが最小となるような予測画像Ｇｅａを生成し、誤差算出部２２が、入力画像Ｇｉから予測画像Ｇｅａを減算して予測誤差Ｅｇａを算出する。なお、動き補償を実行した際の動きベクトルＵｖａは、予測画像生成部２１が動きベクトル選択部２９に出力する。

一方、ＬＴＦＭ１３に局部復号化画像Ｇｋが記憶されると、予測画像生成部２３が、当該局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行することにより、予測誤差Ｅｇｃが最小となるような予測画像Ｇｅｃを生成し、誤差算出部２４が、入力画像Ｇｉから予測画像Ｇｅｃを減算して予測誤差Ｅｇｃを算出する。なお、動き補償を実行した際の動きベクトルＵｖｃは、予測画像生成部２３が動きベクトル選択部２９に出力する。

そして、予測画像生成部２１から予測画像Ｇｅａが出力され、予測画像生成部２３から予測画像Ｇｅｃが出力されると、補間画像生成部２５が、予測画像Ｇｅａと予測画像Ｇｅｃの平均画像（補間画像）を生成し、その補間画像を予測画像Ｇｅｂとして出力する。
なお、入力画像Ｇｉの符号化シーケンスを図６に示すようにｄｔフレーム毎に切り分けた場合、今回入力した入力画像Ｇｉが第Ｎフレームにあるとすると、今回入力した入力画像Ｇｉの参照画像としては、下記に示す３つの予測画像Ｇｅａ，Ｇｅｂ，Ｇｅｃが参照画像となる。

即ち、第Ｍフレームにある入力画像Ｇｉに係る局部復号化画像Ｇｋ（ＳＴＦＭ１１に記憶された局部復号化画像Ｇｋ）に基づいて生成された予測画像Ｇｅａと、第Ｋフレームにある入力画像Ｇｉに係る局部復号化画像Ｇｋ（ＬＴＦＭ１３に記憶された局部復号化画像Ｇｋ）に基づいて生成された予測画像Ｇｅｃと、補間画像生成部２５により生成された予測画像Ｇｅｂとが、参照画像となる。
なお、図６における時間的変化は、図中、左から右に進んでいる。

このようにして、３つの参照画像が生成されると、誤差値比較部２７が、誤差算出部２２，２６，２４から出力された予測誤差Ｅｇａ〜Ｅｇｃのうちの最小の予測誤差を選択し、その選択結果Ｅｇｘを出力する。例えば、予測誤差Ｅｇａが最も小さい場合には、予測誤差Ｅｇａを予測誤差Ｅｇとして出力するとともに、予測誤差Ｅｇａを選択した旨を示す選択結果Ｅｇｘを出力する。

そして、誤差値比較部２７から選択結果Ｅｇｘが出力されると、予測画像選択部２８が、選択結果Ｅｇｘに基づいて最小の予測誤差に係る予測画像を選択する。例えば、選択結果Ｅｇｘが予測誤差Ｅｇａを選択した旨を示す場合には、予測画像Ｇｅａを予測画像Ｇｅとして出力する。

また、誤差値比較部２７から選択結果Ｅｇｘが出力されると、動きベクトル選択部２９が、選択結果Ｅｇｘに基づいて最小の予測誤差に係る動きベクトルを選択する。

具体的には、予測画像選択部２８により予測画像Ｇｅａが選択される場合には動きベクトルＵｖａを動きベクトルＵｖとして出力し、予測画像Ｇｅｃが選択される場合には動きベクトルＵｖｃを動きベクトルＵｖとして出力し、予測画像Ｇｅｂが選択される場合には動きベクトルＵｖａと動きベクトルＵｖｃの双方を動きベクトルＵｖとして出力する。

次に、図３及び図４を用いてセグメントベース予測部１５の動作を説明する。
まず、ＳＴＦＭ１１及びＬＴＦＭ１３に局部復号化画像Ｇｋが記憶されると、予測画像決定部３１〜３４における予測画像生成部４１，４３，４５，４７が、ＳＴＦＭ１１及びＬＴＦＭ１３に記憶された局部復号化画像Ｇｋを参照して、予め定められたセグメントパターンにおける所定のセグメント領域において動き補償を実行することにより、参照画像ＭＢ（１）〜ＭＢ（４）として予測画像Ｇｅａ〜Ｇｅｄを生成する。
なお、この実施の形態１では、図７に示すように、４つのセグメントパターンが設定されているので、予測画像決定部３１における予測画像生成部４１，４３，４５，４７は図７の垂直パターンが設定され、予測画像決定部３２における予測画像生成部４１，４３，４５，４７は図７の水平パターンが設定され、予測画像決定部３３における予測画像生成部４１，４３，４５，４７は図７の右斜めパターンが設定され、予測画像決定部３４における予測画像生成部４１，４３，４５，４７は図７の左斜めパターンが設定されている。

ここで、予測画像決定部３１を例にとって、参照画像ＭＢ（１）〜ＭＢ（４）としての予測誤差Ｅｇａ〜Ｅｇｄの生成について具体的に説明すると、上述したように、予測画像決定部３１における予測画像生成部４１，４３，４５，４７は図７の垂直パターンが設定されているので、セグメント領域としては、左半分のセグメント領域（黒色の部分）と右半分のセグメント領域（白色の部分）の２つに分けられている。

従って、図８に示すように、例えば、予測画像生成部４１の場合は、局部復号化画像Ｇｋを参照して、第Ｎフレームの左半分及び右半分のセグメント領域毎に動き補償を実行することにより、参照画像ＭＢ（１）として予測画像Ｇｅａを生成する。

同様にして、予測画像生成部４３，４５，４７は、それぞれ参照画像ＭＢ（２），参照画像ＭＢ（３），参照画像ＭＢ（４）として予測画像Ｇｅｂ，Ｇｅｃ，Ｇｅｄを生成するが、数式で表すと下記のようになる。

ＭＢ（１）＝ＳＢ（Ｋ，１）＋ＳＢ（Ｋ，２）・・・（２）
ＭＢ（２）＝ＳＢ（Ｋ，１）＋ＳＢ（Ｍ，２）・・・（３）
ＭＢ（３）＝ＳＢ（Ｍ，１）＋ＳＢ（Ｋ，２）・・・（４）
ＭＢ（４）＝ＳＢ（Ｍ，１）＋ＳＢ（Ｍ，２）・・・（５）
ただし、ＳＢ（）は、セグメント領域において予測誤差が最小となる予測画像
（Ｋ，１）は、第Ｋフレームの左半分のセグメント領域
（Ｋ，２）は、第Ｋフレームの右半分のセグメント領域
（Ｍ，１）は、第Ｍフレームの左半分のセグメント領域
（Ｍ，２）は、第Ｍフレームの右半分のセグメント領域
なお、図８における時間的変化は、図中、左から右に進んでいる。

このようにして、予測画像Ｅｇａ〜Ｅｇｄが生成されると、誤差値比較部４９が、誤差算出部４２，４４，４６，４８からそれぞれ出力された予測誤差Ｅｇａ〜Ｅｇｄ（入力画像Ｇｉと予測画像Ｇｅａ〜Ｇｅｄとの誤差）のうちの最小の予測誤差を選択し、その選択結果Ｅｇｘを出力する。例えば、予測誤差Ｅｇａが最も小さい場合には、予測誤差Ｅｇａを予測誤差Ｅｇ１として出力するとともに、予測誤差Ｅｇａを選択した旨を示す選択結果Ｅｇｘを出力する。また、セグメント組み合わせ情報Ｓｊ１（予測画像Ｅｇａの内容、即ち、式（２）の内容）を出力する。

そして、誤差値比較部４９から選択結果Ｅｇｘが出力されると、予測画像選択部５０が、選択結果Ｅｇｘに基づいて最小の予測誤差に係る予測画像を選択する。例えば、選択結果Ｅｇｘが予測誤差Ｅｇａを選択した旨を示す場合には、予測画像Ｇｅａを予測画像Ｇｅ１として出力する。
また、誤差値比較部４９から選択結果Ｅｇｘが出力されると、動きベクトル選択部５１が、選択結果Ｅｇｘに基づいて最小の予測誤差に係る動きベクトルを選択する。例えば、選択結果Ｅｇｘが予測誤差Ｅｇａを選択した旨を示す場合には、予測画像生成部４１が生成した動きベクトルＵｖａを動きベクトルＵｖ１として出力する。

このようにして、Ｎ個の予測画像決定部３１〜３４からそれぞれ予測画像等が出力されると（図７では４つのセグメントパターンを設定しているので、この実施の形態１では、Ｎ＝４である）、予測誤差比較部３５が、予測画像決定部３１〜３４が出力する予測誤差Ｅｇ１〜Ｅｇｎのうちの最小の予測誤差を選択し、その選択結果Ｅｇｚを出力する。例えば、予測誤差Ｅｇ１が最も小さい場合には、予測誤差Ｅｇ１を予測誤差Ｅｇとして出力するとともに、予測誤差Ｅｇ１を選択した旨を示す選択結果Ｅｇｚを出力する。

そして、予測誤差比較部３５から選択結果Ｅｇｚが出力されると、予測画像選択部３６が、選択結果Ｅｇｚに基づいて最小の予測誤差に係る予測画像を選択する。例えば、選択結果Ｅｇｚが予測誤差Ｅｇ１を選択した旨を示す場合には、予測画像Ｇｅ１を予測画像Ｇｅとして出力する。

また、予測誤差比較部３５から選択結果Ｅｇｚが出力されると、パラメータ決定部３７が、選択結果Ｅｇｚとセグメント組み合わせ情報Ｓｊ１〜Ｓｊｎに基づいて予測用パラメータＥｐを決定する。図９は予測用パラメータＥｐを示す構成図であるが、“Ｐａｔｔｅｒｎ”は、Ｎ個のセグメントパターンの中で（図７では４つのセグメントパターンを示している）、実際に選択されたセグメントパターンの番号を示しており、Ｎ通りのセグメントパターンがあるときは、固定長符号化により２N-1 ビットのビット長が必要となる。
また、“ＣＭＢ”は、選択された予測画像の番号を示しており、２ビットのビット長が必要となる。

また、予測誤差比較部３５から選択結果Ｅｇｚが出力されると、動きベクトル選択部３８が、選択結果Ｅｇｚに基づいて最小の予測誤差に係る動きベクトルを選択する。例えば、選択結果Ｅｇｚが予測誤差Ｅｇ１を選択した旨を示す場合には、動きベクトルＵｖ１を動きベクトルＵｖとして出力する。

そして、ブロックベース予測部１４及びセグメントベース予測部１５からそれぞれ予測画像Ｇｅ，予測誤差Ｅｇ及び動きベクトルＵｖが出力されると、まず、選択部１６の閾値処理部６１が、ブロックベース予測部１４から出力された予測誤差Ｅｇから閾値を減算したのち、その減算結果と、セグメントベース予測部１５から出力された予測誤差Ｅｇを比較し、その比較結果を予測モードＥｍとして出力する。

そして、閾値処理部６１から予測モードＥｍが出力されると、予測画像選択部６２が、予測モードＥｍに基づいてブロックベース予測部１４が出力する予測画像Ｇｅ又はセグメントベース予測部１５が出力する予測画像Ｇｅの何れか一方を選択する。例えば、予測モードＥｍが減算結果の方が大きい旨を示している場合には、ブロックベース予測部１４が出力する予測画像Ｇｅを選択し、予測モードＥｍが減算結果の方が小さい旨を示している場合には、セグメントベース予測部１５が出力する予測画像Ｇｅを選択する。

また、閾値処理部６１から予測モードＥｍが出力されると、動きベクトル選択部６３が、予測モードＥｍに基づいてブロックベース予測部１４が出力する動きベクトルＵｖ又はセグメントベース予測部１５が出力する動きベクトルＵｖの何れか一方を選択する。例えば、予測モードＥｍが減算結果の方が大きい旨を示している場合には、ブロックベース予測部１４が出力する動きベクトルＵｖを選択し、予測モードＥｍが減算結果の方が小さい旨を示している場合には、セグメントベース予測部１５が出力する動きベクトルＵｖを選択する。

このようにして選択された予測画像Ｇｅは、次の画像の符号化に備えて、減算器１に出力され、予測モードＥｍ及び動きベクトルＵｖは可変長符号化部１７に出力される。

そして、選択部１６から予測モードＥｍ及び動きベクトルＵｖが出力されると、可変長符号化部１７が、量子化部３から出力された量子化係数Ｇｑと動きベクトルＵｖと予測モードＥｍと予測用パラメータＥｐとを可変長符号化して可変長符号語Ｇｃｋを生成し、その可変長符号語Ｇｃｋをバッファ１８に蓄積する。
そして、バッファ１８は、可変長符号語Ｇｃｋの蓄積量が閾値に到達すると画像復号化器に可変長符号語Ｇｃｋを符号化ビットストリームＣＢＳとして出力する。

また、このとき、一定のビットレートで符号化ビットストリームＣＢＳを画像復号化器に出力すべく、量子化制御部１９が、バッファ１８のバッファ残量Ｂｚ（可変長符号語Ｇｃｋの蓄積量）を監視し、バッファ残量Ｂｚに応じて量子化部３の量子化値ｑを制御する。
具体的には、バッファ残量Ｂｚが少なくなると、情報量を抑制すべく量子化部３の量子化値ｑを大きく設定し、バッファ残量Ｂｚが多くなると、情報量を増加すべく量子化部３の量子化値ｑを小さく設定する。

以上で明らかなように、この実施の形態１によれば、ＳＴＦＭ１１の他に、ＳＴＦＭ１１に記憶された局部復号化画像Ｇｋよりも所定時間前に、加算器７から出力された局部復号化画像Ｇｋを記憶するＬＴＦＭ１３を設け、ＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して入力画像の動き補償を実行するようにしたので、ＳＴＦＭ１１に記憶される１つの局部復号化画像Ｇｋにおいては、対象物の背後に背景画像が隠れているが、今回入力した入力画像Ｇｉでは対象物の背後に背景画像が現れてきたような場合でも、ＳＴＦＭ１１に記憶される局部復号化画像Ｇｋと時間的なずれがある参照画像をＬＴＦＭ１３に確保できるため、対象物の背後に背景画像が存在する参照画像が得られる可能性が向上し、画像符号化器の符号化精度が向上する効果が得られる。従って、予測効率の高さが特に要求される動画像の低ビットレート伝送には極めて有利である。
また、局部復号化画像Ｇｋを参照して入力画像Ｇｉのフレーム毎に動き補償を実行するブロックベース予測部１４と、局部復号化画像Ｇｋを参照して、予め定められたセグメントパターンの各セグメント領域毎に動き補償を実行するセグメントベース予測部１５とを設けたので、入力画像Ｇｉの１フレーム中に存在する複数の対象物が、互いに異なる動きをする場合でも、入力画像Ｇｉと予測画像Ｇｅとの誤差を小さくできる効果が得られる。

実施の形態２．
上記実施の形態１では、図７に示すように、１つのマクロブロックが２つのセグメント領域から構成されるセグメントパターンを設定した場合について示したが、３つ以上のセグメント領域から構成されるセグメントパターンを設定してもよく、上記実施の形態１と同様の効果を奏することができる。
例えば、図７の垂直パターンと水平パターンの重複領域をセグメントとする場合には、１つのマクロブロック中に４つのセグメント領域が設定されることになる。
ただし、この場合には、予測用パラメータＥｐにおける“Ｐａｔｔｅｒｎ”の符号化ビット数は変わらず、２N-1 ビットであるが、“ＣＭＢ”は１６通りのパターンが存在するので、４ビットのビット長が必要となる。

実施の形態３．
上記実施の形態１では、遅延時間制御部１２が遅延後の局部復号化画像Ｇｋを逐次ＬＴＦＭ１３に記憶させるものについて示したが、所定のタイミングにおいてのみ局部復号化画像Ｇｋを記憶させるようにしてもよい。
なお、この場合には、ＬＴＦＭ１３には、次のタイミングまで同じ局部復号化画像Ｇｋが記憶されることになるが、この局部復号化画像Ｇｋは、遅延時間制御部１２が遅延した局部復号化画像Ｇｋでもよいし、記憶タイミングのとき加算器７から出力される局部復号化画像Ｇｋでもよい。

実施の形態４．
上記実施の形態１では、ＳＴＦＭ１１と別個に遅延時間制御部１２を設けたものについて示したが、図１０に示すように、ＳＴＦＭ１１の内部に遅延時間制御部１２を設けるようにしてもよく、上記実施の形態１と同様の効果を奏することができる。

実施の形態５．
図１１はこの発明の実施の形態５による画像符号化器のセグメントベース予測部１５の詳細を示す構成図であり、図において、図３のものと同一符号は同一または相当部分を示すので説明を省略する。
７１は入力画像Ｇｉを分析して複数のセグメント領域に分割する領域画像分割部（画像分割部）、７２は領域画像分割部７１により分割された各セグメント領域毎に動き補償を実行し、予測画像Ｇｅ等を生成する領域画像予測部である。

次に動作について説明する。
上記実施の形態１と同様にして、セグメントベース予測部１５が入力画像Ｇｉを入力すると、セグメントベース予測部１５の領域画像分割部７１が、入力画像Ｇｉの画像の濃淡値の相違やエッジ等を検出することにより、入力画像Ｇｉを複数のセグメント領域に分割する。

このようにして、領域画像分割部７１が入力画像Ｇｉを複数のセグメント領域に分割すると、領域画像予測部７２が、ＳＴＦＭ１１及びＬＴＦＭ１３により記憶された局部復号化画像Ｇｋを参照して、分割された各セグメント領域毎に動き補償を実行することにより、予測誤差Ｅｇが最小となるような予測画像Ｇｅを生成し、当該予測画像Ｇｅと予測誤差Ｅｇと動きベクトルＵｖと形状情報Ｋｊとを出力する。
即ち、上記実施の形態１における予測画像決定部３１等は、予め定められたセグメントパターンにおける各セグメント領域について動き補償を実行するが、領域画像予測部７２は、領域画像分割部７１により分割された各セグメント領域毎に動き補償を実行する点で相違している。

かかる相違により、この実施の形態５によれば、入力画像Ｇｉのセグメント領域が予め定められたセグメントパターンと大きく相違する場合でも、入力画像Ｇｉと予測画像Ｇｅとの誤差を小さくできる効果を奏する。
なお、領域画像予測部７２が出力する形状情報Ｋｊとしては、例えば、各セグメントの輪郭線等が考えられ、形状情報Ｋｊは可変長符号化部１７において可変長符号化され、画像復号化器に送られる。

実施の形態６．
図１２はこの発明の実施の形態６による画像符号化器のセグメントベース予測部１５の詳細を示す構成図であり、図において、図１１のものと同一符号は同一または相当部分を示すので説明を省略する。
７３は予め設定された複数のセグメントパターン（領域形状パターン）と領域画像分割部７１により分割された入力画像Ｇｉとの近似度をそれぞれ計算して最も近似度の高いセグメントパターンを抽出する領域形状記述部、７４は領域形状記述部７３により抽出されたセグメントパターンにおける各セグメント領域毎に動き補償を実行し、予測画像Ｇｅ等を生成する領域画像予測部である。

次に動作について説明する。
上記実施の形態５と同様にして、領域画像分割部７１が入力画像Ｇｉを複数のセグメント領域に分割すると、領域形状記述部７３が、図１３に示すような予め設定された複数のセグメントパターンと分割された入力画像Ｇｉとの近似度をそれぞれ計算して最も近似度の高いセグメントパターンを抽出する。

具体的には、図１３の場合、セグメントパターン１〜４のなかで（セグメントパターンの黒色表示部分）、セグメント領域の画素と最も共通領域の画素数が多いセグメントパターンを最も近似度の高いセグメントパターンとして抽出する。
そして、最も近似度の高いセグメントパターンを抽出すると、今度は、セグメントパターンにおける各セグメント領域の形状を具体的にするために、レベルを抽出する。

例えば、セグメントパターン３を最も近似度の高いセグメントパターンとして抽出したとすると、Ｎ個のレベルが設定されているので（図１４では２つのレベルを例示している）、共通領域の画素数等に基づいてレベルを抽出する。
なお、言うまでもないが、レベルが異なっても、同一のセグメントパターンであれば、セグメント領域の形状の相似関係は保持される。
また、レベルの個数は、各セグメントパターン毎に相違する。

このようにして、セグメントパターンとレベルが抽出されると、領域画像予測部７４が、抽出されたセグメントパターンにおける各セグメント領域毎に動き補償を実行することにより、予測誤差Ｅｇが最小となるような予測画像Ｇｅを生成し、当該予測画像Ｇｅと予測誤差Ｅｇと動きベクトルＵｖと形状情報Ｋｊとを出力する。
なお、形状情報Ｋｊとしては、抽出したセグメントパターンとレベルとから構成される。

以上により、この実施の形態６によれば、分割された入力画像Ｇｉのセグメント領域が予め定められたセグメントパターンと大きく相違する場合でも、入力画像Ｇｉと予測画像Ｇｅとの誤差を小さくできる効果を奏する。

実施の形態７．
図１５はこの発明の実施の形態７による画像符号化器を示す構成図であり、図において、図１のものと同一符号は同一または相当部分を示すので説明を省略する。
８１はバッファ１８のバッファ残量Ｂｚ（可変長符号語Ｇｃｋの蓄積量）に応じてＳＴＦＭ１１に対するＬＴＦＭ１３の記憶時間の遅れを制御する遅延時間決定部（遅延時間制御手段）である。

次に動作について説明する。
上記実施の形態１と同様にして、可変長符号化部１７に可変長符号化された可変長符号語Ｇｃｋがバッファ１８に蓄積され、その蓄積量が閾値を越えると、その可変長符号語Ｇｃｋが符号化ビットストリームＣＢＳとして画像復号化器に送られるが、遅延時間決定部８１が、バッファ１８のバッファ残量Ｂｚに応じてＳＴＦＭ１１に対するＬＴＦＭ１３の記憶時間の遅れを制御するようにしてもよい。

即ち、量子化制御部１９が、バッファ１８のバッファ残量Ｂｚが少なくなると、情報量を抑制すべく量子化部３の量子化値ｑを大きく設定するが、さらに、遅延時間決定部８１が、ＳＴＦＭ１１に対するＬＴＦＭ１３の記憶時間の遅れを小さく設定すると、参照フレーム間の距離が小さくなり、入力画像Ｇｉと局部復号化画像Ｇｋとの時間的相関が高くなる。これにより、情報発生量を抑制することができる。
一方、量子化制御部１９が、バッファ１８のバッファ残量Ｂｚが多くなると、情報量を増加すべく量子化部３の量子化値ｑを小さく設定するが、さらに、遅延時間決定部８１が、ＳＴＦＭ１１に対するＬＴＦＭ１３の記憶時間の遅れを大きく設定すると、参照フレーム間の距離が大きくなり、入力画像Ｇｉと局部復号化画像Ｇｋとの時間的相関が低くなる。これにより、情報発生量を増加することができる。

実施の形態８．
図１６はこの発明の実施の形態８による画像符号化器を示す構成図であり、図において、図１のものと同一符号は同一または相当部分を示すので説明を省略する。
９１は入力画像Ｇｉと予測画像Ｇｅの差分画像Ｇｓに基づいてシーンチェンジを検出するとともに、当該シーンチェンジを検出したとき、加算器７から出力された局部復号化画像ＧｋをＬＴＦＭ１３に記憶させるシーンチェンジ検出部（シーンチェンジ検出手段）である。

次に動作について説明する。
上記実施の形態１では、遅延時間制御部１２が所定時間遅延させたのち、局部復号化画像ＧｋをＬＴＦＭ１３に記憶させるものについて示したが、さらに、シーンチェンジ検出部９１が、入力画像Ｇｉと予測画像Ｇｅの差分画像Ｇｓに基づいてシーンチェンジを検出したとき、加算器７から出力された局部復号化画像ＧｋをＬＴＦＭ１３に記憶させるようにしてもよい。

即ち、シーンチェンジ検出部９１が、差分画像Ｇｓの分散や画素値の絶対値和を求め、それらが閾値より大きいときシーンチェンジが発生したものと判断し、シーンチェンジ検出信号Ｓを遅延時間制御部１２に出力する。
そして、シーンチェンジ検出部９１からシーンチェンジ検出信号Ｓが出力されると、遅延時間制御部１２が、現在、加算器７から出力されている局部復号化画像ＧｋをＬＴＦＭ１３に記憶させる。
ただし、シーンチェンジ検出部９１がシーンチェンジを検出しない通常時においては、上記実施の形態１と同様のタイミングで局部復号化画像ＧｋがＬＴＦＭ１３に記憶される。

これにより、この実施の形態８によれば、入力画像Ｇｉに対して極めて相関が低いシーンチェンジが起こる前の局部復号化画像ＧｋがＬＴＦＭ１３に記憶されるのを防止することができるため、入力画像Ｇｉと予測画像Ｇｅとの誤差を小さくできる効果を奏する。

実施の形態９．
図１７はこの発明の実施の形態９による画像復号化器を示す構成図であり、図において、１０１は画像符号化器から送られてくる符号化ビットストリームＣＢＳを可変長復号化し、量子化係数Ｇｒを出力する復号手段としての可変長復号化部（復号化画像生成手段）、１０２は可変長復号化部１０１から出力された量子化係数Ｇｒを逆量子化し、変換係数Ｇｒｔを出力する逆量子化部（復号化画像生成手段）、１０３は逆量子化部１０２から出力された変換係数Ｇｒｔを逆離散コサイン変換し、差分画像Ｇｓを再生する逆変換部（復号化画像生成手段）、１０４は逆変換部１０３に再生された差分画像Ｇｓに予測画像Ｇｅを加算して復号化画像Ｇｆを生成する加算器（復号化画像生成手段）である。

また、１０５は加算器１０４から出力された復号化画像Ｇｆを記憶するフレームバッファとしてのＳＴＦＭ（第１の記憶手段）、１０６は加算器１０４から出力された復号化画像Ｇｆを一時的に保持し、加算器１０４から復号化画像Ｇｆが出力されたのち所定時間経過後に復号化画像ＧｆをＬＴＦＭ１０７に記憶させる遅延時間制御部（第２の記憶手段）、１０７はＳＴＦＭ１０５により記憶された復号化画像Ｇｆよりも所定時間前に、加算器１０４から出力された復号化画像Ｇｆを記憶するフレームバッファとしてのＬＴＦＭ（第２の記憶手段）である。

また、１０８はＳＴＦＭ１０５又はＬＴＦＭ１０７により記憶されたフレーム単位の復号化画像Ｇｆと可変長復号化部１０１により復号化された動きベクトルＵｖとに基づいて予測画像Ｇｅを生成するブロックベース画像生成部（予測画像生成手段）、１０９はＳＴＦＭ１０５又はＬＴＦＭ１０７により記憶されたセグメント領域単位の復号化画像Ｇｆと可変長復号化部１０１により復号化された動きベクトルＵｖ及び予測用パラメータＥｐとに基づいて予測画像Ｇｅを生成するセグメントベース画像生成部（予測画像生成手段）、１１０はブロックベース画像生成部１０８により生成された予測画像Ｇｅ又はセグメントベース画像生成部１０９により生成された予測画像Ｇｅの何れか一方を選択する動き補償手段としてのモード選択部（予測画像生成手段）である。この動き補償手段は、ブロックベース画像生成部１０８、セグメントベース画像生成部１０９およびモード選択部１１０から構成される。

図１８はモード選択部１１０の詳細を示す構成図であり、図において、１１１は予測モードＥｍに基づいて動きベクトルＵｖをブロックベース画像生成部１０８又はセグメントベース画像生成部１０９の何れか一方に出力するとともに、動きベクトルＵｖの出力先を示す選択フラグＦを出力するモード切り替え部、１１２はモード切り替え部１１１から出力された選択フラグＦに基づいてブロックベース画像生成部１０８又はセグメントベース画像生成部１０９の何れかから出力された予測画像Ｇｅを加算器１０４に出力する予測画像選択部である。

次に動作について説明する。
まず、画像符号化器から符号化ビットストリームＣＢＳが送られてくると、可変長復号化部１０１が、その符号化ビットストリームＣＢＳを可変長復号化し、量子化係数Ｇｒ，予測モードＥｍ，動きベクトルＵｖ及び予測用パラメータＥｐを出力する。
そして、可変長復号化部１０１から量子化係数Ｇｒが出力されると、逆量子化部１０２が量子化係数Ｇｒを逆量子化して変換係数Ｇｒｔを出力し、逆変換部１０３が変換係数Ｇｒｔを逆離散コサイン変換して差分画像Ｇｓを再生する。
そして、加算器１０４が差分画像Ｇｓに予測画像Ｇｅを加算して復号化画像Ｇｆを生成する。

そして、加算器１０４から復号化画像Ｇｆが出力されると、上記実施の形態１におけるＳＴＦＭ１１及びＬＴＦＭ１３と同様に、ＳＴＦＭ１０５は直ちに当該復号化画像Ｇｆを記憶し、ＬＴＦＭ１０７は遅延時間制御部１０６に所定時間遅延された当該復号化画像Ｇｆを記憶する。

一方、可変長復号化部１０１から予測モードＥｍ及び動きベクトルＵｖが出力されると、モード選択部１１０のモード切り替え部１１１が予測モードＥｍを分析し、予測モードＥｍが、画像符号化器の減算器１に入力された予測画像Ｇｅは、ブロックベース予測部１４が生成した予測画像Ｇｅに係るものであること示す場合には、当該動きベクトルＵｖをブロックベース画像生成部１０８に出力する。これに対して、予測モードＥｍが、画像符号化器の減算器１に入力された予測画像Ｇｅは、セグメントベース予測部１５が生成した予測画像Ｇｅに係るものであること示す場合には、当該動きベクトルＵｖをセグメントベース画像生成部１０９に出力する。
また、当該動きベクトルＵｖの出力先を示す選択フラグＦを予測画像選択部１１２に出力する。

そして、ブロックベース画像生成部１０８は、モード切り替え部１１１から動きベクトルＵｖを出力された場合には、ＳＴＦＭ１０５又はＬＴＦＭ１０７により記憶されたフレーム単位の復号化画像Ｇｆと当該動きベクトルＵｖとに基づいて予測画像Ｇｅを生成する。
また、セグメントベース画像生成部１０９は、モード切り替え部１１１から動きベクトルＵｖを出力された場合には、ＳＴＦＭ１０５又はＬＴＦＭ１０７により記憶されたセグメント領域単位の復号化画像Ｇｆと当該動きベクトルＵｖと予測用パラメータＥｐとに基づいて予測画像Ｇｅを生成する。即ち、セグメント領域単位の復号化画像Ｇｆ等を適宜組み合わせることにより、予測画像Ｇｅを生成する。
なお、予測モードＥｍは、図１９に示すように、いわゆる予測モードと参照すべき画像フレームの情報を含んでおり、各々対応する可変長コードが与えられている。

そして、予測画像選択部１１２は、選択フラグＦが動きベクトルＵｖの出力先として、ブロックベース画像生成部１０８を示す場合には、ブロックベース画像生成部１０８が生成した予測画像Ｇｅを加算器１０４に出力する。
また、選択フラグＦが動きベクトルＵｖの出力先として、セグメントベース画像生成部１０９を示す場合には、セグメントベース画像生成部１０９が生成した予測画像Ｇｅを加算器１０４に出力する。

これにより、この実施の形態９によれば、上記実施の形態１等の画像符号化器から送られてくる符号化ビットストリームＣＢＳから精度よく復号化画像Ｇｆを生成できる効果を奏する。

実施の形態１０．
上記実施の形態９では、符号化ビットストリームＣＢＳに形状情報Ｋｊが含まれていないものについて示したが、上記実施の形態５等のように、符号化ビットストリームＣＢＳに形状情報Ｋｊが含まれている場合には、可変長復号化部１０１が形状情報Ｋｊも可変長復号化してセグメントベース画像生成部１０９に出力し、セグメントベース画像生成部１０９が形状情報Ｋｊも考慮して予測画像Ｇｅを生成するようにしてもよい。

この発明の実施の形態１による画像符号化装置を示す構成図である。ブロックベース予測部１４の詳細を示す構成図である。セグメントベース予測部１５の詳細を示す構成図である。セグメントベース予測部１５の予測画像決定部３１〜３４の詳細を示す構成図である。選択部１６の詳細を示す構成図である。ブロックベース予測部１４の動作を説明する説明図である。セグメントパターンを示す説明図である。セグメントベース予測部１５の動作を説明する説明図である。予測用パラメータＥｐを示す構成図である。この発明の実施の形態４による画像符号化装置を示す構成図である。この発明の実施の形態５による画像符号化器のセグメントベース予測部１５の詳細を示す構成図である。この発明の実施の形態６による画像符号化装置のセグメントベース予測部１５の詳細を示す構成図である。セグメントパターンを示す説明図である。セグメントパターンのレベルを示す説明図である。この発明の実施の形態７による画像符号化装置を示す構成図である。この発明の実施の形態８による画像符号化装置を示す構成図である。この発明の実施の形態９による画像復号化装置を示す構成図である。モード選択部１１０の詳細を示す構成図である。予測モードＥｍを示す説明図である。従来の画像符号化装置を示す構成図である。

符号の説明

１減算器（局部復号化画像生成手段）、２変換部（局部復号化画像生成手段）、３量子化部（局部復号化画像生成手段）、５逆量子化部（局部復号化画像生成手段）、６逆変換部（局部復号化画像生成手段）、７加算器（局部復号化画像生成手段）、１１，１０５ＳＴＦＭ（第１の記憶手段）、１２，１０６遅延時間制御部（第２の記憶手段）、１３，１０７ＬＴＦＭ（第２の記憶手段）、１４ブロックベース予測部（予測手段、第１の予測部）、１５セグメントベース予測部（予測手段、第２の予測部）、１６選択部（予測手段）、１７可変長符号化部（符号化手段）、１８バッファ（量子化制御手段）、１９量子化制御部（量子化制御手段）、７１領域画像分割部（画像分割部）、８１遅延時間決定部（遅延時間制御手段）、９１シーンチェンジ検出部（シーンチェンジ検出手段）、１０１可変長復号化部（復号化画像生成手段）、１０２逆量子化部（復号化画像生成手段）、１０３逆変換部（復号化画像生成手段）、１０４加算器（復号化画像生成手段）、１０８ブロックベース画像生成部（予測画像生成手段）、１０９セグメントベース画像生成部（予測画像生成手段）、１１０モード選択部（予測画像生成手段）。

Claims

動画像信号の各フレームを所定のブロックに分割し、該ブロックを単位として動き補償予測を用いて圧縮符号化されたビットストリームを入力として動画像信号を復元する動画像復号化装置において、
動き補償予測に用いる参照画像を、時刻の異なる複数の画像フレームとして格納する複数のフレームバッファと、
入力ビットストリームから、前記圧縮符号化の単位となるブロックごとに、該領域の動き補償予測を行う単位となる領域を定める動き補償予測単位領域識別情報と、前記動き補償予測単位領域識別情報によって定まる動き補償予測単位ごとに、対応する動きベクトルおよび動き補償予測に使用したフレームバッファを指定するフレームバッファ識別情報を復号する復号手段と、
前記フレームバッファに格納される参照画像と復号した動きベクトルとに基づき、動き補償予測の単位となる領域に対応する予測画像を生成する動き補償手段と、
前記フレームバッファに参照画像を格納するにあたり、復号化画像を参照画像として格納するタイミングを制御して、復号化画像をフレームバッファに格納する制御手段とを備え、
前記動き補償手段は、前記復号手段で復号されたフレームバッファ識別情報で指定されるフレームメモリに格納された参照画像を用いて予測画像の生成を行うことを特徴とする動画像復号化装置。