JP3942616B2 - 動画像復号化装置及び動画像復号化方法 - Google Patents

Description

本発明は、動画像復号化装置及び動画像復号化方法に関し、特に、ディジタル化された動画像入力信号が、解像度決定部にて決定された解像度に従って解像度変換され、予測符号化された動画像信号を受信して動画像復元を行う動画像復号化装置及びディジタル化された動画像入力信号に対して、高解像度または低解像度の変換が行われ、予測符号化された動画像信号を受信して動画像復元を行う動画像復号化方法に関する。

動画像符号化技術として、ＩＴＵ(International Telecommunication Union) −Ｔ(Telecommunication Standardization Sector)で標準化されたＨ．２６１や、ＭＰＥＧ(Moving Picture Experts Group)−１／２等の動画像ハイブリッド符号化方式がある。これらの符号化方式では、入力画像の１フレームを複数ブロックに分割し、各ブロック単位に動き補償と直交変換とを行い、そしてエントロピ符号化を行っている。

こうした動画像ハイブリッド符号化方式において、シーンチェンジがあった場合や、動画像内に動きの激しい部分があった場合などに、１フレーム分を符号化した結果発生した符号情報量が、１フレームに割り当てられている基準の伝送情報量を越えてしまうことが発生する。こうした場合には、発生した符号情報量を基準伝送情報量まで強制的に減少させることが行われるので、結果的に、伝送先で復元された画像に、画像品質の極度な劣化や、極端な駒落としが発生し、非常に見にくい画像となってしまう。

こうした不具合を回避するために、従来、シーンチェンジがあった場合や、動画像内に動きの激しい部分があった場合などに、入力画像の解像度を低下させて、発生符号情報量を減少させるようにした動画像符号化装置が、例えば特開平７−９５５６６号において提案されている。この装置では、画像を構成するブロック毎に予測パラメータ（動きベクトル）を算出し、それらの大きさから画像全体の動きベクトルの平均の大きさを求める。そして、この平均値に基づいて、符号化すべき解像度を決定し、入力画像と参照画像の双方の解像度を、決定された解像度に変換した上で符号化することが行われている。

また、特開昭６３−１５５８９６号にも、入力画像と参照画像の双方の解像度を、低解像度に変換した上で符号化する装置が示されている。

しかし、上記の従来装置においては、入力画像と参照画像の双方の解像度を、決定された解像度に変換した上で符号化が行われるので、符号化が、高解像度で行われる状態から低解像度で行われる状態に遷移すると、予測画像を作成する元になる参照画像の全ての部分が低解像度に変換されてしまう。そのため、テレビ会議における背景の画像のような、時間的に全く変化がなく、伝送情報量の増大に関係しない画像部分まで低解像度に変換されてしまい、この結果、これらの背景部分が不必要にぼやけてしまい、視覚的に大きな劣化を来すという問題点があった。

本発明はこのような点に鑑みてなされたものであり、高解像度から低解像度に切り替わったときに、背景などの静止領域の画像の画質が低下することを防止した動画像復号化装置及び動画像復号化方法を提供することを目的とする。

本発明では上記目的を達成するために、図２に示すような動画像復号化装置が提供される。この動画像復号化装置は、復号化された復号画像を、高解像度で蓄積する高解像度画像蓄積手段２２と、復号化された復号画像を蓄積する復号画像蓄積手段２３と、再生された予測誤差信号を基に復号画像を得、当該復号画像を復号画像蓄積手段２３に蓄積するとともに、復号画像の解像度が高解像度であるときのみ、復号画像を高解像度画像蓄積手段２２に蓄積する復号画像生成手段２８と、復号画像の解像度が低解像度であるときに、符号化が行われているブロックに対してのみ、復号画像を高解像度に変換して、高解像度画像蓄積手段２２に記録する高解像度画像更新手段２９とから構成される。

また、高解像度画像更新手段２９は、符号化が行われ、かつ、動きベクトルが零でない、またはフレーム内符号化が行われているブロックに対してのみ、復号化された復号画像の解像度が低解像度であるときに、復号画像の解像度を高解像度に変換して、高解像度画像蓄積手段２２に記録し、また、符号化が行われ、かつ、動きベクトルが零であるブロックに対してのみ、復号化された復号画像の解像度が低解像度であるときに、逆量子化・直交逆変換手段２７で再生された予測誤差信号の解像度を高解像度に変換し、高解像度画像蓄積手段２２に蓄積されている対応位置の画像に加算して高解像度画像蓄積手段２２に蓄積されている画像を更新する。

以上のように構成された動画像復号化装置は、従来の動画像復号化装置に僅かの回路を付加するだけで、画質の向上を図ることが可能になる。
すなわち、図中の復元手段２１、復号画像蓄積手段２３、解像度変換手段２４、予測画像生成手段２６、逆量子化・直交逆変換手段２７、復号画像生成手段２８、画像表示手段３０は、従来から存在する回路構成部分である。つまり、復号画像蓄積手段２３は、復号画像生成手段２８から送られた復号画像を、その解像度の高低に拘わらず蓄積する。解像度変換手段２４は、復号画像蓄積手段２３に蓄積されている参照画像を、復元手段２１から送られている解像度に応じて変換して予測画像生成手段２６へ送る。解像度変換手段２４は、復元手段２１から高解像度を示す情報が送られていれば、復号画像蓄積手段２３に蓄積されている参照画像を、その解像度が高解像度であればそのまま予測画像生成手段２６へ送り、低解像度であれば高解像度に変換して予測画像生成手段２６へ送る。一方、解像度変換手段２４は、復元手段２１から低解像度を示す情報が送られていれば、復号画像蓄積手段２３に蓄積されている参照画像を、その解像度が低解像度であればそのまま予測画像生成手段２６へ送り、高解像度であれば低解像度に変換して予測画像生成手段２６へ送る。予測画像生成手段２６は、画像の所定のブロック毎に、復元手段２１により復元された符号化方法に基づき、フレーム内符号化であれば、予測画像として画素値ゼロを出力し、フレーム間符号化であれば、参照画像を基に、復元手段２１により復元された動きベクトルを用いて予測画像を生成して復号画像生成手段２８へ出力する。復号画像生成手段２８は、所定のブロック毎に、逆量子化・直交逆変換手段２７で再生された予測誤差信号に予測画像を加算して復号画像を得、当該復号画像を復号画像蓄積手段２３に蓄積する。なお、ここの再生予測誤差信号及び予測画像の解像度は、復元手段２１で復元された解像度となっている。

次に、新たに付加された構成部分に基づく動作を説明する。
先ず、低解像度復号化時でも、背景のような画像に動きのない部分については高解像度の画像を画面表示できるようにしようとしているが、一方で、復号画像蓄積手段２３、解像度変換手段２４、予測画像生成手段２６、及び復号画像生成手段２８で構成されるループは従来構成のままのループであり、そのループでの動作は、送信符号化側の同一ループの動作と同一となるようにする必要がある。そのために、復元手段２１で復元された解像度が、低解像度から高解像度に遷移した場合、復号画像蓄積手段２３に蓄積されている低解像度の画像を、解像度変換手段２４が高解像度に変換して予測画像生成手段２６へ送るようにする。

そして、予測画像生成手段２６が予測画像を生成し、それを基に復号画像生成手段２８が復号画像を生成し、復号画像蓄積手段２３へ蓄積する。同時に、その復号画像を高解像度画像蓄積手段２２にも蓄積する。復号画像蓄積手段２３に蓄積された復号画像は高解像度である。この遷移の後、復元手段２１から高解像度を示す情報が継続的に送られれば、復号画像蓄積手段２３から高解像度の画像が予測画像生成手段２６へ継続的に送られる。

次に、復元手段２１で復元された解像度が、高解像度から低解像度に遷移した場合、復号画像蓄積手段２３からの高解像度の画像を解像度変換手段２４が低解像度に変換し、予測画像生成手段２６へ送る。この結果、復号画像蓄積手段２３には低解像度の復元画像が蓄積される。この遷移の後、復元手段２１から低解像度を示す情報が継続的に送られれば、復号画像蓄積手段２３から低解像度の画像が予測画像生成手段２６へ継続的に送られる。

復元手段２１により復元された解像度が低解像度であるときに、高解像度画像更新手段２９が、符号化が行われているブロックに対してのみ、復号画像生成手段２８から得られた低解像度の復号画像を高解像度に変換して、高解像度画像蓄積手段２２に蓄積されている対応ブロックの画像を更新する。この更新により、高解像度画像蓄積手段２２に蓄積されている画像のうちで、画像に変化がある符号化ブロックの画像だけが更新され、画像に変化がない背景のような画像を構成するブロックはそのまま維持され、高画質が保持される。従って、この高解像度画像蓄積手段２２に蓄積された画像を画像表示手段３０で表示すると、その画像において、背景画像の画質が優れているとともに、解像度の切り替え時に従来発生していたような背景画像の画質の変化が、発生しない。

本発明では、高解像度画像蓄積手段、低解像度画像蓄積手段、低解像度時高解像度画像更新手段、及び高解像度時低解像度画像更新手段を備えることにより、高解像度から低解像度に切り替わったときに、背景などの静止領域の画像の画質が低下することを防止することができる。

また、これにより、低解像度から高解像度に切り替わったときに、従来技術では、背景などの静止領域の画像に関する詳細情報を新たに伝送する必要があったが、本発明ではそれが不要となる。

また、符号化ブロックを、動領域符号化ブロックと静止領域符号化ブロックとに分けて、静止領域符号化ブロックに対しては、高解像度を維持するようにしている。これにより、輝度が変化することにより符号化されたが、画像に動きのないブロックに対して、適切な対応がとれるようになる。

更に、従来の動画像復号化装置に、高解像度画像蓄積手段及び高解像度画像更新手段を新たに付加するだけで、従来の動画像復号化装置の構成を生かしたまま、高解像度から低解像度に切り替わったときに、背景などの静止領域の画像の画質が低下することを防止することができる。

以下、本発明の実施の形態を、図面を参照して説明する。
まず、第１の実施の形態の原理構成を、図１を参照して説明する。第１の実施の形態は動画像符号化装置に関する。その構成は、局部復号化された復号画像を高解像度で蓄積する高解像度画像蓄積手段３と、局部復号化された復号画像を低解像度で蓄積する低解像度画像蓄積手段４と、解像度決定手段１により決定された解像度に応じて、高解像度が決定されているときには高解像度画像蓄積手段３に蓄積された画像を読み出し、低解像度が決定されているときには低解像度画像蓄積手段４に蓄積された画像を読み出す選択的読出手段５と、低解像度で予測符号化され、低解像度画像蓄積手段４に蓄積された画像を高解像度に変換して高解像度画像蓄積手段３に記録する低解像度時高解像度画像更新手段１３と、解像度決定手段１で決定された解像度が高解像度から低解像度に変化したとき、高解像度画像蓄積手段３に蓄積されている画像を低解像度に変換し、低解像度画像蓄積手段４に記録する高解像度時低解像度画像更新手段１４とからなる。

また、低解像度時高解像度画像更新手段１３は、符号化が行われ、かつ、動きベクトルが零でない、またはフレーム内符号化が行われているブロックに対してのみ、解像度決定手段１により低解像度が決定されているときに、低解像度画像蓄積手段４に蓄積されている画像の解像度を高解像度に変換して、高解像度画像蓄積手段３に記録し、また、符号化が行われ、かつ、動きベクトルが零であるブロックに対してのみ、解像度決定手段１により低解像度が決定されているときに、逆量子化・直交逆変換手段１１で再生された予測誤差信号の解像度を高解像度に変換し、高解像度画像蓄積手段３に蓄積されている対応位置の画像に加算して高解像度画像蓄積手段３に蓄積されている画像を更新する。

図中の解像度決定手段１、入力画像解像度変換手段２、予測パラメータ算出手段６、予測画像生成手段７、予測誤差信号生成手段８、直交変換・量子化手段９、符号割当手段１０、逆量子化・直交逆変換手段１１、復号画像生成手段１２は、従来から存在する回路構成部分である。

すなわち、解像度決定手段１は、符号化を、高解像度及び低解像度のうちのいずれで行うかを決定する。入力画像解像度変換手段２は、入力画像の解像度を、解像度決定手段１により決定された解像度に変換する。予測パラメータ算出手段６は、入力画像解像度変換手段２から出力された画像を、当該画像を構成する所定のブロック毎に、選択的読出手段５で読み出された画像と比較して、フレーム内符号化及びフレーム間符号化のいずれの符号化を行うかを決定するとともに、動きベクトルを算出する。予測画像生成手段７は、所定のブロック毎に、予測パラメータ算出手段６の算出結果に基づき、フレーム内符号化であれば、予測画像として画素値ゼロを出力し、フレーム間符号化であれば、選択的読出手段５で読み出された画像を基に予測パラメータ算出手段６で算出された動きベクトルを用いて予測画像を生成して出力する。

予測誤差信号生成手段８は、所定のブロック毎に、入力画像解像度変換手段２から出力された画像と上記予測画像との差を算出して予測誤差信号を生成する。直交変換・量子化手段９は、予測誤差信号生成手段８で生成された予測誤差信号に対して、直交変換及び量子化を行う。符号割当手段１０は、少なくとも、直交変換・量子化手段９の出力、解像度決定手段１により決定された解像度、並びに予測パラメータ算出手段６で決定された符号化方法及び算出された動きベクトルを基に、それらの複数の組み合わせに予め割り当てられた符号の中から対応の符号を取り出して出力する。逆量子化・直交逆変換手段１１は、直交変換・量子化手段９の出力に対して逆量子化及び直交逆変換を行い、予測誤差信号を再生する。復号画像生成手段１２は、所定のブロック毎に、逆量子化・直交逆変換手段１１で再生された予測誤差信号に予測画像を加算して復号画像を得、当該復号画像を、解像度決定手段１により決定された解像度に応じて、高解像度が決定されているときには高解像度画像蓄積手段３に蓄積し、低解像度が決定されているときには低解像度画像蓄積手段４に蓄積する。

以上のような構成において、解像度決定手段１が、先ず、符号化を高解像度で行うと決定しているとする。この場合、入力画像解像度変換手段２は、入力画像の解像度を高解像度に変換する。また、図１に示す各スイッチは破線で示す側に位置する。

選択的読出手段５は、高解像度が決定されているので、高解像度画像蓄積手段３に蓄積された画像を読み出し、予測パラメータ算出手段６及び予測画像生成手段７へ送る。予測パラメータ算出手段６は、入力画像解像度変換手段２から出力された高解像度の入力画像を、選択的読出手段５によって高解像度画像蓄積手段３から読み出された高解像度の参照画像と比較し、フレーム内符号化及びフレーム間符号化のいずれの符号化を行うかを決定するとともに、動きベクトルを算出する。この処理は、画像を構成する所定のブロック毎に行われる。予測画像生成手段７は、予測パラメータ算出手段６の算出結果に基づき、フレーム内符号化であれば、予測画像として画素値ゼロを出力し、一方、フレーム間符号化であれば、選択的読出手段５によって高解像度画像蓄積手段３から読み出された高解像度の参照画像を基に、予測パラメータ算出手段６で算出された動きベクトルを用いて予測画像を生成して出力する。この処理も、所定のブロック毎に行われる。

予測誤差信号生成手段８は、所定のブロック毎に、入力画像解像度変換手段２から出力された高解像度の入力画像と、予測画像生成手段７で生成された予測画像との差を算出して予測誤差信号を生成し、直交変換・量子化手段９へ送る。直交変換・量子化手段９及びこれに続く符号割当手段１０、逆量子化・直交逆変換手段１１の動作は、従来技術と同じである。

復号画像生成手段１２は、所定のブロック毎に、逆量子化・直交逆変換手段１１で再生された予測誤差信号に、予測画像生成手段７で生成された予測画像を加算して復号画像を得、当該復号画像を高解像度画像蓄積手段３に蓄積する。

次に、解像度決定手段１が、符号化を低解像度で行うと決定したとする。この場合、入力画像解像度変換手段２は、入力画像の解像度を低解像度に変換する。また、図１に示す各スイッチは実線で示す側に切り替えられる。

高解像度時低解像度画像更新手段１４は、解像度決定手段１により決定された解像度が高解像度から低解像度に変化したときだけ、高解像度画像蓄積手段３に蓄積されている１フレーム分の画像を、その解像度を低解像度に変換した上で、低解像度画像蓄積手段４に蓄積する。選択的読出手段５は、低解像度画像蓄積手段４に蓄積されたその画像を読み出し、予測パラメータ算出手段６及び予測画像生成手段７へ送る。このように低解像度画像蓄積手段４には、高解像度から低解像度に変化したときに最新の画像が蓄積される。これを利用して、予測パラメータ算出手段６は、選択的読出手段５から送られた低解像度の参照画像と、入力画像解像度変換手段２から出力された低解像度の入力画像とを比較し、高解像度の場合と同じ処理を行う。予測画像生成手段７、予測誤差信号生成手段８、直交変換・量子化手段９、符号割当手段１０、逆量子化・直交逆変換手段１１も、高解像度の場合と同じ処理をそれぞれ行う。

復号画像生成手段１２は、所定のブロック毎に、逆量子化・直交逆変換手段１１で再生された予測誤差信号に、予測画像生成手段７で生成された予測画像を加算して復号画像を得、当該復号画像を低解像度画像蓄積手段４に蓄積する。この際に、低解像度時高解像度画像更新手段１３が、符号化が行われているブロックに対してのみ、低解像度画像蓄積手段４に蓄積されている画像の解像度を高解像度に変換して、高解像度画像蓄積手段３に蓄積されている画像を更新する。

すなわち、動画像符号化においては、画像を構成するブロック単位に処理が行われるが、処理方法の違いから、結果的に、符号化ブロックと非符号化ブロックとの２種類のブロックに分けられる。符号化ブロックは、前回画像と今回画像とを比べたときに、画像に変化があるブロックであり、当然その差に対して符号化が行われる。そして、符号化ブロックの復号処理時には、前回の参照画像の対応ブロックに対して画像更新が行われる。一方、非符号化ブロックは、前回画像と今回画像との間に変化がないブロックであり、この場合には符号化が行われない。従って、非符号化ブロックの復号処理時には、前回の参照画像の対応ブロックに対して手を加えずに、そのまま、そのブロックを維持する。

そこで、低解像度時高解像度画像更新手段１３は、符号化ブロックが処理されている場合には、低解像度画像蓄積手段４に蓄積された対応ブロックの画像の解像度を高解像度に変換して、高解像度画像蓄積手段３に蓄積されている対応ブロックの画像を更新する。非符号化ブロックが処理されている場合には、こうした更新を行わない。これにより、高解像度画像蓄積手段３に蓄積されている画像のうちで、画像に変化がある符号化ブロックの画像だけが更新され、画像に変化がない背景のような画像を構成するブロックはそのまま維持される。以上の結果、高解像度画像蓄積手段３に、低解像度の符号化処理が行われているにも拘わらず、最新の参照画像が保持されることになる。なお、ここでの符号化は、低解像度によって行われているので、高解像度画像蓄積手段３に蓄積されている画像のうちで、更新されたブロックの画質は低下してしまう。しかし、背景画像のような、更新されないブロックでは、高画質が維持される。従って、この後、低解像度から高解像度に切り替わって、高解像度画像蓄積手段３に蓄積されている画像が参照画像として使用されたとき、従来技術に比べ、背景の画質の低下が防止できる。それとともに、切り替わり時に従来であれば必要であった背景に関する詳細情報の伝送が不要となり、伝送情報量の増大を抑えることができる。

なお詳しく説明するならば、低解像度時高解像度画像更新手段１３は、符号化が行われ、かつ、動きベクトルが零でない、またはフレーム内符号化が行われているブロックに対してのみ、解像度決定手段１により低解像度が決定されているときに、低解像度画像蓄積手段４に蓄積されている画像の解像度を高解像度に変換して、高解像度画像蓄積手段３に蓄積されている画像を更新する。また、符号化が行われ、かつ、動きベクトルが零であるブロックに対してのみ、解像度決定手段１により低解像度が決定されているときに、逆量子化・直交逆変換手段１１で再生された予測誤差信号の解像度を高解像度に変換し、当該変換後の再生予測誤差信号を、高解像度画像蓄積手段３に蓄積されている画像に加算して復号画像を得、当該復号画像で高解像度画像蓄積手段３に蓄積されている画像を更新する。

すなわち、画像に動きのない背景のような画像を構成するブロックは、非符号化ブロックとして処理されるはずである。しかし、そうした背景画像のブロックにおいて、人物の影の動き、カメラの絞りの変化、室内照明に使用された蛍光灯のちらつき、ノイズ等に起因して輝度が変化し、その結果、予測誤差が生じて符号化が行われることがあり得る。こうしたことを回避するために、符号化ブロックを静止領域符号化ブロックと動領域符号化ブロックとに分ける。静止領域符号化ブロックは上記のような場合のブロックであり、動領域符号化ブロックは本来の符号化ブロックである。

動領域符号化ブロックは、符号化が行われ、かつ、動きベクトルが零でない、またはフレーム内符号化が行われているという条件によって選別する。
静止領域符号化ブロックは、符号化が行われ、かつ、動きベクトルが零であるという条件によって選別する。静止領域符号化ブロックに対してのみ、解像度決定手段１により低解像度が決定されているときに、逆量子化・直交逆変換手段１１で再生された予測誤差信号の解像度を高解像度に変換し、当該変換後の再生予測誤差信号を、高解像度画像蓄積手段３に蓄積されている高画質を保った対応ブロックの画像に加算して復号画像を得、当該復号画像で高解像度画像蓄積手段３に蓄積されている画像を更新する。これにより、背景領域の輝度が変化した場合でも、背景領域の画質が劣化することがなくなる。

次に、第１の実施の形態を具体的に説明する。
図３は、第１の実施の形態の具体的構成を示すブロック図である。ここで、図１に示す解像度決定手段１が図３の解像度決定部３１に対応し、同様に、入力画像解像度変換手段２がダウンサンプリング部３２ａ及び切替スイッチ３２ｂに、高解像度画像蓄積手段３がＣＩＦ(Common Intermediate Format)画像蓄積部３３に、低解像度画像蓄積手段４がＱＣＩＦ(Quarter Common Intermediate Format) 画像蓄積部３４に、選択的読出手段５が切替スイッチ３５に、予測パラメータ算出手段６が動き予測部３６に、予測画像生成手段７が予測画像生成器３７ａ及び切替スイッチ３７ｂに、予測誤差信号生成手段８が減算器３８に、直交変換・量子化手段９がＤＣＴ(Discrete Cosine Transform) ３９ａ及び量子化器３９ｂに、符号割当手段１０がエントロピ符号化器４０に、逆量子化・直交逆変換手段１１が逆量子化器４１ａ及びＩＤＣＴ(Inverse Discrete Cosine Transform) ４１ｂに、復号画像生成手段１２が加算器４２及び切替スイッチ４５に、低解像度時高解像度画像更新手段１３が低解像度時高解像度画像更新部４３及び切替スイッチ４５に、高解像度時低解像度画像更新手段１４がダウンサンプリング部４４及び切替スイッチ４５に対応する。

図３では更に、制御部４６及び符号化情報バッファ４７が設けられる。
解像度決定部３１は、制御部４６から量子化ステップ幅を、エントロピ符号化器４０から発生符号情報量を、符号化情報バッファ４７から占有情報量を送られ、それらに基づいて、過度の駒落としや画質劣化が発生しない状態で動画像を伝送できるように、最適な解像度を決定する。この例では、入力画像が高解像度ＣＩＦ（１フレーム当たり３５２×２８８画素）であり、解像度決定部３１は、通常は符号化を高解像度ＣＩＦで行うように決定し、伝送符号情報量が所定基準量を越えたときだけ、符号化を低解像度ＱＣＩＦ（１フレーム当たり１７６×１４４画素）で行うように決定する。この解像度の決定方法として、例えば特願平８−７５６０５号によって提案された方法が適用可能であり、特願平８−７５６０５号に、その詳しい説明がある。決定された解像度は、切替スイッチ３２ｂ，３５，４５及びエントロピ符号化器４０へ送られる。

ダウンサンプリング部３２ａは、高解像度ＣＩＦの画像に対して２対１のダウンサンプリングを行い、低解像度ＱＣＩＦの画像を作成する。ダウンサンプリング処理の詳細を、図４に示す。

図４は、２対１のダウンサンプリング処理を説明する図である。すなわち、図４において、白丸が高解像度ＣＩＦの画像を構成する画素を表し、アルファベットの小文字が、その画素の画素値を表している。また、黒丸が低解像度ＱＣＩＦの画像を構成する画素を表し、アルファベットの大文字が、その画素の画素値を表している。低解像度ＱＣＩＦの画像を構成する画素の画素値Ａ，Ｂ，Ｃ，・・を得るために、低解像度ＱＣＩＦの各画素をそれぞれ囲む４つの高解像度ＣＩＦの画素の画素値を用いて、例えば、Ａ＝（ａ＋ｂ＋ｅ＋ｆ）／４というように、それらの平均値を求めるようにしている。こうして、高解像度ＣＩＦから低解像度ＱＣＩＦへの変換を行っている。

図３に戻って、解像度決定部３１が高解像度ＣＩＦを決定しているときには、切替スイッチ３２ｂが破線で示す側に位置して、高解像度ＣＩＦの入力画像が選択され、一方、解像度決定部３１が低解像度ＱＣＩＦを決定しているときには、切替スイッチ３２ｂが実線で示す側に位置して、ダウンサンプリング部３２ａから出力される低解像度ＱＣＩＦの画像が選択される。

切替スイッチ３５は、解像度決定部３１から送られる解像度に応じて動作する。高解像度ＣＩＦが送られているときには、切替スイッチ３５が破線で示す側に位置し、一方、低解像度ＱＣＩＦが送られているときには、切替スイッチ３５が実線で示す側に位置する。

動き予測部３６は、画像を構成するマクロブロック（本明細書では「ブロック」と呼ぶ）毎に処理を行う。この処理を含めた一連の動画像符号化処理は、ＩＴＵ−Ｔで標準化された動画像符号化方式であるＨ．２６１をベースにする。

予測画像生成器３７ａは、切替スイッチ３５から送られた参照画像に、動き予測部３６から送られた動きベクトルを用いて予測画像を生成する。切替スイッチ３７ｂは、動き予測部３６から送られた符号化方法に基づき、ブロック毎に、フレーム内符号化であれば、予測画像として画素値０を選択して出力し、フレーム間符号化であれば、予測画像生成器３７ａで生成された予測画像を選択して出力する。

ＤＣＴ３９ａは予測誤差信号に対して離散コサイン変換を行い、変換係数を生成する。量子化器３９ｂは、制御部４６から送られた量子化ステップ幅に従い、変換係数に対して量子化を行い、量子化係数を生成する。

制御部４６は、エントロピ符号化器４０から、符号化を行なった結果発生した符号情報量が送られ、また、符号化情報バッファ４７から占有情報量が送られる。制御部４６は、これらを基に量子化ステップ幅を決定し、量子化器３９ｂ、逆量子化器４１ａ、解像度決定部３１、及びエントロピ符号化器４０へ送る。

エントロピ符号化器４０は、量子化器３９ｂの出力した量子化係数、解像度決定部３１で決定した解像度、制御部４６で決定した量子化ステップ幅、並びに動き予測部３６で決定した符号化方法及び動きベクトルを基に、それらの複数の組み合わせに予め割り当てられた符号の中から対応の符号を取り出して、符号化情報バッファ４７へ出力する。符号化情報バッファ４７は、エントロピ符号化器４０から出力された符号を一時的に保管する。

ダウンサンプリング部４４は、ダウンサンプリング部３２ａと同一の構成となっている。切替スイッチ４５は、解像度決定部３１から送られる解像度に応じて動作する。高解像度ＣＩＦが送られているときには、切替スイッチ４５の各切片が破線で示す側にそれぞれ位置し、一方、低解像度ＱＣＩＦが送られているときには、切替スイッチ４５の各切片が実線で示す側にそれぞれ位置する。ただし、切替スイッチ４５は、高解像度ＣＩＦから低解像度ＱＣＩＦに遷移した直後だけ、ダウンサンプリング部４４の出力をＱＣＩＦ画像蓄積部３４へ接続するようにする。従って、ＱＣＩＦ画像蓄積部３４には、高解像度ＣＩＦから低解像度ＱＣＩＦに遷移した直後に、最新の低解像度ＱＣＩＦの画像が保持されることになる。

次に、低解像度時高解像度画像更新部４３及び切替スイッチ４５の動作を、図５〜図８を参照して説明する。
図５は、動領域符号化ブロックが処理対象となっている場合の低解像度時高解像度画像更新部４３の動作を示す図である。すなわち、低解像度ＱＣＩＦで復号処理が行われる場合、図３に示すように、切替スイッチ４５の各切片が実線で示す側にそれぞれ位置する。そして、低解像度時高解像度画像更新部４３は、動き予測部３６から符号化方法及び動きベクトルについての情報を送られ、これらに基づき、処理対象のブロックが、符号化が行われており、かつ、動きベクトルが零でない、またはフレーム内符号化が行われている動領域符号化ブロックであるか否かを判別する。動領域符号化ブロックが処理対象となっている場合、加算器４２が、切替スイッチ３７ｂから送られた低解像度の予測画像に、ＩＤＣＴ４１ｂから送られた低解像度の再生予測誤差信号を加算することによって低解像度の復号画像を出力する。この復号画像は切替スイッチ４５（図３に実線で示されるスイッチ位置）を介してＱＣＩＦ画像蓄積部３４へ送られる。

図７（Ａ）は、ＱＣＩＦ画像蓄積部３４に蓄積されている１フレーム分の画像を例示する図である。図中に斜線を施されたブロックが符号化ブロックであり、画像に動きのある部分である。非符号化ブロックは背景等の動きのない画像に相当する。ＱＣＩＦ画像蓄積部３４に蓄積されている画像は、低解像度であるので、どのブロックの画像も画質はよくない。

低解像度時高解像度画像更新部４３は、内部にアップサンプリング部４３ａを備える。アップサンプリング部４３ａは、低解像度ＱＣＩＦの画像に対して１対２のアップサンプリングを行い、高解像度ＣＩＦの画像を作成する。アップサンプリング処理の詳細を、図８に示す。

図８は、１対２のアップサンプリング処理を説明する図である。すなわち、図８において、黒丸が低解像度ＱＣＩＦの画像を構成する画素を表し、アルファベットの大文字が、その画素の画素値を表している。また、白丸が高解像度ＣＩＦの画像を構成する画素を表し、アルファベットの小文字が、その画素の画素値を表している。破線は、ブロックどうしの境界を示している。ここで、境界線に接していない高解像度ＣＩＦの画像を構成する画素の画素値、例えばｆは、この高解像度ＣＩＦの画素に近い４つの低解像度ＱＣＩＦの画像を構成する画素の画素値を用いて、ｆ＝（９Ａ＋３Ｂ＋３Ｃ＋Ｄ）／１６というように、近接度に応じた重み付けを行なって求めるようにしている。しかし、境界線に接している高解像度ＣＩＦの画素の画素値、例えばｂは、隣接ブロックの画素の画素値を使用せずに、この高解像度ＣＩＦの画素に近い自ブロック側の２つの低解像度ＱＣＩＦの画素の画素値を用いて、ｂ＝（３Ａ＋Ｂ）／４というようにして求めるようにしている。また、例えばｉも同様に、隣接ブロックの画素の画素値を使用せずに、この高解像度ＣＩＦの画素に近い自ブロック側の２つの低解像度ＱＣＩＦの画素の画素値を用いて、ｉ＝（Ａ＋３Ｃ）／４というようにして求めるようにしている。なお、境界線の角に位置するａでは、ａ＝Ａというようにして求めるようにしている。

図５に戻って、低解像度時高解像度画像更新部４３は、動領域符号化ブロックが処理対象となっていることを判別した場合、ＱＣＩＦ画像蓄積部３４に蓄積されている画像のうちの処理対象のブロックに対してアップサンプリングを行う。すなわち、図７（Ａ）に示した符号化ブロックが動領域符号化ブロックであれば、このブロックを取り出して高解像度ＣＩＦへ変換する。そして、切替スイッチ４５（図３に実線で示されるスイッチ位置）を介してＣＩＦ画像蓄積部３３へ送り、対応ブロックの画像を更新する。

図７（Ｂ）は、ＣＩＦ画像蓄積部３３に蓄積されている１フレーム分の画像を例示する図である。図中に斜線を施されたブロックが低解像度時高解像度画像更新部４３によって更新が行われたブロックであり、画像に動きのある部分である。非更新ブロックは背景等の動きのない画像に相当する。こうした更新が行われるので、低解像度ＱＣＩＦの処理が行われているときでも、ＣＩＦ画像蓄積部３３には最新の画像が保持されることとなる。更新が行われたブロックの画像は、低解像度ＱＣＩＦの画像を使用して更新されているので、その画質は低下するが、非更新ブロックに蓄積されている画像は、高画質を維持できる。

図６は、静止領域符号化ブロックが処理対象となっている場合の低解像度時高解像度画像更新部４３の動作を示す図である。すなわち、低解像度ＱＣＩＦで復号処理が行われる場合、図３に示すように、切替スイッチ４５の各切片が実線で示す側にそれぞれ位置する。そして、低解像度時高解像度画像更新部４３は、動き予測部３６から符号化方法及び動きベクトルについての情報を送られ、これらに基づき、処理対象のブロックが、符号化が行われており（量子化器３９ｂから出力された量子化係数の個数が零でない）、かつ、動きベクトルが零である静止領域符号化ブロックであるか否かを判別する。静止領域符号化ブロックが処理対象となっている場合、加算器４２が、切替スイッチ３７ｂから送られた低解像度の予測画像に、ＩＤＣＴ４１ｂから送られた低解像度の再生予測誤差信号を加算することによって低解像度の復号画像を出力する。この復号画像は切替スイッチ４５（図３に実線で示されるスイッチ位置）を介してＱＣＩＦ画像蓄積部３４へ送られる。

低解像度時高解像度画像更新部４３は、内部に、アップサンプリング部４３ａの他にアップサンプリング部４３ｂ及び加算器４３ｃを備える。アップサンプリング部４３ｂは、低解像度ＱＣＩＦの再生予測誤差信号に対して１対２のアップサンプリングを行い、高解像度ＣＩＦの再生予測誤差信号を作成する。アップサンプリング部４３ｂの構成はアップサンプリング部４３ａと同じである。

低解像度時高解像度画像更新部４３で、静止領域符号化ブロックが処理対象となっていることが判別された場合、アップサンプリング部４３ｂが、ＩＤＣＴ４１ｂから送られた再生予測誤差信号をアップサンプリングする。そして、加算器４３ｃが、ＣＩＦ画像蓄積部３３に蓄積された対応ブロックの高解像度ＣＩＦの画像にこのアップサンプリングされた再生予測誤差信号を加算して高解像度ＣＩＦの復号画像を得、この復号画像を切替スイッチ４５（図３に実線で示されるスイッチ位置）を介してＣＩＦ画像蓄積部３３へ送り、ＣＩＦ画像蓄積部３３の対応ブロックの画像を更新する。こうした更新が行われるので、低解像度ＱＣＩＦの処理が行われているときでも、ＣＩＦ画像蓄積部３３には最新の画像が保持される。それとともに、高解像度ＣＩＦの画像を使用して復号画像が作成されているので、更新が行われたブロックの画像の画質は低下することなく、更新ブロックに蓄積されている画像は、高画質を維持できる。しかも、輝度の変化が加味された画像となっている。

なお、ＣＩＦ画像蓄積部３３に画像表示装置を接続するならば、解像度の変化があっても、高画質の背景が維持された画像をこの画像表示装置でモニタすることが可能となる。
以上のように、第１の実施の形態では、伝送情報量が所定基準量を越えないように解像度を低下させた場合でも、ＣＩＦ画像蓄積部３３に蓄積された、画像に動きのない背景画像に関しては、高画質を維持できる。従って、ＣＩＦ画像蓄積部３３に蓄積された画像をモニタした場合に、解像度が高解像度から低解像度に変化したときでも、背景画像がぼけることがない。これは、後述の第２の実施の形態に示すように、こうした動画像符号化装置から送られた符号化信号を受信して復号化する動画像復号化装置において効果を発揮する。また、解像度が低解像度から高解像度に変化したとき、従来ならば、低画質になってしまった背景画像を高画質に戻すために伝送情報量が増加するが、ＣＩＦ画像蓄積部３３に高画質の背景画像が蓄積されているのでそうした伝送情報量の増加を未然に防止できる。

次に、第２の実施の形態を説明する。
第２の実施の形態は動画像復号化装置に関する。
図９は、第２の実施の形態の構成を示すブロック図である。第２の実施の形態は、第１の実施の形態の構成を応用している。そのため、図９においては、第１の実施の形態の構成と同じ部分には同一の参照符号を付し、その説明を省略する。

第２の実施の形態では、局部復号部５０が第１の実施の形態の構成と同じものとなっている。そして、エントロピ復号器５１及び画像表示装置５２が、新たに設けられる。エントロピ復号器５１は、送信側から送られた符号化信号を基にして、量子化係数、解像度、量子化ステップ幅、符号化方法、及び動きベクトルを復元する。そして、量子化係数及び量子化ステップ幅を逆量子化器４１ａへ、解像度を切替スイッチ３５，４５へ、符号化方法及び動きベクトルを予測画像生成器３７ａ、切替スイッチ３７ｂ、及び低解像度時高解像度画像更新部４３へ送る。

第１の実施の形態に示すような動画像符号化装置から送られた符号化信号が、この動画像復号化装置により受信され、局部復号部５０が第１の実施の形態における同一構成部と同じ動作を行う。その結果、ＣＩＦ画像蓄積部３３に、解像度の変化があっても高画質の背景が維持された画像が常時保持される。この画像を表示するようにする。従って、伝送情報量が所定基準量を越えないように解像度を低下させた場合でも、画像に動きのない背景画像に関しては高画質を維持でき、それにより、解像度が高解像度から低解像度に変化したときでも、受信側の画像表示装置５２において、背景画像がぼけることがない。

次に、第３の実施の形態を説明する。
まず、第３の実施の形態の原理構成を、図２を参照して説明する。第３の実施の形態は動画像復号化装置に関する。その構成は、復号化された復号画像を、高解像度で蓄積する高解像度画像蓄積手段２２と、復号化された復号画像を蓄積する復号画像蓄積手段２３と、再生された予測誤差信号を基に復号画像を得、当該復号画像を復号画像蓄積手段２３に蓄積するとともに、復号画像の解像度が高解像度であるときのみ、復号画像を高解像度画像蓄積手段２２に蓄積する復号画像生成手段２８と、復号画像の解像度が低解像度であるときに、符号化が行われているブロックに対してのみ、復号画像を高解像度に変換して、高解像度画像蓄積手段２２に記録する高解像度画像更新手段２９とからなる。

また、高解像度画像更新手段２９は、符号化が行われ、かつ、動きベクトルが零でない、またはフレーム内符号化が行われているブロックに対してのみ、復号化された復号画像の解像度が低解像度であるときに、復号画像の解像度を高解像度に変換して、高解像度画像蓄積手段２２に記録し、符号化が行われ、かつ、動きベクトルが零であるブロックに対してのみ、復号化された復号画像の解像度が低解像度であるときに、逆量子化・直交逆変換手段２７で再生された予測誤差信号の解像度を高解像度に変換し、高解像度画像蓄積手段２２に蓄積されている対応位置の画像に加算して高解像度画像蓄積手段２２に蓄積されている画像を更新する。

以上のように構成された動画像復号化装置は、従来の動画像復号化装置に僅かの回路を付加するだけである。
すなわち、復元手段２１、復号画像蓄積手段２３、解像度変換手段２４、予測画像生成手段２６、逆量子化・直交逆変換手段２７、復号画像生成手段２８、画像表示手段３０は、従来から存在する回路構成部分である。つまり、復号画像蓄積手段２３は、復号画像生成手段２８から送られた復号画像を、その解像度の高低に拘わらず蓄積する。解像度変換手段２４は、復号画像蓄積手段２３に蓄積されている参照画像を、復元手段２１から送られている解像度に応じて変換して予測画像生成手段２６へ送る。解像度変換手段２４は、復元手段２１から高解像度を示す情報が送られていれば、復号画像蓄積手段２３に蓄積されている参照画像を、その解像度が高解像度であればそのまま予測画像生成手段２６へ送り、低解像度であれば高解像度に変換して予測画像生成手段２６へ送る。一方、解像度変換手段２４は、復元手段２１から低解像度を示す情報が送られていれば、復号画像蓄積手段２３に蓄積されている参照画像を、その解像度が低解像度であればそのまま予測画像生成手段２６へ送り、高解像度であれば低解像度に変換して予測画像生成手段２６へ送る。予測画像生成手段２６は、画像の所定のブロック毎に、復元手段２１により復元された符号化方法に基づき、フレーム内符号化であれば、予測画像として画素値ゼロを出力し、フレーム間符号化であれば、参照画像を基に、復元手段２１により復元された動きベクトルを用いて予測画像を生成して復号画像生成手段２８へ出力する。復号画像生成手段２８は、所定のブロック毎に、逆量子化・直交逆変換手段２７で再生された予測誤差信号に予測画像を加算して復号画像を得、当該復号画像を復号画像蓄積手段２３に蓄積する。なお、ここの再生予測誤差信号及び予測画像の解像度は、復元手段２１で復元された解像度となっている。

次に、新たに付加された構成部分に基づく動作を説明する。
先ず、低解像度復号化時でも、背景のような画像に動きのない部分については高解像度の画像を画面表示できるようにしようとしているが、一方で、復号画像蓄積手段２３、解像度変換手段２４、予測画像生成手段２６、及び復号画像生成手段２８で構成されるループは従来構成のままのループであり、そのループでの動作は、送信符号化側の同一ループの動作と同一となるようにする必要がある。そのために、復元手段２１で復元された解像度が、低解像度から高解像度に遷移した場合、復号画像蓄積手段２３に蓄積されている低解像度の画像を、解像度変換手段２４が高解像度に変換して予測画像生成手段２６へ送るようにする。

そして、予測画像生成手段２６が予測画像を生成し、それを基に復号画像生成手段２８が復号画像を生成し、復号画像蓄積手段２３へ蓄積する。同時に、その復号画像を高解像度画像蓄積手段２２にも蓄積する。復号画像蓄積手段２３に蓄積された復号画像は高解像度である。この遷移の後、復元手段２１から高解像度を示す情報が継続的に送られれば、復号画像蓄積手段２３から高解像度の画像が予測画像生成手段２６へ継続的に送られる。

次に、復元手段２１で復元された解像度が、高解像度から低解像度に遷移した場合、復号画像蓄積手段２３からの高解像度の画像を解像度変換手段２４が低解像度に変換し、予測画像生成手段２６へ送る。この結果、復号画像蓄積手段２３には低解像度の復元画像が蓄積される。この遷移の後、復元手段２１から低解像度を示す情報が継続的に送られれば、復号画像蓄積手段２３から低解像度の画像が予測画像生成手段２６へ継続的に送られる。

復元手段２１により復元された解像度が低解像度であるときに、高解像度画像更新手段２９が、符号化が行われているブロックに対してのみ、復号画像生成手段２８から得られた低解像度の復号画像を高解像度に変換して、高解像度画像蓄積手段２２に蓄積されている対応ブロックの画像を更新する。この更新により、高解像度画像蓄積手段２２に蓄積されている画像のうちで、画像に変化がある符号化ブロックの画像だけが更新され、画像に変化がない背景のような画像を構成するブロックはそのまま維持され、高画質が保持される。従って、この高解像度画像蓄積手段２２に蓄積された画像を画像表示手段３０で表示すると、その画像において、背景画像の画質が優れているとともに、解像度の切り替え時に従来発生していたような背景画像の画質の変化が、発生しない。

次に、第３の実施の形態を具体的に説明する。
図１０は、第３の実施の形態の具体的構成を示すブロック図である。ここで、図２に示す復元手段２１が図１０の符号復号器６１に対応し、同様に、高解像度画像蓄積手段２２が高解像度画像蓄積部６２に、復号画像蓄積手段２３がフレームメモリ６３に、解像度変換手段２４がＣＩＦ／ＱＣＩＦ変換部６４に、予測画像生成手段２６が予測画像生成部６６に、逆量子化・直交逆変換手段２７が逆量子化器６７ａ及びＩＤＣＴ６７ｂに、復号画像生成手段２８が加算器６８ａ及びスイッチ６８ｂに、高解像度画像更新手段２９が高解像度画像更新部６９及びスイッチ７１に、画像表示手段３０が画像表示装置７０に対応する。

符号復号器６１は、送信側から送られた符号化信号を基にして、量子化係数、解像度、量子化ステップ幅、符号化方法、及び動きベクトルを復元する。そして、量子化係数及び量子化ステップ幅を逆量子化器６７ａへ、解像度をスイッチ６８ｂ、７１及びＣＩＦ／ＱＣＩＦ変換部６４へ、符号化方法及び動きベクトルを、予測画像生成部６６及び高解像度画像更新部６９へ送る。

ＣＩＦ／ＱＣＩＦ変換部６４は、フレームメモリ６３から読み出した画像の解像度を、その解像度に関わりなく、符号復号器６１から送られている解像度に変換して出力する。高解像度ＣＩＦが送られていれば、フレームメモリ６３から読み出した画像の解像度を、高解像度ＣＩＦに変換し、低解像度ＱＣＩＦが送られていれば、低解像度ＱＣＩＦに変換して出力する。

スイッチ６８ｂは、符号復号器６１から送られている解像度が高解像度ＣＩＦであるときのみ、加算器６８ａから送られるブロック毎の高解像度ＣＩＦの復号画像を高解像度画像蓄積部６２の対応ブロックに蓄積する。従って、高解像度画像蓄積部６２には、高解像度ＣＩＦで復号処理が行われている間は高解像度ＣＩＦの復号画像が保持されている。以下に、低解像度ＱＣＩＦで復号処理が行われている期間における高解像度画像蓄積部６２の蓄積画像について説明する。

図１１は、高解像度画像更新部６９の内部構成を示す図である。すなわち、高解像度画像更新部６９は、アップサンプリング部６９ａ，６９ｂ、加算器６９ｃ、切替スイッチ６９ｄから構成される。アップサンプリング部６９ａ，６９ｂは各々、図８に示す第１の実施の形態のアップサンプリング部と同じ構成である。切替スイッチ６９ｄは、符号復号器６１から送られた符号化方法及び動きベクトルを基に、処理対象ブロックが動領域符号化ブロックであるか、静止領域符号化ブロックであるかを判別し、動領域符号化ブロックであれば図１１に破線で示す側に位置し、静止領域符号化ブロックであれば図１１に実線で示す側に位置する。なお、動領域符号化ブロック及び静止領域符号化ブロックの定義は、第１の実施の形態で示したものと同じである。

なお図１０において、スイッチ７１は、符号復号器６１から送られている解像度に応じて動作し、低解像度ＱＣＩＦが送られているときだけ、高解像度画像更新部６９の出力を高解像度画像蓄積部６２へ送る。

図１１に戻って、低解像度ＱＣＩＦが送られているときの復号処理を説明する。先ず、切替スイッチ６９ｄによって、動領域符号化ブロックが処理対象となっていることが判別された場合、切替スイッチ６９ｄの切片が、図１１に破線で示す側に位置することになる。高解像度画像更新部６９では、加算器６８ａから送られた低解像度ＱＣＩＦの復号画像に対して、アップサンプリング部６９ａがアップサンプリングを行い、高解像度ＣＩＦの画像を作成し、切替スイッチ６９ｄを介して高解像度画像蓄積部６２へ送る。そして、対応ブロックの画像を更新する。

こうした更新が行われるので、低解像度ＱＣＩＦでの復号処理が行われているときでも、高解像度画像蓄積部６２には最新の画像が保持されることとなる。更新が行われたブロックの画像は、低解像度ＱＣＩＦの画像を使用して更新されているので、その画質が低下するが、非更新ブロックに蓄積されている画像は、高画質を維持できる。

次に、切替スイッチ６９ｄによって、静止領域符号化ブロックが処理対象となっていることが判別された場合、切替スイッチ６９ｄの切片が、図１１に実線で示す側に位置することになる。高解像度画像更新部６９では、アップサンプリング部６９ｂが、ＩＤＣＴ６７ｂから送られた低解像度ＱＣＩＦの再生予測誤差信号に対してアップサンプリングを行い、高解像度ＣＩＦの再生予測誤差信号を作成する。そして、加算器６９ｃが、高解像度画像蓄積部６２に蓄積された対応ブロックの高解像度ＣＩＦの画像にこのアップサンプリングされた再生予測誤差信号を加算して高解像度ＣＩＦの復号画像を得、この復号画像を切替スイッチ６９ｄ及びスイッチ７１を介して高解像度画像蓄積部６２へ送り、高解像度画像蓄積部６２の対応ブロックの画像を更新する。こうした更新が行われることによって、低解像度ＱＣＩＦでの復号処理が行われているときでも、高解像度画像蓄積部６２には最新の画像が保持される。それとともに、更新が行われたブロックの画像の画質は、高解像度ＣＩＦの画像を使用して復号画像が作成されているので低下することがなく、更新ブロックに蓄積されている画像は、高画質を維持できる。しかも、輝度の変化が加味された画像となっている。

このようにして、解像度の変化があっても背景が高画質に維持された画像が、高解像度画像蓄積部６２に常時保持される。そこで、図１０に示すように、画像表示装置７０が、高解像度画像蓄積部６２に蓄積された画像を表示するようにする。従って、伝送情報量が所定基準量を越えないように解像度を低下させた場合でも、画像に動きのない背景画像に関しては高画質を維持でき、それにより、解像度が高解像度から低解像度に変化したときでも、画像表示装置７０において、背景画像がぼけることがない。

また、第３の実施の形態における動画像復号化装置は、従来の動画像復号化装置の構成を生かし、それに、高解像度画像蓄積部６２、高解像度画像更新部６９、スイッチ７１、及び切替スイッチ６８ｂの僅かの回路を付加するだけで画質低下の防止を図ることができる。

第１の原理説明図である。 第２の原理説明図である。 第１の実施の形態の具体的構成を示すブロック図である。 ２対１のダウンサンプリング処理を説明する図である。 動領域符号化ブロックが処理対象となっている場合の低解像度時高解像度画像更新部の動作を示す図である。 静止領域符号化ブロックが処理対象となっている場合の低解像度時高解像度画像更新部の動作を示す図である。 （Ａ）は、ＱＣＩＦ画像蓄積部に蓄積されている１フレーム分の画像を例示する図であり、（Ｂ）は、ＣＩＦ画像蓄積部に蓄積されている１フレーム分の画像を例示する図である。 １対２のアップサンプリング処理を説明する図である。 第２の実施の形態の構成を示すブロック図である。 第３の実施の形態の具体的構成を示すブロック図である。 高解像度画像更新部の内部構成を示す図である。

符号の説明

１ 解像度決定手段
２ 入力画像解像度変換手段
３ 高解像度画像蓄積手段
４ 低解像度画像蓄積手段
５ 選択的読出手段
６ 予測パラメータ算出手段
７ 予測画像生成手段
８ 予測誤差信号生成手段
９ 直交変換・量子化手段
１０ 符号割当手段
１１ 逆量子化・直交逆変換手段
１２ 復号画像生成手段
１３ 低解像度時高解像度画像更新手段
１４ 高解像度時低解像度画像更新手段
２１ 復元手段
２２ 高解像度画像蓄積手段
２３ 復号画像蓄積手段
２４ 解像度変換手段
２６ 予測画像生成手段
２７ 逆量子化・直交逆変換手段
２８ 復号画像生成手段
２９ 高解像度画像更新手段
３０ 画像表示手段

Claims (4)

1. 動画像の復号化処理を行う動画像復号化装置において、
   受信した画像情報が低解像度か高解像度かを示す情報を取得する復元手段と、
   復号化された復号画像を高解像度で蓄積する高解像度画像蓄積手段と、
   復号化された復号画像を低解像度で蓄積する低解像度画像蓄積手段と、
   前記復元手段で取得された解像度が高解像度から低解像度に変化したときのみ、前記高解像度画像蓄積手段に蓄積されている復号画像を取得し、低解像度に変換して、前記低解像度画像蓄積手段に蓄えて更新する高解像度時低解像度画像更新手段と、
   前記復元手段で取得された解像度が低解像度の場合に、非符号化ブロックの復号化処理時には、復号化ブロックに対応する領域の、前記高解像度画像蓄積手段に蓄積されている高解像度画像のブロックの画像は維持したままとし、符号化ブロックの復号化処理時には、前記低解像度画像蓄積手段に蓄積された低解像度のブロック画像を高解像度に変換して、前記高解像度画像を構成している対応するブロックを、低解像度から高解像度に変換された前記ブロック画像で置き換えて更新する低解像度時高解像度画像更新手段と、
   を有し、前記復元手段により取得された解像度が低解像度の場合には、前記低解像度画像蓄積手段に蓄積された画像を用いて予測復号化を行い、前記復元手段により取得された解像度が高解像度の場合には、前記高解像度画像蓄積手段に蓄積された画像を用いて予測復号化を行って、復号画像として常に前記高解像度画像蓄積手段の画像を出力することを特徴とする動画像復号化装置。
2. 前記低解像度時高解像度画像更新手段は、符号化が行われ、かつ、動きベクトルが零である静止領域符号化ブロックに対しては、前記復元手段にて取得した解像度が低解像度のときに、逆量子化／逆直交変換の機能により再生された予測誤差信号の解像度を高解像度に変換し、変換後の再生予測誤差信号を、前記高解像度画像蓄積手段に蓄積されている対応ブロックの画像に加算することを特徴とする請求項１記載の動画像復号化装置。
3. 動画像の復号化処理を行う動画像復号化方法において、
   受信した画像情報が低解像度か高解像度かを示す情報を取得し、
   復号化された復号画像を高解像度画像蓄積手段に高解像度で蓄積し、
   復号化された復号画像を低解像度画像蓄積手段に低解像度で蓄積し、
   取得された解像度が高解像度から低解像度に変化したときのみ、前記高解像度画像蓄積手段に蓄積されている復号画像を取得し、低解像度に変換して、前記低解像度画像蓄積手段に蓄え、
   取得された解像度が低解像度の場合に、非符号化ブロックの復号化処理時には、復号化ブロックに対応する領域の、前記高解像度画像蓄積手段に蓄積されている高解像度画像のブロックの画像は維持したままとし、符号化ブロックの復号化処理時には、前記低解像度画像蓄積手段に蓄積された低解像度のブロック画像を高解像度に変換して、前記高解像度画像を構成している対応するブロックを、低解像度から高解像度に変換された前記ブロック画像で置き換え、
   取得された解像度が低解像度の場合には、前記低解像度画像蓄積手段に蓄積された画像を用いて予測復号化を行い、取得された解像度が高解像度の場合には、前記高解像度画像蓄積手段に蓄積された画像を用いて予測復号化を行って、復号画像として常に前記高解像度画像蓄積手段の画像を出力する、
   ことを特徴とする動画像復号化方法。
4. 符号化が行われ、かつ、動きベクトルが零である静止領域符号化ブロックに対しては、解像度が低解像度のときに、逆量子化／逆直交変換の機能により再生された予測誤差信号の解像度を高解像度に変換し、変換後の再生予測誤差信号を、蓄積されている高解像度画像の対応ブロックの画像に加算することを特徴とする請求項３記載の動画像復号化方法。

Images