JP5586139B2

JP5586139B2 - 映像の解像度の調整を通じて動画を効率的に符号化／復号化する方法及び装置

Info

Publication number: JP5586139B2
Application number: JP2008270119A
Authority: JP
Inventors: 大星趙; 鉉文金; 大熙金; 載宇鄭; 雄一崔
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-11-19
Filing date: 2008-10-20
Publication date: 2014-09-10
Anticipated expiration: 2028-10-20
Also published as: JP2009130931A; KR20090051666A; CN101442674B; US20090129466A1; CN101442674A; KR101365444B1

Description

本発明は、動画を符号化する方法及び装置、動画を復号化する方法及び装置に関する。

動画エンコーダは、動画を構成する映像それぞれを圧縮した形態で符号化して出力すれば、動画デコーダは、それを受信して復号化することによって、原本映像に近接した映像を復元する。かかる圧縮方式には、原本映像と復元映像とが同じ無損失圧縮方式及び原本映像と復元映像とが異なる損失圧縮方式がある。

無損失圧縮方式の代表的な例としては、動画を構成する映像間の時間的な相関関係を利用するインターモード、及びいずれか一つの映像内部の画素間の空間的な相関関係を利用するイントラモードが挙げられる。損失圧縮方式の代表的な例としては、変換過程、量子化過程及びエントロピー符号化過程が挙げられる。

前記したように、インターモードによる動画圧縮は、動画を構成する映像間の時間的な相関関係を利用するため、エンコーダまたはデコーダにより復元された映像を保存できる外部メモリを必要とする。一般的に、エンコーダまたはデコーダの内部の算術演算にかかるサイクルより、エンコーダまたはデコーダがその外部メモリに対するリード／ライトを行う動作にかかるサイクルがさらに多い。

本発明が解決しようとする課題は、エンコーダまたはデコーダが外部メモリに対していずれか一つの参照映像を読み取るか、または書き込むための動作にかかるサイクルを減少させるための動画符号化装置及び方法、動画復号化装置及び方法を提供するところにある。また、前記した方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。本発明が解決しようとする課題は、前記したような課題に限定されず、他の課題が存在しうる。これは、当業者ならば、下記の記載から明確に理解できる。

前記課題を解決するための本発明による動画符号化方法は、メモリに保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元するステップと、前記復元された参照映像を利用して前記現在の映像を符号化するステップと、前記符号化された現在の映像を復号化することによって、前記現在の映像の復元映像を生成するステップと、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存するステップと、を含む。

前記課題を解決するために、本発明は、前記した動画符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記課題を解決するための本発明による動画符号化装置は、メモリに保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元する復元部と、前記復元された参照映像を利用して前記現在の映像を符号化する符号化部と、前記符号化された現在の映像を復号化することによって、前記現在の映像の復元映像を生成する復号化部と、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存する圧縮部と、を備える。

前記課題を解決するための本発明による動画復号化方法は、メモリに保存された圧縮映像のうち、前記現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元するステップと、前記復元された参照映像を利用してビットストリームを復号化することによって、前記現在の映像を復元するステップと、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存するステップと、を含む。

前記課題を解決するために、本発明は、前記した動画復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記課題を解決するための本発明による動画復号化装置は、メモリに保存された圧縮映像のうち、前記現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元する復元部と、前記復元された参照映像を利用してビットストリームを復号化することによって、前記現在の映像を復元する復号化部と、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存する圧縮部と、を備える。

前記課題を解決するための本発明による動画符号化方法は、メモリに保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元するステップと、前記復元された参照映像から前記現在の映像の予測映像を生成するステップと、前記現在の映像と前記生成された予測映像との残差映像の解像度を増加させるステップと、前記解像度が増加した残差映像を符号化するステップと、前記符号化された残差映像を復号化することによって、前記残差映像を復元するステップと、前記復元された残差映像の解像度を減少させるステップと、前記生成された予測映像に前記解像度が減少した残差映像を加算することによって、前記現在の映像の復元映像を生成するステップと、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存するステップと、を含む。

前記課題を解決するための本発明による動画符号化装置は、メモリに保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元する復元部と、前記復元された参照映像から前記現在の映像の予測映像を生成する予測映像生成部と、前記現在の映像と前記生成された予測映像との残差映像の解像度を増加させる解像度増加部と、前記解像度が増加した残差映像を符号化する符号化部と、前記符号化された残差映像を復号化することによって、前記残差映像を復元する復号化部と、前記復元された残差映像の解像度を減少させる解像度減少部と、前記生成された予測映像に前記解像度が減少した残差映像を加算することによって、前記現在の映像の復元映像を生成する加算器と、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存する圧縮部とを備える。

前記課題を解決するための本発明による動画復号化方法は、メモリに保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元するステップと、前記復元された参照映像から前記現在の映像の予測映像を生成するステップと、ビットストリームを復号化することによって、現在の映像と前記現在の映像の予測映像との残差映像を復元するステップと、前記復元された残差映像の解像度を減少させるステップと、前記生成された予測映像に前記解像度が減少した残差映像を加算することによって、前記現在の映像の復元映像を生成するステップと、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存するステップとを含む。

前記課題を解決するための本発明による動画復号化装置は、メモリに保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、前記参照映像を復元する復元部と、前記復元された参照映像から前記現在の映像の予測映像を生成する予測映像生成部と、ビットストリームを復号化することによって、現在の映像と前記現在の映像の予測映像との残差映像を復元する復号化部と、前記復元された残差映像の解像度を減少させる解像度減少部と、前記生成された予測映像に前記解像度が減少した残差映像を加算することによって、前記現在の映像の復元映像を生成する加算器と、前記生成された復元映像の解像度を減少させることによって、前記復元映像を圧縮し、前記圧縮された復元映像を前記メモリに保存する圧縮部とを備える。

前記課題を解決するための本発明による映像圧縮方法は、複数のオフセット値のうち、映像の所定サイズのブロックを構成する画素の値に基づいて前記ブロックのオフセット値を選定するステップと、複数の量子化サイズのうち、前記画素の値に基づいて前記ブロックの量子化サイズを選定するステップと、前記画素の値と前記選定されたオフセット値との差値を前記選定された量子化サイズで割るステップとを含む。

前記課題を解決するために、本発明は、前記した映像圧縮方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記課題を解決するための本発明による映像圧縮装置は、複数のオフセット値のうち、映像の所定サイズのブロックを構成する画素の値に基づいて前記ブロックのオフセット値を選定するオフセット値選定部と、複数の量子化サイズのうち、前記画素の値に基づいて前記ブロックの量子化サイズを選定する量子化サイズ選定部と、前記画素の値と前記選定されたオフセット値との差値を前記選定された量子化サイズで割る量子化部とを備える。

前記課題を解決するための本発明による映像復元方法は、映像の所定サイズのブロックから前記ブロックのオフセット値及び前記ブロックの量子化サイズを抽出するステップと、前記ブロックを構成する画素それぞれの量子化値に前記抽出された量子化サイズを乗じ、前記乗算結果と前記抽出されたオフセット値とを合算することによって、前記画素それぞれの本来のビットサイズの値を復元するステップとを含む。

前記課題を解決するために、本発明は、前記した映像復元方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記課題を解決するための本発明による映像復元装置は、映像の所定サイズのブロックから前記ブロックのオフセット値及び前記ブロックの量子化サイズを抽出する固定長復号化部と、前記ブロックを構成する画素それぞれの量子化値に前記抽出された量子化サイズを乗じ、前記乗算結果と前記抽出されたオフセット値とを合算することによって、前記画素それぞれの本来のビットサイズの値を復元する逆量子化部とを備える。

以下、図面を参照して本発明の実施形態を詳細に説明する。特に、以下に記載された“映像”という用語は、ピクチャー、フレームのような同等な意味を有する他の用語に代替して使われることを当業者ならば理解できる。

図１は、本発明の一実施形態による動画符号化装置１０の構成図である。図１に示すように、本実施形態による動画符号化装置１０は、動き推定部１０１、動き補償部１０２、イントラ予測部１０３、減算器１０４、変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆変換部１０９、加算器１１０、圧縮部１１１及び復元部１１２から構成される。

動き推定部１０１は、復元部１１２により復元された参照映像のうち少なくとも一つの参照映像を基準として、動画を構成する映像のうち外部から現在入力された映像（以下、“現在の映像”という）の動きを推定する。さらに詳細に説明すれば、動き推定部１０１は、現在の映像を構成するブロックのうち、インターモードに該当するブロックそれぞれに対して、復元部１１２により復元された参照映像のうち、現在の映像のブロックに最もよくマッチングされる参照映像のブロックを決定し、このように決定された参照映像のブロックと現在の映像のブロックとの間の変位を表す動きベクトルを算出する。

動き補償部１０２は、動き推定部１０１による現在の映像の動き推定を利用して、復元部１１２により復元された少なくとも一つの参照映像から現在の映像の予測映像を生成する。さらに詳細に説明すれば、動き補償部１０２は、動き推定部１０１により算出された現在の映像のブロックそれぞれの動きベクトルが指示する少なくとも一つの参照映像のブロックの値を現在の映像のブロックの値として決定することによって、現在の映像の予測映像を生成する。

イントラ予測部１０３は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、復元部１１２により生成された復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。減算器１０４は、現在の映像から動き補償部１０２またはイントラ予測部１０３により生成された予測映像を減算することによって、現在の映像と予測映像との残差映像を生成する。

変換部１０５は、減算器１０４により生成された残差映像を色空間から周波数空間に変換する。例えば、変換部１０５は、ＤＨＴ（ＤｉｓｃｒｅｔｅＨａｄａｍａｒｄＴｒａｎｓｆｏｒｍ）、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）などを利用して、減算器１０４により算出された残差映像を色空間から周波数空間に変換できる。量子化部１０６は、変換部１０５により変換された結果を量子化する。さらに詳細に説明すれば、量子化部１０６は、変換部１０５により変換された結果、すなわち周波数成分値を量子化サイズで割り、その結果を整数値に近似化する。

エントロピー符号化部１０７は、量子化部１０６により量子化された結果をエントロピー符号化することによって、ビットストリームを生成する。例えば、エントロピー符号化部１０７は、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ＡｄａｐｔｉｖｅＶａｒｉａｂｌｅ−ＬｅｎｇｔｈＣｏｄｉｎｇ）、ＣＡＶＡＣ（Ｃｏｎｔｅｘｔ−ＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）などを利用して、量子化部１０６により量子化された結果をエントロピー符号化できる。特に、エントロピー符号化部１０７は、量子化部１０６により量子化された結果以外に、動画復号化のための情報、例えばインター予測に使われた参照映像の索引情報、動きベクトル情報、イントラ予測に使われた復元映像のブロックの位置情報などをエントロピー符号化する。また、本実施形態によれば、エントロピー符号化部１０７は、後述するビット解像度調整情報をさらにエントロピー符号化できる。

逆量子化部１０８は、量子化部１０６により量子化された結果を逆量子化する。さらに詳細に説明すれば、逆量子化部１０８は、量子化部１０６により近似化された整数値に量子化サイズを乗じることによって、周波数成分値を復元する。逆変換部１０９は、逆量子化部１０８により逆量子化された結果、すなわち周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。加算器１１０は、動き補償部１０２またはイントラ予測部１０３により生成された予測映像に逆変換部１０９により復元された残差映像を加算することによって、現在の映像の復元映像を生成する。

圧縮部１１１は、加算器１１０により生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮された復元映像をメモリ１１３に保存する。さらに詳細に説明すれば、圧縮部１１１は、ビット解像度調整情報を参照して、２×２ブロック単位で加算器１１０により生成された復元映像を構成する画素それぞれのビット解像度の減少分を決定し、この画素それぞれのビット解像度を前記減少分ほど減少させることによって、復元映像を圧縮する。

本実施形態において、“ビット解像度”とは、画素それぞれの値を表すビットの数を意味する。このビット解像度は、ビット深さ、カラー深さなどの他の用語で表現されることを当業者ならば理解でき、他の実施形態に対しても同様である。すなわち、圧縮部１１１は、加算器１１０により生成された復元映像を構成する画素それぞれの値を表すビットの数を前記減少分ほど減少させることによって、復元映像を圧縮する。

一般的に、メモリ１１３に対する基本アクセス単位、すなわちメモリ１１３に対する読み取り／書き込みの最小単位は、８ビットである１バイトである。また、圧縮部１１１は、２×２ブロック単位で復元映像を構成する画素それぞれのビット解像度を減少させる。いずれか一つのカラー値、例えばＹカラー値、Ｃｂカラー値、Ｃｒカラー値のうちいずれか一つのカラー値に対する２×２ブロックの総データ量は、２×２ブロックを構成する４個の画素それぞれのいずれか一つのカラー値のデータ量が８ビットであるため、４バイトとなる。特に、本実施形態では、映像を構成する画素それぞれの値がＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された例を挙げて説明したが、Ｒカラー値、Ｇカラー値及びＢカラー値など他の種類の色空間を使用できることを当業者ならば理解でき、他の実施形態でも同様である。

したがって、前記メモリ１１３に対する基本アクセス単位を考慮すれば、いずれか一つのカラー値に対する２×２ブロックのデータ量を１バイトないし３バイトに減少させるということが分かる。ただし、１バイトの場合には、映像を表現できる情報の量が非常に少ないので、本実施形態では、いずれか一つのカラー値に対する２×２ブロックのデータ量を２バイトまたは３バイトに減少させる場合のみを考慮する。例えば、加算器１１０により生成された復元映像を構成する画素それぞれの値が８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された場合ならば、圧縮部１１１は、この残差映像を構成する画素それぞれのＹカラー値、Ｃｂカラー値、Ｃｒカラー値を表すビットの数８を４または２ほど減少させる。これにより、８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値は、４ビットまたは６ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値で表現される。

また、本実施形態では、２×２ブロック単位で映像を構成する画素それぞれのビット解像度を調整するが、２×２ブロック単位ではない４×４ブロック単位、８×８ブロック単位、１６×１６ブロック単位など多様なブロック単位で映像を構成する画素それぞれのビット解像度を調整できることを当業者ならば理解できる。

復元部１１２は、メモリ１１３に保存された圧縮映像の解像度を増加させることによって、現在の映像の復元映像を生成する。さらに詳細に説明すれば、復元部１１２は、ビット解像度調整情報を参照して、２×２ブロック単位でメモリ１１３に保存された圧縮映像を構成する画素それぞれのビット解像度の増加分を決定し、この画素それぞれのビット解像度を前記増加分ほど増加させることによって、現在の映像の復元映像を生成する。すなわち、復元部１１２は、メモリ１１３に保存された圧縮映像を構成する画素それぞれの値を表すビットの数を前記増加分ほど増加させることによって、現在の映像の復元映像を生成する。

復元部１１２により生成された復元映像の解像度は、原本映像の解像度と同一でなければならないため、圧縮部１１１により使われた減少分と復元部１１２により使われた増加分とは同じ値でなければならない。例えば、メモリ１１３に保存された圧縮映像を構成する画素それぞれの値が４ビットまたは６ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された場合ならば、圧縮部１１１は、この残差映像を構成する画素それぞれのＹカラー値、Ｃｂカラー値、Ｃｒカラー値を表すビットの数８を４または２ほど増加させる。これにより、４ビットまたは６ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値は、８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値で表現される。

復元部１１２により生成された復元映像は、現在の映像の以後に登場する未来の映像、または現在の映像の以前に存在した過去の映像の参照映像として使われる。すなわち、復元部１１２は、メモリ１１３に保存された圧縮映像の解像度を増加させることによって、現在の映像ではない他の映像の参照映像を復元する。

図２は、本発明の一実施形態による動画復号化装置２０の構成図である。図２に示すように、本実施形態による動画復号化装置２０は、エントロピー復号化部２０１、逆量子化部２０２、逆変換部２０３、動き補償部２０４、イントラ予測部２０５、加算器２０６、圧縮部２０７及び復元部２０８から構成される。図２に示した動画復号化装置２０の映像復元過程は、図１に示した動画符号化装置１０の映像復元過程と同一である。したがって、以下で省略した内容であっても、図１に示した動画符号化装置１０に関して前述した内容は、本実施形態による動画復号化装置２０にも適用される。

エントロピー復号化部２０１は、図２に示した動画符号化装置から出力されたビットストリームをエントロピー復号化することによって、動画に該当する整数値及び動画復号化のための情報などを復元する。逆量子化部２０２は、エントロピー復号化部２０１により復元された整数値を逆量子化することによって、周波数成分値を復元する。逆変換部２０３は、逆量子化部２０２により復元された周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。

動き補償部２０４は、復元部２０８により生成された参照映像のうち少なくとも一つの参照映像基準の現在の映像の動き推定を利用して、少なくとも一つの参照映像から現在の映像の予測映像を生成する。イントラ予測部２０５は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、復元部２０８により生成された復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。加算器２０６は、動き補償部２０４またはイントラ予測部２０５により生成された予測映像に逆変換部２０３により復元された残差映像を加算することによって、現在の映像の復元映像を生成する。

圧縮部２０７は、加算器２０６により生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ２０９に保存する。さらに詳細に説明すれば、圧縮部２０７は、ビット解像度調整情報を参照して、２×２ブロック単位で加算器２０６により生成された復元映像を構成する画素それぞれのビット解像度の減少分を決定し、この画素それぞれのビット解像度を前記減少分ほど減少させることによって、復元映像を圧縮する。

復元部２０８は、メモリ２０９に保存された圧縮映像の解像度を増加させることによって、現在の映像の復元映像を生成する。さらに詳細に説明すれば、復元部２０８は、ビット解像度調整情報を参照して、２×２ブロック単位でメモリ２０９に保存された圧縮映像を構成する画素それぞれのビット解像度の増加分を決定し、この画素それぞれのビット解像度を前記増加分ほど増加させることによって、現在の映像の復元映像を生成する。すなわち、復元部２０８は、メモリ２０９に保存された圧縮映像の解像度を増加させることによって、現在の映像ではない他の映像の参照映像を生成する。

前記実施形態によれば、参照映像の解像度を減少させることによって、参照映像を圧縮し、このように圧縮した参照映像を外部メモリに保存することによって、外部メモリに保存された参照映像のデータ量を減らすことができる。これにより、エンコーダまたはデコーダが外部メモリに対していずれか一つの参照映像を読み取るか、または書き込むための動作にかかるサイクルが減少する。かかる外部メモリの接近にかかるサイクルの減少により、動画符号化／復号化過程の全体のサイクルが減少して、電力消費の少ないエンコーダまたはデコーダを具現できる。

図３は、本発明の他の実施形態による動画符号化装置３０の構成図である。図３に示すように、本実施形態による動画符号化装置３０は、動き推定部３０１、動き補償部３０２、イントラ予測部３０３、減算器３０４、解像度増加部３０５、変換部３０６、量子化部３０７、エントロピー符号化部３０８、逆量子化部３０９、逆変換部３１０、解像度減少部３１１、加算器３１２、圧縮部３１３及び復元部３１４から構成される。図３に示した動画符号化装置３０は、図１に示した動画符号化装置１０に解像度増加部３０５と解像度減少部３１１とが追加された点を除いては、動画符号化装置１０と同一である。したがって、以下で省略した内容であっても、図１に示した動画符号化装置１０に関して前述した内容は、本実施形態による動画符号化装置３０にも適用される。

動き推定部３０１は、復元部３１４により復元された参照映像のうち少なくとも一つの参照映像を基準として、動画を構成する映像のうち現在の映像の動きを推定する。動き補償部３０２は、動き推定部３０１による現在の映像の動き推定を利用して、復元部３１４により復元された少なくとも一つの参照映像から現在の映像の予測映像を生成する。イントラ予測部３０３は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、復元部３１４により生成された復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。減算器３０４は、現在の映像から動き補償部３０２またはイントラ予測部３０３により生成された予測映像を減算することによって、現在の映像と予測映像との残差映像を生成する。

解像度増加部３０５は、減算器３０４により生成された残差映像の解像度を増加させる。さらに詳細に説明すれば、解像度増加部３０５は、ビット解像度調整情報を参照して、減算器３０４により生成された残差映像を構成する画素それぞれのビット解像度の増加分を決定し、この画素それぞれのビット解像度を前記増加分ほど増加させる。すなわち、解像度増加部３０５は、減算器３０４により生成された残差映像を構成する画素それぞれの値を表すビットの数を前記増加分ほど増加させる。例えば、減算器３０４により生成された残差映像を構成する画素それぞれの値が８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された場合ならば、解像度増加部３０５は、この残差映像を構成する画素それぞれのＹカラー値、Ｃｂカラー値、Ｃｒカラー値を表すビットの数８を１ないし４ほど増加させる。これにより、８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値は、９ビットまたは１２ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値で表現される。これにより、映像の損失圧縮過程、すなわち変換過程、量子化過程、エントロピー符号化過程で行われる演算の精密度を向上させ、その結果、圧縮部３１３による映像解像度の減少による復元映像の画質低下をどの程度相殺できる。

変換部３０６は、解像度増加部３０５により解像度が増加した残差映像を色空間から周波数空間に変換する。量子化部３０７は、変換部３０６により変換された結果を量子化する。エントロピー符号化部３０８は、量子化部３０７により量子化された結果をエントロピー符号化することによって、ビットストリームを生成する。逆量子化部３０９は、量子化部３０７により量子化された結果を逆量子化する。逆変換部３１０は、逆量子化部３０９により逆量子化された結果、すなわち周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。

解像度減少部４０４は、逆変換部４０３により復元された残差映像の解像度を減少させる。さらに詳細に説明すれば、解像度減少部４０４は、ビット解像度調整情報を参照して、逆変換部３１０により復元された残差映像を構成する画素それぞれのビット解像度の減少分を決定し、この画素それぞれのビット解像度を前記減少分ほど増加させる。すなわち、解像度減少部３１１は、逆変換部３１０により復元された残差映像を構成する画素それぞれの値を表すビットの数を前記減少分ほど減少させる。

解像度減少部３１１により減少した残差映像の解像度は、原本映像の解像度と同一でなければならないため、解像度増加部３０５により使われた増加分と解像度減少部３１１により使われた減少分とは同じ値でなければならない。例えば、解像度増加部３０５により解像度が増加した残差映像を構成する画素それぞれの値が１０ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された場合ならば、解像度減少部３１１は、この残差映像を構成する画素それぞれのＹカラー値、Ｃｂカラー値、Ｃｒカラー値を表すビットの数１０を２ほど減少させる。これにより、１０ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値は、８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値で表現される。

加算器３１２は、動き補償部３０２またはイントラ予測部３０３により生成された予測映像に、解像度減少部３１１により解像度が減少した残差映像を加算することによって、現在の映像の復元映像を生成する。圧縮部３１３は、加算器３１２により生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ１１３に保存する。復元部３１４は、メモリ１１３に保存された圧縮映像の解像度を増加させることによって、現在の映像の復元映像を生成する。

図４は、本発明の他の実施形態による動画復号化装置４０の構成図である。図４に示すように、本実施形態による動画復号化装置４０は、エントロピー復号化部４０１、逆量子化部４０２、逆変換部４０３、解像度減少部４０４、動き補償部４０５、イントラ予測部４０６、加算器４０７、圧縮部４０８及び復元部４０９から構成される。図４に示した動画復号化装置４０の映像復元過程は、図２に示した動画復号化装置２０に解像度減少部４０４が追加された点を除いては、動画復号化装置２０と同一である。したがって、以下で省略した内容であっても、図２に示した動画符号化装置２０に関して前述した内容は、本実施形態による動画復号化装置４０にも適用される。

エントロピー復号化部４０１は、図２に示した動画符号化装置から出力されたビットストリームをエントロピー復号化することによって、動画に該当する整数値及び動画復号化のための情報などを復元する。逆量子化部４０２は、エントロピー復号化部４０１により復元された整数値を逆量子化することによって、周波数成分値を復元する。逆変換部４０３は、逆量子化部４０２により復元された周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。

解像度減少部４０４により減少した残差映像の解像度は、原本映像の解像度と同一でなければならないため、図３に示した動画符号化装置の解像度増加部３０５により使われた増加分と解像度減少部３１１により使われた減少分とは同じ値でなければならない。例えば、解像度増加部３０５により解像度が増加した残差映像を構成する画素それぞれの値が１０ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された場合ならば、解像度減少部４０４は、この残差映像を構成する画素それぞれのＹカラー値、Ｃｂカラー値、Ｃｒカラー値を表すビットの数１０を２ほど減少させる。これにより、１０ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値は、８ビットのＹカラー値、Ｃｂカラー値及びＣｒカラー値で表現される。

動き補償部４０５は、復元部４０９により生成された参照映像のうち少なくとも一つの参照映像基準の現在の映像の動き推定を利用して、少なくとも一つの参照映像から現在の映像の予測映像を生成する。イントラ予測部４０６は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、復元部４０９により生成された復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。加算器４０７は、動き補償部４０５またはイントラ予測部４０６により生成された予測映像に、解像度減少部４０４により解像度が減少した残差映像を加算することによって、現在の映像の復元映像を生成する。

圧縮部４０８は、加算器４０７により生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ４１０に保存する。さらに詳細に説明すれば、圧縮部４０８は、ビット解像度調整情報を参照して、２×２ブロック単位で加算器４０７により生成された復元映像を構成する画素それぞれのビット解像度の減少分を決定し、この画素それぞれのビット解像度を前記減少分ほど減少させることによって、復元映像を圧縮する。

復元部４０９は、メモリ４１０に保存された圧縮映像の解像度を増加させることによって、現在の映像の復元映像を生成する。さらに詳細に説明すれば、復元部４０９は、ビット解像度調整情報を参照して、２×２ブロック単位でメモリ４１０に保存された圧縮映像を構成する画素それぞれのビット解像度の増加分を決定し、この画素それぞれのビット解像度を前記増加分ほど増加させることによって、現在の映像の復元映像を生成する。すなわち、復元部４０９は、メモリ４１０に保存された圧縮映像の解像度を増加させることによって、現在の映像ではない他の映像の参照映像を生成する。

図５は、図１ないし図４に示した各動き補償部１０２，２０４，３０２，４０５により使われる参照映像の一例を示す図である。図５を参照するに、本実施形態において、各動き補償部１０２，２０４，３０２，４０５により使われる参照映像のサイズは、６×６ブロックであるということが分かる。しかし、図１ないし図４に示した各復元部１１２，２０８，３１４，４０９は、画素単位ではない２×２ブロック単位で復元映像を生成するため、図５に示したようにいずれかの動きベクトルが指示する参照映像のエッジが各復元部１１２，２０８，３１４，４０９により生成される２×２ブロックの内部に存在するならば、各動き補償部１０２，２０４，３０２，４０５が必要とする６×６サイズの参照映像よりさらに大きいサイズの参照映像が各復元部１１２，２０８，３１４，４０９により生成される。

図６Ａは、本発明の一実施形態によるビット解像度調整情報の構造を示す図である。図６Ａに示すように、本実施形態によるビット解像度調整情報は、ＢＩＴ＿ＤＥＰＴＨ＿ＩＮＣフィールド、ＢＩＴ＿ＤＥＰＴＨ＿ＲＥＦ＿ＤＥＣフィールド、ＱＭＡＰ＿ＰＲＥＳＥＮＴフィールド、ＯＦＦＳＥＴ＿ＮＵＭフィールド、ＱＵＡＮＴ＿ＮＵＭフィールド、ＢＩＴ＿ＤＥＰＴＨ＿ＰＩＸＥＬフィールド、ＯＦＦＳＥＴ＿ＴＡＢ＿Ｙフィールド、ＱＵＡＮＴ＿ＴＡＢ＿Ｙフィールド、ＯＦＦＳＥＴ＿ＴＡＢ＿ＵＶフィールド及びＱＵＡＮＴ＿ＴＡＢ＿ＵＶフィールドで構成される。特に、図６Ａに示したビット解像度調整情報は、いずれかのフィールドに記録された値によって他のフィールドが反復的に表れる構造を有しており、それを反映するためにフローチャートの形態で示した。また、図６Ａは、ビット解像度調整情報が、映像の符号化情報が記録されるフレームヘッダに含まれた場合を例として示した図である。

ＢＩＴ＿ＤＥＰＴＨ＿ＩＮＣフィールドには、映像を構成する画素それぞれのビット解像度の増加分を表す値が記録される。ＢＩＴ＿ＤＥＰＴＨ＿ＲＥＦ＿ＤＥＣフィールドには、映像を構成する画素それぞれのビット解像度の減少分を表す値が記録される。ＱＭＡＰ＿ＰＲＥＳＥＮＴフィールドには、ビット解像度調整情報がビットストリームまたはフレームなどの単位で更新される場合には“１”が記録され、既定の一つのビット解像度調整情報が使われる場合には“０”が記録される。もし、ビット解像度調整情報がビットストリームまたはフレームなどの単位で更新される場合ならば、図１に示した動画符号化装置１０及び図３に示した動画符号化装置３０は、動画の特性、使用環境などに基づいてビット解像度調整情報を更新する。例えば、動画の変化がはなはだしくないか、または動画の画質が重要でない場合に、図１に示した動画符号化装置１０及び図３に示した動画符号化装置３０は、ビット解像度の減少分を大きく設定する。かかる設定動作は、ユーザーにより受動的に設定されてもよく、動画分析結果などに基づいて自動的に設定されてもよい。

一般的に、図１に示した動画符号化装置１０及び図２に示した動画復号化装置２０、または図３に示した動画符号化装置３０及び図４に示した動画符号化装置４０は、互いに同じ動画復元環境を有さねばならないため、両装置は、ビット解像度調整情報を共有せねばならない。このために、図１に示した動画符号化装置１０は、このビット解像度調整情報をビットストリームのフレームヘッダなどに含めて、図２に示した動画復号化装置２０へ伝送する。同様に、図３に示した動画符号化装置３０も、このビット解像度調整情報を図４に示した動画復号化装置４０へ伝送する。ただし、既定の一つのビット解像度調整情報が使われる場合ならば、このビット解像度調整情報が動画符号化装置及び動画復号化装置自体に内蔵されるように動画符号化装置及び動画復号化装置を設計することによって、かかるビット解像度の伝送過程を不要にすることもできる。

ＯＦＦＳＥＴ＿ＮＵＭフィールドには、オフセット値の数を表す値が記録される。ＱＵＡＮＴ＿ＮＵＭフィールドには、各オフセット値別の量子化サイズの数を表す値が記録される。ＢＩＴ＿ＤＥＰＴＨ＿ＰＩＸＥＬフィールドには、ビット解像度が調整された画素値がメモリに保存される時の実際のビットサイズを表す値が記録される。これは、本実施形態によって圧縮された映像がメモリに保存されるとき、映像圧縮に使われたビット解像度調整情報であるオフセット値及び量子化サイズも共に保存されねばならないため、メモリに保存される画素値は、ビット解像度が調整された画素値のサイズより小さくなければならない。

ＯＦＦＳＥＴ＿ＴＡＢ＿Ｙフィールドは、ＯＦＦＳＥＴ＿ＮＵＭフィールドに記録されたオフセット値の個数ほど存在し、各フィールドには、輝度成分に対するオフセット値が記録される。ＱＵＡＮＴ＿ＴＡＢ＿Ｙフィールドは、一つのオフセット値に対してＱＵＡＮＴ＿ＮＵＭフィールドに記録された量子化サイズの個数ほど存在し、各フィールドには、輝度成分に対する量子化サイズが記録される。ＯＦＦＳＥＴ＿ＴＡＢ＿ＵＶフィールドは、ＯＦＦＳＥＴ＿ＮＵＭフィールドに記録されたオフセット値の個数ほど存在し、各フィールドには、色差成分に対するオフセット値が記録される。ＱＵＡＮＴ＿ＴＡＢ＿ＵＶフィールドは、一つのオフセット値に対してＱＵＡＮＴ＿ＮＵＭフィールドに記録された量子化サイズの数ほど存在し、各フィールドには、色差成分に対する量子化サイズが記録される。

図６Ｂは、図６Ａに示したビット解像度調整情報の構造を擬似コードの形態で示した図である。図６Ｂに示したテーブルの項目のうち“ＢｉｔＤｅｐｔｈ”は、各フィールドを表すビットの数を意味し、“ＲｅｆｅｒｅｎｃｅＮｕｍｂｅｒ”は、図６Ａに示した“（）”内の数字と互いに一致する部分が互いに対応することを表す。例えば、図６Ａに示した“（２）”は、ＢＩＴ＿ＤＥＰＴＨ＿ＲＥＦ＿ＤＥＣフィールドに記録された値が変更される場合に、ＯＦＦＳＥＴ＿ＮＵＭフィールド、ＱＵＡＮＴ＿ＮＵＭフィールド、ＢＩＴ＿ＤＥＰＴＨ＿ＰＩＸＥＬフィールド、ＯＦＦＳＥＴ＿ＴＡＢ＿Ｙフィールド、ＱＵＡＮＴ＿ＴＡＢ＿Ｙフィールド、ＯＦＦＳＥＴ＿ＴＡＢ＿ＵＶフィールド及びＱＵＡＮＴ＿ＴＡＢ＿ＵＶフィールドに記録された値が変更されたことを表示したものであり、それを擬似コードで表現したものが図６Ｂの参照番号（２）に該当する部分である。

図６Ｃは、図６Ａ及び図６Ｂに示したビット解像度調整情報の構造の二つの例を示す図である。図６Ｃに示した例は、それぞれがＱＭＡＰ＿ＰＲＥＳＥＮＴフィールドに記録された値が“１”である場合に、ビットストリーム別に更新された情報であることもあり、“０”である場合に既定の一つの情報であることもある。図６Ｃに示した左側の（１）例と右側の（２）例とを比較すれば、（１）例のＢＩＴ＿ＤＥＰＴＨ＿ＲＥＦ＿ＤＥＣフィールドに記録された減少分が４であり、（２）例のＢＩＴ＿ＤＥＰＴＨ＿ＲＥＦ＿ＤＥＣフィールドに記録された減少分は２である。これにより、（１）例と（２）例とのＢＩＴ＿ＤＥＰＴＨ＿ＰＩＸＥＬフィールド、ＯＦＦＳＥＴ＿ＴＡＢ＿Ｙフィールド、ＱＵＡＮＴ＿ＴＡＢ＿Ｙフィールド、ＯＦＦＳＥＴ＿ＴＡＢ＿ＵＶフィールド及びＱＵＡＮＴ＿ＴＡＢ＿ＵＶフィールドに記録された値のほとんどが異なるということが分かる。

図７は、一般的な映像内の輝度成分と色差成分とのヒストグラムを示した図である。図７を参照するに、輝度成分に該当するカラー値は、広くて均一に分布し、色差成分に該当するカラー値は、中間値である１２８付近に集中して分布するということが分かる。

図８は、図６Ｃの（１）に示した輝度成分に対するオフセット値の定義を説明するための図である。本実施形態では、輝度成分に該当するカラー値が広くて均一に分布するという一般的な映像特性を利用して、図６Ｃの（１）に示したように、輝度成分に対する４個のオフセット値を０ないし２５５の全体区間に対して均等に分布するように定義した。ただし、特定の映像の特性に基づいてオフセット値の定義を異ならせることによって、さらに効率的な量子化を可能にする。

図９は、図６Ｃの（１）に示した色差成分に対するオフセット値の定義を説明するための図である。本実施形態では、色差成分に該当するカラー値が１２８付近に集中して分布するという一般的な映像特性を利用して、色差成分に該当するカラー値をこのカラー値から１２８を減算した結果の絶対値及び符号で表現し、図６Ｃの（１）に示したように、色差成分に対する４個のオフセット値を０付近に集中して分布するように定義した。

図１０は、一般的な映像内の２×２ブロックの輝度成分及び色差成分それぞれの最大値と最小値との差値のヒストグラムを示した図である。図１０を参照するに、一般的な映像内の２×２ブロックの輝度成分及び色差成分それぞれの最大値と最小値との差値は、０付近に集中して分布するということが分かる。したがって、本実施形態による映像圧縮方式は、各画素の値を非常に少ない量のビットで十分に表現できるということが分かる。特に、本実施形態が映像の特性に基づいて映像を構成する画素の値がオフセット値の各区間に互いに類似した確率で分布するようにオフセット値を定義すれば、各画素の値を非常に少ない量のビットで表現する場合にも、非常に高い品質の復元映像を生成できる。

図１１Ａは、本発明の一実施形態によって圧縮された輝度成分の参照映像の構造を示した図である。図１１Ａに示すように、本実施形態によって圧縮された輝度成分の参照映像は、ＯＦＦＳＥＴ＿Ｙフィールド、ＱＵＡＮＴ＿Ｙフィールド及びＰＩＸＥＬ＿Ｙフィールドから構成される。特に、図１１Ａに示した輝度成分の参照映像は、各フィールドが反復的に表れる構造を有しており、それを反映するためにフローチャートの形態で示した。

ＯＦＦＳＥＴ＿Ｙフィールドには、各２×２ブロックの輝度成分に対するオフセット値が記録される。ＱＵＡＮＴ＿Ｙフィールドには、各２×２ブロックの輝度成分に対する量子化サイズが記録される。ＰＩＸＥＬ＿Ｙフィールドには、２×２ブロックを構成する４個の画素それぞれの輝度成分であるＹカラー値が記録される。すなわち、ＰＩＸＥＬ＿Ｙフィールドには、ＯＦＦＳＥＴ＿Ｙフィールドに記録されたオフセット値及びＱＵＡＮＴ＿Ｙフィールドに記録された量子化サイズによって、ビット解像度が減少した各画素の輝度成分であるＹカラー値が記録される。

図１１Ｂは、図１１Ａに示した輝度成分の参照映像の構造を擬似コードの形態で示した図である。図１１Ｂに示したテーブルの項目のうち“ＢｉｔＤｅｐｔｈ”は、各フィールドを表すビットの数を意味し、“ＲｅｆｅｒｅｎｃｅＮｕｍｂｅｒ”は、図１１Ａに示した“（）”内の数字と互いに一致する部分が互いに対応することを表す。例えば、図１１Ａに示した“（２）”は、２×２ブロックを構成する４個の画素それぞれに対してＰＩＸＥＬ＿Ｙフィールドが反復して表れることを表示したものであり、それを擬似コードで表現したものが図１１Ｂの参照番号（２）に該当する部分である。

図１２Ａは、本発明の一実施形態によって圧縮された色差成分の参照映像の構造を示した図である。図１２Ａに示すように、本実施形態によって圧縮された輝度成分の参照映像は、ＯＦＦＳＥＴ＿Ｕフィールド、ＱＵＡＮＴ＿Ｕフィールド、ＤＩＦＦ＿ＰＩＸＥＬ＿Ｕフィールド、ＳＩＧＮ＿Ｕフィールド、ＯＦＦＳＥＴ＿Ｖフィールド、ＱＵＡＮＴ＿Ｖフィールド、ＤＩＦＦ＿ＰＩＸＥＬ＿Ｖフィールド及びＳＩＧＮ＿Ｖフィールドから構成される。特に、図１２Ａに示した色差成分の圧縮映像は、各フィールドが反復的に表れる構造を有しており、それを反映するためにフローチャートの形態で示した。

ＯＦＦＳＥＴ＿Ｕフィールドには、各２×２ブロックの色差成分のうちＣｂカラーに対するオフセット値が記録される。ＱＵＡＮＴ＿Ｕフィールドには、各２×２ブロックの色差成分のうちＣｂカラーに対する量子化サイズが記録される。ＤＩＦＦ＿ＰＩＸＥＬ＿Ｕフィールドには、２×２ブロックを構成する４個の画素それぞれの色差成分のうちＣｂカラー値から１２８を減算した値の絶対値が記録される。ＳＩＧＮ＿Ｕフィールドには、２×２ブロックを構成する４個の画素それぞれの色差成分のうちＣｂカラー値から１２８を減算した値の符号が記録される。すなわち、ＤＩＦＦ＿ＰＩＸＥＬ＿Ｕフィールドには、ＯＦＦＳＥＴ＿Ｕフィールドに記録されたオフセット値及びＱＵＡＮＴ＿Ｕフィールドに記録された量子化サイズによって、ビット解像度が減少した各画素のＣｂカラー値から１２８を減算した値の絶対値が記録され、ＳＩＧＮ＿Ｕフィールドには、ビット解像度が減少した各画素のＣｂカラー値から１２８を減算した値の符号が記録される。

ＯＦＦＳＥＴ＿Ｖフィールドには、各２×２ブロックの色差成分のうちＣｒカラーに対するオフセット値が記録される。ＱＵＡＮＴ＿Ｖフィールドには、各２×２ブロックの色差成分のうちＣｒカラーに対する量子化サイズが記録される。ＤＩＦＦ＿ＰＩＸＥＬ＿Ｖフィールドには、２×２ブロックを構成する４個の画素それぞれの色差成分のうちＣｒカラー値から１２８を減算した値の絶対値が記録される。ＳＩＧＮ＿Ｖフィールドには、２×２ブロックを構成する４個の画素それぞれの色差成分のうちＣｒカラー値から１２８を減算した値の符号が記録される。すなわち、ＤＩＦＦ＿ＰＩＸＥＬ＿Ｖフィールドには、ＯＦＦＳＥＴ＿Ｖフィールドに記録されたオフセット値及びＱＵＡＮＴ＿Ｖフィールドに記録された量子化サイズによって、ビット解像度が減少した各画素のＣｒカラー値から１２８を減算した値の絶対値が記録され、ＳＩＧＮ＿Ｖフィールドには、ビット解像度が減少した各画素のＣｒカラー値から１２８を減算した値の符号が記録される。

図６Ａ、図６Ｂ及び図６Ｃを参照するに、ＯＦＦＳＥＴ＿ＴＡＢ＿ＵＶフィールド及びＱＵＡＮＴ＿ＴＡＢ＿ＵＶフィールドに記録された値によって、ＣｂカラーとＣｒカラーとの区分なしにＯＦＦＳＥＴ＿Ｕフィールド及びＱＵＡＮＴ＿Ｕフィールドに記録される値と、ＯＦＦＳＥＴ＿Ｖフィールド及びＱＵＡＮＴ＿Ｖフィールドに記録される値とが同一に決定されるということが分かる。

図１２Ｂは、図１２Ａに示した色差成分の参照映像の構造を擬似コードの形態で示した図である。図１２Ｂに示したテーブルの項目のうち“ＢｉｔＤｅｐｔｈ”は、各フィールドを表すビットの数を意味し、“ＲｅｆｅｒｅｎｃｅＮｕｍｂｅｒ”は、図１２Ａに示した“（）”内の数字と互いに一致する部分が互いに対応することを表す。例えば、図１２Ａに示した“（２）”は、２×２ブロックを構成する４個の画素それぞれに対してＤＩＦＦ＿ＰＩＸＥＬ＿Ｕフィールド及びＳＩＧＮ＿Ｕフィールドが反復して表れることを表示したものであり、それを擬似コードで表現したものが図１２Ｂの参照番号（２）に該当する部分である。

図１３は、本発明の一実施形態による映像圧縮装置の構成図である。特に、図１３に示した映像圧縮装置は、図１ないし図４に示した各圧縮部１１１，２０７，３１３，４０８に該当する。図１３に示すように、本実施形態による映像圧縮装置、すなわち図１ないし図４に示した各圧縮部１１１，２０７，３１３，４０８は、画素値検出部１３０１、ビット解像度調整情報検出部１３０２、オフセット値選定部１３０３、量子化サイズ選定部１３０４、量子化部１３０５及び固定長符号化部１３０６から構成される。

画素値検出部１３０１は、復元映像の２×２ブロックを構成する画素の値のうち、最小値及び最大値を検出する。例えば、各画素の値がＹカラー値、Ｃｂカラー値及びＣｒカラー値から構成された場合において、Ｙカラー値のみを考慮すれば、画素値検出部１３０１は、復元映像の４×４ブロックを構成する画素のＹカラー値のうち、最小Ｙカラー値及び最大Ｙカラー値を検出する。画素値検出部１３０１は、Ｃｂカラー値及びＣｒカラー値に対しても同様に最小カラー値及び最大カラー値を検出する。

ビット解像度調整情報検出部１３０２は、復元映像のビット解像度調整情報を検出する。例えば、ビット解像度調整情報が外部メモリに保存されている場合ならば、ビット解像度調整情報検出部１３０２は、この外部メモリからビット解像度調整情報を読み取ることによって、復元映像のビット解像度調整情報を検出できる。もし、ビット解像度調整情報がフレームヘッダに記録されている場合ならば、ビット解像度調整情報検出部１３０２は、フレームヘッダからビット解像度調整情報を読み取ることによって、復元映像のビット解像度調整情報を検出できる。

オフセット値選定部１３０３は、ビット解像度調整情報検出部１３０２により検出されたビット解像度調整情報に含まれた複数のオフセット値のうち、復元映像の２×２ブロックを構成する画素の値に基づいて、この２×２ブロックのオフセット値を選定する。さらに詳細に説明すれば、オフセット値選定部１３０３は、複数のオフセット値のうち、画素値検出部１３０１により検出された最小値より小さく、かつこの最小値に最も近接したオフセット値を選定する。例えば、ビット解像度調整情報検出部１３０２により検出されたビット解像度調整情報が図６Ｃの（１）と同一であり、画素値検出部１３０１により検出された最小値が“１００”であれば、オフセット値選定部１３０３は、図６Ｃの（１）に示したオフセット値のうち“６４”を選定する。

量子化サイズ選定部１３０４は、ビット解像度調整情報検出部１３０２により検出されたビット解像度調整情報に含まれた複数の量子化サイズのうち、復元映像の２×２ブロックを構成する画素の値に基づいて、この２×２ブロックの量子化サイズを選定する。さらに詳細に説明すれば、量子化サイズ選定部１３０４は、複数の量子化サイズのうち、オフセット値選定部１３０３により選定されたオフセット値と、画素値検出部１３０１により検出された最大値との差値を表すビットの最小個数に最も近接するように量子化サイズを選定する。前記した例において、画素値検出部１３０１により検出された最大値が“１５０”であれば、オフセット値選定部１３０３により選定されたオフセット値と、画素値検出部１３０１により検出された最大値との差値は“８６”となる。それを表すビットの最小個数は７ビットであるので、量子化サイズ選定部１３０４は、図６Ｃの（１）に示した量子化サイズのうち“２”を量子化サイズとして選定する。

量子化部１３０５は、次の式（１）によって復元映像の２×２ブロックを構成する画素の値と、オフセット値選定部１３０３により選定されたオフセット値との差値を算出し、このように算出された差値を量子化サイズ選定部１３０４により選定された量子化サイズで割ることによって、この差値を表すビットの数を、量子化サイズ選定部１３０４により選定された量子化サイズほど減少させる。

Ｙ＝（Ｘ−ｏｆｆｓｅｔ＿ｖａｌｕｅ＋ｆ）＞＞Ｑ（１）
式（１）で、“Ｙ”は、各画素のいずれか一つのカラー値の量子化値、“Ｘ”は、各画素のいずれか一つのカラー値を意味する。また、“ｏｆｆｓｅｔ＿ｖａｌｕｅ”は、各２×２ブロックのオフセット値を意味する。また、“＞＞Ｑ”は、本実施形態で“Ｑ”で割る演算と呼ばれ、実際には“Ｑ”ほどの右側シフト動作を意味する。また、“ｆ”は、“Ｘ−ｏｆｆｓｅｔ＿ｖａｌｕｅ”を“Ｑ”で割った結果値を四捨五入するためのラウンディング値である。すなわち、Ｑ＝０であれば、ｆ＝０となり、Ｑ＞０であれば、ｆ＝１＜＜（Ｑ−１）となる。前記した例において、量子化部１３０５は、前記した差値を量子化サイズ選定部１３０４により選定された量子化サイズ“２”で割ることによって、この差値を表す８ビットを、量子化サイズ選定部１３０４により選定された量子化サイズ“２”ほど減少させる。これにより、８ビットの差値は、６ビットの差値で表現される。

ただし、本実施形態によれば、復元映像の２×２ブロックを構成する画素の値のうち、色差成分に該当するカラー値は、このカラー値から１２８を減算した結果の絶対値及び符号で表現される。したがって、量子化部１３０５は、復元映像の２×２ブロックを構成する画素の値のうち、色差成分に該当するカラー値から１２８を減算した結果の絶対値と、オフセット値選定部１３０３により選定されたオフセット値との差値を算出し、このように算出された差値を量子化サイズ選定部１３０４により選定された量子化サイズで割ることによって、この差値を表すビットの数を量子化サイズ選定部１３０４により選定された量子化サイズほど減少させる。

固定長符号化部１３０６は、量子化部１３０５により生成された画素それぞれの量子化値を固定長符号化し、この画素それぞれの固定長符号化値、オフセット値選定部１３０３により選定されたオフセット値、量子化サイズ選定部１３０４により選定された量子化サイズを組み合わせることによって、固定長の２×２ブロックを生成し、それを各メモリ１１３，２０９，３１５，４１０に保存する。さらに詳細に説明すれば、固定長符号化部１３０６は、量子化部１３０５により生成された画素それぞれの量子化値を表すビットのうち最上位ビットから、ビット解像度調整情報検出部１３０２により検出されたビット解像度調整情報のＢＩＴ＿ＤＥＰＴＨ＿ＰＩＸＥＬフィールドに記録された実際のビットサイズほど抽出し、このように抽出された画素それぞれの固定長符号化値を表す固定長ビット、オフセット値選定部１３０３によりオフセット値を表す固定長ビット、量子化サイズ選定部１３０４により選定された量子化サイズを表す固定長ビットを組み合わせることによって、固定長の２×２ブロックを生成し、それを各メモリ１１３，２０９，３１５，４１０に保存する。

前記した例において、いずれか一つのカラー値のみを考慮すれば、固定長符号化部１３０６は、量子化部１３０５により生成された各画素の量子化値を表す６ビットのうち最上位ビットから、ビット解像度調整情報検出部１３０２により検出されたビット解像度調整情報のＢＩＴ＿ＤＥＰＴＨ＿ＰＩＸＥＬフィールドに記録された実際のビットサイズ、すなわち３ビットほど抽出し、このように抽出された各画素の固定長符号化値を表す３ビット、すなわち２×２ブロックの総１２ビット、オフセット値選定部１３０３によりオフセット値を表す２ビット、量子化サイズ選定部１３０４により選定された量子化サイズを表す２ビットを組み合わせることによって、総１６ビットの圧縮映像の２×２ブロックを生成する。これは、いずれか一つのカラー値のみを考慮したものであるので、三つのカラー値をいずれも考慮すれば、総４８ビットの２×２ブロックが生成される。

図１４は、本発明の一実施形態による映像復元装置の構成図である。特に、図１４に示した映像復元装置は、図１ないし図４に示した各復元部１１２，２０８，３１４，４０９に該当する。図１４に示すように、本実施形態による映像復元装置、すなわち図１ないし図４に示した各復元部１１２，２０８，３１４，４０９は、固定長復号化部１４０１及び逆量子化部１４０２から構成される。

固定長復号化部１４０１は、各メモリ１１３，２０９，３１５，４１０により保存された圧縮映像を２×２ブロック単位で読み込み、このように読み込んだ２×２ブロックからこの２×２ブロックのオフセット値、この２×２ブロックの量子化サイズ及びこの２×２ブロックを構成する画素それぞれの固定長符号化値を抽出し、このように抽出された固定長符号化値を固定長復号化することによって、この画素それぞれの量子化値を復元する。さらに詳細に説明すれば、固定長復号化部１４０１は、この画素それぞれの量子化値を表すビットの数及びこの２×２ブロックの量子化サイズを考慮して、この画素それぞれの量子化値を表すビットの数を増加させることによって、この画素それぞれの量子化値を復元する。

前記した例において、いずれか一つのカラー値のみを考慮すれば、固定長復号化部１４０１は、総１６ビットの２×２ブロックから２ビットのオフセット値、２ビットの量子化サイズ及び３ビットの４個の画素それぞれの値を抽出し、この画素それぞれの値を表すビットの数３及びこの２×２ブロックの量子化サイズ２を考慮して、この画素それぞれの値を表すビットの数３を“６”に増加させることによって、この画素それぞれの量子化値を復元する。固定長復号化部１４０１は、３ビットの画素値に“０００”、“１００”など既定のいずれか一つの３ビット値を付加することによって、この画素それぞれの値を表すビットの数３を“６”に増加させる。

逆量子化部１４０２は、次の式（２）によって固定長復号化部１４０１により復元された画素それぞれの量子化値に、固定長復号化部１４０１により抽出された量子化サイズを乗じ、その乗算結果と固定長復号化部１４０１により抽出されたオフセット値とを合算することによって、この画素それぞれの本来のビットサイズの値を復元する。

Ｘ’＝（Ｙ＜＜Ｑ）＋ｏｆｆｓｅｔ＿ｖａｌｕｅ（２）
式（２）で、“Ｘ’”は、各画素のいずれか一つの復元カラー値、“Ｙ”は、各画素のいずれか一つのカラー値の量子化値を意味する。また、“＜＜Ｑ”は、本実施形態で“Ｑ”を乗じる演算と呼ばれ、実際には“Ｑ”ほどの左側ビットシフト動作を意味する。また、“ｏｆｆｓｅｔ＿ｖａｌｕｅ”は、各２×２ブロックのオフセット値を意味する。前記した例において、逆量子化部１４０２は、画素それぞれの量子化値に固定長復号化部１４０１により抽出された量子化サイズ“２”を乗じ、その乗算結果と固定長復号化部１４０１により抽出されたオフセット値“６４”とを合算することによって、画素それぞれの８ビット値を復元する。

ただし、本実施形態によれば、復元映像の２×２ブロックを構成する画素の値のうち、色差成分に該当するカラー値は、このカラー値から１２８を減算した結果の絶対値及び符号で表現される。したがって、逆量子化部１４０２は、固定長復号化部１４０１により復元された画素それぞれの量子化値のうち、色差成分に該当する量子化値に固定長復号化部１４０１により抽出された量子化サイズを乗じ、その乗算結果と固定長復号化部１４０１により抽出されたオフセット値とを合算することによって、この画素それぞれの本来のビットサイズの値のうち、色差成分に該当するカラー値から１２８を減算した結果の絶対値を復元する。

図１５は、図１３に示した量子化部１３０５に入力された値と、図１４に示した逆量子化部１４０２により復元された値との関係の一例を示した図である。図１５に示した例は、２×２ブロックを構成する画素の値のうち最小値が３△と４△との間に存在し、最大値が６△と７△との間に存在する場合である。また、オフセット値は３△として選定され、量子化サイズは△として選定され、ｆは△／２である場合である。図１５を参照するに、量子化部１３０５に入力された値が最小値と４．５△との間に存在する場合には、逆量子化部１４０２により復元された値は△＋オフセット値となり、量子化部１３０５に入力された値が４．５△と５．５△との間に存在する場合には、逆量子化部１４０２により復元された値は２△＋オフセット値となり、量子化部１３０５に入力された値が５．５△と最大値との間に存在する場合には、逆量子化部１４０２により復元された値は３△＋オフセット値となるということが分かる。

図１６は、図１３に示した量子化部１３０５に入力された値と、図１４に示した逆量子化部１４０２により復元された値との間の量子化エラーの一例を示した図である。図１６に示した例は、２×２ブロックを構成する画素の値のうち最小値が３△と４△との間に存在し、最大値が６△と７△との間に存在する場合である。また、オフセット値は３△として選定され、量子化サイズは△として選定され、ｆは△／２である場合である。かかる量子化環境で各画素のビット解像度が２であれば、図１６の影領域が、図１３に示した量子化部１３０５に入力された値と、図１４に示した逆量子化部１４０２により復元された値との間の量子化エラーに該当する。

図１７は、図８に示した量子化部１３０５に入力された値と、図９に示した逆量子化部１４０２により復元された値との間の量子化エラーの他の例を示した図である。図１７に示した例は、２×２ブロックを構成する画素の値のうち最小値が３△と４△との間に存在し、最大値が６△と７△との間に存在する場合である。また、オフセット値は０として選定され、量子化サイズは２△として選定され、ｆは△である場合である。かかる量子化環境で各画素のビット解像度が２であれば、図１７の影領域が、図１３に示した量子化部１３０５に入力された値と、図１４に示した逆量子化部１４０２により復元された値との間の量子化エラーに該当する。図１７を参照するに、図１７に示した例の量子化サイズは、図１６に示した例の量子化サイズより増加し、これによって量子化エラーも増加するということが分かる。

図１８は、本発明の一実施形態による動画符号化方法のフローチャートである。図１８に示すように、本実施形態による動画符号化方法は、図１に示した動画符号化装置１０で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図１に示した動画符号化装置１０に関して前述した内容は、本実施形態による動画符号化方法にも適用される。

ステップ１８０１で、動画符号化装置１０は、メモリ１１３に保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、現在の映像の参照映像を復元する。ステップ１８０２で、動画符号化装置１０は、ステップ１８０１で復元された参照映像を基準として動画を構成する映像のうち現在の映像の動きを推定する。ステップ１８０３で、動画符号化装置１０は、ステップ１８０２での現在の映像の動き推定を利用して、ステップ１８０１で復元された参照映像から現在の映像の予測映像を生成する。

ステップ１８０４で、動画符号化装置１０は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、現在の映像の復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。ステップ１８０５で、動画符号化装置１０は、現在の映像からステップ１８０３またはステップ１８０４で生成された予測映像を減算することによって、現在の映像と予測映像との残差映像を生成する。

ステップ１８０６で、動画符号化装置１０は、ステップ１８０５で生成された残差映像を色空間から周波数空間に変換する。ステップ１８０７で、動画符号化装置１０は、ステップ１８０６で変換された結果を量子化する。ステップ１８０８で、動画符号化装置１０は、ステップ１８０７で量子化された結果をエントロピー符号化することによって、ビットストリームを生成する。

ステップ１８０９で、動画符号化装置１０は、ステップ１８０７で量子化された結果を逆量子化する。ステップ１８１０で、動画符号化装置１０は、ステップ１８０９で逆量子化された結果、すなわち周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。ステップ１８１１で、動画符号化装置１０は、ステップ１８０３またはステップ１８０４で生成された予測映像にステップ１８１２で復元された残差映像を加算することによって、現在の映像の復元映像を生成する。

ステップ１８１２で、動画符号化装置１０は、ステップ１８１１で生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ１１３に保存する。ステップ１８１３で、動画符号化装置１０は、動画を構成する映像いずれもに対して前記ステップ１８０１ないし１８１２が完了した場合には終了し、完了していない場合には、前記現在の映像の次の映像に対してステップ１８０１から再び反復する。

図１９は、本発明の一実施形態による動画復号化方法のフローチャートである。図１９に示すように、本実施形態による動画復号化方法は、図２に示した動画復号化装置２０で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図２に示した動画復号化装置２０に関して前述した内容は、本実施形態による動画復号化方法にも適用される。

ステップ１９０１で、動画復号化装置２０は、メモリ２０９に保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、現在の映像の参照映像を復元する。

ステップ１９０２で、動画復号化装置２０は、図１に示した動画符号化装置１０から出力されたビットストリームをエントロピー復号化することによって、動画に該当する整数値及び動画復号化のための情報などを復元する。ステップ１９０３で、動画復号化装置２０は、ステップ１９０２で復元された整数値を逆量子化することによって、周波数成分値を復元する。ステップ１９０４で、動画復号化装置２０は、ステップ１９０３で復元された周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。

ステップ１９０５で、動画復号化装置２０は、ステップ１９０１で復元された参照映像基準の現在の映像の動き推定を利用して、この参照映像から現在の映像の予測映像を生成する。ステップ１９０６で、動画復号化装置２０は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、現在の映像の復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。ステップ１９０７で、動画復号化装置２０は、ステップ１９０５またはステップ１９０６で生成された予測映像にステップ１９０４で復元された残差映像を加算することによって、現在の映像の復元映像を生成する。

ステップ１９０８で、動画復号化装置２０は、ステップ１９０７で生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ２０９に保存する。ステップ１９０９で、動画復号化装置２０は、動画を構成する映像いずれもに対して前記ステップ１９０１ないし１９０８が完了した場合には終了し、完了していない場合には、前記現在の映像の次の映像に対してステップ１９０１から再び反復する。

図２０は、本発明の他の実施形態による動画符号化方法のフローチャートである。図２０に示すように、本実施形態による動画符号化方法は、図３に示した動画符号化装置３０で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図３に示した動画符号化装置３０に関して前述した内容は、本実施形態による動画符号化方法にも適用される。

ステップ２００１で、動画符号化装置３０は、メモリ３１５に保存された圧縮映像のうち、現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、現在の映像の参照映像を復元する。ステップ２００２で、動画符号化装置３０は、ステップ２００１で復元された参照映像を基準として動画を構成する映像のうち現在の映像の動きを推定する。ステップ２００３で、動画符号化装置３０は、ステップ２００２での現在の映像の動き推定を利用して、ステップ２００１で復元された参照映像から現在の映像の予測映像を生成する。

ステップ２００４で、動画符号化装置３０は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、現在の映像の復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。ステップ２００５で、動画符号化装置３０は、現在の映像からステップ２００３またはステップ２００４で生成された予測映像を減算することによって、現在の映像と予測映像との残差映像を生成する。

ステップ２００６で、動画符号化装置３０は、ステップ２００５で生成された残差映像の解像度を増加させる。ステップ２００７で、動画符号化装置３０は、ステップ２００６で解像度が増加した残差映像を色空間から周波数空間に変換する。ステップ２００８で、動画符号化装置１０は、ステップ２００７で変換された結果を量子化する。ステップ２００９で、動画符号化装置１０は、ステップ２００８で量子化された結果をエントロピー符号化することによって、ビットストリームを生成する。

ステップ２０１０で、動画符号化装置３０は、ステップ２００８で量子化された結果を逆量子化する。ステップ２０１１で、動画符号化装置１０は、ステップ２０１０で逆量子化された結果、すなわち周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。

ステップ２０１２で、動画符号化装置３０は、ステップ２０１１で復元された残差映像の解像度を減少させる。ステップ２０１３で、動画符号化装置３０は、ステップ２００３またはステップ２００４で生成された予測映像にステップ２０１２で解像度が減少した残差映像を加算することによって、現在の映像の復元映像を生成する。ステップ２０１４で、動画符号化装置３０は、ステップ２０１３で生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ３１５に保存する。ステップ２０１５で、動画符号化装置３０は、動画を構成する映像いずれもに対して前記ステップ２００１ないし２０１４が完了した場合には終了し、完了していない場合には、前記現在の映像の次の映像に対してステップ２００１から再び反復する。

図２１は、本発明の他の実施形態による動画復号化方法のフローチャートである。図２１に示すように、本実施形態による動画復号化方法は、図４に示した動画復号化装置４０で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図４に示した動画復号化装置４０に関して前述した内容は、本実施形態による動画復号化方法にも適用される。

ステップ２１０１で、動画復号化装置４０は、メモリ４１０に保存された圧縮映像のうち現在の映像の参照映像に該当する圧縮映像の解像度を増加させることによって、現在の映像の参照映像を復元する。

ステップ２１０２で、動画復号化装置４０は、図３に示した動画符号化装置３０から出力されたビットストリームをエントロピー復号化することによって、動画に該当する整数値及び動画復号化のための情報などを復元する。ステップ２１０３で、動画復号化装置２０は、ステップ２１０２で復元された整数値を逆量子化することによって、周波数成分値を復元する。ステップ２１０４で、動画復号化装置４０は、ステップ２１０３で復元された周波数成分値を周波数空間から色空間に変換することによって、現在の映像と予測映像との残差映像を復元する。

ステップ２１０５で、動画復号化装置４０は、ステップ２１０４で復元された残差映像の解像度を減少させる。

ステップ２１０６で、動画復号化装置４０は、ステップ２１０１で復元された参照映像基準の現在の映像の動き推定を利用して、少なくとも一つの参照映像から現在の映像の予測映像を生成する。ステップ２１０７で、動画復号化装置４０は、現在の映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して、現在の映像の復元映像を構成するブロックのうち、現在の映像のブロックの隣に位置した復元映像のブロックの値から現在の映像のブロックの値を予測することによって、現在の映像の予測映像を生成する。ステップ２１０８で、動画復号化装置４０は、ステップ２１０６またはステップ２１０７で生成された予測映像にステップ２１０５で解像度が減少した残差映像を加算することによって、現在の映像の復元映像を生成する。

ステップ２１０９で、動画復号化装置４０は、ステップ２１０８で生成された復元映像の解像度を減少させることによって、復元映像を圧縮し、このように圧縮した復元映像をメモリ４１０に保存する。ステップ２１１０で、動画復号化装置４０は、動画を構成する映像いずれもに対して前記ステップ２１０１ないし２１０９が完了した場合には終了し、完了していない場合には、前記現在の映像の次の映像に対してステップ２１０１から再び反復する。

図２２は、本発明の一実施形態による映像圧縮方法のフローチャートである。特に、図２２に示した映像圧縮方法は、図１８ないし図２１に示したステップ１８１２、ステップ１９０８、ステップ２０１４、ステップ２１０９に該当する。図２２に示すように、本実施形態による映像圧縮方法、図１８ないし図２１に示したステップ１８１２、ステップ１９０８、ステップ２０１４、ステップ２１０９は、図１３に示した映像圧縮装置で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図１３に示した映像圧縮装置に関して前述した内容は、本実施形態による映像圧縮方法にも適用される。

ステップ２２０１で、映像圧縮装置は、復元映像の２×２ブロックを構成する画素の値のうち、最小値及び最大値を検出する。

ステップ２２０２で、映像圧縮装置は、復元映像のビット解像度調整情報を検出する。

ステップ２２０３で、映像圧縮装置は、ステップ２２０２で検出されたビット解像度調整情報に含まれた複数のオフセット値のうち、復元映像の２×２ブロックを構成する画素の値に基づいて、この２×２ブロックのオフセット値を選定する。

ステップ２２０４で、映像圧縮装置は、ステップ２２０２で検出されたビット解像度調整情報に含まれた複数の量子化サイズのうち、復元映像の２×２ブロックを構成する画素の値に基づいて、この２×２ブロックの量子化サイズを選定する。

ステップ２２０５で、映像圧縮装置は、復元映像の２×２ブロックを構成する画素の値とステップ２２０３で選定されたオフセット値との差値を算出し、このように算出された差値をステップ２２０４で選定された量子化サイズで割ることによって、この差値を表すビットの数をステップ２２０４で選定された量子化サイズほど減少させる。

ステップ２２０６で、映像圧縮装置は、ステップ２２０５で生成された画素それぞれの量子化値を固定長符号化し、この画素それぞれの固定長符号化値、ステップ２２０３で選定されたオフセット値、ステップ２２０４で選定された量子化サイズを組み合わせることによって、固定長の２×２ブロックを生成する。

図２３は、本発明の一実施形態による映像復元方法のフローチャートである。特に、図２３に示した映像復元方法は、図１８ないし図２１に示したステップ１８０１、ステップ１９０１、ステップ２００１、ステップ２１０１に該当する。図２３に示すように、本実施形態による映像復元方法、図１８ないし図２１に示したステップ１８０１、ステップ１９０１、ステップ２００１、ステップ２１０１は、図１４に示した映像復元装置で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図１４に示した映像復元装置に関して前述した内容は、本実施形態による映像復元方法にも適用される。

ステップ２３０１で、映像復元装置は、各メモリ１１３，２０９，３１５，４１０により保存された圧縮映像を２×２ブロック単位で読み込み、このように読み込んだ２×２ブロックからこの２×２ブロックのオフセット値、この２×２ブロックの量子化サイズ及びこの２×２ブロックを構成する画素それぞれの固定長符号化値を抽出し、このように抽出された固定長符号化値を固定長復号化することによって、この画素それぞれの量子化値を復元する。

ステップ２３０２で、映像復元装置は、ステップ２３０１で復元された画素それぞれの量子化値にステップ２３０１で抽出された量子化サイズを乗じ、その乗算結果とステップ２３０１で抽出されたオフセット値とを合算することによって、この画素それぞれの本来のビットサイズの値を復元する。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用のデジタルコンピュータで具現される。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に色々な手段を通じて記録される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。

本発明は、記録媒体関連の技術分野に適用可能である。

本発明の一実施形態による動画符号化装置の構成図である。本発明の一実施形態による動画復号化装置の構成図である。本発明の他の実施形態による動画符号化装置の構成図である。本発明の他の実施形態による動画復号化装置の構成図である。図１ないし図４に示した各動き補償部により使われる参照映像の一例を示す図である。本発明の一実施形態によるビット解像度調整情報の構造を示す図である。図６Ａに示したビット解像度調整情報の構造を擬似コードの形態で示す図である。図６Ａ及び図６Ｂに示したビット解像度調整情報の構造の二つの例を示す図である。一般的な映像内の輝度成分と色差成分とのヒストグラムを示す図である。図６Ｃの（１）に示した輝度成分に対するオフセット値の定義を説明するための図である。図６Ｃの（１）に示した色差成分に対するオフセット値の定義を説明するための図である。一般的な映像内の２×２ブロックの輝度成分及び色差成分それぞれの最大値と最小値との差値のヒストグラムを示す図である。本発明の一実施形態によって圧縮された輝度成分の参照映像の構造を示す図である。図１１Ａに示した輝度成分の参照映像の構造を擬似コードの形態で示す図である。本発明の一実施形態によって圧縮された色差成分の参照映像の構造を示す図である。図１２Ａに示した色差成分の参照映像の構造を擬似コードの形態で示す図である。本発明の一実施形態による映像圧縮装置の構成図である。本発明の一実施形態による映像復元装置の構成図である。図１３に示した量子化部に入力された値と、図１４に示した逆量子化部により復元された値との関係の一例を示す図である。図１３に示した量子化部に入力された値と、図１４に示した逆量子化部により復元された値との間の量子化エラーの一例を示す図である。図８に示した量子化部に入力された値と、図９に示した逆量子化部により復元された値との間の量子化エラーの他の例を示す図である。本発明の一実施形態による動画符号化方法のフローチャートである。本発明の一実施形態による動画復号化方法のフローチャートである。本発明の他の実施形態による動画符号化方法のフローチャートである。本発明の他の実施形態による動画復号化方法のフローチャートである。本発明の一実施形態による映像圧縮方法のフローチャートである。本発明の一実施形態による映像復元方法のフローチャートである。

符号の説明

１０、３０動画符号化装置
２０、４０動画復号化装置
１０１、２０４、３０１、４０５動き補償部
１０３、２０５、３０３、４０６イントラ予測部
１０７、３０８エントロピー符号化部
１０８、２０２、３０９、４０２、１４０２逆量子化部
１０９、２０３、３１０、４０３逆変換部
１１０、２０６、３１２、４０７加算器
１１１、２０７、３１３、４０８圧縮部
１１２、２０８、３１４、４０９復元部
１１３、２０９、３１５、４１０メモリ
２０１、４０１エントロピー復号化部
１３０１画素値検出部
１３０２ビット解像度調整情報検出部
１３０３オフセット値選定部
１３０４量子化サイズ選定部
１３０５量子化部
１３０６固定長符号化部
１４０１固定長復号化部

Claims

復元された参照映像を利用して現在の映像を符号化するステップであって、前記現在の映像は、動画を構成する一連の映像のうち、外部から現在入力された映像を具備する、ステップと、
前記符号化された現在の映像を復号化することによって、前記現在の映像の復元映像を生成するステップと、
前記生成された復元映像の解像度を減少させることによって、前記現在の映像の解像度よりも低い解像度に前記復元映像を圧縮し、前記圧縮された復元映像をメモリに記憶するステップであって、前記解像度の減少量の決定には、前記生成された復元映像を構成する画素ブロック毎に、前記画素ブロックを構成する画素の値の最小値に基づいて選定されたオフセット値が利用される、ステップと、
前記メモリに記憶された前記圧縮された復元映像の解像度を前記減少に応じた分だけ増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元するステップと、を含み、
前記複数のオフセット値は、画素値の量子化のために各画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする動画符号化方法。
前記解像度は、前記圧縮された復元映像または前記復元映像を構成する画素それぞれのカラー値を表すビットの数を意味するビット解像度である、
ことを特徴とする請求項１に記載の動画符号化方法。
前記復元映像を圧縮するステップは、所定サイズのブロック単位で前記復元映像の解像度の減少分を決定し、前記復元映像の解像度を前記減少分ほど減少させることによって、前記復元映像を圧縮し、
前記参照映像を復元するステップは、前記所定サイズのブロック単位で前記圧縮された復元映像の解像度の増加分を決定し、前記圧縮された復元映像の解像度を前記増加分ほど増加させることによって、前記参照映像を復元する、
ことを特徴とする請求項１に記載の動画符号化方法。
前記復元映像を圧縮するステップは、
複数のオフセット値のうち、前記復元映像の所定サイズのブロックを構成する画素の値の最小値より小さく、かつ前記最小値に最も近接したオフセット値を選定するステップと、
複数の量子化サイズのうち、前記選定されたオフセット値と前記画素の値の最大値との差値を表すビットの最小個数に最も近接するように量子化サイズを選定するステップと、
前記画素の値と前記選定されたオフセット値との差値を前記選定された量子化サイズで割ることによって、前記差値を表すビットの数を前記選定された量子化サイズほど減少させるステップと、
を含むことを特徴とする請求項１に記載の動画符号化方法。
前記参照映像を復元するステップは、
前記圧縮された復元映像の所定サイズのブロックから前記ブロックのオフセット値及び前記ブロックの量子化値を抽出するステップと、
前記ブロックを構成する画素それぞれの量子化値に前記抽出された量子化サイズを乗じ、前記乗算結果と前記抽出されたオフセット値とを合算することによって、前記画素それぞれの本来のビットサイズの値を復元するステップと、
を含むことを特徴とする請求項１に記載の動画符号化方法。
復元された参照映像を利用して現在の映像を符号化する符号化部であって、前記現在の映像は、動画を構成する一連の映像のうち、外部から現在入力された映像を具備する、符号化部と、
前記符号化された現在の映像を復号化することによって、前記現在の映像の復元映像を生成する復号化部と、
前記生成された復元映像の解像度を減少させることによって、前記現在の映像の解像度よりも低い解像度に前記復元映像を圧縮し、前記圧縮された復元映像をメモリに記憶する圧縮部であって、前記解像度の減少量の決定には、前記生成された復元映像を構成する画素ブロック毎に、前記画素ブロックを構成する画素の値の最小値に基づいて
選定されたオフセット値が利用される、圧縮部と、
前記メモリに記憶された前記圧縮された復元映像の解像度を前記減少に応じた分だけ増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元する復元部と、を備え、
前記複数のオフセット値は、画素値の量子化のために画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする動画符号化装置。
復元された参照映像を利用してビットストリームを復号化することによって、現在の映像を復元した復元映像を生成するステップであって、前記現在の映像は、動画を構成する一連の映像のうち、外部から現在入力された映像を具備する、ステップと、
前記復元映像の解像度を減少させることによって、前記復元映像を前記現在の映像の解像度よりも低い解像度に圧縮し、前記圧縮された復元映像をメモリに記憶するステップであって、前記解像度の減少量の決定には、前記生成された復元映像を構成する画素ブロック毎に、前記画素ブロックを構成する画素の値の最小値に基づいて選定されたオフセット値が利用される、ステップと、
前記メモリに記憶された前記圧縮された復元映像の解像度を前記減少に応じた分だけ増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元するステップと、を含み、
前記複数のオフセット値は、画素値の量子化のために画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする動画復号化方法。
前記解像度は、前記圧縮された復元映像または前記復元映像を構成する画素それぞれのカラー値を表すビットの数を意味するビット解像度である、
ことを特徴とする請求項７に記載の動画復号化方法。
前記復元映像を圧縮するステップは、所定サイズのブロック単位で前記復元映像の解像度の減少分を決定し、前記復元映像の解像度を前記減少分ほど減少させることによって前記復元映像を圧縮し、
前記参照映像を復元するステップは、前記所定サイズのブロック単位で前記圧縮された復元映像の解像度の増加分を決定し、前記圧縮された復元映像の解像度を前記増加分ほど増加させることによって、前記参照映像を復元する、
ことを特徴とする請求項７に記載の動画復号化方法。
前記復元映像を圧縮するステップは、
複数のオフセット値のうち、前記復元映像の所定サイズのブロックを構成する画素の値に基づいて前記ブロックのオフセット値を選定するステップと、
複数の量子化サイズのうち、前記画素の値に基づいて前記ブロックの量子化サイズを選定するステップと、
前記画素の値と前記選定されたオフセット値との差値を前記選定された量子化サイズで割ることによって、前記差値を表すビットの数を前記選定された量子化サイズほど減少させるステップと、
を含むことを特徴とする請求項７に記載の動画復号化方法。
前記参照映像を復元するステップは、
前記圧縮された復元映像の所定サイズのブロックから前記ブロックのオフセット値及び前記ブロックの量子化サイズを抽出するステップと、
前記ブロックを構成する画素それぞれの量子化値に前記抽出された量子化サイズを乗じ、前記乗算結果と前記抽出されたオフセット値とを合算することによって、前記画素それぞれの本来のビットサイズの値を復元するステップと、
を含むことを特徴とする請求項７に記載の動画復号化方法。
復元された参照映像を利用してビットストリームを復号化することによって、現在の映像を復元した復元映像を生成する復号化部であって、前記現在の映像は、動画を構成する一連の映像のうち、外部から現在入力された映像を具備する、復号化部と、
前記復元映像の解像度を減少させることによって、前記復元映像を前記現在の映像の解像度よりも低い解像度に圧縮し、前記圧縮された復元映像をメモリに記憶する圧縮部であって、前記解像度の減少量の決定には、前記復元映像を構成する画素ブロック毎に、前記画素ブロックを構成する画素の値の最小値に基づいて選定されたオフセット値が利用される、圧縮部と、
前記メモリに記憶された前記圧縮された復元映像の解像度を前記減少に応じた分だけ増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元する復元部と、を備え、
前記複数のオフセット値は、画素値の量子化のために画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする動画復号化装置。
復元された参照映像から現在の映像の予測映像を生成するステップであって、前記現在の映像は、動画を構成する一連の映像のうち、外部から現在入力された映像を具備する、ステップと、
ビットストリームを復号化することによって、現在の映像と前記現在の映像の予測映像との残差映像を復元するステップと、
前記復元された残差映像の解像度を減少させるステップと、
前記生成された予測映像に前記解像度が減少した残差映像を加算することによって、前記現在の映像の復元映像を生成するステップと、
前記生成された復元映像の解像度を減少させることによって、前記現在の映像の解像度よりも低い解像度に前記復元映像を圧縮し、前記圧縮された復元映像をメモリに記憶するステップであって、前記解像度の減少量の決定には、前記生成された復元映像を構成する画素ブロック毎に、前記画素ブロックを構成する画素の値の最小値に基づいて選定されたオフセット値が利用される、ステップと、
前記メモリに記憶された前記圧縮された復元映像の解像度を前記減少に応じた分だけ増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元するステップと、を含み、
前記複数のオフセット値は、画素値の量子化のために画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする動画復号化方法。
復元された参照映像から現在の映像の予測映像を生成するステップであって、前記現在の映像は、動画を構成する一連の映像のうち、外部から現在入力された映像を具備する、ステップと、
ビットストリームを復号化することによって、現在の映像と前記現在の映像の予測映像との残差映像を復元するステップと、
前記生成された予測映像に前記復元された残差映像を加算することによって、前記現在の映像の復元映像を生成するステップと、
前記生成された復元映像の解像度を減少させることによって、前記現在の映像の解像度よりも低い解像度に前記復元映像を圧縮し、前記圧縮された復元映像をメモリに記憶するステップであって、前記解像度の減少量の決定には、前記生成された復元映像を構成する画素ブロック毎に、前記画素ブロックを構成する画素の値の最小値に基づいて選定されたオフセット値が利用される、ステップと、
前記メモリに記憶された前記圧縮された復元映像の解像度を前記減少に応じた分だけ増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元するステップと、を含み、
前記複数のオフセット値は、画素値の量子化のために画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする動画復号化方法。
動画を構成する一連の映像のうち、外部から現在入力された映像を具備する現在の映像を復元した復元映像の解像度を減少させることによって、前記現在の映像の解像度よりも低い解像度に前記復元映像を圧縮し、前記圧縮された復元映像をメモリに記憶し、前記メモリに記憶された前記圧縮された復元映像の解像度を増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元する装置における映像圧縮方法であって、
複数のオフセット値のうち、映像の所定サイズのブロックを構成する複数の画素の値の中で最小となる値に基づいて前記ブロックのオフセット値を選定するステップと、
複数の量子化サイズのうち、前記画素の値に基づいて前記ブロックの量子化サイズを選定するステップと、
前記画素の値と前記選定されたオフセット値との差値を前記選定された量子化サイズで割るステップと、
前記差値を前記選定された量子化サイズで割った結果を符号化し、符号化結果を前記圧縮された復元映像として前記メモリに記憶するステップと、
を含み、
前記複数のオフセット値は、画素の値の量子化のために画素値をオフセットするための複数の候補値であって、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする映像圧縮方法。
前記オフセット値を選定するステップは、前記画素の値の最小値より小さく、かつ前記最小値に最も近接したオフセット値を選定し、
前記量子化サイズを選定するステップは、前記選定されたオフセット値と前記画素の値の最大値との差値を表すビットの最小個数に最も近接するように前記量子化サイズを選定する、
ことを特徴とする請求項１５に記載の映像圧縮方法。
前記画素の値のうち、色差成分に該当するカラー値は、前記カラー値から１２８を減算した結果の絶対値及び符号で表現され、
前記量子化するステップは、前記絶対値と前記選定されたオフセット値との差値を前記選定された量子化サイズで割る、
ことを特徴とする請求項１５に記載の映像圧縮方法。
生成された画素それぞれの量子化値を表すビットのうち所定のビットサイズほど抽出し、前記抽出された画素それぞれの固定長ビット、前記選定されたオフセット値を表す固定長ビット及び前記選定された量子化サイズを表す固定長ビットを組み合わせることによって、固定長ブロックを生成するステップをさらに含む、
ことを特徴とする請求項１５に記載の映像圧縮方法。
動画を構成する一連の映像のうち、外部から現在入力された映像を具備する現在の映像を復元した復元映像の解像度を減少させることによって、前記現在の映像の解像度よりも低い解像度に前記復元映像を圧縮し、前記圧縮された復元映像をメモリに記憶し、前記メモリに記憶された前記圧縮された復元映像の解像度を増加させることによって、前記現在の映像と同じ解像度をもつ参照映像を復元する装置における映像復元方法であって、
映像の所定サイズのブロックから前記ブロックを構成する複数の画素値の中で最小となる値に基づいて選定されるオフセット値及び前記ブロックの量子化サイズを抽出するステップと、
前記ブロックを構成する画素それぞれの量子化値に前記抽出された量子化サイズを乗じ、前記乗算結果と前記抽出されたオフセット値とを合算することによって、前記画素それぞれの本来のビットサイズの値を復元するステップと、
前記復元された本来のビットサイズの値に基づいて、前記メモリに記憶された前記圧縮された復元映像から前記参照映像を復元するステップと、を含み、
前記複数のオフセット値は、画素値の量子化のために画素値をオフセットするための複数の候補値の中から選定された値であり、前記複数の候補値は、映像内の画素値の統計分布特性に基づいて、各オフセット値が定める各区間において映像内の画素値が互いに類似した確率で分布するように決定されることを特徴とする映像復元方法。
前記画素の値のうち、色差成分に該当するカラー値は、前記カラー値から１２８を減算した結果の絶対値及び符号で表現され、
前記ビットサイズの値を復元することによって逆量子化するステップは、前記画素それぞれの量子化値のうち、色差成分に該当する量子化値に前記抽出された量子化サイズを乗じ、前記乗算結果と前記抽出されたオフセット値とを合算することによって、前記絶対値を復元する、
ことを特徴とする請求項１９に記載の映像復元方法。
前記ブロックから前記画素それぞれの固定長符号化値を抽出し、前記抽出された固定長符号化値を固定長復号化することによって、前記画素それぞれの量子化値を復元するステップをさらに含む、
ことを特徴とする請求項１９に記載の映像復元方法。