JP3818484B2 - Decoding apparatus and recording medium for encoded moving image data - Google Patents

Decoding apparatus and recording medium for encoded moving image data Download PDF

Info

Publication number
JP3818484B2
JP3818484B2 JP25755399A JP25755399A JP3818484B2 JP 3818484 B2 JP3818484 B2 JP 3818484B2 JP 25755399 A JP25755399 A JP 25755399A JP 25755399 A JP25755399 A JP 25755399A JP 3818484 B2 JP3818484 B2 JP 3818484B2
Authority
JP
Japan
Prior art keywords
discrete cosine
cosine transform
image data
moving image
inverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25755399A
Other languages
Japanese (ja)
Other versions
JP2001086505A (en
Inventor
康之 中島
広昌 柳原
暁夫 米山
勝 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP25755399A priority Critical patent/JP3818484B2/en
Priority to US09/657,368 priority patent/US7380015B1/en
Publication of JP2001086505A publication Critical patent/JP2001086505A/en
Priority to US11/244,033 priority patent/US7801969B2/en
Application granted granted Critical
Publication of JP3818484B2 publication Critical patent/JP3818484B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は符号化動画像データの復号装置に関し、特に動画像復号処理負荷を軽減して、処理性能が低いパーソナルコンピュータにも使用できるようにした符号化動画像データの復号装置に関する。
【0002】
【従来の技術】
圧縮符号化された動画像の復号装置の従来例を図12に示す。図12において、符号化動画像データは可変長復号器11に入力され、可変長復号化される。復号された量子化係数aすなわち量子化離散コサイン変換係数は逆量子化器12に入力され、一方復号された動きベクトル情報bは動き補償予測器17に入力される。該量子化係数aは逆量子化器12で逆量子化され、離散コサイン変換係数F(u,v) が逆離散コサイン変換器31に入力される。動き補償予測器17では前記動きベクトル情報bを用いて、フレームメモリ18に蓄積された画像から予測に用いる予測画像データを抽出する。
【0003】
可変長復号器11で復号された符号化モード情報cはスイッチ手段19を制御する。符号化モードが面内符号化モードの場合はスイッチ手段19はオフとされ、逆離散コサイン変換器13からの出力f(x,y) は加算器16で何も加算されずそのまま復号画像出力r(x,y) として出力されると共に、フレームメモリ18に蓄積される。
【0004】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段19はオンとされ、逆離散コサイン変換器31からの出力f(x,y) は動き補償予測画像c(x,y) と加算器16で加算されて復号画像出力r(x,y) として出力されると共に、フレームメモリ18に蓄積される。
【0005】
動画像の復号処理では、逆離散コサイン変換がもっとも処理負荷が大きいため、例えばB.G.Lee,"A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust.,Speech, and Signal Processing, vol.ASSP-32, pp/1243-1245, Dec.1984.などの高速逆離散コサイン変換アルゴリズムが利用される。
【0006】
さらに高速化が要求される場合は、復号する画面数を間引いて、復号処理を軽減する方法が用いられている。たとえば、画面内符号化(イントラ符号化)された画像のみを復号し、画面内符号化以外で符号化された画像は復号しない方法も用いられている。
【0007】
【発明が解決しようとする課題】
しかしながら、例えばパーソナルコンピュータなどを用いてソフトウェアで復号処理を行なう場合、パーソナルコンピュータの処理性能が低い場合は、このような高速処理でも処理が間に合わず、大幅に再生画面数が低下するという問題がある。
【0008】
本発明の目的は、前記した従来技術の問題点を解決し、従来の処理速度よりもさらに高速処理できる符号化動画像データの復号装置を提供することにある。また、他の目的は、再生時の画質の劣化や再生画面数の低下を大してもたらすことなく、動画像復号処理負荷を大幅に軽減できる符号化動画像データの復号装置を提供することにある。
【0009】
【課題を解決するための手段】
前記目的を達成するために、本発明は、逆量子化された離散コサイン変換係数を符号化側の離散コサイン変換基底よりも小さく、かつDC成分のみの基底を含まない基底用の変換係数に変更する手段と、該手段により変更された変換係数を前記符号化側の離散コサイン変換基底よりも小さく、かつDC成分のみの基底を含まない基底を用いた逆離散コサイン変換を用いて逆変換する手段と、該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する手段とを具備した点に第1の特徴がある。
【0010】
また、本発明は、前記の各手段(機能)を記録したコンピュータ読取り可能な記録媒体を提供する点に、第の特徴がある。
【0011】
前記第1、第の特徴によれば、逆量子化された離散コサイン変換係数は、符号化側の離散コサイン変換基底よりも小さな基底用の変換係数に変更され、符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換されるので、該逆変換に要する処理速度を向上でき、ひいては全体の復号処理速度を大幅に向上することができるようになる。
【0013】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図1は、本発明の第1の実施形態の構成を示すブロック図である。なお、図12と同一の符号は、同一または同等物を示す。この実施形態は、符号化側の離散コサイン変換より小さい基底を用いて、復号側で逆離散コサイン変換するようにしたものである。
【0014】
符号化データあるいは符号化動画像データは、可変長復号器11に入力される。可変長復号器11では、量子化離散コサイン変換係数a、動きベクトル情報b、符号化モード情報cなどが復号される。復号された量子化離散コサイン変換係数aは逆量子化器12に入力され、動きベクトル情報bは動き補償予測器17に入力され、符号化モード情報cは後述するスイッチ手段19を制御する。
逆量子化器12に入力された該量子化離散コサイン変換係数aは逆量子化され、離散コサイン変換係数F(u,v) が出力される。該離散コサイン変換係数F(u,v) はスケーリング器13に入力され、係数データがスケーリングされる。スケーリング方法については、図11の式(1) で与えられる式に沿って各離散コサイン変換係数を変更する。
【0015】
ここで、F(u,v) 、F'(u,v)はそれぞれスケーリング器13に入力される離散コサイン変換係数、スケーリング処理後の離散コサイン変換係数である。また、N×N(Nは正の偶数)は符号化側の離散コサイン変換の基底サイズ、u、vはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標を示し、u=0,1,…,(N/2p1−1)、v=0,1…,(N/2p2−1)である。p1 、p2 はそれぞれ水平方向と垂直方向の小基底逆離散コサイン変換の基底サイズを決定するパラメータ(整数)で、基底サイズは水平、垂直方向それぞれ、N/2p1、N/2p2である。例えば、p1 =p2 =1であれば、基底サイズはN/2×N/2となる。
【0016】
また、簡易的に、下記の式(2) のようなスケーリングも利用可能である。
F'(u,v)=F(u,v) /{(2p1/2)×(2p2/2)} …(2)
スケーリング処理後の離散コサイン変換係数F'(u,v)は、小基底逆離散コサイン変換器14に入力される。小基底逆離散コサイン変換器14では、水平方向、垂直方向の基底サイズがN/2p1、N/2p2の、従来に比べて小基底の逆離散コサイン変換により離散コサイン変換係数F'(u,v)が逆変換され、画像f'(i,j)が出力される。
【0017】
画像f'(i,j)は解像度変換器15に入力され符号化側と同一のサイズの空間解像度に変換され、f(x,y) として出力される。なお、f'(i,j)からf(x,y) への空間解像度変換方法としては、内挿補間法や単純内挿法などを利用することができる。
【0018】
たとえば、p1 =p2 =1の時、内挿補間法では、次の式(3) 〜式(6) のように変換できる。
f(x,y) = f(2i, 2j) = f'(i,j) …(3)
f(x,y) = f(2i+1,2j) = (f'(i,j)+f'(i+1,j))/2 …(4)
f(x,y) = f(2i, 2j+1) = (f'(i,j)+f'(i,j+1))/2 …(5)
f(x,y) = f(2i+1, 2j+1) = (f'(i,j)+ f'(i+1,j)+f'(i,j+1)+ f'(i+1,j+1))/4…(6)
なお、x,y=0,1,2,…,N−1である。
【0019】
また、単純内挿法では、次の式(7) 〜式(10)のような変換を用いることが可能である。
f(x,y) = f(2i, 2j) = f'(i,j) …(7)
f(x,y) = f(2i+1,2j) = f'(i,j) …(8)
f(x,y) = f(2i, 2j+1) = f'(i,j) …(9)
f(x,y) = f(2i+1, 2j+1) = f'(i,j) …(10)
一方、可変長復号器11で復号された動きベクトル情報bは動き補償予測器17に入力される。動き補償予測器17では入力された動きベクトル情報bにしたがってフレームメモリ18から該当の画像情報をロードし、動き補償予測器17から動き補償予測画像c(x,y) として出力する。
【0020】
また、可変長復号器11で復号された符号化モード情報cはスイッチ手段19を制御する。符号化モードが面内符号化モードの場合はスイッチ手段19はオフとされ、解像度変換器15からの出力f(x,y) は加算器16で何も加算されずそのまま復号画像出力r(x,y) として出力されるとともにフレームメモリ18に蓄積される。
【0021】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段19はオンとされ、解像度変換器15からの出力f(x,y) は加算器16で動き補償予測画像c(x,y) が加算されて復号画像出力r(x,y) として出力されるとともにフレームメモリ18に蓄積される。
【0022】
以上のように、この実施形態によれば、小基底逆離散コサイン変換器14はスケーリング器13でスケーリング処理された水平方向、垂直方向の基底サイズN/2p1、N/2p2を用いて、逆離散コサイン変換をすることになるので、処理速度を従来のものに比べて、大幅に改善することができるようになる。
【0023】
次に、本発明の第2実施形態を、図2を参照して説明する。この実施形態は、ローパスフィルタ処理と非零係数逆離散コサイン変換処理を用いて復号するようにしたものである。
【0024】
符号化データはまず可変長復号器11に入力される。可変長復号器11および逆量子化器12の動作は、前記第1実施形態と同一または同等であるので、説明を省略する。逆量子化器12から出力された離散コサイン変換係数F(u,v) はローパスフィルタ21に入力され、係数データがフィルタリングされる。
【0025】
フィルタリング方法についてはサイズがN×Nの離散コサイン変換係数F(u,v) の中で低域の係数のみを残すことで実現することができる。ローパスフィルタリング後の係数をF'(u,v)とすると、次の式(11)、(12)のようなフィルタリングを利用することが可能である。
0 ≦u ≦b1かつ 0≦v ≦b2の時、F '(u,v) = F(u,v) …(11)
u > b1または v > b2 の時、F '(u,v) = 0 …(12)
ここで、u,v=0,1,2,…,N−1である。またb1 、b2 は、N以下の整数でフィルタリングパラメータである。
【0026】
また,以下のような式(13)、(14)を用いてフィルタリングすることも可能である。
b2 u + b1 v ≦ b1 b2の時、F '(u,v) = F(u,v) …(13)
b2 u + b1 v > b1 b2 の時、F '(u,v) = 0 …(14)
ローパスフィルタリング処理後の離散コサイン変換係数F'(u,v)は符号化側と同一サイズの基底を持つ非零係数逆離散コサイン変換器22に入力される。非零係数逆離散コサイン変換器22では離散コサイン変換係数F'(u,v)が逆変換され、画像f(x,y) が出力される。ここで、x,y=0,1,2,…,N−1である。また、非零係数逆離散コサイン変換器22の基底は、符号化側の離散コサイン変換と同一のサイズN×Nで、u,vそれぞれがb1 、b2 以下の係数を用いて、図11の式(15)、(16)により逆離散コサイン変換を行う。非零係数逆離散コサイン変換器22の基底は、符号化側の離散コサイン変換と同一のサイズであるが、前記ローパスフィルタ21によるフィルタリングにより、F'(u,v)=0のデータが多量に存在することになるので、非零係数逆離散コサイン変換器22の処理速度は大幅に向上する。
【0027】
なお、前記式(15)、(16)を用いた逆離散コサイン変換に代えて、バタフライ演算を用いても良い。図3は、従来の、すなわち前記フィルタリングしない時のバタフライ演算を用いた高速逆離散コサイン変換の一例を示すものであり、B.G.Lee,"A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust.,Speech, and Signal Processing, vol.ASSP-32, pp/1243-1245, Dec.1984.での高速逆離散コサイン変換処理を示す。図はN=8とした場合の1次元信号における逆離散コサイン処理を示している。なお、図中の符号は、図11の式(17)の意味を有している。図3の処理によれば、F'(0),F'(1),…,F'(7)の8点入力に対して逆離散コサイン変換処理が行われ、f(0) ,f(1) ,…,f(7) の8つの画像出力が得られる。
【0028】
しかしながら、本実施形態のフィルタリングをした後には、バタフライ演算は図4に示すようになる。図4は、フィルタリングパラメータb1 を4(b1 =4)とした場合のバタフライ演算による非零係数逆離散コサイン変換を示す。本実施形態ではF'(0)〜F'(3)の4点だけが入力されて逆離散コサイン変換処理が行われ、f(0) ,f(1) ,…,f(7) の8つの画素データが復元される。このように、従来のN点入力の逆離散コサイン変換に対して、本実施形態では非零となる低域のb点の入力信号に対応する逆離散コサイン変換計算のみを行えばよく、処理速度は大幅に向上する。
【0029】
可変長復号器11で復号された動きベクトル情報は、前記第1実施形態と同様に、動き補償予測器17に入力される。動き補償予測器17では入力された動きベクトル情報にしたがってフレームメモリ18から該当の画像情報をロードし,動き補償器17から動き補償予測画像c(x,y) として出力する。
【0030】
また、可変長復号器11で復号された符号化モード情報も、前記第1実施形態と同様に、スイッチ手段19を制御する。符号化モードが面内符号化モードの場合はスイッチ手段19はオフとされ、逆離散コサイン変換器22からの出力f(x,y) は加算器16で何も加算されずそのまま復号画像出力r(x,y) として出力されるとともにフレームメモリ18に蓄積される。
【0031】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段19はオンとされ、非零係数逆離散コサイン変換器22からの出力f(x,y) は加算器16で動き補償予測画像c(x,y) が加算されて復号画像出力r(x,y) として出力されるとともにフレームメモリ18に蓄積される。
【0032】
以上のように、本実施形態によれば、非零係数逆離散コサイン変換器22の基底は、符号化側の離散コサイン変換と同一のサイズであるが、前記ローパスフィルタ21によるフィルタリングにより、F'(u,v)=0となるデータが多量に存在することになるので、非零係数逆離散コサイン変換器22の実質的な処理量は大幅に低減され、処理速度は大幅に向上することになる。
【0033】
次に、図5を参照して、第3の実施形態を説明する。この実施形態は、従来から実施されている、画面内符号化モードで符号化された画像のみを復号し、画面内符号化以外で符号化された画像は復号しない方法の処理速度をさらに向上させるようにしたものである。
【0034】
符号化データは可変長復号器11に入力される。可変長復号器11で符号化モードを復号し、量子化離散コサイン変換係数a、符号化モード情報cなどが復号される。符号化モードが面内符号化モードの時に、スイッチ手段11aが閉じられ、可変長復号器11から量子化離散コサイン変換係数aが逆量子化器12に出力される。逆量子化器12に入力された該量子化離散コサイン変換係数aは逆量子化され、離散コサイン変換係数F(u,v) が出力される。該離散コサイン変換係数F(u,v) はスケーリング器13に入力され、係数データがスケーリングされる。
【0035】
スケーリング方法については前記式(1) で与えられる式に沿って各離散コサイン変換係数を変更する。また、簡易的に前記式(2) のようなスケーリングも利用可能である。
【0036】
スケーリング処理後の離散コサイン変換係数F'(u,v)は小基底逆離散コサイン変換器14に入力される。小基底逆離散コサイン変換器14では水平方向、垂直方向の基底サイズがN/2p1,N/2p2の逆離散コサイン変換により離散コサイン変換係数F'(u,v)が逆変換され画像f'(i,j)が出力される。画像f'(i,j)は解像度変換器15に入力され符号化側と同一のサイズの空間解像度に変換され、f(x,y) として出力される。なお、f'(i,j)からf(x,y) への空間解像度変換方法としては第1実施形態と同様の内挿補間法や単純内挿法などを利用することができる。
解像度変換器15からの出力f(x,y) はそのまま復号画像出力r(x,y) として出力される。
【0037】
この実施形態によれば、画面内符号化モードで符号化された画像の処理速度を大幅に向上させることができるようになる。
【0038】
次に、本発明の第4の実施形態を図6を参照して説明する。この実施形態も、前記第3の実施形態と同様に、画面内符号化モードで符号化された画像の処理速度を改善するようにしたものである。
【0039】
符号化データは可変長復号器11に入力される。可変長復号器11で符号化モードを復号し、量子化離散コサイン変換係数a、符号化モード情報cなどが復号される。符号化モードが面内符号化モードの時に、スイッチ手段11aが閉じられ、可変長復号器11から量子化離散コサイン変換係数aが逆量子化器12に出力される。逆量子化器12に入力された該量子化離散コサイン変換係数aは逆量子化され、離散コサイン変換係数F(u,v) が出力される。該離散コサイン変換係数F(u,v) はローパスフィルタ21に入力され、係数データがフィルタリングされる。
【0040】
フィルタリング方法としては、ローパスフィルタリング後の係数をF'(u,v)とすると、前記式(11)、(12)のようなフィルタリングを利用することが可能である。また、前記式(13)、(14)を用いてフィルタリングすることも可能である。このフィルタリングにより、サイズがN×Nの離散コサイン変換係数F(u,v) の中の低域の係数のみを残すことができるようになる。
【0041】
ローパスフィルタリング処理後の離散コサイン変換係数F'(u,v)は非零係数逆離散コサイン変換器22に入力される。この非零係数逆離散コサイン変換器22の基底は符号化側の離散コサイン変換と同一のサイズN×Nで、u、vそれぞれがb1 、b2 以下の係数を用いて、前記式(15)、(16)により逆離散コサイン変換を行う。また、第2実施例と同様に、図4のバタフライ演算を用いてもよい。
【0042】
非零係数逆離散コサイン変換器22からは離散コサイン変換係数F'(u,v)が逆変換され画像f(x,y) が出力される。ここで、x,y=0,1,2,…,N−1である。逆離散コサイン変換器22からの出力f(x,y) はそのまま復号画像出力r(x,y) として出力される。
【0043】
この実施形態によれば、第3実施形態と同様に、画面内符号化モードで符号化された画像の処理速度を大幅に向上させることができるようになる。
【0044】
次に、本発明の第5の実施形態を図7を参照して説明する。図において、11aはスイッチ手段を示し、他の符号は図1と同一または同等物を示す。この実施形態は、面内符号化および片方向予測符号化された画面の復号処理の速度を改善したものである。
【0045】
符号化データは可変長復号器11に入力され、可変長復号器11では、量子化離散コサイン変換係数a、動きベクトル情報b、符号化モード情報cなどが復号される。符号化モード情報cは、前記スイッチ手段11a,19の動作を制御する。
【0046】
符号化モード情報cは、符号化モードが面内符号化モードおよび片方向予測符号化画面モードの時にスイッチ手段11aをオンにし、面内符号化モードの時にスイッチ19をオフ、片方向予測符号化画面モードの時にスイッチ19をオンにする。また、これらの符号化モード以外の時にはオフにする。この結果、符号化モードが面内符号化モードあるいは片方向予測符号化画面モードの時に、量子化離散コサイン変換係数aは逆量子化器12に入力され、第1実施形態で説明したのと同様の動作により、最終的に復号画像出力r(x,y) が得られることになる。この実施形態によれば、面内符号化画面および片方向予測符号化画面のみが復号され、他の符号化画面は復号されないので、この間引きによる復号速度の向上に加えて、前記第1実施形態で説明した、小基底逆離散コサイン変換器14による処理速度の向上を図ることができるので、第1実施形態の処理速度以上の改善を図ることができるようになる。
【0047】
次に、本発明の第6の実施形態を図8を参照して説明する。図において、11aはスイッチ手段を示し、他の符号は図1と同一または同等物を示す。この実施形態は、面内符号化および片方向予測符号化された画面の復号処理の速度を改善したものである。
【0048】
符号化データは可変長復号器11に入力され、可変長復号器11では、量子化離散コサイン変換係数a、動きベクトル情報b、符号化モード情報cなどが復号される。符号化モード情報cは、前記スイッチ手段11a,19の動作を制御する。
【0049】
符号化モード情報cは、符号化モードが面内符号化モードおよび片方向予測符号化画面モードの時にスイッチ手段11aをオンにし、面内符号化モードの時にスイッチ19をオフ、片方向予測符号化画面モードの時にスイッチ19をオンにする。また、これらの符号化モード以外の時にはオフにする。この結果、符号化モードが面内符号化モードあるいは片方向予測符号化画面モードの時に、量子化離散コサイン変換係数aは逆量子化器12に入力され、第2実施形態で説明したのと同様の動作により、最終的に復号画像出力r(x,y) が得られることになる。この実施形態によれば、第5実施形態と同様に、面内符号化画面および片方向予測符号化画面の復号速度を向上させることができるようになる。
【0050】
次に、本発明の第7の実施形態を図9を参照して説明する。図において、50は逆離散コサイン変換器、51、52は切替器を示し、他の符号は図1と同一または同等物を示す。この実施形態は、面内符号化された画像は、これ以外で符号化された画像の復号の基礎になるから、該面内符号化された画像は完全な形で復号し、これ以外で符号化された画像の復号の速度を向上させるようにしたものである。
【0051】
符号化データは可変長復号器11に入力され、可変長復号器11では量子化離散コサイン変換係数a、動きベクトル情報b、符号化モード情報cなどが復号される。
【0052】
量子化離散コサイン変換係数aは逆量子化器12に入力され、また動きベクトル情報は動き補償予測器17に入力される。逆量子化器12に入力された該量子化離散コサイン変換係数aは逆量子化され、離散コサイン変換係数F(u,v) が出力される。
【0053】
符号化モードが面内符号化モードの場合は切替器51は端子s1 に接続され、また、切替器52は端子s3 に接続され、切替器19はオフとなり、量子化離散コサイン変換係数aは逆離散コサイン変換器50に入力される。逆離散コサイン変換機50では符号化側と同一の基底サイズN×Nで逆離散コサイン変換を行いf(x,y) を出力し、そのまま復号画像出力r(x,y) として出力されるとともにフレームメモリ18に蓄積される。
【0054】
一方、符号化モードが面内符号化モード以外の場合は切替器51は端子s2 に接続され、また、切替器52は端子s4 に接続され、切替器19はオンとなり、該離散コサイン変換係数はスケーリング器13に入力され、係数データがスケーリングされる。スケーリング処理後の離散コサイン変換係数F'(u,v)は小基底逆離散コサイン変換器14に入力され、次いでその出力は解像度変換器15に入力される。該スケーリング器13、小基底逆離散コサイン変換器14、および解像度変換器15の動作、および他の構成要素の動作は、前記第1実施形態と同様であるので、説明を省略する。
【0055】
この実施形態によれば、復号された画像の画質の向上と、復号処理速度の向上とを同時に実現することができる。
【0056】
次に、本発明の第8の実施形態を図10を参照して説明する。図において、60は逆離散コサイン変換器、61、62は切替器を示し、他の符号は図2と同一または同等物を示す。この実施形態は、第7の実施形態と同様に、面内符号化された画像は完全な形で復号し、これ以外で符号化された画像に対してはその復号の速度を向上させるようにしたものである。
【0057】
この実施形態では、符号化モードが面内符号化モードの場合は切替器61は端子s1 に接続され、また、切替器62は端子s3 に接続され、切替器19はオフとなり、量子化離散コサイン変換係数aは逆離散コサイン変換器60に入力される。逆離散コサイン変換器60では符号化側と同一の基底サイズN×Nで逆離散コサイン変換を行いf(x,y) を出力し、そのまま復号画像出力r(x,y) として出力されるとともにフレームメモリ18に蓄積される。
【0058】
一方、符号化モードが面内符号化モード以外の場合、切替器61は端子s2 に接続され、また、切り替え器62は端子s4 に接続され、切替器19はオンとなり、該離散コサイン変換係数F(u,v) はローパスフィルタ21に入力され、係数データがフィルタリングされる。該フィルタリングされたデータは、次いで、非零係数逆離散コサイン変換器22に入力される。該ローパスフィルタ21および非零係数逆離散コサイン変換器22の動作、ならびに他の構成要素の動作は、前記第2実施形態と同様であるので、説明を省略する。
【0059】
この実施形態によれば、第7の実施形態と同様に、復号された画像の画質の向上と、復号処理速度の向上とを同時に実現することができる。
【0060】
次に、前記した各実施形態の復号装置の機能は、ソフトウェア(プログラム)で実現することができ、該ソフトウェアは、光ディスク、フロッピーディスク、ハードディスク等の可搬型記録媒体に記録することができる。
【0061】
図13は、該記録媒体に記録されるプログラムの一例を示すものであり、同図(a) は前記図1の実施形態の機能を実行する記録媒体の内容を示すものであり、同図(b) は前記図2の実施形態の機能を実行する記録媒体の内容を示すものである。
【0062】
図13(a) の記録媒体200には、可変長復号機能111、逆量子化機能121、スケーリング機能131、小基底逆離散コサイン変換機能141、解像度変換機能151、加算機能161、および動き補償予測機能171の復号プログラムが記録されている。
【0063】
図13(b) の記録媒体200には、可変長復号機能111、逆量子化機能121、ローパスフィルタ機能211、非零係数逆離散コサイン変換機能221、加算機能161、および動き補償予測機能171の復号プログラムが記録されている。なお、前記記録媒体に記録される機能は、前記の機能全てではなく、主要な機能のみであってもよい。
【0064】
図14は、該可搬型記録媒体に記録された復号プログラムを読み取って復号機能を実行するコンピュータのハード構成を示すブロック図である。該コンピュータ100は、前記した復号プログラムが記録された記録媒体200と、該記録媒体200から復号プログラムを読取る読取装置101と、該復号プログラムを実行するCPU102と、各種のデータを記憶するROM103と、演算パラメータなどを記憶するRAM104と、キーボード、マウスなどの入力装置102と、ディスプレー、プリンタ等の出力装置105と、装置の各部を接続するバス106から構成されている。
【0065】
CPU102は、読取装置101を経由して記録媒体200に記録されている復号処理プログラムを読み込んだ後、該復号処理プログラムを実行することにより、前記した復号処理を実行する。該復号処理プログラムを実行するために使用されるフレームメモリ18としては、前記RAM104の一部の領域、あるいは図示されていないハードディスクの一部の領域を利用することができる。なお、前記記録媒体200には、ネットワークのように、データを一時的に記録保持するような伝送媒体も含まれる。
【0066】
また、復号化される符号化データは、該ハードディスク等のメモリ中に予め入れておいても、また図示されていないネットワークから該コンピュータ100に取込むようにしてもよい。
【0067】
【発明の効果】
以上のように、本発明によれば、小基底サイズの逆離散コサイン変換や、離散コサイン変換係数のローパスフィルタと非零係数逆離散コサイン変換を用いて復号処理をするようにしたので、従来よりも高速に動画像復号を行うことが可能となる。また、高速に動画像復号処理を行うことのできるプログラムを格納した記録媒体を提供することができる。
【0068】
例えば、ITUにおける動画像符号化方式H.263によるシミュレーション実験では、図1の装置(第1実施形態)を使った場合、符号化側と同一の基底サイズの逆離散コサイン変換を行う従来の場合に比べて、30%以上高速に復号できた。
【図面の簡単な説明】
【図1】 本発明の第1実施形態の構成を示すブロック図である。
【図2】 本発明の第2実施形態の構成を示すブロック図である。
【図3】 バタフライ演算を用いた高速逆離散コサイン変換の一例を示す説明図である。
【図4】 本発明の第2実施形態に適用されるバタフライ演算の説明図である。
【図5】 本発明の第3実施形態の構成を示すブロック図である。
【図6】 本発明の第4実施形態の構成を示すブロック図である。
【図7】 本発明の第5実施形態の構成を示すブロック図である。
【図8】 本発明の第6実施形態の構成を示すブロック図である。
【図9】 本発明の第7実施形態の構成を示すブロック図である。
【図10】 本発明の第8実施形態の構成を示すブロック図である。
【図11】 数式を示す図である。
【図12】 従来装置の構成を示すブロック図である。
【図13】 記録媒体に記録されたプログラムの概要を示す図である。
【図14】 本発明の記録媒体に記録された復号プログラムを実行するコンピュータの構成を示すブロック図である。
【符号の説明】
11…可変長復号器、12…逆量子化器、13…スケーリング器、14…小基底逆離散コサイン変換器、15…解像度変換器、16…加算器、17…動き補償予測器、18…フレームメモリ、19…スイッチ手段、21…ローパスフィルタ、22…非零係数逆離散コサイン変換器、50、60…逆離散コサイン変換器。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for decoding encoded moving image data, and more particularly to an apparatus for decoding encoded moving image data that can be used for a personal computer with low processing performance by reducing the load of moving image decoding processing.
[0002]
[Prior art]
FIG. 12 shows a conventional example of a decoding apparatus for a compressed and encoded moving image. In FIG. 12, encoded moving image data is input to a variable length decoder 11 and subjected to variable length decoding. The decoded quantized coefficient a, that is, the quantized discrete cosine transform coefficient, is input to the inverse quantizer 12, while the decoded motion vector information b is input to the motion compensated predictor 17. The quantization coefficient a is inversely quantized by the inverse quantizer 12, and the discrete cosine transform coefficient F (u, v) is input to the inverse discrete cosine transformer 31. The motion compensated predictor 17 extracts predicted image data used for prediction from the image stored in the frame memory 18 using the motion vector information b.
[0003]
The encoding mode information c decoded by the variable length decoder 11 controls the switch means 19. When the coding mode is the in-plane coding mode, the switch means 19 is turned off, and the output f (x, y) from the inverse discrete cosine transformer 13 is not added by the adder 16 and is output as the decoded image output r. It is output as (x, y) and stored in the frame memory 18.
[0004]
On the other hand, when the coding mode is other than the in-plane coding mode, the switch means 19 is turned on, and the output f (x, y) from the inverse discrete cosine transformer 31 is the motion compensated prediction image c (x, y) and The signals are added by the adder 16 and output as a decoded image output r (x, y) and are stored in the frame memory 18.
[0005]
In video decoding, inverse discrete cosine transform has the largest processing load. For example, BGLee, "A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust., Speech, and Signal Processing, vol.ASSP- 32, pp / 1243-1245, Dec. 1984. etc., a fast inverse discrete cosine transform algorithm is used.
[0006]
When higher speed is required, a method of reducing the decoding process by thinning the number of screens to be decoded is used. For example, a method is also used in which only an image that has been intra-coded (intra-coded) is decoded, and an image that has been encoded other than intra-coded is not decoded.
[0007]
[Problems to be solved by the invention]
However, for example, when performing decryption processing with software using a personal computer or the like, if the processing performance of the personal computer is low, there is a problem that the processing cannot be performed in time even with such high-speed processing, and the number of playback screens is greatly reduced. .
[0008]
An object of the present invention is to solve the above-mentioned problems of the prior art and to provide a decoding apparatus for encoded moving image data that can be processed at a higher speed than the conventional processing speed. Another object of the present invention is to provide an apparatus for decoding encoded moving image data that can greatly reduce the load of moving image decoding processing without causing a significant deterioration in image quality during reproduction and a reduction in the number of reproduced screens.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a discrete cosine transform coefficient that is dequantized smaller than the discrete cosine transform base on the encoding side. And does not include the basis of only the DC component Means for changing to a transform coefficient for the basis, and the transform coefficient changed by the means is smaller than the discrete cosine transform base on the encoding side. And does not include the basis of only the DC component A first feature is that it comprises means for performing inverse transform using inverse discrete cosine transform using a base, and means for transforming the image data subjected to inverse discrete cosine transform into the same size as that on the encoding side. .
[0010]
In addition, the present invention provides a computer-readable recording medium on which the above respective means (functions) are recorded. 2 There are features.
[0011]
Said first, first 2 According to the feature, the dequantized discrete cosine transform coefficient is smaller than the discrete cosine transform basis on the encoding side. Conversion factor for Since the inverse transform is performed using an inverse discrete cosine transform using a base smaller than the discrete cosine transform base on the encoding side, the processing speed required for the inverse transform can be improved, and the overall decoding processing speed is greatly increased. Can be improved.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the first exemplary embodiment of the present invention. In addition, the same code | symbol as FIG. 12 shows the same or equivalent. In this embodiment, the inverse discrete cosine transform is performed on the decoding side using a basis smaller than the discrete cosine transform on the encoding side.
[0014]
The encoded data or the encoded moving image data is input to the variable length decoder 11. The variable length decoder 11 decodes the quantized discrete cosine transform coefficient a, motion vector information b, coding mode information c, and the like. The decoded quantized discrete cosine transform coefficient a is input to the inverse quantizer 12, the motion vector information b is input to the motion compensated predictor 17, and the encoding mode information c controls the switch means 19 described later.
The quantized discrete cosine transform coefficient a input to the inverse quantizer 12 is inversely quantized to output a discrete cosine transform coefficient F (u, v). The discrete cosine transform coefficient F (u, v) is input to the scaler 13, and the coefficient data is scaled. As for the scaling method, each discrete cosine transform coefficient is changed along the equation given by equation (1) in FIG.
[0015]
Here, F (u, v) and F ′ (u, v) are a discrete cosine transform coefficient input to the scaler 13 and a discrete cosine transform coefficient after scaling processing, respectively. N × N (N is a positive even number) is the base size of the discrete cosine transform on the encoding side, u and v are the coordinates of the discrete cosine transform coefficients in the horizontal direction and the vertical direction, respectively, u = 0, 1, ..., (N / 2 p1 −1), v = 0, 1,..., (N / 2 p2 -1). p1 and p2 are parameters (integers) for determining the base size of the small basis inverse discrete cosine transform in the horizontal direction and the vertical direction, respectively. The base size is N / 2 in the horizontal and vertical directions, respectively. p1 , N / 2 p2 It is. For example, if p1 = p2 = 1, the base size is N / 2 × N / 2.
[0016]
In addition, the following scaling (2) can also be used.
F ′ (u, v) = F (u, v) / {(2 p1 / 2 ) X (2 p2 / 2 )}… (2)
The discrete cosine transform coefficient F ′ (u, v) after the scaling processing is input to the small basis inverse discrete cosine transformer 14. In the small basis inverse discrete cosine transformer 14, the basis size in the horizontal direction and the vertical direction is N / 2. p1 , N / 2 p2 Compared to the conventional case, the discrete cosine transform coefficient F ′ (u, v) is inversely transformed by a small basis inverse discrete cosine transform, and an image f ′ (i, j) is output.
[0017]
The image f ′ (i, j) is input to the resolution converter 15 and converted to a spatial resolution having the same size as that on the encoding side, and is output as f (x, y). Note that as a spatial resolution conversion method from f ′ (i, j) to f (x, y), an interpolation method or a simple interpolation method can be used.
[0018]
For example, when p1 = p2 = 1, the interpolation method can convert the following equations (3) to (6).
f (x, y) = f (2i, 2j) = f '(i, j)… (3)
f (x, y) = f (2i + 1,2j) = (f '(i, j) + f' (i + 1, j)) / 2… (4)
f (x, y) = f (2i, 2j + 1) = (f '(i, j) + f' (i, j + 1)) / 2… (5)
f (x, y) = f (2i + 1, 2j + 1) = (f '(i, j) + f' (i + 1, j) + f '(i, j + 1) + f' ( i + 1, j + 1)) / 4 ... (6)
Note that x, y = 0, 1, 2,..., N−1.
[0019]
In the simple interpolation method, it is possible to use transformations such as the following equations (7) to (10).
f (x, y) = f (2i, 2j) = f '(i, j)… (7)
f (x, y) = f (2i + 1,2j) = f '(i, j)… (8)
f (x, y) = f (2i, 2j + 1) = f '(i, j)… (9)
f (x, y) = f (2i + 1, 2j + 1) = f '(i, j)… (10)
On the other hand, the motion vector information b decoded by the variable length decoder 11 is input to the motion compensated predictor 17. The motion compensation predictor 17 loads the corresponding image information from the frame memory 18 according to the input motion vector information b, and outputs it from the motion compensation predictor 17 as a motion compensated prediction image c (x, y).
[0020]
The encoding mode information c decoded by the variable length decoder 11 controls the switch means 19. When the coding mode is the in-plane coding mode, the switch means 19 is turned off, and the output f (x, y) from the resolution converter 15 is not added by the adder 16 and is directly output as a decoded image output r (x , y) and is stored in the frame memory 18.
[0021]
On the other hand, when the coding mode is other than the in-plane coding mode, the switch means 19 is turned on, and the output f (x, y) from the resolution converter 15 is added by the adder 16 to the motion compensated prediction image c (x, y). ) Are added and output as decoded image output r (x, y) and stored in the frame memory 18.
[0022]
As described above, according to this embodiment, the small-basis inverse discrete cosine transformer 14 has the horizontal and vertical base sizes N / 2 scaled by the scaler 13. p1 , N / 2 p2 Is used to perform inverse discrete cosine transform, so that the processing speed can be greatly improved as compared with the conventional one.
[0023]
Next, a second embodiment of the present invention will be described with reference to FIG. In this embodiment, decoding is performed using low-pass filter processing and non-zero coefficient inverse discrete cosine transform processing.
[0024]
The encoded data is first input to the variable length decoder 11. Since the operations of the variable length decoder 11 and the inverse quantizer 12 are the same as or equivalent to those of the first embodiment, description thereof is omitted. The discrete cosine transform coefficient F (u, v) output from the inverse quantizer 12 is input to the low-pass filter 21, and the coefficient data is filtered.
[0025]
The filtering method can be realized by leaving only the low frequency coefficient in the discrete cosine transform coefficient F (u, v) having a size of N × N. If the coefficient after the low-pass filtering is F ′ (u, v), it is possible to use filtering as in the following equations (11) and (12).
When 0 ≤ u ≤ b1 and 0 ≤ v ≤ b2, F '(u, v) = F (u, v)… (11)
When u> b1 or v> b2, F '(u, v) = 0… (12)
Here, u, v = 0, 1, 2,..., N−1. B1 and b2 are integers of N or less and are filtering parameters.
[0026]
It is also possible to perform filtering using the following equations (13) and (14).
When b2 u + b1 v ≤ b1 b2, F '(u, v) = F (u, v)… (13)
When b2 u + b1 v> b1 b2, F '(u, v) = 0… (14)
The discrete cosine transform coefficient F ′ (u, v) after the low-pass filtering process is input to the non-zero coefficient inverse discrete cosine transformer 22 having the same size basis as that of the encoding side. The non-zero coefficient inverse discrete cosine transformer 22 inversely transforms the discrete cosine transform coefficient F ′ (u, v) and outputs an image f (x, y). Here, x, y = 0, 1, 2,..., N−1. Further, the basis of the non-zero coefficient inverse discrete cosine transformer 22 is the same size N × N as the discrete cosine transform on the encoding side, and u and v are coefficients b1 and b2 or less, respectively, and the equation of FIG. Inverse discrete cosine transform is performed by (15) and (16). The basis of the non-zero coefficient inverse discrete cosine transformer 22 is the same size as the discrete cosine transform on the encoding side. However, a large amount of data with F ′ (u, v) = 0 is obtained by filtering by the low-pass filter 21. As a result, the processing speed of the non-zero coefficient inverse discrete cosine transformer 22 is greatly improved.
[0027]
Instead of the inverse discrete cosine transform using the equations (15) and (16), butterfly computation may be used. FIG. 3 shows an example of a conventional fast inverse discrete cosine transform using the butterfly operation when filtering is not performed. BGLee, “A new algorithm to compute the discrete cosine transform,” IEEE Trans.Acoust. , Speech, and Signal Processing, vol. ASSP-32, pp / 1243-1245, Dec. 1984. The figure shows inverse discrete cosine processing for a one-dimensional signal when N = 8. In addition, the code | symbol in a figure has the meaning of Formula (17) of FIG. According to the process of FIG. 3, the inverse discrete cosine transform process is performed on the 8-point input of F ′ (0), F ′ (1),..., F ′ (7), and f (0), f ( 1),..., F (7) are obtained.
[0028]
However, after the filtering of this embodiment, the butterfly operation is as shown in FIG. FIG. 4 shows non-zero coefficient inverse discrete cosine transform by butterfly calculation when the filtering parameter b1 is 4 (b1 = 4). In the present embodiment, only four points F ′ (0) to F ′ (3) are input and the inverse discrete cosine transform process is performed, and f (0), f (1),..., F (7) 8 One pixel data is restored. In this way, in contrast to the conventional inverse discrete cosine transform of N point input, in this embodiment, only the inverse discrete cosine transform calculation corresponding to the non-zero low-frequency b point input signal has to be performed. Is greatly improved.
[0029]
The motion vector information decoded by the variable length decoder 11 is input to the motion compensation predictor 17 as in the first embodiment. The motion compensation predictor 17 loads the corresponding image information from the frame memory 18 according to the input motion vector information, and outputs it from the motion compensator 17 as a motion compensated prediction image c (x, y).
[0030]
The coding mode information decoded by the variable length decoder 11 also controls the switch means 19 as in the first embodiment. When the coding mode is the in-plane coding mode, the switch means 19 is turned off, and the output f (x, y) from the inverse discrete cosine transformer 22 is not added by the adder 16 and is output as the decoded image output r. It is output as (x, y) and stored in the frame memory 18.
[0031]
On the other hand, when the coding mode is other than the in-plane coding mode, the switch means 19 is turned on, and the output f (x, y) from the non-zero coefficient inverse discrete cosine transformer 22 is added to the motion compensated prediction image by the adder 16. c (x, y) is added and output as a decoded image output r (x, y) and stored in the frame memory 18.
[0032]
As described above, according to the present embodiment, the base of the non-zero coefficient inverse discrete cosine transformer 22 has the same size as that of the discrete cosine transform on the encoding side, but F ′ is filtered by the low-pass filter 21. Since a large amount of data with (u, v) = 0 exists, the substantial processing amount of the non-zero coefficient inverse discrete cosine transformer 22 is greatly reduced, and the processing speed is greatly improved. Become.
[0033]
Next, a third embodiment will be described with reference to FIG. This embodiment further improves the processing speed of the conventional method of decoding only images encoded in the intra-screen encoding mode and not decoding images encoded other than intra-screen encoding. It is what I did.
[0034]
The encoded data is input to the variable length decoder 11. The variable length decoder 11 decodes the encoding mode, and the quantized discrete cosine transform coefficient a, the encoding mode information c, and the like are decoded. When the encoding mode is the in-plane encoding mode, the switch unit 11 a is closed, and the quantized discrete cosine transform coefficient a is output from the variable length decoder 11 to the inverse quantizer 12. The quantized discrete cosine transform coefficient a input to the inverse quantizer 12 is inversely quantized to output a discrete cosine transform coefficient F (u, v). The discrete cosine transform coefficient F (u, v) is input to the scaler 13, and the coefficient data is scaled.
[0035]
As for the scaling method, each discrete cosine transform coefficient is changed in accordance with the equation given by the equation (1). In addition, scaling as in the above equation (2) can also be used.
[0036]
The discrete cosine transform coefficient F ′ (u, v) after the scaling processing is input to the small basis inverse discrete cosine transformer 14. In the small-basis inverse discrete cosine transformer 14, the horizontal and vertical base sizes are N / 2. p1 , N / 2 p2 The discrete cosine transform coefficient F ′ (u, v) is inversely transformed by the inverse discrete cosine transform, and an image f ′ (i, j) is output. The image f ′ (i, j) is input to the resolution converter 15 and converted to a spatial resolution having the same size as that on the encoding side, and is output as f (x, y). As a spatial resolution conversion method from f ′ (i, j) to f (x, y), the same interpolation method or simple interpolation method as in the first embodiment can be used.
The output f (x, y) from the resolution converter 15 is output as the decoded image output r (x, y) as it is.
[0037]
According to this embodiment, the processing speed of an image encoded in the in-screen encoding mode can be greatly improved.
[0038]
Next, a fourth embodiment of the present invention will be described with reference to FIG. Similarly to the third embodiment, this embodiment also improves the processing speed of an image encoded in the intra-screen encoding mode.
[0039]
The encoded data is input to the variable length decoder 11. The variable length decoder 11 decodes the encoding mode, and the quantized discrete cosine transform coefficient a, the encoding mode information c, and the like are decoded. When the encoding mode is the in-plane encoding mode, the switch unit 11 a is closed, and the quantized discrete cosine transform coefficient a is output from the variable length decoder 11 to the inverse quantizer 12. The quantized discrete cosine transform coefficient a input to the inverse quantizer 12 is inversely quantized to output a discrete cosine transform coefficient F (u, v). The discrete cosine transform coefficient F (u, v) is input to the low-pass filter 21, and the coefficient data is filtered.
[0040]
As a filtering method, if the coefficient after low-pass filtering is F ′ (u, v), it is possible to use the filtering as in the equations (11) and (12). It is also possible to perform filtering using the equations (13) and (14). This filtering makes it possible to leave only the low-frequency coefficients in the discrete cosine transform coefficient F (u, v) of size N × N.
[0041]
The discrete cosine transform coefficient F ′ (u, v) after the low-pass filtering process is input to the non-zero coefficient inverse discrete cosine transformer 22. The basis of the non-zero coefficient inverse discrete cosine transformer 22 is the same size N × N as that of the discrete cosine transform on the encoding side, and u and v are coefficients b1 and b2 or less, respectively, and the equation (15), Perform inverse discrete cosine transform by (16). Further, as in the second embodiment, the butterfly calculation of FIG. 4 may be used.
[0042]
The non-zero coefficient inverse discrete cosine transformer 22 inversely transforms the discrete cosine transform coefficient F ′ (u, v) and outputs an image f (x, y). Here, x, y = 0, 1, 2,..., N−1. The output f (x, y) from the inverse discrete cosine transformer 22 is output as the decoded image output r (x, y) as it is.
[0043]
According to this embodiment, as in the third embodiment, the processing speed of an image encoded in the intra-screen encoding mode can be greatly improved.
[0044]
Next, a fifth embodiment of the present invention will be described with reference to FIG. In the figure, 11a indicates a switch means, and other reference numerals indicate the same as or equivalent to those in FIG. In this embodiment, the speed of decoding processing of a screen subjected to in-plane encoding and one-way predictive encoding is improved.
[0045]
The encoded data is input to the variable length decoder 11, and the variable length decoder 11 decodes the quantized discrete cosine transform coefficient a, motion vector information b, encoding mode information c, and the like. The encoding mode information c controls the operation of the switch means 11a, 19.
[0046]
The encoding mode information c is such that the switch means 11a is turned on when the encoding mode is the in-plane encoding mode and the unidirectional predictive coding screen mode, and the switch 19 is turned off when the encoding mode is in the in-plane encoding mode. Switch 19 is turned on in the screen mode. Also, it is turned off in other than these encoding modes. As a result, when the encoding mode is the in-plane encoding mode or the unidirectional predictive encoding screen mode, the quantized discrete cosine transform coefficient a is input to the inverse quantizer 12 and is the same as described in the first embodiment. As a result, the decoded image output r (x, y) is finally obtained. According to this embodiment, only the in-plane encoding screen and the unidirectional predictive encoding screen are decoded, and the other encoding screens are not decoded. In addition to improving the decoding speed by this thinning, the first embodiment Since the processing speed by the small basis inverse discrete cosine transformer 14 described in (1) can be improved, the processing speed can be improved more than the processing speed of the first embodiment.
[0047]
Next, a sixth embodiment of the present invention will be described with reference to FIG. In the figure, reference numeral 11a denotes a switch means, and other reference numerals are the same as or equivalent to those in FIG. In this embodiment, the speed of decoding processing of a screen subjected to in-plane encoding and one-way predictive encoding is improved.
[0048]
The encoded data is input to the variable length decoder 11, and the variable length decoder 11 decodes the quantized discrete cosine transform coefficient a, motion vector information b, encoding mode information c, and the like. The encoding mode information c controls the operation of the switch means 11a, 19.
[0049]
The encoding mode information c is such that the switch means 11a is turned on when the encoding mode is the in-plane encoding mode and the unidirectional predictive coding screen mode, and the switch 19 is turned off when the encoding mode is in the in-plane encoding mode. Switch 19 is turned on in the screen mode. Also, it is turned off in other than these encoding modes. As a result, when the encoding mode is the in-plane encoding mode or the unidirectional predictive encoding screen mode, the quantized discrete cosine transform coefficient a is input to the inverse quantizer 12 and is the same as described in the second embodiment. As a result, the decoded image output r (x, y) is finally obtained. According to this embodiment, similarly to the fifth embodiment, it is possible to improve the decoding speed of the in-plane encoding screen and the unidirectional prediction encoding screen.
[0050]
Next, a seventh embodiment of the present invention will be described with reference to FIG. In the figure, 50 is an inverse discrete cosine transformer, 51 and 52 are switching units, and the other symbols are the same as or equivalent to those in FIG. In this embodiment, since an intra-encoded image is the basis for decoding an image encoded elsewhere, the intra-encoded image is decoded in its entirety and encoded otherwise. The speed of decoding the converted image is improved.
[0051]
The encoded data is input to the variable length decoder 11, and the variable length decoder 11 decodes the quantized discrete cosine transform coefficient a, motion vector information b, encoding mode information c, and the like.
[0052]
The quantized discrete cosine transform coefficient a is input to the inverse quantizer 12 and the motion vector information is input to the motion compensated predictor 17. The quantized discrete cosine transform coefficient a input to the inverse quantizer 12 is inversely quantized to output a discrete cosine transform coefficient F (u, v).
[0053]
When the coding mode is the in-plane coding mode, the switch 51 is connected to the terminal s1, the switch 52 is connected to the terminal s3, the switch 19 is turned off, and the quantized discrete cosine transform coefficient a is reversed. Input to the discrete cosine transformer 50. The inverse discrete cosine transformer 50 performs inverse discrete cosine transformation with the same base size N × N as that on the encoding side, outputs f (x, y), and outputs it as a decoded image output r (x, y) as it is. Accumulated in the frame memory 18.
[0054]
On the other hand, when the coding mode is other than the in-plane coding mode, the switch 51 is connected to the terminal s2, the switch 52 is connected to the terminal s4, the switch 19 is turned on, and the discrete cosine transform coefficient is The coefficient data is input to the scaler 13 and scaled. The discrete cosine transform coefficient F ′ (u, v) after the scaling processing is input to the small basis inverse discrete cosine transformer 14, and then the output is input to the resolution converter 15. The operations of the scaler 13, the small basis inverse discrete cosine converter 14, and the resolution converter 15 and the operations of the other components are the same as those in the first embodiment, and thus the description thereof is omitted.
[0055]
According to this embodiment, it is possible to simultaneously improve the image quality of the decoded image and the decoding processing speed.
[0056]
Next, an eighth embodiment of the present invention will be described with reference to FIG. In the figure, 60 is an inverse discrete cosine transformer, 61 and 62 are switching units, and the other symbols are the same as or equivalent to those in FIG. In this embodiment, as in the seventh embodiment, the image encoded in the plane is decoded in a complete form, and the decoding speed is improved for images encoded in other cases. It is a thing.
[0057]
In this embodiment, when the coding mode is the in-plane coding mode, the switch 61 is connected to the terminal s1, the switch 62 is connected to the terminal s3, the switch 19 is turned off, and the quantized discrete cosine. The transform coefficient a is input to the inverse discrete cosine transformer 60. The inverse discrete cosine transformer 60 performs inverse discrete cosine transformation with the same base size N × N as that on the encoding side, outputs f (x, y), and outputs it as a decoded image output r (x, y) as it is. Accumulated in the frame memory 18.
[0058]
On the other hand, when the coding mode is other than the in-plane coding mode, the switch 61 is connected to the terminal s2, the switch 62 is connected to the terminal s4, the switch 19 is turned on, and the discrete cosine transform coefficient F (u, v) is input to the low-pass filter 21 to filter the coefficient data. The filtered data is then input to a non-zero coefficient inverse discrete cosine transformer 22. Since the operations of the low-pass filter 21 and the non-zero coefficient inverse discrete cosine transformer 22 and the operations of the other components are the same as those of the second embodiment, description thereof will be omitted.
[0059]
According to this embodiment, as in the seventh embodiment, it is possible to simultaneously improve the image quality of the decoded image and the decoding processing speed.
[0060]
Next, the function of the decryption device of each embodiment described above can be realized by software (program), and the software can be recorded on a portable recording medium such as an optical disk, a floppy disk, or a hard disk.
[0061]
FIG. 13 shows an example of a program recorded on the recording medium. FIG. 13 (a) shows the contents of the recording medium for executing the functions of the embodiment of FIG. 1, and FIG. b) shows the contents of the recording medium for executing the functions of the embodiment of FIG.
[0062]
13A includes a variable length decoding function 111, an inverse quantization function 121, a scaling function 131, a small basis inverse discrete cosine transform function 141, a resolution conversion function 151, an addition function 161, and a motion compensated prediction. A decryption program of function 171 is recorded.
[0063]
The recording medium 200 in FIG. 13B includes a variable length decoding function 111, an inverse quantization function 121, a low-pass filter function 211, a non-zero coefficient inverse discrete cosine transform function 221, an addition function 161, and a motion compensation prediction function 171. A decryption program is recorded. It should be noted that the functions recorded on the recording medium may not be all of the above functions but only the main functions.
[0064]
FIG. 14 is a block diagram showing a hardware configuration of a computer that reads a decoding program recorded on the portable recording medium and executes a decoding function. The computer 100 includes a recording medium 200 on which the decoding program is recorded, a reading device 101 that reads the decoding program from the recording medium 200, a CPU 102 that executes the decoding program, and a ROM 103 that stores various data. A RAM 104 that stores calculation parameters, an input device 102 such as a keyboard and a mouse, an output device 105 such as a display and a printer, and a bus 106 that connects each unit of the device.
[0065]
The CPU 102 reads the decoding processing program recorded on the recording medium 200 via the reading device 101, and then executes the decoding processing by executing the decoding processing program. As the frame memory 18 used for executing the decryption processing program, a partial area of the RAM 104 or a partial area of the hard disk (not shown) can be used. The recording medium 200 includes a transmission medium that temporarily records and holds data, such as a network.
[0066]
The encoded data to be decoded may be stored in advance in a memory such as the hard disk or may be taken into the computer 100 from a network not shown.
[0067]
【The invention's effect】
As described above, according to the present invention, the decoding process is performed using the inverse discrete cosine transform of the small base size, the low-pass filter of the discrete cosine transform coefficient and the non-zero coefficient inverse discrete cosine transform. Also, it becomes possible to perform moving image decoding at high speed. In addition, it is possible to provide a recording medium storing a program capable of performing moving image decoding processing at high speed.
[0068]
For example, the moving picture encoding method H.264 in ITU. In the simulation experiment by H.263, when the apparatus of FIG. 1 (first embodiment) is used, decoding can be performed 30% or more faster than the conventional case in which inverse discrete cosine transform having the same base size as that of the encoding side is performed. It was.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a second exemplary embodiment of the present invention.
FIG. 3 is an explanatory diagram showing an example of fast inverse discrete cosine transform using butterfly computation.
FIG. 4 is an explanatory diagram of butterfly computation applied to the second embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a third exemplary embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a fourth embodiment of the present invention.
FIG. 7 is a block diagram showing a configuration of a fifth exemplary embodiment of the present invention.
FIG. 8 is a block diagram showing a configuration of a sixth embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of a seventh embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of an eighth embodiment of the present invention.
FIG. 11 is a diagram illustrating mathematical expressions.
FIG. 12 is a block diagram showing a configuration of a conventional apparatus.
FIG. 13 is a diagram showing an outline of a program recorded on a recording medium.
FIG. 14 is a block diagram showing a configuration of a computer that executes a decryption program recorded on a recording medium of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Variable length decoder, 12 ... Inverse quantizer, 13 ... Scaling device, 14 ... Small base inverse discrete cosine transformer, 15 ... Resolution converter, 16 ... Adder, 17 ... Motion compensation predictor, 18 ... Frame Memory, 19 ... switch means, 21 ... low pass filter, 22 ... non-zero coefficient inverse discrete cosine transformer, 50, 60 ... inverse discrete cosine transformer.

Claims (8)

動き補償予測と離散コサイン変換を用いて圧縮符号化された動画像データを復号する符号化動画像データの復号装置において、
逆量子化された離散コサイン変換係数F(u,v)、下記の (1) 式または (2) 式を用いて、符号化側の離散コサイン変換基底よりも小さく、かつDC成分のみの基底を含まない基底用の変換係数F’(u,v)に変更する手段と、
該手段により変更された変換係数F’(u,v)を、水平方向、垂直方向の基底サイズがN/2 p1 、N/2 p2 基底を用いた逆離散コサイン変換を用いて逆変換する手段と、
該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する手段とを具備したことを特徴とする符号化動画像データの復号装置。
Figure 0003818484
F'(u,v)=F(u,v) /{(2p1/2)×(2p2/2)} …(2)
ここに、u、vはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標、p1、p2はそれぞれ水平方向、垂直方向の基底サイズを決定するパラメータ、N×Nは符号化側の離散コサイン変換の基底サイズである。
In a decoding device of encoded moving image data for decoding moving image data compressed and encoded using motion compensated prediction and discrete cosine transform,
Inverse quantized discrete cosine transform coefficients F (u, v) and, using equation (1) or (2) below, the base of the smaller than the discrete cosine transform basis on the encoding side, and the DC component only Means for changing to a base conversion coefficient F ′ (u, v) not including
Conversion coefficient F '(u, v) which has been changed by said means, inversely transformed using a horizontal inverse discrete cosine transform base size in the vertical direction using a base of N / 2 p1, N / 2 p2 Means,
An apparatus for decoding encoded moving image data, comprising: means for converting the inverse discrete cosine transformed image data into the same size as that on the encoding side.
Figure 0003818484
F ′ (u, v) = F (u, v) / {(2 p1 / 2 ) × (2 p2 / 2 )} (2)
Here, u and v are the coordinates of the discrete cosine transform coefficients in the horizontal direction and the vertical direction, p1 and p2 are parameters for determining the base sizes in the horizontal and vertical directions, respectively, and N × N is the discrete cosine transform on the encoding side. Is the base size of.
請求項1に記載の符号化動画像データの復号装置において、
面内符号化された画像のみを復号するようにしたことを特徴とする符号化動画像データの復号装置。
In the decoding apparatus of the encoded moving image data according to claim 1,
An apparatus for decoding encoded moving image data, wherein only an image subjected to in-plane encoding is decoded.
請求項1に記載の符号化動画像データの復号装置において、
符号化側と同一サイズのブロックデータで動き補償予測を行ない、前記符号化側と同一のブロックサイズに逆離散コサイン変換された画像ブロックデータを動画像データに復元する手段と、
該復元された動画像データを前記動き補償予測のために蓄積する手段とを、さらに具備したことを特徴とする符号化動画像データの復号装置。
In the decoding apparatus of the encoded moving image data according to claim 1,
Means for performing motion compensation prediction with block data of the same size as the encoding side, and restoring the image block data subjected to inverse discrete cosine transform to the same block size as the encoding side into moving image data;
A decoding apparatus for encoded moving image data, further comprising means for storing the restored moving image data for the motion compensation prediction.
請求項3に記載の符号化動画像データの復号装置において、
面内符号化された画像と片方向予測符号化された画像のみを復号するようにしたことを特徴とする符号化動画像データの復号装置。
In the decoding apparatus of the encoded moving image data according to claim 3,
A decoding apparatus for encoded moving image data, wherein only an image subjected to in-plane encoding and an image subjected to one-way predictive encoding are decoded.
請求項3に記載の符号化動画像データの復号装置において、
前記符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換する手段と切替手段を介して接続された、符号化側と同一のブロックサイズで逆離散コサイン変換する手段をさらに具備し、
面内符号化画像は、前記符号化側と同一のブロックサイズで逆離散コサイン変換する手段で復号し、
該面内符号化画像以外の符号化画像は、前記符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換処理し、かつ前記動き補償予測をして復号するようにしたことを特徴とする符号化動画像データの復号装置。
In the decoding apparatus of the encoded moving image data according to claim 3,
Inverse discrete cosine transform with the same block size as the encoding side, connected via switching means and inverse transforming means using inverse discrete cosine transformation using a basis smaller than the discrete cosine transform basis on the encoding side Further comprising means for
In-plane encoded image is decoded by means of inverse discrete cosine transform with the same block size as the encoding side,
The encoded image other than the in-plane encoded image is subjected to inverse transform processing using inverse discrete cosine transform using a basis smaller than the discrete cosine transform basis on the encoding side, and decoded by performing the motion compensation prediction. An apparatus for decoding encoded moving image data, characterized in that:
請求項1ないし5のいずれかに記載の符号化動画像データの復号装置において、
前記逆量子化された離散コサイン変換係数を、符号化側の離散コサイン変換基底よりも小さな基底用の変換係数に変更する手段は、スケーリング処理手段であることを特徴とする符号化動画像データの復号装置。
In the decoding apparatus of the encoding moving image data in any one of Claim 1 thru | or 5,
The means for changing the inversely quantized discrete cosine transform coefficient to a transform coefficient for a base smaller than the discrete cosine transform base on the encoding side is a scaling processing means. Decoding device.
逆量子化された離散コサイン変換係数F(u,v)、下記の (1) または (2) 式により、符号化側の離散コサイン変換基底よりも小さく、かつDC成分のみの基底を含まない基底用の変換係数F’(u,v)に変更する工程と、
前記工程により変更された変換係数F’(u,v)を、水平方向、垂直方向の基底サイズがN/2 p1 、N/2 p2 基底を用いた逆離散コサイン変換を用いて逆変換する工程と、
該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する工程とを、
コンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
Figure 0003818484
F'(u,v)=F(u,v) /{(2p1/2)×(2p2/2)} …(2)
ここに、u、vはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標、p1、p2はそれぞれ水平方向、垂直方向の基底サイズを決定するパラメータ、N×Nは符号化側の離散コサイン変換の基底サイズである。
Inverse quantized discrete cosine transform coefficients F (u, v) and, by (1) or (2) below, smaller than the discrete cosine transform basis on the encoding side, and includes a base only the DC component Changing to a non-basic transform coefficient F ′ (u, v) ;
The transform coefficient F which is changed by the step '(u, v), is inversely transformed using a horizontal inverse discrete cosine transform base size in the vertical direction using a base of N / 2 p1, N / 2 p2 Process,
Converting the inverse discrete cosine transformed image data to the same size as the encoding side,
A computer-readable recording medium on which a program for causing a computer to execute is recorded.
Figure 0003818484
F ′ (u, v) = F (u, v) / {(2 p1 / 2 ) × (2 p2 / 2 )} (2)
Here, u and v are the coordinates of the discrete cosine transform coefficients in the horizontal direction and the vertical direction, p1 and p2 are parameters for determining the base sizes in the horizontal and vertical directions, respectively, and N × N is the discrete cosine transform on the encoding side. Is the base size of.
請求項7に記載された記録媒体において、
さらに、符号化側と同一サイズのブロックデータで動き補償予測を行なって動画像を復元する工程のプログラムを記録したコンピュータ読取り可能な記録媒体。
The recording medium according to claim 7,
Furthermore, a computer-readable recording medium on which a program for a process of restoring a moving image by performing motion compensation prediction using block data having the same size as that of the encoding side is recorded.
JP25755399A 1999-09-10 1999-09-10 Decoding apparatus and recording medium for encoded moving image data Expired - Fee Related JP3818484B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP25755399A JP3818484B2 (en) 1999-09-10 1999-09-10 Decoding apparatus and recording medium for encoded moving image data
US09/657,368 US7380015B1 (en) 1999-09-10 2000-09-07 Apparatus and method for compression-transmitting and decoding picture information and storage medium stored its control programs
US11/244,033 US7801969B2 (en) 1999-09-10 2005-10-06 Apparatus and method for compression-transmitting and decoding picture information and storage medium stored its control programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25755399A JP3818484B2 (en) 1999-09-10 1999-09-10 Decoding apparatus and recording medium for encoded moving image data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004341735A Division JP2005117681A (en) 2004-11-26 2004-11-26 Apparatus for decoding encoded dynamic image data and recording medium

Publications (2)

Publication Number Publication Date
JP2001086505A JP2001086505A (en) 2001-03-30
JP3818484B2 true JP3818484B2 (en) 2006-09-06

Family

ID=17307891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25755399A Expired - Fee Related JP3818484B2 (en) 1999-09-10 1999-09-10 Decoding apparatus and recording medium for encoded moving image data

Country Status (1)

Country Link
JP (1) JP3818484B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215406B (en) * 2011-07-15 2012-10-24 东南大学 DCT (Discrete Cosine Transformation)-based fast decoding method of segmented encoded signal

Also Published As

Publication number Publication date
JP2001086505A (en) 2001-03-30

Similar Documents

Publication Publication Date Title
JP5128976B2 (en) Apparatus and method for up-converting frame rate of restored frame
JP5086343B2 (en) Error reduction in inverse discrete cosine transform calculation
JP2673778B2 (en) Noise reduction device for video decoding
JP5259396B2 (en) Nonlinear prediction filter for hybrid video compression
JP2006157481A (en) Image coding apparatus and method thereof
JP4776505B2 (en) Image encoding device, image decoding device, and image processing program
JP3818484B2 (en) Decoding apparatus and recording medium for encoded moving image data
JP4559811B2 (en) Information processing apparatus and information processing method
JP2005287006A (en) Image processing method, image processing program, recording medium provided with image processing program recorded thereon, and image processing apparatus
JP2005502285A (en) Method and apparatus for encoding successive images
JP3695451B2 (en) Image size changing method and apparatus
US7099523B2 (en) Method and system for scaling a signal sample rate
JPWO2005125175A1 (en) Quantization table generation device, quantization table generation method, quantization table generation program, image compression device, image compression method, and image compression program
JP2005117681A (en) Apparatus for decoding encoded dynamic image data and recording medium
JP3326879B2 (en) Image signal converter
JP3709106B2 (en) Image compression and decompression device
US20050238241A1 (en) Image compression apparatus generating and using assistant images for deblocking processing and a method thereof
JP3235266B2 (en) Image enlargement device and image encoding / decoding device
JPH1188183A (en) Wavelet converter, its method, wavelet inverse converter, its method, image coder, its method, image decoder and its method
JP2004523989A (en) Method and apparatus for supporting and / or converting two image formats
JPH06209467A (en) Picture coding decoding device
JP5175813B2 (en) Encoding device, decoding device, and image processing program
JP2004214983A (en) Image processing method
JP2005354307A (en) Inverse quantizer and image decoder employing same
JP2001320587A (en) Data processor and data processing method, and recording medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060608

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120623

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150623

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees