JP4364422B2 - Video compression encoding method and decoding method thereof - Google Patents

Video compression encoding method and decoding method thereof Download PDF

Info

Publication number
JP4364422B2
JP4364422B2 JP2000368510A JP2000368510A JP4364422B2 JP 4364422 B2 JP4364422 B2 JP 4364422B2 JP 2000368510 A JP2000368510 A JP 2000368510A JP 2000368510 A JP2000368510 A JP 2000368510A JP 4364422 B2 JP4364422 B2 JP 4364422B2
Authority
JP
Japan
Prior art keywords
frame
key
encoding
decoding
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000368510A
Other languages
Japanese (ja)
Other versions
JP2002171527A (en
Inventor
杉本  隆
隆 土谷
礼子 澤
敏彦 日下部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2000368510A priority Critical patent/JP4364422B2/en
Publication of JP2002171527A publication Critical patent/JP2002171527A/en
Application granted granted Critical
Publication of JP4364422B2 publication Critical patent/JP4364422B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、動画像の圧縮符号化方法とその復号化方法に関し、特に監視映像などの時間的変化が少ない動画像に適した圧縮符号化方法とその復号化方法に関する。
【0002】
【従来の技術】
動画像の圧縮符号化方法には、DCT(Discrete Cosine Transform;離散コサイン変換)と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はMPEG(Moving Picture Experts Group)方式でも採用されている。通常、DCTは空間方向の冗長性を低下させるべくフレーム(静止画像)内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化(フレーム間符号化)は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してDCTや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【0003】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像(以下、キーフレームと呼ぶ。)に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図9を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームf1,f2,…が符号化器に順次入力するとする。図9に示すようにフレームfn(n=1,2,…)が入力すると(ST100)、ステップST101で当該入力フレームfnがキーフレームか否かが条件判定される。フレームfnがキーフレームである場合、ステップST102でフレーム内符号化処理が実行される。すなわち、当該フレームfnをブロックに分割して各ブロック毎にDCTを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップST103でその量子化係数を可変長符号化(エントロピ符号化)した符号化データが生成されビットストリームにされて出力される。また前記ステップST102で算出された量子化係数は、ステップST104で復号化(逆量子化および逆DCT)を施された後にキーフレームメモリ100に記憶される。
【0004】
次に、ステップST100で次のフレームfm(m=n+1)が入力すると、ステップST101でフレームfmがキーフレームか否かが条件判定され、フレームfmがキーフレームで無い場合はステップST105に処理が移行し、キーフレームメモリ100に記憶したキーフレームfnとフレームfmとの間でブロック単位で画素値の差分値が算出される。次いで、ステップST106でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップST107でフレーム間符号化、すなわちキーフレームと入力フレームfmとの間の差分信号に対してDCTおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップST108でフレーム内符号化が実行される。このようにステップST107,ST108で算出した量子化係数は、ステップST103で可変長符号化されビットストリームに変換後、出力される。
【0005】
このようなビットストリームの復号化処理の例を図10を参照しつつ以下に説明する。上記ビットストリームが入力すると(ST110)、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップST111において、その量子化係数が上記圧縮符号化処理のステップST102でフレーム内符号化されていた場合、その復号化(フレーム内復号化)を施されてキーフレームメモリ101に蓄積され、その量子化係数が上記ステップST108でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップST107でフレーム間符号化されていた場合は、キーフレームメモリ101に蓄積したキーフレームを参照してその復号化(フレーム間復号化)を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される(ST112)。
【0006】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生(ストリーミング)する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【0007】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法およびその復号化方法を提供する点にある。
【0008】
【課題を解決するための手段】
上記課題を解決するため、請求項1に係る発明は、順次入力する複数のフレームからなる動画像の圧縮符号化方法であって、(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化して記憶するステップと、(b)前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定するステップと、(c)前記特定領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行すると共に、圧縮符号化した特定領域を復号化して記憶するステップと、(d)前記ステップ(a)で記憶した前記キーフレームと前記ステップ(b)で分割した前記特定領域を除く前記各ブロック領域との間で差分信号を算出し該差分信号に基づいて前記キーフレームと前記各ブロック領域との差の大小を判別して、前記差が所定より大きい場合は当該ブロック領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、(e)前記ステップ(a)で新たなキーフレームが指定される迄、前記ステップ(b)〜(d)を繰り返し実行するステップと、を備え、更に、(c−1)前記ステップ(e)において記憶した前記ステップ(b)〜(d)を繰り返し実行する間、前記ステップ(c)において前記特定領域をフレーム1枚分蓄積して前記特定領域からなる参照フレームを生成するステップと、(a−1)前記ステップ(a)の圧縮符号化において、指定した前記キーフレームと前記参照フレームとの間で差分信号を算出し、該差分信号に基づいて前記キーフレームと前記参照フレームとの差の大小を判別し、前記差が所定より大きい場合は前記キーフレームに対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、を備えることを特徴とするものである。
【0009】
また請求項2に係る発明は、請求項1記載の圧縮符号化方法で符号化された圧縮画像データを復号化する復号化方法であって、(f)請求項1記載のキーフレームの圧縮画像データを復号化して記憶するステップと、(g)請求項1記載の特定領域の圧縮画像データを復号化すると共に記憶するステップと、(h)請求項1記載の特定領域を除く各ブロック領域の圧縮画像データに対して、当該圧縮画像データが請求項1記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項1記載のキーフレームを用いたフレーム間符号化を施されていた場合は前記ステップ(f)で記憶したキーフレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、を備え、更に、(g−1)前記ステップ(g)において記憶した特定領域をフレーム1枚分蓄積して前記特定領域からなる参照フレームを合成するステップと、(f−1)前記ステップ(f)において、前記キーフレームの圧縮画像データに対して、当該圧縮画像データが請求項1記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項1記載の参照フレームを用いたフレーム間符号化を施されていた場合は前記ステップ(g−1)で合成した参照フレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、を備えることを特徴とするものである。
【0010】
そして請求項3に係る発明は、請求項2記載の復号化方法であって、(i)前記ステップ(g)で復号化した特定領域と前記ステップ(f)で記憶したキーフレームとの間で差分信号を算出し、該差分信号に基づいて前記特定領域と前記キーフレームとの差の大小を判別して、前記差が所定より小さい場合は当該特定領域に対して請求項1記載のフレーム間符号化およびその復号化を実行するステップ、を備えるものである。
【0011】
【発明の実施の形態】
実施の形態1.
図1〜図3は、本発明の実施の形態1に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態1に係る圧縮符号化方法を以下に詳説する。
【0012】
CCD(電荷結合素子)センサやCMOSセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像(フレーム)f1,f2,f3,f4,…が本実施の形態1に係る符号化器に入力する(ST1)。尚、キーブロックメモリ2にはフレームf1が入力する前に、後に詳述するフレーム1枚分のキーGOBからなる参照フレームf0が格納されており、この参照フレームf0は後述する実施の形態2に係る復号化器のキーブロックメモリ11に圧縮伝送後、復号化されて格納されている。本実施の形態1の符号化器は入力フレームf1,f2,f3,f4,…の中から周期的にキーフレームを指定しており、入力フレームf1がキーフレームである。
【0013】
先ずステップST2でそのフレームf1はキーフレームか否かを条件判定される。フレームf1はキーフレームであるからステップST3に処理が移行し、図2に示すようにステップST4でキーブロックメモリ2に格納した参照フレームf0と入力フレームf1との間で画素値の差分値と、その差分値の絶対値和(差分絶対値和)Sが算出され、次いでステップST5で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔPi(i:各画素に対応する番号)で表現する時、差分絶対値和Sは、S=|ΔP1|+|ΔP2|+…+|ΔPn|(n:画素数)で表現される。差分絶対値和Sが閾値以下の場合は、両フレームf0,f1間の時間的な変化が小さいとして入力フレームf1はフレームf0を用いたフレーム間符号化を施される(ST6)。具体的には入力フレームf1とフレームf0との間の差分信号に対してDCT(離散コサイン変換)などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は8×8画素や16×16画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてDCTなどの直交変換を採用するが、DCTの代わりにDWT(離散ウェーブレット変換)を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【0014】
他方、ステップST5において上記ステップST4で算出した差分絶対値和Sが閾値を超える場合はステップST7に処理が移行し、入力フレームf1はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームf1の画素値に対してDCTなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【0015】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化(ST7)またはフレーム間符号化(ST6)を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「R(赤色成分)」,「G(緑色成分)」,「B(青色成分)」のRGB空間からなる場合は、これをNTSC(National Television System Committee)方式などで採用されているYUV座標系、YIQ座標系、YCbr座標系などを使用すればよい。例えば、YCbr座標系を使用した場合、そのRGB成分は輝度信号Yと2つの色差信号Cb,CrとからなるYCbr成分の座標系へと変換される。YCbr成分はRGB成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【0016】
次に図1に示すようにステップST19に処理が移行し、上記ステップST6,ST7で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法(フレーム内符号化、フレーム間符号化)などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップST6,ST7で算出された量子化係数はステップST8で局部復号化(逆量子化および逆DCTなどの逆直交変換)され、キーフレームメモリ1に格納される。よって、キーフレームメモリ1には符号化(ST6,ST7)と復号化(ST8)を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化(フレーム間復号化)の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームf1(キーフレーム)に対する圧縮符号化処理が終了する。
【0017】
次に、上記フレームf1に続いてフレームf2が符号化器に入力すると、ステップST2でそのフレームf2がキーフレームか否かが条件判定される。フレームf2はキーフレームでは無いからステップST9に処理が移行し、フレームf2は複数のブロック領域(以下、GOBと呼ぶ。)に分割され、次いでステップST9でこれらブロック領域(GOB)の中から単数または複数の特定領域(以下、キーGOBと呼ぶ。)が指定される。図4(a)に4個のGOBに分割されたフレームf2を模式的に示す。フレームf2は垂直方向に十数画素〜数十画素単位で4個のGOBに分割されており、その第1段目GOBがキーGOBに指定されている。図2(b)〜(d)に示すようにフレームf2に続いて符号化器に順次入力するフレームf3〜f5も複数のGOBに分割され、フレームf3の第2段目GOB、フレームf4の第3段目GOB、フレームf5の第4段目GOBがそれぞれキーGOBに指定される。図5に示すようにこのようなフレームf1〜f5は時間軸に沿って配列している。
【0018】
次にステップST11に処理が移行し、以後、フレームf2はGOBを更に8×8画素または16×16画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップST11では処理対象であるブロックがキーGOBに属するか否かが条件判定される。当該ブロックがキーGOBに属する場合、ステップST12で当該ブロックは上記フレーム内符号化を施された後に、ステップST19でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップST12でブロックをフレーム内符号化して出力される量子化係数は、ステップST13で局部復号化(逆量子化および逆DCTなどの逆直交変換)を施された後にキーブロックメモリ2に蓄積される。
【0019】
他方、上記ステップST11でブロックがキーGOBに属しない場合はステップST14のサブルーチンに処理が移行し、図3に示すようにステップST15で入力フレームの当該ブロックとキーフレームメモリ1に格納されたキーフレームとの差分値と、差分絶対値和Sとが算出される。次いでステップST16でその差分絶対値和Sが閾値以下か否かの条件判定がなされ、その差分絶対値和Sが閾値以下の場合はステップST17に処理が移行し、当該ブロックはキーフレームメモリ1に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Sが閾値を超えている場合はステップST18に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップST17,ST18で符号化された量子化係数は、図1に示すステップST19で可変長符号化(エントロピ符号化)と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームf2に対する圧縮符号化処理が終了する。
【0020】
次に上記フレームf2に続いて符号化器に入力するフレームf3,f4,…も、キーフレームが入力する迄はフレームf2の場合と同様に処理される。よって、上記ステップST13で復号化されたキーGOB1〜4がキーブロックメモリ2にフレーム1枚分蓄積され、図5に模式的に図示するようにキーGOB1〜4はキーブロックメモリ2で参照フレームAに合成される。この参照フレームAは、後に入力するキーフレームを上記ステップST3のサブルーチンでフレーム間符号化する際に利用される。
【0021】
このように本実施の形態1に係る圧縮符号化方法では、上記ステップST3でキーブロックメモリ2に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップST9,ST10で入力フレームを複数のGOBに分割してキーGOBを指定し、時間軸に沿った複数のフレームにフレーム1枚分のキーGOBを分散させ、これら各キーGOBがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【0022】
またキーブロックメモリ2では複数のフレームに分散された上記キーGOBが蓄積され、これらキーGOBからなる参照フレームAが構成される。この参照フレームAは異なる時刻のキーGOBの集積体である。本実施の形態1ではこの参照フレームAとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーGOBからなる参照フレームAを用いることに起因するGOB間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【0023】
実施の形態2.
次に、本発明の実施の形態2に係る復号化方法を以下に詳説する。図6は、本実施の形態2に係る復号化方法を実現するためのフローチャートである。
【0024】
上記実施の形態1で符号化した圧縮画像データはビットストリームとなって本実施の形態2に係る復号化器に入力する(ST20)。その圧縮画像データはそのビットストリームから分離された後にステップST21で復号化される。すなわち、上記符号化器から本実施の形態2に係る復号化器に上記フレームf1,f2,…の圧縮データが順次入力するから、ステップST21でキーフレームf1の圧縮データに対して、上記実施の形態1のステップST3のフレーム内符号化あるいはフレーム間符号化の復号化処理が8×8画素や16×16画素程度のブロック単位で施される。キーフレームf1の圧縮データを復号化する際、予めキーブロックメモリ11に格納した参照フレームf0が利用される。また復号化したキーフレームf1は、キーフレームメモリ10に格納される。
【0025】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームf2,f3,…の圧縮データに対して、上記実施の形態1のステップST12,ST14〜ST18におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ10に格納したキーフレームf1が利用される。またフレームf2,f3,…が復号化される際、基本処理単位であるブロックがキーGOBに属する場合は当該ブロックはキーブロックメモリ11に蓄積される。フレーム1枚分のキーGOBが蓄積されると、これらキーGOBからなる参照フレームAが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図4(a)〜(d)に示したフレームf2〜f5の圧縮データが復号化器に入力する場合、各キーGOBを構成するブロックの圧縮データはフレーム内復号化を施された後にキーブロックメモリ11に順次蓄積され、参照フレームAを再構成する。
【0026】
このようにステップST21で復号化したフレーム群f1,f2,…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したGOBとフレーム間符号化したGOBとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーGOBが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態2は図6に示すステップST22において、上記ステップST21で復号化したキーGOBのみを再び符号化した後に復号化するキーGOB再量子化処理を備えることが特徴である。
【0027】
図7は、キーGOB再量子化処理を示すフローチャートである。図7に示すように、先ず8×8画素または16×16画素程度のブロックが入力する(ST30)。次にそのブロックはステップST31でキーGOBに属するか否かを条件判定され、当該ブロックがキーGOBに属しない場合は当該ブロックは再量子化されず、キーGOB再量子化処理は終了し、図6に示すステップST23に処理が移行する。他方、当該ブロックがキーGOBに属する場合はステップST32に処理が移行し、キーフレームメモリ10に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Sとが算出される。次いでステップST33で、その差分絶対値和Sが閾値以下か否かの条件判定がなされ、差分絶対値和Sが閾値を超えた場合は当該ブロックは再量子化されず、キーGOB再量子化処理は終了し、図6に示すステップST23に処理が移行する。
【0028】
他方、上記ステップST33で差分絶対値和Sが閾値以下であると判定された場合はステップST34以後に処理が移行する。先ずステップST34において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップST35でその変換係数を量子化する。これらステップST33〜ST35の処理は、上記符号化器で行った差分絶対値和Sによる符号化方法(フレーム間符号化、フレーム内符号化)の判定処理(ST16)や、DCTなどの直交変換および量子化処理(ST17)と同じものである。その後、ステップST36でその量子化係数を逆量子化し、次いでステップST37で上記ステップST34の変換符号化の復号化(逆DCTなどの逆直交変換)を実行する。この結果、上記ステップST34〜ST37の処理に伴い、上記符号化器でキーGOB以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップST38でキーフレームメモリ10に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【0029】
以上のキーGOB再量子化処理を施されたブロックは、図6に示すステップST23においてフレーム(復号化画像)に合成された後に出力される。以上のキーGOB再量子化工程を図4に示したフレームf2〜f5を例に挙げて説明すると、図8に模式的に示すように、上記ステップST21で復号化されたフレームf2〜f5のキーGOBは、キーフレームメモリ10に格納したキーフレームとの差分をとられる。次に上記ステップST32でその差分値の差分絶対値和Sが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Sが閾値以下の場合はキーGOBに対してフレーム間符号化(変換符号化および量子化)が施され、次いでそのフレーム間符号化の復号化(逆量子化および逆変換復号化)が施されることで、上記フレームf2〜f5に対応する復号化画像F1〜F5が生成される。
【0030】
このように本実施の形態2によれば、上記実施の形態1に係る圧縮符号化処理(ST15〜ST17)と同様の手順で、キーGOBとキーフレームとの差が小ならば当該キーGOBとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーGOBを再構成するから、上記符号化器でキーGOB以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーGOBにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーGOBが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【0031】
【発明の効果】
以上の如く、本発明の請求項1に係る動画像の圧縮符号化方法によれば、上記キーフレームの後に入力するフレームを複数のブロック領域に分割しこれらブロック領域の中から特定領域(キーGOB)を指定し、フレーム内符号化されるその特定領域を時刻が異なる複数のフレームに分散できる。このためフレーム内符号化処理量を時間的に分散でき、圧縮符号化処理量の急激な増大が抑えられて符号化処理量を時間的に平坦化できる。また、上記ステップ(c−1)でその特定領域をフレーム1枚分蓄積した参照フレームを用いることに起因するブロック領域(GOB)間の画質の差は、上記ステップ(a−1)でキーフレームに対してフレーム内符号化とフレーム間符号化とを選択的に実行することで緩和することができる。従って、伝送先においては動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。
【0032】
また請求項2に係る動画像の復号化方法によれば、請求項1記載の圧縮符号化方法で符号化された圧縮画像データを復号化することが可能となる。
【0033】
そして請求項3によれば、請求項1記載のステップ(d)でキーブロック以外のブロック領域にフレーム間符号化を施したのと同様に特定領域にフレーム間符号化を施し、その後その復号化を行うから、復号化した動画像を表示する際に特定領域が動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る符号化方法を実現するフローチャートである。
【図2】実施の形態1に係る符号化方法を実現するフローチャートである。
【図3】実施の形態1に係る符号化方法を実現するフローチャートである。
【図4】4つのブロック領域に分割された各フレームを示す説明図である。
【図5】実施の形態1に係る符号化方法を説明するための模式図である。
【図6】本発明の実施の形態2に係る復号化方法を実現するフローチャートである。
【図7】実施の形態2に係る再量子化処理を説明するためのフローチャートである。
【図8】実施の形態2に係る復号化方法を説明するための模式図である。
【図9】従来の符号化方法を説明するためのフローチャートである。
【図10】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
1 キーフレームメモリ
2 キーブロックメモリ
10 キーフレームメモリ
11 キーブロックメモリ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image compression encoding method and a decoding method thereof, and more particularly, to a compression encoding method and a decoding method thereof suitable for a moving image with little temporal change such as surveillance video.
[0002]
[Prior art]
As a compression encoding method of moving images, a method combining DCT (Discrete Cosine Transform) and motion compensation prediction encoding is generally used, and this method is also adopted in the MPEG (Moving Picture Experts Group) method. ing. In general, DCT is applied to intra-frame coding in which coding is performed using only information in a frame (still image) so as to reduce redundancy in the spatial direction. In addition, motion compensation predictive coding (interframe coding) predicts a coding target frame from a frame at another time in order to reduce temporal redundancy, and a difference signal between the coding target frame and the predicted frame. Is subjected to DCT, quantization, or the like. In this case, in order to keep the difference small, the encoding target frame is often predicted from temporally adjacent frames. Such intra-frame coding and motion-compensated prediction coding processes are performed with a block obtained by dividing a frame into a plurality of basic processing units.
[0003]
However, in a moving image such as a monitoring video that has an extremely small temporal change, an input frame is periodically set as a reference image (hereinafter referred to as a key frame), and the interval between the key frame and the input frame is set. Even if a differential encoding method that takes a differential signal is used, it is considered that the difference amount between both frames is small. This method has advantages such as a reduction in calculation load and resistance to errors caused by missing frames, as compared with the above-described motion compensation prediction encoding using adjacent frames. The outline of the conventional differential encoding method will be described with reference to FIG. Assume that a plurality of frames f1, f2,... Sequentially output from the imaging sensor are sequentially input to the encoder. As shown in FIG. 9, when a frame fn (n = 1, 2,...) Is input (ST100), whether or not the input frame fn is a key frame is determined in step ST101. If the frame fn is a key frame, intra-frame encoding processing is executed in step ST102. That is, the frame fn is divided into blocks, DCT is performed for each block, and the transform coefficient is calculated. Next, a quantized coefficient obtained by quantizing the transform coefficient is output. Next, in step ST103, encoded data obtained by variable-length encoding (entropy encoding) the quantization coefficient is generated, converted into a bit stream, and output. The quantization coefficient calculated in step ST102 is stored in the key frame memory 100 after being decoded (inverse quantization and inverse DCT) in step ST104.
[0004]
Next, when the next frame fm (m = n + 1) is input in step ST100, whether or not the frame fm is a key frame is determined in step ST101. If the frame fm is not a key frame, the process proceeds to step ST105. Then, the difference value of the pixel value is calculated for each block between the key frame fn and the frame fm stored in the key frame memory 100. Next, in step ST106, it is determined whether or not the difference value is within a predetermined range. If the difference value is within the predetermined range, inter-frame encoding is performed in step ST107, that is, the difference between the key frame and the input frame fm. The signal is subjected to DCT and quantization. On the other hand, if the difference value exceeds the predetermined range, intra-frame coding is executed in step ST108. As described above, the quantization coefficients calculated in steps ST107 and ST108 are variable-length encoded in step ST103, converted into a bit stream, and then output.
[0005]
An example of such a bitstream decoding process will be described below with reference to FIG. When the bit stream is input (ST110), a compression-coded signal is extracted from the bit stream and subjected to variable length decoding to obtain the quantization coefficient. Next, in step ST111, when the quantized coefficient has been intra-frame encoded in step ST102 of the compression encoding process, the decoding (intra-frame decoding) is performed and stored in the key frame memory 101, If the quantized coefficient has been intra-coded in step ST108, the decoding is performed. On the other hand, if the quantized coefficient has been inter-frame encoded at step ST107, the decoding (inter-frame decoding) is performed with reference to the key frame stored in the key frame memory 101. Then, a decoded image that has been decoded within a frame or between frames is output (ST112).
[0006]
[Problems to be solved by the invention]
However, in the above differential encoding method, since the differential encoding between the key frame and the frame separated in time is performed, the image quality of the key frame is directly related to the image quality of the entire moving image. The key frame is subjected to intra-frame coding in which compression coding is performed using only the information in the frame. As a result, there has been a problem in that the amount of moving picture encoding processing increases rapidly during key frame encoding, and transmission of key frame compressed encoded data is delayed or intermittent. Particularly when moving images are transmitted and reproduced (streamed) in real time through a network, there are cases in which a change in the reproduction speed of the decoded moving images and intermittent images occur.
[0007]
In view of such problems, the present invention intends to solve the problem of suppressing the rapid increase in the amount of encoding processing of key frames, flattening the amount of encoding processing in terms of time, and improving the quality of moving images. The present invention is to provide a compression encoding method and a decoding method for a moving image.
[0008]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 is a compression encoding method of a moving image composed of a plurality of frames that are sequentially input, wherein (a) compression is performed by designating a key frame from the plurality of frames. A step of decoding and storing the compression-encoded key frame, and (b) dividing the frame input after the key frame into a plurality of block areas and selecting a specific area from the block areas. (C) performing intra-frame coding for compressing and encoding only the information in the frame with respect to the specific area, decoding and storing the compression-coded specific area, and (d) ) A difference signal is calculated between the key frame stored in step (a) and each block area excluding the specific area divided in step (b). An intra-frame code that determines the magnitude of the difference between the key frame and each block area based on a difference signal, and compresses and encodes only the information in the frame for the block area when the difference is greater than a predetermined value And if the difference is smaller than a predetermined value, performing inter-frame encoding for compressing and encoding the difference signal; and (e) until a new key frame is designated in step (a). Repeatedly executing the steps (b) to (d), and (c-1) while repeatedly executing the steps (b) to (d) stored in the step (e). A step of accumulating the specific area for one frame in step (c) to generate a reference frame comprising the specific area; and (a-1) the compression encoding of step (a). Then, a difference signal is calculated between the specified key frame and the reference frame, and a difference between the key frame and the reference frame is determined based on the difference signal, and the difference is larger than a predetermined value. If the difference is smaller than a predetermined value, intra-frame encoding for compressing and encoding the difference signal is performed for the key frame. These are provided.
[0009]
The invention according to claim 2 is a decoding method for decoding compressed image data encoded by the compression encoding method according to claim 1, and (f) a compressed image of a key frame according to claim 1. A step of decoding and storing the data; (g) a step of decoding and storing the compressed image data of the specific region according to claim 1; and (h) a block region of each block region excluding the specific region according to claim 1 If the compressed image data has been subjected to the intra-frame coding described in claim 1, the decoding corresponding to the intra-frame coding is executed, and the compressed image data is claimed in claim 1. A step of performing decoding corresponding to the inter-frame encoding with reference to the key frame stored in the step (f) when inter-frame encoding using the described key frame has been performed, and And (g-1) accumulating the specific area stored in the step (g) for one frame to synthesize a reference frame composed of the specific area, and (f-1) the step (f). If the compressed image data of the key frame is subjected to the intra-frame encoding according to claim 1, the decoding corresponding to the intra-frame encoding is executed, and the compressed image data is compressed. If the image data has been subjected to inter-frame encoding using the reference frame according to claim 1, the decoding corresponding to the inter-frame encoding is performed with reference to the reference frame synthesized in step (g-1). And the step of executing.
[0010]
The invention according to claim 3 is the decryption method according to claim 2, wherein (i) between the specific region decrypted in step (g) and the key frame stored in step (f). The difference signal is calculated, and the difference between the specific area and the key frame is determined based on the difference signal. If the difference is smaller than a predetermined value, the difference between the frames according to claim 1 is determined for the specific area. Performing encoding and decoding thereof.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
1 to 3 are flowcharts for realizing the compression coding method according to Embodiment 1 of the present invention. The compression encoding method according to the first embodiment will be described in detail below with reference to this flowchart.
[0012]
A plurality of still images (frames) f1, f2, f3, f4,... Sequentially captured along the time axis by an image sensor such as a CCD (charge coupled device) sensor or a CMOS sensor are encoders according to the first embodiment. (ST1). The key block memory 2 stores a reference frame f0 composed of a key GOB for one frame, which will be described in detail later, before the frame f1 is input. This reference frame f0 is described in the second embodiment to be described later. After being compressed and transmitted, it is decrypted and stored in the key block memory 11 of the decoder. The encoder according to the first embodiment periodically designates key frames from the input frames f1, f2, f3, f4,..., And the input frame f1 is a key frame.
[0013]
First, in step ST2, it is determined whether or not the frame f1 is a key frame. Since the frame f1 is a key frame, the process proceeds to step ST3. As shown in FIG. 2, the difference value of the pixel value between the reference frame f0 and the input frame f1 stored in the key block memory 2 in step ST4, An absolute value sum (difference absolute value sum) S of the difference values is calculated, and then it is determined in step ST5 whether or not the difference absolute value sum is equal to or less than a threshold value. For example, the difference value is ΔP i When expressed by (i: number corresponding to each pixel), the sum of absolute differences S is S = | ΔP 1 | + | ΔP 2 | + ... + | ΔP n | (N: number of pixels). When the difference absolute value sum S is equal to or smaller than the threshold, the input frame f1 is subjected to interframe coding using the frame f0 because the temporal change between the frames f0 and f1 is small (ST6). Specifically, an orthogonal transform such as DCT (Discrete Cosine Transform) is performed on the difference signal between the input frame f1 and the frame f0, and a quantized coefficient obtained by quantizing the transform coefficient is calculated. Further, such inter-frame coding processing is executed in units of blocks having a size such as 8 × 8 pixels or 16 × 16 pixels. The same applies to the subsequent processing. In this embodiment, orthogonal transform such as DCT is adopted as a transform method, but DWT (discrete wavelet transform) may be employed instead of DCT. In this case, the inter-frame encoding process may be executed in units of frames instead of being performed in units of blocks as described above in consideration of an execution memory capacity or the like, or by dividing a frame into a plurality of areas called tiles.
[0014]
On the other hand, when the difference absolute value sum S calculated in step ST4 exceeds the threshold value in step ST5, the process proceeds to step ST7, and the input frame f1 is subjected to intraframe encoding that encodes only the information in the frame. The Specifically, orthogonal transformation such as DCT is performed on the pixel value of the frame f1, and a quantized coefficient obtained by quantizing the transform coefficient is calculated.
[0015]
From the viewpoint of increasing the compression rate of the frame, color space conversion is performed on the input frame before the intra-frame coding (ST7) or the inter-frame coding (ST6). For example, when the original signal is composed of RGB spaces of “R (red component)”, “G (green component)”, and “B (blue component)”, this is adopted in the NTSC (National Television System Committee) system or the like. YUV coordinate system, YIQ coordinate system, YC b C r A coordinate system or the like may be used. For example, YC b C r When a coordinate system is used, the RGB components are a luminance signal Y and two color difference signals C. b , C r YC consisting of b C r Converted to the component coordinate system. YC b C r Since the component has a smaller correlation between the components than the RGB component, the image size can be compressed.
[0016]
Next, as shown in FIG. 1, the process proceeds to step ST19, and the quantized coefficients calculated in steps ST6 and ST7 are subjected to entropy coding including Huffman coding, and then the image size and quantization of the frame It is multiplexed with image information such as the number of bits, and compression information such as a quantization table and a coding method (intraframe coding, interframe coding) of each block area, and output as a bit stream. The quantized coefficients calculated in steps ST6 and ST7 are locally decoded (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST8 and stored in the key frame memory 1. Therefore, the key frame memory 1 stores the changed key frame including the quantization error through encoding (ST6, ST7) and decoding (ST8). As a result, the image of the key frame becomes the same as the image of the key frame that is referred to when decoding (inter-frame decoding) by a later-described decoder, and the image quality of the moving image to be decoded is not deteriorated. . The compression encoding process for the input frame f1 (key frame) is thus completed.
[0017]
Next, when the frame f2 is input to the encoder following the frame f1, whether or not the frame f2 is a key frame is determined in step ST2. Since the frame f2 is not a key frame, the process shifts to step ST9, and the frame f2 is divided into a plurality of block areas (hereinafter referred to as GOB), and then in step ST9, one or more of these block areas (GOB) are selected. A plurality of specific areas (hereinafter referred to as key GOB) are designated. FIG. 4A schematically shows a frame f2 divided into four GOBs. The frame f2 is divided into four GOBs in units of ten to several tens of pixels in the vertical direction, and the first stage GOB is designated as the key GOB. As shown in FIGS. 2B to 2D, the frames f3 to f5 sequentially input to the encoder following the frame f2 are also divided into a plurality of GOBs, and the second stage GOB of the frame f3 and the frames f4 The third stage GOB and the fourth stage GOB of the frame f5 are designated as the key GOB. As shown in FIG. 5, such frames f1 to f5 are arranged along the time axis.
[0018]
Next, the process proceeds to step ST11, and thereafter, the frame f2 is sequentially processed for each block obtained by further dividing the GOB into basic processing units of about 8 × 8 pixels or 16 × 16 pixels. In step ST11, it is determined whether or not the block to be processed belongs to the key GOB. If the block belongs to the key GOB, the block is subjected to the intra-frame coding in step ST12 and then entropy-coded in step ST19 and multiplexed with the image information and the compression information to form a bit stream. Is output. In addition, the quantization coefficient output by intra-frame encoding the block in step ST12 is stored in the key block memory 2 after being subjected to local decoding (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST13. The
[0019]
On the other hand, if the block does not belong to the key GOB in step ST11, the process proceeds to a subroutine of step ST14, and the block of the input frame and the key frame stored in the key frame memory 1 are stored in step ST15 as shown in FIG. And a difference absolute value sum S are calculated. Next, in step ST16, a condition determination is made as to whether or not the difference absolute value sum S is less than or equal to the threshold value. If the difference absolute value sum S is less than or equal to the threshold value, the process proceeds to step ST17, and the block is stored in the key frame memory 1. The inter-frame coding is performed with reference to the stored key frame. On the other hand, when the difference absolute value sum S exceeds the threshold value, the process proceeds to step ST18, and the block is subjected to the intra-frame coding. Thus, the quantized coefficients encoded in steps ST17 and ST18 are subjected to variable length encoding (entropy encoding) and the multiplexing process in step ST19 shown in FIG. 1, and are output as a bit stream. . Thus, the compression encoding process for the input frame f2 is completed.
[0020]
Next, the frames f3, f4,... Input to the encoder subsequent to the frame f2 are processed in the same manner as in the case of the frame f2 until the key frame is input. Accordingly, the keys GOB1 to 4 decrypted in step ST13 are stored in the key block memory 2 for one frame, and the keys GOB1 to 4 are stored in the key block memory 2 as shown in FIG. Is synthesized. This reference frame A is used when a key frame to be input later is inter-frame encoded in the subroutine of step ST3.
[0021]
As described above, in the compression coding method according to the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference from the reference frame stored in the key block memory 2 in step ST3. In steps ST9 and ST10, the input frame is divided into a plurality of GOBs, a key GOB is designated, and a key GOB for one frame is distributed over a plurality of frames along the time axis. GOB is intra-coded. For this reason, the intraframe encoding processing amount is dispersed in time, the rapid increase in the compression encoding processing amount is suppressed, the encoding processing amount is flattened in time, and the playback speed of the moving image at the transmission destination As a result, it is possible to compress and transmit a high-quality moving image without changing. In particular, the effect is exhibited in a transmission line with a limited bandwidth such as the Internet.
[0022]
In the key block memory 2, the key GOB distributed in a plurality of frames is stored, and a reference frame A composed of these keys GOB is formed. This reference frame A is an accumulation of key GOBs at different times. In the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference between the reference frame A and the key frame. For this reason, the difference in image quality between GOBs resulting from the use of the reference frame A made up of the key GOBs at different times is alleviated, and it becomes possible to compress and transmit high-quality moving images.
[0023]
Embodiment 2. FIG.
Next, the decoding method according to Embodiment 2 of the present invention will be described in detail below. FIG. 6 is a flowchart for realizing the decoding method according to the second embodiment.
[0024]
The compressed image data encoded in the first embodiment is converted into a bit stream and input to the decoder according to the second embodiment (ST20). The compressed image data is separated from the bit stream and then decoded in step ST21. That is, since the compressed data of the frames f1, f2,... Are sequentially input from the encoder to the decoder according to the second embodiment, the above-described embodiment is applied to the compressed data of the key frame f1 in step ST21. The decoding process of intra-frame coding or inter-frame coding in step ST3 of the form 1 is performed in units of blocks of about 8 × 8 pixels or 16 × 16 pixels. When decrypting the compressed data of the key frame f1, the reference frame f0 stored in advance in the key block memory 11 is used. The decrypted key frame f1 is stored in the key frame memory 10.
[0025]
In addition, intraframe coding or interframe coding in steps ST12 and ST14 to ST18 of the first embodiment is applied to the compressed data of frames f2, f3,. Decoding processing is performed for each block. When performing decoding processing of interframe coding, the key frame f1 stored in the key frame memory 10 is used. When the frames f2, f3,... Are decoded, if the block that is the basic processing unit belongs to the key GOB, the block is stored in the key block memory 11. When the key GOB for one frame is accumulated, the reference frame A composed of these keys GOB is synthesized and used for decoding the compressed data of the key frame to be input to the decoder later. For example, when the compressed data of the frames f2 to f5 shown in FIGS. 4A to 4D are input to the decoder, the compressed data of the blocks constituting each key GOB is subjected to intra-frame decoding. The reference frame A is reconstructed by sequentially accumulating in the key block memory 11.
[0026]
In this way, when the frame groups f1, f2,... Decoded in step ST21 are displayed as a moving image, the image quality of the moving image between the GOB that has been intra-frame encoded by the encoder and the GOB that has been inter-frame encoded. The key GOB encoded in the frame may be clearly seen in the moving image. In order to prevent such a case, the second embodiment includes a key GOB requantization process in which only the key GOB decrypted in step ST21 is re-encoded and decrypted in step ST22 shown in FIG. It is.
[0027]
FIG. 7 is a flowchart showing the key GOB requantization process. As shown in FIG. 7, first, a block of about 8 × 8 pixels or 16 × 16 pixels is input (ST30). Next, in step ST31, it is determined whether or not the block belongs to the key GOB. If the block does not belong to the key GOB, the block is not requantized, and the key GOB requantization processing ends. The process moves to step ST23 shown in FIG. On the other hand, if the block belongs to the key GOB, the process proceeds to step ST32, the difference value between the key frame stored in the key frame memory 10 and the pixel value of the block, and the difference absolute value sum S of the difference values. And are calculated. Next, in step ST33, a condition determination is made as to whether or not the difference absolute value sum S is equal to or smaller than a threshold value. If the difference absolute value sum S exceeds the threshold value, the block is not requantized, and key GOB requantization processing is performed. Is completed, and the process proceeds to step ST23 shown in FIG.
[0028]
On the other hand, if it is determined in step ST33 that the sum of absolute differences S is equal to or less than the threshold, the process proceeds after step ST34. First, in step ST34, the difference signal between the block and the key frame is transform-coded, and then in step ST35, the transform coefficient is quantized. The processes of these steps ST33 to ST35 are performed by a determination process (ST16) of an encoding method (interframe encoding, intraframe encoding) based on the sum of absolute differences S performed by the encoder, orthogonal transformation such as DCT, This is the same as the quantization process (ST17). After that, in step ST36, the quantized coefficient is inversely quantized, and then in step ST37, transform coding decoding (inverse orthogonal transform such as inverse DCT) in step ST34 is performed. As a result, in accordance with the processing in steps ST34 to ST37, the quantization error is the same as when the block signal other than the key GOB is interframe-encoded by the encoder and the encoded signal is decoded by the decoder. An irreversible differential signal including is obtained. Next, a block is reconstructed from the difference signal using the key frame stored in the key frame memory 10 in step ST38 and output.
[0029]
The block subjected to the above key GOB requantization processing is output after being combined with a frame (decoded image) in step ST23 shown in FIG. The above key GOB requantization process will be described by taking the frames f2 to f5 shown in FIG. 4 as an example. As schematically shown in FIG. 8, the keys of the frames f2 to f5 decrypted in step ST21 described above are used. The difference between the GOB and the key frame stored in the key frame memory 10 is taken. Next, in step ST32, it is determined whether or not the difference absolute value sum S of the difference values is equal to or less than a threshold value, that is, whether or not to perform interframe encoding. If the difference absolute value sum S is equal to or less than the threshold value, the key GOB is determined. On the other hand, interframe coding (transform coding and quantization) is performed on the frames, and then decoding of the interframe coding (dequantization and inverse transform decoding) is performed on the frames f2 to f5. Corresponding decoded images F1 to F5 are generated.
[0030]
As described above, according to the second embodiment, if the difference between the key GOB and the key frame is small in the same procedure as the compression coding processing (ST15 to ST17) according to the first embodiment, the key GOB After compressing and encoding the difference signal from the key frame, the decoding is performed and the key GOB is reconstructed. Therefore, the block area other than the key GOB is inter-frame encoded by the encoder and decoded. In the same manner as when the encoded signal is decoded by the coder, the key GOB is mixed with inter-frame encoding and an error associated with the decoding. Therefore, when displaying the decoded moving image, the key GOB does not stand out in the moving image, and there is an effect that the person watching the moving image does not feel uncomfortable.
[0031]
【The invention's effect】
As described above, according to the moving picture compression encoding method according to claim 1 of the present invention, the frame input after the key frame is divided into a plurality of block areas, and a specific area (key GOB) is selected from these block areas. ) Can be specified, and the specific area to be intra-frame encoded can be distributed to a plurality of frames at different times. For this reason, the intra-frame encoding processing amount can be dispersed in time, the rapid increase in the compression encoding processing amount can be suppressed, and the encoding processing amount can be flattened in time. Further, the difference in image quality between the block areas (GOB) caused by using the reference frame in which the specific area is stored for one frame in step (c-1) is the key frame in step (a-1). On the other hand, it can be mitigated by selectively executing intra-frame coding and inter-frame coding. Therefore, at the transmission destination, it is possible to compress and transmit a high quality moving image without changing the reproduction speed of the moving image.
[0032]
According to the moving image decoding method of the second aspect, it is possible to decode the compressed image data encoded by the compression encoding method of the first aspect.
[0033]
According to claim 3, the inter-frame coding is applied to the specific area in the same manner as the inter-frame coding is applied to the block area other than the key block in step (d) according to claim 1, and then the decoding is performed. Therefore, when displaying the decoded moving image, the specific region is not conspicuous in the moving image, and there is an effect that the viewer does not feel uncomfortable.
[Brief description of the drawings]
FIG. 1 is a flowchart for realizing an encoding method according to Embodiment 1 of the present invention;
FIG. 2 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 3 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 4 is an explanatory diagram showing each frame divided into four block areas.
5 is a schematic diagram for explaining an encoding method according to Embodiment 1. FIG.
FIG. 6 is a flowchart for realizing a decoding method according to Embodiment 2 of the present invention;
FIG. 7 is a flowchart for explaining requantization processing according to the second embodiment;
FIG. 8 is a schematic diagram for explaining a decoding method according to the second embodiment.
FIG. 9 is a flowchart for explaining a conventional encoding method.
FIG. 10 is a flowchart for explaining a conventional decoding method.
[Explanation of symbols]
1 Key frame memory
2 Key block memory
10 Key frame memory
11 Key block memory

Claims (3)

順次入力する複数のフレームからなる動画像の圧縮符号化方法であって、
(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化して記憶するステップと、
(b)前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定するステップと、
(c)前記特定領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行すると共に、圧縮符号化した特定領域を復号化して記憶するステップと、
(d)前記ステップ(a)で記憶した前記キーフレームと前記ステップ(b)で分割した前記特定領域を除く前記各ブロック領域との間で差分信号を算出し該差分信号に基づいて前記キーフレームと前記各ブロック領域との差の大小を判別して、前記差が所定より大きい場合は当該ブロック領域に対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、
(e)前記ステップ(a)で新たなキーフレームが指定される迄、前記ステップ(b)〜(d)を繰り返し実行するステップと、
を備え、更に、
(c−1)前記ステップ(e)において前記ステップ(b)〜(d)を繰り返し実行する間、前記ステップ(c)において記憶した前記特定領域をフレーム1枚分蓄積して前記特定領域からなる参照フレームを生成するステップと、
(a−1)前記ステップ(a)の圧縮符号化において、指定した前記キーフレームと前記参照フレームとの間で差分信号を算出し、該差分信号に基づいて前記キーフレームと前記参照フレームとの差の大小を判別し、前記差が所定より大きい場合は前記キーフレームに対してフレーム内の情報のみで圧縮符号化するフレーム内符号化を実行し、前記差が所定より小さい場合は前記差分信号を圧縮符号化するフレーム間符号化を実行するステップと、
を備えることを特徴とする動画像の圧縮符号化方法。
A method for compressing and encoding a moving image composed of a plurality of frames that are sequentially input,
(A) specifying and compressing and encoding a key frame from the plurality of frames, and decoding and storing the compressed and encoded key frame;
(B) dividing a frame input after the key frame into a plurality of block areas and designating a specific area from the block areas;
(C) performing intra-frame coding for compressing and coding only the information in the frame for the specific area, and decoding and storing the compression-coded specific area;
(D) A difference signal is calculated between the key frame stored in step (a) and each block area excluding the specific area divided in step (b), and the key frame is calculated based on the difference signal. When the difference is larger than a predetermined value, intra-frame coding is performed on the block area using only the information in the frame. Performing inter-frame coding for compressing and coding the difference signal if smaller than a predetermined value;
(E) repeatedly executing steps (b) to (d) until a new key frame is designated in step (a);
In addition,
(C-1) While the steps (b) to (d) are repeatedly executed in the step (e), the specific area stored in the step (c) is accumulated for one frame, and consists of the specific area. Generating a reference frame;
(A-1) In the compression encoding in the step (a), a difference signal is calculated between the designated key frame and the reference frame, and the key frame and the reference frame are calculated based on the difference signal. If the difference is larger than a predetermined value, intra-frame coding is performed on the key frame using only the information in the frame, and if the difference is smaller than the predetermined value, the difference signal is determined. Performing inter-frame encoding to compress-encode
A method for compressing and encoding a moving image, comprising:
請求項1記載の圧縮符号化方法で符号化された圧縮画像データを復号化する復号化方法であって、
(f)請求項1記載のキーフレームの圧縮画像データを復号化して記憶するステップと、
(g)請求項1記載の特定領域の圧縮画像データを復号化すると共に記憶するステップと、
(h)請求項1記載の特定領域を除く各ブロック領域の圧縮画像データに対して、当該圧縮画像データが請求項1記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項1記載のキーフレームを用いたフレーム間符号化を施されていた場合は前記ステップ(f)で記憶したキーフレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、
を備え、更に、
(g−1)前記ステップ(g)において記憶した特定領域をフレーム1枚分蓄積して前記特定領域からなる参照フレームを合成するステップと、
(f−1)前記ステップ(f)において、前記キーフレームの圧縮画像データに対して、当該圧縮画像データが請求項1記載のフレーム内符号化を施されていた場合は当該フレーム内符号化に対応する復号化を実行し、当該圧縮画像データが請求項1記載の参照フレームを用いたフレーム間符号化を施されていた場合は前記ステップ(g−1)で合成した参照フレームを参照して当該フレーム間符号化に対応する復号化を実行するステップと、
を備えることを特徴とする復号化方法。
A decoding method for decoding compressed image data encoded by the compression encoding method according to claim 1, comprising:
(F) decoding and storing the compressed image data of the key frame according to claim 1;
(G) decoding and storing the compressed image data of the specific area according to claim 1;
(H) For the compressed image data of each block area excluding the specific area described in claim 1, when the compressed image data is subjected to the intra-frame encoding described in claim 1, the intra-frame encoding is performed. If corresponding compressed image data is subjected to inter-frame encoding using the key frame according to claim 1, the frame is referred to by referring to the key frame stored in step (f). Performing decoding corresponding to inter-coding;
In addition,
(G-1) accumulating the specific area stored in the step (g) for one frame to synthesize a reference frame composed of the specific area;
(F-1) In the step (f), when the compressed image data of the key frame is subjected to the intra-frame encoding according to claim 1, the intra-frame encoding is performed. If corresponding compressed image data is subjected to interframe coding using the reference frame according to claim 1, refer to the reference frame synthesized in step (g-1). Performing decoding corresponding to the inter-frame coding;
A decoding method comprising:
請求項2記載の復号化方法であって、
(i)前記ステップ(g)で復号化した特定領域と前記ステップ(f)で記憶したキーフレームとの間で差分信号を算出し、該差分信号に基づいて前記特定領域と前記キーフレームとの差の大小を判別して、前記差が所定より小さい場合は当該特定領域に対して請求項1記載のフレーム間符号化およびその復号化を実行するステップ、を備える復号化方法。
A decoding method according to claim 2, comprising:
(I) A difference signal is calculated between the specific region decoded in step (g) and the key frame stored in step (f), and the specific region and the key frame are calculated based on the difference signal. A decoding method comprising: discriminating a magnitude of a difference, and executing the interframe coding and the decoding thereof according to claim 1 for the specific region when the difference is smaller than a predetermined value.
JP2000368510A 2000-12-04 2000-12-04 Video compression encoding method and decoding method thereof Expired - Fee Related JP4364422B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000368510A JP4364422B2 (en) 2000-12-04 2000-12-04 Video compression encoding method and decoding method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000368510A JP4364422B2 (en) 2000-12-04 2000-12-04 Video compression encoding method and decoding method thereof

Publications (2)

Publication Number Publication Date
JP2002171527A JP2002171527A (en) 2002-06-14
JP4364422B2 true JP4364422B2 (en) 2009-11-18

Family

ID=18838727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000368510A Expired - Fee Related JP4364422B2 (en) 2000-12-04 2000-12-04 Video compression encoding method and decoding method thereof

Country Status (1)

Country Link
JP (1) JP4364422B2 (en)

Also Published As

Publication number Publication date
JP2002171527A (en) 2002-06-14

Similar Documents

Publication Publication Date Title
JP4991699B2 (en) Scalable encoding and decoding methods for video signals
JP3163830B2 (en) Image signal transmission method and apparatus
JPH07123447A (en) Method and device for recording image signal, method and device for reproducing image signal, method and device for encoding image signal, method and device for decoding image signal and image signal recording medium
JP2004517569A (en) Switching between bit streams in video transmission
JPH09298735A (en) Compression coder with scramble and its expansion reproduction device
US7221761B1 (en) Error resilient digital video scrambling
US20010038669A1 (en) Precise bit control apparatus with look-ahead for mpeg encoding
JPH0879766A (en) Moving image coding method and moving image coder
JP4451023B2 (en) Moving picture decoding method and program thereof
JP4458712B2 (en) High speed playback method of surveillance video and program thereof
JP4721028B2 (en) Moving image distribution system, moving image distribution method and program thereof
JP4599609B2 (en) Image compression encoding method, image distribution method, and program thereof
JP3927422B2 (en) Moving picture transmission / reception system, moving picture transmission / reception method, and programs thereof
JP4944792B2 (en) Image encoding method, image decoding method, image encoding device, and image decoding device
JP4364422B2 (en) Video compression encoding method and decoding method thereof
JP4789127B2 (en) Image distribution method, image recording method, and program thereof
JP3568392B2 (en) Video decoding device
JP4451022B2 (en) Image delivery method, image decoding method, and program thereof
JP4706072B2 (en) Image processing system, moving image compression encoding method, moving image decoding method, and programs thereof
KR100734141B1 (en) Method and Apparatus for a Temporal ? Spatial Scalable Encoding/Decoding Based on Multiple Reference Frames
JP4736233B2 (en) Moving image reverse playback method, fast forward playback method, fast forward search method, and programs thereof
JPH11289515A (en) Picture signal processor and its method, picture signal recorder and its method and recording medium
JP3935667B2 (en) Measuring video image activity by filtering DCT and prediction error coefficients
JP4211023B2 (en) Moving image processing method and moving image processing apparatus
JP2006050491A (en) Multichannel image codec apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150828

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees