JP4451023B2

JP4451023B2 - Moving picture decoding method and program thereof

Info

Publication number: JP4451023B2
Application number: JP2001170574A
Authority: JP
Inventors: 博仁真瀬; 稔浩佐藤; 真人松本; 秀和田中
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2001-06-06
Filing date: 2001-06-06
Publication date: 2010-04-14
Anticipated expiration: 2021-06-06
Also published as: JP2002369204A

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化された動画像を復号化する動画像復号化方法およびそのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した動画像復号化方法およびそのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図１５を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図１５に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１６を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて時間に沿って配信される圧縮符号化画像信号を、任意の時点から受信しかつ復号化することを可能にする動画像復号化方法およびそのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、複数のフレーム群の各々がキーフレームとこれに後続する複数の通常フレームとを含んでおり、前記複数の通常フレームには、全体で１フレームを構成可能でフレーム内符号化された複数の特定領域が、互いに異なる位置に配分されており、１フレーム分の前記複数の特定領域を参照フレームとしてフレーム間符号化することにより、前記複数のフレーム群のうち、つぎのフレーム群に属する前記キーフレームが得られており、前記複数の通常フレームの各々は、前記複数の特定領域のうちの自身に配分された特定領域を除く部分である非特定領域については、前記複数のフレーム群のうち自身と同一のフレーム群に属する前記キーフレームを参照フレームとしてフレーム間符号化されており、前記複数のフレーム群の時間に沿った集合である圧縮符号化画像信号を受信しかつ復号化する動画像復号化方法であって、(a)前記圧縮符号化画像信号を少なくとも一部の期間にわたって受信する工程と、(b)前記複数のフレーム群のうち、前記工程(a)で最初に受信されるキーフレームが属するフレーム群である初期フレーム群に対して、当該初期フレーム群に含まれる１フレーム分の前記複数の特定領域のみを復号化し、かつ記憶する工程と、(c)前記複数のフレーム群のうち、前記工程(a)で前記初期フレーム群より後に受信されるフレーム群ごとに復号化を行う工程と、を備えている。
【０００９】
そして、前記工程(c)は、(c-1)復号化されかつ記憶されている１フレーム分の最新の前記複数の特定領域を参照フレームとして、復号化の対象とされる前記フレーム群に属する前記キーフレームをフレーム間復号化しかつ記憶する工程と、(c-2)復号化されかつ記憶されている最新のキーフレームを参照フレームとして、復号化の対象とされる前記フレーム群に属する前記複数の通常フレームの各々の前記非特定領域をフレーム間復号化する工程と、(c-3)復号化の対象とされる前記フレーム群に含まれる１フレーム分の前記複数の特定領域を復号化しかつ記憶する工程と、を備えている。
【００１０】
本発明のうち第２の態様にかかるものは、第１の態様にかかる動画像復号化方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１１】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１２】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１３】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１４】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰ_i（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ₁｜＋｜ΔＰ₂｜＋…＋｜ΔＰ_n｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００１５】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００１６】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを使用すればよい。例えば、ＹＣ_bＣ_r座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃ_b，Ｃ_rとからなるＹＣ_bＣ_r成分の座標系へと変換される。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００１７】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００１８】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００１９】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２０】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２１】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２２】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２３】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２４】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００２５】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００２６】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００２７】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００２８】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００２９】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３０】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３１】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３２】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。
【００３３】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームからつぎのキーフレームの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームおよびこれに後続する複数のフレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」あるいは「通常フレーム」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームを参照フレームとしてフレーム間符号化されている。
【００３４】
図１０が示すように、フレーム群の中には、フレームＰを挿入することも可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。したがって、フレーム群のうちのキーフレームを除いたフレームP-GOBおよびフレームＰのいずれも、同一のフレーム群に属するキーフレームとの差分画像であり、当該キーフレームに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームのフレーム間符号化のために参照フレームとして用いられ、当該キーフレームは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームは前のフレーム群に属するフレームP-GOBに依存している。
【００３５】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのフレームは互いに補完関係にある。ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、先頭のフレームについてはフレーム内符号化されるので、時間に沿って出力される圧縮符号化画像信号を端末装置３０が先頭から受信し復号化する上では、何らの問題を生じない。しかしながら、端末装置３０が圧縮符号化画像信号を中途から受信する場合には、受信開始後の各フレームが他のフレームに依存しているので、受信した各フレームを単独で復号化することはできない。このために、端末装置３０は、受信を開始した後に、フレームの復号化が可能となるまで、各フレームに含まれる必要なデータを保存することにより、その後の復号化を可能にしている。以下に、端末装置３０の構成および動作手順について詳細に説明する。
【００３６】
図１１は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００３７】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３７を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。端末装置本体部３１に含まれる要素３３〜３７は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００３８】
図１２は、端末装置３０の動作手順を示すフローチャートである。端末装置３０に対してユーザが所定の指示操作を行うと、インタフェース３３が通信回線４０を通じて画像配信装置２０へ接続され、図１２の処理が開始される。図１２が示すステップＳＴ２０〜ＳＴ２３の処理は、図６に示した同一符号の処理と同等である。すなわち、図１２の処理は、ステップＳＴ２０とステップＳＴ２１との間に、ステップＳＴ４０，ＳＴ４１が挿入され、さらにステップＳＴ４１から分岐するステップＳＴ４２，ＳＴ４３が付加されている点において、図６の処理とは特徴的に異なっている。
【００３９】
端末装置３０は、図１２の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２２の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち好ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１および図６に示した処理においても同様である。図１、図６、および図１２は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を無視すれば、図１、図６、および図１２の処理は、１フレーム毎に反復的に実行される。
【００４０】
処理が開始されると、インタフェース３３は、画像配信装置２０が出力するビットストリーム形式の圧縮符号化画像信号を受信する（ステップＳＴ２０）。画像配信装置２０は、ユーザのアクセスの有無に関わりなく、圧縮符号化画像信号を出力する一方、受信を開始するタイミングはユーザの操作に規定されるため、圧縮符号化画像信号の先頭から受信が開始されるとは限らない。
【００４１】
つぎに、現在受信しているフレームが、受信開始後に最初に受信されるキーフレームに後続する最初のフレームP-GOBより前のフレームであるか否かが判定される（ステップＳＴ４０）。図１３に例示する圧縮符号化画像信号において、左端に位置するキーフレームが最初に受信されるキーフレームであるとすると、その直後のフレーム（図１３において、ハッチが付されたフレーム）が、最初に受信されるキーフレームに後続する最初のフレームP-GOBに相当する。したがって、受信が開始された後、このフレームP-GOBが受信されるまでの期間は、ステップＳＴ４０の判定は肯定的（Ｙｅｓ）であり続ける。このとき、受信したフレームの信号は破棄され、当該フレームに対する処理は終了し、つぎのフレームに対する処理が開始される。
【００４２】
現在受信しているフレームが、最初に受信されるキーフレームに後続する最初のフレームP-GOBまたはそれ以後のフレームであるときには、ステップＳＴ４０の判定は否定的（Ｎｏ）となる。このとき、現在受信しているフレームが、最初に受信したキーフレームが属するフレーム群（「初期フレーム群」と称する）に属するか否かが判定される（ステップＳＴ４１）。言い換えると、キーフレームを第２回目に受信する前であるか否かが判定される。ステップＳＴ４１の判定がＹｅｓであれば、伸張部３４はキーＧＯＢのみを復号化し（ステップＳＴ４２）、キーブロックメモリ１１へストアする（ステップＳＴ４３）。ステップＳＴ４２，ＳＴ４３では、フレームP-GOBを処理対象とするときには、その中に含まれるキーＧＯＢのみが復号化およびストアの対象とされ、残りのＧＯＢについては破棄される。また、フレームＰが処理対象であるときには、そのすべてのデータが破棄される。ステップＳＴ４３が終了すると、一つのフレームに対する図１２の処理は終了する。
【００４３】
ステップＳＴ４３の判定がＮｏであるとき、すなわち処理対象とするフレームが初期フレーム群に後続するフレーム群に属するようになったとき（例えば図１３の例で、右側のキーフレーム以降のフレームであるとき）には、ステップＳＴ２１の処理が行われる。ステップＳＴ２１では、処理対象とされるフレームがキーフレームであれば、キーブロックメモリ１１にストアされている１フレーム分のキーＧＯＢを用いて、フレーム間復号化が行われ、復号化されたキーフレームはキーフレームメモリ１０へストアされる。
【００４４】
処理対象とされるフレームがフレームP-GOBであれば、これに含まれるキーＧＯＢについてはフレーム内復号化が行われ、キーブロックメモリ１１へ、すでにストアされているキーＧＯＢを更新する形式でストアされる。フレームP-GOBの中のキーＧＯＢ以外の部分については、キーフレームメモリ１０にストアされるキーフレームを参照フレームとして、フレーム間復号化が行われる。また、処理対象とされるフレームがフレームＰであれば、キーフレームメモリ１０にストアされるキーフレームを参照フレームとして、フレーム間復号化が行われる。各フレームのうちキーＧＯＢを除く部分についてステップＳＴ２１で実行される復号化処理では、図６を引用しつつ既に説明したように、処理対象とされる部分にフレーム内圧縮符号化とフレーム間圧縮符号化とが選択的に施されているときには、これらの圧縮符号化の形態に対応して、フレーム内復号化とフレーム間復号化とが選択的に行われる。
【００４５】
ステップＳＴ２１における復号化処理が終了すると、望ましくはステップＳＴ２２の処理を経た上で、さらにステップＳＴ２３の処理を経た後に、１つのフレームに対する図１２の処理は終了し、つぎのフレームに対する処理が開始される。ステップＳＴ２２の処理を実現するには、図１１に示した端末装置本体部３１に、制御部３７の指示にもとづいてステップＳＴ２２の処理を実行する再量子化処理部を、バスライン３８に接続する形態で追加的に設けると良い。ステップＳＴ２３の処理は、ビデオエンコーダ３６によって実行される。
【００４６】
端末装置３０は以上のように動作するので、図１４の動作説明図が示すように、初期フレーム群に後続するフレーム群に対しては、図６に示した復号化処理と同一の処理が行われる。すなわち、圧縮画像信号の受信がどの時点で開始されても、初期フレーム群の受信が完了した後、すなわち受信開始から最長２フレーム群の受信が完了した後には、圧縮画像信号を復号化することが可能となる。すなわち、任意の時点からの受信および復号化が可能であり、かつ受信開始から復号化開始までの待ち時間を短く抑えることができる。
【００４７】
【発明の効果】
本発明のうち第１の態様にかかる方法では、最初に受信されるキーフレームに後続する複数の通常フレームに配分されている１フレーム分の複数の特定領域を復号化するとともに記憶し、これにもとづいて、その後に受信されるキーフレームの復号化が行われ、さらに復号化されたキーフレームにもとづいて、後続する通常フレームの復号化が行われる。また、受信される各フレーム群ごとに１フレーム分の複数の特定領域が復号化され、過去のデータを更新した最新のデータとして記憶される。このため、圧縮画像信号の受信をどの時点で開始しても、最長２フレーム群の受信が完了した後には、復号化を実行することが可能である。すなわち、任意の時点からの受信および復号化が可能であり、かつ受信開始から復号化開始までの待ち時間を短く抑えることができる。
【００４８】
本発明のうち第２の態様にかかるプログラムでは、コンピュータに搭載することにより、第１の態様にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の端末装置の構成を示すブロック図である。
【図１２】図１１の端末装置の動作手順を示すフローチャートである。
【図１３】図１１の端末装置が受信する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１４】図１１の端末装置の動作を示す動作説明図である。
【図１５】従来の符号化方法を説明するためのフローチャートである。
【図１６】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１キーフレームメモリ
２特定領域メモリ
１０キーフレームメモリ
１１特定領域メモリ
Ｋキーフレーム
Ｋｅｙ−ＧＯＢ特定領域
Ｐ−ＧＯＢ通常フレーム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving picture decoding method and program for decoding a compression-coded moving picture, and more particularly to a moving picture decoding method and program suitable for a moving picture with little temporal change such as surveillance video.
[0002]
[Prior art]
As a compression encoding method of moving images, a method combining DCT (Discrete Cosine Transform) and motion compensation prediction encoding is generally used, and this method is also adopted in the MPEG (Moving Picture Experts Group) method. ing. In general, DCT is applied to intra-frame coding in which coding is performed using only information in a frame (still image) so as to reduce redundancy in the spatial direction. In addition, motion compensation predictive coding (interframe coding) predicts a coding target frame from a frame at another time in order to reduce temporal redundancy, and a difference signal between the coding target frame and the predicted frame. Is subjected to DCT, quantization, or the like. In this case, in order to keep the difference small, the encoding target frame is often predicted from temporally adjacent frames. Such intra-frame coding and motion-compensated prediction coding processes are performed with a block obtained by dividing a frame into a plurality of basic processing units.
[0003]
However, in a moving image such as a monitoring video that has an extremely small temporal change, an input frame is periodically set as a reference image (hereinafter referred to as a key frame), and the interval between the key frame and the input frame is set. Even if a differential encoding method that takes a differential signal is used, it is considered that the difference amount between both frames is small. This method has advantages such as a reduction in calculation load and resistance to errors caused by missing frames, as compared with the above-described motion compensation prediction encoding using adjacent frames. The outline of the conventional differential encoding method will be described with reference to FIG. Assume that a plurality of frames f1, f2,... Sequentially output from the imaging sensor are sequentially input to the encoder. As shown in FIG. 15, when a frame fn (n = 1, 2,...) Is input (ST100), it is determined whether or not the input frame fn is a key frame in step ST101. If the frame fn is a key frame, intra-frame encoding processing is executed in step ST102. That is, the frame fn is divided into blocks, DCT is performed for each block, and the transform coefficient is calculated. Next, a quantized coefficient obtained by quantizing the transform coefficient is output. Next, in step ST103, encoded data obtained by variable-length encoding (entropy encoding) the quantization coefficient is generated, converted into a bit stream, and output. The quantization coefficient calculated in step ST102 is stored in the key frame memory 100 after being decoded (inverse quantization and inverse DCT) in step ST104.
[0004]
Next, when the next frame fm (m = n + 1) is input in step ST100, whether or not the frame fm is a key frame is determined in step ST101. If the frame fm is not a key frame, the process proceeds to step ST105. Then, the difference value of the pixel value is calculated for each block between the key frame fn and the frame fm stored in the key frame memory 100. Next, in step ST106, it is determined whether or not the difference value is within a predetermined range. If the difference value is within the predetermined range, inter-frame encoding is performed in step ST107, that is, the difference between the key frame and the input frame fm. The signal is subjected to DCT and quantization. On the other hand, if the difference value exceeds the predetermined range, intra-frame coding is executed in step ST108. As described above, the quantization coefficients calculated in steps ST107 and ST108 are variable-length encoded in step ST103, converted into a bit stream, and then output.
[0005]
An example of such a bitstream decoding process will be described below with reference to FIG. When the bit stream is input (ST110), a compression-coded signal is extracted from the bit stream and subjected to variable length decoding to obtain the quantization coefficient. Next, in step ST111, when the quantized coefficient has been intra-frame encoded in step ST102 of the compression encoding process, the decoding (intra-frame decoding) is performed and stored in the key frame memory 101, If the quantized coefficient has been intra-coded in step ST108, the decoding is performed. On the other hand, if the quantized coefficient has been inter-frame encoded at step ST107, the decoding (inter-frame decoding) is performed with reference to the key frame stored in the key frame memory 101. Then, a decoded image that has been decoded within a frame or between frames is output (ST112).
[0006]
[Problems to be solved by the invention]
However, in the above differential encoding method, since the differential encoding between the key frame and the frame separated in time is performed, the image quality of the key frame is directly related to the image quality of the entire moving image. The key frame is subjected to intra-frame coding in which compression coding is performed using only the information in the frame. As a result, there has been a problem in that the amount of moving picture encoding processing increases rapidly during key frame encoding, and transmission of key frame compressed encoded data is delayed or intermittent. Particularly when moving images are transmitted and reproduced (streamed) in real time through a network, there are cases in which a change in the reproduction speed of the decoded moving images and intermittent images occur.
[0007]
In view of such problems, the present invention intends to solve the problem of suppressing the rapid increase in the amount of encoding processing of key frames, flattening the amount of encoding processing in terms of time, and improving the quality of moving images. It is possible to receive and decode a compression-encoded image signal distributed over time based on the compression-encoding method from any time point. The object is to provide a moving picture decoding method and a program thereof.
[0008]
[Means for Solving the Problems]
According to the first aspect of the present invention, each of the plurality of frame groups includes a key frame and a plurality of normal frames following the key frame, and the plurality of normal frames includes one frame as a whole. A plurality of specific regions that are configurable and intra-coded are distributed at different positions, and the plurality of frame groups are obtained by inter-frame encoding using the plurality of specific regions for one frame as a reference frame. The non-specific area is obtained by obtaining the key frame belonging to the next frame group, and each of the plurality of normal frames is a part excluding the specific area allocated to itself among the plurality of specific areas. Is inter-coded with the key frame belonging to the same frame group as itself among the plurality of frame groups as a reference frame, A video decoding method for receiving and decoding a compression-encoded image signal that is a set of a plurality of frames along time, and (a) receiving the compression-encoded image signal over at least a part of a period (B) Among the plurality of frame groups, one frame included in the initial frame group with respect to the initial frame group to which the key frame received first in the step (a) belongs (C) decoding for each frame group received after the initial frame group in the step (a) among the plurality of frame groups. The process of performing.
[0009]
Then, the step (c) belongs to the frame group to be decoded by using (c-1) the latest plurality of specific areas for one frame decoded and stored as reference frames. Inter-frame decoding and storing the key frame, and (c-2) the plurality of belonging to the frame group to be decoded with the latest key frame decoded and stored as a reference frame (C-3) decoding the plurality of specific areas for one frame included in the frame group to be decoded; and (c-3) decoding the non-specific areas of each of the normal frames And a storing step.
[0010]
According to a second aspect of the present invention, there is provided a program for causing a computer to execute the steps described above in order to implement the moving picture decoding method according to the first aspect on the computer.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
A. Basic invention premised on the present invention.
First, two embodiments of a basic invention assumed as a premise of the present invention will be described. These embodiments are described as Embodiments 1 and 2, respectively.
[0012]
Embodiment 1 FIG.
1 to 3 are flowcharts for realizing the compression encoding method according to Embodiment 1 of the basic invention. The compression encoding method according to the first embodiment will be described in detail below with reference to this flowchart.
[0013]
A plurality of still images (frames) f1, f2, f3, f4,... Sequentially captured along the time axis by an image sensor such as a CCD (charge coupled device) sensor or a CMOS sensor are encoders according to the first embodiment. (ST1). In addition, before the frame f1 is input, the specific area memory 2 stores a reference frame f0 including a key GOB for one frame, which will be described in detail later. This reference frame f0 is described in the second embodiment to be described later. After being compressed and transmitted, the data is decoded and stored in the specific area memory 11 of the decoder. The encoder according to the first embodiment periodically designates key frames from the input frames f1, f2, f3, f4,..., And the input frame f1 is a key frame.
[0014]
First, in step ST2, it is determined whether or not the frame f1 is a key frame. Since the frame f1 is a key frame, the process proceeds to step ST3. As shown in FIG. 2, the difference value of the pixel value between the reference frame f0 and the input frame f1 stored in the specific area memory 2 in step ST4, An absolute value sum (difference absolute value sum) S of the difference values is calculated, and then it is determined in step ST5 whether or not the difference absolute value sum is equal to or less than a threshold value. For example, when the difference value is expressed by ΔP _i (i: number corresponding to each pixel), the difference absolute value sum S is expressed as S = | ΔP ₁ | + | ΔP ₂ | +... || ΔP _n | (n : Number of pixels). If the sum of absolute differences S is less than or equal to the threshold, the input frame f1 is subjected to interframe coding using the frame f0 because the temporal change between both frames f0 and f1 is small (ST6). Specifically, an orthogonal transform such as DCT (Discrete Cosine Transform) is performed on the difference signal between the input frame f1 and the frame f0, and a quantized coefficient obtained by quantizing the transform coefficient is calculated. Such inter-frame coding processing is executed in units of blocks having a size of 8 × 8 pixels, 16 × 16 pixels, or the like. The same applies to the subsequent processing. In this embodiment, orthogonal transform such as DCT is adopted as a transform method, but DWT (discrete wavelet transform) may be employed instead of DCT. In this case, instead of performing the inter-frame encoding process in units of blocks, the frame unit or the frame may be divided into a plurality of areas called tiles in consideration of the execution memory capacity and the like, and may be executed in units of tiles.
[0015]
On the other hand, when the difference absolute value sum S calculated in step ST4 exceeds the threshold value in step ST5, the process proceeds to step ST7, and the input frame f1 is subjected to intraframe encoding that encodes only the information in the frame. The Specifically, orthogonal transformation such as DCT is performed on the pixel value of the frame f1, and a quantized coefficient obtained by quantizing the transform coefficient is calculated.
[0016]
From the viewpoint of increasing the compression rate of the frame, color space conversion is performed on the input frame before the intra-frame coding (ST7) or the inter-frame coding (ST6). For example, when the original signal is composed of RGB spaces of “R (red component)”, “G (green component)”, and “B (blue component)”, this is adopted in the NTSC (National Television System Committee) system or the like. and YUV coordinate system is, YIQ coordinate system, may be used and YC _b C _r coordinate system. For example, when using the YC _b C _r coordinate system, the RGB components are converted into the coordinate system of the YC _b C _r component comprising a luminance signal Y and two color difference signals C _b, and C _r. Since the YC _b _Cr component has a smaller correlation between components than the RGB component, the image size can be compressed.
[0017]
Next, as shown in FIG. 1, the process proceeds to step ST19, and the quantized coefficients calculated in steps ST6 and ST7 are subjected to entropy coding including Huffman coding, and then the image size and quantization of the frame It is multiplexed with image information such as the number of bits, and compression information such as a quantization table and a coding method (intraframe coding, interframe coding) of each block area, and output as a bit stream. The quantized coefficients calculated in steps ST6 and ST7 are locally decoded (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST8 and stored in the key frame memory 1. Therefore, the key frame memory 1 stores the changed key frame including the quantization error through encoding (ST6, ST7) and decoding (ST8). As a result, the image of the key frame becomes the same as the image of the key frame that is referred to when decoding (inter-frame decoding) by a later-described decoder, and the image quality of the moving image to be decoded is not deteriorated. . The compression encoding process for the input frame f1 (key frame) is thus completed.
[0018]
Next, when the frame f2 is input to the encoder following the frame f1, whether or not the frame f2 is a key frame is determined in step ST2. Since the frame f2 is not a key frame, the process shifts to step ST9, and the frame f2 is divided into a plurality of block areas (hereinafter referred to as GOB), and then in step ST9, one or more of these block areas (GOB) are selected. A plurality of specific areas (hereinafter referred to as key GOB) are designated. FIG. 4A schematically shows a frame f2 divided into four GOBs. The frame f2 is divided into four GOBs in units of ten to several tens of pixels in the vertical direction, and the first stage GOB is designated as the key GOB. As shown in FIGS. 2B to 2D, the frames f3 to f5 sequentially input to the encoder following the frame f2 are also divided into a plurality of GOBs, and the second stage GOB of the frame f3 and the frames f4 The third stage GOB and the fourth stage GOB of the frame f5 are designated as the key GOB. As shown in FIG. 5, such frames f1 to f5 are arranged along the time axis.
[0019]
Next, the process proceeds to step ST11, and thereafter, the frame f2 is sequentially processed for each block obtained by further dividing the GOB into basic processing units of about 8 × 8 pixels or 16 × 16 pixels. In step ST11, it is determined whether or not the block to be processed belongs to the key GOB. If the block belongs to the key GOB, the block is subjected to the intra-frame coding in step ST12 and then entropy-coded in step ST19 and multiplexed with the image information and the compression information to form a bit stream. Is output. In addition, the quantization coefficient output by intra-frame encoding the block in step ST12 is stored in the specific area memory 2 after being subjected to local decoding (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST13. The
[0020]
On the other hand, if the block does not belong to the key GOB in step ST11, the process proceeds to a subroutine of step ST14, and the block of the input frame and the key frame stored in the key frame memory 1 are stored in step ST15 as shown in FIG. And a difference absolute value sum S are calculated. Next, in step ST16, a condition determination is made as to whether or not the difference absolute value sum S is less than or equal to the threshold value. If the difference absolute value sum S is less than or equal to the threshold value, the process proceeds to step ST17, The inter-frame coding is performed with reference to the stored key frame. On the other hand, when the difference absolute value sum S exceeds the threshold value, the process proceeds to step ST18, and the block is subjected to the intra-frame coding. Thus, the quantized coefficients encoded in steps ST17 and ST18 are subjected to variable length encoding (entropy encoding) and the multiplexing process in step ST19 shown in FIG. 1 and output as a bit stream. . Thus, the compression encoding process for the input frame f2 is completed.
[0021]
Next, the frames f3, f4,... Input to the encoder subsequent to the frame f2 are processed in the same manner as in the case of the frame f2 until the key frame is input. Therefore, the keys GOB1 to GOG4 decrypted in step ST13 are stored in the specific area memory 2 for one frame, and the keys GOB1 to GOB4 are stored in the specific area memory 2 as shown in FIG. Is synthesized. This reference frame A is used when a key frame to be input later is inter-frame encoded in the subroutine of step ST3.
[0022]
As described above, in the compression coding method according to the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference from the reference frame stored in the specific area memory 2 in step ST3. In steps ST9 and ST10, the input frame is divided into a plurality of GOBs, a key GOB is designated, and a key GOB for one frame is distributed over a plurality of frames along the time axis. GOB is intra-coded. For this reason, the intraframe encoding processing amount is dispersed in time, the rapid increase in the compression encoding processing amount is suppressed, the encoding processing amount is flattened in time, and the playback speed of the moving image at the transmission destination As a result, it is possible to compress and transmit a high-quality moving image without changing. In particular, the effect is exhibited in a transmission line with a limited bandwidth such as the Internet.
[0023]
In the specific area memory 2, the key GOB distributed in a plurality of frames is stored, and a reference frame A composed of these keys GOB is formed. This reference frame A is an accumulation of key GOBs at different times. In the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference between the reference frame A and the key frame. For this reason, the difference in image quality between GOBs resulting from the use of the reference frame A made up of the key GOBs at different times is alleviated, and it becomes possible to compress and transmit high-quality moving images.
[0024]
Embodiment 2. FIG.
Next, the decoding method according to Embodiment 2 of the basic invention will be described in detail below. FIG. 6 is a flowchart for realizing the decoding method according to the second embodiment.
[0025]
The compressed image data encoded in the first embodiment is converted into a bit stream and input to the decoder according to the second embodiment (ST20). The compressed image data is separated from the bit stream and then decoded in step ST21. That is, since the compressed data of the frames f1, f2,... Are sequentially input from the encoder to the decoder according to the second embodiment, the above-described embodiment is applied to the compressed data of the key frame f1 in step ST21. The decoding process of intra-frame coding or inter-frame coding in step ST3 of the form 1 is performed in units of blocks of about 8 × 8 pixels or 16 × 16 pixels. When decrypting the compressed data of the key frame f1, the reference frame f0 stored in advance in the specific area memory 11 is used. The decrypted key frame f1 is stored in the key frame memory 10.
[0026]
In addition, intraframe coding or interframe coding in steps ST12 and ST14 to ST18 of the first embodiment is applied to the compressed data of frames f2, f3,. Decoding processing is performed for each block. When performing decoding processing of interframe coding, the key frame f1 stored in the key frame memory 10 is used. When the frames f2, f3,... Are decrypted, if the block that is the basic processing unit belongs to the key GOB, the block is stored in the specific area memory 11. When the key GOB for one frame is accumulated, the reference frame A composed of these keys GOB is synthesized and used for decoding the compressed data of the key frame to be input to the decoder later. For example, when the compressed data of the frames f2 to f5 shown in FIGS. 4A to 4D are input to the decoder, the compressed data of the blocks constituting each key GOB is subjected to intra-frame decoding. The reference frame A is reconstructed by sequentially accumulating in the specific area memory 11.
[0027]
In this way, when the frame groups f1, f2,... Decoded in step ST21 are displayed as a moving image, the image quality of the moving image between the GOB that has been intra-frame encoded by the encoder and the GOB that has been inter-frame encoded. The key GOB encoded in the frame may be clearly seen in the moving image. In order to prevent such a case, the second embodiment includes a key GOB requantization process in which only the key GOB decrypted in step ST21 is re-encoded and decrypted in step ST22 shown in FIG. It is.
[0028]
FIG. 7 is a flowchart showing the key GOB requantization process. As shown in FIG. 7, first, a block of about 8 × 8 pixels or 16 × 16 pixels is input (ST30). Next, in step ST31, it is determined whether or not the block belongs to the key GOB. If the block does not belong to the key GOB, the block is not requantized, and the key GOB requantization processing ends. The process moves to step ST23 shown in FIG. On the other hand, if the block belongs to the key GOB, the process proceeds to step ST32, the difference value between the key frame stored in the key frame memory 10 and the pixel value of the block, and the difference absolute value sum S of the difference values. And are calculated. Next, in step ST33, a condition determination is made as to whether or not the difference absolute value sum S is equal to or smaller than a threshold value. If the difference absolute value sum S exceeds the threshold value, the block is not requantized, and key GOB requantization processing is performed. Is completed, and the process proceeds to step ST23 shown in FIG.
[0029]
On the other hand, if it is determined in step ST33 that the sum of absolute differences S is equal to or less than the threshold, the process proceeds after step ST34. First, in step ST34, the difference signal between the block and the key frame is transform-coded, and then in step ST35, the transform coefficient is quantized. The processes of these steps ST33 to ST35 are performed by a determination process (ST16) of an encoding method (interframe encoding, intraframe encoding) based on the sum of absolute differences S performed by the encoder, orthogonal transformation such as DCT, This is the same as the quantization process (ST17). After that, in step ST36, the quantized coefficient is inversely quantized, and then in step ST37, transform coding decoding (inverse orthogonal transform such as inverse DCT) in step ST34 is performed. As a result, in accordance with the processing in steps ST34 to ST37, the quantization error is the same as when the block signal other than the key GOB is interframe-encoded by the encoder and the encoded signal is decoded by the decoder. An irreversible differential signal including is obtained. Next, a block is reconstructed from the difference signal using the key frame stored in the key frame memory 10 in step ST38 and output.
[0030]
The block subjected to the above key GOB requantization processing is output after being combined with a frame (decoded image) in step ST23 shown in FIG. The above key GOB requantization process will be described by taking the frames f2 to f5 shown in FIG. 4 as an example. As schematically shown in FIG. 8, the keys of the frames f2 to f5 decrypted in step ST21 described above are used. The difference between the GOB and the key frame stored in the key frame memory 10 is taken. Next, in step ST32, it is determined whether or not the difference absolute value sum S of the difference values is equal to or less than a threshold value, that is, whether or not to perform interframe encoding. If the difference absolute value sum S is equal to or less than the threshold value, the key GOB is determined. On the other hand, interframe coding (transform coding and quantization) is performed on the frames, and then decoding of the interframe coding (dequantization and inverse transform decoding) is performed on the frames f2 to f5. Corresponding decoded images F1 to F5 are generated.
[0031]
As described above, according to the second embodiment, if the difference between the key GOB and the key frame is small in the same procedure as the compression coding processing (ST15 to ST17) according to the first embodiment, the key GOB After compressing and encoding the difference signal from the key frame, the decoding is performed and the key GOB is reconstructed. Therefore, the block area other than the key GOB is inter-frame encoded by the encoder and decoded. In the same manner as when the encoded signal is decoded by the coder, the key GOB is mixed with inter-frame encoding and an error associated with the decoding. Therefore, when displaying the decoded moving image, the key GOB does not stand out in the moving image, and there is an effect that the person watching the moving image does not feel uncomfortable.
[0032]
B. Embodiment of the present invention.
Next, an embodiment of the present invention based on the basic invention described above will be described. FIG. 9 is a block diagram showing the configuration of the image distribution system according to the embodiment of the present invention. The image distribution system 120 includes an image distribution device 20, a communication line 40, and a terminal device 30. The image distribution apparatus 20 executes the compression encoding method according to Embodiment 1 shown in FIG. 1 and outputs a compression encoded image signal to the communication line 40 in the form of a bit stream. An example of the communication line 40 is a network such as a LAN or the Internet. When the terminal device 30 is connected to the communication line 40, the terminal device 30 receives the compressed encoded image signal output from the image distribution device 20 along the time from an arbitrary time point designated by the user of the terminal device 30, and decodes it. It is configured to become. In this specification, the encoding method and the decoding method according to the basic invention are temporarily referred to as an “SRVC (Super Real Video Codec) system”.
[0033]
As shown in FIG. 10, in a compression-encoded image signal based on the SRVC method output from the image distribution apparatus 20, one frame group includes one frame group immediately before the next key frame. One frame group includes a key frame and a plurality of subsequent frames P-GOB. As illustrated in FIG. 4, the frame P-GOB is a frame having a key GOB which is a specific area in the frame, and is also temporarily referred to as “P picture with key GOB” or “normal frame”. In the frame P-GOB, a non-specific area (for example, an area described as GOB in FIG. 4) excluding the key GOB (specific area) is a frame using a key frame belonging to the same frame group as a reference frame. Inter-coded.
[0034]
As shown in FIG. 10, a frame P can be inserted into the frame group. The frame P does not include the key GOB, and is a frame that is inter-frame encoded over the entire frame using a key frame belonging to the same frame group as a reference frame. The frame P is also tentatively called “P picture without key GOB”. Therefore, both the frame P-GOB and the frame P excluding the key frame in the frame group are difference images from the key frame belonging to the same frame group, and depend on the key frame. The key GOB included in the frame P-GOB is used as a reference frame for interframe coding of key frames belonging to the next frame group, and the key frame is a set of one frame of these key GOBs. It is a difference image. That is, the key frame depends on the frame P-GOB belonging to the previous frame group.
[0035]
As described above, in the compression encoded image signal based on the SRVC method, all the frames are complementary to each other. In the compression-coded image signal based on the SRVC method, since the head frame is intra-frame coded, the terminal device 30 receives and decodes the compression-coded image signal output along the time from the head. , Does not cause any problems. However, when the terminal device 30 receives the compression-encoded image signal halfway, each frame after the start of reception depends on other frames, and thus each received frame cannot be decoded alone. . For this reason, after starting reception, the terminal device 30 enables subsequent decoding by storing necessary data included in each frame until the frame can be decoded. Below, the structure and operation | movement procedure of the terminal device 30 are demonstrated in detail.
[0036]
FIG. 11 is a block diagram showing an internal configuration of the terminal device 30. The terminal device 30 includes a terminal device main body 31 and a monitor 32. The terminal device main body 31 includes an interface 33, an expansion unit 34, an image storage unit 35, a video encoder 36, a control unit 37, and a bus line 38 that connects these components to each other. The interface 33 is connected to the communication line 40, thereby communicating with the image distribution apparatus 20 through the communication line 40. The decompressing unit 34 decodes the compression-coded image signal received by the interface 33. The video encoder 36 converts the image signal decoded by the decompression unit 34 from a digital format to an analog format. The analog image signal output from the video encoder 36 is input to the monitor 32. The monitor 32 displays the input analog image signal on the screen.
[0037]
The control part 37 is comprised by CPU which operate | moves based on a program (software), for example, and has fulfilled the function which controls each element 33-37. The control unit 37 may be configured by an LSI including only hardware instead of the CPU. The image storage unit 35 is a work memory for temporarily holding an image signal in the course of processing by the decompression unit 34, and includes the key block memory 11 and the key frame memory 10 shown in FIG. When the control unit 37 is formed of a CPU, the image storage unit 35 also functions as a memory that stores a program that defines the operation of the CPU. Some or all of the elements 33 to 37 included in the terminal device main body 31 may be configured by a single semiconductor chip (LSI or system LSI), and the whole is a single semiconductor chip ( System LSI).
[0038]
FIG. 12 is a flowchart showing an operation procedure of the terminal device 30. When the user performs a predetermined instruction operation on the terminal device 30, the interface 33 is connected to the image distribution device 20 through the communication line 40, and the processing in FIG. The processing of steps ST20 to ST23 shown in FIG. 12 is equivalent to the processing of the same reference numerals shown in FIG. That is, the process of FIG. 12 is different from the process of FIG. 6 in that steps ST40 and ST41 are inserted between steps ST20 and ST21, and steps ST42 and ST43 branched from step ST41 are added. Characteristically different.
[0039]
The terminal device 30 continuously performs the process of FIG. 12 for each frame. For example, when the process of step ST22 is performed for one frame, the step is performed for the next frame. It is possible that the process of ST20 is performed simultaneously. That is, preferably, the terminal device 30 executes processing for the compression-encoded image signal in the form of pipeline processing. The same applies to the processing shown in FIGS. 1 and 6. 1, 6, and 12 show the flow of processing for an arbitrary one frame in pipeline processing performed on an image signal. If the temporal context between the end time of the process for one frame and the start time for the next frame is ignored, the processes of FIGS. 1, 6, and 12 are repeatedly executed for each frame. The
[0040]
When the processing is started, the interface 33 receives a compression-encoded image signal in the bit stream format output from the image distribution device 20 (step ST20). The image distribution apparatus 20 outputs a compressed encoded image signal regardless of whether or not the user has accessed, while the timing for starting reception is defined by the user's operation. It does not always start.
[0041]
Next, it is determined whether or not the currently received frame is a frame before the first frame P-GOB following the first key frame received after the start of reception (step ST40). In the compression-coded image signal illustrated in FIG. 13, if the key frame located at the left end is the first key frame received, the immediately following frame (the hatched frame in FIG. 13) This corresponds to the first frame P-GOB subsequent to the key frame received at the same time. Therefore, the determination in step ST40 remains affirmative (Yes) during the period from when reception is started until this frame P-GOB is received. At this time, the signal of the received frame is discarded, the process for the frame is finished, and the process for the next frame is started.
[0042]
When the currently received frame is the first frame P-GOB subsequent to the first received key frame or a frame subsequent thereto, the determination in step ST40 is negative (No). At this time, it is determined whether or not the currently received frame belongs to a frame group (referred to as “initial frame group”) to which the first received key frame belongs (step ST41). In other words, it is determined whether or not it is before the key frame is received for the second time. If the determination in step ST41 is Yes, the decompressing unit 34 decrypts only the key GOB (step ST42) and stores it in the key block memory 11 (step ST43). In steps ST42 and ST43, when the frame P-GOB is to be processed, only the key GOB included therein is subject to decryption and storage, and the remaining GOB is discarded. Further, when the frame P is a processing target, all of the data is discarded. When step ST43 ends, the process of FIG. 12 for one frame ends.
[0043]
When the determination in step ST43 is No, that is, when the frame to be processed belongs to a frame group subsequent to the initial frame group (for example, in the example of FIG. 13, it is a frame after the right key frame) ), The process of step ST21 is performed. In step ST21, if the frame to be processed is a key frame, inter-frame decoding is performed using one frame of key GOB stored in the key block memory 11, and the decoded key frame Is stored in the key frame memory 10.
[0044]
If the frame to be processed is a frame P-GOB, the key GOB included in the frame is subjected to intra-frame decoding, and stored in the key block memory 11 in a format for updating the already stored key GOB. Is done. For portions other than the key GOB in the frame P-GOB, inter-frame decoding is performed using the key frame stored in the key frame memory 10 as a reference frame. If the frame to be processed is frame P, inter-frame decoding is performed using the key frame stored in the key frame memory 10 as a reference frame. In the decoding process executed in step ST21 for the part excluding the key GOB in each frame, as already described with reference to FIG. 6, the intra-frame compression coding and the inter-frame compression code are added to the part to be processed. When the encoding is selectively performed, the intra-frame decoding and the inter-frame decoding are selectively performed corresponding to these compression encoding modes.
[0045]
When the decoding process in step ST21 is completed, the process of FIG. 12 for one frame is completed after the process of step ST22 and the process of step ST23, and the process for the next frame is started. The In order to realize the process of step ST22, a re-quantization processing unit that executes the process of step ST22 based on an instruction of the control unit 37 is connected to the bus line 38 in the terminal device main body 31 shown in FIG. It may be additionally provided in the form. The process of step ST23 is executed by the video encoder 36.
[0046]
Since the terminal device 30 operates as described above, as shown in the operation explanatory diagram of FIG. 14, the same processing as the decoding processing shown in FIG. 6 is performed on the frame group subsequent to the initial frame group. Is called. In other words, no matter when the reception of the compressed image signal is started, after the reception of the initial frame group is completed, that is, after the reception of the longest two frame groups from the start of reception, the compressed image signal is decoded. Is possible. That is, reception and decoding from an arbitrary time point are possible, and the waiting time from the start of reception to the start of decoding can be kept short.
[0047]
【The invention's effect】
In the method according to the first aspect of the present invention, a plurality of specific areas for one frame allocated to a plurality of normal frames following the key frame received first are decoded and stored, Based on the decoded key frame, the subsequent normal frame is decoded based on the decoded key frame. In addition, for each received frame group, a plurality of specific areas for one frame are decoded and stored as the latest data obtained by updating past data. For this reason, it is possible to execute decoding after reception of the longest two frame groups is completed at any time when reception of the compressed image signal is started. That is, reception and decoding from an arbitrary time point are possible, and the waiting time from the start of reception to the start of decoding can be kept short.
[0048]
In the program according to the second aspect of the present invention, the method according to the first aspect can be executed by being installed in a computer.
[Brief description of the drawings]
FIG. 1 is a flowchart for realizing an encoding method according to Embodiment 1 of the basic invention as a premise of the present invention;
FIG. 2 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 3 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 4 is an explanatory diagram showing each frame divided into four block areas.
5 is a schematic diagram for explaining an encoding method according to Embodiment 1. FIG.
FIG. 6 is a flowchart for realizing a decoding method according to Embodiment 2 of the basic invention as a premise of the present invention.
FIG. 7 is a flowchart for explaining requantization processing according to the second embodiment;
FIG. 8 is a schematic diagram for explaining a decoding method according to the second embodiment.
FIG. 9 is a block diagram showing a configuration of an image distribution system according to an embodiment of the present invention.
10 is a data structure diagram illustrating an example of a compression-encoded image signal output by the image distribution apparatus in FIG. 9. FIG.
11 is a block diagram showing a configuration of the terminal device of FIG. 9;
12 is a flowchart showing an operation procedure of the terminal device of FIG.
13 is a data structure diagram showing an example of a compression-encoded image signal received by the terminal device of FIG.
14 is an operation explanatory diagram showing an operation of the terminal device of FIG. 11. FIG.
FIG. 15 is a flowchart for explaining a conventional encoding method.
FIG. 16 is a flowchart for explaining a conventional decoding method;
[Explanation of symbols]
1 Key frame memory 2 Specific area memory 10 Key frame memory 11 Specific area memory K Key frame Key-GOB Specific area P-GOB Normal frame

Claims

Each of the plurality of frame groups includes a key frame and a plurality of normal frames following the key frame, and the plurality of normal frames includes a plurality of specific areas that can be configured as a whole and are intra-coded. Are distributed at different positions, and by inter-frame encoding the plurality of specific areas for one frame as reference frames, the key frames belonging to the next frame group among the plurality of frame groups are Each of the plurality of normal frames is the same as itself in the plurality of frame groups with respect to a non-specific region that is a portion excluding the specific region allocated to itself among the plurality of specific regions. The key frames belonging to the frame group are inter-frame coded using the reference frame as a reference frame, and are a set of the plurality of frame groups along the time. Receiving the compressed encoded image signal and a moving picture decoding method for decoding,
(a) receiving the compression-encoded image signal for at least a part of the period;
(b) Among the plurality of frame groups, for the initial frame group that is the frame group to which the key frame first received in the step (a) belongs, the plurality of one frame included in the initial frame group Decoding and storing only a specific area of
(c) Among the plurality of frame groups, a step of performing decoding for each frame group received after the initial frame group in the step (a),
The step (c)
(c-1) inter-frame decoding the key frame belonging to the frame group to be decoded with the plurality of latest specific areas for one frame decoded and stored as reference frames; and Memorizing process;
(c-2) Inter-frame decoding of the non-specific area of each of the plurality of normal frames belonging to the frame group to be decoded using the latest decoded and stored key frame as a reference frame The process of
(c-3) A moving picture decoding method comprising: decoding and storing the plurality of specific areas for one frame included in the frame group to be decoded.

A program for causing a computer to execute each of the steps in order to realize the moving picture decoding method according to claim 1 on a computer.