JP4451022B2

JP4451022B2 - Image delivery method, image decoding method, and program thereof

Info

Publication number: JP4451022B2
Application number: JP2001170552A
Authority: JP
Inventors: 稔浩佐藤; 真人松本; 博仁真瀬; 秀和田中
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2001-06-06
Filing date: 2001-06-06
Publication date: 2010-04-14
Anticipated expiration: 2021-06-06
Also published as: JP2002369203A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を圧縮符号化して配信する画像配信方法、配信された動画像を復号化する画像復号化方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像配信方法、画像復号化方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図１４を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図１４に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１５を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて時間に沿って生成される圧縮符号化画像信号を、任意の時点から受信し、かつ即時に復号化を開始することを可能にする画像配信方法、画像復号化方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、順次入力される複数のフレームからなる画像信号を圧縮符号化することにより圧縮符号化画像信号を得るとともに、外部から入力される配信要求信号に応じて前記圧縮符号化画像信号を配信する画像配信方法であって、(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記キーフレームの後に入力するフレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c)前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(d)記憶している前記第１の参照フレームを参照することにより、前記工程(b)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、(e)前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、を備えている。
【０００９】
ここで、前記工程(a)は、(a-1)指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えており、前記画像配信方法はさらに、(g)前記配信要求信号に応答して、記憶している前記第１および第２の参照フレームを配信し、その後、前記工程(a),(c),および(d)の各々で圧縮符号化された信号が得られるごとに、当該信号を前記圧縮符号化画像信号として配信する工程をさらに備えている。
【００１０】
本発明のうち第２の態様にかかるものは、第１の態様にかかる画像配信方法によって配信される圧縮符号化画像信号を受信しかつ復号化する画像復号化方法であって、(A)前記配信要求信号を送出する工程と、(B)前記配信要求信号に応答して配信される前記第１および第２の参照フレームを記憶する工程と、(C)前記工程(A)および(B)の後に、前記工程(a),(c),および(d)の各々で圧縮符号化された信号が配信されるごとに、(C-1)前記工程(a)で前記キーフレームを圧縮符号化して得られた信号に対して、記憶している前記第２の参照フレームを参照してフレーム間復号化を実行すると共に、当該復号化によって得られた信号によって、すでに記憶している前記第１の参照フレームを更新する工程と、(C-2)前記工程(c)で前記特定領域を圧縮符号化して得られた信号に対して、前記特定領域に対してフレーム内復号化を実行すると共に、当該復号化がなされた前記特定領域を記憶する工程と、(C-3)前記工程(d)で前記特定領域を除く前記各ブロック領域を圧縮符号化して得られた信号に対して、記憶している前記第１の参照フレームを参照してフレーム間復号化を実行する工程と、のうちのいずれかを選択的に実行する工程と、(D)前記工程(C-1)からつぎに実行される前記工程(C-1)までの間に、前記工程(C-2)が繰り返されるごとに記憶された前記特定領域を１フレーム分蓄積することにより、すでに記憶している前記第２の参照フレームを更新する工程と、を備えている。
【００１１】
本発明のうち第３の態様にかかるものは、第１または第２の態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１２】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１３】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１４】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１５】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰ_i（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ₁｜＋｜ΔＰ₂｜＋…＋｜ΔＰ_n｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００１６】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００１７】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを使用すればよい。例えば、ＹＣ_bＣ_r座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃ_b，Ｃ_rとからなるＹＣ_bＣ_r成分の座標系へと変換される。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００１８】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００１９】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２０】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２１】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２２】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２３】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２４】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２５】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００２６】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００２７】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００２８】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００２９】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３０】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３１】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３２】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３３】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３４】
（画像配信システムの概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を生成し通信回線４０へ出力する。端末装置３０は、通信回線４０を通じて画像配信装置２０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、図６に示した実施の形態２による画像復号化方法にもとづいて復号化する。画像配信装置２０および端末装置３０はさらに、端末装置３０のユーザが指定する任意の時点から、圧縮符号化画像信号が端末装置３０へ受信開始され、かつ即時に復号化が開始可能となるように構成されている。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。
【００３５】
図５が示したように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームからつぎのキーフレームの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームおよびこれに後続する複数の非キーフレームが含まれる。非キーフレームは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有している。非キーフレームのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。したがって非キーフレームは、同一のフレーム群に属するキーフレームとの差分画像であり、当該キーフレームに依存している。また、非キーフレームに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームのフレーム間符号化のために参照フレーム（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームは前のフレーム群に属する非キーフレームに依存している。
【００３６】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのフレームは互いに補完関係にある。時間に沿って出力される圧縮符号化画像信号を端末装置３０が先頭から受信する場合には、先頭のキーフレームについてのみフレーム内符号化を行うことにより、何らの問題をも生じることなく復号化を達成することができる。しかしながら、端末装置３０が圧縮符号化画像信号を中途から受信する場合には、受信開始後の各フレームがいずれも他のフレームに依存しているために、受信した各フレームの復号化を単独で行うことはできない。
【００３７】
例えば複数枚のキーフレームごとに１枚の比率で、キーフレームに対してフレーム内符号化を行うならば、端末装置３０は、圧縮符号化画像信号を中途から受信し、かつ復号化することが可能となる。しかしながらこの場合には、受信を開始した後、フレーム内符号化された最初のキーフレームを受信するまでは、復号化の開始を待つ必要がある。このような応答性の問題を解消するために、画像配信装置２０は、要求に応じて端末装置３０への配信を開始すると、復号化に必要なデータを最初に配信する。端末装置３０は、最初に受信したデータにもとづいて、その後に受信する圧縮符号化画像信号の復号化を直ちに開始する。以下に、画像配信装置２０および端末装置３０について、それらの構成および動作手順について詳細に説明する。
【００３８】
（画像配信システムの構成）
図１０は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置本体部２１およびカメラ２２を備えている。画像配信装置本体部２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００３９】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４０】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるとともにインタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号を通信回線４０へ送出する。
【００４１】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像配信装置本体部２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００４２】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする記録部５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。
【００４３】
図１１は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００４４】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３６，３９を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ（特定領域メモリ）１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。伸張部３４は、例えば圧縮符号化画像信号の復号化をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。端末装置本体部３１に含まれる要素３３〜３７，３９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００４５】
（画像配信システムの動作）
図１２は画像配信装置２０の動作手順を示すフローチャートであり、図１３は、端末装置３０の動作手順を示すフローチャートである。端末装置３０に対してユーザが所定の接続指示を行うと、端末装置３０のインタフェース３３が通信回線４０を通じて画像配信装置２０のインタフェース２６へ接続され、図１２および図１３の処理が開始される。通常においては、画像配信装置２０は図１２の処理に先立って図１に示す処理をすでに開始しており、図１に示す処理にもとづいて、例えば他の端末装置（顧客）へ配信が行われつつある中で、新たな顧客である端末装置３０との間で図１２の処理が並行して開始される。
【００４６】
図１２および図１３の処理が開始されると、まず端末装置３０から画像配信装置２０へ配信要求信号が送られる（ステップＳＴ５０；図１３）。この配信要求信号は画像配信装置２０によって受信される（ステップＳＴ４０；図１２）。すると、画像配信装置２０は、キーブロックメモリ２（図１）に蓄積されている１フレーム分のキーＧＯＢ、すなわち第２の参照フレームと、キーフレームメモリ１（図１）に記憶されるキーフレーム、すなわち第１の参照フレームとを読出し、端末装置３０へ配信する（ステップＳＴ４１；図１２）。ステップＳＴ４１の処理が終了すると、図１２の処理は完了する。
【００４７】
ステップＳＴ４１の処理によって配信された第１および第２の参照フレームは、端末装置３０によって受信される（ステップＳＴ５１；図１３）。つづいて端末装置３０は、受信した第１および第２の参照フレームを、それぞれキーフレームメモリ１０およびキーブロックメモリ１１へ記憶する（ステップＳＴ５２；図１３）。ステップＳＴ５２の処理が終了すると、図１３の処理は完了する。
【００４８】
図１２および図１３の処理が完了すると、画像配信装置２０は、すでに実行しつつある図１の手順に沿った処理の中で生成される圧縮符号化画像信号を、端末装置３０へ配信する。配信される圧縮符号化画像信号は、端末装置３０によって受信され、図６の手順に沿って処理される。
【００４９】
以上のように、画像配信装置２０は、端末装置３０からの配信要求信号に応答して、記憶している第１および第２の参照フレームを配信し、端末装置３０はこれらを記憶することにより、その後に配信される圧縮符号化画像信号の復号化を直ちに開始することができる。すなわち、端末装置３０は、画像配信装置２０が生成する圧縮符号化画像信号を、任意の時点から受信することが可能であり、かつ受信開始後に待ち時間なしで即時に復号化を開始することができる。
【００５０】
なお、端末装置３０は、好ましくは図６の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２２の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち望ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、画像配信装置２０が実行する図１の処理についても同様である。図１および図６は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を無視すれば、図１および図６の処理は、１フレーム毎に反復的に実行される。
【００５１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、外部からの配信要求信号に応答して、記憶している第１および第２の参照フレームを配信し、圧縮符号化された信号がその後に得られるごとに、当該信号を配信するので、配信要求を行った外部の端末装置等は、最初に配信される第１および第２の参照フレームにもとづいて、その後に配信される信号を直ちに復号化することができる。すなわち、端末装置等は本態様にかかる方法によって生成される圧縮符号化画像信号を、任意の時点から受信することが可能であり、かつ受信開始後に待ち時間なしで即時に復号化を開始することができる。
【００５２】
本発明のうち第２の態様にかかる方法では、配信要求信号を送出した後に最初に配信される第１および第２の参照フレームを記憶し、これらの第１および第２の参照フレームにもとづいて、その後に配信される信号を復号化する。したがって、第１の態様にかかる画像配信方法によって生成される圧縮符号化画像信号を、任意の時点から受信することが可能であり、かつ受信開始後に待ち時間なしで即時に復号化を開始することができる。
【００５３】
本発明のうち第３の態様にかかるプログラムでは、コンピュータに搭載することにより、第１または第２の態様にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置の構成を示すブロック図である。
【図１１】図９の端末装置の構成を示すブロック図である。
【図１２】図１０の画像配信装置の動作手順を示すフローチャートである。
【図１３】図１１の端末装置の動作手順を示すフローチャートである。
【図１４】従来の符号化方法を説明するためのフローチャートである。
【図１５】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１キーフレームメモリ
２特定領域メモリ
１０キーフレームメモリ
１１特定領域メモリ
Ａ参照フレーム
ｆ１キーフレーム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image distribution method for compressing and distributing a moving image, an image decoding method for decoding the distributed moving image, and a program thereof, and particularly to a moving image with little temporal change such as a monitoring video. The present invention relates to a suitable image delivery method, an image decoding method, and a program thereof.
[0002]
[Prior art]
As a compression encoding method of moving images, a method combining DCT (Discrete Cosine Transform) and motion compensation prediction encoding is generally used, and this method is also adopted in the MPEG (Moving Picture Experts Group) method. ing. In general, DCT is applied to intra-frame coding in which coding is performed using only information in a frame (still image) so as to reduce redundancy in the spatial direction. In addition, motion compensation predictive coding (interframe coding) predicts a coding target frame from a frame at another time in order to reduce temporal redundancy, and a difference signal between the coding target frame and the predicted frame. Is subjected to DCT, quantization, or the like. In this case, in order to keep the difference small, the encoding target frame is often predicted from temporally adjacent frames. Such intra-frame coding and motion-compensated prediction coding processes are performed with a block obtained by dividing a frame into a plurality of basic processing units.
[0003]
However, in a moving image such as a monitoring video that has an extremely small temporal change, an input frame is periodically set as a reference image (hereinafter referred to as a key frame), and the interval between the key frame and the input frame is set. Even if a differential encoding method that takes a differential signal is used, it is considered that the difference amount between both frames is small. This method has advantages such as a reduction in calculation load and resistance to errors caused by missing frames, as compared with the above-described motion compensation prediction encoding using adjacent frames. The outline of the conventional differential encoding method will be described with reference to FIG. Assume that a plurality of frames f1, f2,... Sequentially output from the imaging sensor are sequentially input to the encoder. As shown in FIG. 14, when a frame fn (n = 1, 2,...) Is input (ST100), whether or not the input frame fn is a key frame is determined in step ST101. If the frame fn is a key frame, intra-frame encoding processing is executed in step ST102. That is, the frame fn is divided into blocks, DCT is performed for each block, and the transform coefficient is calculated. Next, a quantized coefficient obtained by quantizing the transform coefficient is output. Next, in step ST103, encoded data obtained by variable-length encoding (entropy encoding) the quantization coefficient is generated, converted into a bit stream, and output. The quantization coefficient calculated in step ST102 is stored in the key frame memory 100 after being decoded (inverse quantization and inverse DCT) in step ST104.
[0004]
Next, when the next frame fm (m = n + 1) is input in step ST100, whether or not the frame fm is a key frame is determined in step ST101. If the frame fm is not a key frame, the process proceeds to step ST105. Then, the difference value of the pixel value is calculated for each block between the key frame fn and the frame fm stored in the key frame memory 100. Next, in step ST106, it is determined whether or not the difference value is within a predetermined range. If the difference value is within the predetermined range, inter-frame encoding is performed in step ST107, that is, the difference between the key frame and the input frame fm. The signal is subjected to DCT and quantization. On the other hand, if the difference value exceeds the predetermined range, intra-frame coding is executed in step ST108. As described above, the quantization coefficients calculated in steps ST107 and ST108 are variable-length encoded in step ST103, converted into a bit stream, and then output.
[0005]
An example of such bitstream decoding processing will be described below with reference to FIG. When the bit stream is input (ST110), a compression-coded signal is extracted from the bit stream and subjected to variable length decoding to obtain the quantization coefficient. Next, in step ST111, when the quantized coefficient has been intra-frame encoded in step ST102 of the compression encoding process, the decoding (intra-frame decoding) is performed and stored in the key frame memory 101, If the quantized coefficient has been intra-coded in step ST108, the decoding is performed. On the other hand, if the quantized coefficient has been inter-frame encoded at step ST107, the decoding (inter-frame decoding) is performed with reference to the key frame stored in the key frame memory 101. Then, a decoded image that has been decoded within a frame or between frames is output (ST112).
[0006]
[Problems to be solved by the invention]
However, in the above differential encoding method, since the differential encoding between the key frame and the frame separated in time is performed, the image quality of the key frame is directly related to the image quality of the entire moving image. The key frame is subjected to intra-frame coding in which compression coding is performed using only the information in the frame. As a result, there has been a problem in that the amount of moving picture encoding processing increases rapidly during key frame encoding, and transmission of key frame compressed encoded data is delayed or intermittent. Particularly when moving images are transmitted and reproduced (streamed) in real time through a network, there are cases in which a change in the reproduction speed of the decoded moving images and intermittent images occur.
[0007]
In view of such problems, the present invention intends to solve the problem of suppressing the rapid increase in the amount of encoding processing of key frames, flattening the amount of encoding processing in terms of time, and improving the quality of moving images. Assuming a compression encoding method for moving images, a compression encoded image signal generated along the time based on the compression encoding method is received from an arbitrary point in time, and decoding is started immediately. It is an object to provide an image distribution method, an image decoding method, and a program thereof that make it possible.
[0008]
[Means for Solving the Problems]
According to the first aspect of the present invention, a compression-encoded image signal is obtained by compressing and encoding an image signal composed of a plurality of frames that are sequentially input, and in response to a distribution request signal input from the outside. An image distribution method for distributing the compression-encoded image signal by: (a) specifying and compression-encoding a key frame from the plurality of frames, and decoding the compression-encoded key frame Storing as a first reference frame; (b) dividing a frame input after the key frame into a plurality of block areas and designating a specific area from the block areas; Performing intra-frame coding on the specific area, decoding and storing the specific area subjected to the intra-frame coding, and (d) storing the first A step of performing inter-frame coding on each block region excluding the specific region divided in the step (b) by referring to a reference frame; and (e) the steps (b) to (d). And the step of accumulating the specific area stored every time the step (c) is performed as one second reference frame, and (f) the steps (a) to (e). Repeatedly executing, each time the first reference frame is stored in the step (a), the first reference frame already stored is updated, and the second reference frame is updated in the step (e). A step of updating the already stored second reference frame each time accumulation as a frame is performed.
[0009]
Here, the step (a) includes: (a-1) executing the inter-frame coding by referring to the stored second reference frame for the designated key frame. The image distribution method further includes (g) distributing the stored first and second reference frames in response to the distribution request signal, and then performing the steps (a), (c ) And (d) each time a signal encoded by compression is obtained, the method further includes the step of distributing the signal as the compression-encoded image signal.
[0010]
According to a second aspect of the present invention, there is provided an image decoding method for receiving and decoding a compressed encoded image signal distributed by the image distribution method according to the first aspect. Sending a distribution request signal; (B) storing the first and second reference frames distributed in response to the distribution request signal; and (C) the steps (A) and (B). After that, every time the signal compressed and encoded in each of the steps (a), (c), and (d) is distributed, (C-1) the key frame is compressed and encoded in the step (a). The inter-frame decoding is performed on the signal obtained by the conversion with reference to the stored second reference frame, and the signal already obtained by the signal obtained by the decoding is executed. A step of updating one reference frame, and (C-2) obtained by compressing and coding the specific region in the step (c). A step of performing intra-frame decoding on the signal with respect to the specific region and storing the specific region on which the decoding has been performed; and (C-3) the specific region in the step (d). Selectively performing inter-frame decoding with reference to the stored first reference frame for a signal obtained by compressing and encoding each block region except And (D) from the step (C-1) to the step (C-1) to be executed next, the step (C-2) is stored each time the step (C-2) is repeated. Updating the second reference frame already stored by accumulating the specific area for one frame.
[0011]
According to a third aspect of the present invention, there is provided a program for causing a computer to execute the steps described above in order to realize the method according to the first or second aspect on the computer.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
A. Basic invention premised on the present invention.
First, two embodiments of a basic invention assumed as a premise of the present invention will be described. These embodiments are described as Embodiments 1 and 2, respectively.
[0013]
Embodiment 1 FIG.
1 to 3 are flowcharts for realizing the compression encoding method according to Embodiment 1 of the basic invention. The compression encoding method according to the first embodiment will be described in detail below with reference to this flowchart.
[0014]
A plurality of still images (frames) f1, f2, f3, f4,... Sequentially captured along the time axis by an image sensor such as a CCD (charge coupled device) sensor or a CMOS sensor are encoders according to the first embodiment. (ST1). In addition, before the frame f1 is input, the specific area memory 2 stores a reference frame f0 including a key GOB for one frame, which will be described in detail later. This reference frame f0 is described in the second embodiment to be described later. After being compressed and transmitted, the data is decoded and stored in the specific area memory 11 of the decoder. The encoder according to the first embodiment periodically designates key frames from the input frames f1, f2, f3, f4,..., And the input frame f1 is a key frame.
[0015]
First, in step ST2, it is determined whether or not the frame f1 is a key frame. Since the frame f1 is a key frame, the process proceeds to step ST3. As shown in FIG. 2, the difference value of the pixel value between the reference frame f0 and the input frame f1 stored in the specific area memory 2 in step ST4, An absolute value sum (difference absolute value sum) S of the difference values is calculated, and then it is determined in step ST5 whether or not the difference absolute value sum is equal to or less than a threshold value. For example, the difference value is ΔP _i When expressed by (i: number corresponding to each pixel), the sum of absolute differences S is S = | ΔP ₁ | + | ΔP ₂ | + ... + | ΔP _n | (N: number of pixels). If the sum of absolute differences S is less than or equal to the threshold, the input frame f1 is subjected to interframe coding using the frame f0 because the temporal change between both frames f0 and f1 is small (ST6). Specifically, an orthogonal transform such as DCT (Discrete Cosine Transform) is performed on the difference signal between the input frame f1 and the frame f0, and a quantized coefficient obtained by quantizing the transform coefficient is calculated. Such inter-frame coding processing is executed in units of blocks having a size of 8 × 8 pixels, 16 × 16 pixels, or the like. The same applies to the subsequent processing. In this embodiment, orthogonal transform such as DCT is adopted as a transform method, but DWT (discrete wavelet transform) may be employed instead of DCT. In this case, instead of performing the inter-frame encoding process in units of blocks, the frame unit or the frame may be divided into a plurality of areas called tiles in consideration of the execution memory capacity and the like, and may be executed in units of tiles.
[0016]
On the other hand, when the difference absolute value sum S calculated in step ST4 exceeds the threshold value in step ST5, the process proceeds to step ST7, and the input frame f1 is subjected to intraframe encoding that encodes only the information in the frame. The Specifically, orthogonal transformation such as DCT is performed on the pixel value of the frame f1, and a quantized coefficient obtained by quantizing the transform coefficient is calculated.
[0017]
From the viewpoint of increasing the compression rate of the frame, color space conversion is performed on the input frame before the intra-frame coding (ST7) or the inter-frame coding (ST6). For example, when the original signal is composed of RGB spaces of “R (red component)”, “G (green component)”, and “B (blue component)”, this is adopted in the NTSC (National Television System Committee) system or the like. YUV coordinate system, YIQ coordinate system, YC _b C _r A coordinate system or the like may be used. For example, YC _b C _r When a coordinate system is used, the RGB components are a luminance signal Y and two color difference signals C. _b , C _r YC consisting of _b C _r Converted to the component coordinate system. YC _b C _r Since the component has a smaller correlation between the components than the RGB component, the image size can be compressed.
[0018]
Next, as shown in FIG. 1, the process proceeds to step ST19, and the quantized coefficients calculated in steps ST6 and ST7 are subjected to entropy coding including Huffman coding, and then the image size and quantization of the frame It is multiplexed with image information such as the number of bits, and compression information such as a quantization table and a coding method (intraframe coding, interframe coding) of each block area, and output as a bit stream. The quantized coefficients calculated in steps ST6 and ST7 are locally decoded (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST8 and stored in the key frame memory 1. Therefore, the key frame memory 1 stores the changed key frame including the quantization error through encoding (ST6, ST7) and decoding (ST8). As a result, the image of the key frame becomes the same as the image of the key frame that is referred to when decoding (inter-frame decoding) by a later-described decoder, and the image quality of the moving image to be decoded is not deteriorated. . The compression encoding process for the input frame f1 (key frame) is thus completed.
[0019]
Next, when the frame f2 is input to the encoder following the frame f1, whether or not the frame f2 is a key frame is determined in step ST2. Since the frame f2 is not a key frame, the process shifts to step ST9, and the frame f2 is divided into a plurality of block areas (hereinafter referred to as GOB), and then in step ST9, one or more of these block areas (GOB) are selected. A plurality of specific areas (hereinafter referred to as key GOB) are designated. FIG. 4A schematically shows a frame f2 divided into four GOBs. The frame f2 is divided into four GOBs in units of ten to several tens of pixels in the vertical direction, and the first stage GOB is designated as the key GOB. As shown in FIGS. 2B to 2D, the frames f3 to f5 sequentially input to the encoder following the frame f2 are also divided into a plurality of GOBs, and the second stage GOB of the frame f3 and the frames f4 The third stage GOB and the fourth stage GOB of the frame f5 are designated as the key GOB. As shown in FIG. 5, such frames f1 to f5 are arranged along the time axis.
[0020]
Next, the process proceeds to step ST11, and thereafter, the frame f2 is sequentially processed for each block obtained by further dividing the GOB into basic processing units of about 8 × 8 pixels or 16 × 16 pixels. In step ST11, it is determined whether or not the block to be processed belongs to the key GOB. If the block belongs to the key GOB, the block is subjected to the intra-frame coding in step ST12 and then entropy-coded in step ST19 and multiplexed with the image information and the compression information to form a bit stream. Is output. In addition, the quantization coefficient output by intra-frame encoding the block in step ST12 is stored in the specific area memory 2 after being subjected to local decoding (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST13. The
[0021]
On the other hand, if the block does not belong to the key GOB in step ST11, the process proceeds to a subroutine of step ST14, and the block of the input frame and the key frame stored in the key frame memory 1 are stored in step ST15 as shown in FIG. And a difference absolute value sum S are calculated. Next, in step ST16, a condition determination is made as to whether or not the difference absolute value sum S is less than or equal to the threshold value. If the difference absolute value sum S is less than or equal to the threshold value, the process proceeds to step ST17, The inter-frame coding is performed with reference to the stored key frame. On the other hand, when the difference absolute value sum S exceeds the threshold value, the process proceeds to step ST18, and the block is subjected to the intra-frame coding. Thus, the quantized coefficients encoded in steps ST17 and ST18 are subjected to variable length encoding (entropy encoding) and the multiplexing process in step ST19 shown in FIG. 1 and output as a bit stream. . Thus, the compression encoding process for the input frame f2 is completed.
[0022]
Next, the frames f3, f4,... Input to the encoder subsequent to the frame f2 are processed in the same manner as in the case of the frame f2 until the key frame is input. Therefore, the keys GOB1 to GOG4 decrypted in step ST13 are stored in the specific area memory 2 for one frame, and the keys GOB1 to GOB4 are stored in the specific area memory 2 as shown in FIG. Is synthesized. This reference frame A is used when a key frame to be input later is inter-frame encoded in the subroutine of step ST3.
[0023]
As described above, in the compression coding method according to the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference from the reference frame stored in the specific area memory 2 in step ST3. In steps ST9 and ST10, the input frame is divided into a plurality of GOBs, a key GOB is designated, and a key GOB for one frame is distributed over a plurality of frames along the time axis. GOB is intra-coded. For this reason, the intraframe encoding processing amount is dispersed in time, the rapid increase in the compression encoding processing amount is suppressed, the encoding processing amount is flattened in time, and the playback speed of the moving image at the transmission destination As a result, it is possible to compress and transmit a high-quality moving image without changing. In particular, the effect is exhibited in a transmission line with a limited bandwidth such as the Internet.
[0024]
In the specific area memory 2, the key GOB distributed in a plurality of frames is stored, and a reference frame A composed of these keys GOB is formed. This reference frame A is an accumulation of key GOBs at different times. In the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference between the reference frame A and the key frame. For this reason, the difference in image quality between GOBs resulting from the use of the reference frame A made up of the key GOBs at different times is alleviated, and it becomes possible to compress and transmit high-quality moving images.
[0025]
Embodiment 2. FIG.
Next, the decoding method according to Embodiment 2 of the basic invention will be described in detail below. FIG. 6 is a flowchart for realizing the decoding method according to the second embodiment.
[0026]
The compressed image data encoded in the first embodiment is converted into a bit stream and input to the decoder according to the second embodiment (ST20). The compressed image data is separated from the bit stream and then decoded in step ST21. That is, since the compressed data of the frames f1, f2,... Are sequentially input from the encoder to the decoder according to the second embodiment, the above-described embodiment is applied to the compressed data of the key frame f1 in step ST21. The decoding process of intra-frame coding or inter-frame coding in step ST3 of the form 1 is performed in units of blocks of about 8 × 8 pixels or 16 × 16 pixels. When decrypting the compressed data of the key frame f1, the reference frame f0 stored in advance in the specific area memory 11 is used. The decrypted key frame f1 is stored in the key frame memory 10.
[0027]
In addition, intraframe coding or interframe coding in steps ST12 and ST14 to ST18 of the first embodiment is applied to the compressed data of frames f2, f3,. Decoding processing is performed for each block. When performing decoding processing of interframe coding, the key frame f1 stored in the key frame memory 10 is used. When the frames f2, f3,... Are decrypted, if the block that is the basic processing unit belongs to the key GOB, the block is stored in the specific area memory 11. When the key GOB for one frame is accumulated, the reference frame A composed of these keys GOB is synthesized and used for decoding the compressed data of the key frame to be input to the decoder later. For example, when the compressed data of the frames f2 to f5 shown in FIGS. 4A to 4D are input to the decoder, the compressed data of the blocks constituting each key GOB is subjected to intra-frame decoding. The reference frame A is reconstructed by sequentially accumulating in the specific area memory 11.
[0028]
In this way, when the frame groups f1, f2,... Decoded in step ST21 are displayed as a moving image, the image quality of the moving image between the GOB that has been intra-frame encoded by the encoder and the GOB that has been inter-frame encoded. The key GOB encoded in the frame may be clearly seen in the moving image. In order to prevent such a case, the second embodiment includes a key GOB requantization process in which only the key GOB decrypted in step ST21 is re-encoded and decrypted in step ST22 shown in FIG. It is.
[0029]
FIG. 7 is a flowchart showing the key GOB requantization process. As shown in FIG. 7, first, a block of about 8 × 8 pixels or 16 × 16 pixels is input (ST30). Next, in step ST31, it is determined whether or not the block belongs to the key GOB. If the block does not belong to the key GOB, the block is not requantized, and the key GOB requantization processing ends. The process moves to step ST23 shown in FIG. On the other hand, if the block belongs to the key GOB, the process proceeds to step ST32, the difference value between the key frame stored in the key frame memory 10 and the pixel value of the block, and the difference absolute value sum S of the difference values. And are calculated. Next, in step ST33, a condition determination is made as to whether or not the difference absolute value sum S is equal to or smaller than a threshold value. If the difference absolute value sum S exceeds the threshold value, the block is not requantized, and key GOB requantization processing is performed. Is completed, and the process proceeds to step ST23 shown in FIG.
[0030]
On the other hand, if it is determined in step ST33 that the sum of absolute differences S is equal to or less than the threshold, the process proceeds after step ST34. First, in step ST34, the difference signal between the block and the key frame is transform-coded, and then in step ST35, the transform coefficient is quantized. The processes of these steps ST33 to ST35 are performed by a determination process (ST16) of an encoding method (interframe encoding, intraframe encoding) based on the sum of absolute differences S performed by the encoder, orthogonal transformation such as DCT, This is the same as the quantization process (ST17). After that, in step ST36, the quantized coefficient is inversely quantized, and then in step ST37, transform coding decoding (inverse orthogonal transform such as inverse DCT) in step ST34 is performed. As a result, in accordance with the processing in steps ST34 to ST37, the quantization error is the same as when the block signal other than the key GOB is interframe-encoded by the encoder and the encoded signal is decoded by the decoder. An irreversible differential signal including is obtained. Next, a block is reconstructed from the difference signal using the key frame stored in the key frame memory 10 in step ST38 and output.
[0031]
The block subjected to the above key GOB requantization processing is output after being combined with a frame (decoded image) in step ST23 shown in FIG. The above key GOB requantization process will be described by taking the frames f2 to f5 shown in FIG. 4 as an example. As schematically shown in FIG. 8, the keys of the frames f2 to f5 decrypted in step ST21 described above are used. The difference between the GOB and the key frame stored in the key frame memory 10 is taken. Next, in step ST32, it is determined whether or not the difference absolute value sum S of the difference values is equal to or less than a threshold value, that is, whether or not to perform interframe encoding. If the difference absolute value sum S is equal to or less than the threshold value, the key GOB is determined. On the other hand, interframe coding (transform coding and quantization) is performed on the frames, and then decoding of the interframe coding (dequantization and inverse transform decoding) is performed on the frames f2 to f5. Corresponding decoded images F1 to F5 are generated.
[0032]
As described above, according to the second embodiment, if the difference between the key GOB and the key frame is small in the same procedure as the compression coding processing (ST15 to ST17) according to the first embodiment, the key GOB After compressing and encoding the difference signal from the key frame, the decoding is performed and the key GOB is reconstructed. Therefore, the block area other than the key GOB is inter-frame encoded by the encoder and decoded. In the same manner as when the encoded signal is decoded by the coder, the key GOB is mixed with inter-frame encoding and an error associated with the decoding. Therefore, when displaying the decoded moving image, the key GOB does not stand out in the moving image, and there is an effect that the person watching the moving image does not feel uncomfortable.
[0033]
B. Embodiment of the present invention.
Next, an embodiment of the present invention based on the basic invention described above will be described.
[0034]
(Outline of image distribution system)
FIG. 9 is a block diagram showing the configuration of the image distribution system according to the embodiment of the present invention. The image distribution system 120 includes an image distribution device 20, a communication line 40, and a terminal device 30. The image distribution apparatus 20 executes the compression encoding method according to the first embodiment shown in FIG. 1, generates a compression encoded image signal in the form of a bit stream, and outputs it to the communication line 40. When the terminal device 30 is connected to the image distribution device 20 through the communication line 40, the compressed encoded image signal output by the image distribution device 20 over time is decoded by the image decoding according to the second embodiment shown in FIG. Decrypt based on the encryption method. The image distribution device 20 and the terminal device 30 are further configured so that the compression-coded image signal is started to be received by the terminal device 30 from any time designated by the user of the terminal device 30 and decoding can be started immediately. It is configured. An example of the communication line 40 is a network such as a LAN or the Internet. In this specification, the encoding method and the decoding method according to the basic invention are temporarily referred to as an “SRVC (Super Real Video Codec) system”.
[0035]
As shown in FIG. 5, in a compression-encoded image signal based on the SRVC method output from the image distribution apparatus 20, one frame frame to a frame immediately before the next key frame constitute one frame group. One frame group includes a key frame and a plurality of subsequent non-key frames. As illustrated in FIG. 4, the non-key frame has a key GOB that is a specific area in the frame. Among the non-key frames, a non-specific area (for example, an area described as GOB in FIG. 4) excluding the key GOB (specific area) refers to a key frame belonging to the same frame group as a reference frame. Also referred to as “one reference frame”). Therefore, a non-key frame is a difference image from a key frame belonging to the same frame group, and depends on the key frame. The key GOB included in the non-key frame is used as a reference frame (also referred to as a “second reference frame”) for inter-frame coding of key frames belonging to the next frame group. It is a difference image with a set of these keys GOB for one frame. That is, the key frame depends on the non-key frame belonging to the previous frame group.
[0036]
As described above, in the compression encoded image signal based on the SRVC method, all the frames are complementary to each other. When the terminal device 30 receives a compression-encoded image signal that is output in accordance with time, decoding is performed without causing any problem by performing intra-frame encoding only for the top key frame. Can be achieved. However, when the terminal device 30 receives the compression-coded image signal halfway, since each frame after the start of reception depends on other frames, decoding of each received frame is performed independently. Can't do it.
[0037]
For example, if intra-frame encoding is performed on a key frame at a ratio of one for each of a plurality of key frames, the terminal device 30 may receive and decode the compressed encoded image signal halfway. It becomes possible. However, in this case, after starting reception, it is necessary to wait for the start of decoding until the first key frame encoded in the frame is received. In order to solve such a problem of responsiveness, the image distribution device 20 first distributes data necessary for decoding when starting distribution to the terminal device 30 in response to a request. Based on the data received first, the terminal device 30 immediately starts decoding the compressed encoded image signal received thereafter. Hereinafter, the configuration and operation procedure of the image distribution device 20 and the terminal device 30 will be described in detail.
[0038]
(Image distribution system configuration)
FIG. 10 is a block diagram illustrating a configuration of the image distribution device 20. The image distribution device 20 includes an image distribution device main body 21 and a camera 22. The image distribution apparatus main body 21 includes a video decoder 23, a compression unit 24, an image recording unit 25, an interface 26, a control unit 27, a work memory 29, and a bus line 28 for connecting them together.
[0039]
An image signal obtained by imaging with the camera 22 is converted from an analog format to a digital format by the video decoder 23. The digital image signal output from the video decoder 23 is compressed and encoded by the compression unit 24.
[0040]
The work memory 29 is a memory for temporarily holding an image signal in the process of compression encoding processing, and includes the key block memory (specific area memory) 2 and the key frame memory 1 shown in FIG. The compression-coded image signal output from the compression unit 24 is stored in the image recording unit 25 and sent to the interface 26. The interface 26 is connected to the external communication line 40, thereby sending the compressed encoded image signal output from the compression unit 24 to the communication line 40.
[0041]
The control unit 27 is composed of, for example, a CPU that operates based on a program (software), and fulfills a function of controlling the elements 23 to 26 and 29. When the control unit 27 is formed of a CPU, the image recording unit 25 also functions as a memory that stores a program that defines the operation of the CPU. The compression unit 24 is configured by a semiconductor chip (LSI) that executes compression of an image signal only by hardware, for example. Some of the elements 23 to 27 and 29 included in the image distribution apparatus main body 21 or each of them may be configured by a single semiconductor chip (LSI or system LSI). A semiconductor chip (system LSI) may be used.
[0042]
As described above, the image distribution apparatus 20 is configured to be able to output the compression-encoded image signal to the communication line 40 in synchronization with the image signal input from the camera 1, that is, in real time. . In addition, since the recording unit 5 for storing the compression-encoded image signal is provided, not only the compression-encoded image signal can be distributed but also recorded according to the purpose and conditions.
[0043]
FIG. 11 is a block diagram showing an internal configuration of the terminal device 30. The terminal device 30 includes a terminal device main body 31 and a monitor 32. The terminal device main body 31 includes an interface 33, an expansion unit 34, an image storage unit 35, a video encoder 36, a control unit 37, and a bus line 38 that connects these components to each other. The interface 33 is connected to the communication line 40, thereby communicating with the image distribution apparatus 20 through the communication line 40. The decompressing unit 34 decodes the compression-coded image signal received by the interface 33. The video encoder 36 converts the image signal decoded by the decompression unit 34 from a digital format to an analog format. The analog image signal output from the video encoder 36 is input to the monitor 32. The monitor 32 displays the input analog image signal on the screen.
[0044]
The control part 37 is comprised by CPU which operate | moves based on a program (software), for example, and has fulfill | performed the function which controls each element 33-36,39. The control unit 37 may be configured by an LSI including only hardware instead of the CPU. The image storage unit 35 is a work memory for temporarily holding an image signal in the course of processing by the decompression unit 34, and includes the key block memory (specific area memory) 11 and the key frame memory 10 shown in FIG. It is out. When the control unit 37 is formed of a CPU, the image storage unit 35 also functions as a memory that stores a program that defines the operation of the CPU. For example, the decompressing unit 34 is configured by a semiconductor chip (LSI) that executes decoding of a compression-encoded image signal only by hardware. Some or all of the elements 33 to 37 and 39 included in the terminal device main body 31 may be formed of a single semiconductor chip (LSI or system LSI), and the whole is a single semiconductor. A chip (system LSI) may be used.
[0045]
(Operation of image distribution system)
FIG. 12 is a flowchart showing an operation procedure of the image distribution apparatus 20, and FIG. 13 is a flowchart showing an operation procedure of the terminal apparatus 30. When the user gives a predetermined connection instruction to the terminal device 30, the interface 33 of the terminal device 30 is connected to the interface 26 of the image distribution device 20 through the communication line 40, and the processes of FIGS. 12 and 13 are started. Normally, the image delivery apparatus 20 has already started the process shown in FIG. 1 prior to the process shown in FIG. 12, and the delivery is performed, for example, to another terminal device (customer) based on the process shown in FIG. In the meantime, the process of FIG. 12 is started in parallel with the terminal device 30 which is a new customer.
[0046]
When the processing of FIGS. 12 and 13 is started, a distribution request signal is first sent from the terminal device 30 to the image distribution device 20 (step ST50; FIG. 13). This distribution request signal is received by the image distribution apparatus 20 (step ST40; FIG. 12). Then, the image distribution device 20 stores the key GOB for one frame stored in the key block memory 2 (FIG. 1), that is, the second reference frame and the key frame stored in the key frame memory 1 (FIG. 1). That is, the first reference frame is read and distributed to the terminal device 30 (step ST41; FIG. 12). When the process of step ST41 ends, the process of FIG. 12 is completed.
[0047]
The first and second reference frames distributed by the process of step ST41 are received by the terminal device 30 (step ST51; FIG. 13). Subsequently, the terminal device 30 stores the received first and second reference frames in the key frame memory 10 and the key block memory 11, respectively (step ST52; FIG. 13). When the process of step ST52 is completed, the process of FIG. 13 is completed.
[0048]
When the processing of FIGS. 12 and 13 is completed, the image distribution device 20 distributes to the terminal device 30 the compression-encoded image signal generated in the processing according to the procedure of FIG. The compressed encoded image signal to be distributed is received by the terminal device 30 and processed according to the procedure of FIG.
[0049]
As described above, the image distribution apparatus 20 distributes the stored first and second reference frames in response to the distribution request signal from the terminal apparatus 30, and the terminal apparatus 30 stores these. Then, decoding of the compressed encoded image signal distributed thereafter can be started immediately. That is, the terminal device 30 can receive the compressed encoded image signal generated by the image distribution device 20 from an arbitrary point in time, and can immediately start decoding without waiting after the reception starts. it can.
[0050]
The terminal device 30 preferably performs the process of FIG. 6 continuously for each frame. For example, when the process of step ST22 is performed for one frame, the next frame However, the process of step ST20 may be performed simultaneously. That is, preferably, the terminal device 30 executes processing for the compression-encoded image signal in the form of pipeline processing. The same applies to the processing of FIG. 1 executed by the image distribution apparatus 20. FIG. 1 and FIG. 6 show the flow of processing for a frame of pipeline processing performed on an image signal, focusing on an arbitrary frame. If the temporal context between the end time of the process for one frame and the start time for the next frame is ignored, the processes of FIGS. 1 and 6 are repeatedly executed for each frame.
[0051]
【The invention's effect】
In the method according to the first aspect of the present invention, the stored first and second reference frames are distributed in response to an external distribution request signal, and a compression-coded signal is obtained thereafter. Since the signal is distributed every time it is transmitted, the external terminal device that has requested distribution immediately decodes the signal distributed thereafter based on the first and second reference frames distributed first. can do. That is, a terminal device or the like can receive a compression-encoded image signal generated by the method according to this aspect from an arbitrary point in time, and can immediately start decoding without waiting after the start of reception. Can do.
[0052]
In the method according to the second aspect of the present invention, the first and second reference frames to be distributed first after sending the distribution request signal are stored, and based on these first and second reference frames. Then, the signal distributed thereafter is decoded. Therefore, the compressed encoded image signal generated by the image distribution method according to the first aspect can be received from an arbitrary point in time, and decoding can be started immediately without waiting after the start of reception. Can do.
[0053]
In the program according to the third aspect of the present invention, the method according to the first or second aspect can be executed by being installed in a computer.
[Brief description of the drawings]
FIG. 1 is a flowchart for realizing an encoding method according to Embodiment 1 of the basic invention as a premise of the present invention;
FIG. 2 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 3 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 4 is an explanatory diagram showing each frame divided into four block areas.
5 is a schematic diagram for explaining an encoding method according to Embodiment 1. FIG.
FIG. 6 is a flowchart for realizing a decoding method according to Embodiment 2 of the basic invention as a premise of the present invention.
FIG. 7 is a flowchart for explaining requantization processing according to the second embodiment;
FIG. 8 is a schematic diagram for explaining a decoding method according to the second embodiment.
FIG. 9 is a block diagram showing a configuration of an image distribution system according to an embodiment of the present invention.
10 is a block diagram illustrating a configuration of the image distribution apparatus in FIG. 9. FIG.
11 is a block diagram showing a configuration of the terminal device of FIG. 9;
12 is a flowchart showing an operation procedure of the image distribution apparatus of FIG.
13 is a flowchart showing an operation procedure of the terminal device of FIG.
FIG. 14 is a flowchart for explaining a conventional encoding method.
FIG. 15 is a flowchart for explaining a conventional decoding method.
[Explanation of symbols]
1 Key frame memory
2 Specific area memory
10 Key frame memory
11 Specific area memory
A Reference frame
f1 keyframe

Claims

An image distribution method for obtaining a compression-encoded image signal by compressing and encoding an image signal composed of a plurality of frames that are sequentially input, and distributing the compression-encoded image signal according to a distribution request signal input from the outside Because
(a) specifying and compressing and encoding a key frame from the plurality of frames, and storing the compressed and encoded key frame as a first reference frame;
(b) dividing a frame to be input after the key frame into a plurality of block areas and designating a specific area from the block areas;
(c) performing intra-frame encoding on the specific area, and decoding and storing the specific area on which the intra-frame encoding has been performed;
(d) performing inter-frame coding on each block area excluding the specific area divided in step (b) by referring to the stored first reference frame;
(e) repetitively executing the steps (b) to (d) and accumulating the specific area stored every time the step (c) is performed as one second reference frame;
(f) The steps (a) to (e) are repeatedly executed, and the first reference frame already stored is updated each time the first reference frame is stored in the step (a). And updating the already stored second reference frame every time the second reference frame is accumulated in the step (e),
With
Step (a)
(a-1) performing inter-frame encoding by referring to the stored second reference frame for the designated key frame, and
The image delivery method includes:
(g) Distributing the stored first and second reference frames in response to the distribution request signal, and then compressing the compressed code in each of the steps (a), (c), and (d) A method of distributing the signal as the compression-encoded image signal each time a converted signal is obtained.

An image decoding method for receiving and decoding a compressed encoded image signal distributed by the image distribution method according to claim 1,
(A) sending the delivery request signal;
(B) storing the first and second reference frames distributed in response to the distribution request signal;
(C) After the steps (A) and (B), each time the signals compressed and encoded in each of the steps (a), (c), and (d) are distributed,
(C-1) performing inter-frame decoding on the signal obtained by compression encoding the key frame in step (a) with reference to the stored second reference frame, Updating the already stored first reference frame with the signal obtained by the decoding;
(C-2) Performing intra-frame decoding on the specific region with respect to the signal obtained by compressing and encoding the specific region in the step (c), and performing the decoding Storing the region;
(C-3) Inter-frame decoding with reference to the stored first reference frame for the signal obtained by compressing and encoding each block area excluding the specific area in the step (d) A step of selectively performing one of the steps of:
(D) Between the step (C-1) and the step (C-1) to be executed next, the specific area stored each time the step (C-2) is repeated is stored for one frame. Updating the second reference frame already stored by accumulating the image decoding method.

A program for causing a computer to execute the steps in order to realize the method according to claim 1 or 2 on a computer.