JP4789127B2

JP4789127B2 - Image distribution method, image recording method, and program thereof

Info

Publication number: JP4789127B2
Application number: JP2001283460A
Authority: JP
Inventors: 稔浩佐藤; 真由美金子
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2001-09-18
Filing date: 2001-09-18
Publication date: 2011-10-12
Anticipated expiration: 2021-09-18
Also published as: JP2003092745A

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮符号化した動画像を配信する画像配信方法、配信を受けた動画像を記録する画像記録方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像配信方法、画像記録方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図２１を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図２１に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図２２を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて生成される圧縮符号化画像信号を、配信を受ける端末装置の側で、高いフレームレートで表示するとともに、低いフレームレートで記録することを可能にする画像配信方法、画像記録方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、画像配信装置が通信回線を通じて端末装置へ圧縮符号化画像信号を配信する画像配信方法であって、(A)前記画像配信装置が前記通信回線を通じて前記端末装置から、配信要求信号と記録レートを通知する記録レート信号とを受信する工程と、(B)前記画像配信装置が、前記工程(A)の後に、順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化工程とを備える。
【０００９】
さらに、当該画像圧縮符号化工程(B)は、(a)前記画像配信装置が、前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記画像配信装置が、前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、(c)入力する前記フレームが前記第１種フレームであるときに、前記画像配信装置が、当該第１種フレームに対する処理を行う工程とを備える。
【００１０】
さらに、当該工程(c)は、(c-1)前記画像配信装置が、前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c-2)前記画像配信装置が、前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(c-3)前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する。
【００１１】
前記工程(B)は、さらに、(d)入力する前記フレームが前記第２種フレームであるときに、前記画像配信装置が、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、(e)前記画像配信装置が、前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記画像配信装置が、前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、を備えており、前記工程(a)は、(a-1)前記画像配信装置が、指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えている。
【００１２】
前記方法は、さらに、(C)前記画像配信装置が、前記工程(B)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された後の信号を、前記圧縮符号化画像信号として前記通信回線を通じて前記端末装置へ配信する工程、を備えており、前記工程(B)において、前記画像配信装置は、前記工程(C)で配信する前記圧縮符号化画像信号から前記第２種フレームを間引いたときのフレームレートが前記工程(A)で受信した前記記録レート以内の値となるように、前記工程(b)で振り分ける第２種フレームの比率を設定する。
【００１３】
本発明のうち第２の態様にかかるものは、端末装置が、通信回線を通じて画像配信装置から圧縮符号化画像信号の配信を受け、記録する画像記録方法であって、(i)前記端末装置が、前記通信回線を通じて前記画像配信装置へ、配信要求信号と記録レートを通知する記録レート信号とを送信する工程と、(ii)前記配信要求信号と前記記録レート信号とに応答して、第１の態様にかかる画像配信方法によって前記画像配信装置から配信される前記圧縮符号化画像信号を前記端末装置が受信する工程と、(iii)前記端末装置が、前記工程(ii)で受信された前記圧縮符号化画像信号から前記第２種フレームを間引く工程と、(iv)前記端末装置が、前記工程(iii)で間引かれた後の前記圧縮符号化画像信号を記録する工程と、(v)前記端末装置が、前記工程(ii)で受信され、前記工程(iii)で間引かれる前の前記圧縮符号化画像信号を復号化することにより、復号化画像信号を得る工程と、を備える。
【００１４】
本発明のうち第３の態様にかかるものは、第２の態様にかかる画像記録方法において、(vi)前記端末装置が、前記工程(v)で得られた前記復号化画像信号を画像として表示する工程を、さらに備える。
【００１５】
本発明のうち第４の態様にかかるものは、第１ないし第３のいずれかの態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１７】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１８】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００１９】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰ_i（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ₁｜＋｜ΔＰ₂｜＋…＋｜ΔＰ_n｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００２０】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００２１】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを使用すればよい。例えば、ＹＣ_bＣ_r座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃ_b，Ｃ_rとからなるＹＣ_bＣ_r成分の座標系へと変換される。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００２２】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００２３】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図４（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２４】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２５】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２６】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２７】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２８】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００２９】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００３０】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００３１】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００３２】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００３３】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３４】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３５】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ２〜Ｆ５が生成される。
【００３６】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３７】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３８】
（画像配信システムの概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。
【００３９】
なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。また、画像配信装置２０に接続される通信回線４０および端末装置３０の双方を含めて、画像配信装置２０の「配信対象」と仮称する。したがって、配信対象のフレームレート（単位時間当たりのフレーム数）は、通信回線４０とそれに接続される端末装置３０との双方のフレームレートによって規定される。画像配信装置２０は、配信対象のフレームレートに適合したフレームレートで、圧縮符号化画像信号を配信する。
【００４０】
端末装置３０は、画像配信装置２０が圧縮符号化画像信号を配信するときのフレームレート、すなわち配信レートで、圧縮符号化画像信号を受信し、画像復号化を行った上でモニタへ表示する。一方、端末装置３０は、受信した圧縮符号化画像信号を、必要なときに復号化し表示することを可能にするために、記録媒体へ記録する場合がある。しかしながら、配信レートと同じフレームレートで記録を行ったのでは、例えばハードディスクなど、記憶容量の限られた記録媒体が、短時間でオーバフローしてしまう。これに対して、端末装置３０が画像信号を記録するときのフレームレートすなわち記録レートを、配信レートよりも低く抑えることができれば、記憶容量の低い記憶媒体を用いて長時間の記録が可能となる。すなわち、配信を受けた圧縮符号化画像信号からフレームを間引くことができれば、間引き前の画像信号を表示すると同時に、間引き後の画像信号を記録することにより、動きの緻密な画像の表示と、記憶容量の低い記録媒体への記録とを、両立的に実現することが可能となる。
【００４１】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームＫからつぎのキーフレームＫの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームＫおよびこれに後続する複数の第１種フレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームＫを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。
【００４２】
したがってフレームP-GOBは、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームＡ（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームＫは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームＫは前のフレーム群に属するフレームP-GOBに依存している。
【００４３】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのキーフレームＫおよびフレームP-GOBは、互いに補完関係にある。したがって、ＳＲＶＣ方式にもとづく圧縮符号化画像信号は、復号化されるまでに、一連のキーフレームＫおよびフレームP-GOBのうちのいずれの１フレームをも捨てることができない。このため、圧縮符号化画像信号を高いフレームレートで表示し、低いフレームレートで記録する場合に、高いフレームレートで配信された圧縮符号化画像信号を、そのまま復号化して表示すると同時に、一連のキーフレームＫおよびフレームP-GOBの一部を間引くことによって低いフレームレートでの記録を実現することはできない。
【００４４】
これに対して、図１０が示すように、フレーム群の中には、第２種フレームＰを挿入することが可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームＫを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。すなわち、フレームＰはフレームP-GOBと同様に、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。しかしながら、フレームＰはフレームP-GOBとは異なり、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームとして用いられることはない。すなわち、フレームＰには、他のフレームが従属することはない。
【００４５】
したがって、画像配信装置２０が配信する圧縮符号化画像信号にフレームＰを含めておき、端末装置３０の側でフレームＰのみを間引くことによって、記録媒体に適合したフレームレートでの記録が可能となる。以下に、画像配信装置２０および端末装置３０について、その構成および動作手順について詳細に説明する。
【００４６】
（画像配信装置の構成）
図１１は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置の本体部をなす画像信号処理装置２１と、カメラ２２とを備えている。画像信号処理装置２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００４７】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４８】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるか、あるいはそれと同時に、インタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号、または画像記録部２５にストアされている圧縮符号化画像信号を、通信回線４０へ送出する。
【００４９】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵ（コンピュータ）で構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像信号処理装置２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５０】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする画像記録部２５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。さらに、リアルタイムでの配信に代えて、記録された圧縮符号化画像信号を画像記録部２５から読出し、インタフェース２６を通じて通信回線４０へ送出することも可能である。
【００５１】
（端末装置の構成）
図１２は、端末装置３０の内部構成を示すブロック図である。端末装置３０は、端末装置本体部３１およびモニタ３２を備えている。端末装置本体部３１は、インタフェース３３、伸張部３４、画像記憶部３５、ビデオエンコーダ３６、制御部３７、記録媒体３９、および、これらを互いに接続するバスライン３８を備えている。インタフェース３３は、通信回線４０に接続されることにより、通信回線４０を媒介して画像配信装置２０との通信を行う。伸張部３４は、インタフェース３３が受信する圧縮符号化画像信号を復号化する。ビデオエンコーダ３６は、伸張部３４で復号化された画像信号を、デジタル形式からアナログ形式へ変換する。ビデオエンコーダ３６が出力するアナログ画像信号は、モニタ３２へ入力される。モニタ３２は、入力されたアナログ画像信号を画面に表示する。
【００５２】
制御部３７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵで構成され、各要素３３〜３６，３９を制御する機能を果たしている。制御部３７は、ＣＰＵに代えて、ハードウェアのみで構成されるＬＳＩで構成されても良い。画像記憶部３５は、伸張部３４による処理の過程で一時的に画像信号を保持するためのワークメモリであり、図６に示したキーブロックメモリ１１およびキーフレームメモリ１０を含んでいる。制御部３７がＣＰＵで形成される場合には、画像記憶部３５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。
【００５３】
記録媒体３９は、インタフェース３３が受信する圧縮符号化画像信号からフレームを間引いたものを記録する。フレームの間引きは、制御部３７によって行われる。端末装置本体部３１に含まれる要素３３〜３７，３９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５４】
（画像配信システムの動作）
図１３は画像配信システム１２０の動作手順を示すフローチャートである。また、図１４および図１５は、図１３の一部の処理の内部手順を示すフローチャートである。さらに、図１６〜図２０は、画像配信システム１２０の動作説明図である。
【００５５】
画像配信システム１２０では、端末装置３０が通信回線４０を通じて画像配信装置２０へ、配信要求信号と記録レートを通知する記録レート信号とを送信すると（ステップＳＴ８１）、これに応答して画像配信装置２０は端末装置３０へ圧縮符号化画像信号を配信するための一連の処理を開始する（ステップＳＴ４０，８２，８３，８４）。
【００５６】
画像配信装置２０は、この一連の処理を開始すると、まず一フレーム群に挿入すべきフレームＰ（図１０）の個数、すなわちフレームＰの挿入数を決定する（ステップＳＴ４０）。フレームＰの挿入数は、画像配信装置２０が配信する圧縮符号化画像信号からフレームＰを間引いたときのフレームレートが、受信した記録レート以内となるように決定される。ステップＳＴ４０の処理は、制御部２７で実行される。
【００５７】
つぎに、画像配信装置２０は、決定した挿入数にもとづいて、画像の圧縮符号化を実行する（ステップＳＴ８２）。ステップＳＴ８２の内部手順は図１４で表される。図１４の処理は圧縮部２４で実行され、ステップＳＴ４１，４２が付加されている点において、図１に示した基本的な処理とは特徴的に異なっている。ステップＳＴ１では、画像信号がフレームごとに圧縮部２４へ入力される。後述するように、図１４の処理は各フレームに対して反復的に実行されるので、ステップＳＴ１におけるフレームレートが配信レートを規定する。
【００５８】
つぎに、ステップＳＴ２において、入力されたフレームがキーフレームＫではないと判定されると、当該フレームが、キーＧＯＢありＰピクチャであるか否か、すなわちフレームP-GOBであるか否かが判定される（ステップＳＴ４１）。入力されたフレームがフレームP-GOBであると判定されると、図１のステップＳＴ９以下と同様の処理が行われる。一方、入力されたフレームがフレームP-GOBでない、すなわちフレームＰであると判定されると、ステップＳＴ４２の処理が行われた後に、処理はステップＳＴ１９へ移行する。ステップＳＴ４２では、ステップＳＴ１４と同じ処理、すなわち図３の処理が、フレーム全体にわたって実行される。ステップＳＴ４２によるフレーム間符号化では、ステップＳＴ１４と同様に、キーフレームメモリ１に格納されているキーフレームが参照される。
【００５９】
このように、入力されたフレームが、ステップＳＴ２およびステップＳＴ４１を通じて、キーフレームＫ、フレームP-GOB、およびフレームＰのいずれかに振り分けられ、それぞれに応じた圧縮符号化処理が施される。振り分けは、ステップＳＴ４０で決定されたフレームＰの挿入数にもとづいて行われる。それにより、フレームＰへの振り分けの比率は、ステップＳＴ４０で決定されたフレームＰの挿入数に対応する。
【００６０】
ステップＳＴ１９は、生成した圧縮符号化画像信号のビットストリームをインタフェース２６へ出力する。インタフェース２６へ出力されたビットストリームは、通信回線４０を通じて端末装置３０へ配信される（図１３のステップＳＴ８３）。ステップＳＴ１９ではビットストリームを、インタフェース２６へ出力するのに代えて、あるいはそれと同時に、画像記録部２５へ出力してもよい。それにより、ビットストリームを一旦記録し、必要に応じて、その後に読み出し、インタフェース２６を通じて端末装置３０へ配信すること（ステップＳＴ８３）も可能となる。
【００６１】
配信される圧縮符号化画像信号は、フレームＰの挿入がない場合には、図１６が示すように、キーフレームＫとフレームP-GOBとで構成される。これに対して、配信レートが例えば３０ｆｐｓ（ｆｐｓは「フレーム毎秒」を表す）であって、通知された記録レートが約１５ｆｐｓであれば、配信される圧縮符号化画像信号には、図１７が示すように約１／２の比率でフレームＰが含まれる。一般に、配信レートがＸであって、通知する記録レートがＸ／ｋ（ｋ＞１）であるときには、約（１−１／ｋ）の比率でフレームＰが挿入される。
【００６２】
端末装置３０は、配信された圧縮符号化画像信号を受信し（ステップＳＴ８３）、復号化する（ステップＳＴ８５）。ステップＳＴ８５の内部手順は図１５で表される。図１５の処理は伸張部３４で実行され、ステップＳＴ２１が、フレームＰの復号化をも行うステップＳＴ４１へ置き換えられている点において、図６の処理とは特徴的に異なっている。
【００６３】
ステップＳＴ２０では、例えば図１７で表される圧縮符号化画像信号のビットストリームが、フレームごとにインタフェース３３から伸張部３４へ入力される。ステップＳＴ５１は、キーフレームＫおよびフレームP-GOBに対しては、図６のステップＳＴ２１と同等の処理を行い、フレームＰに対しては、フレームP-GOBのうちのキーＧＯＢに属しないブロックに対する処理と同等の復号化処理を、フレーム全体にわたって実行する。
【００６４】
端末装置３０は、図１５の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ２３の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ２０の処理が同時に行われることも有り得る。すなわち好ましくは、端末装置３０は圧縮符号化画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１、図６、および図１４の各々に示した処理においても同様である。図１、図６、図１４、および図１５の各々は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を限定しなければ、図１、図６、図１４、および図１５の各々の処理は、１フレーム毎に反復的に実行されると、一般に表現することが可能である。
【００６５】
図１３へ戻って、配信された圧縮符号化画像信号は、ステップＳＴ８５で復号化されると同時に、間引きされる（ステップＳＴ８７）。ステップＳＴ８７は制御部３７（図１２）によって実行され、圧縮符号化画像信号からフレームＰを間引く。間引かれた後の圧縮符号化画像信号は、図１８に例示するように、キーフレームＫとフレームP-GOBとを含みフレームＰを含まないビットストリームとなっている。間引かれた後の圧縮符号化画像信号は、図１９が示すように、記録媒体３９へ記録される（ステップＳＴ８８）。
【００６６】
配信レートＸと記録レートＸ／ｋとの比率ｋが大きいほど、図２０が示すように、フレームＰの挿入数が高められるので、フレームＰを間引いた後のフレームレートを低くすることができる。それによって記録媒体３９は、ステップＳＴ８１で画像配信装置２０へ通知した記録レート、ないしそれ以下のフレームレートで、圧縮符号化画像信号を記録することが可能となる。
【００６７】
図１５のステップＳＴ２３で出力される復号化後の画像信号、すなわち復号化画像信号は、ビデオエンコーダ３６を通じてモニタ３２へ送られる（図１２）。したがってモニタ３２は、図１９が示すように、配信された圧縮符号化画像信号が表現する画像を、配信レートと同じフレームレートで表示する（図１３のステップＳＴ８６）。
【００６８】
一つのフレームについてステップＳＴ８６およびＳＴ８８が終了すると、制御部３７は処理を終了すべきか否かを判断する（ステップＳＴ８９）。例えば端末装置３０のユーザが終了を指示している場合など、終了すべきと判断した場合には、制御部３７は配信終了を通知する信号を画像配信装置２０へ送信し（ステップＳＴ８９）、その後に通信を終了させる（ステップＳＴ９１）。一方、処理を終了すべきでないと判断する間は、制御部３７は圧縮符号化画像信号の受信（ステップＳＴ８３）からステップＳＴ８９までの処理を、フレーム毎に反復させる。
【００６９】
画像配信装置２０では、圧縮符号化画像信号の配信（ステップＳＴ８３）が終了すると、処理を終了すべきか否かを制御部２７が判断する。配信終了を通知する信号を受信している、あるいは画像配信装置２０のオペレータが終了を指示している場合など、処理を終了すべきと判断した場合には、制御部２７は端末装置３０との通信を終了させる（ステップＳＴ９０）。一方、処理を終了すべきでないと判断する間は、制御部２７は画像信号の圧縮符号化処理（ステップＳＴ８２）からステップＳＴ８４までの処理を、フレーム毎に反復させる。
【００７０】
（付記．）
すでに述べたように、画像配信装置２０の配信レートは、通信回線４０の伝送容量および端末装置３０の処理能力に応じて設定される。配信レートの設定方法自体は従来周知であるので、その詳細な説明は略する。一例を挙げれば、図１３のステップＳＴ８１において、端末装置３０から画像配信装置２０へ配信要求、記録レートの通知、とともに配信レートが通知される。画像配信装置２０は、通知された配信レートにもとづいて、あるいは通信回線４０の伝送容量が低ければ、伝送容量にもとづいて、配信レートを設定する。端末装置３０に関しては、配信レートを左右する処理能力は、より特定的には伸張部３４が画像伸張処理を行う能力である。
【００７１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、互いに従属関係を持つように圧縮符号化されるキーフレームと第１種フレームとの他に、他のフレームが自身に従属することのないように圧縮符号化される第２種フレームが割り当てられる。しかも、通信回線を通じて受信した記録レートに応じて、第２種フレームの比率がが設定される。このため、通信回線に接続される端末装置は、自身の記録レートを送信し、これに応答して配信される圧縮符号化画像信号のうちから第２種フレームを間引くことによって、圧縮符号化画像信号を、復号化可能な画像信号として記録することが可能となる。
【００７２】
本発明のうち第２の態様にかかる方法では、第１の態様にかかる方法によって配信される圧縮符号化画像信号から第２種フレームを間引いたものが記録される。このため、復号化可能な画像信号としての圧縮符号化画像信号を、送信した記録レートで記録することが可能となる。また、間引き前の圧縮符号化画像信号が復号化されるので、間引かれない画像を表示することが可能となる。
【００７３】
本発明のうち第３の態様にかかる方法では、間引き前の圧縮符号化画像信号を復号化して得られた復号化画像信号が、画像として表示されるので、動きの滑らかな動画像を鑑賞または監視することができる。
【００７４】
本発明のうち第４の態様にかかるプログラムでは、コンピュータに搭載することにより、第１ないし第３の態様の各々にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の画像配信装置の構成を示すブロック図である。
【図１２】図９の端末装置の構成を示すブロック図である。
【図１３】図１１の画像配信システムの動作手順を示すフローチャートである。
【図１４】図１１の画像配信装置の動作手順を示すフローチャートである。
【図１５】図１２の端末装置の動作手順を示すフローチャートである。
【図１６】図１１の画像配信システムの動作を示す動作説明図である。
【図１７】図１１の画像配信システムの動作を示す動作説明図である。
【図１８】図１１の画像配信システムの動作を示す動作説明図である。
【図１９】図１２の端末装置の動作を示す動作説明図である。
【図２０】図１１の画像配信システムの動作を示す動作説明図である。
【図２１】従来の符号化方法を説明するためのフローチャートである。
【図２２】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１キーフレームメモリ
２特定領域メモリ
１０キーフレームメモリ
１１特定領域メモリ
Ａ参照フレーム
ｆ１，Ｋキーフレーム
Ｋｅｙ−ＧＯＢ特定領域
Ｐ−ＧＯＢ第１種フレーム
Ｐ第２種フレーム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image distribution method for distributing a compression-encoded moving image, an image recording method for recording the distributed moving image, and a program thereof, and particularly suitable for a moving image with little temporal change such as a monitoring video. The present invention relates to an image distribution method, an image recording method, and a program thereof.
[0002]
[Prior art]
As a compression encoding method of moving images, a method combining DCT (Discrete Cosine Transform) and motion compensation prediction encoding is generally used, and this method is also adopted in the MPEG (Moving Picture Experts Group) method. ing. In general, DCT is applied to intra-frame coding in which coding is performed using only information in a frame (still image) so as to reduce redundancy in the spatial direction. In addition, motion compensation predictive coding (interframe coding) predicts a coding target frame from a frame at another time in order to reduce temporal redundancy, and a difference signal between the coding target frame and the predicted frame. Is subjected to DCT, quantization, or the like. In this case, in order to keep the difference small, the encoding target frame is often predicted from temporally adjacent frames. Such intra-frame coding and motion-compensated prediction coding processes are performed with a block obtained by dividing a frame into a plurality of basic processing units.
[0003]
However, in a moving image such as a monitoring video that has an extremely small temporal change, an input frame is periodically set as a reference image (hereinafter referred to as a key frame), and the interval between the key frame and the input frame is set. Even if a differential encoding method that takes a differential signal is used, it is considered that the difference amount between both frames is small. This method has advantages such as a reduction in calculation load and resistance to errors caused by missing frames, as compared with the above-described motion compensation prediction encoding using adjacent frames. The outline of the conventional differential encoding method will be described with reference to FIG. Assume that a plurality of frames f1, f2,... Sequentially output from the imaging sensor are sequentially input to the encoder. As shown in FIG. 21, when a frame fn (n = 1, 2,...) Is input (ST100), it is determined whether or not the input frame fn is a key frame in step ST101. If the frame fn is a key frame, intra-frame encoding processing is executed in step ST102. That is, the frame fn is divided into blocks, DCT is performed for each block, and the transform coefficient is calculated. Next, a quantized coefficient obtained by quantizing the transform coefficient is output. Next, in step ST103, encoded data obtained by variable-length encoding (entropy encoding) the quantization coefficient is generated, converted into a bit stream, and output. The quantization coefficient calculated in step ST102 is stored in the key frame memory 100 after being decoded (inverse quantization and inverse DCT) in step ST104.
[0004]
Next, when the next frame fm (m = n + 1) is input in step ST100, whether or not the frame fm is a key frame is determined in step ST101. If the frame fm is not a key frame, the process proceeds to step ST105. Then, the difference value of the pixel value is calculated for each block between the key frame fn and the frame fm stored in the key frame memory 100. Next, in step ST106, it is determined whether or not the difference value is within a predetermined range. If the difference value is within the predetermined range, inter-frame encoding is performed in step ST107, that is, the difference between the key frame and the input frame fm. The signal is subjected to DCT and quantization. On the other hand, if the difference value exceeds the predetermined range, intra-frame coding is executed in step ST108. As described above, the quantization coefficients calculated in steps ST107 and ST108 are variable-length encoded in step ST103, converted into a bit stream, and then output.
[0005]
An example of such a bitstream decoding process will be described below with reference to FIG. When the bit stream is input (ST110), a compression-coded signal is extracted from the bit stream and subjected to variable length decoding to obtain the quantization coefficient. Next, in step ST111, when the quantized coefficient has been intra-frame encoded in step ST102 of the compression encoding process, the decoding (intra-frame decoding) is performed and stored in the key frame memory 101, If the quantized coefficient has been intra-coded in step ST108, the decoding is performed. On the other hand, if the quantized coefficient has been inter-frame encoded at step ST107, the decoding (inter-frame decoding) is performed with reference to the key frame stored in the key frame memory 101. Then, a decoded image that has been decoded within a frame or between frames is output (ST112).
[0006]
[Problems to be solved by the invention]
However, in the above differential encoding method, since the differential encoding between the key frame and the frame separated in time is performed, the image quality of the key frame is directly related to the image quality of the entire moving image. The key frame is subjected to intra-frame coding in which compression coding is performed using only the information in the frame. As a result, there has been a problem in that the amount of moving picture encoding processing increases rapidly during key frame encoding, and transmission of key frame compressed encoded data is delayed or intermittent. Particularly when moving images are transmitted and reproduced (streamed) in real time through a network, there are cases in which a change in the reproduction speed of the decoded moving images and intermittent images occur.
[0007]
In view of such problems, the present invention intends to solve the problem of suppressing the rapid increase in the amount of encoding processing of key frames, flattening the amount of encoding processing in terms of time, and improving the quality of moving images. And a compressed encoded image signal generated based on the compression encoding method is displayed at a high frame rate on the terminal device receiving the distribution, and a low frame An object of the present invention is to provide an image distribution method, an image recording method, and a program thereof that enable recording at a rate.
[0008]
[Means for Solving the Problems]
The first aspect of the present invention is as follows. Image distribution device Through communication line To terminal device An image distribution method for distributing a compression-encoded image signal, comprising: (A) The image distribution device Through the communication line From the terminal device Receiving a distribution request signal and a recording rate signal for notifying the recording rate, and (B) The image delivery device is After the step (A), an image compression encoding step of compressing and encoding an image signal composed of a plurality of sequentially input frames is provided.
[0009]
Further, the image compression encoding step (B) includes (a) The image delivery device is (B) specifying and compressing and encoding a key frame from the plurality of frames, and storing the compressed and encoded key frame as a first reference frame; The image delivery device is Allocating a frame to be input after the key frame to either a first type frame or a second type frame; and (c) when the input frame is the first type frame, The image delivery device is And a process for performing processing on the first type frame.
[0010]
Further, the step (c) includes (c-1) The image delivery device is Dividing the first type frame into a plurality of block areas and designating a specific area from the block areas; and (c-2) The image delivery device is (C-3) performing intra-frame coding on the specific area and decoding and storing the specific area that has been subjected to the intra-frame coding. The image delivery device is Performing inter-frame coding on each block area excluding the specific area divided in step (c-1) by referring to the stored first reference frame. .
[0011]
In the step (B), (d) when the input frame is the second type frame, The image delivery device is Performing interframe coding on the second type frame by referring to the stored first reference frame; and (e) The image delivery device is Repetitively executing the steps (b) to (d), and accumulating the specific region stored every time the step (c) is performed as one second reference frame; and (f) The image delivery device is The steps (a) to (e) are repeatedly executed, and each time the first reference frame is stored in the step (a), the already stored first reference frame is updated, and Each time accumulation as the second reference frame is performed in step (e), the second reference frame already stored is updated, and the step (a) includes (a -1) The image delivery device is A step of performing inter-frame encoding by referring to the stored second reference frame with respect to the designated key frame.
[0012]
The method further comprises (C) The image delivery device is The signal after being compression-encoded in each of the steps (a), (c), and (d) in the step (B) is transmitted as the compression-encoded image signal through the communication line. To the terminal device A step of delivering, in the step (B), The image distribution device includes: Step (C) so The step (b) so that the frame rate when the second type frame is thinned out from the compressed encoded image signal to be distributed is a value within the recording rate received in the step (A). so Ratio of type 2 frame to be distributed The Setting Do .
[0013]
The second aspect of the present invention is as follows. The terminal device Through communication line From image distribution device An image recording method for receiving and recording a compressed encoded image signal, wherein (i) The terminal device is Through the communication line To the image distribution device A step of transmitting a distribution request signal and a recording rate signal notifying the recording rate; and (ii) in response to the distribution request signal and the recording rate signal, by the image distribution method according to the first aspect From the image distribution device The compressed encoded image signal to be distributed The terminal device Receiving, (iii) The terminal device is A step of thinning out the second type frame from the compressed encoded image signal received in the step (ii); and (iv) The terminal device is Recording the compressed encoded image signal after being thinned out in the step (iii), and (v) The terminal device is Decoding the compressed and encoded image signal received in step (ii) and before being thinned out in step (iii), thereby obtaining a decoded image signal.
[0014]
According to a third aspect of the present invention, there is provided an image recording method according to the second aspect, comprising: (vi) The terminal device is The method further includes the step of displaying the decoded image signal obtained in the step (v) as an image.
[0015]
According to a fourth aspect of the present invention, there is provided a program for causing a computer to execute the above steps in order to realize the method according to any one of the first to third aspects on a computer.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
A. Basic invention premised on the present invention.
First, two embodiments of a basic invention assumed as a premise of the present invention will be described. These embodiments are described as Embodiments 1 and 2, respectively.
[0017]
Embodiment 1 FIG.
1 to 3 are flowcharts for realizing the compression encoding method according to Embodiment 1 of the basic invention. The compression encoding method according to the first embodiment will be described in detail below with reference to this flowchart.
[0018]
A plurality of still images (frames) f1, f2, f3, f4,... Sequentially captured along the time axis by an image sensor such as a CCD (charge coupled device) sensor or a CMOS sensor are encoders according to the first embodiment. (ST1). In addition, before the frame f1 is input, the specific area memory 2 stores a reference frame f0 including a key GOB for one frame, which will be described in detail later. This reference frame f0 is described in the second embodiment to be described later. After being compressed and transmitted, the data is decoded and stored in the specific area memory 11 of the decoder. The encoder according to the first embodiment periodically designates key frames from the input frames f1, f2, f3, f4,..., And the input frame f1 is a key frame.
[0019]
First, in step ST2, it is determined whether or not the frame f1 is a key frame. Since the frame f1 is a key frame, the process proceeds to step ST3. As shown in FIG. 2, the difference value of the pixel value between the reference frame f0 and the input frame f1 stored in the specific area memory 2 in step ST4, An absolute value sum (difference absolute value sum) S of the difference values is calculated, and then it is determined in step ST5 whether or not the difference absolute value sum is equal to or less than a threshold value. For example, the difference value is ΔP _i When expressed by (i: number corresponding to each pixel), the sum of absolute differences S is S = | ΔP ₁ | + | ΔP ₂ | + ... + | ΔP _n | (N: number of pixels). When the difference absolute value sum S is equal to or smaller than the threshold, the input frame f1 is subjected to interframe coding using the frame f0 because the temporal change between the frames f0 and f1 is small (ST6). Specifically, an orthogonal transform such as DCT (Discrete Cosine Transform) is performed on the difference signal between the input frame f1 and the frame f0, and a quantized coefficient obtained by quantizing the transform coefficient is calculated. Further, such inter-frame coding processing is executed in units of blocks having a size such as 8 × 8 pixels or 16 × 16 pixels. The same applies to the subsequent processing. In this embodiment, orthogonal transform such as DCT is adopted as a transform method, but DWT (discrete wavelet transform) may be employed instead of DCT. In this case, the inter-frame encoding process may be executed in units of frames instead of being performed in units of blocks as described above in consideration of an execution memory capacity or the like, or by dividing a frame into a plurality of areas called tiles.
[0020]
On the other hand, when the difference absolute value sum S calculated in step ST4 exceeds the threshold value in step ST5, the process proceeds to step ST7, and the input frame f1 is subjected to intraframe encoding that encodes only the information in the frame. The Specifically, orthogonal transformation such as DCT is performed on the pixel value of the frame f1, and a quantized coefficient obtained by quantizing the transform coefficient is calculated.
[0021]
From the viewpoint of increasing the compression rate of the frame, color space conversion is performed on the input frame before the intra-frame coding (ST7) or the inter-frame coding (ST6). For example, when the original signal is composed of RGB spaces of “R (red component)”, “G (green component)”, and “B (blue component)”, this is adopted in the NTSC (National Television System Committee) system or the like. YUV coordinate system, YIQ coordinate system, YC _b C _r A coordinate system or the like may be used. For example, YC _b C _r When a coordinate system is used, the RGB components are a luminance signal Y and two color difference signals C. _b , C _r YC consisting of _b C _r Converted to the component coordinate system. YC _b C _r Since the component has a smaller correlation between the components than the RGB component, the image size can be compressed.
[0022]
Next, as shown in FIG. 1, the process proceeds to step ST19, and the quantized coefficients calculated in steps ST6 and ST7 are subjected to entropy coding including Huffman coding, and then the image size and quantization of the frame It is multiplexed with image information such as the number of bits, and compression information such as a quantization table and a coding method (intraframe coding, interframe coding) of each block area, and output as a bit stream. The quantized coefficients calculated in steps ST6 and ST7 are locally decoded (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST8 and stored in the key frame memory 1. Therefore, the key frame memory 1 stores the changed key frame including the quantization error through encoding (ST6, ST7) and decoding (ST8). As a result, the image of the key frame becomes the same as the image of the key frame that is referred to when decoding (inter-frame decoding) by a later-described decoder, and the image quality of the moving image to be decoded is not deteriorated. . The compression encoding process for the input frame f1 (key frame) is thus completed.
[0023]
Next, when the frame f2 is input to the encoder following the frame f1, whether or not the frame f2 is a key frame is determined in step ST2. Since the frame f2 is not a key frame, the process shifts to step ST9, and the frame f2 is divided into a plurality of block areas (hereinafter referred to as GOB), and then in step ST9, one or more of these block areas (GOB) are selected. A plurality of specific areas (hereinafter referred to as key GOB) are designated. FIG. 4A schematically shows a frame f2 divided into four GOBs. The frame f2 is divided into four GOBs in units of ten to several tens of pixels in the vertical direction, and the first stage GOB is designated as the key GOB. Figure 4 As shown in (b) to (d), frames f3 to f5 sequentially input to the encoder following the frame f2 are also divided into a plurality of GOBs, and the second stage GOB of the frame f3 and the third stage of the frame f4. The eye GOB and the fourth stage GOB of the frame f5 are respectively designated as the keys GOB. As shown in FIG. 5, such frames f1 to f5 are arranged along the time axis.
[0024]
Next, the process proceeds to step ST11, and thereafter, the frame f2 is sequentially processed for each block obtained by further dividing the GOB into basic processing units of about 8 × 8 pixels or 16 × 16 pixels. In step ST11, it is determined whether or not the block to be processed belongs to the key GOB. If the block belongs to the key GOB, the block is subjected to the intra-frame coding in step ST12 and then entropy-coded in step ST19 and multiplexed with the image information and the compression information to form a bit stream. Is output. In addition, the quantization coefficient output by intra-frame encoding the block in step ST12 is stored in the specific area memory 2 after being subjected to local decoding (inverse orthogonal transformation such as inverse quantization and inverse DCT) in step ST13. The
[0025]
On the other hand, if the block does not belong to the key GOB in step ST11, the process proceeds to a subroutine of step ST14, and the block of the input frame and the key frame stored in the key frame memory 1 are stored in step ST15 as shown in FIG. And a difference absolute value sum S are calculated. Next, in step ST16, a condition determination is made as to whether or not the difference absolute value sum S is less than or equal to the threshold value. If the difference absolute value sum S is less than or equal to the threshold value, the process proceeds to step ST17, and the block is stored in the key frame memory 1. The inter-frame coding is performed with reference to the stored key frame. On the other hand, when the difference absolute value sum S exceeds the threshold value, the process proceeds to step ST18, and the block is subjected to the intra-frame coding. Thus, the quantized coefficients encoded in steps ST17 and ST18 are subjected to variable length encoding (entropy encoding) and the multiplexing process in step ST19 shown in FIG. 1, and are output as a bit stream. . Thus, the compression encoding process for the input frame f2 is completed.
[0026]
Next, the frames f3, f4,... Input to the encoder subsequent to the frame f2 are processed in the same manner as the case of the frame f2 until the key frame is input. Therefore, the keys GOB1 to GOG4 decrypted in step ST13 are stored in the specific area memory 2 for one frame, and the keys GOB1 to GOB4 are stored in the specific area memory 2 as shown in FIG. Is synthesized. This reference frame A is used when a key frame to be input later is inter-frame encoded in the subroutine of step ST3.
[0027]
As described above, in the compression coding method according to the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference from the reference frame stored in the specific area memory 2 in step ST3. In steps ST9 and ST10, the input frame is divided into a plurality of GOBs, a key GOB is designated, and a key GOB for one frame is distributed over a plurality of frames along the time axis. GOB is intra-coded. For this reason, the intraframe encoding processing amount is dispersed in time, the rapid increase in the compression encoding processing amount is suppressed, the encoding processing amount is flattened in time, and the playback speed of the moving image at the transmission destination As a result, it is possible to compress and transmit a high-quality moving image without changing. In particular, the effect is exhibited in a transmission line with a limited bandwidth such as the Internet.
[0028]
In the specific area memory 2, the key GOB distributed in a plurality of frames is stored, and a reference frame A composed of these keys GOB is formed. This reference frame A is an accumulation of key GOBs at different times. In the first embodiment, intra-frame coding and inter-frame coding are selectively executed depending on the difference between the reference frame A and the key frame. For this reason, the difference in image quality between GOBs resulting from the use of the reference frame A made up of the key GOBs at different times is alleviated, and it becomes possible to compress and transmit high-quality moving images.
[0029]
Embodiment 2. FIG.
Next, the decoding method according to Embodiment 2 of the basic invention will be described in detail below. FIG. 6 is a flowchart for realizing the decoding method according to the second embodiment.
[0030]
The compressed image data encoded in the first embodiment is converted into a bit stream and input to the decoder according to the second embodiment (ST20). The compressed image data is separated from the bit stream and then decoded in step ST21. That is, since the compressed data of the frames f1, f2,... Are sequentially input from the encoder to the decoder according to the second embodiment, the above-described embodiment is applied to the compressed data of the key frame f1 in step ST21. The decoding process of intra-frame coding or inter-frame coding in step ST3 of the form 1 is performed in units of blocks of about 8 × 8 pixels or 16 × 16 pixels. When decrypting the compressed data of the key frame f1, the reference frame f0 stored in advance in the specific area memory 11 is used. The decrypted key frame f1 is stored in the key frame memory 10.
[0031]
In addition, intraframe coding or interframe coding in steps ST12 and ST14 to ST18 of the first embodiment is applied to the compressed data of frames f2, f3,. Decoding processing is performed for each block. When performing decoding processing of interframe coding, the key frame f1 stored in the key frame memory 10 is used. When the frames f2, f3,... Are decrypted, if the block that is the basic processing unit belongs to the key GOB, the block is stored in the specific area memory 11. When the key GOB for one frame is accumulated, the reference frame A composed of these keys GOB is synthesized and used for decoding the compressed data of the key frame to be input to the decoder later. For example, when the compressed data of the frames f2 to f5 shown in FIGS. 4A to 4D are input to the decoder, the compressed data of the blocks constituting each key GOB is subjected to intra-frame decoding. The reference frame A is reconstructed by sequentially accumulating in the specific area memory 11.
[0032]
In this way, when the frame groups f1, f2,... Decoded in step ST21 are displayed as a moving image, the image quality of the moving image between the GOB that has been intra-frame encoded by the encoder and the GOB that has been inter-frame encoded. The key GOB encoded in the frame may be clearly seen in the moving image. In order to prevent such a case, the second embodiment includes a key GOB requantization process in which only the key GOB decrypted in step ST21 is re-encoded and decrypted in step ST22 shown in FIG. It is.
[0033]
FIG. 7 is a flowchart showing the key GOB requantization process. As shown in FIG. 7, first, a block of about 8 × 8 pixels or 16 × 16 pixels is input (ST30). Next, in step ST31, it is determined whether or not the block belongs to the key GOB. If the block does not belong to the key GOB, the block is not requantized, and the key GOB requantization processing ends. The process moves to step ST23 shown in FIG. On the other hand, if the block belongs to the key GOB, the process proceeds to step ST32, the difference value between the key frame stored in the key frame memory 10 and the pixel value of the block, and the difference absolute value sum S of the difference values. And are calculated. Next, in step ST33, a condition determination is made as to whether or not the difference absolute value sum S is equal to or smaller than a threshold value. If the difference absolute value sum S exceeds the threshold value, the block is not requantized, and key GOB requantization processing is performed. Is completed, and the process proceeds to step ST23 shown in FIG.
[0034]
On the other hand, if it is determined in step ST33 that the sum of absolute differences S is equal to or less than the threshold, the process proceeds after step ST34. First, in step ST34, the difference signal between the block and the key frame is transform-coded, and then in step ST35, the transform coefficient is quantized. The processes of these steps ST33 to ST35 are performed by a determination process (ST16) of an encoding method (interframe encoding, intraframe encoding) based on the sum of absolute differences S performed by the encoder, orthogonal transformation such as DCT, This is the same as the quantization process (ST17). After that, in step ST36, the quantized coefficient is inversely quantized, and then in step ST37, transform coding decoding (inverse orthogonal transform such as inverse DCT) in step ST34 is performed. As a result, in accordance with the processing in steps ST34 to ST37, the quantization error is the same as when the block signal other than the key GOB is interframe-encoded by the encoder and the encoded signal is decoded by the decoder. An irreversible differential signal including is obtained. Next, a block is reconstructed from the difference signal using the key frame stored in the key frame memory 10 in step ST38 and output.
[0035]
The block subjected to the above key GOB requantization processing is output after being combined with a frame (decoded image) in step ST23 shown in FIG. The above key GOB requantization process will be described by taking the frames f2 to f5 shown in FIG. 4 as an example. As schematically shown in FIG. 8, the keys of the frames f2 to f5 decrypted in step ST21 described above are used. The difference between the GOB and the key frame stored in the key frame memory 10 is taken. Next, in step ST32, it is determined whether or not the difference absolute value sum S of the difference values is equal to or less than a threshold value, that is, whether or not to perform interframe encoding. If the difference absolute value sum S is equal to or less than the threshold value, the key GOB is determined. On the other hand, interframe coding (transform coding and quantization) is performed on the frames, and then decoding of the interframe coding (dequantization and inverse transform decoding) is performed on the frames f2 to f5. Corresponding decoded images F2 to F5 are generated.
[0036]
As described above, according to the second embodiment, if the difference between the key GOB and the key frame is small in the same procedure as the compression coding processing (ST15 to ST17) according to the first embodiment, the key GOB After compressing and encoding the difference signal from the key frame, the decoding is performed and the key GOB is reconstructed. Therefore, the block area other than the key GOB is inter-frame encoded by the encoder and decoded. In the same manner as when the encoded signal is decoded by the coder, the key GOB is mixed with inter-frame encoding and an error associated with the decoding. Therefore, when displaying the decoded moving image, the key GOB does not stand out in the moving image, and there is an effect that the person watching the moving image does not feel uncomfortable.
[0037]
B. Embodiment of the present invention.
Next, an embodiment of the present invention based on the basic invention described above will be described.
[0038]
(Outline of image distribution system)
FIG. 9 is a block diagram showing the configuration of the image distribution system according to the embodiment of the present invention. The image distribution system 120 includes an image distribution device 20, a communication line 40, and a terminal device 30. The image distribution apparatus 20 executes the compression encoding method according to Embodiment 1 shown in FIG. 1 and outputs a compression encoded image signal to the communication line 40 in the form of a bit stream. An example of the communication line 40 is a network such as a LAN or the Internet. When the terminal device 30 is connected to the communication line 40, the terminal device 30 receives the compressed encoded image signal output from the image distribution device 20 along the time from an arbitrary time point designated by the user of the terminal device 30, and decodes it. It is configured to become.
[0039]
In this specification, the encoding method and the decoding method according to the basic invention are temporarily referred to as an “SRVC (Super Real Video Codec) system”. In addition, both the communication line 40 connected to the image distribution device 20 and the terminal device 30 are collectively referred to as “distribution target” of the image distribution device 20. Therefore, the frame rate to be distributed (the number of frames per unit time) is defined by the frame rates of both the communication line 40 and the terminal device 30 connected thereto. The image distribution device 20 distributes the compression-encoded image signal at a frame rate suitable for the distribution target frame rate.
[0040]
The terminal device 30 receives the compression-encoded image signal at the frame rate at which the image distribution device 20 distributes the compression-encoded image signal, that is, the distribution rate, performs image decoding, and displays it on the monitor. On the other hand, the terminal device 30 may record the received compressed encoded image signal on a recording medium in order to be able to decode and display it when necessary. However, if recording is performed at the same frame rate as the distribution rate, a recording medium having a limited storage capacity, such as a hard disk, will overflow in a short time. On the other hand, if the frame rate at which the terminal device 30 records the image signal, that is, the recording rate, can be suppressed lower than the distribution rate, it is possible to record for a long time using a storage medium having a low storage capacity. . That is, if a frame can be thinned out from a compressed and encoded image signal that has been distributed, the image signal before thinning is displayed and at the same time, the image signal after thinning is recorded to display and store an image with fine motion. Recording on a recording medium with a low capacity can be realized in a compatible manner.
[0041]
As shown in FIG. 10, in a compression-encoded image signal based on the SRVC method output from the image distribution apparatus 20, one key frame K to a frame immediately before the next key frame K constitute one frame group. . One frame group includes a key frame K and a plurality of first type frames P-GOB subsequent thereto. As illustrated in FIG. 4, the frame P-GOB is a frame having a key GOB that is a specific area in the frame, and is also temporarily referred to as “P picture with key GOB”. Of the frame P-GOB, a non-specific area (for example, an area described as GOB in FIG. 4) excluding the key GOB (specific area) refers to a key frame K belonging to the same frame group as a reference frame ( It is also encoded as “first reference frame”).
[0042]
Therefore, the frame P-GOB is a difference image from the key frame K belonging to the same frame group, and depends on the key frame K. The key GOB included in the frame P-GOB is used as a reference frame A (also referred to as “second reference frame”) for interframe coding of the key frame K belonging to the next frame group. Frame K is a difference image from a set of one frame of these keys GOB. That is, the key frame K depends on the frame P-GOB belonging to the previous frame group.
[0043]
As described above, in the compression-coded image signal based on the SRVC method, all key frames K and frames P-GOB are in a complementary relationship with each other. Therefore, the compression-encoded image signal based on the SRVC method cannot discard any one frame in the series of key frame K and frame P-GOB until it is decoded. For this reason, when a compressed encoded image signal is displayed at a high frame rate and recorded at a low frame rate, the compressed encoded image signal distributed at a high frame rate is decoded and displayed as it is, and at the same time a series of keys. Recording at a low frame rate cannot be realized by thinning out a part of the frame K and the frame P-GOB.
[0044]
On the other hand, as shown in FIG. 10, the second type frame P can be inserted into the frame group. The frame P does not include the key GOB, and is a frame that is inter-frame encoded over the entire frame with the key frame K belonging to the same frame group as a reference frame. The frame P is also tentatively called “P picture without key GOB”. That is, the frame P is a difference image from the key frame K belonging to the same frame group, and is dependent on the key frame K, like the frame P-GOB. However, unlike the frame P-GOB, the frame P is not used as a reference frame for interframe coding of the key frame K belonging to the next frame group. That is, no other frame is subordinate to the frame P.
[0045]
Therefore, by including the frame P in the compressed and encoded image signal distributed by the image distribution device 20 and thinning out only the frame P on the terminal device 30 side, recording at a frame rate suitable for the recording medium becomes possible. . Below, the structure and operation | movement procedure are demonstrated in detail about the image delivery apparatus 20 and the terminal device 30. FIG.
[0046]
(Configuration of image distribution device)
FIG. 11 is a block diagram illustrating a configuration of the image distribution device 20. The image distribution apparatus 20 includes an image signal processing apparatus 21 and a camera 22 that form a main body of the image distribution apparatus. The image signal processing device 21 includes a video decoder 23, a compression unit 24, an image recording unit 25, an interface 26, a control unit 27, a work memory 29, and a bus line 28 for connecting them together.
[0047]
An image signal obtained by imaging with the camera 22 is converted from an analog format to a digital format by the video decoder 23. The digital image signal output from the video decoder 23 is compressed and encoded by the compression unit 24.
[0048]
The work memory 29 is a memory for temporarily holding an image signal in the process of compression encoding processing, and includes the key block memory (specific area memory) 2 and the key frame memory 1 shown in FIG. The compression-coded image signal output from the compression unit 24 is stored in the image recording unit 25 or sent to the interface 26 at the same time. When the interface 26 is connected to the external communication line 40, the interface 26 sends the compression-coded image signal output from the compression unit 24 or the compression-coded image signal stored in the image recording unit 25 to the communication line 40. To do.
[0049]
The control unit 27 is composed of, for example, a CPU (computer) that operates based on a program (software), and has a function of controlling the elements 23 to 26 and 29. When the control unit 27 is formed of a CPU, the image recording unit 25 also functions as a memory that stores a program that defines the operation of the CPU. The compression unit 24 is configured by a semiconductor chip (LSI) that executes compression of an image signal only by hardware, for example. Some or all of the elements 23 to 27 and 29 included in the image signal processing device 21 may be constituted by a single semiconductor chip (LSI or system LSI), and the whole is a single semiconductor. A chip (system LSI) may be used.
[0050]
As described above, the image distribution apparatus 20 is configured to be able to output the compression-encoded image signal to the communication line 40 in synchronization with the image signal input from the camera 1, that is, in real time. . Further, since the image recording unit 25 for storing the compression-encoded image signal is provided, not only the compression-encoded image signal can be distributed but also recorded according to the purpose and conditions. Further, instead of real-time distribution, the recorded compressed and encoded image signal can be read from the image recording unit 25 and sent to the communication line 40 through the interface 26.
[0051]
(Configuration of terminal device)
FIG. 12 is a block diagram showing an internal configuration of the terminal device 30. The terminal device 30 includes a terminal device main body 31 and a monitor 32. The terminal device main body 31 includes an interface 33, an expansion unit 34, an image storage unit 35, a video encoder 36, a control unit 37, a recording medium 39, and a bus line 38 for connecting them together. The interface 33 is connected to the communication line 40, thereby communicating with the image distribution apparatus 20 through the communication line 40. The decompressing unit 34 decodes the compression-coded image signal received by the interface 33. The video encoder 36 converts the image signal decoded by the decompression unit 34 from a digital format to an analog format. The analog image signal output from the video encoder 36 is input to the monitor 32. The monitor 32 displays the input analog image signal on the screen.
[0052]
The control part 37 is comprised by CPU which operate | moves based on a program (software), for example, and has fulfill | performed the function which controls each element 33-36,39. The control unit 37 may be configured by an LSI including only hardware instead of the CPU. The image storage unit 35 is a work memory for temporarily holding an image signal in the course of processing by the decompression unit 34, and includes the key block memory 11 and the key frame memory 10 shown in FIG. When the control unit 37 is formed of a CPU, the image storage unit 35 also functions as a memory that stores a program that defines the operation of the CPU.
[0053]
The recording medium 39 records the compression-encoded image signal received by the interface 33, with frames thinned out. Frame thinning is performed by the control unit 37. Some or all of the elements 33 to 37 and 39 included in the terminal device main body 31 may be formed of a single semiconductor chip (LSI or system LSI), and the whole is a single semiconductor. A chip (system LSI) may be used.
[0054]
(Operation of image distribution system)
FIG. 13 is a flowchart showing an operation procedure of the image distribution system 120. 14 and 15 are flowcharts showing the internal procedure of part of the processing in FIG. Further, FIGS. 16 to 20 are operation explanatory diagrams of the image distribution system 120.
[0055]
In the image distribution system 120, when the terminal device 30 transmits the distribution request signal and the recording rate signal for notifying the recording rate to the image distribution device 20 through the communication line 40 (step ST81), the image distribution device 20 responds to this. Starts a series of processes for distributing the compression-encoded image signal to the terminal device 30 (steps ST40, 82, 83, 84).
[0056]
When starting this series of processing, the image distribution apparatus 20 first determines the number of frames P (FIG. 10) to be inserted into one frame group, that is, the number of frames P to be inserted (step ST40). The number of frames P to be inserted is determined so that the frame rate when the frame P is thinned out from the compressed encoded image signal distributed by the image distribution apparatus 20 is within the received recording rate. The process of step ST40 is executed by the control unit 27.
[0057]
Next, the image distribution apparatus 20 performs compression encoding of the image based on the determined number of insertions (step ST82). The internal procedure of step ST82 is represented in FIG. The processing in FIG. 14 is executed by the compression unit 24 and is characteristically different from the basic processing shown in FIG. 1 in that steps ST41 and ST42 are added. In step ST1, an image signal is input to the compression unit 24 for each frame. As will be described later, since the process of FIG. 14 is repeatedly executed for each frame, the frame rate in step ST1 defines the distribution rate.
[0058]
Next, when it is determined in step ST2 that the input frame is not the key frame K, it is determined whether or not the frame is a P picture with key GOB, that is, whether or not it is a frame P-GOB. (Step ST41). If it is determined that the input frame is the frame P-GOB, the same processing as step ST9 and subsequent steps in FIG. 1 is performed. On the other hand, when it is determined that the input frame is not the frame P-GOB, that is, the frame P, the process proceeds to step ST19 after the process of step ST42 is performed. In step ST42, the same process as step ST14, that is, the process of FIG. 3 is executed over the entire frame. In the inter-frame encoding in step ST42, the key frame stored in the key frame memory 1 is referred to as in step ST14.
[0059]
In this way, the input frame is distributed to any of the key frame K, the frame P-GOB, and the frame P through step ST2 and step ST41, and compression encoding processing corresponding to each is performed. The sorting is performed based on the number of inserted frames P determined in step ST40. Thereby, the distribution ratio to the frame P corresponds to the number of insertions of the frame P determined in step ST40.
[0060]
Step ST19 outputs the generated bit stream of the compressed encoded image signal to interface 26. The bit stream output to the interface 26 is distributed to the terminal device 30 through the communication line 40 (step ST83 in FIG. 13). In step ST19, the bit stream may be output to the image recording unit 25 instead of or simultaneously with the output of the interface 26. As a result, it is possible to record the bit stream once, read it out as necessary, and distribute it to the terminal device 30 through the interface 26 (step ST83).
[0061]
When the frame P is not inserted, the compressed encoded image signal to be distributed is composed of a key frame K and a frame P-GOB as shown in FIG. On the other hand, if the distribution rate is 30 fps (fps represents “frame per second”) and the notified recording rate is about 15 fps, FIG. As shown, frames P are included at a ratio of about 1/2. In general, when the distribution rate is X and the notified recording rate is X / k (k> 1), frames P are inserted at a ratio of about (1-1 / k).
[0062]
The terminal device 30 receives the distributed compressed and encoded image signal (step ST83) and decodes it (step ST85). The internal procedure of step ST85 is represented in FIG. The processing in FIG. 15 is executed by the decompression unit 34, and is characteristically different from the processing in FIG. 6 in that step ST21 is replaced with step ST41 that also decodes the frame P.
[0063]
In step ST20, for example, the bit stream of the compression-encoded image signal shown in FIG. 17 is input from the interface 33 to the expansion unit 34 for each frame. Step ST51 performs the same processing as step ST21 of FIG. 6 for key frame K and frame P-GOB, and for frame P, for blocks that do not belong to key GOB in frame P-GOB. A decoding process equivalent to the process is performed over the entire frame.
[0064]
The terminal device 30 continuously performs the process of FIG. 15 for each frame. For example, when the process of step ST23 is performed for one frame, the step is performed for the next frame. It is possible that the process of ST20 is performed simultaneously. That is, preferably, the terminal device 30 executes processing for the compression-encoded image signal in the form of pipeline processing. The same applies to the processing shown in each of FIGS. 1, 6, and 14. 1, 6, 14, and 15 show the flow of processing for an arbitrary one frame in the pipeline processing performed on an image signal. Unless the temporal context between the end time of the process for one frame and the start time for the next frame is not limited, each of the processes in FIG. 1, FIG. 6, FIG. 14, and FIG. Can be expressed in general.
[0065]
Returning to FIG. 13, the distributed compressed encoded image signal is decoded at step ST85 and thinned simultaneously (step ST87). Step ST87 is executed by the control unit 37 (FIG. 12), and the frame P is thinned out from the compression-encoded image signal. The compression-encoded image signal after the thinning is a bit stream that includes the key frame K and the frame P-GOB but does not include the frame P, as illustrated in FIG. The compressed and encoded image signal after thinning is recorded on the recording medium 39 as shown in FIG. 19 (step ST88).
[0066]
As the ratio k between the distribution rate X and the recording rate X / k increases, the number of frames P inserted is increased as shown in FIG. 20, so that the frame rate after the frame P is thinned out can be reduced. As a result, the recording medium 39 can record the compression-coded image signal at the recording rate notified to the image distribution apparatus 20 in step ST81 or a frame rate lower than that.
[0067]
The decoded image signal output in step ST23 of FIG. 15, that is, the decoded image signal is sent to the monitor 32 through the video encoder 36 (FIG. 12). Accordingly, as shown in FIG. 19, the monitor 32 displays the image represented by the distributed compressed and encoded image signal at the same frame rate as the distribution rate (step ST86 in FIG. 13).
[0068]
When steps ST86 and ST88 are completed for one frame, control unit 37 determines whether or not the process should be terminated (step ST89). For example, when it is determined that the terminal device 30 should be terminated, such as when the user of the terminal device 30 instructs termination, the control unit 37 transmits a signal notifying the end of distribution to the image distribution device 20 (step ST89). The communication is terminated (step ST91). On the other hand, while determining that the processing should not be terminated, the control unit 37 repeats the processing from the reception of the compressed encoded image signal (step ST83) to step ST89 for each frame.
[0069]
In the image distribution apparatus 20, when the distribution of the compression-encoded image signal (step ST83) ends, the control unit 27 determines whether or not the process should be ended. When it is determined that the process should be terminated, such as when a signal for notifying the end of distribution has been received or when the operator of the image distribution apparatus 20 has instructed the termination, the control unit 27 communicates with the terminal device 30. Communication is terminated (step ST90). On the other hand, while it is determined that the processing should not be terminated, the control unit 27 repeats the processing from the image signal compression encoding processing (step ST82) to step ST84 for each frame.
[0070]
(Appendix.)
As already described, the distribution rate of the image distribution device 20 is set according to the transmission capacity of the communication line 40 and the processing capability of the terminal device 30. Since the delivery rate setting method itself is well known in the art, a detailed description thereof will be omitted. For example, in step ST81 in FIG. 13, the terminal device 30 notifies the image distribution device 20 of the distribution request, the recording rate, and the distribution rate. The image distribution device 20 sets the distribution rate based on the notified distribution rate or, if the transmission capacity of the communication line 40 is low, based on the transmission capacity. Regarding the terminal device 30, the processing ability that affects the distribution rate is more specifically the ability of the decompression unit 34 to perform image decompression processing.
[0071]
【The invention's effect】
In the method according to the first aspect of the present invention, in addition to the key frame and the first type frame that are compression-encoded so as to have a dependency relationship, other frames do not depend on themselves. A second type frame to be compression-encoded is assigned. In addition, the ratio of the second type frame is set according to the recording rate received through the communication line. For this reason, the terminal device connected to the communication line transmits its own recording rate, and by compressing the second type frame from the compressed encoded image signal distributed in response thereto, the compressed encoded image The signal can be recorded as a decodable image signal.
[0072]
In the method according to the second aspect of the present invention, the compression-encoded image signal distributed by the method according to the first aspect is recorded by thinning out the second type frame. For this reason, it becomes possible to record the compression-encoded image signal as a decodable image signal at the transmitted recording rate. In addition, since the compression-encoded image signal before thinning is decoded, it is possible to display an image that is not thinned.
[0073]
In the method according to the third aspect of the present invention, the decoded image signal obtained by decoding the compression-encoded image signal before thinning is displayed as an image. Can be monitored.
[0074]
In the program according to the fourth aspect of the present invention, the method according to each of the first to third aspects can be executed by being installed in a computer.
[Brief description of the drawings]
FIG. 1 is a flowchart for realizing an encoding method according to Embodiment 1 of the basic invention as a premise of the present invention;
FIG. 2 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 3 is a flowchart for realizing the encoding method according to the first embodiment.
FIG. 4 is an explanatory diagram showing each frame divided into four block areas.
5 is a schematic diagram for explaining an encoding method according to Embodiment 1. FIG.
FIG. 6 is a flowchart for realizing a decoding method according to Embodiment 2 of the basic invention as a premise of the present invention.
FIG. 7 is a flowchart for explaining requantization processing according to the second embodiment;
FIG. 8 is a schematic diagram for explaining a decoding method according to the second embodiment.
FIG. 9 is a block diagram showing a configuration of an image distribution system according to an embodiment of the present invention.
10 is a data structure diagram illustrating an example of a compression-encoded image signal output by the image distribution apparatus in FIG. 9. FIG.
11 is a block diagram illustrating a configuration of the image distribution apparatus in FIG. 9. FIG.
12 is a block diagram showing a configuration of the terminal device of FIG. 9;
13 is a flowchart showing an operation procedure of the image distribution system of FIG.
14 is a flowchart showing an operation procedure of the image distribution apparatus of FIG.
15 is a flowchart showing an operation procedure of the terminal device of FIG.
16 is an operation explanatory diagram showing an operation of the image distribution system of FIG. 11. FIG.
17 is an operation explanatory diagram illustrating an operation of the image distribution system in FIG. 11. FIG.
18 is an operation explanatory diagram showing an operation of the image distribution system of FIG. 11. FIG.
FIG. 19 is an operation explanatory diagram showing an operation of the terminal device of FIG. 12;
20 is an operation explanatory diagram showing an operation of the image distribution system of FIG. 11. FIG.
FIG. 21 is a flowchart for explaining a conventional encoding method.
FIG. 22 is a flowchart for explaining a conventional decoding method.
[Explanation of symbols]
1 Key frame memory
2 Specific area memory
10 Key frame memory
11 Specific area memory
A Reference frame
f1, K key frame
Key-GOB specific area
P-GOB first type frame
P type 2 frame

Claims

Image delivery apparatus is an image distributing method for distributing compressed encoded image signal to the terminal device through a communication line,
(A) the image delivery device receiving a delivery request signal and a recording rate signal for notifying a recording rate from the terminal device through the communication line;
(B) The image distribution device is an image compression encoding step of compressing and encoding an image signal composed of a plurality of frames sequentially input after the step (A),
(a) the image delivery apparatus designating and compressing a key frame from the plurality of frames, and storing the compressed reference encoded key frame as a first reference frame;
(b) The image distribution apparatus distributes a frame input after the key frame to either the first type frame or the second type frame;
(c) when the input frame is the first type frame, the image distribution device performs a process for the first type frame,
(c-1) the image distribution apparatus divides the first type frame into a plurality of block areas and designates a specific area from the block areas;
(c-2) the image delivery apparatus performs intra-frame coding on the specific area and decodes and stores the specific area on which the intra-frame coding has been performed;
(c-3) The image distribution apparatus refers to the first reference frame stored therein, so that a frame for each block area excluding the specific area divided in the step (c-1). Performing inter-coding; and
(d) When the input frame is the second type frame, the image distribution apparatus refers to the stored first reference frame, so that the second type frame is interframed. Performing the encoding; and
(e) The image distribution apparatus repeatedly executes the steps (b) to (d), and stores the specific area stored every time the step (c) is performed as a second reference frame. The process of accumulating;
(f) The image distribution device repeatedly executes the steps (a) to (e) and stores the first reference frame each time it stores the first reference frame in the step (a). Each time the reference frame is updated, and each time the second reference frame is accumulated in step (e), the second reference frame already stored is updated,
With
Step (a)
(a-1) An image compression code comprising: a step in which the image delivery apparatus performs interframe coding by referring to the stored second reference frame with respect to the designated key frame. Conversion process,
(C) The image distribution apparatus uses the compression-encoded image signal as a signal after compression-encoding in each of the steps (a), (c), and (d) in the step (B). And delivering to the terminal device through the communication line,
In the step (B),
In the image delivery apparatus, the frame rate when the second type frame is thinned out from the compression-encoded image signal delivered in the step (C) is a value within the recording rate received in the step (A). as described above, setting the ratio of the two frames to distribute in the step (b), the image distribution method.

An image recording method in which a terminal device receives and records a compressed encoded image signal from an image distribution device through a communication line,
(i) the terminal device transmits a delivery request signal and a recording rate signal for notifying a recording rate to the image delivery device through the communication line;
(ii) The terminal device receives the compressed and encoded image signal distributed from the image distribution device by the image distribution method according to claim 1 in response to the distribution request signal and the recording rate signal. When,
(iii) the terminal device thins out the second type frame from the compressed encoded image signal received in the step (ii);
(iv) the terminal device records the compressed encoded image signal after being thinned out in the step (iii);
(v) the terminal device obtains a decoded image signal by decoding the compressed encoded image signal received in the step (ii) and before being thinned out in the step (iii); An image recording method comprising:

The image recording method according to claim 2, further comprising: (vi) displaying the decoded image signal obtained in the step (v) as an image.

A program for causing a computer to execute each of the steps in order to realize the method according to any one of claims 1 to 3 on a computer.