JP4599609B2 - 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム - Google Patents
画像圧縮符号化方法、画像配信方法、およびそれらのプログラム Download PDFInfo
- Publication number
- JP4599609B2 JP4599609B2 JP2001283459A JP2001283459A JP4599609B2 JP 4599609 B2 JP4599609 B2 JP 4599609B2 JP 2001283459 A JP2001283459 A JP 2001283459A JP 2001283459 A JP2001283459 A JP 2001283459A JP 4599609 B2 JP4599609 B2 JP 4599609B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- compression
- image
- image signal
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を圧縮符号化する画像圧縮符号化方法、圧縮符号化した動画像を配信する画像配信方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像圧縮符号化方法、画像配信方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図１５を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図１５に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１６を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて生成される圧縮符号化画像信号を、配信対象に適合したフレームレートで配信することを可能にする画像圧縮符号化方法、画像配信方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化方法であって、(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、(c)入力する前記フレームが前記第１種フレームであるときに、当該第１種フレームに対する処理を行う工程を備えている。
【０００９】
当該工程(c)は、(c-1)前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c-2)前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(c-3)記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する工程と、を備えている。
【００１０】
上記方法は、さらに、(d)入力する前記フレームが前記第２種フレームであるときに、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、(e)前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、(g)前記工程(d)によって圧縮符号化されたフレームのうち、少なくとも一部のフレームについて間引きを行う工程と、を備えている。しかも、前記工程(a)は、(a-1)指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えている。
【００１１】
本発明のうち第２の態様にかかるものは、第１の態様にかかる画像圧縮符号化方法において、(h)前記工程(a),(c),および(d)の各々で圧縮符号化された信号を記憶媒体へ記憶する工程、をさらに備え、前記工程(g)は、前記記憶媒体から前記信号を読出し、読み出した当該信号から前記間引きを行う。
【００１２】
本発明のうち第３の態様にかかるものは、第１配信対象及びそれよりもフレームレートの低い第２配信対象の各々へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第１の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された信号を、前記圧縮符号化画像信号として前記第１配信対象へ配信する工程と、(C)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記第２配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(g)は、前記工程(d)によって圧縮符号化されたフレームのうち、すべてのフレームについて間引きを行い、前記工程(b)は、前記工程(B)および(C)が前記圧縮符号化画像信号を配信するフレームレートが、前記第１および第２配信対象の各々のフレームレートに適合するように、前記第２種フレームの比率を設定する。
【００１３】
本発明のうち第４の態様にかかるものは、第１配信対象及びそれよりもフレームレートの低い第２配信対象の各々へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第２の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された前記信号を、前記記憶媒体から読出し、前記圧縮符号化画像信号として前記第１配信対象へ配信する工程と、(C)前記記憶媒体から読出され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記第２配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(g)は、前記工程(d)によって圧縮符号化されたフレームのうち、すべてのフレームについて間引きを行い、前記工程(b)は、前記工程(B)および(C)が前記圧縮符号化画像信号を配信するフレームレートが、前記第１および第２配信対象の各々のフレームレートに適合するように、前記第２種フレームの比率を設定する。
【００１４】
本発明のうち第５の態様にかかるものは、フレームレートが変動する配信対象へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第１の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(B)が前記圧縮符号化画像信号を配信するフレームレートが、前記配信対象の前記フレームレートに適合するように、前記工程(b)が振り分ける第２種フレームの比率と、前記工程(g)が行う前記間引きの比率と、の少なくとも一方が設定される。
【００１５】
本発明のうち第６の態様にかかるものは、フレームレートが変動する配信対象へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第２の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記記憶媒体から読出され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(B)が前記圧縮符号化画像信号を配信するフレームレートが、前記配信対象の前記フレームレートに適合するように、前記工程(b)が振り分ける第２種フレームの比率と、前記工程(g)が行う前記間引きの比率と、の少なくとも一方が設定される。
【００１６】
本発明のうち第７の態様にかかるものは、第１ないし第６のいずれかの態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１７】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１８】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１９】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００２０】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００２１】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００２２】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００２３】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００２４】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２５】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２６】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２７】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２８】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２９】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００３０】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００３１】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００３２】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００３３】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００３４】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３５】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３６】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３７】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３８】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３９】
（画像配信装置の概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。
【００４０】
なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。また、画像配信装置２０に接続される通信回線４０および端末装置３０の双方を含めて、画像配信装置２０の「配信対象」と仮称する。したがって、配信対象のフレームレート（単位時間当たりのフレーム数）は、通信回線４０とそれに接続される端末装置３０との双方のフレームレートによって規定される。画像配信装置２０は、配信対象のフレームレートに適合したフレームレートで、圧縮符号化画像信号を配信する必要がある。
【００４１】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームＫからつぎのキーフレームＫの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームＫおよびこれに後続する複数の第１種フレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームＫを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。
【００４２】
したがってフレームP-GOBは、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームＡ（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームＫは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームＫは前のフレーム群に属するフレームP-GOBに依存している。
【００４３】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのキーフレームＫおよびフレームP-GOBは、互いに補完関係にある。したがって、ＳＲＶＣ方式にもとづく圧縮符号化画像信号は、一連のキーフレームＫおよびフレームP-GOBのうちのいずれの１フレームをも捨てることなく、配信対象へ配信されなければならない。このため、圧縮符号化画像信号をフレームレートの高い配信対象と低い配信対象とに配信する場合、あるいは、通信回線４０の帯域変動等の要因によりフレームレートが変動する配信対象へ配信する場合に、これらの配信対象のフレームレートに適合した配信を、一連のキーフレームＫおよびフレームP-GOBの一部を間引くことによって実現することはできない。
【００４４】
これに対して、図１０が示すように、フレーム群の中には、第２種フレームＰを挿入することが可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームＫを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。すなわち、フレームＰはフレームP-GOBと同様に、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。しかしながら、フレームＰはフレームP-GOBとは異なり、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームとして用いられることはない。すなわち、フレームＰには、他のフレームが従属することはない。
【００４５】
したがって、圧縮符号化画像信号にフレームＰを含めておき、フレームＰのみを間引くことで、配信対象に適合したフレームレートでの配信が可能となる。以下に、画像配信装置２０について、その構成および動作手順について詳細に説明する。
【００４６】
（画像配信装置の構成）
図１１は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置の本体部をなす画像信号処理装置２１と、カメラ２２とを備えている。画像信号処理装置２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００４７】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４８】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるか、あるいはそれと同時に、インタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号、または画像記録部２５にストアされている圧縮符号化画像信号を、通信回線４０へ送出する。
【００４９】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵ（コンピュータ）で構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像信号処理装置２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５０】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする画像記録部２５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。さらに、リアルタイムでの配信に代えて、記録された圧縮符号化画像信号を画像記録部２５から読出し、インタフェース２６を通じて通信回線４０へ送出することも可能である。
【００５１】
（画像配信装置の動作）
図１２は画像配信装置２０の動作手順を示すフローチャートである。この処理は、ステップＳＴ４０〜４４が付加されている点において、図１に示した基本的な処理とは特徴的に異なっている。図１２の処理のうち、例えば、ステップＳＴ１からステップＳＴ１９へ至る処理は圧縮部２４で実行され、ステップＳＴ４０，４３，４４の処理は制御部２７で実行される。
【００５２】
ステップＳＴ２において、入力されたフレームがキーフレームＫではないと判定されると、当該フレームが、キーＧＯＢありＰピクチャであるか否か、すなわちフレームP-GOBであるか否かが判定される（ステップＳＴ４１）。入力されたフレームがフレームP-GOBであると判定されると、図１のステップＳＴ９以下と同様の処理が行われる。一方、入力されたフレームがフレームP-GOBでない、すなわちフレームＰであると判定されると、ステップＳＴ４２の処理が行われた後に、処理はステップＳＴ１９へ移行する。ステップＳＴ４２では、ステップＳＴ１４と同じ処理、すなわち図３の処理が、フレーム全体にわたって実行される。ステップＳＴ４２によるフレーム間符号化では、ステップＳＴ１４と同様に、キーフレームメモリ１に格納されているキーフレームが参照される。
【００５３】
このように、入力されたフレームが、ステップＳＴ２およびステップＳＴ４１を通じて、キーフレームＫ、フレームP-GOB、およびフレームＰのいずれかに振り分けられ、それぞれに応じた圧縮符号化処理が施される。３種のフレームへの振り分けは、振り分けの比率に関してあらかじめ設定された固定値、あるいはステップＳＴ４０において設定される可変値にもとづいて行われる。ステップＳＴ４０では、例えばオペレータの入力操作、あるいは配信対象のフレームレートにもとづいて、振り分けの比率が設定される。振り分けの比率は、例えば１フレーム群に挿入すべきフレームＰの枚数を設定することによっても、定めることができる。
【００５４】
ビットストリームの形式で出力された圧縮符号化画像信号のうち、ステップＳＴ４２を通じて圧縮符号化されたフレームＰの一部ないしすべてを間引する工程（ステップＳＴ４４）が、ステップＳＴ１９の後に付加されている。これにより、間引き後の圧縮符号化画像信号をビットストリームとして出力することが可能となっている。また、ステップＳＴ４４で得られる間引き後の圧縮符号化画像信号と、ステップＳＴ１９で得られる間引き前の圧縮符号化画像信号とを、二つのビットストリームとして同時に出力してもよい。ビットストリームの出力先は、例えば、インタフェース２６または画像記録部２５である。
【００５５】
間引きは、間引きの比率に関してあらかじめ設定された固定値、あるいはステップＳＴ４３において設定される可変値にもとづいて行われる。ステップＳＴ４３では、例えばオペレータの入力操作、あるいは配信対象のフレームレートにもとづいて、間引きの比率が設定される。間引きの比率は、例えば１フレーム群に挿入されたフレームＰのうち、間引くべきフレームの枚数、すなわち間引き数を設定することによっても、定めることができる。
【００５６】
画像配信装置２０は、図１２の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ１９の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ１の処理が同時に行われることも有り得る。すなわち好ましくは、画像配信装置２０は入力された画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１および図６に示した処理においても同様である。図１、図６、および図１２は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を限定しなければ、図１、図６、および図１２の処理は、１フレーム毎に反復的に実行されると、一般に表現することが可能である。
【００５７】
ステップＳＴ１９とＳＴ４４との間に、間引き前の圧縮符号化画像信号を画像記録部２５へストアする工程を挿入しても良い。すなわち、間引き前の圧縮符号化画像信号のビットストリームを、画像記録部２５へ入力することにより一旦記録し、その後に読み出して間引きを行うように、図１２の処理を構成することも可能である。読み出された間引き前の圧縮符号化画像信号と、その後に間引かれた圧縮符号化画像信号とを、二つのビットストリームとして同時に出力することも可能である。ビットストリームの出力先は、例えばインタフェース２６である。読み出す時期は、例えばオペレータの入力操作、あるいは端末装置３０からの配信要求にもとづいて設定される。
【００５８】
（振り分けと間引きの条件設定）
つぎに、フレームの振り分け、および間引きの条件に関する好ましい例について説明する。図１３はその第１の例を示す動作説明図である。この例は、圧縮符号化画像信号をフレームレートの高い第１配信対象と低い第２配信対象とに配信するのに適している。第１配信対象には、間引き前の圧縮符号化画像信号が配信され、第２配信対象には、すべてのフレームＰが間引かれた圧縮符号化画像信号が配信される。フレームの振り分けの比率は、配信される圧縮符号化画像信号のフレームレートが、第１および第２配信対象のフレームレートに適合するように設定される。図１３が示すように、第１および第２配信対象のフレームレートの比率が、約５：１である場合には、フレームP-GOBに対するフレームＰの比率を４に設定するとよい。その結果、第２配信対象には、第１配信対象の約５分の１のフレームレートで、圧縮符号化画像信号が配信される。
【００５９】
図１４は、第２の例を示す動作説明図である。この例は、通信回線４０の帯域変動等の要因によりフレームレートが変動する配信対象へ、圧縮符号化画像信号を配信するのに適している。例えば、配信を行っている中で通信回線４０の帯域変動があって、圧縮符号化画像信号の配信が滞った場合に、間引きの比率を高めることにより、配信のフレームレートを、配信対象の低下したフレームレートに適合させることが可能である。すべてのフレームＰを間引いても、なお適合させることができない場合には、フレームＰの挿入数を高めるとよい。図１４が示すように、配信の滞りがあれば、フレームＰの挿入数を高めてゆき、それにより配信のフレームレートを低下させることができる。その結果、滞りが解消されれば、挿入数は元の値（すなわち初期設定値）に戻される。
【００６０】
なお、上記第１および第２のいずれの例においても、図１２に関連して既に述べたように、配信すべき圧縮符号化画像信号として、カメラ２２で撮像され圧縮部２４で圧縮符号化されたままのリアルタイムの画像信号と、圧縮符号化後に画像記録部２５に一旦蓄積された画像信号との、いずれをも用いることが可能である。
【００６１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、互いに従属関係を持つように圧縮符号化されるキーフレームと第１種フレームとの他に、他のフレームが自身に従属することのないように圧縮符号化される第２種フレームが割り当てられるとともに、圧縮符号化後に、第２種フレームの少なくとも一部が間引かれる。このため、第２種フレームを割り当てる比率と、圧縮符号化後に第２種フレームを間引く比率との、少なくとも一方を調節することにより、様々なフレームレートをもつ圧縮符号化後の画像信号を得ることができる。
【００６２】
本発明のうち第２の態様にかかる方法では、圧縮符号化された信号を記憶媒体へ記憶しておき、読み出した信号に対して間引きが行われる。このため、様々なフレームレートをもつ圧縮符号化後の画像信号を、圧縮符号化よりも後の任意の時点で得ることができる。
【００６３】
本発明のうち第３の態様にかかる方法では、第１の態様にかかる方法を用いるとともに、フレームレートの異なる二つの配信対象に適合するように第２種フレームの振り分けの比率が設定され、間引き前と間引き後の圧縮符号化画像信号が、それぞれ二つの配信対象へ配信される。このため、二つの配信対象に適合したフレームレートで、圧縮符号化画像信号を配信することができる。
【００６４】
本発明のうち第４の態様にかかる方法では、第２の態様にかかる方法を用いるので、すでに蓄積されている圧縮符号化画像信号を、任意の時点、例えば配信要求があったときに、配信対象に適合したフレームレートで配信することができる。
【００６５】
本発明のうち第５の態様にかかる方法では、第１の態様にかかる方法を用いるとともに、配信対象の変動するフレームレートに適合するように、第２種フレームの振り分けの比率と間引き率との、少なくとも一方が設定される。このため、フレームレートの変動に適応しつつ、圧縮符号化画像信号を配信することができる。
【００６６】
本発明のうち第６の態様にかかる方法では、第２の態様にかかる方法を用いるので、すでに蓄積されている圧縮符号化画像信号を、任意の時点、例えば配信要求があったときに、配信対象のフレームレートの変動に適応しつつ、配信することができる。
【００６７】
本発明のうち第７の態様にかかるプログラムでは、コンピュータに搭載することにより、第１ないし第６の態様の各々にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の画像配信装置の構成を示すブロック図である。
【図１２】図１１の画像配信装置の動作手順を示すフローチャートである。
【図１３】図１１の画像配信装置の動作の第１例を示す動作説明図である。
【図１４】図１１の画像配信装置の動作の第２例を示す動作説明図である。
【図１５】従来の符号化方法を説明するためのフローチャートである。
【図１６】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１ キーフレームメモリ
２ 特定領域メモリ
１０ キーフレームメモリ
１１ 特定領域メモリ
Ａ 参照フレーム
ｆ１，Ｋ キーフレーム
Ｋｅｙ−ＧＯＢ 特定領域
Ｐ−ＧＯＢ 第１種フレーム
Ｐ 第２種フレーム
【発明の属する技術分野】
本発明は、動画像を圧縮符号化する画像圧縮符号化方法、圧縮符号化した動画像を配信する画像配信方法、およびそれらのプログラムに関し、特に監視映像などの時間的変化が少ない動画像に適した画像圧縮符号化方法、画像配信方法、およびそれらのプログラムに関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方法には、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内符号化に適用される。また動き補償予測符号化（フレーム間符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００３】
しかしながら、監視映像などの時間的な変化が圧倒的に少ない動画像では、入力フレームを周期的に参照画像（以下、キーフレームと呼ぶ。）に設定し、このキーフレームと入力フレームとの間の差分信号をとる差分符号化方式を用いても、両フレーム間の差分量は小さいと考えられる。この方式は、前述の隣接フレームを用いた動き補償予測符号化と比べると、計算負荷の軽減や、フレームの欠落によるエラーに対する耐性などの利点をもつ。図１５を参照しつつ従来の差分符号化方式の概略を説明する。撮像センサから順次出力される複数のフレームｆ１，ｆ２，…が符号化器に順次入力するとする。図１５に示すようにフレームｆｎ（ｎ＝１，２，…）が入力すると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。すなわち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３でその量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成されビットストリームにされて出力される。また前記ステップＳＴ１０２で算出された量子化係数は、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００４】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力すると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定され、フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６でその差分値が所定範囲内か否かが判定され、その差分値が所定範囲内にある場合はステップＳＴ１０７でフレーム間符号化、すなわちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合はステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後、出力される。
【０００５】
このようなビットストリームの復号化処理の例を図１６を参照しつつ以下に説明する。上記ビットストリームが入力すると（ＳＴ１１０）、このビットストリームから圧縮符号化信号が取り出され可変長復号化されて上記量子化係数が得られる。次いで、ステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施されてキーフレームメモリ１０１に蓄積され、その量子化係数が上記ステップＳＴ１０８でフレーム内符号化されていた場合はその復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が出力される（ＳＴ１１２）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記差分符号化方式では、キーフレームと時間的に離間したフレームとの差分符号化を行うため、キーフレームの画質が動画像全体の画質に直接関係することから、キーフレームは高画質のものでなければならず、キーフレームに対してはフレーム内の情報のみで圧縮符号化を行うフレーム内符号化が施される。この結果、動画像の符号化処理量はキーフレームの符号化時に急激に増大し、キーフレームの圧縮符号化データの伝送が遅延したり間欠したりする問題が生じていた。特に動画像をネットワークを通じてリアルタイムに伝送し再生（ストリーミング）する場合は、復号化した動画像の再生速度の変化や画像の間欠が著しく生じることがあった。
【０００７】
このような問題に鑑みて本発明が解決しようとするところは、キーフレームの符号化処理量の急激な増大を抑制し、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にし得る動画像の圧縮符号化方法を想定し、当該圧縮符号化方法にもとづいて生成される圧縮符号化画像信号を、配信対象に適合したフレームレートで配信することを可能にする画像圧縮符号化方法、画像配信方法、およびそれらのプログラムを提供する点にある。
【０００８】
【課題を解決するための手段】
本発明のうち第１の態様にかかるものは、順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化方法であって、(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、(b)前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、(c)入力する前記フレームが前記第１種フレームであるときに、当該第１種フレームに対する処理を行う工程を備えている。
【０００９】
当該工程(c)は、(c-1)前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、(c-2)前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、(c-3)記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する工程と、を備えている。
【００１０】
上記方法は、さらに、(d)入力する前記フレームが前記第２種フレームであるときに、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、(e)前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、(f)前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、(g)前記工程(d)によって圧縮符号化されたフレームのうち、少なくとも一部のフレームについて間引きを行う工程と、を備えている。しかも、前記工程(a)は、(a-1)指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備えている。
【００１１】
本発明のうち第２の態様にかかるものは、第１の態様にかかる画像圧縮符号化方法において、(h)前記工程(a),(c),および(d)の各々で圧縮符号化された信号を記憶媒体へ記憶する工程、をさらに備え、前記工程(g)は、前記記憶媒体から前記信号を読出し、読み出した当該信号から前記間引きを行う。
【００１２】
本発明のうち第３の態様にかかるものは、第１配信対象及びそれよりもフレームレートの低い第２配信対象の各々へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第１の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された信号を、前記圧縮符号化画像信号として前記第１配信対象へ配信する工程と、(C)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記第２配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(g)は、前記工程(d)によって圧縮符号化されたフレームのうち、すべてのフレームについて間引きを行い、前記工程(b)は、前記工程(B)および(C)が前記圧縮符号化画像信号を配信するフレームレートが、前記第１および第２配信対象の各々のフレームレートに適合するように、前記第２種フレームの比率を設定する。
【００１３】
本発明のうち第４の態様にかかるものは、第１配信対象及びそれよりもフレームレートの低い第２配信対象の各々へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第２の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された前記信号を、前記記憶媒体から読出し、前記圧縮符号化画像信号として前記第１配信対象へ配信する工程と、(C)前記記憶媒体から読出され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記第２配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(g)は、前記工程(d)によって圧縮符号化されたフレームのうち、すべてのフレームについて間引きを行い、前記工程(b)は、前記工程(B)および(C)が前記圧縮符号化画像信号を配信するフレームレートが、前記第１および第２配信対象の各々のフレームレートに適合するように、前記第２種フレームの比率を設定する。
【００１４】
本発明のうち第５の態様にかかるものは、フレームレートが変動する配信対象へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第１の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(B)が前記圧縮符号化画像信号を配信するフレームレートが、前記配信対象の前記フレームレートに適合するように、前記工程(b)が振り分ける第２種フレームの比率と、前記工程(g)が行う前記間引きの比率と、の少なくとも一方が設定される。
【００１５】
本発明のうち第６の態様にかかるものは、フレームレートが変動する配信対象へ、圧縮符号化画像信号を配信する画像配信方法であって、(A)第２の態様にかかる画像圧縮符号化方法を実行する工程と、(B)前記記憶媒体から読出され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記配信対象へ配信する工程と、を備え、前記工程(A)において、前記工程(B)が前記圧縮符号化画像信号を配信するフレームレートが、前記配信対象の前記フレームレートに適合するように、前記工程(b)が振り分ける第２種フレームの比率と、前記工程(g)が行う前記間引きの比率と、の少なくとも一方が設定される。
【００１６】
本発明のうち第７の態様にかかるものは、第１ないし第６のいずれかの態様にかかる方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラムである。
【００１７】
【発明の実施の形態】
Ａ．本発明が前提とする基本発明．
はじめに、本発明の前提として想定される基本発明の二つの実施の形態について説明する。これらの実施の形態は、それぞれ実施の形態１および２として記載する。
【００１８】
実施の形態１．
図１〜図３は、基本発明の実施の形態１に係る圧縮符号化方法を実現するためのフローチャートである。このフローチャートを参照しつつ本実施の形態１に係る圧縮符号化方法を以下に詳説する。
【００１９】
ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像センサで時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が本実施の形態１に係る符号化器に入力する（ＳＴ１）。尚、特定領域メモリ２にはフレームｆ１が入力する前に、後に詳述するフレーム１枚分のキーＧＯＢからなる参照フレームｆ０が格納されており、この参照フレームｆ０は後述する実施の形態２に係る復号化器の特定領域メモリ１１に圧縮伝送後、復号化されて格納されている。本実施の形態１の符号化器は入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定しており、入力フレームｆ１がキーフレームである。
【００２０】
先ずステップＳＴ２でそのフレームｆ１はキーフレームか否かを条件判定される。フレームｆ１はキーフレームであるからステップＳＴ３に処理が移行し、図２に示すようにステップＳＴ４で特定領域メモリ２に格納した参照フレームｆ０と入力フレームｆ１との間で画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓが算出され、次いでステップＳＴ５で差分絶対値和が閾値以下か否かが条件判定される。例えば、その差分値をΔＰi（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ1｜＋｜ΔＰ2｜＋…＋｜ΔＰn｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や１６×１６画素などのサイズをもつブロック単位で実行される。これ以後の処理も同様である。尚、本実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００２１】
他方、ステップＳＴ５において上記ステップＳＴ４で算出した差分絶対値和Ｓが閾値を超える場合はステップＳＴ７に処理が移行し、入力フレームｆ１はフレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００２２】
尚、フレームの圧縮率を高める観点から、上記フレーム内符号化（ＳＴ７）またはフレーム間符号化（ＳＴ６）を実行する前に入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣbＣr座標系などを使用すればよい。例えば、ＹＣbＣr座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃb，ＣrとからなるＹＣbＣr成分の座標系へと変換される。ＹＣbＣr成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００２３】
次に図１に示すようにステップＳＴ１９に処理が移行し、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されてビットストリームとして出力される。また、上記ステップＳＴ６，ＳＴ７で算出された量子化係数はステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）され、キーフレームメモリ１に格納される。よって、キーフレームメモリ１には符号化（ＳＴ６，ＳＴ７）と復号化（ＳＴ８）を通じて量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は後述する復号化器で復号化（フレーム間復号化）の際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００２４】
次に、上記フレームｆ１に続いてフレームｆ２が符号化器に入力すると、ステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。フレームｆ２はキーフレームでは無いからステップＳＴ９に処理が移行し、フレームｆ２は複数のブロック領域（以下、ＧＯＢと呼ぶ。）に分割され、次いでステップＳＴ９でこれらブロック領域（ＧＯＢ）の中から単数または複数の特定領域（以下、キーＧＯＢと呼ぶ。）が指定される。図４（ａ）に４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢに指定されている。図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割され、フレームｆ３の第２段目ＧＯＢ、フレームｆ４の第３段目ＧＯＢ、フレームｆ５の第４段目ＧＯＢがそれぞれキーＧＯＢに指定される。図５に示すようにこのようなフレームｆ１〜ｆ５は時間軸に沿って配列している。
【００２５】
次にステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または１６×１６画素程度の基本処理単位に分割したブロック毎に順次処理される。ステップＳＴ１１では処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２で当該ブロックは上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなって出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ１３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後に特定領域メモリ２に蓄積される。
【００２６】
他方、上記ステップＳＴ１１でブロックがキーＧＯＢに属しない場合はステップＳＴ１４のサブルーチンに処理が移行し、図３に示すようにステップＳＴ１５で入力フレームの当該ブロックとキーフレームメモリ１に格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いでステップＳＴ１６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ１７に処理が移行し、当該ブロックはキーフレームメモリ１に格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。このように上記ステップＳＴ１７，ＳＴ１８で符号化された量子化係数は、図１に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなって出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００２７】
次に上記フレームｆ２に続いて符号化器に入力するフレームｆ３，ｆ４，…も、キーフレームが入力する迄はフレームｆ２の場合と同様に処理される。よって、上記ステップＳＴ１３で復号化されたキーＧＯＢ１〜４が特定領域メモリ２にフレーム１枚分蓄積され、図５に模式的に図示するようにキーＧＯＢ１〜４は特定領域メモリ２で参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００２８】
このように本実施の形態１に係る圧縮符号化方法では、上記ステップＳＴ３で特定領域メモリ２に蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できるという効果が得られる。特にインターネットなどの帯域幅が制限された伝送路ではその効果が発揮される。
【００２９】
また特定領域メモリ２では複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。本実施の形態１ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００３０】
実施の形態２．
次に、基本発明の実施の形態２に係る復号化方法を以下に詳説する。図６は、本実施の形態２に係る復号化方法を実現するためのフローチャートである。
【００３１】
上記実施の形態１で符号化した圧縮画像データはビットストリームとなって本実施の形態２に係る復号化器に入力する（ＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。すなわち、上記符号化器から本実施の形態２に係る復号化器に上記フレームｆ１，ｆ２，…の圧縮データが順次入力するから、ステップＳＴ２１でキーフレームｆ１の圧縮データに対して、上記実施の形態１のステップＳＴ３のフレーム内符号化あるいはフレーム間符号化の復号化処理が８×８画素や１６×１６画素程度のブロック単位で施される。キーフレームｆ１の圧縮データを復号化する際、予め特定領域メモリ１１に格納した参照フレームｆ０が利用される。また復号化したキーフレームｆ１は、キーフレームメモリ１０に格納される。
【００３２】
また、キーフレームの圧縮データに続いて復号化器に入力するフレームｆ２，ｆ３，…の圧縮データに対して、上記実施の形態１のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理が上記ブロック単位で施される。フレーム間符号化の復号化処理を行う際は、キーフレームメモリ１０に格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位であるブロックがキーＧＯＢに属する場合は当該ブロックは特定領域メモリ１１に蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡが合成され、後に復号化器に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図４（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データが復号化器に入力する場合、各キーＧＯＢを構成するブロックの圧縮データはフレーム内復号化を施された後に特定領域メモリ１１に順次蓄積され、参照フレームＡを再構成する。
【００３３】
このようにステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像表示した場合、上記符号化器でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。かかる場合を防ぐべく、本実施の形態２は図６に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を備えることが特徴である。
【００３４】
図７は、キーＧＯＢ再量子化処理を示すフローチャートである。図７に示すように、先ず８×８画素または１６×１６画素程度のブロックが入力する（ＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定され、当該ブロックがキーＧＯＢに属しない場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。他方、当該ブロックがキーＧＯＢに属する場合はステップＳＴ３２に処理が移行し、キーフレームメモリ１０に蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図６に示すステップＳＴ２３に処理が移行する。
【００３５】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合はステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ１６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ１７）と同じものである。その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。次に、ステップＳＴ３８でキーフレームメモリ１０に格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００３６】
以上のキーＧＯＢ再量子化処理を施されたブロックは、図６に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。以上のキーＧＯＢ再量子化工程を図４に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図８に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ１０に格納したキーフレームとの差分をとられる。次に上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、すなわちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００３７】
このように本実施の形態２によれば、上記実施の形態１に係る圧縮符号化処理（ＳＴ１５〜ＳＴ１７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号化器でその符号化信号を復号化した時と同様に、キーＧＯＢにフレーム間符号化およびその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００３８】
Ｂ．本発明の実施の形態．
つぎに、上記した基本発明を前提とする本発明の実施の形態について説明する。
【００３９】
（画像配信装置の概略）
図９は、本発明の実施の形態による画像配信システムの構成を示すブロック図である。この画像配信システム１２０は、画像配信装置２０、通信回線４０、および端末装置３０を備えている。画像配信装置２０は、図１に示した実施の形態１による圧縮符号化方法を実行し、ビットストリームの形式で圧縮符号化画像信号を通信回線４０へ出力する。通信回線４０の一例は、ＬＡＮあるいはインタネット等のネットワークである。端末装置３０は、通信回線４０へ接続されることにより、画像配信装置２０が時間に沿って出力する圧縮符号化画像信号を、端末装置３０のユーザが指定する任意の時点から受信し、かつ復号化するように構成されている。
【００４０】
なお本明細書では、基本発明による符号化方法および復号化方法を、「ＳＲＶＣ(Super Real Video Codec)方式」と仮称する。また、画像配信装置２０に接続される通信回線４０および端末装置３０の双方を含めて、画像配信装置２０の「配信対象」と仮称する。したがって、配信対象のフレームレート（単位時間当たりのフレーム数）は、通信回線４０とそれに接続される端末装置３０との双方のフレームレートによって規定される。画像配信装置２０は、配信対象のフレームレートに適合したフレームレートで、圧縮符号化画像信号を配信する必要がある。
【００４１】
図１０が示すように、画像配信装置２０が出力するＳＲＶＣ方式にもとづく圧縮符号化画像信号では、一つのキーフレームＫからつぎのキーフレームＫの直前のフレームまでが、一つのフレーム群を構成する。一つのフレーム群には、キーフレームＫおよびこれに後続する複数の第１種フレームP-GOBが含まれる。フレームP-GOBとは、図４に例示したように、フレーム内の特定領域であるキーＧＯＢを有するフレームであり、「キーＧＯＢありＰピクチャ」とも仮称する。フレームP-GOBのうち、キーＧＯＢ（特定領域）を除いた領域である非特定領域（例えば、図４においてＧＯＢと記載される領域）は、同一のフレーム群に属するキーフレームＫを参照フレーム（「第１の参照フレーム」とも称する）としてフレーム間符号化されている。
【００４２】
したがってフレームP-GOBは、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。また、フレームP-GOBに含まれるキーＧＯＢは、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームＡ（「第２の参照フレーム」とも称する）として用いられ、当該キーフレームＫは、これらキーＧＯＢの１フレーム分の集合との差分画像となっている。すなわち、キーフレームＫは前のフレーム群に属するフレームP-GOBに依存している。
【００４３】
以上のように、ＳＲＶＣ方式にもとづく圧縮符号化画像信号では、すべてのキーフレームＫおよびフレームP-GOBは、互いに補完関係にある。したがって、ＳＲＶＣ方式にもとづく圧縮符号化画像信号は、一連のキーフレームＫおよびフレームP-GOBのうちのいずれの１フレームをも捨てることなく、配信対象へ配信されなければならない。このため、圧縮符号化画像信号をフレームレートの高い配信対象と低い配信対象とに配信する場合、あるいは、通信回線４０の帯域変動等の要因によりフレームレートが変動する配信対象へ配信する場合に、これらの配信対象のフレームレートに適合した配信を、一連のキーフレームＫおよびフレームP-GOBの一部を間引くことによって実現することはできない。
【００４４】
これに対して、図１０が示すように、フレーム群の中には、第２種フレームＰを挿入することが可能である。フレームＰは、キーＧＯＢを含まず、同一のフレーム群に属するキーフレームＫを参照フレームとして、フレーム全体にわたってフレーム間符号化されたフレームである。フレームＰは、「キーＧＯＢなしＰピクチャ」とも仮称する。すなわち、フレームＰはフレームP-GOBと同様に、同一のフレーム群に属するキーフレームＫとの差分画像であり、当該キーフレームＫに依存している。しかしながら、フレームＰはフレームP-GOBとは異なり、つぎのフレーム群に属するキーフレームＫのフレーム間符号化のために参照フレームとして用いられることはない。すなわち、フレームＰには、他のフレームが従属することはない。
【００４５】
したがって、圧縮符号化画像信号にフレームＰを含めておき、フレームＰのみを間引くことで、配信対象に適合したフレームレートでの配信が可能となる。以下に、画像配信装置２０について、その構成および動作手順について詳細に説明する。
【００４６】
（画像配信装置の構成）
図１１は、画像配信装置２０の構成を示すブロック図である。この画像配信装置２０は、画像配信装置の本体部をなす画像信号処理装置２１と、カメラ２２とを備えている。画像信号処理装置２１は、ビデオデコーダ２３、圧縮部２４、画像記録部２５、インタフェース２６、制御部２７、ワークメモリ２９、およびこれらを互いに接続するバスライン２８を備えている。
【００４７】
カメラ２２で撮像することにより得られる画像信号は、ビデオデコーダ２３によって、アナログ形式からデジタル形式へ変換される。ビデオデコーダ２３が出力するデジタル形式の画像信号は、圧縮部２４によって圧縮符号化される。
【００４８】
ワークメモリ２９は、圧縮符号化処理の過程で一時的に画像信号を保持するためのメモリであり、図１に示したキーブロックメモリ（特定領域メモリ）２およびキーフレームメモリ１を含んでいる。圧縮部２４が出力する圧縮符号化画像信号は、画像記録部２５へストアされるか、あるいはそれと同時に、インタフェース２６へ送られる。インタフェース２６は、外部の通信回線４０へ接続されることにより、圧縮部２４が出力する圧縮符号化画像信号、または画像記録部２５にストアされている圧縮符号化画像信号を、通信回線４０へ送出する。
【００４９】
制御部２７は、例えばプログラム（ソフトウェア）にもとづいて動作するＣＰＵ（コンピュータ）で構成され、各要素２３〜２６，２９を制御する機能を果たしている。制御部２７がＣＰＵで形成される場合には、画像記録部２５はＣＰＵの動作を規定するプログラムを格納するメモリとしても機能する。圧縮部２４は、例えば画像信号の圧縮をハードウェアのみで実行する半導体チップ（ＬＳＩ）で構成される。画像信号処理装置２１に含まれる要素２３〜２７，２９は、それらのいくつか、あるいは一つ一つが単一の半導体チップ（ＬＳＩまたはシステムＬＳＩ）で構成されても良く、全体が単一の半導体チップ（システムＬＳＩ）で構成されても良い。
【００５０】
以上のように、画像配信装置２０では、カメラ１から入力される画像信号に同期して、すなわちリアルタイムで、圧縮符号化画像信号を通信回線４０へ出力することが可能なように構成されている。また、圧縮符号化画像信号をストアする画像記録部２５が備わるので、目的および条件に応じて、圧縮符号化画像信号の配信だけでなく記録をも行うことができる。さらに、リアルタイムでの配信に代えて、記録された圧縮符号化画像信号を画像記録部２５から読出し、インタフェース２６を通じて通信回線４０へ送出することも可能である。
【００５１】
（画像配信装置の動作）
図１２は画像配信装置２０の動作手順を示すフローチャートである。この処理は、ステップＳＴ４０〜４４が付加されている点において、図１に示した基本的な処理とは特徴的に異なっている。図１２の処理のうち、例えば、ステップＳＴ１からステップＳＴ１９へ至る処理は圧縮部２４で実行され、ステップＳＴ４０，４３，４４の処理は制御部２７で実行される。
【００５２】
ステップＳＴ２において、入力されたフレームがキーフレームＫではないと判定されると、当該フレームが、キーＧＯＢありＰピクチャであるか否か、すなわちフレームP-GOBであるか否かが判定される（ステップＳＴ４１）。入力されたフレームがフレームP-GOBであると判定されると、図１のステップＳＴ９以下と同様の処理が行われる。一方、入力されたフレームがフレームP-GOBでない、すなわちフレームＰであると判定されると、ステップＳＴ４２の処理が行われた後に、処理はステップＳＴ１９へ移行する。ステップＳＴ４２では、ステップＳＴ１４と同じ処理、すなわち図３の処理が、フレーム全体にわたって実行される。ステップＳＴ４２によるフレーム間符号化では、ステップＳＴ１４と同様に、キーフレームメモリ１に格納されているキーフレームが参照される。
【００５３】
このように、入力されたフレームが、ステップＳＴ２およびステップＳＴ４１を通じて、キーフレームＫ、フレームP-GOB、およびフレームＰのいずれかに振り分けられ、それぞれに応じた圧縮符号化処理が施される。３種のフレームへの振り分けは、振り分けの比率に関してあらかじめ設定された固定値、あるいはステップＳＴ４０において設定される可変値にもとづいて行われる。ステップＳＴ４０では、例えばオペレータの入力操作、あるいは配信対象のフレームレートにもとづいて、振り分けの比率が設定される。振り分けの比率は、例えば１フレーム群に挿入すべきフレームＰの枚数を設定することによっても、定めることができる。
【００５４】
ビットストリームの形式で出力された圧縮符号化画像信号のうち、ステップＳＴ４２を通じて圧縮符号化されたフレームＰの一部ないしすべてを間引する工程（ステップＳＴ４４）が、ステップＳＴ１９の後に付加されている。これにより、間引き後の圧縮符号化画像信号をビットストリームとして出力することが可能となっている。また、ステップＳＴ４４で得られる間引き後の圧縮符号化画像信号と、ステップＳＴ１９で得られる間引き前の圧縮符号化画像信号とを、二つのビットストリームとして同時に出力してもよい。ビットストリームの出力先は、例えば、インタフェース２６または画像記録部２５である。
【００５５】
間引きは、間引きの比率に関してあらかじめ設定された固定値、あるいはステップＳＴ４３において設定される可変値にもとづいて行われる。ステップＳＴ４３では、例えばオペレータの入力操作、あるいは配信対象のフレームレートにもとづいて、間引きの比率が設定される。間引きの比率は、例えば１フレーム群に挿入されたフレームＰのうち、間引くべきフレームの枚数、すなわち間引き数を設定することによっても、定めることができる。
【００５６】
画像配信装置２０は、図１２の処理を、各フレームに対して連続的に行うものであり、例えばステップＳＴ１９の処理が一つのフレームに対して行われているときに、つぎのフレームに対してステップＳＴ１の処理が同時に行われることも有り得る。すなわち好ましくは、画像配信装置２０は入力された画像信号に対する処理を、パイプライン処理の形式で実行する。このことは、図１および図６に示した処理においても同様である。図１、図６、および図１２は、画像信号に対して行われるパイプライン処理について、任意の１フレームに着目して、当該フレームに対する処理の流れを示したものである。一つのフレームに対する処理の終了時点とつぎのフレームに対する開始時点との間の時間的前後関係を限定しなければ、図１、図６、および図１２の処理は、１フレーム毎に反復的に実行されると、一般に表現することが可能である。
【００５７】
ステップＳＴ１９とＳＴ４４との間に、間引き前の圧縮符号化画像信号を画像記録部２５へストアする工程を挿入しても良い。すなわち、間引き前の圧縮符号化画像信号のビットストリームを、画像記録部２５へ入力することにより一旦記録し、その後に読み出して間引きを行うように、図１２の処理を構成することも可能である。読み出された間引き前の圧縮符号化画像信号と、その後に間引かれた圧縮符号化画像信号とを、二つのビットストリームとして同時に出力することも可能である。ビットストリームの出力先は、例えばインタフェース２６である。読み出す時期は、例えばオペレータの入力操作、あるいは端末装置３０からの配信要求にもとづいて設定される。
【００５８】
（振り分けと間引きの条件設定）
つぎに、フレームの振り分け、および間引きの条件に関する好ましい例について説明する。図１３はその第１の例を示す動作説明図である。この例は、圧縮符号化画像信号をフレームレートの高い第１配信対象と低い第２配信対象とに配信するのに適している。第１配信対象には、間引き前の圧縮符号化画像信号が配信され、第２配信対象には、すべてのフレームＰが間引かれた圧縮符号化画像信号が配信される。フレームの振り分けの比率は、配信される圧縮符号化画像信号のフレームレートが、第１および第２配信対象のフレームレートに適合するように設定される。図１３が示すように、第１および第２配信対象のフレームレートの比率が、約５：１である場合には、フレームP-GOBに対するフレームＰの比率を４に設定するとよい。その結果、第２配信対象には、第１配信対象の約５分の１のフレームレートで、圧縮符号化画像信号が配信される。
【００５９】
図１４は、第２の例を示す動作説明図である。この例は、通信回線４０の帯域変動等の要因によりフレームレートが変動する配信対象へ、圧縮符号化画像信号を配信するのに適している。例えば、配信を行っている中で通信回線４０の帯域変動があって、圧縮符号化画像信号の配信が滞った場合に、間引きの比率を高めることにより、配信のフレームレートを、配信対象の低下したフレームレートに適合させることが可能である。すべてのフレームＰを間引いても、なお適合させることができない場合には、フレームＰの挿入数を高めるとよい。図１４が示すように、配信の滞りがあれば、フレームＰの挿入数を高めてゆき、それにより配信のフレームレートを低下させることができる。その結果、滞りが解消されれば、挿入数は元の値（すなわち初期設定値）に戻される。
【００６０】
なお、上記第１および第２のいずれの例においても、図１２に関連して既に述べたように、配信すべき圧縮符号化画像信号として、カメラ２２で撮像され圧縮部２４で圧縮符号化されたままのリアルタイムの画像信号と、圧縮符号化後に画像記録部２５に一旦蓄積された画像信号との、いずれをも用いることが可能である。
【００６１】
【発明の効果】
本発明のうち第１の態様にかかる方法では、互いに従属関係を持つように圧縮符号化されるキーフレームと第１種フレームとの他に、他のフレームが自身に従属することのないように圧縮符号化される第２種フレームが割り当てられるとともに、圧縮符号化後に、第２種フレームの少なくとも一部が間引かれる。このため、第２種フレームを割り当てる比率と、圧縮符号化後に第２種フレームを間引く比率との、少なくとも一方を調節することにより、様々なフレームレートをもつ圧縮符号化後の画像信号を得ることができる。
【００６２】
本発明のうち第２の態様にかかる方法では、圧縮符号化された信号を記憶媒体へ記憶しておき、読み出した信号に対して間引きが行われる。このため、様々なフレームレートをもつ圧縮符号化後の画像信号を、圧縮符号化よりも後の任意の時点で得ることができる。
【００６３】
本発明のうち第３の態様にかかる方法では、第１の態様にかかる方法を用いるとともに、フレームレートの異なる二つの配信対象に適合するように第２種フレームの振り分けの比率が設定され、間引き前と間引き後の圧縮符号化画像信号が、それぞれ二つの配信対象へ配信される。このため、二つの配信対象に適合したフレームレートで、圧縮符号化画像信号を配信することができる。
【００６４】
本発明のうち第４の態様にかかる方法では、第２の態様にかかる方法を用いるので、すでに蓄積されている圧縮符号化画像信号を、任意の時点、例えば配信要求があったときに、配信対象に適合したフレームレートで配信することができる。
【００６５】
本発明のうち第５の態様にかかる方法では、第１の態様にかかる方法を用いるとともに、配信対象の変動するフレームレートに適合するように、第２種フレームの振り分けの比率と間引き率との、少なくとも一方が設定される。このため、フレームレートの変動に適応しつつ、圧縮符号化画像信号を配信することができる。
【００６６】
本発明のうち第６の態様にかかる方法では、第２の態様にかかる方法を用いるので、すでに蓄積されている圧縮符号化画像信号を、任意の時点、例えば配信要求があったときに、配信対象のフレームレートの変動に適応しつつ、配信することができる。
【００６７】
本発明のうち第７の態様にかかるプログラムでは、コンピュータに搭載することにより、第１ないし第６の態様の各々にかかる方法を実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となる基本発明の実施の形態１に係る符号化方法を実現するフローチャートである。
【図２】実施の形態１に係る符号化方法を実現するフローチャートである。
【図３】実施の形態１に係る符号化方法を実現するフローチャートである。
【図４】４つのブロック領域に分割された各フレームを示す説明図である。
【図５】実施の形態１に係る符号化方法を説明するための模式図である。
【図６】本発明の前提となる基本発明の実施の形態２に係る復号化方法を実現するフローチャートである。
【図７】実施の形態２に係る再量子化処理を説明するためのフローチャートである。
【図８】実施の形態２に係る復号化方法を説明するための模式図である。
【図９】本発明の実施の形態に係る画像配信システムの構成を示すブロック図である。
【図１０】図９の画像配信装置が出力する圧縮符号化画像信号の一例を示すデータ構造図である。
【図１１】図９の画像配信装置の構成を示すブロック図である。
【図１２】図１１の画像配信装置の動作手順を示すフローチャートである。
【図１３】図１１の画像配信装置の動作の第１例を示す動作説明図である。
【図１４】図１１の画像配信装置の動作の第２例を示す動作説明図である。
【図１５】従来の符号化方法を説明するためのフローチャートである。
【図１６】従来の復号化方法を説明するためのフローチャートである。
【符号の説明】
１ キーフレームメモリ
２ 特定領域メモリ
１０ キーフレームメモリ
１１ 特定領域メモリ
Ａ 参照フレーム
ｆ１，Ｋ キーフレーム
Ｋｅｙ−ＧＯＢ 特定領域
Ｐ−ＧＯＢ 第１種フレーム
Ｐ 第２種フレーム
Claims (7)
- 順次入力される複数のフレームからなる画像信号を圧縮符号化する画像圧縮符号化方法であって、
(a)前記複数のフレームの中からキーフレームを指定し圧縮符号化すると共に、圧縮符号化したキーフレームを復号化することにより第１の参照フレームとして記憶する工程と、
(b)前記キーフレームの後に入力するフレームを、第１種フレームと第２種フレームとのいずれかに振り分ける工程と、
(c)入力する前記フレームが前記第１種フレームであるときに、当該第１種フレームに対する処理を行う工程であって、
(c-1)前記第１種フレームを複数のブロック領域に分割し且つ前記各ブロック領域の中から特定領域を指定する工程と、
(c-2)前記特定領域に対してフレーム内符号化を実行すると共に、当該フレーム内符号化がなされた前記特定領域を復号化して記憶する工程と、
(c-3)記憶している前記第１の参照フレームを参照することにより、前記工程(c-1)で分割した前記特定領域を除く前記各ブロック領域に対してフレーム間符号化を実行する工程と、を有する工程と、
(d)入力する前記フレームが前記第２種フレームであるときに、記憶している前記第１の参照フレームを参照することにより、前記第２種フレームに対してフレーム間符号化を実行する工程と、
(e)前記工程(b)〜(d)を繰り返し実行するとともに、前記工程(c)を実行するごとに記憶した前記特定領域を、第２の参照フレームとして１フレーム分蓄積する工程と、
(f)前記工程(a)〜(e)を繰り返し実行するとともに、前記工程(a)で前記第１の参照フレームを記憶するごとに、すでに記憶している前記第１の参照フレームを更新し、かつ前記工程(e)で前記第２の参照フレームとしての蓄積を行うごとに、すでに記憶している前記第２の参照フレームを更新する工程と、
(g)前記工程(d)によって圧縮符号化されたフレームのうち、少なくとも一部のフレームについて間引きを行う工程と、を備え、
前記工程(a)が、
(a-1)指定した前記キーフレームに対して、記憶している前記第２の参照フレームを参照することにより、フレーム間符号化を実行する工程、を備える、画像圧縮符号化方法。 - (h)前記工程(a),(c),および(d)の各々で圧縮符号化された信号を記憶媒体へ記憶する工程、をさらに備え、
前記工程(g)は、前記記憶媒体から前記信号を読出し、読み出した当該信号から前記間引きを行う、請求項１に記載の画像圧縮符号化方法。 - 第１配信対象及びそれよりもフレームレートの低い第２配信対象の各々へ、圧縮符号化画像信号を配信する画像配信方法であって、
(A)請求項１に記載の画像圧縮符号化方法を実行する工程と、
(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された信号を、前記圧縮符号化画像信号として前記第１配信対象へ配信する工程と、
(C)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記第２配信対象へ配信する工程と、を備え、
前記工程(A)において、
前記工程(g)は、前記工程(d)によって圧縮符号化されたフレームのうち、すべてのフレームについて間引きを行い、
前記工程(b)は、前記工程(B)および(C)が前記圧縮符号化画像信号を配信するフレームレートが、前記第１および第２配信対象の各々のフレームレートに適合するように、前記第２種フレームの比率を設定する、画像配信方法。 - 第１配信対象及びそれよりもフレームレートの低い第２配信対象の各々へ、圧縮符号化画像信号を配信する画像配信方法であって、
(A)請求項２に記載の画像圧縮符号化方法を実行する工程と、
(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化された前記信号を、前記記憶媒体から読出し、前記圧縮符号化画像信号として前記第１配信対象へ配信する工程と、
(C)前記記憶媒体から読出され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記第２配信対象へ配信する工程と、を備え、
前記工程(A)において、
前記工程(g)は、前記工程(d)によって圧縮符号化されたフレームのうち、すべてのフレームについて間引きを行い、
前記工程(b)は、前記工程(B)および(C)が前記圧縮符号化画像信号を配信するフレームレートが、前記第１および第２配信対象の各々のフレームレートに適合するように、前記第２種フレームの比率を設定する、画像配信方法。 - フレームレートが変動する配信対象へ、圧縮符号化画像信号を配信する画像配信方法であって、
(A)請求項１に記載の画像圧縮符号化方法を実行する工程と、
(B)前記工程(A)の中の前記工程(a),(c),および(d)の各々で圧縮符号化され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記配信対象へ配信する工程と、を備え、
前記工程(A)において、
前記工程(B)が前記圧縮符号化画像信号を配信するフレームレートが、前記配信対象の前記フレームレートに適合するように、前記工程(b)が振り分ける第２種フレームの比率と、前記工程(g)が行う前記間引きの比率と、の少なくとも一方が設定される、画像配信方法。 - フレームレートが変動する配信対象へ、圧縮符号化画像信号を配信する画像配信方法であって、
(A)請求項２に記載の画像圧縮符号化方法を実行する工程と、
(B)前記記憶媒体から読出され、かつ前記工程(g)で間引きが行われた後の信号を、前記圧縮符号化画像信号として前記配信対象へ配信する工程と、を備え、
前記工程(A)において、
前記工程(B)が前記圧縮符号化画像信号を配信するフレームレートが、前記配信対象の前記フレームレートに適合するように、前記工程(b)が振り分ける第２種フレームの比率と、前記工程(g)が行う前記間引きの比率と、の少なくとも一方が設定される、画像配信方法。 - 請求項１ないし請求項６のいずれかに記載の方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283459A JP4599609B2 (ja) | 2001-09-18 | 2001-09-18 | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283459A JP4599609B2 (ja) | 2001-09-18 | 2001-09-18 | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003092760A JP2003092760A (ja) | 2003-03-28 |
| JP4599609B2 true JP4599609B2 (ja) | 2010-12-15 |
Family
ID=19106939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001283459A Expired - Fee Related JP4599609B2 (ja) | 2001-09-18 | 2001-09-18 | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4599609B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4789127B2 (ja) * | 2001-09-18 | 2011-10-12 | 株式会社メガチップス | 画像配信方法、画像記録方法、およびそれらのプログラム |
| FR2898757A1 (fr) * | 2006-03-14 | 2007-09-21 | Canon Kk | Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video |
| JP2009071802A (ja) * | 2007-08-23 | 2009-04-02 | Panasonic Corp | 動画像符号化方法および装置、並びに撮像システム |
| JP2009273096A (ja) * | 2008-05-12 | 2009-11-19 | Fujifilm Corp | 中間動画ファイル生成装置およびその動作制御方法 |
| US10735745B1 (en) * | 2019-06-06 | 2020-08-04 | Tencent America LLC | Method and apparatus for video coding |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0374982A (ja) * | 1989-08-15 | 1991-03-29 | Sony Corp | 画像信号の伝送装置および伝送方法 |
| JPH05328331A (ja) * | 1992-05-25 | 1993-12-10 | Toshiba Corp | 映像信号の符号化方式及び復号化装置 |
| JPH07111653A (ja) * | 1993-10-13 | 1995-04-25 | Canon Inc | 符号化装置 |
| JPH08130743A (ja) * | 1994-10-31 | 1996-05-21 | Mitsubishi Electric Corp | 画像符号化データ再符号化装置 |
| JP2000092496A (ja) * | 1998-09-11 | 2000-03-31 | Ishikawajima Harima Heavy Ind Co Ltd | 圧縮動画像データ通信方法 |
-
2001
- 2001-09-18 JP JP2001283459A patent/JP4599609B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0374982A (ja) * | 1989-08-15 | 1991-03-29 | Sony Corp | 画像信号の伝送装置および伝送方法 |
| JPH05328331A (ja) * | 1992-05-25 | 1993-12-10 | Toshiba Corp | 映像信号の符号化方式及び復号化装置 |
| JPH07111653A (ja) * | 1993-10-13 | 1995-04-25 | Canon Inc | 符号化装置 |
| JPH08130743A (ja) * | 1994-10-31 | 1996-05-21 | Mitsubishi Electric Corp | 画像符号化データ再符号化装置 |
| JP2000092496A (ja) * | 1998-09-11 | 2000-03-31 | Ishikawajima Harima Heavy Ind Co Ltd | 圧縮動画像データ通信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003092760A (ja) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3163830B2 (ja) | 画像信号伝送方法及び装置 | |
| JP4109113B2 (ja) | ビデオ伝送におけるビットストリーム間の切換 | |
| US6091458A (en) | Receiver having analog and digital video modes and receiving method thereof | |
| JP4820559B2 (ja) | 映像データ符号化及び復号化方法及び装置 | |
| JPH08505512A (ja) | 映像デコーダにおけるチャンネル・バッファの管理 | |
| JP2004201339A (ja) | アナログとデジタルビデオモードとを有する受信機及びその受信方法 | |
| JP4265642B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| US20010038669A1 (en) | Precise bit control apparatus with look-ahead for mpeg encoding | |
| JPH0998429A (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| KR20010015304A (ko) | 데이터 재생 전송 장치 및 데이터 재생 전송 방법 | |
| JPH0879766A (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP4599609B2 (ja) | 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム | |
| JP4451023B2 (ja) | 動画像復号化方法およびそのプログラム | |
| JP4721028B2 (ja) | 動画像配信システム、動画像配信方法及びそれらのプログラム | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4789127B2 (ja) | 画像配信方法、画像記録方法、およびそれらのプログラム | |
| JP4458712B2 (ja) | 監視映像の高速再生方法及びそれらのプログラム | |
| JP3927422B2 (ja) | 動画像送受信システム、動画像送受信方法及びそれらのプログラム | |
| JP4451022B2 (ja) | 画像配信方法、画像復号化方法、およびそれらのプログラム | |
| JP4706072B2 (ja) | 影像処理システム、動画像の圧縮符号化方法、動画像の復号化方法及びそれらのプログラム | |
| JP3990011B2 (ja) | 復号画像変換回路および復号画像変換装置 | |
| JP4364422B2 (ja) | 動画像の圧縮符号化方法およびその復号化方法 | |
| JP4736233B2 (ja) | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム | |
| KR101071201B1 (ko) | 폴리페이즈 방식을 이용한 영상 압축 방법 | |
| JP3500340B2 (ja) | コーディング装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080828 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100909 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4599609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |