WO2005096636A1

WO2005096636A1 - 符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム

Info

Publication number: WO2005096636A1
Application number: PCT/JP2005/006171
Authority: WO
Inventors: Tsuyoshi Hanamura; Isao Nagayoshi; Michiko Wakui; Hideyoshi Tominaga
Original assignee: Media Glue Corporation
Priority date: 2004-03-30
Filing date: 2005-03-30
Publication date: 2005-10-13
Also published as: JP2005286863A

Abstract

　符号化ストリームを、前記符号化ストリームより符号量が少ない基本符号化信号Ｂと、基本符号化信号Ｂとともに使用して画像を復元させる複数の拡張符号化信号Ｅ(ｍ)と、を係数位置により分離する分離部１１００と、前記基本符号化信号Ｂと、複数の前記拡張符号化信号Ｅ(ｍ)と、を任意に組み合わせて多重化し、複数の伝送符号化信号Ｓｔ(ｌ)を生成する多重化部１６００と、を備えることにより、独立した分離ストリームＳｔ(ｌ)を生成し、出力することにより、ネットワーク状態に応じた伝送路選択を行い、映像のスケーラブル伝送を実現することができる。

Description

符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システム

技術分野

[0001] 本発明は、映像のスケーラブル伝送を行うことができる符号ィヒ信号分離装置、符号化信号合成装置および符号ィ匕信号分離合成システムに関するものである。

背景技術

[0002] 動画像をディジタルィ匕する技術にぉ、て、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格 ISOZIEC 13818 (通称、「MPEG— 2」(Moving Picture E xpert Group Phase 2))がある。このようにして生成された MPEG— 2の規格に準拠したビットストリーム（以後、「MPEG— 2ビットストリーム」と呼ぶ）は、通信ゃテレビジョン放送など幅広、分野で使用されて!、る。

[0003] MPEG— 2ビットストリームは階層構造を有し、最上位のシーケンスレイヤから GOP

(Group of Pictures)レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。

[0004] MPEG— 2においては、一連の複数の画面から構成される動画像において、各画面をー且フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換（以後、「DCT」と略す)等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良ヽ動画像圧縮符号化を実現して、る。

[0005] 符号ィ匕された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第 1のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第 2のフレームメモリに保存し、 2つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。

[0006] MPEG— 2では、この双方向予測を実現するために、 Iピクチャ、 Pピクチャおよび B ピクチャという 3つのタイプを規定している。 Iピクチャは、イントラ符号ィ匕ピクチャの略であり、他のピクチャとは独立して静止画として符号ィ匕される画面のことである。 Pピクチヤは、順方向予測符号ィ匕ピクチャの略であり、時間的に過去に位置する Iまたは P ピクチャに基づいて予測符号ィ匕される画面のことである。 Bピクチャは、双方向予測符号ィ匕ピクチャの略であり、時間的に前後に位置する Iまたは Pピクチャを用いて順方向、逆方向または双方向のピクチヤに基づいて予測符号ィ匕される画面のことである。すなわち、 Iピクチャおよび Pピクチャを先に符号ィ匕処理した後、その間に挿入される Bピクチャが符号ィ匕される。

[0007] 符号化器で符号ィ匕された MPEG— 2ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しカゝしながら、動画像を符号ィヒして発生する情報量は一定ではな、。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号ィヒ信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しな、ように符号ィ匕データのレート制御を行う必要がある。

[0008] MPEG— 2では、 ISO/IEC JTC1/SC29/WG11/N0400 Test Model

5 (April, 1993) (以後、「TM5」と略す）にレート制御方式が記載されている。

[0009] MPEG— 2の TM5のレート制御では、ステップ 1で、まずピクチャタイプ毎に GOP 内の未符号ィ匕ピクチャに対する割り当て符号量 Rに基づ、てビット配分する。ステツプ 2で、マクロブロック単位に符号ィ匕処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量力も算出する。

[0010] また、 MPEG— 2以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度に MPEG— 2ビットストリームを変換する動画圧縮符号ィ匕信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。

[0011] 図 25に一般的な従来のトランスコーダ 50の第 1例を示す。従来のトランスコーダ 50 は、第 1ビットレートを有する第 1伝送路（図示なし）に接続され、第 1MPEG— 2ビットストリーム blを入力する可変長復号部 (VLD) 51と、逆量子化器 53と、量子化器 55 と、第 2ビットレートを有する第 2伝送路（図示なし）に接続され、第 2MPEG— 2ビットストリーム b2を出力する VLC57と、量子化器 55で発生する符号量を制御するレート制御部 59と、を備えている。第 2ビットレートは第 1ビットレートより低い転送速度である。

[0012] VLD51および逆量子化器 53によって、第 1MPEG— 2ビットストリーム blをマクロブロック単位に DCT係数領域まで復号し、量子ィ匕器 55および VLC57によって、得られた DCT係数信号を符号ィ匕して、第 1MPEG— 2ビットストリームより少な、符号量を有する第 2MPEG— 2ビットストリーム b2を生成するものである。

[0013] 量子化器 55における量子化処理では、 DCT変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。

[0014] トランスコーダ 50では、第 1MPEG— 2ビットストリーム bl内のシーケンスレイヤ、 G OPレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤの DCT係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる

[0015] このように構成されたトランスコーダ 50において、レート制御部 59は MPEG— 2の T

M5に記載されているレート制御を行う。

[0016] 図 26に従来のトランスコーダ 50のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップ A1〜A14力もなる。

[0017] ステップ A1で、変数 nを 1に設定する。ここで、変数 nは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、 n番目のピクチャを pic(n)と示す。

[0018] 続くステップ A2で、 I、 Pおよび Bピクチャの複雑さを示す指標 Xi、 Xpおよび Xbを下記の式 (al)、式 (a2)および式 (a3)により算出する。

[0019] Xi=Si X Qi …式（al)

[0020] Xp = Sp X Qp …式（a2) [0021] Xb = Sb X Qb …式（a3)

[0022] ここで、 Si、 Spおよび Sbはそれぞれ I、 Pおよび Bピクチャの発生符号量であり、 Qi、 Qpおよび Qbは、それぞれ I、 Pおよび Bピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメ一タは 1〜31の範囲に正規化されている。

[0023] この画面の複雑さ指標 Xi、 Xpおよび Xbは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。

[0024] また、 I、 Pおよび Bピクチャの画面の複雑さを示すパラメータ Xi、 Xpおよび Xbの初期値は、次式 (a4)、式 (a5)および式 (a6)でそれぞれ与えられる。

[0025] Xi= 160 X target— BitrateZl 15 …式（a4)

[0026] Xp = 60 X target— BitrateZl 15 …式（a5)

[0027] Xb = 42 X target— BitrateZl 15 …式（a6)

[0028] ここで、 target_Bitrateは、トランスコーダ 50の目標ビットレートである。

[0029] 続くステップ A3で、 GOP内の I、 Pおよび Bピクチャに対する割り当て符号量 Ti、 Tp および Tbを、次式 (a7)、式 (a8)および式 (a9)によりそれぞれ算出する。ただし、 Np および Nbは、それぞれ GOP内の未符号化の Pおよび Bピクチャの数を示す。

[数 1] 式 (a7)

X,K„ Xi

R

式（a8)

Ν + -

R

T„= - 式（a9)

N_hK_pX_b

N,

[0030] ここで、 Kpおよび Kbは、 Iピクチャの量子化スケールコードを基準とした Pおよび B ピクチャの量子化スケールコードの比率を示し、 Kp= l. 0および Kb= l. 4になる場合に、常に全体の画質が最適化されると仮定する。

[0031] 続くステップ A4で、変数 nが 1か否かの判定がなされる。すなわち、符号化対象のピクチャが 1番目のピクチャ pic(l)か否かの判定がなされる。 1番目のピクチャの場合、ステップ A5へ進み、 1番目のピクチャでない場合はステップ A6へ進む。ステップ A5 では、次式（alO)により GOP内の一番初めのピクチャ pic(l)を符号化する時の GOP 内の未符号ィ匕ピクチャに対する割り当て符号量 Rを求める。

[0032] R=target— Bitrate X NZpicture— rate+R …式（alO)

[0033] ここで、 Nは GOP内のピクチヤの総数、 picture_rateは、入力画像の時間解像度を示す値であり、 1秒間に復号され表示される画面の枚数を示す。

[0034] ステップ A6では、 GOP内の未符号ィ匕ピクチャに対する割り当て符号量 Rを (n— 1) 番目のピクチャ pic(n-l)が符号ィ匕された時の I、 Pおよび Bピクチャの発生符号量 Si、 S pまたは Sbに基づいて、次式（al l)、式（al2)および式（al3)の何れかにより更新する。

[0035] R=R- Si …式（al l)

[0036] R=R- Sp …式（al2)

[0037] R=R- Sb …式（al3)

[0038] ステップ A5および A6はともにステップ A7へ進み、変数 jに 1を設定する。ここで、変数 jは、 1ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、 j番目のマクロブロックを MB(j)と示す。

[0039] 続くステップ A8で、 I、 Pおよび Bピクチャ内の j番目のマクロブロック MB(j)を符号ィ匕する時の仮想バッファの占有量 di(j)、 dp(j)および db(j)が次式 (al4)、式 (al5)および式 (al6)によりそれぞれ算出される。

[数 2] d_i(j) = d_i(0) + B(j - l) ^{Ii X (}^~ ^l) …… 式 _(al4)

NMB

T_p x —リ

d j) = d_i (0) + B(j - \) ^p ' …… 式 _(ai₅₎

NMB d_b (j) = d₍ (0) + Bfj - 1) ^{Tb 1} -…" 式 _(al6) [0040] ここで、 B(j— 1)は、（j— 1)番目のマクロブロック MB(j—l)までの全マクロブロックの発生符号量である。

[0041] また、 di(0)、 dp(0)および db(0)は、それぞれ I、 Pおよび Bピクチャの仮想バッファ占有量の初期値であり、次式 (a 17)、式 (a 18)および式 (a 19)でそれぞれ与えられる。

[0042] di(0)= lO Xr/31 …式（al7)

[0043] dp(0)=Kp X di(0) …式（a 18)

[0044] db(0)=Kb X di(0) …式（a 19)

[0045] ここで、 rはリアクションパラメータと呼ばれ、下記の式（a20)で示され、フィードバックループの応答速度を制御する。

[0046] r= 2 Xtarget— BitrateZpicture— rate …式（a20)

[0047] また、 I、 Pおよび Bピクチャ符号化終了時の仮想バッファ占有量、すなわち NMB番目のマクロブロック MB(NMB)を符号化したときの仮想バッファ占有量 di(NMB)、 d p(NMB)および db(NMB)は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値 di(0)、 dp(0)および db(0)として用いられる。

[0048] 続くステップ A9で、上記の仮想バッファの占有量 d(j)に基づ、て、各ピクチャ毎に j 番目のマクロブロック MB(j)に対する量子化スケールコード QG)を次式（a21)により求める。

[0049] Q0) = d0) 31/r …式（a21)

[0050] 続くステップ A10で、ステップ A9で算出された量子化スケールコード Q(j)を使用して j番目のマクロブロック MB(j)を量子化する。続くステップ Al lで、変数 jをインクリメントして、ステップ A12へ進み、変数 jがマクロブロック総数 NMBを超えているか否かの判定をする。ここで、 NMBは n番目のピクチャ pic(n)内に含まれるマクロブロックの総数である。変数 jがマクロブロック総数 NMBを超えていない場合は、ステップ A8へ戻り、変数 jがマクロブロック総数 NMBを超えている場合は、ステップ A13へ進む。

[0051] このようにして、変数 jは、ステップ A8〜A11の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、 n番目のピクチャ pic(n)内の 1番目のマクロブロック MB(1)力ら NMB番目のマクロブロック MB(NMB)まで全てのマクロブロックに対して順次符号ィ匕処理を行うことができる。 [0052] ステップ Al 3で、変数 nをインクリメントして、ステップ A14へ進み、変数 nが符号化対象のピクチャ総数 NPICを超えている力否かの判定をする。ここで、変数 nがピクチャ総数 NPICを超えていない場合は、ステップ A2へ戻り、変数 nがピクチャ総数 NPI Cを超えている場合は、本処理を終了する。

[0053] このように第 1のトランスコーダ 50では、 Iおよび Pピクチャ周期などのような画像構造に関する情報を持ち得ないために、図 26に示された TM5のレート制御のような、画像 GOP構造などの情報に基づ、てビット配分を行う方法は、入力画像構造を仮定しなければ行うことができな!/、。

[0054] そこで、 GOP構造を仮定せずにレート制御を行う方法を採用した例として、図 27に示される第 2の従来のトランスコーダ 60がある。同図に示されるように、第 2の従来のトランスコーダ 60は、上記第 1の従来のトランスコーダ 50の構成に加えて、遅延回路 6 1と、ビットレート比率計算部 63と、入力符号量積算部 65と、差分符号量計算部 67と、目標出力符号量更新部 69と、量子化スケールコード算出部 71と、を備えている。

[0055] このように構成されたトランスコーダ 60の処理の流れを図 28に示す。同図に示されるように、トランスコーダ 60の処理は、ステップ B1〜： B13からなる。ステップ B6〜： B13 は、上記第 1従来例に示されたレート処理のステップ A7〜A14と同じである。但し、ステップ B7では、目標出力符号量更新部 69で算出された目標出力符号量 Toutに基づいて、仮想バッファ占有量の算出がなされる。

[0056] また、同様に GOP構造を仮定せずにレート制御を行う方法を採用した別の例として、図 29および図 30に従来のトランスコーダの第 3例を示す。図 29に示されるように、第 3の従来のトランスコーダ 80は、第 1ビットレートを有する第 1伝送路に接続され、入力ビットストリーム b3を入力する VLD81と、第 1の従来のトランスコーダ 50と同じ、逆量子化器 53と、量子化器 55と、 VLC57と、を含み、図 27のトランスコーダ 60と同じビットレート比率計算部 63と、差分符号量計算部 67と、を含み、さらに、目標出力符号量更新部 83と、量子化スケールコード算出部 85と、を備えている。

[0057] 第 3の従来のトランスコーダ 80では、ビットストリーム b3に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。

[0058] し力しながら、トランスコーダは符号化処理後の信号を対象として!/、るために、符号化前の元の信号は知ることはできない。したがって、符号量制御においては、トランスコード処理後の画像自身の歪みではなぐ再量子化処理によって新たに発生する歪みに着目して、この歪みを抑制することにより、画質の低下を抑制しながら符号量の削減を実現しなければならな、。

[0059] そこで、本願出願人は、先に復号量子化パラメータおよび再量子化パラメータに依存した再量子化レート歪み関数を考慮することにより、復号量子化パラメータ、および前段で算出された量子化パラメータに基づいて最適な量子化パラメータの算出を実現する動画像圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体を提案した (例えば、特開 2001— 169283号公報（関係対応ヨーロッパ特許公開 EP1067798)参照）。

[0060] このものは、逆量子化を行う逆量子化器と、再量子化を行う量子化器と、を備えたトランスコーダにおいて、入力量子化パラメータに基づくレート歪み関数を考慮し、量子化パラメータを切り換える量子化パラメータ切り換え部を設けることにより、量子化係数領域データから再量子化係数領域データへの変換時における誤差を極力抑えることがでさる。

[0061] このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。

[0062] さらに、さまざまな帯域の混在するネットワークにおいて、利用環境に適した映像ストリームを生成し提供するスケーラビリティを実現する技術として、ビットレートスケーリング方式、階層符号化方式が存在する。

[0063] 例えば、ネットワーク上の各ルータに設置されたビットレートスケーリングトランスコーダにおいて、要求されるビットレートに応じ、ビットレート削減によるストリーム変換を実現する。これにより、ネットワークの変動に対応した映像のスケーラビリティを実現している。

[0064] し力しながら、ビットレートスケーリングトランスコーダ自らがレート制御とストリーム変換を行うため、ルータに高度な処理が要求されるため多くの負荷力 Sかかる。

[0065] また、サーバにおいてあら力じめ入力されたストリームを、階層構造をもつストリームに変換し、ルータにおける階層選択によりスケーラビリティを実現する。これにより、トランスコーダによるレート制御の必要はなくなり、ネットワーク上の各ルータにおける信号処理等の負荷もなくなる。しかしながら、階層構造に変換されたストリーム間に依存関係があるため、各階層に優先順位がつけられており、階層選択時に優先順位を考慮した制御を行う必要があるという問題がある。さらに、ストリームの分割には多くの負荷がかかり、処理速度が低下してしまう t 、う問題がある。

[0066] 本発明は、このような従来の問題を解決するためになされたもので、サーバにおける分離器において、簡易な構成で独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択を行うことにより、処理速度を向上させた映像のスケーラブル伝送を行うことができる符号ィ匕信号分離装置、符号ィ匕信号合成装置および符号ィ匕信号分離合成システムを提供するものである。発明の開示

課題を解決するための手段

[0067] 本発明の符号化信号分離装置は、複数の画像情報から構成される 1次動画像を符号化した 1次符号ィ匕信号を入力する分離器入力手段と、前記分離器入力手段に入力された 1次符号化信号を、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号ィ匕信号より符号量が少ない基本符号ィ匕信号と、前記基本符号ィ匕信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備え、

前記分離器分離手段が、前記 1次符号化信号から前記 1次動画像を構成する 1次量子化係数値の連続する列である 1次量子化係数列に変換する 1次係数変換手段と、前記 1次係数変換手段に変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ！/ヽ係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備えたことを特徴とした構成を有してヽる。

[0068] また、本発明の符号化信号分離装置は、請求項 1に記載の符号化信号分離装置において、前記基本符号化信号生成手段が、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数カゝら復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子ィ匕係数符号化手段と、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、を備えたことを特徴とした構成を有して、る。

[0069] さらに、本発明の符号化信号分離装置は、請求項 2に記載の符号化信号分離装置において、前記基本量子化係数符号化手段が、 n種類の固有値と、これらの固有値以外の値を 1種類とした、 (n+ 1)種類の値による数列の配列パターンを符号ィ匕する配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号ィ匕する係数値配列パターン符号化手段と、前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化手段と、を備えたことを特徴とした構成を有している。

[0070] さらに、本発明の符号化信号分離装置は、請求項 3に記載の符号化信号分離装置において、前記基本量子化係数符号化手段の配列パターン入力手段が、 0と、 1と、 2以上の値と、の 3種類の値による数列の配列パターンを符号ィ匕する配列パターン符号表を入力し、前記係数値配列パターン符号化手段が、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号ィ匕し、前記固有値外係数値符号化手段が、前記基本量子化係数列の各係数値のうち、 2以上の係数値を符号ィ匕することを特徴とした構成を有して、る。

[0071] さらに、本発明の符号化信号分離装置は、請求項 1に記載の符号化信号分離装置において、前記拡張符号化信号生成手段が、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、を備えたことを特徴とした構成を有して、る。

[0072] さらに、本発明の符号化信号分離装置は、請求項 5に記載の符号化信号分離装置において、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。

[0073] さらに、本発明の符号化信号分離装置は、請求項 5に記載の符号化信号分離装置において、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とした構成を有して、る。

[0074] さらに、本発明の符号化信号分離装置は、請求項 5から請求項 7のいずれか 1項に記載の符号化信号分離装置において、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段と、を備えたことを特徴とした構成を有してヽる。

[0075] さらに、本発明の符号ィ匕信号合成装置は、複数の画像情報から構成される 1次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少なヽ基本符号化信号と、前記基本符号ィ匕信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィ匕信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された 3次符号化信号を出力する合成器出力手段と、を備え、前記合成器合成手段が、前記基本符号化信号から、前記 2次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記 3次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換手段と、を備えたことを特徴とした構成を有して、る。

さらに、本発明の符号化信号合成装置は、請求項 9に記載の符号化信号合成装置において、前記基本符号化信号変換手段が、前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換手段と、前記余り係数符号化信号に係数変換を行い、余り係数列に変換する余り係数変換手段と、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、を備えたことを特徴とした構成を有している。

[0077] さらに、本発明の符号化信号合成装置は、請求項 10に記載の符号化信号合成装置において、前記基本量子化係数変換手段が、 n種類の固有値と、これらの固有値以外の値を 1種類とした、 (n+ 1)種類の値による数列の配列パターンを符号ィ匕した配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、を備えたことを特徴とした構成を有して、る。

[0078] さらに、本発明の符号ィ匕信号合成装置は、請求項 9から請求項 11のいずれか 1項に記載の符号化信号合成装置において、前記拡張符号化信号変換手段が、複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号手段と、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、を備えたことを特徴とした構成を有してヽる

[0079] さらに、本発明の符号ィ匕信号合成装置は、請求項 12に記載の符号ィ匕信号合成装置において、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。

[0080] さらに、本発明の符号化信号分離合成システムは、複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を、前記 1次動画像の疑似動画像である 2 次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3 次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記 3次動画像を復元させる 3次符号化信号を合成する合成器と、を備え、

前記分離器が、前記 1次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された 1次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備え、

前記合成器が、前記複数の伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された 3次符号化信号を出力する合成器出力手段と、を備え、

さらに、前記分離器分離手段が、前記 1次符号化信号から前記 1次動画像を構成する 1次量子化係数値の連続する列である 1次量子化係数列に変換する 1次係数変換手段と、前記 1次係数変換手段に変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ!/ヽ係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備え、

前記合成器合成手段が、前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数列を、前記基本拡張分離係数番号より小さ!ゝ係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換手段と、を備えたことを特徴とした構成を有している。

さらに、本発明の符号化信号分離合成システムは、請求項 14に記載の符号ィ匕信号分離合成システムにおヽて、前記分離器分離手段の基本符号化信号生成手段が、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化手段と、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、を備え、

前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換手段と、前記余り係数符号化信号に係数変換を行い、前記余り係数列に変換する余り係数変換手段と、前記基本量子化係数列の各係数値に逆対数変換を行!ヽ、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、を備えたことを特徴とした構成を有して、る。

[0082] さらに、本発明の符号化信号分離合成システムは、請求項 15に記載の符号化信号分離合成システムにおいて、前記分離器の基本量子化係数符号化手段が、 n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒする配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号ィ匕する係数値配列パターン符号ィ匕手段と、前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化手段と、を備え、

前記合成器の基本量子化係数変換手段が、前記配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、を備えたことを特徴とした構成を有して、る。

[0083] さらに、本発明の符号化信号分離合成システムは、請求項 14に記載の符号ィ匕信号分離合成システムにおヽて、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、を備え、

前記合成器合成手段の拡張符号化信号変換手段が、複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号手段と、前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、を備えたことを特徴とした構成を有している。

[0084] さらに、本発明の符号化信号分離合成システムは、請求項 17に記載の符号化信号分離合成システムにおいて、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号ィ匕信号における階層を規定した分離最小パターン適用単位と、を有し、前記分離器の拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、前記合成器の拡張量子ィ匕係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。

[0085] さらに、本発明の符号化信号分離合成システムは、請求項 18に記載の符号ィ匕信号分離合成システムにおいて、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記分離器の拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、前記合成器の拡張量子化係数合成手段力前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とした構成を有している。

[0086] さらに、本発明の符号化信号分離合成システムは、請求項 17から請求項 19のいずれカ 1項に記載の符号ィ匕信号分離合成システムにおいて、前記分離器が、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段を備え、前記合成器が、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信手段を備えたことを特徴とした構成を有してヽる。

[0087] さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された 1次符号ィ匕信号を、前記 1 次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィ匕信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップで多重化された複数の伝送符号ィ匕信号を出力する分離器出力ステップと、を有し、

前記分離器分離ステップが、前記 1次符号ィ匕信号カゝら前記 1次動画像を構成する 1 次量子化係数値の連続する列である 1次量子化係数列に変換する 1次係数変換ステツプと、前記 1次係数変換ステップに変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ!/ヽ係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、前記基本階層係数列から前記基本符号ィ匕信号を生成する基本符号化信号生成ステップと、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備えたことを特徴とした構成を有している。

さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項 21および請求項 36に記載の符号ィ匕信号分離方法および符号ィ匕信号分離プログラムにおいて、前記基本符号化信号生成ステップが、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子ィ匕係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重ィ匕ステップと、を備えたことを特徴とした構成を有して、る。

[0089] さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項 22および請求項 37に記載の符号ィ匕信号分離方法および符号ィ匕信号分離プログラムにおいて、前記基本量子化係数符号化ステップが、 n種類の固有値と、これらの固有値以外の値を 1種類とした、 (n+ 1)種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子ィ匕係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号ィ匕する係数値配列パターン符号化ステップと、前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、を備えたことを特徴とした構成を有して、る。

[0090] さらに、本発明の符号化信号分離プログラムは、請求項 38に記載の符号ィ匕信号分離プログラムにおいて、前記基本量子化係数符号化ステップの配列パターン入カステツプが、 0と、 1と、 2以上の値と、の 3種類の値による数列の配列パターンを符号ィ匕する配列パターン符号表を入力し、前記係数値配列パターン符号化ステップが、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化し、前記固有値外係数値符号化ステップが、前記基本量子化係数列の各係数値のうち、 2以上の係数値を符号ィ匕することを特徴とした構成を有している。

[0091] さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項 21および請求項 36に記載の符号ィ匕信号分離方法および符号ィ匕信号分離プログラムにおいて、前記拡張符号化信号生成ステップが、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、を備えたことを特徴とした構成を有してヽる。

[0092] さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項 24および請求項 40に記載の符号ィ匕信号分離方法および符号ィ匕信号分離プログラムにおいて、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。

[0093] さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項 24および請求項 40に記載の符号ィ匕信号分離方法および符号ィ匕信号分離プログラムにおいて、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。

[0094] さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項 24力も請求項 26および請求項 40から請求項 42のいずれ力 1項に記載の符号ィ匕信号分離方法および符号化信号分離プログラムにお！/ヽて、前記拡張階層分離バターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップと、を備えたことを特徴とした構成を有している。

[0095] さらに、本発明の符号化信号合成方法および符号化信号合成プログラムは、複数の画像情報から構成される 1次動画像が符号化された複数の独立した伝送符号ィ匕信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号ィ匕信号より符号量が少ない基本符号ィ匕信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップで合成された 3次符号化信号を出力する合成器出力ステップと、を備え、

前記合成器合成ステップが、前記基本符号化信号から、前記 2次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記 3次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号ィ匕信号変換ステップと、前記基本符号化信号変換ステップで変換された基本階層係数列を、ブロック内の参照順序をジグザグスキヤンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ、係数列とし、前記拡張符号ィ匕信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステツプで合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換ステップと、を備えたことを特徴とした構成を有している。

[0096] さらに、本発明の符号ィ匕信号合成プログラムは、請求項 44に記載の符号ィ匕信号合成プログラムにおいて、前記基本符号化信号変換ステップが、前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号ィ匕信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換ステップと、前記余り係数符号化信号に係数変換を行い、余り係数列に変換する余り係数変換ステップと、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、を備えたことを特徴とした構成を有して！/、る。

[0097] さらに、本発明の符号ィ匕信号合成プログラムは、請求項 45に記載の符号ィ匕信号合成プログラムにおいて、前記基本量子化係数変換ステップが、 n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒした配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、を備えたことを特徴とした構成を有している。

[0098] さらに、本発明の符号ィ匕信号合成プログラムは、請求項 44から請求項 46のいずれカゝ 1項に記載の符号化信号合成プログラムにおいて、前記拡張符号化信号変換ステップが、複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号ステップと、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、を備えたことを特徴とした構成を有している。

[0099] さらに、本発明の符号ィ匕信号合成プログラムは、請求項 47に記載の符号ィ匕信号合成プログラムにおいて、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号ィ匕信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。

[0100] さらに、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィヒ信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットヮーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステツプと、前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記 3次動画像を復元させる 3次符号化信号を合成する合成器を制御する合成器制御ステップと、を備え、

前記分離器制御ステップが、前記 1次符号ィ匕信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された 1次符号ィ匕信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備え、

前記合成器制御ステップが、前記複数の伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号ィ匕信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステツプと、前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップで合成された 3次符号化信号を出力する合成器出力ステップと、を備え、

さらに、前記分離器分離ステップが、前記 1次符号化信号から前記 1次動画像を構成する 1次量子化係数値の連続する列である 1次量子化係数列に変換する 1次係数変換ステップと、前記 1次係数変換ステップで変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数列から複数の前記拡張符号ィ匕信号を生成する拡張符号ィ匕信号生成ステップと、を備え、前記合成器合成ステップが、前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換ステップと、前記基本符号化信号変換ステップで変換された基本階層係数列を、前記基本拡張分離係数番号より小さ!ヽ係数列とし、前記拡張符号ィ匕信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップで合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換ステツプと、を備えたことを特徴とする符号化信号分離合成方法。

した構成を有している。

さらに、本発明の符号化信号分離合成方法は、請求項 29に記載の符号化信号分離合成方法にお！ヽて、前記分離器分離ステップの基本符号ィ匕信号生成ステップが、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子ィ匕係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、を備え、

前記合成器合成ステップの基本符号ィ匕信号変換ステップが、前記基本符号ィ匕信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換ステップと、前記余り係数符号ィ匕信号に係数変換を行い、前記余り係数列に変換する余り係数変換ステップと、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、を備えたことを特徴とした構成を有して、る。 [0102] さらに、本発明の符号化信号分離合成方法は、請求項 30に記載の符号ィ匕信号分離合成方法にお!ヽて、前記分離器制御ステップの基本量子化係数符号化ステップ iS n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒする配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数列の係数値の配列パターンを、前記配列バターンに当てはめ符号ィ匕する係数値配列パターン符号化ステップと、前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、を備え、

前記合成器制御ステップの基本量子化係数変換ステップが、前記配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、を備えたことを特徴とした構成を有して、る。

[0103] さらに、本発明の符号化信号分離合成方法は、請求項 29に記載の符号化信号分離合成方法にお！ヽて、前記分離器分離ステップの拡張符号ィ匕信号生成ステップが、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、を備え、

前記合成器合成ステップの拡張符号化信号変換ステップが、複数の前記拡張符号ィ匕信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号ステツプと、前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、を備えたことを特徴とした構成を有している。

[0104] さらに、本発明の符号化信号分離合成方法は、請求項 32に記載の符号化信号分離合成方法において、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号ィ匕信号における階層を規定した分離最小パターン適用単位と、を有し、前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小ノターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。

[0105] さらに、本発明の符号化信号分離合成方法は、請求項 33に記載の符号化信号分離合成方法において、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、前記合成器制御ステップの拡張量子ィ匕係数合成ステップが、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とした構成を有している。

[0106] さらに、本発明の符号化信号分離合成方法は、請求項 32から請求項 34のいずれ力 1項に記載の符号ィ匕信号分離合成方法において、前記分離器制御ステップが、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップを備え、前記合成器制御ステップが、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信ステップを備えたことを特徴とした構成を有している。図面の簡単な説明

[0107] [図 1]本発明の第 1の実施の形態における符号ィ匕信号分離合成システムのブロック図である。圆 2]本発明のサーバの分離器を示すブロック図である。

[図 3]方式 1 (ロバストネス伝送路あり）における分離器を示すブロック図である。

[図 4]方式 2 (ロバストネス伝送路なし）における分離器を示すブロック図である。

[図 5]本発明のルータの伝送路選択器を示すブロック図である。

圆 6]ルータの伝送路選択器による伝送路選択例を示す図である。

[図 7]本発明のレシーバの合成器を示すブロック図である。

[図 8]方式 1における合成器を示すブロック図である。

[図 9]方式 2における合成器を示すブロック図である。

[図 10]拡張ストリームのビットストリームフォーマットを示す図である。

[図 11]スライス層に定義するユーザデータの内容を示す図である。

[図 12]MB層に定義する MB属性情報の内容を示す図である。

圆 13]分離器の分離部を示すブロック図である。

[図 14]ブロック内係数分離の原理を示す図である。

圆 15]ブロック内拡張階層分離 (レート制御)の原理を示す図である。

圆 16]ブロック内拡張階層分離 (スクランブル)の原理を示す図である。

圆 17]係数の個数が 3つの場合の配列符号表 (インター）を示す図である。

圆 18]係数の個数が 3つの場合の配列符号表 (イントラ)を示す図である。

[図 19]合成器の合成部を示すブロック図である。

圆 20]ブロック内拡張階層合成 (レート制御）の原理を示す図である。

[図 21]ブロック内拡張階層合成 (スクランブル)の原理を示す図である。

[図 22]ブロック内係数合成の原理を示す図である。

[図 23]基本量子化係数列 Cと、予測誤差係数列 Dと、を多重化して基本ストリーム Bを生成する分離部を示すブロック図である。

[図 24]基本量子化係数列 Cと、予測誤差係数列 Dと、を多重化した基本ストリーム Bを入力する合成部を示すブロック図である。

[図 25]従来のトランスコーダの概略ブロック図である。

[図 26]従来のトランスコーダにおける、 MPEG— 2の TM5のレート制御処理示すフロ一チャートである。 [図 27]従来のトランスコーダの概略ブロック図である。

[図 28]従来のトランスコーダの処理を示すフローチャートである。

[図 29]従来のトランスコーダの概略ブロック図である。

[図 30]従来のトランスコーダの処理を示すフローチャートである。

発明を実施するための最良の形態

[0108] 以下、本発明の実施の形態の符号ィ匕信号分離合成システムについて、図面を用いて説明する。

[0109] 本発明の符号ィ匕信号分離合成システムは、サーバにおけるストリーム分離機能を有するトランスコーダにおいて、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択機能を行うことにより映像のスケーラブル伝送を実現する。分離された各ストリームのプライオリティはほぼ等しぐルータにおける任意の伝送路の選択によりスケーラビリティの実現ができる。

[0110] (第 1の実施の形態）

本発明の第 1の実施の形態における符号化信号分離合成システムを、図 1に示し説明する。

[0111] 図 1に示すように、符号化信号分離合成システムは、映像を送出するサーバ 1000 と、ネットワーク上で伝送路選択を行うルータ 2000と、映像を受信し再生を行うレシーノ 3000a、 3000b - · · , 3000ηと、を備えてヽる。レシーノ 3000a、 3000b · · ·、 3 OOOnは、いくつであっても良い。また、ルータ 2000も、複数備えていても構わない。

[0112] ここで、サーバ 1000に入力されるストリームは、標準の符号化器で生成されたストリームであり、例えば、カメラ 600がとらえた映像を、符号化器 700で符号化したものであったり、コンテンツ蓄積器 800に記憶されたコンテンツのストリームである。また、サーノ 1000は、分離器 1010を備え、ルータ 2000は、伝送路選択器 2010を備えている。

[0113] また、レシーノ 3000a、 3000b · · ·、 3000ηは、それぞれ合成器 3010a、 3010b · • ·、 3010ηおよび復号器 3030a、 3030b · · ·、 3030ηを備え、レシーノ 3000a、 30 00b， · ·、 3000η【こお!ヽて再生を行う復号器 3030a、 3030b， · ·、 3030ηίま、標準のものに準拠する。 [0114] ここで、レシーノ 3000a、 3000b · · ·、 3000η,合成器 3010a、 3010b · · ·、 3010 nおよび復号器 3030a、 3030b- · ·、 3030ηは、それぞれ同様のものであるので、以下では、その 1つをレシーバ 3000、合成器 3010および復号器 3030として説明する

[0115] 次に、サーバ 1000の分離器 1010について、図 2に示し説明する。

[0116] 図 2に示すように、分離器 1010は、すでに符号ィ匕されアーカイブ等に蓄積されているストリームやカメラで撮影され符号化されたストリームを入力とし、独立したストリームに分離し出力するものである。また、分離器 1010は、分離器入力手段および分離器分離手段としての分離部 (separateU lOOと、分離器多重化手段および分離器出力手段としての多重化部 (MUXU600と、を備えている。なお、分離器分離手段の前段に分離器入力手段としてのバッファ等を設けてもよい。また、分離器多重化手段の後段に分離器出力手段としてのバッファ等を設けてもよい。

[0117] 分離器 1010による分離ストリーム生成の方法は、多重化部 1600における処理により、以下に示す二つの方式があり、各方式の処理図を図 3、図 4にそれぞれ示す。

[0118] 方式（1) ロバストネス伝送路のあるネットワークで映像の送出を行う。

[0119] 方式（2) ロバストネス伝送路のないネットワークで映像の送出を行う。

[0120] 分離部 (separate)l lOOは、入力された符号化ストリームを、 1本の基本ストリーム Bと

、 M本の拡張ストリーム E(m) (0≤m≤M—l)に分離する。

[0121] 多重化部 (MUX)1600は、分離部 1100から出力される基本ストリーム Bと拡張ストリーム E(m) (0≤m≤M— 1)の多重化を、伝送路の特性に応じて行う。その方法は、以下に示す方式（1)と方式 (2)とがある。

[0122] 方式（1)

[0123] 方式（1)では、分離ストリームとして St(B)と、 L本のストリーム St(l) (0≤l≤L— 1)を出力する。基本ストリーム Bは、分離ストリーム St(B)として伝送エラーの発生しない口バストネス伝送路に送出され、拡張ストリーム E(m) (0≤m≤M— 1)は、各々分離ストリーム St(l) (0≤1≤L— 1)として伝送される。 St(l)を式（1)に示す。

[0124] St(l)=E(l) (L=M、 0≤1≤M— 1) 式（1)

[0125] 1番目の分離ストリーム St(l)のビットレート Rate[St(l)]は、式（2)のように表現できる。 [0126] Rate[St(l)] = Rate[E(l)] (L = M、 0≤1≤M— 1) 式（2)

[0127] 方式（2)

[0128] 方式（2)では、 L本のストリーム St(l) (0≤l≤L— 1)が出力される。基本ストリーム B は、コピーされすべての拡張ストリーム E(m)に多重化される。このように、基本ストリーム Bを複数の伝送路を用いて伝送することによりネットワーク状態に依存しない再生を保証する。この場合、分離ストリーム St(l)は、式（3)のようにあらわすことができる。ここで、 Multiplex[']は多重化を意味する。

[0129] St(l)=Multiplex[B,E(l)] (L = M、 0≤1≤M— 1) 式（3)

[0130] 分離ストリーム St(l)のビットレート Rate[St(l)]は、式 (4)となる。

[0131] Rate[St(l)] = Rate[B + E(l)] (L = M、 0≤1≤M— 1) 式（4)

[0132] 次に、ルータ 2000の伝送路選択器 2010について、図 5に示し説明する。

[0133] ルータ 2000および伝送路選択器 2010は、サーバ 1000より出力された L本の分離ストリーム St(l)を入力とし、ネットワーク状況に応じ伝送路選択 (伝送路のオン'オフ）により伝送するストリームのレートを制御し、映像のスケーラビリティを実現する。ここで、ルータ 2000より出力されるストリームの総レート Rate[St out]を、 Rate[St out]=∑

1

Rate[St(l)]とする。ルータ 2000の出力ストリームの目標総レートを、 Rtargetとすると、 Rate[St out]≤ Rtargetとなる St①の伝送路スィッチをオンにする。

[0134] 図 6に、伝送路選択器による伝送路選択の具体例を示す。この場合、分離ストリーム数を決定するパラメータ Lは、 L = 6である。目標レート Rtargetが与えられた際に、 Rate[St out]≤ Rtargetを実現するためストリーム St(0)、 St(2)、 St(3)、 St(5)の伝送路スィッチをオンにすることで、 Rate[St(0) + St(2) + St(3) + St(5)]≤ Rtargetを実現している。

[0135] 次に、レシーノ 3000の合成器 3010について、説明する。合成器 3010は、入力される L'本のストリーム St(l)を合成し、映像再生を行う。映像品質は、受信するストリームの総レートのみに依存し、受信ストリームの種類に依存しない。受信するストリームの総レートは、ルータ 2000における伝送路選択により決定される。

[0136] レシーバ 3000の合成器 3010のブロック図を、図 7に示し説明する。

[0137] 図 7に示すように、合成器 3010は、合成器入力手段および合成器分離手段としての多重分離部（DEMUX) 3100と、基本ストリーム選択器（B- Selector) 3200と、合成器合成手段および合成器出力手段としての合成部 (merge) 3300と、を備え、さらに、レシーバ 3000は、合成制御器（merge controller) 3020を備えている。また、合成制御器 3020については、合成器 3010に含まれる構成であっても構わない。

[0138] また、上記方式（1)、方式（2)に対応する合成器 3010のブロック図を、図 8、図 9にそれぞれ示す。

[0139] 多重分離部（DEMUX) 3100は、入力される L，本のストリーム St(l)を、 α本の基本ストリーム Βと、 Μ，本の拡張ストリーム E(m)に分割する。ここで、 αは、多重分離部 31 00に入力されるすべての分離ストリーム St(l)内に多重化されている基本ストリーム Β の総数を示し、上記方式（1)、方式（2)に応じてその数は異なり、式（5)に示すようになる。

[数 3]

(方式 1 )

(方式 2 )

[0140] また、ストリーム分割時に検出されるストリームに発生した誤り等の情報は、合成制御器 3020に渡す。

[0141] 基本ストリーム選択器 (B- Selector) 3200は、合成制御器 3020からの制御を受け、入力される α本の Bストリームからビット誤りの少ない 1本のストリームを選択し出力する。この際、 —1)本の基本ストリーム Βは破棄される。

[0142] 合成部 (merge) 3300は、合成制御器 3020からの制御を受け、入力される基本ストリーム Bと拡張ストリーム E(m) (0≤ m ≤ M，一 1)を合成し、合成ストリームを出力する。したがって、合成部 3300に入力された拡張ストリーム E(m)のすべてが合成されるというわけではない。

[0143] 合成制御器 (merge controller) 3020は、ネットワーク上の誤り検出器力誤り訂正情報、また、多重分離部 3100、合成部 3300における処理において検出される誤り情報を受け取り、基本ストリーム Bについての情報は基本ストリーム選択器 3200に対して、拡張ストリーム E(m)についての情報は合成部 3300に対して、制御をかけ、誤り訂正が不可能とされたストリームを合成制御器 3020において切り捨てる処理を行う。 [0144] (符号ィ匕シンタックス）

[0145] 以下、マクロブロックを構成するブロック単位で行われる分離、合成信号処理、またストリームを構成するデータ構造につ、て説明する。

[0146] まず、ストリームの構成およびフォーマットについて説明する。

[0147] 本発明におけるビットストリームの形態は、メインプロファイル準拠の MPEG— 2ビットストリーム (分離前 MPEG— 2)を入力とし、基本ストリームと M本の拡張ストリームに分離する。以下では、 MPEG— 2を例として説明するが、その他の動き補償予測つきの DCT動画像符号化方式（ITU— T H. 261, ITU-T H. 263, ISO/IEC 1 4496— 2 (通称「MPEG— 4」）、 ITU— T Η. 264など）に対してもその DCT係数符号ィ匕の部分に対して同様の構成をとることができる。

[0148] 基本ストリームは、ビットレートが削減され MPEG— 2ビットストリームとして出力される。拡張ストリームには、レート削減時の再量子化処理において発生する予測誤差情報より構成される予測誤差ストリームとレート削減前後間での差分情報より構成される差分ビットストリームがある。

[0149] 拡張ストリームのビットストリームフォーマットを、図 10に示し説明する。

[0150] 図 10に示すように、拡張ストリームのビットストリームフォーマットは、 MPEG— 2シンタックスのビットストリームフォーマットを基本とし、シーケンス層、 GOP層、ピクチャ層、スライス層、マクロブロック（以後、 MB)層、ブロック層力もなる階層構造を有する。拡張ストリームは、シーケンスヘッダ力も始まり、ピクチャ枚数分のピクチャ層へと続く。ピクチャ層データは、ピクチャヘッダとピクチャデータ力も成る。ピクチャデータは、複数のスライス層データ力構成され、スライス層データは、スライスヘッダとそれに続く MB層のデータ力構成される。

[0151] 本発明では、シーケンスヘッダ、 GOPヘッダ、ピクチャヘッダ、スライスヘッダのビットフィールドは MPEG— 2に等しい。ただし、スライス層には、スライスヘッダと MBデータの間にユーザデータを定義し、ユーザデータには、図 11に示すスライス層における本方式独自の属性が記述されている。 MB層データは、 MB属性情報と係数情報から構成される。 MB属性情報を、図 12に示す。スライス層のユーザデータは、スライス層における分離 ·合成に利用され、 MB属性情報内に含まれる情報は MB層における分離 '合成に利用される。拡張階層分離最小パター適用単位および拡張階層分離最小パターンについては、後述する。

[0152] 次に、ストリーム間の同期について、説明する。

[0153] シーケンスヘッダ、ピクチャヘッダ、スライスヘッダは、それぞれ GOP単位、ピクチャ単位、スライス単位で出力する MPEG— 2ビットストリームとの同期をとるために利用される。同期の最小単位であるスライス単位では、スライスヘッダ内の SSC (Slice Start Code)が等しくなるように同期をとる。ここで、スライスヘッダ内の SSCとは、スライス層の始まりを示す同期コードであり、コードの最後の 1バイトがスライスの垂直位置を表している。

[0154] 次に、ストリーム生成の原理について、説明する。

[0155] ブロックレイヤデータは、再量子化を行い再量子化前後での量子化係数値の変化差分情報を符号化する。本変化差分情報と再量子化出力係数を符号化したものを合成することで、再量子化前の係数情報が完全に復元可能である。このとき、再量子化出力係数が基本階層として符号化され基本ストリーム Bとなる。再量子化前後での係数差分情報を拡張階層とすると、拡張階層は順に N個の拡張量子化係数列に分離される。再量子化により発生する予測誤差情報は予測誤差係数列となり、予測誤差係数列と拡張量子化係数列がそれぞれ符号化され M本の拡張ストリーム E(m)が生成される。このとき、 M本の拡張ストリーム E(m)のレートはほぼ等しいレートに生成可能である。

[0156] 次に、分離器 1010の分離部 (separate)l lOOについて、説明する。

[0157] 分離部 (separate)l lOOの一実施形態である分離部 (separate)l lOOaのブロック図を、図 13に示す。

[0158] 分離部 1100aは、係数情報分離部 1260、可変長復号器 (VLD) 1110、 1次係数変換手段としてのランレベル係数変 1120、基本拡張階層分離手段としての基本拡張階層分離器 1130、基本符号化信号生成手段、拡張符号化信号生成手段、および、基本量子化係数変換手段としての基本量子化係数変換器 1140、拡張符号化信号生成手段、拡張量子化係数分離手段、および、拡張階層分離パターン情報送信手段としての拡張量子化係数分離器 1150、基本再スキャン器 1160、予測誤差再スキャン器 1170、拡張再スキャン器 1181、 1182、 1183、基本量子化係数符号化手段、配列パターン入力手段、および、係数値配列パターン符号化手段としての基本可変長符号化器 (VLC基本） 1210、余り係数符号ィ匕手段としての予測誤差可変長符号化器 (VLC予測誤差) 1220、拡張量子化係数符号化手段として拡張可変長符号化器 1^ ^°) 1231、 (VLC-F¹) 1232, (VLC 'F^N_1) 1233および係数情報多重化部 1270aを備え、符号化ストリーム（1次符号ィ匕信号)を入力し、基本符号化信号 B、拡張符号化信号 E (0)、 E (1)、 E (2) · · ·、 E (M— 1)を出力するものである。

[0159] 分離部 1100aの係数情報分離部 1260は、入力された符号化ストリーム（1次符号化信号)を、係数情報と係数情報以外に分離し、出力するものである。この場合、係数情報は、 2次元ランレングスによりハフマン符号ィ匕された量子化係数符号であり、係数情報以外とは MB層のデータとイントラ MBの DC係数符号である。

[0160] 可変長復号器 (VLD) 1110は、係数情報分離部 1260に分離された係数情報を、可変長復号し、ランレベル情報に変換するものである。

[0161] ランレベル係数変 120は、 VLD1110に復号されたランレベル情報を、係数変換し、 1次元の量子化係数列 Xに変換するものである。

[0162] 基本拡張階層分離器 1130は、ランレベル係数変 1120に変換された量子化係数列 Xを、基本階層の係数列 Bと、拡張階層の係数列 Eと、に分離するものである

[0163] ここで、基本拡張階層分離器 1130における基本階層と拡張階層の分離処理について、詳しく説明する。

[0164] 基本拡張階層分離器 1130における基本階層と拡張階層の分離は、係数の打ち切りにより行う。基本拡張階層分離器 1130に入力される 1次量子化係数列 Xを、下記式 (6)のように定義する。

[0165] X= {x , X , X · · · , χ · · ·， X } (0≤i≤63) 式（6)

0 1 2 i 63

[0166] ここで、 iはブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデッタス番号を表す。基本階層は、量子化係数のうちインデックス番号が基本拡張分離係数番号 B より小さい係数列とし、基本拡張分離係数番号 B 以上の係数を拡張階層を構成する係数とする。

[0167] 以上より、基本階層係数列 B、拡張階層係数列 Eは、下記式 (7)となる。

画 ί ΐί! (0 ^≤64) …… 式）

[0168] また、基本拡張階層分離器 1130における 1次量子化係数列 Xの分離処理例を、図 14に示す。図 14では、 Β を「3」として分離処理を行っている。

ΤΗ

[0169] 図 14に示すように、 1次量子化係数列 Χ= {8, 2, 0, 3, 1, —3, 0, 6, 5, —1, 0, 1, 1, - 2, 0, 0, 0, 0, 4, 1, 0, 0, 2}を、基本階層係数列 Βと、拡張階層係数列 Εと、に分離すると、

[0170] Β= {8, 2, 0}

[0171] E= {3, 1, - 3, 0, 6, 5, —1, 0, 1, 1, —2, 0, 0, 0, 0, —4, 1, 0, 0, 2} となる。

[0172] 続いて、基本量子化係数変翻 1140は、基本拡張階層分離器 1130によって分離された基本階層係数列 Βを入力し、符号量削減のための変換、一般的には量子化を行い、基本量子化係数列 Cと、前記基本階層係数列 Βと前記基本量子化係数列 Cとの差分情報である余り係数列 (予測誤差係数列) Dと、に変換するものである。

[0173] ここで、基本量子化係数列 Cとは、基本階層係数列 Βの各係数値に対して符号量削減のための変換を行った基本量子化係数の列である。また、余り係数列 Dとは、前記基本階層係数列 Βの各係数値と、前記基本量子化係数列 Cの基本量子化係数から復元される各係数値との差である余り係数値 (予測誤差係数値)の列である。

[0174] ここで、基本量子化係数変 l l40における基本量子化係数列 Cおよび余り係数列 Dの生成処理について、詳しく説明する。

[0175] 基本量子化係数変換器 1140における基本量子化係数列 Cの生成は、基本階層係数列 Bの各係数値の絶対値に対して底を 2とする対数をとることにより行う。この対数変換処理により求められた値の整数値を、基本量子化係数列 Cの各係数値とすることにより、係数値の表現範囲を小さくして、符号量を抑えることができる。

[0176] 基本量子化係数変換器 1140に入力される基本階層係数列 Bを、下記式 (8)と定義する。

[0177] B={b , b , b ···, b ···} (0≤i<B ) 式（8)

0 1 2 i TH

[0178] また、基本階層係数列 Bに対して対数をとつた係数より構成される基本量子化係数列 Cと、余り係数列 Dをそれぞれ下記式 (9)と定義する。

[数 5]

\ [D = {d;^c ₀,^,cd: '···' ^C' - ( <i<B_TH) …… 式 ₍₉₎

l,...,d_i...}

[0179] このとき、基本階層係数 biに対して対数をとつた基本量子化係数 ciは、式 (8)、式（

9)より下記式（10)のように示される。

[0180] ci= luncl(bi) (0≤i<B ) 式（10)

TH

[0181] このとき、 fonclは、底を 2とする対数であり、下記式（11)により表される。

[0182] luncl(x)= SIGN (x) [log2 ( | x | )] 式（11)

[0183] ただし、 [ · ]は、整数値への変換とする。

[0184] 式（9)より、余り係数列は、下記式（12)のようにして求められる。

[0185] d=b— fonc2(c) (0≤i<B ) 式（12)

i i i TH

[0186] ここで、 fonc2は、 fonclの逆関数であり、下記式（13)により表される。

[0187] fonc2(x)= SIGN(x) 2"( I X I ) 式（13)

[0188] したがって、上記基本階層係数列 B= {8, 2, 0}を、基本量子化係数列 Cと、余り係数列 Dと、に変換すると、

[0189] C={3, 1, 0}

[0190] D= {0, 0, 0}

となる。

[0191] 続いて、拡張量子化係数分離器 1150は、基本拡張階層分離器 1130によって分離された拡張階層係数列 Eを入力するとともに、外部から拡張階層分離パターン情報を入力し、前記拡張階層分離パターン情報にしたがって前記拡張階層係数列 Eを複数の拡張量子化係数列 F、 F¹"' F^N_1に分離するものである。

[0192] ここで、拡張階層分離パターン情報とは、拡張階層係数列 Eを複数に分離する分離方法を規定した情報である。また、拡張階層分離パターン情報は、拡張階層分離最小パターン適用単位と、拡張階層分離最小パターン情報と、を有する。拡張階層分離最小パターン適用単位と拡張階層分離最小パターン情報は、拡張ストリームのビットストリームフォーマットで説明したように、スライス層におけるユーザデータと、 M B層における MB属性情報に格納される。

[0193] 拡張階層分離最小パターン適用単位とは、拡張階層分離最小パターンを適用する符号化信号における階層を規定したものである。拡張階層分離最小パターン情報とは、前記拡張階層係数列 Eの係数を複数に分離するパターンの適用係数の数および分離のパターンを規定したものである。

[0194] 拡張階層分離最小パターンは、拡張階層係数列 Eの各係数値を、複数の拡張階層係数列 (F 、 F¹ · · ·、 Fⁿ' · ·、 F^{N_ 1})にどのような順番で割り振るのかを、拡張階層の分離先階層番号 Gのならびにより規定したものであり、 J個の組から構成されており、ひとつの組は拡張階層の分離先階層番号 Gが H (0≤j≤J— 1)個連なったものである。この拡張階層の分離先階層番号 Gのならびの様子を下記に示す。

[数 6]

uo , G₀ … ₀ Gい … i Gj— Gj .. Gj_ ……式 (₁₄)

B₀m 個

HjjB

[0195] そこで、拡張階層分離最小パターン情報は、組の ¾J、分離先階層番号 Gj、組内の要素数 Hjにより表現する。

[0196] また、前記拡張階層分離パターン情報において、前記拡張階層係数列 Eの係数の数が前記拡張量子化係数列 (F°、 F¹ " ' F^{N_ 1})ごとに異なるように前記分離方法を規定することにより、各拡張量子化係数列力生成される拡張符号ィ匕信号の符号量に差ができ、送信時のレート制御を行うことができる。

[0197] また、前記拡張階層分離パターン情報を、拡張ストリームに含まず、動画像の復号を認めた特定の受信者のみにサーバ 1000で別に送信することにより、拡張階層分離パターン情報をスクランブルキーとして使用することができる。

[0198] 以下、拡張量子化係数分離器 1150における拡張階層係数列 Eから複数の拡張量子化係数列？¹¹ (0≤11≤?^—1)への分離処理にっぃて、詳しく説明する。

[0199] 拡張量子化係数分離器 1150における拡張量子化係数列 Fⁿ (0≤n≤N— 1)への分離は、拡張階層分離パターン情報にしたがって行う。この拡張階層分離パターン情報により、スライスまたはブロックごとに拡張階層分離最小パターンにしたがって分離処理を行う。

[0200] 拡張量子化係数分離器 1150に入力される拡張階層係数列 Eを、下記式 (15)と定義する。

[0201] E={e , e , e ···, e ···, e } (0≤s≤S— 1) 式（15)

0 1 2 s-1 S-l

[0202] ここで、 S = 64— B である。

TH

[0203] 「拡張階層分離パターン情報によるレート制御方法の分離例」

[0204] 拡張量子化係数列数 N=4、外部より与えられる拡張階層分離最小パターン適用単位をブロック、拡張階層分離最小パターン情報を下記式 (16)とした場合の拡張階層係数列 Eの分離処理 (ブロック内拡張階層分離処理)の様子を、図 15に示す。

[数 7]

J = 4

G j (0≤y<J) 式 (16) Hj = j + l (すべてのゾ)

[0205] 拡張階層分離最小パターンは、式（16)より下記式（17)のようになることがわ力る _c [数 8]

<3₀ G; G- 式 (17)

0, 1,1, 2,2,2, 3,3,3,3,

、

H₀=l H^l H₇=3 =4

[0206] 式（16)より、各拡張量子化係数列 Fⁿ(0≤n≤3)は、下記式（18)のように示される

[数 9]

^{1 =} t0'^ei0'^e20''

F¹={e_l,e₂,e₁₁,e_l2,

式 (18)

F² = {e e ,e_s,e_l e_l4,e_l5,..)

F ={e₆,e₇,e₈,e₉,e₁₆,e₁₇,e₁₈,e₁₉,...

2, 0 , 0, 0, 0, 4, 1, 0, 0, 2···}を、上記拡張階層分離最小パターンで、拡張量子ィ匕係数列 F°、 F F²、 F³に分離すると、

[0208] F°={3, -2}

[0210] F²={0, 6, 5, 0, 0, —4}

[0211] F³={-1, 0, 1, 1, 1, 0, 0, 2}

となり、以下 10係数ずつ上記拡張階層分離最小パターンの順で分離される。

[0212] 「拡張階層分離パターン情報によるスクランブル実現方法の分離例」

[0213] 拡張量子化係数列数 N=4、外部より与えられる拡張階層分離最小パターン適用単位をブロック、拡張階層分離最小パターン情報を下記式 (19)とした場合の拡張階層係数列 Eの分離処理 (ブロック内拡張階層分離処理)の様子を、図 16に示す。

[数 10] } 式 (19)

[0214] 拡張階層分離最小パターンは、式（19)より下記式（20)のようになることがわ力る _c [数 11]

G_A G₅ ^G6 ^G7 ^Gi

0, 1,1, 0， 2,2, 3,3,3, 0,0,0， 1上 1,1, 2,2, 3,3, 式 (20)

¾=1 f =2 ₂=l H₃=2 H,=3 _H,=3 H_t=4 H₇=2 H_s=2

[0215] 式（19)より、各拡張量子化係数列 Fⁿ(0≤n≤3)は、下記式（21)のように示される

[数 12]

F = {e_ve₂,e_2le_u,e_{l >}e_i5,

式 (21)

F² = {e e_5le_l6,e_n,...}

3 =

2, 0 , 0, 0, 0, 4, 1, 0, 0, 2 · · · }を、上記拡張階層分離最小パターンで、拡張量子ィ匕係数列 F°、 F F²、 F³に分離すると、

[0217] F°= { 3, 0, 1, - 2, 0, }

[0218] F^ i l, - 3, 0, 0, 0, -4}

[0219] F²= {6, 5, 1, 0}

[0220] F³= { - 1, 0, 1, 0, 2}

となり、以下 20係数ずつ上記拡張階層分離最小パターンの順で分離される。

[0221] 続いて、基本再スキャン器 1160および基本可変長符号化器 (VLC基本） 1210は

、基本量子化係数変換器 1140に生成された基本量子化係数列 Cを、再スキャンし、可変長符号化し、基本量子化係数符号化信号を生成するものである。

[0222] ここで、基本可変長符号化器 (VLC基本） 1210における基本量子化係数列 Cの可変長符号化処理の一例について、詳しく説明する。

[0223] 基本可変長符号化器 (VLC基本） 1210における基本量子化係数列 Cの可変長符号化は、基本量子ィ匕係数列 Cの係数の値をパターンで表現したものを用いる。このパターン表現により、係数そのものの値の表現が必要な係数が減少し、符号量の削減を行うことができる。

[0224] ここで、基本量子化係数列 C内に存在する係数の個数 (0係数を含む）を β ( =B

TH

)個とし、以下の手順で行う。

[0225] 1. j8個の基本量子化係数 cの係数値を「0」、「1」、「2以上」の 3パターンで表現し

、 3 ^β個の配列パターン符号表を用いて符号ィ匕する。

[0226] 2. 2以上の係数パターンに分類された値については、その値を可変長符号ィ匕する

[0227] 例えば、上記のように変換された基本量子化係数列 C= { 3, 1, 0}の場合、基本量子ィ匕係数列 C内に存在する係数の個数は 3であるので、 3³= 27パターンを持つ配列符号表を用いて、符号化する。

[0228] 図 17、図 18に、係数の個数が 3つの場合の配列符号表を示す。

[0229] これにより、 27パターンの配列符号表から求められた符号ィ匕値と、 2以上の係数値である c = 3のみを符号ィ匕して、基本量子化係数符号化信号とすることができる。上記に示した配列符号表を用いた場合、基本量子化係数列 C= { 3, 1, 0}は、 [0111 00]、 c = 3は、 [10]という符号語により符号することができる。

[0230] 続、て、予測誤差再スキャン器 1170および予測誤差可変長符号化器 (VLC予測誤差） 1220は、基本量子化係数変換器 1140に生成された余り係数列 Dを、再スキヤンし、余り係数のランレベル係数値を生成し、この余り係数のランレベル係数値を、可変長符号化し、余り係数符号化信号を生成し、拡張符号ィ匕信号 E (0)として出力するものである。

[0231] 拡張再スキャン器 1181、 1182、 1183は、拡張量子化係数分離器 1150に生成されたそれぞれの拡張量子化係数列

F^N_1を、再スキャンし、拡張量子化係数のランレベル係数値を生成するものである。

[0232] 拡張可変長符号化器(¥1^ ) 1231、（VLC 'F¹) 1232、（VLC 'F^N_1) 1233は、それぞれ拡張再スキャン器 1181、 1182、 1183に生成された拡張量子化係数のランレベル係数値を、可変長符号化し、拡張符号化信号 E (1)、 E (2)、 E (M— 1)を生成するものである。

[0233] 係数情報多重化部 1270aは、 VLC基本 1210に生成された基本量子化係数符号化信号と、係数情報分離部 1260に分離された係数情報以外のデータと、を入力し、多重化して、基本符号化信号 Bを生成するものである。

[0234] 以上説明したように、分離部 1100aにおいて、符号化ストリーム（1次符号化信号）を入力して、基本符号化信号 B、拡張符号ィ匕信号 Ε (0)、 Ε (1)、 Ε (2) · · ·、 E (M— 1

)を生成することができる。

[0235] 次に、合成器 3010xの合成部 (merge)3300aについて、説明する。

[0236] 合成部 (merge)3300aのブロック図を、図 19に示す。

[0237] 合成部 3300aは、係数情報分離部 3450a、係数値配列パターン復号手段としての基本可変長復号器 (VLD基本) 3310、予測誤差可変長復号器 (VLD予測誤差) 33 20、拡張量子化係数復号手段としての拡張可変長復号器 (VLD'E (0) ) 3331、 (V LD 'E (1) ) 3332、（VLD · E (N，—1) ) 3333、基本符号ィ匕信号変換手段および基本量子化係数変換手段としての基本係数変 ^3340、余り係数変換手段としての予測誤差係数変翻3350、拡張符号ィ匕信号変換手段としての拡張係数変翻33 61、 3362、 3363、基本量子化係数合成手段としての基本量子化係数合成器 337 0、拡張量子化係数合成手段としての拡張量子化係数合成器 3380、基本拡張階層合成手段としての基本拡張階層合成器 3390、ランレベル係数変換器 3410、可変長符号化器 (VLC) 3420および 3次元係数変換手段としての係数情報多重化部 34 60を備え、基本符号化信号 B*、拡張符号化信号 E* (0)、 E* (1)、 E* (2)…、 E* ( M'—1)を入力し、合成ストリーム（3次符号ィ匕信号)を出力するものである。

[0238] 合成部 3300aの係数情報分離部 3450aは、入力された基本符号化信号 B*を、係数情報と係数情報以外に分離し、出力するものである。この場合、係数情報は、 2次元ランレングスによりハフマン符号化された量子化係数符号であり、係数情報以外とは MB層のデータとイントラ MBの DC係数符号である。

[0239] 基本可変長復号器 (VLD基本) 3310および基本係数変翻 3340は、係数情報分離部 3450aに分離された係数情報を、可変長復号し、基本量子化係数列 C*に変換するものである。

[0240] ここで、上記分離部 1100aの基本可変長符号化器 (VLC基本） 1210に対応する基本可変長復号器 (VLD基本) 3310および基本係数変翻 3340について、説明する。

[0241] 上記 VLC基本 1210では、 27パターンの配列パターン符号表を用い、この配列パターン符号表の符号化値と、係数値の値が「2以上」の係数に対して符号ィ匕して!/、る。したがって、 VLD基本 3310には、係数情報分離部 3450aから 27配列パターン符号表の符号化値と、 2以上の係数の符号化値と、が入力される。上記 VLC基本 121 0において説明した値を用いると、 27配列パターン符号表の符号ィ匕値からは {2以上の値、 1, 0}、 2以上の係数の符号ィ匕値として「3」、が入力される。したがって、基本量子化係数列 C* = {3, 1, 0}が得られる。

[0242] 続、て、予測誤差可変長復号器 (VLD予測誤差) 3320および予測誤差係数変換器 3350は、入力された拡張符号化信号 E* (0)を、可変長復号し、余り係数 (予測誤差係数)のランレベル情報に変換し、さらに、余り係数列 (予測誤差係数列) に変換するものである。

[0243] 拡張可変長復号器0^ 3^ (0) ) 3331、（VLD'E (l) ) 3332、（VLD'E (N'—1 ) ) 3333は、それぞれ入力された拡張符号化信号 E* (0)、 E* (1)、 E* (Μ'— 1)を、可変長復号し、拡張量子化係数のランレベル情報に変換するものである。

[0244] 拡張係数変^^ 3361、 3362、 3363は、それぞれ VLD'E (O) 3331、 VLD-E (1 ) 3332、 VLD'E (N，—1) 3333に変換された拡張量子化係数のランレベル情報を、拡張量子化係数列 F*°、 F*\ F*^N'^_1に変換するものである。

[0245] 基本量子化係数合成器 3370は、基本係数変換器 3340に変換された基本量子化係数列 C*と、予測誤差係数変換器 3350に変換された余り係数列 (予測誤差係数列 ) D*と、を合成し、基本階層係数列 B*を生成するものである。

[0246] ここで、上記分離部 1100aの基本量子化係数変翻1140に対応する基本量子ィ匕係数合成器 3370について、説明する。

[0247] 上記基本量子化係数変換器 1140では、基本階層係数列 Bの各係数値に対して底を 2とする対数変換を行い、この対数変換処理により求められた値の整数値を、基本量子化係数列 Cの各係数値としている。また、前記基本階層係数列 Bの各係数値と基本量子化係数列 Cの各係数値の逆対数変換により求められる値との差を余り係数列 (予測誤差係数列) Dの各係数値としてヽる。

[0248] ここで、基本量子化係数合成器 3370に入力される基本量子化係数列 C*と、余り係数列 (予測誤差係数列) D*を下記式 (22)と定義する。

[数 13]

[0249] また、基本量子化係数合成器 3370で生成される基本階層係数列 B*を、下記式 (2 3)と定義する。

[0250] B* = {b*、b* … · · · } (0≤i< B ) 式（23)

0 1 i TH

[0251] 式（22)、式（23)より、下記式（24)に示すように、基本階層係数列 B*は、 C*に lunc3の処理を行った値に D*が付加され、生成される。

[0252] b*.= fonc3 (c*.) + d*. 式（24)

[0253] ここで、 fonc3は分離処理における fonc2の処理に等しく、 fonclの逆関数であり、下記式（25)により表される。 [0254] fonc3 (x) = SIGN (x) 2" ( | x | ) 式（25)

[0255] したがって、基本量子化係数列 C* = {3, 1, 0}と、余り係数列 D* = {0, 0, 0}と、を入力し、基本階層係数列 B*に合成すると、

[0256] B* = {8, 2, 0}

となる。

[0257] 続いて、拡張量子化係数合成器 3380は、 VLD'E (0) 3331、 VLD·E (1) 3332·

· ·、 VLD'E (N'— 1) 3333に変換された拡張量子化係数列 F*°、 F*¹ ' F*^N'^_1 を入力するとともに、外部カゝら拡張階層分離パターン情報を入力し、前記拡張階層分離パターン情報にしたがって前記拡張量子化係数列 F*、 F" ' ' '、 F*^N'^_1を拡張階層係数列 E*に合成するものである。

[0258] ここで、上記分離部 1100aの拡張量子化係数分離器 1150に対応する拡張量子ィ匕係数合成器 3380について、説明する。

[0259] 上記拡張量子化係数分離器 1150では、拡張階層分離パターン情報にしたがって拡張階層係数列 Eを複数の拡張量子化係数列 F°、？¹…、 F^N_1に分離している。したがって、拡張量子化係数合成器 3380では、複数の拡張量子化係数列 F*°、 F*¹ - • ·、 F*^N'^_1を、拡張階層分離パターン情報にしたがって拡張階層係数列 E*に合成する。

[0260] 拡張量子化係数合成器 3380では、スライス層におけるユーザデータで規定された拡張ストリーム番号 mから拡張量子化係数列のインデックス番号 nを求め、 nを用いて拡張量子化係数列 F*ⁿ(0≤n≤N'— 1)を下記式 (26)のように定義する。

[数 14]

式 (26)

[0261] これらの拡張量子化係数列 F*ⁿを、拡張階層分離パターン情報にしたがって合成し、拡張階層係数列 E*を生成する。 [0262] 以上により、拡張階層係数列 E*は、下記式 (27)のように生成される。

[数 15]

E* = (^ _e;^G。,...，C , ,…, い…, —', ' -"…式 (27)

[0263] さらに、上記拡張量子化係数分離器 1150において示した「拡張階層分離パターン情報によるレート制御方法の分離例」と「拡張階層分離パターン情報によるスクランプル実現方法の分離例」の二つの分離例により生成された複数の拡張量子化係数列 F、 F¹"' F^N_1に対応する拡張量子化係数列 Fⁿの合成例について説明する。

[0264] 拡張量子化係数列 F*、 F*\ F*²、 F*³を下記式 (29)に定義する。

[数 16] 式 (29)

[0265] 「拡張階層分離パターン情報によるレート制御方法の合成例」

[0266] ユーザデータにおいて拡張階層 N=4、上記式（16)に示す拡張階層の分離最小パターンが規定されており、分離最小パターン適用単位はブロック単位である。このとき、拡張量子化係数列 F*°、

F*²、 F*³を合成すると、下記式 (30)に示すように拡張階層係数列 E*を生成することができる。

|_ϋ!ο」 b =l土 , 土 , 土 , 土 , 土 , 土 , 土 , 土 , 土 , 土 , 土 , 土 , 土 , ·

0 0 1 0 1 2 0 1 2 3 1 2 3

··} 式（30)

[0268] したがって、上記拡張量子化係数列

[0269] F*°={3, -2}

[0270] F^^il, -3, 0, 0}

[0271] F*²={0, 6, 5, 0, 0, -4}

[0272] F*³={— 1, 0, 1, 1, 1, 0, 0, 2}

を、上記拡張階層分離最小パターンで、拡張階層係数列 E*に合成すると、

E* = {3, 1, -3, 0, 6, 5, -1, 0, 1, 1, —2, 0, 0, 0, 0, —4, 1, 0, 0, 2} となり、以下 10係数ずつ上記拡張階層分離最小パターンの順で合成される。また、この拡張階層係数列 E*の合成処理 (ブロック内拡張階層合成処理)の様子を、図 20 に示す。

[0274] 「拡張階層分離パターン情報によるスクランブル実現方法の合成例」

[0275] ユーザデータにおいて拡張階層 N=4、上記式（19)に示す拡張階層の分離最小パターンが規定されており、分離最小パターン適用単位はブロック単位である。このとき、拡張量子化係数列 F*°、

F*²、 F*³を合成すると、下記式 (31)に示すように拡張階層係数列 E*を生成することができる。

ハ，

|_ϋ !76」土，土，土，土，土，土，土，土，土，土，土，土，土，土

，土，土，土，土，土，土 · · · } ¾ (31J

[0277] したがって、上記拡張量子化係数列

[0278] F*⁰= {3, 0, 1, 2, 0, }

[0279] F^^ i l, - 3, 0, 0, 0, —4}

[0280] F*²= {6, 5, 1, 0}

[0281] F*³= { - 1, 0, 1, 0, 2}

[0282] E* = {3, 1, - 3, 0, 6, 5, —1, 0, 1, 1, —2, 0, 0, 0, 0, —4, 1, 0, 0, 2} となり、以下 20係数ずつ上記拡張階層分離最小パターンの順で合成される。また、この拡張階層係数列 E*の合成処理 (ブロック内拡張階層合成処理)の様子を、図 21 に示す。

[0283] 続ヽて、基本拡張階層合成器 3390は、基本量子化係数合成器 3370に生成された基本階層係数列 B*と、拡張量子化係数合成器 3380に生成された拡張階層係数列 E*と、を合成して、合成量子化係数列（3次量子化係数列) X*を生成するものである。

[0284] ここで、上記分離部 1100aの基本拡張階層分離器 1130に対応する基本拡張階層合成器 3390について、説明する。

[0285] 上記基本拡張階層分離器 1130では、係数の打ち切りにより、基本階層係数列 Bと

、拡張階層係数列 Eと、の分離を行っている。 [0286] ここで、基本拡張階層合成器 3390に入力される基本階層係数列 B*と、拡張階層係数列 E*を下記式 (32)と定義する。

[数 17]

[0287] また、基本拡張階層合成器 3390で生成される合成量子化係数列 X*を、下記式（ 33)と定義する。

[0288] X* = {x*、x*、x* · · ·、！)* · ' ·、χ* } (0≤i≤63) 式（33)

0 1 2 i 63

[0289] 基本拡張階層合成器 3390の処理では、基本階層係数列 B*の係数をインデックス番号にしたがい、ブロック内の対応する位置への係数の値を挿入する。次に、ブロック内のインデックス番号において、 B 以上のインデックス番号に拡張階層係数列 E*

TH

の係数を順番に挿入し、合成量子化係数列 X*を生成する。

[0290] したがって、まず、基本階層係数列 B*の係数を合成量子化係数列 X*に挿入し、下記式（34)を得る。

[0291] X* = b * (0≤i< B ) 式（34)

i i TH

[0292] 次に、拡張階層係数列 E*の係数を合成量子化係数列 X*に挿入すると、下記式 (3

5)のようになり、合成量子化係数列 X*が生成される。

[0293] X* =e* (B ≤i≤63) 式（35)

i i-BTH TH

[0294] したがって、合成量子化係数列 X*は、下記式（36)のようになる。

[0295] X* = {b*、b* · · ·、！)* 、e*、e* ' "、e* } 式（36)

0 1 BTH- 1 0 1 63-BTH

[0296] したがって、上記基本階層係数列 B* = {8, 2, 0}と、上記拡張階層係数列 E* = { 3, 1, - 3, 0, 6, 5, - 1, 0, 1, 1, —2, 0, 0, 0, 0, —4, 1, 0, 0, 2}を、合成量子化係数列 X*に合成すると、

[0297] X* = {8, 2, 0, 3, 1, —3, 0, 6, 5, —1, 0, 1, 1, —2, 0, 0, 0, 0, —4, 1, 0, 0, 2}

となる。また、この合成量子化係数列 X*の合成処理 (ブロック内係数合成処理)の様子を、図 22に示す。

[0298] 続いて、ランレベル係数変翻3410は、基本拡張階層合成器 3390に生成された合成量子化係数列（3次量子化係数列) X*を係数変換し、ランレベル情報に変換するものである。

[0299] 可変長符号化器 (VLC) 3420は、ランレベル係数変 ^3410に変換されたランレベル情報を可変長符号ィ匕し、係数情報の符号ィ匕信号を生成するものである。

[0300] 係数情報多重化部 3460は、 VLC3420に生成された係数情報の符号化信号と、係数情報分離部 3450aに分離された係数情報以外のデータと、を入力し、多重化して、合成ストリーム（3次符号化信号)を生成するものである。

[0301] 以上説明したように、合成部 3300aにおいて、基本符号化信号 B*、拡張符号化信号 E* (0)、 E* (1)、 E* (2)…、 E* (M，— 1)を入力して、合成ストリーム（3次符号化信号)を生成することができる。

[0302] この合成ストリーム（3次符号化信号）は、通常の MPEG— 2ストリームであるので、例えば一般的な復号器である復号器 3030aにおいて復号して、再生することができる。

[0303] したがって、本符号化信号分離合成システムシステムは、サーバ 1000の分離器 10 10で符号化ストリームを係数位置により、基本符号化信号 Bと、複数の拡張符号ィ匕信号 E(m)と、に分離し、任意に組み合わせて多重化送信し、レシーノ 3000の合成器 3010で前記基本符号ィ匕信号 Bと、前記複数の拡張符号化信号 E(m)と、に分離後、合成することができ、映像のスケーラブル伝送を実現することができるとともに、基本階層係数列と拡張階層係数列との分離処理が係数の順番で分けるという簡単な処理となり、分離器および合成器の構成が簡素化でき、処理速度の高速化および部品の低価格ィ匕を行うことができる。

[0304] (第 2の実施の形態）

次に、分離器 1010内の分離部 1100での処理において、余り係数列（予測誤差係数列) Dを基本量子化係数列 Cと多重化し、基本符号化信号 Bを生成することで、分離ストリーム St(l) (0≤l≤L— 1)のレートをほぼ等しくする場合の処理について、説明する。本実施の形態においては、拡張ストリーム番号 mと拡張量子化係数列インデッタス番号 nの関係は、 m=nである。

[0305] 基本量子化係数列 Cと、余り係数列 (予測誤差係数列) Dと、を多重化して基本符号化信号 Bを生成する分離部を、図 23に示す。

[0306] 図 23に示すように、分離部 1100bは、上記実施の形態で説明した分離部 1100aと同様の構成（図 13参照)をしており、さらに、基本量子化係数多重化手段としての基本量子化係数多重化器 1240を備えている。

[0307] 基本量子化係数多重化器 1240は、 VLC基本 1210から出力された基本量子化係数列 Cと、 VLC予測誤差 1220から出力された余り係数列 (予測誤差係数列) Dと、を入力し、余り係数列 (予測誤差係数列) Dを基本量子化係数列 Cと多重化して、基本符号化信号 Bを生成し、出力するものである。

[0308] このような構成により、分離部 1100bによって、余り係数列（予測誤差係数列) Dを基本量子化係数列 Cと多重化し、基本符号化信号 Bを生成することができる。

[0309] また、このような基本量子化係数列 Cと余り係数列 (予測誤差係数列) Dとを多重化した基本符号化信号 Bを生成する分離部 1100bに対する、合成器 3010の合成部³

300を、図 24に示す。

[0310] 図 24に示すように、合成部 3300bは、上記実施の形態で説明した合成部 3300aと同様の構成（図 19参照)をしており、さらに、基本量子化係数多重分離手段としての基本量子化係数分離器 3430を備えてヽる。

[0311] 基本量子化係数分離器 3430は、入力した基本符号化信号 B*の係数情報を、基本量子化係数列 C*と、余り係数列 (予測誤差係数列) D*と、に分離し、それぞれ VL D基本 3310と、 VLD予測誤差 3320と、に出力するものである。

[0312] このような構成により、合成部 3300bによって、基本量子化係数列 C*と余り係数列

(予測誤差係数列) D*とが合成された基本符号化信号 B*を入力しても、基本量子化係数列 C*と、余り係数列 (予測誤差係数列) D*と、に分離後、基本階層係数列に合成し、複数の拡張符号化信号 E* (m)から合成した拡張階層係数列 E*と合成し、合成ストリーム (3次符号化信号)を生成することができる。

産業上の利用可能性

[0313] 以上のように、本発明にかかる符号ィ匕信号分離合成システムは、ストリームの分割処理を簡単にして、映像のスケーラブル伝送を実現することができると、う効果を有し、ストリーム伝送を行うサーバやトランスコーダ等として有用である。 /v:/ O l/J900sooifcl£ 9£9960S00iAV

Claims

請求の範囲

[1] 複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を入力する分離器入力手段と、

前記分離器入力手段に入力された 1次符号化信号を、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号ィヒ信号より符号量が少ない基本符号ィ匕信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、

前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、

前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、

を備え、

前記分離器分離手段が、

前記 1次符号化信号から前記 1次動画像を構成する 1次量子化係数値の連続する列である 1次量子化係数列に変換する 1次係数変換手段と、

前記 1次係数変換手段に変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ！/ヽ係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、

前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、

前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、

を備えたことを特徴とする符号化信号分離装置。

[2] 請求項 1に記載の符号化信号分離装置にお!、て、前記基本符号化信号生成手段が、

前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、

前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化手段と、

前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、

を備えたことを特徴とする符号化信号分離装置。

[3] 請求項 2に記載の符号化信号分離装置において、

前記基本量子化係数符号化手段が、

n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒする配列パターン符号表を入力する配列パターン入力手段と、

前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化手段と、

前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化手段と、

を備えたことを特徴とする符号化信号分離装置。

[4] 請求項 3に記載の符号化信号分離装置において、

前記基本量子化係数符号化手段の配列パターン入力手段が、 0と、 1と、 2以上の値と、の 3種類の値による数列の配列パターンを符号ィヒする配列パターン符号表を入力し、

前記係数値配列パターン符号化手段が、前記基本量子化係数列の係数値の配列ノターンを、前記配列パターンに当てはめ符号ィ匕し、

前記固有値外係数値符号化手段が、前記基本量子化係数列の各係数値のうち、 2以上の係数値を符号化することを特徴とする符号化信号分離装置。

[5] 請求項 1に記載の符号化信号分離装置にお!、て、

前記拡張符号化信号生成手段が、

前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、

複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、

を備えたことを特徴とする符号化信号分離装置。

[6] 請求項 5に記載の符号化信号分離装置において、

前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、

前記拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離装置。

[7] 請求項 5に記載の符号化信号分離装置において、

前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、

前記拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離装置。

[8] 請求項 5から請求項 7のいずれか 1項に記載の符号化信号分離装置において、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段とを備えたことを特徴とする符号化信号分離装置。

複数の画像情報から構成される 1次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、

前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少なヽ基本符号化信号と、前記基本符号ィ匕信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィ匕信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、

前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成手段と、

前記合成器合成手段に合成された 3次符号化信号を出力する合成器出力手段と、を備え、

前記合成器合成手段が、

前記基本符号化信号から、前記 2次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換手段と、

前記複数の拡張符号ィ匕信号から、前記 3次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換手段と、

前記基本符号ィ匕信号変換手段に変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ!/ヽ係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成手段と、

前記基本拡張階層合成手段に合成された 3次量子化係数列を前記 3次符号化信号に変換する 3次係数変換手段と、を備えたことを特徴とする符号化信号合成装置。

[10] 請求項 9に記載の符号化信号合成装置において、

前記基本符号化信号変換手段が、

前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、

前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換手段と、

前記余り係数符号ィ匕信号に係数変換を行い、余り係数列に変換する余り係数変換手段と、

前記基本量子化係数列の各係数値に逆対数変換を行!ヽ、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、を備えたことを特徴とする符号化信号合成装置。

[11] 請求項 10に記載の符号化信号合成装置において、

前記基本量子化係数変換手段が、

n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒした配列パターン符号表を入力する配列パターン入力手段と、

前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、

前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、

を備えたことを特徴とする符号化信号合成装置。

[12] 請求項 9から請求項 11のいずれか 1項に記載の符号化信号合成装置において、前記拡張符号化信号変換手段が、

複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号手段と、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、

を備えたことを特徴とする符号化信号合成装置。

[13] 請求項 12に記載の符号化信号合成装置において、

前記拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号ィ匕信号合成装置。

[14] 複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を、前記 1 次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィ匕信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、

前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、

前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記 3次動画像を復元させる 3次符号化信号を合成する合成器と、

を備え、

前記分離器が、

前記 1次符号化信号を入力する分離器入力手段と、

前記分離器入力手段に入力された 1次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、

を備え、

食記合成器が、

前記複数の伝送符号化信号を入力する合成器入力手段と、

前記合成器入力手段に入力された複数の前記伝送符号ィヒ信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成手段と、

さらに、前記分離器分離手段が、

前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備え、

前記合成器合成手段が、前記基本符号ィ匕信号から、前記基本階層係数列に変換する基本符号ィ匕信号変換手段と、

前記複数の拡張符号ィ匕信号から、前記拡張階層係数列に変換する拡張符号ィ匕信号変換手段と、

前記基本符号ィ匕信号変換手段に変換された基本階層係数列を、前記基本拡張分離係数番号より小さ!ヽ係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成手段と、

前記基本拡張階層合成手段に合成された 3次量子化係数列を前記 3次符号化信号に変換する 3次係数変換手段と、

を備えたことを特徴とする符号化信号分離合成システム。

[15] 請求項 14に記載の符号ィ匕信号分離合成システムにおいて、

前記分離器分離手段の基本符号化信号生成手段が、

を備え、

前記合成器合成手段の基本符号化信号変換手段が、

前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、

前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換手段と、

前記余り係数符号ィ匕信号に係数変換を行い、前記余り係数列に変換する余り係数変換手段と、

前記基本量子化係数列の各係数値に逆対数変換を行!ヽ、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、を備えたことを特徴とする符号化信号分離合成システム。

[16] 請求項 15に記載の符号ィ匕信号分離合成システムにおいて、

前記分離器の基本量子化係数符号化手段が、

を備え、

前記合成器の基本量子化係数変換手段が、

前記配列パターン符号表を入力する配列パターン入力手段と、

を備えたことを特徴とする符号化信号分離合成システム。

[17] 請求項 14に記載の符号ィ匕信号分離合成システムにおいて、

前記分離器分離手段の拡張符号化信号生成手段が、

を備え、

前記合成器合成手段の拡張符号化信号変換手段が、

複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号手段と、

前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、

を備えたことを特徴とする符号化信号分離合成システム。

[18] 請求項 17に記載の符号ィ匕信号分離合成システムにおいて、

前記分離器の拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、

前記合成器の拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号化信号分離合成システム。

[19] 請求項 18に記載の符号ィ匕信号分離合成システムにおいて、

前記分離器の拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にした力て前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、前記合成器の拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とする符号化信号分離合成システム。

[20] 請求項 17から請求項 19のいずれか 1項に記載の符号ィ匕信号分離合成システムにおいて、

前記分離器が、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段を備え、

前記合成器が、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信手段を備えたことを特徴とする符号化信号分離合成システム。

[21] 複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を入力する分離器入力ステップと、

前記分離器入力ステップで入力された 1次符号化信号を、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号ィ匕信号と、前記基本符号ィ匕信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、

前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、

前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、

を備え、

前記分離器分離ステップが、

前記 1次符号化信号から前記 1次動画像を構成する 1次量子化係数値の連続する列である 1次量子化係数列に変換する 1次係数変換ステップと、

前記 1次係数変換ステップに変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ！/ヽ係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、

前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステツプと、

前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、

を備えたことを特徴とする符号化信号分離方法。

[22] 請求項 21に記載の符号化信号分離方法にお、て、

前記基本符号化信号生成ステップが、

前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、

前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、

前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、

を備えたことを特徴とする符号化信号分離方法。

[23] 請求項 22に記載の符号ィ匕信号分離方法において、

前記基本量子化係数符号化ステップが、

n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒする配列パターン符号表を入力する配列パターン入力ステップと、

前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、

を備えたことを特徴とする符号化信号分離方法。

[24] 請求項 21に記載の符号化信号分離方法にお、て、

前記拡張符号ィ匕信号生成ステップが、

前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、

複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、

を備えたことを特徴とする符号化信号分離方法。

[25] 請求項 24に記載の符号化信号分離方法にぉ、て、

前記拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小バターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離方法。

[26] 請求項 24に記載の符号化信号分離方法にお、て、

前記拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがつて前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離方法。 [27] 請求項 24から請求項 26の、ずれか 1項に記載の符号化信号分離方法にお!、て、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステツプと、

を備えたことを特徴とする符号化信号分離方法。

[28] 複数の画像情報から構成される 1次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、

前記合成器入力ステップで入力された複数の前記伝送符号ィ匕信号から、前記 1次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号化信号と、前記基本符号ィ匕信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィ匕信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、

前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成ステップと、

前記合成器合成ステップで合成された 3次符号ィ匕信号を出力する合成器出力ステップと、

を備え、

前記合成器合成ステップが、

前記基本符号化信号から、前記 2次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換ステップと、

前記複数の拡張符号ィ匕信号から、前記 3次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換ステップと、

前記基本符号ィ匕信号変換ステップで変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ!/ヽ係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップで合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換ステップと、

を備えたことを特徴とする符号化信号合成方法。

複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を、前記 1 次動画像の疑似動画像である 2次動画像を復元させる前記 1次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記 2次動画像より前記 1次動画像に近い 3次動画像を前記基本符号ィ匕信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステツプと、

前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、

前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記 3次動画像を復元させる 3次符号化信号を合成する合成器を制御する合成器制御ステップとを備え、

前記分離器制御ステップが、

前記 1次符号ィヒ信号を入力する分離器入力ステップと、

前記分離器入力ステップで入力された 1次符号ィ匕信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、

前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、

を備え、前記合成器制御ステップが、

前記複数の伝送符号化信号を入力する合成器入力ステップと、

前記合成器入力ステップで入力された複数の前記伝送符号ィ匕信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、 3次動画像を復元させる 3次符号化信号を生成する合成器合成ステップと、

を備え、

さらに、前記分離器分離ステップが、

前記 1次係数変換ステップで変換された前記 1次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さ！/ヽ係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、

前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備え、

前記合成器合成ステップが、

前記基本符号ィ匕信号から、前記基本階層係数列に変換する基本符号ィ匕信号変換ステップと、

前記複数の拡張符号ィ匕信号から、前記拡張階層係数列に変換する拡張符号ィ匕信号変換ステップと、前記基本符号ィ匕信号変換ステップで変換された基本階層係数列を、前記基本拡張分離係数番号より小さヽ係数列とし、前記拡張符号ィ匕信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップで合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換ステップと、

を備えたことを特徴とする符号化信号分離合成方法。

[30] 請求項 29に記載の符号化信号分離合成方法において、

前記分離器分離ステップの基本符号ィ匕信号生成ステップが、

を備え、

前記合成器合成ステップの基本符号ィ匕信号変換ステップが、

前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、

前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換ステップと、

前記余り係数符号ィ匕信号に係数変換を行い、前記余り係数列に変換する余り係数変換ステップと、

前記基本量子化係数列の各係数値に逆対数変換を行!ヽ、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、を備えたことを特徴とする符号化信号分離合成方法。

[31] 請求項 30に記載の符号化信号分離合成方法において、

前記分離器制御ステップの基本量子化係数符号化ステップが、

前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、

前記基本量子化係数列の各係数値のうち、前記 n種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、

を備え、

前記合成器制御ステップの基本量子化係数変換ステップが、

前記配列パターン符号表を入力する配列パターン入力ステップと、

前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、

前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、

を備えたことを特徴とする符号化信号分離合成方法。

[32] 請求項 29に記載の符号化信号分離合成方法において、

前記分離器分離ステップの拡張符号化信号生成ステップが、

を備え、前記合成器合成ステップの拡張符号ィ匕信号変換ステップが、

複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号ステップと、

前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、

を備えたことを特徴とする符号化信号分離合成方法。

[33] 請求項 32に記載の符号化信号分離合成方法において、

前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号化信号分離合成方法。

[34] 請求項 33に記載の符号ィ匕信号分離合成方法において、

前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、

前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とする符号化信号分離合成方法。

[35] 請求項 32から請求項 34の、ずれか 1項に記載の符号化信号分離合成方法において、

前記分離器制御ステップが、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップを備え、

前記合成器制御ステップが、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信ステップを備えたことを特徴とする符号化信号分離合成方法

[36] コンピュータに、

複数の画像情報から構成される 1次動画像を符号化した 1次符号化信号を入力する分離器入力ステップと、

を備え、

前記分離器分離ステップが、

を実行させることを特徴とするコンピュータ読み取り可能な符号化信号分離プロダラム。

[37] 請求項 36に記載の符号ィ匕信号分離プログラムにおいて、

前記基本符号化信号生成ステップが、

を備えたことを特徴とする符号化信号分離プログラム。

[38] 請求項 37に記載の符号ィ匕信号分離プログラムにおいて、

前記基本量子化係数符号化ステップが、

を備えたことを特徴とする符号化信号分離プログラム。

[39] 請求項 38に記載の符号ィ匕信号分離プログラムにおいて、

前記基本量子化係数符号化ステップの配列パターン入力ステップ力 0と、 1と、 2 以上の値と、の 3種類の値による数列の配列パターンを符号化する配列パターン符号表を入力し、

前記係数値配列パターン符号化ステップが、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号ィ匕し、

前記固有値外係数値符号化ステップが、前記基本量子化係数列の各係数値のうち、 2以上の係数値を符号化することを特徴とする符号化信号分離プログラム。

[40] 請求項 36に記載の符号ィ匕信号分離プログラムにお、て、

前記拡張符号ィ匕信号生成ステップが、

を備えたことを特徴とする符号化信号分離プログラム。

[41] 請求項 40に記載の符号ィ匕信号分離プログラムにお、て、

前記拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小バターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離プログラム。 [42] 請求項 40に記載の符号ィ匕信号分離プログラムにお、て、

前記拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがつて前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離プログラム。

[43] 請求項 40から請求項 42の、ずれか 1項に記載の符号ィ匕信号分離プログラムにおいて、

前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステツプと、

を備えたことを特徴とする符号化信号分離プログラム。

[44] コンピュータに、

複数の画像情報から構成される 1次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、

を備え、前記合成器合成ステップが、

を実行させることを特徴とするコンピュータ読み取り可能な符号ィ匕信号合成プロダラム。

[45] 請求項 44に記載の符号ィ匕信号合成プログラムにお、て、

前記基本符号化信号変換ステップが、

前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、

前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換ステップと、

前記余り係数符号ィ匕信号に係数変換を行い、余り係数列に変換する余り係数変換ステップと、

前記基本量子化係数列の各係数値に逆対数変換を行!ヽ、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、を備えたことを特徴とする符号化信号合成プログラム。

[46] 請求項 45に記載の符号ィ匕信号合成プログラムにお、て、前記基本量子化係数変換ステップが、

n種類の固有値と、これらの固有値以外の値を 1種類とした、（n+ 1)種類の値による数列の配列パターンを符号ィヒした配列パターン符号表を入力する配列パターン入力ステップと、

を備えたことを特徴とする符号化信号合成プログラム。

[47] 請求項 44から請求項 46の、ずれか 1項に記載の符号ィ匕信号合成プログラムにおいて、

前記拡張符号化信号変換ステップが、

複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号ステップと、

前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、

を備えたことを特徴とする符号化信号合成プログラム。

[48] 請求項 47に記載の符号ィ匕信号合成プログラムにお、て、

前記拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小バターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号ィ匕信号合成プログラム。コンピュータに、

前記分離器制御ステップが、

前記 1次符号ィヒ信号を入力する分離器入力ステップと、

を備え、

前記合成器制御ステップが、

を備え、

さらに、前記分離器分離ステップが、

前記合成器合成ステップが、

前記複数の拡張符号ィ匕信号から、前記拡張階層係数列に変換する拡張符号ィ匕信号変換ステップと、

前記基本符号ィ匕信号変換ステップで変換された基本階層係数列を、前記基本拡張分離係数番号より小さヽ係数列とし、前記拡張符号ィ匕信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して 3次量子化係数値の連続する列である 3次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップで合成された 3次量子化係数列を前記 3次符号ィ匕信号に変換する 3次係数変換ステップと、

を実行させることを特徴とするコンピュータ読み取り可能な符号化信号分離合成プログラム。