JPH0817492B2 - 可変レート動画像符号化装置 - Google Patents
可変レート動画像符号化装置Info
- Publication number
- JPH0817492B2 JPH0817492B2 JP21923690A JP21923690A JPH0817492B2 JP H0817492 B2 JPH0817492 B2 JP H0817492B2 JP 21923690 A JP21923690 A JP 21923690A JP 21923690 A JP21923690 A JP 21923690A JP H0817492 B2 JPH0817492 B2 JP H0817492B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- discrete cosine
- coefficient
- cosine transform
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Image Processing (AREA)
- Details Of Television Systems (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、デレビ電話やテレビ会議システム等に使用
する可変レート動画像符号化装置に関する。
する可変レート動画像符号化装置に関する。
従来の技術 第４図は、従来の可変レート動画像符号化装置の構成
を示している。第４図において、40はフレーム単位に入
力される動画像信号、40aは、この動画像信号と、後述
するフレームメモリ48に蓄えられた前フレーム再生信号
に動き補償等を施すことにより得た、次のフレームであ
る現フレームの予測信号とが入力される減算器であり、
これらフレーム単位の動画像信号40と現フレームの予測
信号との減算を行って、Ｎ×Ｎの予測誤差信号を出力す
る。
を示している。第４図において、40はフレーム単位に入
力される動画像信号、40aは、この動画像信号と、後述
するフレームメモリ48に蓄えられた前フレーム再生信号
に動き補償等を施すことにより得た、次のフレームであ
る現フレームの予測信号とが入力される減算器であり、
これらフレーム単位の動画像信号40と現フレームの予測
信号との減算を行って、Ｎ×Ｎの予測誤差信号を出力す
る。
41は、減算器40aから入力されるＮ×Ｎの予測誤差信
号を離散コサイン変換して、変換係数を出力する離散コ
サイン変換回路、42は、離散コサイン変換回路41から入
力される変換係数を量子化して、Ｎ×Ｎの量子化代表値
を出力する量子化回路である。
号を離散コサイン変換して、変換係数を出力する離散コ
サイン変換回路、42は、離散コサイン変換回路41から入
力される変換係数を量子化して、Ｎ×Ｎの量子化代表値
を出力する量子化回路である。
また、43は、量子化回路42からの量子化代表値が入力
され、予測誤差信号の低周波成分を含む部分（以下、MS
Pと記す）を分離して可変レート高優先度チャネル44で
伝送すると共に、予測誤差信号の高周波成分を含む部分
（以下、LSPと記す）を分離して、可変レート低優先度
チャネル45で伝送する階層化回路である。
され、予測誤差信号の低周波成分を含む部分（以下、MS
Pと記す）を分離して可変レート高優先度チャネル44で
伝送すると共に、予測誤差信号の高周波成分を含む部分
（以下、LSPと記す）を分離して、可変レート低優先度
チャネル45で伝送する階層化回路である。
46は、可変レート高優先度チャネル44を介して階層化
回路43から入力されるMSPを逆量子化する、局部複号の
ための逆量子化回路、47は、逆量子化回路46から入力さ
れる、逆量子化された変換係数を逆離散コサイン変換す
る逆離散コサイン変換回路であり、これも局部復号のた
めのものである。
回路43から入力されるMSPを逆量子化する、局部複号の
ための逆量子化回路、47は、逆量子化回路46から入力さ
れる、逆量子化された変換係数を逆離散コサイン変換す
る逆離散コサイン変換回路であり、これも局部復号のた
めのものである。
40bは、逆離散コサイン変換回路47から出力される逆
離散コサイン変換された変換係数と、先に前記フレーム
メモリ48から出力された前フレーム再生信号に動き補償
等を施して得た現フレームの予測信号とを加算して、現
フレーム再生信号としてフレームメモリ48に出力する加
算器である。
離散コサイン変換された変換係数と、先に前記フレーム
メモリ48から出力された前フレーム再生信号に動き補償
等を施して得た現フレームの予測信号とを加算して、現
フレーム再生信号としてフレームメモリ48に出力する加
算器である。
次に、上記従来例の動作について説明する。第４図に
おいて、フレームメモリ48に蓄えられた前フレーム再生
信号には動き補償等が施され、これにより、現フレーム
の予測信号が得られる。この現フレームの予測信号とフ
レーム単位の動画像信号40とは減算器40aで減算されて
予測誤差信号となり、以下、Ｎ×Ｎの大きさのブロック
毎に処理が施される。
おいて、フレームメモリ48に蓄えられた前フレーム再生
信号には動き補償等が施され、これにより、現フレーム
の予測信号が得られる。この現フレームの予測信号とフ
レーム単位の動画像信号40とは減算器40aで減算されて
予測誤差信号となり、以下、Ｎ×Ｎの大きさのブロック
毎に処理が施される。
このＮ×Ｎの予測誤差信号は、離散コサイン変換回路
41において離散コサイン変換されて変換係数となり、量
子化回路42に入力される。
41において離散コサイン変換されて変換係数となり、量
子化回路42に入力される。
量子化回路42は、離散コサイン変換された変換係数を
量子化し、その量子化代表値は階層化回路43に入力され
る。階層化回路43は、Ｎ×Ｎの量子化代表値を予測誤差
信号のMSPと、予測誤差信号のLSPに分離し、MSPは可変
レート高優先度チャネル44で、LSPは可変レート低優先
度チャネル45で伝送する。
量子化し、その量子化代表値は階層化回路43に入力され
る。階層化回路43は、Ｎ×Ｎの量子化代表値を予測誤差
信号のMSPと、予測誤差信号のLSPに分離し、MSPは可変
レート高優先度チャネル44で、LSPは可変レート低優先
度チャネル45で伝送する。
この可変レート高優先度チャネル44と可変レート低優
先度チャネル45とは、共に任意の伝送レートに対応可能
な可変レートチャネルであり、次世代通信網として現在
研究されている広帯域ISDN（ディジタルサービス総合ネ
ットワーク）で実現される。
先度チャネル45とは、共に任意の伝送レートに対応可能
な可変レートチャネルであり、次世代通信網として現在
研究されている広帯域ISDN（ディジタルサービス総合ネ
ットワーク）で実現される。
広帯域ISDNでは、優先度の異なる複数の可変レートチ
ャネルを用意し、通信網（以後、網と記す）の輻輳時に
は、優先度の低いチャネルのパケットから廃棄するよう
な制御が行われる予定であり、これに対応して、上記可
変レート高優先度チャネル44は優先度の高い、即ち網の
輻輳時においてもパケットが廃棄されることのないチャ
ネルであり、可変レート低優先度チャネル45は網の輻輳
時においては、パケットが廃棄される可能性のあるチャ
ネルとしてある。
ャネルを用意し、通信網（以後、網と記す）の輻輳時に
は、優先度の低いチャネルのパケットから廃棄するよう
な制御が行われる予定であり、これに対応して、上記可
変レート高優先度チャネル44は優先度の高い、即ち網の
輻輳時においてもパケットが廃棄されることのないチャ
ネルであり、可変レート低優先度チャネル45は網の輻輳
時においては、パケットが廃棄される可能性のあるチャ
ネルとしてある。
局部復号はMSPのみを用いて行い、受信側での復号
は、MSPを前フレームの値に加算した後、LSPの復号信号
を加算することにより行われる。
は、MSPを前フレームの値に加算した後、LSPの復号信号
を加算することにより行われる。
従って、網の輻輳時においては、LSPは確率的に廃棄
されるが、LSP自体画質への影響が小さく、また時間的
に波及しないため、画質の劣化は少なく抑えることが可
能である。
されるが、LSP自体画質への影響が小さく、また時間的
に波及しないため、画質の劣化は少なく抑えることが可
能である。
また、上記MSPは逆量子化回路46で逆量子化され、そ
の逆量子化された変換係数は逆離散コサイン変換回路47
に送られ、そこで逆離散コサイン変換される。
の逆量子化された変換係数は逆離散コサイン変換回路47
に送られ、そこで逆離散コサイン変換される。
この逆離散コサイン変換された変換係数は加算器40b
に送られ、ここで、フレームメモリ48から出力される現
フレームの予測信号との加算が行われ、その加算結果が
フレームメモリ48に出力される。
に送られ、ここで、フレームメモリ48から出力される現
フレームの予測信号との加算が行われ、その加算結果が
フレームメモリ48に出力される。
発明が解決しようとする課題 しかしながら、上記従来の可変レート動画像符号化装
置では、MSPとLSPとの符号量の比、あるいはブロック内
のS/N比（信号対雑音比）を閾値として、MSPとLSPとの
分離を行っていたため、LSPが廃棄された時の画質劣化
が視覚に及ぼす影響を考慮して、MSPとLSPとの分離が行
われていないという問題があった。
置では、MSPとLSPとの符号量の比、あるいはブロック内
のS/N比（信号対雑音比）を閾値として、MSPとLSPとの
分離を行っていたため、LSPが廃棄された時の画質劣化
が視覚に及ぼす影響を考慮して、MSPとLSPとの分離が行
われていないという問題があった。
本発明は、このような従来の問題を解決するものであ
り、網の輻輳時によりブロック内のある領域のパケット
が廃棄された時に生じる画質劣化量を、予め視覚の空間
周波数特性を考慮して各領域毎に設定された画質劣化量
にすることができ、よって、視覚の空間周波数特性で重
み付けしたブロック内誤差を用いて、ブロック内をＭ個
の領域に分割・階層化し、パケット化バッファによりそ
れぞれ優先度の異なる可変レートチャネルによって伝送
することができる可変レート動画像符号化装置を提供す
ることを目的とする。
り、網の輻輳時によりブロック内のある領域のパケット
が廃棄された時に生じる画質劣化量を、予め視覚の空間
周波数特性を考慮して各領域毎に設定された画質劣化量
にすることができ、よって、視覚の空間周波数特性で重
み付けしたブロック内誤差を用いて、ブロック内をＭ個
の領域に分割・階層化し、パケット化バッファによりそ
れぞれ優先度の異なる可変レートチャネルによって伝送
することができる可変レート動画像符号化装置を提供す
ることを目的とする。
課題を解決するための手段 上記目的を達成するために本発明は、フレームメモリ
に蓄えられた前フレーム再生信号に予測係数を乗じて得
られる現フレーム予測信号とフレーム単位の動画像信号
との減算結果から得られる予測誤差信号を、Ｎ×Ｎの大
きさのブロック毎に離散コサイン変換して変換係数を出
力する離散コサイン変換回路と、 この離散コサイン変換回路から出力される上記変換係
数を量子化して、量子化された変換係数とこの量子化さ
れた変換係数の量子化代表値とを出力する量子化回路
と、 この量子化回路から出力される上記量子化代表値を逆
量子化して変換係数を出力する逆量子化回路と、 この逆量子回路から出力される上記変換係数を逆離散
コサイン変換する逆離散コサイン変換回路と、 この逆離散コサイン変換回路を出力と上記現フレーム
予測信号とを加算して、この加算結果を上記フレームメ
モリに蓄積させる加算器と、 上記離散コサイン変換回路で各ブロック単位に離散コ
サイン変換を施して得られるＮ×Ｎ個の変換係数を任意
のＭ個の領域に分割、階層化する際に、このＭ個の領域
の所定の一領域の情報が廃棄された場合に生じる画質劣
化量を、視覚の空間周波数特性に基づいて算出し、この
画質劣化量が予め各領域毎に設定した画質劣化量の許容
値に近似的に等しくなるように上記変換係数の分割、階
層化を行う階層化回路と、 この階層化回路によってＭ個の領域に分割、階層化さ
れた変換係数の各領域のデータを、優先度の異なる可変
レートチャネルで伝送するバケット化バッファを備える
構成とした。
に蓄えられた前フレーム再生信号に予測係数を乗じて得
られる現フレーム予測信号とフレーム単位の動画像信号
との減算結果から得られる予測誤差信号を、Ｎ×Ｎの大
きさのブロック毎に離散コサイン変換して変換係数を出
力する離散コサイン変換回路と、 この離散コサイン変換回路から出力される上記変換係
数を量子化して、量子化された変換係数とこの量子化さ
れた変換係数の量子化代表値とを出力する量子化回路
と、 この量子化回路から出力される上記量子化代表値を逆
量子化して変換係数を出力する逆量子化回路と、 この逆量子回路から出力される上記変換係数を逆離散
コサイン変換する逆離散コサイン変換回路と、 この逆離散コサイン変換回路を出力と上記現フレーム
予測信号とを加算して、この加算結果を上記フレームメ
モリに蓄積させる加算器と、 上記離散コサイン変換回路で各ブロック単位に離散コ
サイン変換を施して得られるＮ×Ｎ個の変換係数を任意
のＭ個の領域に分割、階層化する際に、このＭ個の領域
の所定の一領域の情報が廃棄された場合に生じる画質劣
化量を、視覚の空間周波数特性に基づいて算出し、この
画質劣化量が予め各領域毎に設定した画質劣化量の許容
値に近似的に等しくなるように上記変換係数の分割、階
層化を行う階層化回路と、 この階層化回路によってＭ個の領域に分割、階層化さ
れた変換係数の各領域のデータを、優先度の異なる可変
レートチャネルで伝送するバケット化バッファを備える
構成とした。
作用 本発明は上記構成により、網の輻輳によりブロック内
のある領域のパケットが廃棄された時に生じる画質劣化
量を、予め視覚の空間周波数特性を考慮して各領域毎に
設定された画質劣化量にすることができ、よって、視覚
の空間周波数特性で重み付けしたブロック内誤差を用い
て、ブロック内をＭ個の領域に分割・階層化し、パケッ
ト化バッファによりそれぞれ優先度の異なる可変レート
チャネルによって伝送することができる。
のある領域のパケットが廃棄された時に生じる画質劣化
量を、予め視覚の空間周波数特性を考慮して各領域毎に
設定された画質劣化量にすることができ、よって、視覚
の空間周波数特性で重み付けしたブロック内誤差を用い
て、ブロック内をＭ個の領域に分割・階層化し、パケッ
ト化バッファによりそれぞれ優先度の異なる可変レート
チャネルによって伝送することができる。
実施例 以下、本発明の実施例を図面に基づいて説明する。
第１図は本発明の一実施例による可変レート動画像符
号化装置の構成を示すブロック図である。第１図におい
て、10はフレーム単位に入力される動画像信号、10a
は、この動画像信号と、後述するフレームメモリ18に蓄
えられた前フレーム再生信号に予測係数乗算器19で予測
係数ａを乗算して得た現フレームの予測信号とが入力さ
れる減算器であり、これらフレーム単位の動画像信号10
と現フレームの予測信号との減算を行って、Ｎ×Ｎの予
測誤差信号を出力する。
号化装置の構成を示すブロック図である。第１図におい
て、10はフレーム単位に入力される動画像信号、10a
は、この動画像信号と、後述するフレームメモリ18に蓄
えられた前フレーム再生信号に予測係数乗算器19で予測
係数ａを乗算して得た現フレームの予測信号とが入力さ
れる減算器であり、これらフレーム単位の動画像信号10
と現フレームの予測信号との減算を行って、Ｎ×Ｎの予
測誤差信号を出力する。
11は、減算器10aから入力されるＮ×Ｎの予測誤差信
号を離散コサイン変換して、Ｎ×Ｎの変換係数Ｄ（u,
v）を出力する離散コサイン変換回路、12は、離散コサ
イン変換回路11から入力される変換係数Ｄ（u,v）を量
子化して、量子化された変換係数Dq（u,v）と、この量
子化された変換係数Dq（u,v）の量子化代表値Ix（u,v）
とを出力する量子化回路である。
号を離散コサイン変換して、Ｎ×Ｎの変換係数Ｄ（u,
v）を出力する離散コサイン変換回路、12は、離散コサ
イン変換回路11から入力される変換係数Ｄ（u,v）を量
子化して、量子化された変換係数Dq（u,v）と、この量
子化された変換係数Dq（u,v）の量子化代表値Ix（u,v）
とを出力する量子化回路である。
13は、離散コサイン変換回路11からの変換係数Ｄ（u,
v）と、量子化回路12からの、量子化された変換係数Dq
（u,v）及び量子化代表値Ix（u,v）とが入力される階層
化回路である。
v）と、量子化回路12からの、量子化された変換係数Dq
（u,v）及び量子化代表値Ix（u,v）とが入力される階層
化回路である。
この階層化回路13は、Ｎ×Ｎの変換係数Ｄ（u,v）の
ブロック内のある領域Lmの情報が廃棄された時に生じる
画質劣化が、視覚の空間周波数特性を考慮した許容値TH
Lmに近似的に等しくなるように、量子化された変換係数
Dq（u,v）と量子化代表値Ix（u,v）とを用いて、上記Ｎ
×Ｎの変換係数Ｄ（u,v）をＭ個の領域（L1〜LM）に分
割、階層化するものである。
ブロック内のある領域Lmの情報が廃棄された時に生じる
画質劣化が、視覚の空間周波数特性を考慮した許容値TH
Lmに近似的に等しくなるように、量子化された変換係数
Dq（u,v）と量子化代表値Ix（u,v）とを用いて、上記Ｎ
×Ｎの変換係数Ｄ（u,v）をＭ個の領域（L1〜LM）に分
割、階層化するものである。
14は、階層化回路13で階層化されたデータを、各階層
に応じた可変レートチャネル15を用いて伝送するため
に、各階層毎にパケット化するパケット化バッファであ
る。
に応じた可変レートチャネル15を用いて伝送するため
に、各階層毎にパケット化するパケット化バッファであ
る。
15は、パケット化バッファ14で各階層毎にパケット化
されたデータを伝送するための、任意の伝送レートに対
応可能な可変レートチャネルであり、優先度の異なる複
数のチャネルを有している。
されたデータを伝送するための、任意の伝送レートに対
応可能な可変レートチャネルであり、優先度の異なる複
数のチャネルを有している。
16は、上記量子化回路12から入力される量子化代表値
Ix（u,v）を逆量子化変換して、逆量子化された変換係
数を出力する、局部復号のための逆量子化回路、17は、
局部復号のための回路であり、逆量子化回路16から入力
される逆量子化された変換係数を逆離散コサイン変換し
て、逆離散コサイン変換された変換係数を出力する逆離
散コサイン変換回路である。
Ix（u,v）を逆量子化変換して、逆量子化された変換係
数を出力する、局部復号のための逆量子化回路、17は、
局部復号のための回路であり、逆量子化回路16から入力
される逆量子化された変換係数を逆離散コサイン変換し
て、逆離散コサイン変換された変換係数を出力する逆離
散コサイン変換回路である。
10bは、上記逆離散コサイン変換回路17から出力され
る逆離散コサイン変換された変換係数と、上記予測係数
乗算器19から出力される現フレームの予測信号とを加算
して、現フレーム再生信号としてフレームメモリ18に出
力する加算器である。
る逆離散コサイン変換された変換係数と、上記予測係数
乗算器19から出力される現フレームの予測信号とを加算
して、現フレーム再生信号としてフレームメモリ18に出
力する加算器である。
次に、上記実施例の動作について説明する。第１図に
おいて、フレームメモリ18に蓄えられた前フレーム再生
信号には動き補償等が施され、さらに、予測係数乗算器
19によって予測係数ａ（０＜ａ≦１）が乗じられ、これ
により、現フレームの予測信号が得られる。
おいて、フレームメモリ18に蓄えられた前フレーム再生
信号には動き補償等が施され、さらに、予測係数乗算器
19によって予測係数ａ（０＜ａ≦１）が乗じられ、これ
により、現フレームの予測信号が得られる。
この現フレームの予測信号とフレーム単位の動画像信
号10とは減算器10aで減算されて予測誤差信号となり、
以下、Ｎ×Ｎの大きさのブロック毎に処理が施される。
号10とは減算器10aで減算されて予測誤差信号となり、
以下、Ｎ×Ｎの大きさのブロック毎に処理が施される。
このＮ×Ｎの予測誤差信号は、離散コサイン変換回路
11において離散コサイン変換された後、変換係数Ｄ（u,
v）として量子化回路12に入力されると共に、階層化回
路13にも入力される。
11において離散コサイン変換された後、変換係数Ｄ（u,
v）として量子化回路12に入力されると共に、階層化回
路13にも入力される。
量子化回路12は、離散コサイン変換された変換係数Ｄ
（u,v）を量子化し、これにより得られた、量子化され
た変換係数Dq（u,v）とその量子化代表値Ix（u,v）とは
階層化回路13に入力される。これと同時に、上記量子化
された変換係数Dq（u,v）の量子化代表値Ix（u,v）は、
局部復号のために逆量子化回路16にも入力される。
（u,v）を量子化し、これにより得られた、量子化され
た変換係数Dq（u,v）とその量子化代表値Ix（u,v）とは
階層化回路13に入力される。これと同時に、上記量子化
された変換係数Dq（u,v）の量子化代表値Ix（u,v）は、
局部復号のために逆量子化回路16にも入力される。
逆量子化回路16による量子化代表値Ix（u,v）の逆量
子化により得られた変換係数は、逆離散コサイン変換回
路17で逆離散コサイン変換された後、予測係数乗算器19
から出力される前記現フレームの予測信号と加算器10b
で加算れ、現フレーム再生信号としてフレームメモリ18
に蓄積される。
子化により得られた変換係数は、逆離散コサイン変換回
路17で逆離散コサイン変換された後、予測係数乗算器19
から出力される前記現フレームの予測信号と加算器10b
で加算れ、現フレーム再生信号としてフレームメモリ18
に蓄積される。
一方、階層化回路13は、量子化回路12の出力である量
子化された変換係数Dq（u,v）及び量子化代表値Ix（u,
v）を用いて、離散コサイン変換回路11の出力であるＮ
×Ｎの変換係数Ｄ（u,v）のブロック内を、ブロック単
位でＭ個の領域に分割し、階層化する。
子化された変換係数Dq（u,v）及び量子化代表値Ix（u,
v）を用いて、離散コサイン変換回路11の出力であるＮ
×Ｎの変換係数Ｄ（u,v）のブロック内を、ブロック単
位でＭ個の領域に分割し、階層化する。
パケット化バッファ14は、階層化回路13で階層化され
たデータを各階層に応じたチャネルを用いて伝送するた
めに、データを各階層ごとにパケット化し、パケット化
されたデータを順次可変レートチャネル15に出力する。
たデータを各階層に応じたチャネルを用いて伝送するた
めに、データを各階層ごとにパケット化し、パケット化
されたデータを順次可変レートチャネル15に出力する。
次に、階層化回路13において、各ブロック内をＭ個の
領域に分割、階層化する方法について、第２図、第３図
を併用して説明する。
領域に分割、階層化する方法について、第２図、第３図
を併用して説明する。
第２図は、Ｎ×Ｎの変換係数Ｄ（u,v）をＭ個の領域
に分割する方法を示す説明図であり、第３図は、離散コ
サイン変換領域における誤差を視覚の空間周波数特性を
考慮して評価するために、誤差に乗じる重み係数をブロ
ックサイズ８×８について求める一数値例を示す説明図
である。
に分割する方法を示す説明図であり、第３図は、離散コ
サイン変換領域における誤差を視覚の空間周波数特性を
考慮して評価するために、誤差に乗じる重み係数をブロ
ックサイズ８×８について求める一数値例を示す説明図
である。
処理単位となるブロックのサイズをＮ×Ｎとし、離散
コサイン変換回路11の出力である変換係数をＤ（u,
v）、この変換係数Ｄ（u,v）を量子化回路12で量子化し
た後の変換係数をDq（u,v）、その量子化代表値をIx
（u,v）とする。
コサイン変換回路11の出力である変換係数をＤ（u,
v）、この変換係数Ｄ（u,v）を量子化回路12で量子化し
た後の変換係数をDq（u,v）、その量子化代表値をIx
（u,v）とする。
さらに、離散コサイン変換領域における誤差を視覚の
空間周波数特性を考慮して評価するために、誤差に乗じ
る重みを係数をＷ（u,v）とする。ただし、 ｕ＝０、１、２、…、Ｎ−１ ｖ＝０、１、２、…、Ｎ−１ である。
空間周波数特性を考慮して評価するために、誤差に乗じ
る重みを係数をＷ（u,v）とする。ただし、 ｕ＝０、１、２、…、Ｎ−１ ｖ＝０、１、２、…、Ｎ−１ である。
また、簡単のため第２図に示すように、ブロック内を
３領域に分割、階層化する場合について説明する。
３領域に分割、階層化する場合について説明する。
まず、パケットの廃棄が発生しない場合について考え
る。パケットの廃棄が発生しない場合、ブロック内で発
生する変換係数Ｄ（u,v）の誤差は量子化誤差のみであ
る。
る。パケットの廃棄が発生しない場合、ブロック内で発
生する変換係数Ｄ（u,v）の誤差は量子化誤差のみであ
る。
ブロック内で発生する誤差を視覚の空間周波数特性Ｗ
（u,v）で重み付けして算出した平均２乗誤差をWMSEと
定義し、パケットの廃棄が発生しない場合の平均２乗誤
差（WMSE）をWMSEminとすると、WMSEminは次式によって
算出される。
（u,v）で重み付けして算出した平均２乗誤差をWMSEと
定義し、パケットの廃棄が発生しない場合の平均２乗誤
差（WMSE）をWMSEminとすると、WMSEminは次式によって
算出される。
また、WMSEを用いて算出するS/N比をWSNRと定義し、
パケットの廃棄が発生しない場合のS/N比（WSNR）をWSN
Rmaxとすると、WSNRmaxは次式に従って算出される。
パケットの廃棄が発生しない場合のS/N比（WSNR）をWSN
Rmaxとすると、WSNRmaxは次式に従って算出される。
次に、第２図に示す領域L3のパケットP1（α，β）が
廃棄された場合について考える。
廃棄された場合について考える。
領域L3のパケットP1（α，β）が廃棄された場合、ブ
ロック内で発生する変換係数Ｄ（u,v）の誤差は、廃棄
された情報による誤差と廃棄されなかった領域L1、L2の
量子化誤差の和となる。
ロック内で発生する変換係数Ｄ（u,v）の誤差は、廃棄
された情報による誤差と廃棄されなかった領域L1、L2の
量子化誤差の和となる。
従って、この場合のWMSEをWMSEL31oSとすると、WMSE
L31oSは次式に従って算出される。
L31oSは次式に従って算出される。
となる。ただし、上記（３）式のΣ算出の際における
ｕ、ｖの走査は例えば第２図のようなジグザグ走査によ
って行う。
ｕ、ｖの走査は例えば第２図のようなジグザグ走査によ
って行う。
ここで、 とおき、 領域L3のパケットP1（α，β）が廃棄された場合のWS
NRをWSNRL31oSとすると、上記（２）式及び（４）式よ
り、 となる。
NRをWSNRL31oSとすると、上記（２）式及び（４）式よ
り、 となる。
上記（５）式の右辺第２項は、領域L3のパケットがP1
（α，β）廃棄されることによって生じる画質劣化量を
表しており、これをΔDL3とおくと、 γ＝EXP10（ΔDL3/10） …（６） となる。ただし、EXP10（Ｘ）＝10Xとする。
（α，β）廃棄されることによって生じる画質劣化量を
表しており、これをΔDL3とおくと、 γ＝EXP10（ΔDL3/10） …（６） となる。ただし、EXP10（Ｘ）＝10Xとする。
一方、上記（３）式は次式のように書き換えることが
できる。
できる。
さらに、（４）、（６）、及び（７）式より、 を得る。
従って、領域L3のパケットP1（α，β）が廃棄された
ときの画質劣化量が、予め設定した視覚の空間周波数特
性を考慮したある許容値THL3となるためには、（８）式
において、ΔDL3＝THL3とおき、これを満たす（α、
β）をもって領域L2と領域L3との境界点とすればよい。
ときの画質劣化量が、予め設定した視覚の空間周波数特
性を考慮したある許容値THL3となるためには、（８）式
において、ΔDL3＝THL3とおき、これを満たす（α、
β）をもって領域L2と領域L3との境界点とすればよい。
ただし、一般的には、（８）式において、左辺と右辺
とが完全に一致するような（α、β）は得られないの
で、左辺の値と右辺との値が最も近くなるような（α、
β）を境界点とする。
とが完全に一致するような（α、β）は得られないの
で、左辺の値と右辺との値が最も近くなるような（α、
β）を境界点とする。
領域L2の分割についても同様に考えると、領域L1と領
域L2との境界点は、領域L2のパケットをＰ（ζ、η）と
すると、次式を満たす点（ζ、η）となる。
域L2との境界点は、領域L2のパケットをＰ（ζ、η）と
すると、次式を満たす点（ζ、η）となる。
このようにして分割された領域L1、L2、L3は、領域L1
が予測誤差信号の低周波成分、領域L3が高周波成分、領
域L2が、領域L1と領域L2との中間の周波数成分を含んで
いる。そこで、各領域L1、L2、L3の順で高い優先度の変
化レートチャネルで伝送する。
が予測誤差信号の低周波成分、領域L3が高周波成分、領
域L2が、領域L1と領域L2との中間の周波数成分を含んで
いる。そこで、各領域L1、L2、L3の順で高い優先度の変
化レートチャネルで伝送する。
また、視覚の空間周波数特性を考慮した許容値THL2、
THL3を変化させると、各領域L1、L2、L3で発生する情報
量が変化する。
THL3を変化させると、各領域L1、L2、L3で発生する情報
量が変化する。
例えば、視覚の周波数特性の許容値THL2を小さくする
と、（９）式から決定される領域L2は小さくなり、従っ
て、領域L2で発生する情報量は減少し、領域L1で発生す
る情報量は増加する。
と、（９）式から決定される領域L2は小さくなり、従っ
て、領域L2で発生する情報量は減少し、領域L1で発生す
る情報量は増加する。
この結果、パケット化バッファ14から階層化回路13へ
フィードバック制御を行い、視覚の空間周波数特性の許
容値THL2、THL3を適当に変化させることによって、各可
変レートチャネルの発生情報量を制御することができ
る。
フィードバック制御を行い、視覚の空間周波数特性の許
容値THL2、THL3を適当に変化させることによって、各可
変レートチャネルの発生情報量を制御することができ
る。
よって上記実施例によれば、網の輻輳時には、優先順
位の低い領域L3のパケットから順に廃棄されるが、廃棄
されたときに生じる画質劣化量を、予め設定した視覚の
空間周波数特性を考慮した許容値THLmにすることが可能
である。
位の低い領域L3のパケットから順に廃棄されるが、廃棄
されたときに生じる画質劣化量を、予め設定した視覚の
空間周波数特性を考慮した許容値THLmにすることが可能
である。
また、視覚の空間周波数特性を考慮した許容値THL2、
THL3を適当に変化させることによって、各可変レートチ
ャネルにおける発生情報量を制御することができる。
THL3を適当に変化させることによって、各可変レートチ
ャネルにおける発生情報量を制御することができる。
また、ある領域のパケットが廃棄されることによっ
て、送受の間で画像データに相違が生じるが、この影響
は予測係数ａによって時間と共に減少する。
て、送受の間で画像データに相違が生じるが、この影響
は予測係数ａによって時間と共に減少する。
尚、上記実施例ではブロック内を３つの領域に分割・
階層化する場合について説明したが、同様に考えれば、
これをＭ領域に分割・階層化するのは容易である。
階層化する場合について説明したが、同様に考えれば、
これをＭ領域に分割・階層化するのは容易である。
また、上記実施例においては各式のΣ算出の際のｕ、
ｖの走査順序として第２図に示すようなジグザグ走査を
用いたが、本発明はこの走査順序に制限されるものでは
ない。
ｖの走査順序として第２図に示すようなジグザグ走査を
用いたが、本発明はこの走査順序に制限されるものでは
ない。
さらに、離散コサイン変換領域における誤差を視覚の
空間周波数特性を考慮して評価するために、誤差に乗じ
る重み係数の例として、本実施例ではブロックサイズが
８×８の場合について第３図に示すような数値を挙げた
が、本発明はこの数値に制定されるものではない。
空間周波数特性を考慮して評価するために、誤差に乗じ
る重み係数の例として、本実施例ではブロックサイズが
８×８の場合について第３図に示すような数値を挙げた
が、本発明はこの数値に制定されるものではない。
発明の効果 上述のように本発明によれば、フレームメモリに蓄え
られた前フレーム再生信号に予測係数を乗じて得られる
現フレーム予測信号とフレーム単位の動画像信号との減
算結果から得られる予測誤差信号を、Ｎ×Ｎの大きさの
ブロック毎に離散コサイン変換して変換係数を出力する
離散コサイン変換回路と、 この離散コサイン変換回路から出力される上記変換係
数を量子化して、量子化された変換係数とこの量子化さ
れた変換係数の量子化代表値とを出力する量子化回路
と、 この量子化回路から出力される上記量子化代表値を逆
量子化して変換係数を出力する逆量子化回路と、 この逆量子化回路から出力される上記変換係数を逆離
散コサイン変換する逆離散コサイン変換回路と、 この逆離散コサイン変換回路の出力と上記現フレーム
予想信号とを加算して、この加算結果を上記フレームメ
モリに蓄積させる加算器と、 上記離散コサイン変換回路で各ブロック単位に離散コ
サイン変換を施して得られるＮ×Ｎ個の変換係数を任意
のＭ個の領域に分割、階層化する際に、このＭ個の領域
の所定の一領域の情報が廃棄された場合に生じる画質劣
化量を、視覚の空間周波数特性に基づいて算出し、こと
画質劣化量が予め各領域毎に設定した画質劣化量の許容
値に近似的に等しくなるように上記変換係数の分割、階
層化を行う階層化回路と、 この階層化回路によってＭ個の領域に分割、階層化さ
れた変換係数の各領域のデータを、優先度の異なる可変
レートチャネルで伝送するバケット化バッファを備える
構成とした。
られた前フレーム再生信号に予測係数を乗じて得られる
現フレーム予測信号とフレーム単位の動画像信号との減
算結果から得られる予測誤差信号を、Ｎ×Ｎの大きさの
ブロック毎に離散コサイン変換して変換係数を出力する
離散コサイン変換回路と、 この離散コサイン変換回路から出力される上記変換係
数を量子化して、量子化された変換係数とこの量子化さ
れた変換係数の量子化代表値とを出力する量子化回路
と、 この量子化回路から出力される上記量子化代表値を逆
量子化して変換係数を出力する逆量子化回路と、 この逆量子化回路から出力される上記変換係数を逆離
散コサイン変換する逆離散コサイン変換回路と、 この逆離散コサイン変換回路の出力と上記現フレーム
予想信号とを加算して、この加算結果を上記フレームメ
モリに蓄積させる加算器と、 上記離散コサイン変換回路で各ブロック単位に離散コ
サイン変換を施して得られるＮ×Ｎ個の変換係数を任意
のＭ個の領域に分割、階層化する際に、このＭ個の領域
の所定の一領域の情報が廃棄された場合に生じる画質劣
化量を、視覚の空間周波数特性に基づいて算出し、こと
画質劣化量が予め各領域毎に設定した画質劣化量の許容
値に近似的に等しくなるように上記変換係数の分割、階
層化を行う階層化回路と、 この階層化回路によってＭ個の領域に分割、階層化さ
れた変換係数の各領域のデータを、優先度の異なる可変
レートチャネルで伝送するバケット化バッファを備える
構成とした。
このため、網の輻輳によりブロック内のある領域のパ
ケットが廃棄された時に生じる画質劣化量を、予め視覚
の空間周波数特性を考慮して各領域毎に設定された画質
劣化量にすることができ、よって、視覚の空間周波数特
性で重み付けしたブロック内誤差を用いて、ブロック内
をＭ個の領域に分割・階層化し、パケット化バッファに
よりそれぞれ優先度の異なる可変レートチャネルによっ
て伝送することができる。
ケットが廃棄された時に生じる画質劣化量を、予め視覚
の空間周波数特性を考慮して各領域毎に設定された画質
劣化量にすることができ、よって、視覚の空間周波数特
性で重み付けしたブロック内誤差を用いて、ブロック内
をＭ個の領域に分割・階層化し、パケット化バッファに
よりそれぞれ優先度の異なる可変レートチャネルによっ
て伝送することができる。
第１図は、本発明の一実施例における可変レート動画像
符号化装置の概略構成を示すブロック図、第２図は、第
１図の階層化回路における、Ｎ×Ｎ個の変換係数をＭ個
の領域に分割する方法を示す説明図、第３図は、第１図
の可変レート動画像符号化装置の離散コサイン変換領域
において、平均２乗誤差算出の際に量子化誤差を重み付
けるための重み係数を示す説明図、第４図は従来の可変
レート動画像符号化装置の概略ブロック図である。 10……動画像信号、10b……加算器、11……離散コサイ
ン変換回路、12……量子化回路、13……階層化回路、14
……パケット化バッファ、15……可変レートチャネル、
16……逆量子化回路、18……フレームメモリ、ａ……予
測係数、L1、L2、L3……領域。
符号化装置の概略構成を示すブロック図、第２図は、第
１図の階層化回路における、Ｎ×Ｎ個の変換係数をＭ個
の領域に分割する方法を示す説明図、第３図は、第１図
の可変レート動画像符号化装置の離散コサイン変換領域
において、平均２乗誤差算出の際に量子化誤差を重み付
けるための重み係数を示す説明図、第４図は従来の可変
レート動画像符号化装置の概略ブロック図である。 10……動画像信号、10b……加算器、11……離散コサイ
ン変換回路、12……量子化回路、13……階層化回路、14
……パケット化バッファ、15……可変レートチャネル、
16……逆量子化回路、18……フレームメモリ、ａ……予
測係数、L1、L2、L3……領域。
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/32 9466−5Ｋ Ｈ０４Ｌ 11/20 １０２ Ｅ Ｇ０６Ｆ 15/66 ３３０ Ｄ (56)参考文献 特開 平２−15791（ＪＰ，Ａ) 特開 昭63−73789（ＪＰ，Ａ) ＩＣＣ 88，Ｉｎｔｌ Ｓｙｍｐ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（1988) Ｐ．1257−1261 ＳＰＩＥ，Ｖｉｓｕａｌ Ｃｏｍｍｕｎ ｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐ ｒｏｃｅｓｓｉｎｇ 88（1988）Ｐ．991 −998
Claims (1)
- 【請求項１】フレームメモリに蓄えられた前フレーム再
生信号に予測係数を乗じて得られる現フレーム予測信号
とフレーム単位の動画像信号との減算結果から得られる
予測誤差信号を、Ｎ×Ｎの大きさのブロック毎に離散コ
サイン変換して変換係数を出力する離散コサイン変換回
路と、この離散コサイン変換回路から出力される上記変
換係数を量子化して、量子化された変換係数とこの量子
化された変換係数の量子化代表値とを出力する量子化回
路と、この量子化回路から出力される上記量子化代表値
を逆量子化して変換係数を出力する逆量子化回路と、こ
を逆量子化回路から出力される上記変換係数を逆離散コ
サイン変換する逆離散コサイン変換回路と、この逆離散
コサイン変換回路の出力と上記現フレーム予測信号とを
加算して、この加算結果を上記フレームメモリに蓄積さ
せる加算器と、上記離散コサイン変換回路で各ブロック
単位に離散コサイン変換を施して得られるＮ×Ｎ個の変
換係数を任意のＭ個の領域に分割、階層化する際に、こ
のＭ個の領域の所定の一領域の情報が廃棄された場合に
生じる画像劣化量を、視覚の空間周波数特性に基づいて
算出し、この画像劣化量が予め各領域毎に設定した画質
劣化量の許容値に近似的に等しくなるように上記変換係
数の分割、階層化を行う階層化回路と、この階層化回路
によってＭ個の領域に分割、階層化された変換係数の各
領域のデータを、優先度の異なる可変レートチャネルで
伝送するパケット化バッファを備えた可変レート動画像
符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21923690A JPH0817492B2 (ja) | 1990-08-20 | 1990-08-20 | 可変レート動画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21923690A JPH0817492B2 (ja) | 1990-08-20 | 1990-08-20 | 可変レート動画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04100494A JPH04100494A (ja) | 1992-04-02 |
| JPH0817492B2 true JPH0817492B2 (ja) | 1996-02-21 |
Family
ID=16732347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21923690A Expired - Lifetime JPH0817492B2 (ja) | 1990-08-20 | 1990-08-20 | 可変レート動画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0817492B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5481312A (en) * | 1994-09-12 | 1996-01-02 | At&T Corp. | Method of and apparatus for the transmission of high and low priority segments of a video bitstream over packet networks |
| JP3003618B2 (ja) | 1997-03-19 | 2000-01-31 | 日本電気株式会社 | 動画像送受信装置 |
| JP2004266503A (ja) | 2003-02-28 | 2004-09-24 | Matsushita Electric Ind Co Ltd | 映像伝送システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0783483B2 (ja) * | 1986-09-17 | 1995-09-06 | 富士写真フイルム株式会社 | 電子スチルカメラの出力制御装置 |
| JPH0215791A (ja) * | 1988-07-01 | 1990-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 可変レート画像符号化方式 |
-
1990
- 1990-08-20 JP JP21923690A patent/JPH0817492B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| ＩＣＣ８８，ＩｎｔｌＳｙｍｐｏｎＣｏｍｍｕｎｉｃａｔｉｏｎ（１９８８）Ｐ．１２５７−１２６１ |
| ＳＰＩＥ，ＶｉｓｕａｌＣｏｍｍｕｎｉｃａｔｉｏｎａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ８８（１９８８）Ｐ．９９１−９９８ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04100494A (ja) | 1992-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1183871B1 (en) | A method and apparatus for streaming scalable video | |
| Lee et al. | Scalable rate control for MPEG-4 video | |
| US7382729B2 (en) | Video transmission of layered coded data | |
| Garrett | Contributions toward real-time services on packet-switched networks | |
| KR100604702B1 (ko) | 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 | |
| Van der Auwera et al. | Traffic and quality characterization of single-layer video streams encoded with the H. 264/MPEG-4 advanced video coding standard and scalable video coding extension | |
| EP0447247B1 (en) | Image encoding method and apparatus | |
| US6901109B2 (en) | Bit stream separating and merging system, apparatus, method and computer program product | |
| JP3095382B2 (ja) | パケット伝送方法及びデータ処理システム | |
| US20040042549A1 (en) | Architecture and method for fine granularity scalable video coding | |
| JPH07107096A (ja) | Ａｔｍネットワーク用ビデオ信号の二層符号化方法とその装置 | |
| Karlsson et al. | Subband coding of video for packet networks | |
| JPH08511931A (ja) | 可変ビットレートパケットビデオ通信のための装置、方法およびシステム | |
| JPH0556275A (ja) | 画像符号化装置及び画像復号装置 | |
| KR100601615B1 (ko) | 네트워크 대역폭에 적응적인 영상 압축 장치 | |
| Eleftheriadis et al. | Dynamic rate shaping of compressed digital video | |
| US6775325B1 (en) | Method and apparatus for converting the bitrate of an encoded bitstream without full re-encoding | |
| JP3807157B2 (ja) | 符号化装置及び符号化方法 | |
| JPH0817492B2 (ja) | 可変レート動画像符号化装置 | |
| JP2004512784A (ja) | エンベッドフィルタによるトランスコーディング方法及びトランスコーディング装置 | |
| JP4175565B2 (ja) | 画像伝送装置 | |
| JPH0813137B2 (ja) | 可変レート動画像符号化装置 | |
| JPH043684A (ja) | 可変レート動画像符号化装置 | |
| JPH10210475A (ja) | 画像符号化装置 | |
| Nguyen | Rate control based on human visual perception characteristics and its application in encoding time-lapse video |