JP3363476B2 - 符号化装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は画面内符号化と画面間
符号化とを適応的に切換えて画像データを符号化する符
号化装置及びその方法に関する。

【０００２】

【従来の技術】従来より画像情報をデジタル伝送する場
合、伝送データ量を削減するために各種の符号化方式が
提案されている。

【０００３】その提案されている符号化方式の１つに、
フレーム内符号化とフレーム間符号化とを切り換えて符
号化する方式がある。

【０００４】フレーム内圧縮は、近接する画素同士は明
るさと色が類似する同画像の特性を利用して情報低減す
る方式である。

【０００５】実際の画像では、空や壁など大半の部分は
同程度の明るさと色がほぼ続いているため、フレーム内
圧縮のみを用いても１／５〜１／１０程度の圧縮が可能
である。

【０００６】フレーム間圧縮は、類似した画像を利用し
て、補正分の情報のみで画像を得る方式である。

【０００７】通常動画では近接するフレームの絵柄は、
多少の動きや変形はあるが類似している。この点を利用
して、まず圧縮符号化しようとするフレームと近接する
フレーム間との類似性（動き、色、明るさ等）を計算す
る。その計算に基づいて「予測値」、つまり「近接フレ
ーム」から「符号化しようとするフレーム」に更に類似
したフレームの値を算出する。

【０００８】次に、符号化しようとするフレームから
「予測値」との差分情報のみを符号化（記録・伝送）す
る。このため、データ量（補正分）が低減する。

【０００９】つまり人物だけ移っている動画で人物が右
に移動した場合、一つ前のフレームで、移動の補正情報
も含めて人物がいる画素が予測値で、右に移動した全体
の画素から予測値を引いたものが差分となる。

【００１０】従来の符号化装置の場合、一般にフレーム
間処理により圧縮する場合、伝送路上で誤りが発生する
と、その誤りが伝播することが知られている。したがっ
て、フレーム間処理を所定数行うと自動的にフレーム内
処理を行うものとなっていった。

【００１１】

【発明が解決しようとする課題】各符号化画面の１フレ
ーム当りのデータ量は、フレーム内処理の場合１６Ｋ〜
２５Ｋバイト、フレーム間処理の場合７〜１０Ｋバイト
程度である。

【００１２】つまり、一般にフレーム内処理はフレーム
間処理よりも発生するデータ量が多いことが知られてい
る。

【００１３】従って、定期的にフレーム内符号化を行う
場合、その直前の量子化ステップ（フレーム間符号化に
使われた量子化ステップ）を使って量子化すると急にデ
ータ発生量が増えてしまい、伝送レート上の問題とな
る。

【００１４】そこで、データ発生量を抑えるために量子
化ステップを変えて、符号化を行うと今度は画質劣化を
引き起こしてしまうという問題が生じる。

【００１５】また、ＤＣＴ変換を用いた圧縮符号化を行
った場合で、更にフレーム内圧縮処理のＤＣ（直流）成
分については、発生する情報に片寄りがなく、情報をエ
ントロピー符号化（発生する情報の確率が高いものには
短い符号語を割り当て、確率が低いものに関しては長い
符号語を割り当て、発生する情報を削減する符号化）で
削減することができなかった。

【００１６】上述のような問題は、複数の符号化モード
を適応的に切り換えて符号化を行う符号化装置（少なく
とも予測符号化モードを有する）に発生するものであ
る。

【００１７】上述したような背景から、本願発明は従来
の符号化処理における上述の問題を解消し、信号劣化を
防止した符号化装置及びその方法を提供することを目的
とする。

【００１８】

【課題を解決するための手段】本願発明にかかる目的下
にその一つの発明にかかる符号化装置は、入力画像デー
タを所定サンプル数で構成されるブロック単位で圧縮符
号化する符号化装置であって、前記入力画像データから
予測値が減算された差データにより前記入力画像データ
を圧縮符号化する第１の符号化モードと、前記差データ
を用いることなく前記入力画像データを圧縮符号化する
第２の符号化モードとを有し、前記入力画像を符号化す
る符号化手段と、前記差データと前記入力画像データの
データ量を比較する比較手段と、前記第１の符号化モー
ドによる連続実行回数を計数する計数手段と、前記比較
手段及び計数手段の出力に応じて、前記符号化モードを
制御する制御手段とを有し、前記制御手段は、前記計数
手段による計数値が所定値に達した時に強制的に前記第
２の符号化モードで符号化を実行するように制御し、そ
れ以外では前記比較手段の出力に応じて前記符号化モー
ドを制御し、前記計数手段は、前記制御手段により前記
第２の符号化モードが実行された時に計数値をリセット
することを特徴とする。また、その一つの発明にかかる
符号化方法は、入力画像データを所定サンプル数で構成
されるブロック単位で圧縮符号化する符号化方法であっ
て、前記入力画像データから予測値が減算された差デー
タにより前記入力画像データを圧縮符号化する第１の符
号化モードと、前記差データを用いることなく前記入力
画像データを圧縮符号化する第２の符号化モードとを有
し、前記入力画像を符号化する符号化工程と、前記差デ
ータと前記入力画像データのデータ量を比較する比較工
程と、前記第１の符号化モードによる連続実行回数を計
数する計数工程と、前記比較工程及び計数工程の結果に
応じて、前記符号化モードを制御する制御工程とを有
し、前記制御工程では、前記計数工程での計数値が所定
値に達した時に強制的に前記第２の符号化モードで符号
化を実行するように制御し、それ以外では前記比較工程
の結果に応じて前記符号化モードを制御し、前記計数工
程では、前記制御工程により前記第２の符号化モードが
実行された時に計数値をリセットすることを特徴とす
る。

【００１９】

【００２０】

【実施例】以下、本願発明の一実施例に係る符号化装置
を詳細に説明する。

【００２１】図１は一実施例に係る符号化装置の構成を
示すブロック図である。

【００２２】図１において、入力端子１１より入力され
たデジタルの画像データＸｉ（以下、フレーム内信号と
称す）は減算器１２、判定器２５、遅延器２４へ出力さ
れる。

【００２３】遅延器２４では後述する判定器２５でかか
る時間分、データフレーム内信号Ｘｉを遅延させてスイ
ッチ１４の端子ａへ出力する。

【００２４】一方、減算器１２では、入力端子１１より
入力される画像データＸｉと予測器２０で予測された１
フレーム前の画像データＸｉ＾との差分Ｘｉ−Ｘｉ＾
（以下、フレーム間差信号と称す）をとる。

【００２５】遅延器１３では、フレーム間差信号Ｘｉ−
Ｘｉ＾を判定器２５でかかる時間分を遅延させてスイッ
チ１４の端子ｂへ出力する。

【００２６】判定器２５では、フレーム内信号Ｘｉとフ
レーム間差信号Ｘｉ−Ｘｉ＾とのデータ量を比較し、そ
の比較結果を比較器２８へ入力する。

【００２７】カウンタ２６ではメモリ２７の値を読み込
みカウンタ２６を設定し、判定器２５の出力結果により
フレーム内圧縮を行うべきと判断された場合、カウンタ
２６の値をリセットし、その値をメモリ２７に記憶す
る。

【００２８】一方、フレーム間圧縮を行うべきと判断さ
れた場合、カウント２６の数値をカウントアップして、
その出力値を比較器２８へ入力すると共に、その値をメ
モリ２７に記憶する。

【００２９】比較器２８では、判定器２５の判定結果が
フレーム内圧縮処理であればスイッチ１４，２２を端子
ａに切り換える。

【００３０】また、判定器２５の判定結果がフレーム間
圧縮処理であれば、カウンタ２６の出力値を予め設定し
ておいた所定の数Ｎと比較し、その比較結果をスイッチ
制御器２９へ入力する。

【００３１】比較器２８により前記出力値がＮよりも小
さいと判断されている場合は、前記スイッチ制御器２９
ではスイッチ１４，２２を端子ｂに切り換える。

【００３２】一方、前記出力値が所定の数Ｎよりも大き
いと判断されている場合は、前記スイッチ制御器２９で
はスイッチ１４，２２の端子ａに切り換え、フレーム内
圧縮を行わせる。

【００３３】図２は具体的に図１の動作を説明するため
の図である。

【００３４】図２ではＮ＝８として８フレーム毎にフレ
ーム内処理をしている。

【００３５】また、ｔ＝１４では、図１の判定器２５で
フレーム内圧縮処理と判定したもので、ｔ＝９，２２で
は８フレーム毎に強制的にフレーム内処理としたもので
ある。

【００３６】図２中では１フレームを横８画素、縦８画
素を１ブロックとし、これを４ブロックまとめた単位毎
にフレーム内処理とフレーム間処理を切り換えるように
なっている。

【００３７】今、ここで、例えばフレーム内圧縮処理と
判定する確率をｐ（ｔ）とし、Ｎフレームに１回強制的
にフレーム内圧縮処理を行うことにすると、フレーム内
処理をする全体の確率Ｐ（ｔ）は、 Ｐ（ｔ）＝ｐ（ｔ）＋１／Ｎ …（１） となる。

【００３８】本実施例の判定器２５でフレーム内圧縮処
理と判定する確率をｐ（ｔ）とし、Ｎフレームに１回フ
レーム内処理をすることにすると、フレーム内処理をす
る全体の確率Ｐ’（ｔ）は、ｐ（ｔ）＜１／Ｎであれ
ば、 Ｐ’（ｔ）＝１／Ｎ …（２） ｐ（ｔ）≧１／Ｎであれば、 Ｐ’（ｔ）＝ｐ（ｔ） …（３） 上記式（１），（２），（３）により Ｐ’（ｔ）＜Ｐ（ｔ） となり、本実施例ではＮフレームに１回強制的にフレー
ム内圧縮を行うものよりも、フレーム内圧縮符号化の行
う確率を低くすることができる。

【００３９】図１の説明に戻り、スイッチ１４より選択
されたフレーム内信号Ｘｉ、もしくはフレーム間差信号
Ｘｉ−Ｘｉ＾は、離散コサイン変換器（ＤＣＴ）１５に
入力されＤＣＴ変換される。

【００４０】ＤＣＴ１５により変換された変換係数は量
子化器１６により量子化され、量子化されたデータは逆
量子化器１７へ入力されるとともに、スイッチ３０へ入
力される。また、ＤＣＴ１５及び量子化器１６からはス
イッチ制御器２９へ、処理中のデータが後で述べるＤＣ
成分かＡＣ成分かを識別する信号が入力されている。

【００４１】逆量子化器１７では逆量子化され変換係数
に戻されて、逆離散コサイン変換器（ＩＤＣＴ）１８へ
入力される。

【００４２】ＩＤＣＴ１８では、変換係数をフレーム内
信号Ｘｉ’もしくはフレーム間差信号（Ｘｉ−Ｘｉ
＾）’に変換し、加算器１９へ入力される。

【００４３】加算器１９では、遅延器２３によりＤＣＴ
１５、量子化器１６、逆量子化器１７、及びＩＤＣＴ１
８でかかる時間分遅延された予測値Ｘｉ＾もしくは値０
と、フレーム内信号Ｘｉ’もしくはフレーム間差信号
（Ｘｉ−Ｘｉ＾）’とを加算して予測器２０へ入力され
る。

【００４４】加算器１９の出力Ｘｉ’は局部復号値と呼
び、複合された画像データである。

【００４５】局部復号値Ｘｉ’は、予測器２０により１
フレーム分遅延された予測値となる。

【００４６】前記予測値は遅延器２１と減算器１２へ入
力される。遅延器２１では、予測値Ｘｉ＾を判定器２５
でかかる時間分を遅延させてスイッチ２２の端子ａに
は、フレーム内処理の時に加算器１９で０を加算するた
めに０が設定されている。

【００４７】スイッチ３０ではスイッチ制御器２９によ
り、フレーム内符号化でＤＣ成分の時にはａ端子側へ接
続し、フレーム間もしくはフレーム内符号化のＡＣ成分
の時にはｂ端子側へ接続するよう制御されている。

【００４８】ここで、ＤＣ成分とＡＣ成分について図３
を用いて説明する。

【００４９】本実施例では上述したように縦横それぞれ
８画素づつ、計６４個の画素を１ブロックとした場合の
画像ブロックを、ＤＣＴ演算の結果得た６４個のＤＣＴ
係数の対応を示す。左上のＤＣ成分は、ブロック内の６
４画素の平均値を表し、直流（ＤＣ）係数と呼ばれ、残
りの６３個は交流（ＡＣ）係数と呼ばれ、ブロック内の
交流成分電力の大きさを表している。

【００５０】スイッチ３０の端子ａより出力されるフレ
ーム内符号化のＤＣ成分は、差分符号化器（ＤＰＣＭ）
３１へ出力される。

【００５１】ＤＰＣＭ３１では、図４に示すように隣接
するブロックのＤＣ成分と差分を取り、エントロピー符
号化器３２へ出力する。

【００５２】一般に差分を取ったＤＣ成分は、０の発生
する確率が高くなり発生する情報に片寄りが生じる。

【００５３】エントロピー符号化器３２では発生する情
報の確率が高いものには短い符号語を割り当て、確率が
低いものに関しては長い符号語を割り当て、発生するデ
ータを削減する。その削減されたデータは多重器３６へ
入力される。

【００５４】一方、ジグザグスキャン器３３では量子化
されたフレーム内符号化のＡＣ成分、もしくはフレーム
間符号化の変換係数を図３のようにスキャン変換する。
前記変換された係数はランレングス符号化器３４へ入力
される。

【００５５】ランレングス符号化器３４は、０の数と０
でない値を組にしてエントロピー符号化器３５へ入力さ
れる。

【００５６】エントロピー符号化器３５では、発生頻度
の高いランレングス符号には短い符号を割り当て、発生
頻度の低いランレングス符号には長い符号を割り当て、
データを削減して多重器３６へ出力する。

【００５７】多重器３６では、エントロピー符号化器３
２，３５との出力を多重して出力端子３７から符号化さ
れたデータが出力される。

【００５８】尚、本実施例では、フレーム間とフレーム
内符号化を適応的に切り換える符号化装置について説明
してきたが、フィールド間とフィールド内符号化もしく
は前記符号化方式を任意に組み合わせた符号化方式につ
いて適応できることは言うまでもない。

【００５９】また、本実施例を複数の符号化モード（少
なくとも予測符号化を有する）を適応的に切り換えて信
号の符号化を行う符号化装置において、適応できること
は言うまでもない。

【００６０】

【発明の効果】以上説明したように本発明によれば、従
来のように定期的に画面内符号化を実行するものと同様
な誤り伝播の防止効果が得られ、しかも画面内符号化の
実行回数が従来よりも減ることになるので符号化効率を
向上し、画質劣化を従来よりも抑えることができる。

【図面の簡単な説明】

【図１】本願発明の一実施例に係る符号化装置のブロッ
ク図である。

【図２】図１の装置の処理動作を説明するための図であ
る。

【図３】ジグザグスキャン及びＤＣＴ変換係数を説明す
るための図である。

【図４】本願発明の一実施例に係るＤＣ成分の符号化処
理を説明するための図である。

【符号の説明】

１２ 減算器 １５ ＤＣＴ １４，２２，３０ スイッチ ２０ 予測器 ２５ 判定器 ２６ カウンタ ２８ 比較器 ２９ スイッチ制御器

フロントページの続き (56)参考文献 特開 平３−247191（ＪＰ，Ａ) 特開 平３−136587（ＪＰ，Ａ) 特開 平２−121486（ＪＰ，Ａ) 特開 昭63−121372（ＪＰ，Ａ) 安田浩編著，「マルチメディア符号化 の国際標準」，日本，丸善，1991年 ６ 月30日，ｐ．89，128−129，136 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 G06T 9/00 H03M 7/30 - 7/50

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像データを所定サンプル数で構成
   されるブロック単位で圧縮符号化する符号化装置であっ
   て、 前記入力画像データから予測値が減算された差データに
   より前記入力画像データを圧縮符号化する第１の符号化
   モードと、前記差データを用いることなく前記入力画像
   データを圧縮符号化する第２の符号化モードとを有し、
   前記入力画像を符号化する符号化手段と、 前記差データと前記入力画像データのデータ量を比較す
   る比較手段と、 前記第１の符号化モードによる連続実行回数を計数する
   計数手段と、 前記比較手段及び計数手段の出力に応じて、前記符号化
   モードを制御する制御手段とを有し、 前記制御手段は、前記計数手段による計数値が所定値に
   達した時に強制的に前記第２の符号化モードで符号化を
   実行するように制御し、それ以外では前記比較手段の出
   力に応じて前記符号化モードを制御し、 前記計数手段は、前記制御手段により前記第２の符号化
   モードが実行された時に計数値をリセットすることを特
   徴とする符号化装置。
2. 【請求項２】 入力画像データを所定サンプル数で構成
   されるブロック単位で圧縮符号化する符号化方法であっ
   て、 前記入力画像データから予測値が減算された差データに
   より前記入力画像データを圧縮符号化する第１の符号化
   モードと、前記差データを用いることなく前記入力画像
   データを圧縮符号化する第２の符号化モードとを有し、
   前記入力画像を符号化する符号化工程と、 前記差データと前記入力画像データのデータ量を比較す
   る比較工程と、 前記第１の符号化モードによる連続実行回数を計数する
   計数工程と、 前記比較工程及び計数工程の結果に応じて、前記符号化
   モードを制御する制御工程とを有し、 前記制御工程では、前記計数工程での計数値が所定値に
   達した時に強制的に前記第２の符号化モードで符号化を
   実行するように制御し、それ以外では前記比較工程の結
   果に応じて前記符号化モードを制御し、 前記計数工程では、前記制御工程により前記第２の符号
   化モードが実行された時に計数値をリセットすることを
   特徴とする符号化方法。